kafka 自带zookeeper,如果不需要自带的可以重新安装
这里是自己安装zookeeper 参考下面
https://www.cnblogs.com/zk1023/p/10865237.html
在重新装个jdk
1.下载kafka
[root@zsls local]# cd /usr/local/src/
[root@zsls src]# wget http://mirror.bit.edu.cn/apache/kafka/2.3.1/kafka_2.11-2.3.1.tgz
2.解压压缩包
[root@zsls src]# tar -zxvf kafka_2.11-2.3.1.tgz -C /usr/local/
3.修改配置
[root@zsls kafka_2.11-2.3.1]# cd /usr/local/kafka_2.11-2.3.1/config/
[root@zsls config]# vim server.properties
//这是这台虚拟机上的值,在另外两台虚拟机上应该是2或者3,这个值是唯一的,每台虚拟机或者叫服务器不能相同
broker.id=1
//设置本机IP和端口:这个IP地址也是与本机相关的,每台服务器上设置为自己的IP地址,端口号默认是9092,可以自己设置其他的 listeners=PLAINTEXT://192.168.93.116:9092
//在log.retention.hours=168下面新增下面三项
message.max.byte=5242880
// 单机版 复制因子默认1 如果是集群的化根据情况配置
default.replication.factor=1
replica.fetch.max.bytes=5242880
//指定日志位置
log.dirs=/data/kafka-logs
//设置日志删除
log.cleanup.polict=delete
log.segment.delete.delay.ms=1000
log.cleanup.interval.mins=1
log.retention.check.interval.ms=1000
//设置zookeeper的连接端口,zookeeper.connect可以设置多个值,多个值之间用逗号分隔
zookeeper.connect=192.168.93.110:2181
=======================配置参数详解===============================
broker.id=0 #当前机器在集群中的唯一标识,和zookeeper的myid性质一样
port=9092 #当前kafka对外提供服务的端口默认是9092
host.name=192.168.93.110
#这个参数默认是关闭的,在0.8.1有个bug,DNS解析问题,失败率的问题。
num.network.threads=3 #这个是borker进行网络处理的线程数
num.io.threads=8 #这个是borker进行I/O处理的线程数
log.dirs=/data/kafka-logs #消息存放的目录,这个目录可以配置为“,”逗号分割的表达式,上面的num.io.threads要大于这个目录的个数这个目录,如果配置多个目录,新创建的topic他把消息持久化的地方是,当前以逗号分割的目录中,那个分区数最少就放那一个
socket.send.buffer.bytes=102400 #发送缓冲区buffer大小,数据不是一下子就发送的,先回存储到缓冲区了到达一定的大小后在发送,能提高性能
socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小,当数据到达一定大小后在序列化到磁盘
socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数,这个值不能超过java的堆栈大小
num.partitions=1 #默认的分区数,一个topic默认1个分区数
log.retention.hours=168 #默认消息的最大持久化时间,168小时,7天
message.max.byte=5242880 #消息保存的最大值5M
default.replication.factor=2 #kafka保存消息的副本数,如果一个副本失效了,另一个还可以继续提供服务
replica.fetch.max.bytes=5242880 #取消息的最大直接数
log.segment.bytes=1073741824 #这个参数是:因为kafka的消息是以追加的形式落地到文件,当超过这个值的时候,kafka会新起一个文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间(log.retention.hours=168 ),到目录查看是否有过期的消息如果有,删除
log.cleaner.enable=false #是否启用log压缩,一般不用启用,启用的话可以提高性能
zookeeper.connect=192.168.93.110:12181,192.168.93.111:12181,192.168.93.112:1218
#设置zookeeper的连接端口
advertised.listeners:发布到ZooKeeper上供客户端使用的监听器,若未配置,则使用配置的listeners属性
listeners:逗号分隔的需要监听的URL和协议
# 允许外部端口连接
listeners=PLAINTEXT://0.0.0.0:9092 协议://<公网 ip>:端口(或者 0.0.0.0:端口)
# 外部代理地址
advertised.listeners=PLAINTEXT://192.168.93.110:9092 协议://<宿主机ip>:<宿主机暴露的端口>
=======================配置参数详解===============================
4.启动
# cd /usr/local/kafka_2.11-2.3.1/bin/
# ./kafka-server-start.sh -daemon ../config/server.properties
5.创建topic来验证是否启动成功
[root@zsls bin]# ./kafka-topics.sh --create --zookeeper 192.168.93.110:2181 --replication-factor 1 --partitions 1 --topic my-topic
利用list命令列出所有创建了的topics,来产看刚才创建的topic是否存在
[root@zsls bin]#
./kafka-topics.sh --list --zookeeper 192.168.93.110
:2181
创建 producer(生产者): 测试生产消息
[root@zsls bin]# ./kafka-console-producer.sh --broker-list 192.168.93.116:9092 --topic my-topic
创建 consumer(消费者): 测试消费
[root@zsls bin]# ./kafka-console-consumer.sh --bootstrap-server 192.168.93.116:9092 -topic my-topic --from-beginning
删除 topic
[root@zsls bin]#
.
/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test
//外部访问 开通端口
firewall-cmd --zone=public --add-port=9092/tcp --permanent
firewall-cmd --reload
//程序代码中如果需要kafka的groupId 这个是在Kafka安装目录的配置文件的comsume.properties里面配置
spring.kafka.consumer.group-id=test-consumer-group