Linux下kafka集群的搭建


上一篇日志已經搭建好了zookeeper集群,詳細請查看:http://www.cnblogs.com/lianliang/p/6533670.html,接下來繼續搭建kafka的集群

1、首先下載kafka的gz包:http://kafka.apache.org/downloads

解壓到/opt/soft/kafka/目錄下,解壓之后並創建文件夾logs,用於存在kafka的日志文件

進入到kafka/config的目錄下,修改配置文件,vim  server.properties,需要修改的配置是:

#每台服務器的broker.id都不能相同

broker.id=0   

#在log.retention.hours=168 后新增下面三項

message.max.byte=5242880

default.replication.factor=1

replica.fetch.max.bytes=5242880

#設置zookeeper的連接端口

zookeeper.connect=master:2181,slave1:2181

#日志文件的目錄,設置成剛剛創建的logs目錄

log.dirs=/opt/soft/kafka/logs/

注意:salve1中的broker.id為1

修改完成之后保存,退出

2、啟動kafka集群:

執行啟動命令:kafka_2.11-0.10.1.1/bin/kafka-server-start.sh -daemon kafka_2.11-0.10.1.1/config/server.properties

然后執行命令:JPS,如果打印

5709  Kafka
2850  QuorumPeerMain
6056  Jps

說明kafka啟動成功

3、接下來測試能否生產和消費消息

創建一個topic:bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic lian

查看topic:bin/kafka-topics.sh --list --zookeeper master:2181,如果能查看剛創建的topic說明創建topic成功

打開生產者客戶端:bin/kafka-console-producer.sh --broker-list master:9092 --topic lian

在控制台中隨便輸入一行數據:This is a message

到slave1機器上打開一個消費者客戶端:bin/kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic lian --from-beginning

如果能收到剛剛輸入的字符串:This is a message,說明集群搭建成功!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM