CentOS7 搭建Kafka（二）kafka篇

前面我們說了zookeeper的搭建，zookeeper運行后就可以着手搭建kafka了。

必看

喜歡官方文檔的請移步：[http://kafka.apache.org/documentation.html]

寫的比我好的多請移步：[https://www.cnblogs.com/luotianshuai/p/5206662.html]

比較完整的教程請移步：[https://www.w3cschool.cn/apache_kafka/apache_kafka_introduction.html]

安裝

官方的下載頁有source和binary兩個版本，這里下載的binary，source版本你得自己編譯后才能用。

wget -c http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
tar -zxvf kafka_2.11-1.1.0.tgz
mv kafka_2.11-1.1.0 /opt/kafka_1.1
cd /opt/kafka_1.1

配置

kafak的配置文件在/opt/kafka_1.1/config下叫server.propertie，釋義如下：

broker.id=0  #當前機器在集群中的唯一標識，和zookeeper的myid性質一樣，但是不管你怎么配，別配0就是，不然創建Topic的時候回報錯。
port=19092 #當前kafka對外提供服務的端口默認是9092
host.name=192.168.7.100 #這個參數默認是關閉的，在0.8.1有個bug，DNS解析問題，失敗率的問題。
num.network.threads=3 #這個是borker進行網絡處理的線程數
num.io.threads=8 #這個是borker進行I/O處理的線程數
log.dirs=/opt/kafka/kafkalogs/ #消息存放的目錄，這個目錄可以配置為“，”逗號分割的表達式，上面的num.io.threads要大於這個目錄的個數這個目錄，如果配置多個目錄，新創建的topic他把消息持久化的地方是，當前以逗號分割的目錄中，那個分區數最少就放那一個
socket.send.buffer.bytes=102400 #發送緩沖區buffer大小，數據不是一下子就發送的，先回存儲到緩沖區了到達一定的大小后在發送，能提高性能
socket.receive.buffer.bytes=102400 #kafka接收緩沖區大小，當數據到達一定大小后在序列化到磁盤
socket.request.max.bytes=104857600 #這個參數是向kafka請求消息或者向kafka發送消息的請請求的最大數，這個值不能超過java的堆棧大小
num.partitions=1 #默認的分區數，一個topic默認1個分區數
log.retention.hours=168 #默認消息的最大持久化時間，168小時，7天
message.max.byte=5242880  #消息保存的最大值5M
default.replication.factor=2  #kafka保存消息的副本數，如果一個副本失效了，另一個還可以繼續提供服務
replica.fetch.max.bytes=5242880  #取消息的最大直接數
log.segment.bytes=1073741824 #這個參數是：因為kafka的消息是以追加的形式落地到文件，當超過這個值的時候，kafka會新起一個文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去檢查上面配置的log失效時間（log.retention.hours=168 ），到目錄查看是否有過期的消息如果有，刪除
log.cleaner.enable=false #是否啟用log壓縮，一般不用啟用，啟用的話可以提高性能
zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:1218 #設置zookeeper的連接端口

實際上需要修改的就幾個：

broker.id=133  #每台服務器的broker.id都不能相同
host.name=192-168-253-133 #主機名
listeners=PLAINTEXT://192.168.253.133:9092 #監聽地址

#在log.retention.hours=168 下追加
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880

#設置zookeeper的連接端口
zookeeper.connect=192.168.253.133:12181

啟動命令：

/opt/kafka_1.1/bin/kafka-server-start.sh -daemon /opt/kafka_1.1/config/server.properties

當kafka啟動成功后，在終端上輸入“jps”，會得到相應如下：

7253 Jps
5850 ZooKeeperMain
6076 QuorumPeerMain
6093 Kafka

QuorumPeerMain是zookeeper的守護進程，kafka是kafka的守護進程。

常用命令

• 創建主題

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MyTopic

• 列出主題

bin/kafka-topics.sh --list --zookeeper localhost:2181

• 運行producer

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MyTopic

• 運行consumer

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic MyTopic --from-beginning