centos7下kafka集群安裝部署

應用摘要： 

Apache kafka是由Apache軟件基金會開發的一個開源流處理平台，由Scala和Java編寫。Kafka是一種高吞吐量的

分布式發布訂閱消息系統，是消息中間件的一種，用於構建實時數據管道和流應用程序，很火！

　　　　　　　　　　Kafka官網：http://kafka.apache.org/

　　　　　　　　　　學習推薦  ：http://orchome.com/kafka/index

　　　　　　　　　　官網下載  ：http://kafka.apache.org/downloads

 

安裝環境：

Kafka集群環境搭建，需要准備好一個zookeeper環境（集群），zk集群部署：>> 點擊這里 <<

說明：kafka名中的2.12是Scala語言版本，后面的0.11.0.2是kafka版本，端口默認為9092。

安裝步驟：

 

　 1.下載kafka並解壓

　　  [root@server-1 ~]# tar zxvf kafka_2.12-0.11.0.2.tgz -C /opt/ 

　　

 　　

　2. 編輯配置文件

　　進入到config目錄，編輯配置文件：server.properties

　　 [root@server-1 config]# vim server.properties 

　　

　　

　　

　　

　　其他配置可以保持默認，保持，退出；

　　參數說明可以參考：http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831

　　同樣的操作在server-2和server-3上修改一下broker.id和host.name，不再贅述。

 

　3. 啟動Kafka

　　切換到bin目錄中，查看相關腳本：

　　

　　

　　 [root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 　　　　// -daemon：以后台方式啟動

　　查看9092端口狀態，確保服務已經啟動；

　　同樣的，啟動server-2和server-3:

　　 [root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

　　 [root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

 　　至此，kafka安裝啟動完成。

　　關閉命令： [root@server-1 bin]# ./kafka-server-stop.sh 　　　　//不帶任何參數即可

 

　4. 檢查測試

　　　　在上一篇部署zookeeper集群的時候提到連接kafka使用的時候，里面除了zookeeper之外還有其他內容，來查看一下。

　　登錄zookeeper（切換到zk的bin目錄下），先連接zk：

　　 [root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181 

　[zk: 192.168.1.21:2181(CONNECTED) 2] ls /          

　cluster                    controller                 controller_epoch           brokers
　zookeeper                  admin                      isr_change_notification    consumers
　latest_producer_id_block   config
　[zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers
　[ids, topics, seqid]
　[zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids
　[1, 2, 3]
　[zk: 192.168.1.21:2181(CONNECTED) 4] 

　　說明：zookeeper集群建好之后，通過“ls /”出來的只有zookeeper，連接kafka使用后，/ 下面多了不少東西，其中通過查看/brokers/ids可以

　　　　　發現已經檢查到了已經安裝的三台kafka的broker.id[1,2,3]。

　

　具體Kafka常見操作見下一篇：kafka命令行常見使用　

 

結束.