應用摘要:
Apache kafka是由Apache軟件基金會開發的一個開源流處理平台,由Scala和Java編寫。Kafka是一種高吞吐量的
分布式發布訂閱消息系統,是消息中間件的一種,用於構建實時數據管道和流應用程序,很火!
Kafka官網:http://kafka.apache.org/
學習推薦 :http://orchome.com/kafka/index
官網下載 :http://kafka.apache.org/downloads
安裝環境:
Kafka集群環境搭建,需要准備好一個zookeeper環境(集群),zk集群部署:>> 點擊這里 <<

說明:kafka名中的2.12是Scala語言版本,后面的0.11.0.2是kafka版本,端口默認為9092。

2. 編輯配置文件
進入到config目錄,編輯配置文件:server.properties
[root@server-1 config]# vim server.properties
其他配置可以保持默認,保持,退出;
參數說明可以參考:http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831
同樣的操作在server-2和server-3上修改一下broker.id和host.name,不再贅述。
3. 啟動Kafka
切換到bin目錄中,查看相關腳本:
[root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties // -daemon:以后台方式啟動
查看9092端口狀態,確保服務已經啟動;
同樣的,啟動server-2和server-3:
[root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
至此,kafka安裝啟動完成。
關閉命令: [root@server-1 bin]# ./kafka-server-stop.sh //不帶任何參數即可
4. 檢查測試
在上一篇部署zookeeper集群的時候提到連接kafka使用的時候,里面除了zookeeper之外還有其他內容,來查看一下。
登錄zookeeper(切換到zk的bin目錄下),先連接zk:
[root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181
[zk: 192.168.1.21:2181(CONNECTED) 2] ls / cluster controller controller_epoch brokers zookeeper admin isr_change_notification consumers latest_producer_id_block config [zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers [ids, topics, seqid] [zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids [1, 2, 3] [zk: 192.168.1.21:2181(CONNECTED) 4]
說明:zookeeper集群建好之后,通過“ls /”出來的只有zookeeper,連接kafka使用后,/ 下面多了不少東西,其中通過查看/brokers/ids可以
發現已經檢查到了已經安裝的三台kafka的broker.id[1,2,3]。
具體Kafka常見操作見下一篇:kafka命令行常見使用
結束.