centos7下kafka集群安裝部署


應用摘要: 

Apache kafka是由Apache軟件基金會開發的一個開源流處理平台,由Scala和Java編寫。Kafka是一種高吞吐量的

分布式發布訂閱消息系統,是消息中間件的一種,用於構建實時數據管道和流應用程序,很火!

          Kafka官網:http://kafka.apache.org/

          學習推薦  :http://orchome.com/kafka/index

          官網下載  :http://kafka.apache.org/downloads

 

安裝環境

Kafka集群環境搭建,需要准備好一個zookeeper環境(集群),zk集群部署:>> 點擊這里 <<

說明:kafka名中的2.12是Scala語言版本,后面的0.11.0.2是kafka版本,端口默認為9092。


安裝步驟
 
  1.下載kafka並解壓
    [root@server-1 ~]# tar zxvf kafka_2.12-0.11.0.2.tgz -C /opt/ 
  
   

 2. 編輯配置文件

  進入到config目錄,編輯配置文件:server.properties

   [root@server-1 config]# vim server.properties 

  

  

  

  

  其他配置可以保持默認,保持,退出;

  參數說明可以參考http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831

  同樣的操作在server-2和server-3上修改一下broker.id和host.name,不再贅述。

 

 3. 啟動Kafka

  切換到bin目錄中,查看相關腳本:

  

  

   [root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties     // -daemon:以后台方式啟動

  查看9092端口狀態,確保服務已經啟動;

  同樣的,啟動server-2和server-3:

   [root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

   [root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

   至此,kafka安裝啟動完成。

  關閉命令: [root@server-1 bin]# ./kafka-server-stop.sh     //不帶任何參數即可

 

 4. 檢查測試

    在上一篇部署zookeeper集群的時候提到連接kafka使用的時候,里面除了zookeeper之外還有其他內容,來查看一下。

  登錄zookeeper(切換到zk的bin目錄下),先連接zk:

   [root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181 

 [zk: 192.168.1.21:2181(CONNECTED) 2] ls /          

 cluster                    controller                 controller_epoch           brokers
 zookeeper                  admin                      isr_change_notification    consumers
 latest_producer_id_block   config
 [zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers
 [ids, topics, seqid]
 [zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids
 [1, 2, 3]
 [zk: 192.168.1.21:2181(CONNECTED) 4] 

  說明:zookeeper集群建好之后,通過“ls /”出來的只有zookeeper,連接kafka使用后,/ 下面多了不少東西,其中通過查看/brokers/ids可以

     發現已經檢查到了已經安裝的三台kafka的broker.id[1,2,3]。

 

 具體Kafka常見操作見下一篇kafka命令行常見使用 

 

結束.

 
 
 
 
 
 
 
 
 
 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM