大數據系列之Kafka安裝


先簡單說下安裝kafka的流程。。(可配置多個zookeeper,這篇文只說一個zookeeper場景)

1.環境配置:jdk1.7+ (LZ用的是jdk1.8)

2.資料准備:下載 kafka_2.10-0.10.1.1.tgz ,官網鏈接為https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz

3.單機版安裝步驟:

  a.將tgz放入目錄: /app/ 

  b.解壓:

tar -xzvf kafka_2.10-0.10.1.1.tgz 

 

  c.修改配置:(暫時可不修改)

  d.啟動zookeeper:在kafka文件夾下操作命令

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties & 

  e.驗證啟動狀態: jps,出現紅色尖頭部分表示啟動成功

  f.啟動kafka

bin/kafka-server-start.sh -daemon config/server.properties &  

   g.驗證kafka啟動狀態: jps

  h.創建topic,名為slavetest

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic slavetest                      

 

  

  i.topic為slavetest ,生產數據

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic slavetest

 

  j.另打開一個終端連接操作,消費數據

 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic slavetest --from-beginning

   k.驗證(Producer-Consumer)

  l.End

 

4.分布式版安裝步驟:

  與單機版不同的是在於

  注意事項

  1.修改配置:config/server.properties

    a.master節點上

  

broker.id=0
zookeeper.connect=master:2181

     b.slave節點上

 

broker.id=1
zookeeper.connect=master:2181

  2.slave不啟動zk,可直接啟動kafka

 3.slave節點上開啟消費命令時將localhost改為master

bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic slavetest --from-beginning                  

 驗證:

1.master 節點生產者

  

2.master節點上消費者

3.slave節點上消費者


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM