先簡單說下安裝kafka的流程。。(可配置多個zookeeper,這篇文只說一個zookeeper場景)
1.環境配置:jdk1.7+ (LZ用的是jdk1.8)
2.資料准備:下載 kafka_2.10-0.10.1.1.tgz ,官網鏈接為https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz
3.單機版安裝步驟:
a.將tgz放入目錄: /app/
b.解壓:
tar -xzvf kafka_2.10-0.10.1.1.tgz
c.修改配置:(暫時可不修改)
d.啟動zookeeper:在kafka文件夾下操作命令
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &
e.驗證啟動狀態: jps,出現紅色尖頭部分表示啟動成功
f.啟動kafka
bin/kafka-server-start.sh -daemon config/server.properties &
g.驗證kafka啟動狀態: jps
h.創建topic,名為slavetest
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic slavetest
i.topic為slavetest ,生產數據
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic slavetest
j.另打開一個終端連接操作,消費數據
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic slavetest --from-beginning
k.驗證(Producer-Consumer)
l.End
4.分布式版安裝步驟:
與單機版不同的是在於
注意事項
1.修改配置:config/server.properties
a.master節點上
broker.id=0 zookeeper.connect=master:2181
b.slave節點上
broker.id=1 zookeeper.connect=master:2181
2.slave不啟動zk,可直接啟動kafka
3.slave節點上開啟消費命令時將localhost改為master
bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic slavetest --from-beginning
驗證:
1.master 節點生產者
2.master節點上消費者
3.slave節點上消費者