KaFka 安裝與基本使用


學了有一段時間的大數據了,學習新的組件,大部分安裝可以分為三步:上傳解壓,配置文件,啟動。

分享一下我的kafka安裝包:

  鏈接:https://pan.baidu.com/s/1fbydwZwcYyi2saYozit0nA
  提取碼:w4oc

 

1、上傳解壓

 

 

2、進入到 /usr/local/soft/kafka_2.10-0.8.2.2/config 目錄下,修改server.properties文件

 

 

3、因為Kafka是去中心化的,所以我們需要在每一台節點上都要有

修改上面配置文件中的兩個信息:

(1)brokers.id

 

 (2)zookeeper

 

 

4、scp到每個節點,並且修改broker.id

 

5、先每個節點啟動zookeeper 

 

6、每個節點上啟動kafka

  nohup /usr/local/soft/kafka_2.10-0.8.2.2/bin/kafka-server-start.sh /usr/local/soft/kafka_2.10-0.8.2.2/config/server.properties >>/usr/local/soft/kafka_2.10-0.8.2.2/logs/start.log 2>&1 &

 

7、查看進程

 

 

8、創建topic

--replication-factor ---每一個分區的副本數量
--partition --分區數

kafka-topics.sh --create --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --replication-factor 4 --partitions 4 --topic flume

kafka-topics.sh --create --zookeeper Linux:2181,Linux1:2181,Linux2:2181 --replication-factor 3 --partitions 3 --topic topic


9、查看topic描述信息
kafka-topics.sh --describe --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --topic topic

kafka-topics.sh --describe --zookeeper Linux:2181,Linux1:2181,Linux2:2181 --topic topic

10、獲取所有topic
kafka-topics.sh --list --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181
kafka-topics.sh --list --zookeeper Linux:2181,Linux1:2181,Linux2:2181

11、創建控制台生產者
kafka-console-producer.sh --broker-list testmaster:9092,testnode1:9092,testnode2:9092,testnode3:9092 --topic topic

kafka-console-producer.sh --broker-list Linux:9092,Linux1:9092,Linux2:9092 --topic topic

12、創建控制台消費者 --from-beginning 從頭消費
kafka-console-consumer.sh --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --from-beginning --topic topic
kafka-console-consumer.sh --zookeeper Linux:2181,Linux1:2181,Linux2:2181 --from-beginning --topic topic

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --topic topic

kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic topic

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM