kafka:安裝和命令行使用


在講kafka使用之前,可以簡要介紹一下安裝local版本

  • 在linux下安裝本地版(localhost):

1. 首先下載 kafka:http://kafka.apache.org/downloads

2. 其次解壓(命令:tar -xzf kafka_2.12-2.6.0.tgz)到某個文件夾下,假設選的版本是 kafka_2.12-2.6.0.tgz,解壓之后得到文件夾:kafka_2.12-2.6.0

3. cd kafka_2.12-2.6.0 即可開始使用kafka命令(主要命令全在該文件夾的bin目錄下,例如創建topic,生產messgae,消費數據等)

  • windows下:

kafka在windows下的安裝可以參考:https://www.cnblogs.com/coloz/p/10487679.html 和 https://www.cnblogs.com/wdfordream/p/7325315.html,非常詳細。

注意:目前版本的kafka安裝后,已經不需要再安裝zookeeper;其次使用kafka必須安裝 java 8,所以要先下載和安裝 java jdk。

kafka使用步驟

1. 開啟zookeeper服務
2. 開啟kafka服務
3. 創建topic
4. 生產或者消費message流數據

kafka使用命令:

windows下:

1. 查看 consumer-group (老版用zookeeper參數,新版用bootstrap-server)
cd Program_Files\kafka_2.12-2.6.0
.\bin\windows\kafka-consumer-groups.bat --bootstrap-server localhost:9092 --list

2. 查看topics列表
cd Program_Files\kafka_2.12-2.6.0
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

3. 刪除topic
cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka
-topics.bat --delete --zookeeper localhost:2181 --topic test_topic 如果kafaka啟動時加載的配置文件中server.properties沒有配置delete.topic.enable=true,那么此時的刪除並不是真正的刪除,而是把topic標記為:marked for deletion 4. 查看consumer-group詳情:使用--group與--describe參數 (老版用zookeeper參數,新版用bootstrap-server) cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-consumer-groups.bat --bootstrap-server localhost:9092 --group console-consumer-52402 --describe
(console
-consumer-52402: 消費者組名) 5. 查看某個topic詳細信息 cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-topics.bat --zookeeper localhost:2181 --topic test_topic --describe 6. 開啟 zookeeper cmd zkserver 7. 創建 topics cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test_topic 8. 開啟kafka (目錄不能太深) cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-server-start.bat .\config\server.properties 9. 進入生產者進程: cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test_topic 10. 進入消費者進程: cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test_topic --from-beginning .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test_topic(默認從latest)

linux下使用與此類似,只不過是 sh命令:參考

例如:

1. 開啟kafka
cd kafka_2.12-2.6.0
bin/kafka-server-start.sh config/server.properties

2. 開啟zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties

3. 創建topic
bin/kafka-topics.sh --create --topic test_topic --bootstrap-server localhost:9092

4. 詳細查看topic
bin/kafka-topics.sh --describe --topic test_topic --bootstrap-server localhost:9092

5. 進入生產者,產生消息
bin/kafka-console-producer.sh --topic test_topic --bootstrap-server localhost:9092

6. 消費message
bin/kafka-console-consumer.sh --topic test_topic --from-beginning --bootstrap-server localhost:9092

#

參考:

http://kafka.apache.org/quickstart


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM