在講kafka使用之前,可以簡要介紹一下安裝local版本:
- 在linux下安裝本地版(localhost):
1. 首先下載 kafka:http://kafka.apache.org/downloads
2. 其次解壓(命令:tar -xzf kafka_2.12-2.6.0.tgz)到某個文件夾下,假設選的版本是 kafka_2.12-2.6.0.tgz,解壓之后得到文件夾:kafka_2.12-2.6.0
3. cd kafka_2.12-2.6.0 即可開始使用kafka命令(主要命令全在該文件夾的bin目錄下,例如創建topic,生產messgae,消費數據等)
- windows下:
kafka在windows下的安裝可以參考:https://www.cnblogs.com/coloz/p/10487679.html 和 https://www.cnblogs.com/wdfordream/p/7325315.html,非常詳細。
注意:目前版本的kafka安裝后,已經不需要再安裝zookeeper;其次使用kafka必須安裝 java 8,所以要先下載和安裝 java jdk。
kafka使用步驟:
1. 開啟zookeeper服務 2. 開啟kafka服務 3. 創建topic 4. 生產或者消費message流數據
kafka使用命令:
windows下:
1. 查看 consumer-group (老版用zookeeper參數,新版用bootstrap-server) cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-consumer-groups.bat --bootstrap-server localhost:9092 --list 2. 查看topics列表 cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181 3. 刪除topic
cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-topics.bat --delete --zookeeper localhost:2181 --topic test_topic 如果kafaka啟動時加載的配置文件中server.properties沒有配置delete.topic.enable=true,那么此時的刪除並不是真正的刪除,而是把topic標記為:marked for deletion 4. 查看consumer-group詳情:使用--group與--describe參數 (老版用zookeeper參數,新版用bootstrap-server) cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-consumer-groups.bat --bootstrap-server localhost:9092 --group console-consumer-52402 --describe
(console-consumer-52402: 消費者組名) 5. 查看某個topic詳細信息 cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-topics.bat --zookeeper localhost:2181 --topic test_topic --describe 6. 開啟 zookeeper cmd zkserver 7. 創建 topics cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test_topic 8. 開啟kafka (目錄不能太深) cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-server-start.bat .\config\server.properties 9. 進入生產者進程: cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test_topic 10. 進入消費者進程: cd Program_Files\kafka_2.12-2.6.0 .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test_topic --from-beginning .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test_topic(默認從latest)
linux下使用與此類似,只不過是 sh命令:參考。
例如:
1. 開啟kafka cd kafka_2.12-2.6.0 bin/kafka-server-start.sh config/server.properties 2. 開啟zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 3. 創建topic bin/kafka-topics.sh --create --topic test_topic --bootstrap-server localhost:9092 4. 詳細查看topic bin/kafka-topics.sh --describe --topic test_topic --bootstrap-server localhost:9092 5. 進入生產者,產生消息 bin/kafka-console-producer.sh --topic test_topic --bootstrap-server localhost:9092 6. 消費message bin/kafka-console-consumer.sh --topic test_topic --from-beginning --bootstrap-server localhost:9092
#
參考:
http://kafka.apache.org/quickstart
