項目路徑:https://github.com/zhaopeng01/springboot-study/tree/master/study_14
序言
Kafka 是一種高吞吐的分布式發布訂閱消息系統，能夠替代傳統的消息隊列用於解耦合數據處理，緩存未處理消息等，同時具有更高的吞吐率，支持分區、多副本、冗余，因此被廣泛用於大規模消息數據處理應用
在整合過程中注意SpringBoot版本是否與kafka版本兼容
安裝kafka
在這里介紹的是mac安裝,win兄弟們可以在下面地址下載
下載地址: http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
安裝
brew install kafka
安裝會依賴zookeeper。
注意：安裝目錄：/usr/local/Cellar/kafka/0.10.2.0
安裝的配置文件位置
/usr/local/etc/kafka/server.properties /usr/local/etc/kafka/zookeeper.properties
啟動zookeeper
zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties
啟動kafka
kafka-server-start /usr/local/etc/kafka/server.properties
創建topic
讓我們使用單個分區和只有一個副本創建一個名為“test”的主題
kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
注意：docker下面命令后面加上.sh，如kafka-topics.sh ；另外localhost用宿主機的ip地址
查看創建的topic
我們現在可以看到該主題，如果我們運行list topic命令：
kafka-topics --list --zookeeper localhost:2181
發送一些消息
Kafka提供了一個命令行客戶端，它將從文件或標准輸入接收輸入，並將其作為消息發送到Kafka集群。默認情況下，每行都將作為單獨的消息發送。
運行生產者，然后在控制台中鍵入一些消息發送到服務器。
kafka-console-producer --broker-list localhost:9092 --topic test
消費消息
Kafka還有一個命令行消費者，將消息轉儲到標准輸出。
kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning
然后也可以根據自己的業務邏輯需求去自定義一些其他的異常類,或者結合自己的邏輯去改造一些
刪除topic
這里還是刪除上面的test
刪除kafka相關的數據目錄
數據目錄查看kafka配置：
server.properties -> log.dirs=/var/kafka/log/tmp su rm -r /var/kafka/log/tmp/test*
刪除kafka topic
/home/kafka/bin/kafka-topics.sh --delete --zookeeper HadoopMaster:2181/kafka --topic test
刪除zookeeper相關的路徑
打開zookeeper client
/home/ZooKeeper/bin/zkCli.sh
執行下面的命令
把test替換成你要刪除的topic
#刪除topic test的consumer group，如果有消費記錄的話
rmr /kafka/consumers/test-group rmr /kafka/config/topics/test rmr /kafka/brokers/topics/test rmr /kafka/admin/delete_topics/test
重啟zookeeper和kafka可以用下面命令查看相關的topic還在不在：
/home/kafka/bin/kafka-topics.sh --list --zookeeper HadoopMaster:2181/kafka
好的到這里本篇文章就先到此了,如果那里有不合適的地方還請大家多多指教,寫這篇博的目的主要就是為了方便自己以后的一個回憶和朋友學習時的一個參考,希望為大家可以帶來幫助 ~ ~&
虛心的去學習,自信的去工作~
---------------------
作者：Strugglein
來源：CSDN
原文：https://blog.csdn.net/Strugglein/article/details/86736753
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！