MAC
1 使用brew工具來安裝,只需要一條命令就完成了下載和安裝的過程
brew install kafka
安裝完成后可以看到Kafka安裝的路徑和配置文件路徑
/usr/local/Cellar/kafka/3.1.0
/usr/local/etc/kafka/
2 啟動Kafka依賴zookeeper
而Kafka中默認有一個單機版的zookeeper。實際生產部署中不推薦使用默認的zookeeper
2.1 啟動zookeeper
在kafka的安裝目錄下,執行腳本啟動zookeeper
cd /usr/local/Cellar/kafka/3.1.0
bin/zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties
2.2 啟動Kafka
新開一個控制窗口,在Kafka安裝目錄下,執行腳本啟動kafka
cd /usr/local/Cellar/kafka/3.1.0
bin/kafka-server-start /usr/local/etc/kafka/server.properties
2.3 停止kafka
cd /usr/local/Cellar/kafka/3.1.0
bin/kafka-server-start /usr/local/etc/kafka/server.properties
3 測試
3.1 首先創建一個主題(topic)
在Kafka安裝目錄下,創建一個主題
cd /usr/local/Cellar/kafka/3.1.0
bin/kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
bin/kafka-topics --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test(2.2 及更高版本)
查看是否成功創建主題,獲取Kafka服務器中的主題列表
bin/kafka-topics --list --zookeeper localhost:2181
bin/kafka-topics --list --bootstrap-server localhost:9092(2.2 及更高版本)
3.2 生產消費測試
新開一個窗口,創建一個生產者:
bin/kafka-console-producer --broker-list localhost:9092 --topic test
新開一個窗口,創建一個消費者:
kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning
然后用生產者發送消息,消費者就可以消費到數據了。
liunx
1 下載安裝包
我用的版本是:kafka_2.12-3.1.0,有需要可以分享我的版本
鏈接: https://pan.baidu.com/s/1woVx-klVlmYllYm406cl6A?pwd=8pri 提取碼: 8pri
2 安裝zookeeper
3 啟動kafka
啟動
nohup ./bin/kafka-server-start.sh config/server.properties >>/software/kafka/kafka.log 2>& 1 &
停止
./bin/kafka-server-stop.sh config/server.properties
4 kafka常用命令
4.1 TOPIC的操作
創建topic
./kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1 --topic test
查看topic
./kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092
4.2 生產消費消息
發送消息
./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
消費消息
從最后一條消息的偏移量+1開始消費
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test
從頭開始消費
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --from-beginning --topic test
4.3 查看kafka的版本號
進入kafka的安裝路徑下面,執行
find ./libs/ -name *kafka_* | head -1 | grep -o '\kafka[^\n]*'

問題
問題一:報錯 "Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recognized"
解決方案:
在較新版本(2.2 及更高版本)的 Kafka 不再需要 ZooKeeper 連接字符串,即- -zookeeper localhost:2181。使用 Kafka Broker的 --bootstrap-server localhost:9092來替代- -zookeeper localhost:2181。
問題二:遠程連接不上新安裝的Kafka(https://blog.csdn.net/an_vana/article/details/107821801)
1 可以檢查防火牆
2 默認的 kafka 配置是無法遠程訪問的,修改kafka安裝目錄下的config/server.properties
注意必須是 ip,不能是 hostname 例如:advertised.listeners=PLAINTEXT://192.168.225.215:9092
kafka的使用:https://blog.csdn.net/weixin_45830561/article/details/123451963