Liunx&mac上安裝Kafka


MAC
1 使用brew工具來安裝,只需要一條命令就完成了下載和安裝的過程  
  brew install kafka
  
  安裝完成后可以看到Kafka安裝的路徑和配置文件路徑
  /usr/local/Cellar/kafka/3.1.0
  /usr/local/etc/kafka/

2 啟動Kafka依賴zookeeper  
  而Kafka中默認有一個單機版的zookeeper。實際生產部署中不推薦使用默認的zookeeper

  2.1 啟動zookeeper
  在kafka的安裝目錄下,執行腳本啟動zookeeper
  cd /usr/local/Cellar/kafka/3.1.0
  bin/zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties
      
  2.2 啟動Kafka
  新開一個控制窗口,在Kafka安裝目錄下,執行腳本啟動kafka
  cd /usr/local/Cellar/kafka/3.1.0
  bin/kafka-server-start /usr/local/etc/kafka/server.properties
    
  2.3 停止kafka
  cd /usr/local/Cellar/kafka/3.1.0
  bin/kafka-server-start /usr/local/etc/kafka/server.properties
3 測試  
  3.1 首先創建一個主題(topic)
  在Kafka安裝目錄下,創建一個主題
  cd /usr/local/Cellar/kafka/3.1.0

  bin/kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
  bin/kafka-topics --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test(2.2 及更高版本)
  查看是否成功創建主題,獲取Kafka服務器中的主題列表
  bin/kafka-topics --list --zookeeper localhost:2181
  bin/kafka-topics --list --bootstrap-server localhost:9092(2.2 及更高版本)

  3.2 生產消費測試
  新開一個窗口,創建一個生產者:
  bin/kafka-console-producer --broker-list localhost:9092 --topic test
  新開一個窗口,創建一個消費者:
  kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning
  然后用生產者發送消息,消費者就可以消費到數據了。

liunx 

1 下載安裝包
  我用的版本是:
kafka_2.12-3.1.0,有需要可以分享我的版本
  鏈接: https://pan.baidu.com/s/1woVx-klVlmYllYm406cl6A?pwd=8pri 提取碼: 8pri
2 安裝zookeeper

3 啟動kafka
  啟動
  nohup ./bin/kafka-server-start.sh config/server.properties >>/software/kafka/kafka.log 2>& 1 &
  停止
  ./bin/kafka-server-stop.sh config/server.properties
4 kafka常用命令
  4.1 TOPIC的操作
  創建topic
  ./kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1 --topic test
  查看topic
  ./kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092
  
  4.2 生產消費消息
  發送消息
  ./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
 
  消費消息
  從最后一條消息的偏移量+1開始消費
  ./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test
  從頭開始消費
  ./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --from-beginning --topic test
 
  4.3 查看kafka的版本號
  進入kafka的安裝路徑下面,執行
  find ./libs/ -name *kafka_* | head -1 | grep -o '\kafka[^\n]*'
   0

問題

  問題一:報錯 "Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recognized"

  解決方案:
  在較新版本(2.2 及更高版本)的 Kafka 不再需要 ZooKeeper 連接字符串,即- -zookeeper localhost:2181。使用 Kafka Broker的 --bootstrap-server localhost:9092來替代- -zookeeper localhost:2181。

  
問題二:遠程連接不上新安裝的Kafkahttps://blog.csdn.net/an_vana/article/details/107821801
    1 可以檢查防火牆
    2 默認的 kafka 配置是無法遠程訪問的,修改kafka安裝目錄下的config/server.properties
     注意必須是 ip,不能是 hostname  例如:advertised.listeners=PLAINTEXT://192.168.225.215:9092
 



kafka的使用:https://blog.csdn.net/weixin_45830561/article/details/123451963


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM