在Windows環境中安裝並使用kafka

目錄

• 安裝部署
  • 安裝部署Java
  • 安裝zookeeper
  • 安裝kafka
• 使用kafka
  • kafka常用命令
• 參考文獻

安裝部署

安裝部署Java

• 下載需要安裝的軟件，下載地址：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
• 雙節安裝，並配置環境變量
• 使用下面的命令 驗證Java是否安裝成功

java -version

安裝zookeeper

• 下載zookeeper並解壓，下載地址：http://zookeeper.apache.org/releases.html，
  選擇自己需要的版本
• 進入zookeeper設置目錄，將zoo_sample.cfg重命名為：zoo.cfg
• 在編輯器中打開zoo.cfg，將dataDir的值改成自己的data目錄(需要新建)
• 新建zookeeper系統變量ZOOKEEPER_HOME=，並把bin目錄添加到系統的path變量中
• 打開新的cmd，輸入zkserver，運行Zookeeper服務器，如果安裝成功，啟動的界面如下：
  
  說明zookeeper已經安裝成功並運行在2181端口。

安裝kafka

• 下載需要的軟件並解壓，下載地址：
  http://kafka.apache.org/downloads.html
• 進入kafka安裝目錄的config目錄，修改server.properties文件，如修改的地方如下：
  把log.dirs改成自己的目錄，一般在kafka安裝目錄下新建文件夾來存放日志文件
• Kafka會按照默認，在9092端口上運行，並連接zookeeper的默認端口：2181
• 運行kafka服務器
  • 進入kafka安裝目錄，按下shift +右鍵，選擇 "在此處打開命令窗口"，輸入如下命令並按回車

  .\bin\windows\kafka-server-start.bat    .\config\server.properties
  

  如果安裝kafka安裝成功，命令運行后應該是下面的情況：
  
  • kafka安裝成功后就可以創建主題存儲消息了

使用kafka

• 創建主題：進入kafka安裝目錄的\bin\windows下按shift +右鍵，選擇“在此處打開命令窗口”，輸入如下命令並回車：

kafak-topics.bat  --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic test

• 創建producer 及consumer來測試服務器
  在kafka安裝目錄的\bin\windows啟動新的命令窗口，producer和consumer需要分別啟動命令窗口。
  • 啟動producter，啟動命令如下：

kafka-console-producer.bat  --broker-list localhost:9092  --topic test

- 啟動consumer，啟動命令如下：

kafka-console-consumer.bat  --zookeeper localhost:2181  --topic test

- 在producter窗口輸入內容，如果在consumer窗口能看到內容，則說明kafka安裝成功

kafka常用命令

• 列出主題

kafka-topic.bat -list -zookeeper localhost:2181

• 描述主題

kafka-topics.bat -describe -zookeeper localhost:2181 -topic [topic name]

• 從頭讀取消息

kafka-console-consumer.bat -zookeeper localhost:2181 -topic [topic name] -from-beginning

• 刪除主題

kafka-run-class.bat kafka.admin.TopicCommand -delete -topic [topic_to_delete] -zookeeper localhost:2181

• 查看topic的詳細信息

./kafka-topic.sh -zookeeper localhost:2181 -describe -topic  [topic name]

• 為topic增加副本

./kafka-reassign-partitions.sh -zookeeper localhost:2181 -reassignment-json-file json/partitions-to-move.json -execute

• 為topic增加partition

./bin/kafka-topics.sh -zookeeper localhost:2181 -alter -partitions 20 -topic [topic name]

• 下線broker

./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper localhost:2181 broker [brokerId] --num.retries 3 --retry.interval.ms 60
shutdown broker

參考文獻

• http://www.2cto.com/os/201602/489963.html
• http://www.jianshu.com/p/cfedb7122e38