Window下配置Kafka以及Zookeeper環境


 

軟件下載地址:

Zookeeper     https://zookeeper.apache.org/

Kafka          http://kafka.apache.org   

搭建步驟:

1、JDK安裝 

  • JAVA_HOME: C:\Program Files (x86)\Java\jre1.8.0_60(這個是默認安裝路徑,如果安裝過程中更改了安裝目錄,把更改后的路徑填上就行了)
  • PATH: 在現有的值后面添加"; %JAVA_HOME%\bin"
  • 打開cmd運行 "java -version" 查看當前系統Java的版本:

這里寫圖片描述

2、Zookeeper安裝 

①、進入Zookeeper解壓目錄,E:\WindowsOS_ApacheKafka_20160126\Zookeeper\zookeeper-3.4.6\conf

②、將“zoo_sample.cfg”重命名為“zoo.cfg”。

③、配置啟動日記目錄,用#注解調 dataDir=/tmp/zookeeper 

dataDir=E:\WindowsOS_ApacheKafka_20160126\Zookeeper\data         注意:使用雙斜杠

這里寫圖片描述

④、系統環境變量中添加:

ZOOKEEPER_HOME = E:\WindowsOS_ApacheKafka_20160126\Zookeeper\zookeeper-3.4.6

⑤、編輯系統變量path,加上:   %ZOOKEEPER_HOME%\bin;

這里寫圖片描述

⑥、確認zoo.cfg文件中默認的Zookeeper端口(默認端口2181)。

打開新的cmd,輸入zkserver,運行Zookeeper。

運行成功會創建log日記文件和監聽2181如下: 這里寫圖片描述

這里寫圖片描述

以上情況 Zookeeper已經搭建完成並在端口2181運行。

 

3、安裝Kafka

①、下載kafka_2.11-0.9.0.0.tgz,解壓后重命名為kafka_2.11,進入Kafka配置目錄,E:\WindowsOS_ApacheKafka_20160126\Kafka\kafka_2.11\config 編輯文件“server.properties” 找到並用#注解“log.dirs=/tmp/kafka-logs”  添加自己的日記目錄:log.dirs=E:\WindowsOS_ApacheKafka_20160126\Kafka\kafka-logs 這里寫圖片描述

②、如果Zookeeper在某些其他的機器或集群上運行,可以將“zookeeper.connect:2181”修改為自定義IP與端口。在這里使用了同一個機器,所以沒其他做修改。文件中的Kafka端口和broker.id也是可以配置的。默認設置不變。 機器的localhost也為127.0.0.1,這里我也修改為ipv4的,防止localhost為ipv6時受影響。 這里寫圖片描述

③、Kafka會按照默認,在9092端口上運行,並連接zookeeper的默認端口:2181。 在zookeeper的基礎上,運行Kafka服務 進入Kafka安裝目錄,E:\WindowsOS_ApacheKafka_20160126\Kafka\kafka_2.11 切換到命令行窗口,運行kafka。 .\bin\windows\kafka-server-start.bat .\config\server.properties

這里寫圖片描述

這里寫圖片描述

這里寫圖片描述

運行成功,會有log文件的輸出,連接zk的2181端口,啟動默認的9092端口。


 

A、創建主題

1. 現在創建主題,命名為“test”,replication factor=1(因為只有1個Kafka服務器在運行)。如果集群中所運行的Kafka服務器不止1個,可以相應增加replication-factor,從而提高數據可用性和系統容錯性。 

2. 在E:\WindowsOS_ApacheKafka_20160126\Kafka\kafka_2.11\bin\windows打開新的命令行。

3. 輸入下面的命令,回車: kafka-topics.bat –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test 這里寫圖片描述

如果創建主題不成功 以下生產者與消費者實驗不用做。

B. 創建Producer及Consumer來測試服務器。

1.在E:\WindowsOS_ApacheKafka_20160126\Kafka\kafka_2.11\bin\windows打開新的命令行。

2.輸入以下命令,啟動producer,

可以輸入消息: kafka-console-producer.bat –broker-list localhost:9092 –topic test 這里寫圖片描述

3.在同樣的位置E:\WindowsOS_ApacheKafka_20160126\Kafka\kafka_2.11\bin\windows再次打開新的命令行。

4.現在輸入下列命令啟動consumer,

可以獲取消息: kafka-console-consumer.bat –zookeeper localhost:2181 –topic test 這里寫圖片描述

5.兩個命令行窗口,producer可以輸入任何消息,consumer可以獲取消息。

【引用】https://mp.weixin.qq.com/s?__biz=MzA4Mzc0NjkwNA==&mid=402247745&idx=1&sn=a015f9a1fc116bd85ab8baea7acca0aa&scene=1&srcid=0126OTkoPGSiSE2MAYsZmLew&pass_ticket=4zKnz%2BW9FcZh2OPXVzzWftImQf39WsPI%2FMlB8aGHSDyRQLbZkWV%2ByxE4GcddC86%2B#rd


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM