kafka環境搭建---Windows環境搭建


kafka環境搭建---Windows環境搭建

Kafka是使用zookeeper來進行的集群部署,要想使用kafka進行集群的話就需要安裝zookeeper,而zookeeper是用Java編寫的,因此zookeeper需要運行在Java環境上,那就需要安裝Java環境,kafka環境搭建步驟如下,線安裝Javajdk,在安裝zookeeper,之后安裝kafka,本文安裝的是jdk-10_windows-x64版本。

1、安裝java jdk

  

 

先安裝jdk

  

 

點擊 下一步

 

 

點擊 更改 可以選擇 安裝目錄,本文安裝目錄選擇是:E:\Soft\Java\jdk-10\ 

然后點擊 下一步

 

 

 

安裝jre,直接點擊 下一步

 

 

 

至此,安裝完成

Ctrl+R打開 cmd 輸入 java --version,顯示下面即表示安裝java成功

  

JDK環境變量配置 

打開 計算機→屬性→高級系統設置→高級→環境變量

 

 

新建系統變量JAVA_HOME

變量名:JAVA_HOME;變量值:E:\Soft\Java\jdk-10剛剛的java安裝目錄

 

 

編輯系統變量Path

Windows10 電腦,新建變量值:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

 

新建系統變量CLASSPATH變量 

變量名:CLASSPATH  變量值:%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

 

2、安裝zookeeper

下載地址: https://zookeeper.apache.org/releases.html 

下載ZooKeeper,目前最新的穩定版本為 3.6.1 版本,可以根據需要自行選擇下載,本文選擇的是3.4.14版本。

 

 

 

Zookeeper有三個鏡像地址,可以選擇一個速度較快的鏡像來下載,本文選擇選則清華大學的國內鏡像下載

 

 

下載完成之后,zookeeper-3.4.14.tar.gz

 

 

解壓縮以后得到拷貝到指定文件夾下,zookeeper文件結構如下

 

 

bin:zookeeper的可執行腳本目錄,包括Zookeeper服務進程,Zookeeper客戶端等腳本。其中.shLinux環境下的腳本,.cmdWindows環境下的腳本 

conf:配置文件,zoo_sample.cfg為樣例配置文件,使用的時候需要修改為zoo.cfglog4j.properties:日志配置文件 

lib:Zookeeper需要的一些依賴的包 

zookeeper-contrib:一些用於操作zookeeper的工具包 

recipes:zookeeper的一些用法的代碼示例 

環境變量中配置

新建系統變量ZOOKEEPER_HOME

變量名:ZOOKEEPER_HOME;變量值:E:\Soft\kafka\bak\zookeeper(剛剛的zookeeper安裝目錄)

   

編輯系統變量Path

Windows10 電腦,新建變量值:%ZOOKEEPER_HOME%\bin 

   

運行zookeeper 

修改conf目錄下復制樣例zoo_sample.cfg然后修改為zoo.cfg,zoo.cfg中的配置

tickTime:基本時間度量單位,單位毫秒,客戶端與服務端的心跳時間,客戶端會話的超時時間等。tickTime的默認值為2000毫秒,

clientPort:zookeeper服務進程監聽的TCP端口,默認情況下,服務端會監聽2181端口。

dataDir:必須配置,用於配置存儲快照文件的目錄,如果沒有配置dataLogDir,那么事務日志也會存儲在此目錄。 

啟動zookeeper服務

Windows環境下,直接雙擊bin目錄下的zkServer.cmd即可,Linux環境下,需要切換到bin目錄,然年后執行命令./zkServer.sh start,前台運行:./zkServer.sh start-foreground

Zookeeper服務啟動的時候會調用zkEnv.cmd或者zkEnv.sh腳本。zkEnv腳本的作用是設置zk運行的一些環境變量,如配置文件的位置和名稱等 

也可以Ctrl+R  啟動cmd命令界面 輸入zkserver 啟動服務zookeeper服務

 

客戶端連接zookeeper服務 

Windows環境下直接雙擊bin目錄下的zkCli.cmd,Linux環境下,需要切換到bin目錄,然年后執行命令./zkCli.sh即可連接上zookeeper

直接執行zkCli.cmd或者zkCli.sh命令默認以主機號 127.0.0.1,端口號 2181 來連接zookeeper,攔截指定的zookeeper服務器的話需要執行帶有-server ip:port參數的命令,如./zkCli.sh -server 192.168.88.188:2181

 

3、安裝kafka

下載地址: http://kafka.apache.org/downloads

下載kafka,目前最新的穩定版本為2.6,kafka_2.13-2.6.0.tgz版本,可以根據需要自行選擇下載,本文選擇的是kafka_2.13-2.5.0.tgz版本。

 

Kafka有三個鏡像地址,可以選擇一個速度較快的鏡像來下載,本文選擇選則清華大學的國內鏡像下載

 

下載完成之后,kafka_2.13-2.5.0.tgz

 

解壓縮以后得到拷貝到指定文件夾下,kafka文件結構如下

 

 

bin:kafka的可執行腳本目錄,包括kafka服務進程,其中.shLinux環境下的腳本,.batWindows環境下的腳本

conf:配置文件

libs:kafka需要的一些依賴的jar包

logs:kafka日志文件

 

環境變量中配置

在環境變量中配path添加 C:\WINDOWS\system32\wbem

 

 

啟動kafka服務 

E:\Soft\kafka\kafka_2.13-2.5.0下執行 

.\bin\windows\kafka-server-start.bat .\config\server.properties 

步驟如下: 

打開E:\Soft\kafka\kafka_2.13-2.5.0目錄,輸入cmd 回車

 

cmd中輸入  .\bin\windows\kafka-server-start.bat .\config\server.properties

 

 

 

 

 

看到上述界面,即可表示Kafka 啟動成功 

 

kafka-manage 界面管理工具 

下載kafka-manager 地址:https://github.com/yahoo/CMAK/releases

 

 

最新版本是3.0.0.5版本在頁面中的最下面點擊next可以選擇其他版本,這里我們下載 1.3.3.7 版本

下載完成之后,kafka-manager-1.3.3.7.zip

 

 

解壓縮以后得到拷貝到指定文件夾下,kafka-manager-1.3.3.7文件結構如下

 

 

 

bin:kafka-manager的可執行腳本目錄,kafka-manager.batWindows環境下的腳本

conf:kafka-manager配置文件

libs:kafka-manager需要的一些依賴的jar包

logs:kafka-manager日志文件

 

啟動kafka-manage 界面管理工具  

雙擊bin下的kafka-manager.bat 即可啟動kafka-managerkafka-manager 端口號默認是 9000

 

  

 

在瀏覽器地址欄中輸入:http://localhost:9000/

 

 

注意:

1Windows環境下,zookeeper,kafaka,kafka_manager一般都是直接點擊對應bin目錄的.cmd, .bat等即可啟動相應的服務。

2kafka服務器的集群是通過zookeeper來進行集群部署的,對於zookeeper部署kafka集群模式下一般最好使用3個以上的kafka服務器,

這樣的話一方面達到最低要求,另一方面可以進行負責均衡,這樣可以提高kafka集群的高可用。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM