kafka環境搭建---Windows環境搭建
Kafka是使用zookeeper來進行的集群部署,要想使用kafka進行集群的話就需要安裝zookeeper,而zookeeper是用Java編寫的,因此zookeeper需要運行在Java環境上,那就需要安裝Java環境,kafka環境搭建步驟如下,線安裝Javajdk,在安裝zookeeper,之后安裝kafka,本文安裝的是jdk-10_windows-x64版本。
1、安裝java jdk
先安裝jdk
點擊 下一步
點擊 更改 可以選擇 安裝目錄,本文安裝目錄選擇是:E:\Soft\Java\jdk-10\
然后點擊 下一步
安裝jre,直接點擊 下一步
至此,安裝完成
Ctrl+R打開 cmd 輸入 java --version,顯示下面即表示安裝java成功
JDK環境變量配置
打開 計算機→屬性→高級系統設置→高級→環境變量
新建系統變量JAVA_HOME
變量名:JAVA_HOME;變量值:E:\Soft\Java\jdk-10(剛剛的java安裝目錄)
編輯系統變量Path
Windows10 電腦,新建變量值:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
新建系統變量CLASSPATH變量
變量名:CLASSPATH 變量值:%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
2、安裝zookeeper
下載地址: https://zookeeper.apache.org/releases.html
下載ZooKeeper,目前最新的穩定版本為 3.6.1 版本,可以根據需要自行選擇下載,本文選擇的是3.4.14版本。
Zookeeper有三個鏡像地址,可以選擇一個速度較快的鏡像來下載,本文選擇選則清華大學的國內鏡像下載
下載完成之后,zookeeper-3.4.14.tar.gz
解壓縮以后得到拷貝到指定文件夾下,zookeeper文件結構如下
bin:zookeeper的可執行腳本目錄,包括Zookeeper服務進程,Zookeeper客戶端等腳本。其中.sh是Linux環境下的腳本,.cmd是Windows環境下的腳本
conf:配置文件,zoo_sample.cfg為樣例配置文件,使用的時候需要修改為zoo.cfg。log4j.properties:日志配置文件
lib:Zookeeper需要的一些依賴的包
zookeeper-contrib:一些用於操作zookeeper的工具包
recipes:zookeeper的一些用法的代碼示例
環境變量中配置
新建系統變量ZOOKEEPER_HOME
變量名:ZOOKEEPER_HOME;變量值:E:\Soft\kafka\bak\zookeeper(剛剛的zookeeper安裝目錄)
編輯系統變量Path
Windows10 電腦,新建變量值:%ZOOKEEPER_HOME%\bin
運行zookeeper
修改conf目錄下復制樣例zoo_sample.cfg,然后修改為zoo.cfg,zoo.cfg中的配置
tickTime:基本時間度量單位,單位毫秒,客戶端與服務端的心跳時間,客戶端會話的超時時間等。tickTime的默認值為2000毫秒,
clientPort:zookeeper服務進程監聽的TCP端口,默認情況下,服務端會監聽2181端口。
dataDir:必須配置,用於配置存儲快照文件的目錄,如果沒有配置dataLogDir,那么事務日志也會存儲在此目錄。
啟動zookeeper服務
在Windows環境下,直接雙擊bin目錄下的zkServer.cmd即可,Linux環境下,需要切換到bin目錄,然年后執行命令./zkServer.sh start,前台運行:./zkServer.sh start-foreground
Zookeeper服務啟動的時候會調用zkEnv.cmd或者zkEnv.sh腳本。zkEnv腳本的作用是設置zk運行的一些環境變量,如配置文件的位置和名稱等
也可以Ctrl+R 啟動cmd命令界面 輸入zkserver 啟動服務zookeeper服務
客戶端連接zookeeper服務
Windows環境下直接雙擊bin目錄下的zkCli.cmd,Linux環境下,需要切換到bin目錄,然年后執行命令./zkCli.sh即可連接上zookeeper,
直接執行zkCli.cmd或者zkCli.sh命令默認以主機號 127.0.0.1,端口號 2181 來連接zookeeper,攔截指定的zookeeper服務器的話需要執行帶有-server ip:port參數的命令,如./zkCli.sh -server 192.168.88.188:2181
3、安裝kafka
下載地址: http://kafka.apache.org/downloads
下載kafka,目前最新的穩定版本為2.6,kafka_2.13-2.6.0.tgz版本,可以根據需要自行選擇下載,本文選擇的是kafka_2.13-2.5.0.tgz版本。
Kafka有三個鏡像地址,可以選擇一個速度較快的鏡像來下載,本文選擇選則清華大學的國內鏡像下載
下載完成之后,kafka_2.13-2.5.0.tgz
解壓縮以后得到拷貝到指定文件夾下,kafka文件結構如下
bin:kafka的可執行腳本目錄,包括kafka服務進程,其中.sh是Linux環境下的腳本,.bat是Windows環境下的腳本
conf:配置文件
libs:kafka需要的一些依賴的jar包
logs:kafka日志文件
環境變量中配置
在環境變量中配path添加 C:\WINDOWS\system32\wbem
啟動kafka服務
在E:\Soft\kafka\kafka_2.13-2.5.0下執行
.\bin\windows\kafka-server-start.bat .\config\server.properties
步驟如下:
打開E:\Soft\kafka\kafka_2.13-2.5.0目錄,輸入cmd 回車
在cmd中輸入 .\bin\windows\kafka-server-start.bat .\config\server.properties
看到上述界面,即可表示Kafka 啟動成功
kafka-manage 界面管理工具
下載kafka-manager 地址:https://github.com/yahoo/CMAK/releases
最新版本是3.0.0.5版本,在頁面中的最下面點擊next可以選擇其他版本,這里我們下載 1.3.3.7 版本
下載完成之后,kafka-manager-1.3.3.7.zip
解壓縮以后得到拷貝到指定文件夾下,kafka-manager-1.3.3.7文件結構如下
bin:kafka-manager的可執行腳本目錄,kafka-manager.bat是Windows環境下的腳本
conf:kafka-manager配置文件
libs:kafka-manager需要的一些依賴的jar包
logs:kafka-manager日志文件
啟動kafka-manage 界面管理工具
雙擊bin下的kafka-manager.bat 即可啟動kafka-manager,kafka-manager 端口號默認是 9000
在瀏覽器地址欄中輸入:http://localhost:9000/
注意:
1、在Windows環境下,zookeeper,kafaka,kafka_manager一般都是直接點擊對應bin目錄的.cmd, .bat等即可啟動相應的服務。
2、kafka服務器的集群是通過zookeeper來進行集群部署的,對於zookeeper部署kafka集群模式下一般最好使用3個以上的kafka服務器,
這樣的話一方面達到最低要求,另一方面可以進行負責均衡,這樣可以提高kafka集群的高可用。