我們先弄清楚kafka集群環境首先需要些什么
- JDK 10+
- Zookeeper
- Kafka 2.x
首先准備三台虛擬機 centos7 ，更改IP地址為靜態地址分別為，29、30.31
cd /etc/sysconfig/network-scripts #進入網卡文件目錄
vim ifcfg-ens33 #使用vim編輯器編輯該網卡信息（需要編輯當前鏈接的網卡）
service network restart #重啟網卡服務，依次配置好三台linux的IP地址保證能夠相互通信
先安裝java jdk
- 下載
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm
- 授權限
chmod +x jdk-8u131-linux-x64.rpm
- 安裝
rpm -ivh jdk-8u131-linux-x64.rpm
檢查是否安裝成功
再安裝zookeeper ,29.30.31 三台機器需要如下同樣的方式安裝 zookeeper 形成 zookeeper 集群
- 下載zookeeper並解壓 官網推薦下載地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
- tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/ //這里解壓至/opt目錄中使用
- cp zoo_sample.cfg zoo.cfg //進入/opt/zookeeper-3.4.14/conf/目錄，先拷貝一份配置文件
- 然后vim編輯zoo.cfg
- 說明：除了修改zoo.cfg文件外還需要在這個文件中指定的data目錄下新增一個 myid 的文件，這個文件里面就只有一個數據，就是上圖中配置的 server.x 這個x的值（29,30,31）zookeeper啟動時會以此來確定自己的節點標識
- 切換到 zookeeper 的bin文件夾下，啟動三台機器的zookeeper
./zkServer.sh start
啟動后發現每台機器的運行模式仍然為單機模式，“試試關閉防火牆然后重新啟動”
systemctl stop firewalld.service //關閉防火牆
systemctl disable firewalld.service //禁止開機啟動
- 重啟zookeeper后再次查看zookeeper的狀態，你會發現，一台leader 兩台 follower，說明到此我們的zookeeper安裝成功
這里終端工具我使用的是 MobaXterm 可以同時多台機器輸入同樣的shell命令，操作起來相當方便，建議使用
現在我們開始正式安裝kafka
-
下載kafka並解壓 下載地址 http://kafka.apache.org/
-
tar zxvf kafka_2.13-2.5.0.tgz -C /opt/
-
進入 /opt/kafka_2.13-2.5.0/ 進入到config目錄，編輯配置文件：server.properties
-
三台機器配置信息修改完成之后 啟動 kafka , -daemon 為后台啟動
啟動命令 ./kafka-server-start.sh -daemon ../config/server.properties
停止命令 ./kafka-server-stop.sh
- 檢查測試
我們先切回到 zookeeper 的bin 文件夾下 ，使用zookeeper的客戶端工具查看
./zkCli.sh -server 192.168.3.29:2181 隨意鏈接其中的一個節點（能鏈接上去，且輸入 ls / 出現不少信息說明安裝已經成功，但看不到我們想要看的信息，不慌，繼續
這里我們介紹另一款工具 kafka-manager-1.3.3.7.zip，自行下載（https://github.com/yahoo/kafka-manager ），上傳至任意一台機器，然后解壓修改配置文件 application.conf
保存后，進入kafka-manager/bin目錄下，執行運行命令 ./kafka-manager 默認端口為 9000 可以使用以下命令指定配置文件和端口運行
./kafka-manager -Dconfig.file=./config/application.conf -Dhttp.port=9000
當然也可以使用 nohup & 的形式后台運行
我們可以看到，正在啟動 kafka-manager 並在同步狀態了，我們到瀏覽器訪問 http://192.168.3.29:9000/
添加集群
到此，kafka集群搭建算是完成，后續，我們針對net5來使用kafka做一些demo程序，來試試kafka