1 集群安裝部署
-
1、下載安裝包（http://kafka.apache.org）
kafka_2.11-1.1.0.tgz -
2、規划安裝目錄
/bigdata/install -
3、上傳安裝包到服務器中
通過FTP工具上傳安裝包到node01服務器上 -
4、解壓安裝包到指定規划目錄
tar -zxvf kafka_2.11-1.1.0.tgz -C /bigdata/install -
5、重命名解壓目錄
mv kafka_2.11-1.1.0 kafka -
6、在hadoop01上修改配置文件
-
進入到kafka安裝目錄下有一個
config目錄，修改配置信息 vi server.properties#指定kafka對應的broker id ，唯一 broker.id=0 #指定數據存放的目錄 log.dirs=/bigdata/install/kafka/kafka-logs #指定zk地址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 #指定是否可以刪除topic ,默認是false 表示不可以刪除 delete.topic.enable=true #指定broker主機名 host.name=hadoop01 -
配置kafka環境變量 sudo vi /etc/profile
export KAFKA_HOME=/bigdata/install/kafka export PATH=$PATH:$KAFKA_HOME/bin
-
-
6、分發kafka安裝目錄到其他節點
scp -r kafka hadoop02:/bigdata/install scp -r kafka hadoop03:/bigdata/install ## hadoop02/hadoop03上都加上環境變量 export KAFKA_HOME=/bigdata/install/kafka export PATH=$PATH:$KAFKA_HOME/bin -
7、修改hadoop02和hadoop03上的配置
-
hadoop02 上修改配置文件 vi server.properties
#指定kafka對應的broker id ，唯一 broker.id=1 #指定數據存放的目錄 log.dirs=/bigdata/install/kafka/kafka-logs #指定zk地址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 #指定是否可以刪除topic ,默認是false 表示不可以刪除 delete.topic.enable=true #指定broker主機名 host.name=hadoop02 -
hadoop03 上修改配置文件 vi server.properties
#指定kafka對應的broker id ，唯一 broker.id=2 #指定數據存放的目錄 log.dirs=/bigdata/install/kafka/kafka-logs #指定zk地址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 #指定是否可以刪除topic ,默認是false 表示不可以刪除 delete.topic.enable=true #指定broker主機名 host.name=hadoop03
-
-
8、讓每台節點的kafka環境變量生效
-
在每台服務器執行命令
source /etc/profile
-
2 kafka集群啟動和停止
-
1、啟動kafka集群
-
先啟動zookeeper集群，然后在所有節點如下執行腳本
nohup kafka-server-start.sh /bigdata/install/kafka/config/server.properties >/dev/null 2>&1 &
-
-
2、停止kafka集群
-
所有節點執行關閉kafka腳本
kafka-server-stop.sh
-