1.下載kafka安裝包kafka_2.12-1.1.0。
tar -xzvf kafka_2.11-0.8.2.1.tgz #解壓
mv kafka_2.11-0.8.2.1 /usr/local/kafka #移動到安裝目錄
2、配置kafka
mkdir /usr/local/kafka/log/kafka #創建kafka日志目錄
cd /usr/local/kafka/config #進入配置目錄
vi server.properties #編輯修改相應的參數
broker.id=0
port=9092 #端口號
host.name=192.168.5.56 #服務器IP地址，修改為自己的服務器IP
log.dirs=/usr/local/kafka/log/kafka #日志存放路徑，上面創建的目錄
zookeeper.connect=localhost:2181 #zookeeper地址和端口，單機配置部署，localhost:2181
:wq! #保存退出
3、配置zookeeper
mkdir /usr/local/kafka/zookeeper #創建zookeeper目錄
mkdir /usr/local/kafka/log/zookeeper #創建zookeeper日志目錄
cd /usr/local/kafka/config #進入配置目錄
vi zookeeper.properties #編輯修改相應的參數
dataDir=/usr/local/kafka/zookeeper #zookeeper數據目錄
dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目錄
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5
:wq! #保存退出
4. 創建啟動、關閉kafka腳本
cd /usr/local/kafka
#創建啟動腳本
vi kafkastart.sh #編輯，添加以下代碼
#!/bin/sh
#啟動zookeeper
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3 #等3秒后執行
#啟動kafka
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
:wq! #保存退出
#創建關閉腳本
vi kafkastop.sh #編輯，添加以下代碼
#!/bin/sh
#關閉zookeeper
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3 #等3秒后執行
#關閉kafka
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &
:wq! #保存退出
#添加腳本執行權限
chmod +x kafkastart.sh
chmod +x kafkastop.sh
5.設置腳本開機自動執行
vi /etc/rc.d/rc.local #編輯，在最后添加一行
sh /usr/local/kafka/kafkastart.sh & ＃設置開機自動在后台運行腳本
:wq! #保存退出
sh /usr/local/kafka/kafkastart.sh #啟動kafka
sh /usr/local/kafka/kafkastop.sh #關閉kafka
6.kafka集群部署
1.進入到kafka/config目錄下，
進入到kafka/config的目錄下，修改配置文件，vim server.properties，需要修改的配置是：
#每台服務器的broker.id都不能相同
broker.id=0
#在log.retention.hours=168 后新增下面三項
message.max.byte=5242880
default.replication.factor=1
replica.fetch.max.bytes=5242880
#設置zookeeper的連接端口
zookeeper.connect=master:2181,slave1:2181
#日志文件的目錄，設置成剛剛創建的logs目錄
log.dirs=/opt/soft/kafka/logs/
注意：salve1中的broker.id為1
修改完成之后保存，退出
2. #進入到kafka的bin目錄
./kafka-server-start.sh -daemon ../config/server.properties
檢查kafka是否啟動
#執行命令jps
[root@centos7587 bin]# jps
14194 QuorumPeerMain
18557 Jps