kafka安裝流程

本文是作者原創,版權歸作者所有.若要轉載,請注明出處.

安裝前的環境准備

1.由於Kafka是用Scala語言開發的，運行在JVM上，在安裝之前需要先安裝JDK(省略)

2.kafka依賴zookeeper，所以需要先安裝zookeeper,https://zookeeper.apache.org/releases.html

解壓zookeeper,安裝在/usr/local/java下

 tar zxvf zookeeper-3.4.14.tar.gz 

進入zk目錄

cd zookeeper-3.4.14/

zookeeper的默認配置文件為/conf/zoo_sample.cfg，需要將其修改為zoo.cfg

cp conf/zoo_sample.cfg conf/zoo.cfg

進入zk的bin目錄,啟動zk服務端,查看zk狀態,默認端口2181

cd /usr/local/java/zookeeper-3.4.14/bin

  ./zkServer.sh start

./zkServer.sh  status

添加放行端口

firewall-cmd --zone=public --add-port=2181/tcp --permanent

重啟防火牆

firewall-cmd --reload

查看已開放端口：

firewall-cmd --list-all

安裝kafka

 下載kafka(官網 http://kafka.apache.org/downloads),就按官方推薦的即可 

 1. 解壓安裝包,(前面2.12是Scala版本,后面2.4.1是kafka版本),安裝在/usr/local/java下

tar zxvf kafka_2.12-2.4.1.tgz

2.修改配置文件 config/server.properties:

#broker.id屬性在kafka集群中必須要是唯一

broker.id=0

#kafka部署的機器ip和提供服務的端口號

listeners=PLAINTEXT://內網ip:9092

#kafka部署的機器ip和提供服務的端口號,外網ip
advertised.listeners=PLAINTEXT://外網ip:9092

#kafka的消息存儲文件

log.dir=/usr/local/java/data/kafka‐logs

#kafka連接zookeeper的地址

zookeeper.connect=localhost:2181

3.進入kafka目錄,后台啟動kafka

bin/kafka-server-start.sh -daemon config/server.properties

4 可以用jps命令，查看有沒有kafka的進程

5. 停止kafka服務

bin/kafka-server-stop.sh config/server.properties

6.添加放行端口

firewall-cmd --zone=public --add-port=9302/tcp --permanent

重啟防火牆

firewall-cmd --reload

查看已開放端口：

firewall-cmd --list-all

 

 

Zk和kafka都啟動完成后測試

以下測試命令都在kafka主目錄下進行

1. 創建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2.查看主題

bin/kafka-topics.sh --list --zookeeper localhost:2181

3. 發送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

4.接收消息 

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

5. 查看特定主題的詳細信息 

bin/kafka-topics.sh --zookeeper localhost:2181 --describe  --topic test

 

6  刪除主題

 

 本機電腦訪問kafka

需要將配置文件server.properties修改一下,並重新啟動