Kafka集群安裝及prometheus監控

前提

zookeeper安裝參考：https://www.cnblogs.com/JustinLau/p/11372782.html

其他安裝參考：https://www.cnblogs.com/luotianshuai/p/5206662.html

安裝Kafka前需要先安裝zookeeper集群，集體安裝方法請參照我的另一篇文檔。
Kafka安裝
下載

wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz

解壓

tar -zxvf kafka_2.8.0-0.8.0.tar.gz

移動文件夾

mv kafka_2.8.0-0.8.0 /usr/local/hadoop/

修改配置

    cd /usr/local/hadoop/config
    vi server.properties

參照下圖信息修改

Kafaka操作

啟動kafka server
cd ../
bin/kafka-server-start.sh config/server.properties

創建主題
cd /usr/local/hadoop/bin
./kafka-create-topic.sh --partition 1 --replica 1 --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test


檢查主題是否創建成功

./kafka-list-topic.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181


啟動producer

./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test

輸入hello后，回車 ，然后另外打開一個shell終端
啟動consumer

./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test


關閉kafka

./kafkastop.sh

新版本命令

    ---new version--
     
    ./kafka-topics.sh --create --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --replication-factor 1 --partitions 1 --topic test
     
     
    ./kafka-topics.sh --list --zookeeper 192.168.6.100:2181,192.168.6.103:2181
     
     
    ./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test
     
     
    ./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test --from-beginning

附：有可能遇到的問題和解決方案
問題1： Failed to acquire lock on file .
這里寫圖片描述

解決方案：
這是因為之前已經有kafka進程在運行，可以如下：
通過jps命令查看進程號，並kill掉，然后重新啟動kafka即問題解決

 

 

采集器

下載地址

https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz

解壓

tar -xzvf kafka_exporter-1.2.0.linux-amd64.tar.gz

啟動

./kafka_exporter --kafka.server=192.168.6.103:9092