Kafka安裝和常用操作命令

Kafka安裝：

下載kafka_2.10-0.8.2.1

1.關閉防火牆

2.修改配置文件  server.properties

broker.id=1
log.dirs= /usr/kafka_2.10-0.8.2.1/data  //最后不要寫log
zookeeper.connect=master:2181,slave01:2181,slave02:2181
delete.topic.enable = true //刪除話題的時候需要設置其為true
num.partitions=3//建議默認3個分區，如果AIP里面你的分區數大於系統規定的則拋出異常

//分發給其他兩台服務器，每台機器的broker.id必須唯一
3.配置環境變量

 

常用操作命令：

//啟動。指定啟動的配置文件，  輸出到run_data目錄， 2>&1所有正確錯誤的都輸出，   &后台運行               
kafka-server-start.sh $KAFKA_HOME/config/server.properties >>$KAFKA_HOME/run_data 2>&1 &

 

//創建話題    指定zookeeper集群中任意一個主機都可以   
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 1 --topic topic1
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 3 --topic topic2

//副本數量為3，那么至少得啟動3個kafka的server，否則會拋出異常。

 

//話題描述清單
kafka-topics.sh --describe --zookeeper slave01:2181 --topic topic1

 

//發送消息（生產者）
//輪循寫入分區，即012 012 012
//第一次打開生產者是寫入0分區，退出后，第二次打開生產者寫入1分區
kafka-console-producer.sh --broker-list localhost:9092 --topic topic2
//2）當前broker（節點）沒有kafka服務時，需要指定一個有kafka服務的broker（zookeeper集群中任意一個），
kafka-console-producer.sh --broker-list slave02:9092 --topic topic2

 

//接收隊列消息(消費者） from-beginning如果不加，那么在消費者沒有啟動的時候，或者說它不在線之前的信息收不到
kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic2 --from-beginning

 

//刪除話題  需要server.properties中設置delete.topic.enable=true否則只是標記刪除或者直接重啟。
kafka-topics.sh --delete --zookeeper \localhost:2181 --topic topic1

 

//查看所有話題
kafka-topics.sh --list --zookeeper localhost:2181