學了有一段時間的大數據了,學習新的組件,大部分安裝可以分為三步:上傳解壓,配置文件,啟動。
分享一下我的kafka安裝包:
鏈接:https://pan.baidu.com/s/1fbydwZwcYyi2saYozit0nA
提取碼:w4oc
1、上傳解壓
2、進入到 /usr/local/soft/kafka_2.10-0.8.2.2/config 目錄下,修改server.properties文件
3、因為Kafka是去中心化的,所以我們需要在每一台節點上都要有
修改上面配置文件中的兩個信息:
(1)brokers.id
(2)zookeeper
4、scp到每個節點,並且修改broker.id
5、先每個節點啟動zookeeper
6、每個節點上啟動kafka
nohup /usr/local/soft/kafka_2.10-0.8.2.2/bin/kafka-server-start.sh /usr/local/soft/kafka_2.10-0.8.2.2/config/server.properties >>/usr/local/soft/kafka_2.10-0.8.2.2/logs/start.log 2>&1 &
7、查看進程
8、創建topic
--replication-factor ---每一個分區的副本數量
--partition --分區數
kafka-topics.sh --create --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --replication-factor 4 --partitions 4 --topic flume
kafka-topics.sh --create --zookeeper Linux:2181,Linux1:2181,Linux2:2181 --replication-factor 3 --partitions 3 --topic topic
9、查看topic描述信息
kafka-topics.sh --describe --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --topic topic
kafka-topics.sh --describe --zookeeper Linux:2181,Linux1:2181,Linux2:2181 --topic topic
10、獲取所有topic
kafka-topics.sh --list --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181
kafka-topics.sh --list --zookeeper Linux:2181,Linux1:2181,Linux2:2181
11、創建控制台生產者
kafka-console-producer.sh --broker-list testmaster:9092,testnode1:9092,testnode2:9092,testnode3:9092 --topic topic
kafka-console-producer.sh --broker-list Linux:9092,Linux1:9092,Linux2:9092 --topic topic
12、創建控制台消費者 --from-beginning 從頭消費
kafka-console-consumer.sh --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --from-beginning --topic topic
kafka-console-consumer.sh --zookeeper Linux:2181,Linux1:2181,Linux2:2181 --from-beginning --topic topic
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --topic topic
kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic topic