Spark編程--Kafka安裝與配置 (Kafka版本 kafka_2.11_2.2.1)

1.安裝scala     2.11.8

2.解壓下載包  　　

cd ~/下載
sudo tar -zxf kafka_2.11-0.10.1.0.tgz -C ~/app
cd ~/app
sudo mv kafka_2.11-0.10.1.0/ ./kafka
sudo chown -R hadoop ./kafka

3.測試簡單實例

# 進入kafka所在的目錄
cd ~/app/kafka

bin/zookeeper-server-start.sh config/zookeeper.properties

命令執行后不會返回Shell命令輸入狀態,zookeeper就會按照默認的配置文件啟動服務,請千萬不要關閉當前終端.啟動新的終端，輸入如下命令：

cd ~/app/kafka
bin/kafka-server-start.sh config/server.properties

 創建topic

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic dblab

查看topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

 開啟兩個終端，分別運行以下兩行命令

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic dblab --from-beginning