KAFKA集群安裝和配置

1.下載並解壓至指定目錄

下載地址：http://kafka.apache.org/downloads

tar -zxvf kafka_2.11-0.10.1.0.tgz kafka_2.11-0.10.1.0 //解壓
mv kafka_2.11-0.10.1.0 /opt/soft/kafka　　//移動至指定目錄

2.添加至環境變量

    vim /etc/profile //打開環境變量
    
    添加如下代碼：
        export KAFKA_HOME=/opt/soft/kafka
        export PATH=$PATH:$KAFKA_HOME/bin    

        保存並退出
    
        source /etc/profile //使立即生效

3.配置KAFKA設置

    cd /opt/soft/kafka/config    //進入配置目錄
    
    vim server.properties        //打開系統設置


        添加或者修改如下內容

    
（1）、配置 broker 的ID
    broker.id=1 //第一個kafka配置為 1，第二個配置為2，以此類推
（2）、打開監聽端口
    listeners=PLAINTEXT://192.168.100.200:9092 //盡量寫ip地址，以免造成錯誤
（3）、修改 log 的目錄、在指定的位置創建好文件夾logs
    log.dirs=/usr/local/kafka/logs
（4）、修改 zookeeper.connect
    //盡量寫ip地址，以免造成錯誤
    zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181//如果是zookeeper集群，填寫leader節點的ip,2181是zookeeper對外提供服務的端口
（5）、網絡線程數量
    num.network.threads=3
（6）Zookeeper每6秒監視kafka是否還活着
    zookeeper.connection.timeout.ms=6000（默認）           

4.分發到各個節點

//將環境變量和kafka分發到各個節點
scp -r /opt/soft/kafka hdo02:/opt/soft
scp -r /opt/soft/kafka hdo02:/opt/soft
scp /etc/profile hdo02:/etc
scp /etc/profile hdo02:/etc

//修改各個節點的server.properties
（1）、配置 broker 的ID
broker.id=1 //第一個kafka配置為 1，第二個配置為2，以此類推
（2）、打開監聽端口
listeners=PLAINTEXT://192.168.195.132:9092 //盡量寫ip地址，以免造成錯誤


//使各節點的環境變量立即生效
source /etc/profile 

5.啟動kafka之前先啟動zookeeper

//zookeeper啟動
zkServer.sh start

//kafka啟動
./bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties &  打印日志啟動
./bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties & 不打印日志啟動

都需要各節點分別啟動

6.使用jps查看是否啟動成功

7.測試

通過創建一個topic（名字為test）來測試是否能成功運行，隨便選擇一個節點運行
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ranyi

列出kafka：kafka-topics.sh --list -zookeeper 192.168.195.132:2181。有剛剛的測試topic名，表示創建成功。