KAFKA集群安装和配置

1.下载并解压至指定目录

下载地址：http://kafka.apache.org/downloads

tar -zxvf kafka_2.11-0.10.1.0.tgz kafka_2.11-0.10.1.0 //解压
mv kafka_2.11-0.10.1.0 /opt/soft/kafka　　//移动至指定目录

2.添加至环境变量

    vim /etc/profile //打开环境变量
    
    添加如下代码：
        export KAFKA_HOME=/opt/soft/kafka
        export PATH=$PATH:$KAFKA_HOME/bin    

        保存并退出
    
        source /etc/profile //使立即生效

3.配置KAFKA设置

    cd /opt/soft/kafka/config    //进入配置目录
    
    vim server.properties        //打开系统设置


        添加或者修改如下内容

    
（1）、配置 broker 的ID
    broker.id=1 //第一个kafka配置为 1，第二个配置为2，以此类推
（2）、打开监听端口
    listeners=PLAINTEXT://192.168.100.200:9092 //尽量写ip地址，以免造成错误
（3）、修改 log 的目录、在指定的位置创建好文件夹logs
    log.dirs=/usr/local/kafka/logs
（4）、修改 zookeeper.connect
    //尽量写ip地址，以免造成错误
    zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181//如果是zookeeper集群，填写leader节点的ip,2181是zookeeper对外提供服务的端口
（5）、网络线程数量
    num.network.threads=3
（6）Zookeeper每6秒监视kafka是否还活着
    zookeeper.connection.timeout.ms=6000（默认）           

4.分发到各个节点

//将环境变量和kafka分发到各个节点
scp -r /opt/soft/kafka hdo02:/opt/soft
scp -r /opt/soft/kafka hdo02:/opt/soft
scp /etc/profile hdo02:/etc
scp /etc/profile hdo02:/etc

//修改各个节点的server.properties
（1）、配置 broker 的ID
broker.id=1 //第一个kafka配置为 1，第二个配置为2，以此类推
（2）、打开监听端口
listeners=PLAINTEXT://192.168.195.132:9092 //尽量写ip地址，以免造成错误


//使各节点的环境变量立即生效
source /etc/profile 

5.启动kafka之前先启动zookeeper

//zookeeper启动
zkServer.sh start

//kafka启动
./bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties &  打印日志启动
./bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties & 不打印日志启动

都需要各节点分别启动

6.使用jps查看是否启动成功

7.测试

通过创建一个topic（名字为test）来测试是否能成功运行，随便选择一个节点运行
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ranyi

列出kafka：kafka-topics.sh --list -zookeeper 192.168.195.132:2181。有刚刚的测试topic名，表示创建成功。