Centos 7.X 上安裝Kafka及一些常用命令


                Centos 7.X 上安裝Kafka及常用命令

 

1、下載

  下載地址:http://kafka.apache.org/downloads.html  或百度網盤自取

  鏈接:https://pan.baidu.com/s/1qIs3iehi56Qg7Wahj66VVQ
  提取碼:qmdb

2、安裝

  首先在進行kafka安裝時需要依賴於zookeeper,這兒我事先准備好了三個節點的Zookeeper環境,

  Zookeeper的搭建可參考https://www.cnblogs.com/ysocean/p/9860529.html

  我事先搭建好的Zookeeper信息如下:

  192.168.232.3:2181,192.168.232.4:2181(master),192.168.232.5:2181

  上傳到Linux服務器之上

  

    1. 解壓:

      tar -zxvf kafka_2.12-2.6.0.tgz -C /usr/local/

      

    2. 進入到解壓時指定的目錄之下,重命名一下kafka文件夾

      mv kafka_2.12-2.6.0/ kafka_2.12

      

    3. 進入解壓后的目錄,修改server.properties文件:

     vim /usr/local/kafka_2.12/config/server.properties 

     修改信息如下:

     broker.id=0

     port=9092

     host.name=192.168.232.3

     advertised.host.name=192.168.232.3

        log.dirs=/usr/local/kafka_2.12/kafka-logs

        num.partitions=2

     zookeeper.connect=192.168.232.3:2181,192.168.232.4:2181,192.168.232.5:2181

        保存退出

     然后創建kafka的日志文件目錄,上述配置文件所指定的目錄/usr/local/kafka_2.12/kafka-logs

     mkdir /usr/local/kafka_2.12/kafka-logs

     

    4. 啟動kafka

      /usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties &

       

     kafka啟動完成

             

 3、常用命令

    (1)創建topic主題命令(創建一個名為test的topic) 進入kafka的bin目錄下使用

        ./kafka-topics.sh --zookeeper 192.168.232.3:2181 --create --topic test --partitions 1 

        --replication-factor 1

        ## --zookeeper 為zk服務列表

        ## --create 命令后 --topic 為創建topic 並指定 topic name

        ## --partitions 為指定分區數量

        ## --replication-factor 為指定副本集數量

        

    (2)查看topic列表命令

        ./kafka-topics.sh --zookeeper 192.168.232.3:2181 --list

    (3)刪除topic命令

        ./kafka-topics.sh --zookeeper 192.168.232.3:2181 --delete --topic test

    (4)kafka命令發送數據

        ./kafka-console-producer.sh --broker-list 192.168.232.3:9092 --topic test

    (5)kafka命令接受數據

        ./kafka-console-consumer.sh --bootstrap-server 192.168.232.3:9092 --topic test

        --from-beginning

    (6)kafka查看消費進度(若要查看一個消費者組的消費進度時,則使用如下命令進行查看)

        ./kafka-consumer-groups.sh --bootstrap-server 192.168.232.3:9092 --describe --group group

 

 

 

 

          


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM