Kafka(華為FusionInsight )操作命令


華為大數據kafka操作
web界面創建角色、用戶。用戶管理角色
進入服務器環境,進入客戶端目錄/opt/hadoopclient,導入環境變量source bigdata_env。
切換用戶kinit kafka用戶(kafka_test)

  1. 查看當前集群Topic列表。

    bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:24002/kafka>

  2. 查看單個Topic詳細信息。

    bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名稱>

  3. 刪除Topic,由管理員用戶操作。

    bin/kafka-topics.sh --delete --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名稱>

  4. 創建Topic,由管理員用戶操作。

    bin/kafka-topics.sh --create --zookeeper <ZooKeeper集群IP:24002/kafka> --partitions 6 --replication-factor 2 --topic <Topic名稱>

  5. Old Producer API生產數據,服務端“allow.everyone.if.no.acl.found”配置為“True”。

    bin/kafka-console-producer.sh --broker-list <Kafka集群IP:21005> --topic <Topic名稱> --old-producer -sync

  6. Old Consumer API消費數據,服務端“allow.everyone.if.no.acl.found”配置為“True”。

    bin/kafka-console-consumer.sh --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名稱> --from-beginning

  7. 賦Consumer權限命令,由管理員用戶操作。

    bin/kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:24002/kafka > --add --allow-principal User:<用戶名> --consumer --topic <Topic名稱> --group <消費者組名稱>

  8. 賦Producer權限命令,由管理員用戶操作。

    bin/kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:24002/kafka > --add --allow-principal User:<用戶名> --producer --topic <Topic名稱>

  9. New Producer API生產消息,需要擁有該Topic生產者權限。

    bin/kafka-console-producer.sh --broker-list <Kafka集群IP:21007> --topic <Topic名稱> --producer.config config/producer.properties

  10. New Consumer API消費數據,需要擁有該Topic的消費者權限

    bin/kafka-console-consumer.sh --topic <Topic名稱> --bootstrap-server <Kafka集群IP:21007> --new-consumer --consumer.config config/consumer.properties


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM