華為大數據kafka操作
web界面創建角色、用戶。用戶管理角色
進入服務器環境,進入客戶端目錄/opt/hadoopclient,導入環境變量source bigdata_env。
切換用戶kinit kafka用戶(kafka_test)
- 查看當前集群Topic列表。
bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:24002/kafka>
- 查看單個Topic詳細信息。
bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名稱>
- 刪除Topic,由管理員用戶操作。
bin/kafka-topics.sh --delete --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名稱>
- 創建Topic,由管理員用戶操作。
bin/kafka-topics.sh --create --zookeeper <ZooKeeper集群IP:24002/kafka> --partitions 6 --replication-factor 2 --topic <Topic名稱>
- Old Producer API生產數據,服務端“allow.everyone.if.no.acl.found”配置為“True”。
bin/kafka-console-producer.sh --broker-list <Kafka集群IP:21005> --topic <Topic名稱> --old-producer -sync
- Old Consumer API消費數據,服務端“allow.everyone.if.no.acl.found”配置為“True”。
bin/kafka-console-consumer.sh --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名稱> --from-beginning
- 賦Consumer權限命令,由管理員用戶操作。
bin/kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:24002/kafka > --add --allow-principal User:<用戶名> --consumer --topic <Topic名稱> --group <消費者組名稱>
- 賦Producer權限命令,由管理員用戶操作。
bin/kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:24002/kafka > --add --allow-principal User:<用戶名> --producer --topic <Topic名稱>
- New Producer API生產消息,需要擁有該Topic生產者權限。
bin/kafka-console-producer.sh --broker-list <Kafka集群IP:21007> --topic <Topic名稱> --producer.config config/producer.properties
- New Consumer API消費數據,需要擁有該Topic的消費者權限
bin/kafka-console-consumer.sh --topic <Topic名稱> --bootstrap-server <Kafka集群IP:21007> --new-consumer --consumer.config config/consumer.properties