kafka-confluent管控中心安裝


https://www.confluent.io/  一個基於kafka的擴展平台,我們主要關注其管控中心。

由於監控中心只有企業版才有,所以下載企業版,並進行測試。

 

進入下載中心,可以看到兩個版本:

比對了兩個版本的差異,發現也主要在管控中心、同步和安全上。並且一些功能,不提供windows的啟動腳本,應該是只能在linux上運行

 

安裝管控中心:

http://docs.confluent.io/current/control-center/docs/quickstart.html#base-installation

由於官方文檔,寫的很清晰,這里只是將一些要點重新記錄一下。

 

  • 操作系統

       centos7

 

  • JDK

           這里使用的是JDK1.8

 

  • screen

          需要用到的一個后台命令工具,若沒有可以安裝一個。   

yum install screen

 

  • 安裝位置

      /opt/confluent

      

      將下載回來的confluent包解壓出來,進入解壓后的confluent-3.3.0目錄(重要,后續的命令行操作,都在該目錄下執行)

 

  • 啟動zk、kafka和管理中心

 

啟動zookeeper,配置使用默認配置

$ screen -dmS zookeeper bash -c './bin/zookeeper-server-start ./etc/kafka/zookeeper.properties; exec bash'

 

設置kafka配置文件,這里將配置文件放到/tmp目錄下

$ cp ./etc/kafka/server.properties /tmp/kafka-server.properties && \
sed -i 's/#metric.reporters=io.confluent.metrics.reporter.ConfluentMetricsReporter/metric.reporters=io.confluent.metrics.reporter.ConfluentMetricsReporter/g' /tmp/kafka-server.properties && \
sed -i 's/#confluent.metrics.reporter.bootstrap.servers=localhost:9092/confluent.metrics.reporter.bootstrap.servers=localhost:9092/g' /tmp/kafka-server.properties && \
sed -i 's/#confluent.metrics.reporter.zookeeper.connect=localhost:2181/confluent.metrics.reporter.zookeeper.connect=localhost:2181/g' /tmp/kafka-server.properties && \
sed -i 's/#confluent.metrics.reporter.topic.replicas=1/confluent.metrics.reporter.topic.replicas=1/g' /tmp/kafka-server.properties

 

啟動kafka

$ screen -dmS kafka bash -c "./bin/kafka-server-start /tmp/kafka-server.properties; exec bash"

 

添加攔截器的支持

$ cp ./etc/kafka/connect-distributed.properties /tmp/connect-distributed.properties
$ cat <<EOF >> /tmp/connect-distributed.properties

# Interceptor setup
consumer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor
producer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor
EOF

 

   啟動連接器

$ screen -dmS connect-distributed bash -c "./bin/connect-distributed /tmp/connect-distributed.properties; exec bash"

 

啟動管控中心

$ cp ./etc/confluent-control-center/control-center.properties /tmp/control-center.properties
$ cat <<EOF >> /tmp/control-center.properties

# Quickstart partition and replication values
confluent.controlcenter.internal.topics.partitions=1
confluent.controlcenter.internal.topics.replication=1
confluent.controlcenter.command.topic.replication=1
confluent.monitoring.interceptor.topic.partitions=1
confluent.monitoring.interceptor.topic.replication=1
EOF
$ screen -dmS control-center bash -c "./bin/control-center-start /tmp/control-center.properties; exec bash"

 

訪問管控中心:

http://localhost:9021/

 

管控中心提供了一系列監控的功能,之后我們會對這些功能進行分析。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM