CDH添加KAFKA

 1. 在原有的CDH基礎上添加KAFKA服務。系統環境：

centos 7

jdk 1.8.0_101

python 2.7.5

CDH 5.12.2

kerberos 1.15.1-19.el7

 

  2. kafka parcel包下載，分配和激活

地址：http://archive.cloudera.com/kafka/parcels/2.0.2/

  3.添加kafka服務

按照安裝導向安裝即可

另 

Destination Broker List（bootstrap.servers）：duan140

Source Broker List（source.bootstrap.servers）：duan139

 

　4.開通相關端口

firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="x.x.x.x" port protocol="tcp" port="9092" accept"
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="x.x.x.x" port protocol="tcp" port="9393" accept"
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="x.x.x.x" port protocol="tcp" port="9394" accept"
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="x.x.x.x" port protocol="tcp" port="24042" accept"

 

Q&A

1. whitelist must be specified when using new consumer in mirror maker.

配置中搜索whitelist ，添加

Topic Whitelist （whitelist）：duan140

 

   2. Invalid url in bootstrap.servers

 

  3. java.lang.OutOfMemoryError: Java heap space

原因：啟動時，內存小，將內存調大。

解決辦法：（兩台都）

vi /opt/cloudera/parcels/KAFKA-2.0.2-1.2.0.2.p0.5/lib/kafka/bin/kafka-server-start.sh

export KAFKA_HEAP_OPTS="-Xmx500m -Xms500m"

不知道為什么CDH版大數據平台，直接修改文件不起作用，需要在頁面上修改參數Java Heap Size of Broker為1G。