CDH安裝kafka

• 摘要：前言其實cloudera已經做了這個事了,只是把kafka的包和cdh的parcel包分離了,只要我們把分離開的kafka的服務描述jar包和服務parcel包下載了,就可以實現完美集成了。具體實現的簡要步驟可參照cloudera官網提供的文檔:http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html,下面就是我根據這個文檔的集成過程。ka
• 前言

  其實cloudera已經做了這個事了,只是把kafka的包和cdh的parcel包分離了,只要我們把分離開的kafka的服務描述jar包和服務parcel包下載了,就可以實現完美集成了。

  具體實現的簡要步驟可參照cloudera官網提供的文檔:http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html,

  下面就是我根據這個文檔的集成過程。

  kafka相關包准備

   csd包:http://archive.cloudera.com/csds/kafka/

   parcel包: http://archive.cloudera.com/kafka/parcels/latest/ ( 根據自己的集群的系統版本下載 )

  我用的是centos6.5 x64的系統,所以我下載的parcel包為KAFKA-0.8.2.0-1.kafka1.3.2.p0.56-el6.parcel與KAFKA-0.8.2.0-1.kafka1.3.2.p0.56-el6.parcel.sha1

  集成實現

  1. 關閉集群,關閉cm服務( 假如不關閉cm服務,會出現在添加kafka服務時找不到相關的服務描述 )

  2. 將csd包放到cm安裝節點下的 /opt/cloudera/csd目錄下,如圖 :

  3. 將parcel包放到cm安裝節點下的 /opt/cloudera/parcel-repo目錄下,如圖:
  4. 啟動cm服務,分配並激活percel包
  5. 添加kafka服務:
  6. 啟動服務

 

 

1.下載 KAFKA 和SPARK2的 Parcel 包(可以從 TD CDH 包里拿到) 並放置到 Cloudera Manager 的 parcel 倉庫目錄下 （登錄 CM 控制台 設置 Parcel配置）

 

2.對於前面重名的文件可以采取手動改名的形式， 例如 mainifest.json  可以備份以前的json 文件並改名，

3.重啟 cloudera  server 和 agent 服務

• /opt/cm-5.12.1/etc/init.d/cloudera-scm-server restart
• /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent restart  （agent服務器）

4.安裝Kafka過程中如果啟動失敗 需要更改 默認的 Java Heap Size  (默認50 M)  改成 512 即可

 

5.為客流運營平台單獨安裝 Kafka （需要先安裝第二個Zookeeper集群 客源專用）

 

6.然后重新啟動 Kafka 服務，並檢查其狀態 。