cdh完美集成kafka


前言  

  其實cloudera已經做了這個事了,只是把kafka的包和cdh的parcel包分離了,只要我們把分離開的kafka的服務描述jar包和服務parcel包下載了,就可以實現完美集成了。

具體實現的簡要步驟可參照cloudera官網提供的文檔:http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html

下面就是我根據這個文檔的集成過程。

kafka相關包准備

 csd包:http://archive.cloudera.com/csds/kafka/

 parcel包: http://archive.cloudera.com/kafka/parcels/latest/ ( 根據自己的集群的系統版本下載 )

我用的是centos6.5 x64的系統,所以我下載的parcel包為KAFKA-0.8.2.0-1.kafka1.3.2.p0.56-el6.parcelKAFKA-0.8.2.0-1.kafka1.3.2.p0.56-el6.parcel.sha1

集成實現

  1. 關閉集群,關閉cm服務( 假如不關閉cm服務,會出現在添加kafka服務時找不到相關的服務描述 )

  2. 將csd包放到cm安裝節點下的 /opt/cloudera/csd目錄下,如圖 :

  3. 將parcel包放到cm安裝節點下的 /opt/cloudera/parcel-repo目錄下,如圖:
  4. 啟動cm服務,分配並激活percel包
  5. 添加kafka服務:
  6. 啟動服務

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM