CDH5.10 添加kafka服務


簡介:
CDH的parcel包中是沒有kafka的,kafka被剝離了出來,需要從新下載parcel包安裝。或者在線安裝,但是在線安裝都很慢,這里使用下載parcel包離線安裝的方式。
PS:kafka有很多版本,CDH也有很多版本,那也許你會疑問如何知道你的CDH應該安裝什么kafka版本。這個官方有介紹,文檔地址: https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka   ,這里截圖:
 
由於我的CDH是5.11,所以只支持kafka2.1.x的,所以我安裝的就是這個版本
 
一。安裝准備:
所需軟件:
①kafka csd包,下載地址: http://archive.cloudera.com/csds/kafka/
 
 
 
②kafka parcel包:
地址: http://archive.cloudera.com/kafka/parcels/latest/,根據操作系統,下載對應的包
 
二。開始安裝
1.上傳kafka。
注意,以下操作,需要在你CDH的所有機器執行,不然待會檢測不到。
①上傳CSD包KAFKA-1.2.0.jar,到服務器CDH目錄下,路徑為/opt/cloudera/csd
 
②上傳parcel包中的那3個文件,到目錄/opt/cloudera/parcel-repo下,注意如果有文件重名,如manifest那個文件,把以前的重命名為其他名字
 
2.分配,激活
進入CDH的管理界面,點擊主機->parcel->檢查新parcel
 
如果成功,則會看到你的kafka一項,並且有分配按鈕,點擊分配,等待,然后分配按鈕編程激活按鈕,點擊激活,等待,操作成功后如下
 
OK,kafka安裝完成
 
三。善后工作
安裝完成后,便可以在添加服務里,添加kafka服務了。這里如果遇到最后一步,啟動kafka的時候,失敗報錯如下:
 
Fatal error during KafkaServerStartable startup. Prepare to shutdown java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at kafka.log.SkimpyOffsetMap.<init>(OffsetMap.scala:43) at kafka.log.LogCleaner$CleanerThread.<init>(LogCleaner.scala:186) at kafka.log.LogCleaner
anonfun$1.apply(LogCleaner.scala:83)atkafka.log.LogCleaneranonfun$1.apply(LogCleaner.scala:83)atkafka.log.LogCleaner
anonfun$1.apply(LogCleaner.scala:83)
 
這是因為 Java Heap Size配置小了(奇怪的是安裝kafka的時候它也沒提示我設置啊,簡直怪了),這里如下解決:
 
回到CDH主頁面,點擊kafka,進入配置頁面,修改 Java Heap Size of Broker為1G,如下:,然后保存,重啟KAFKA,OK,這下終於好了


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM