CentOS7安裝CDH 第九章:CDH中安裝Kafka


相關文章鏈接

CentOS7安裝CDH 第一章:CentOS7系統安裝

CentOS7安裝CDH 第二章:CentOS7各個軟件安裝和啟動

CentOS7安裝CDH 第三章:CDH中的問題和解決方法

CentOS7安裝CDH 第四章:CDH的版本選擇和安裝方式

CentOS7安裝CDH 第五章:CDH的安裝和部署-CDH5.7.0

CentOS7安裝CDH 第六章:CDH的管理-CDH5.12

CentOS7安裝CDH 第七章:CDH集群Hadoop的HA配置

CentOS7安裝CDH 第八章:CDH中對服務和機器的添加與刪除操作

CentOS7安裝CDH 第九章:CDH中安裝Kafka

CentOS7安裝CDH 第十章:CDH中安裝Spark2

CentOS7安裝CDH 第十一章:離線升級CDH版本

CentOS7安裝CDH 第十二章:YARN的資源調優

CentOS7安裝CDH 第十三章:CDH資源池配置

CentOS7安裝CDH 第十四章:CDH的優化

1. CDH官網Kafka的安裝教程網址

https://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html#concept_m2t_d45_4r

2. 下載對應的Kafka版本

1、查看CDH和Kafka的版本對應列表:

查看網址:https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka

2、因為安裝的CDH版本為5.10或5.12,故選擇的Kafka版本為2.2.x和0.10.2,此時去網站找到對應的Kafka版本:

網址:https://www.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html#concept_fzg_phl_br

3、點擊對應的下載地址,下載該Kafka的parcel包(需更改sha1的后綴名):

3. 安裝Kafka服務

1、將Kafka的parcel包(3個文件)上傳到/var/www/html/kafka_parcel目錄下,需配置好https服務,請參考上述CDH安裝時的方法配置,在瀏覽器上能訪問到如下場景即可:

2、點擊CDH主頁面中的主機下面的Parcel按鈕:

3、點擊Parcel界面的配置按鈕,配置Kafka的地址,該地址默認是官網地址,但在CDH的離線安裝時已將所有的在線地址刪除,所以在這加上Kafka的Parcel包的離線地址即可:

4、在Parcel界面,點擊Kafka的下載按鈕:

5、依次執行Kafka的分配和激活:

4. 將Kafka服務添加到CDH中

1、在CDH的主界面點擊添加服務按鈕,並選擇Kafka服務:

2、給Kafka分配節點(Kafka后面2個服務一般情況下不選):

3、Kafka的配置文件進行配置:

a)  配置Kafka的文件存放目錄,因為Kafka是依賴Zookeeper的,所以Kafka的文件也是存放在Zookeeper的目錄中,如果要卸載Kafka時,需要將這些Kafka的文件也刪除,所以可以把Kafka的文件存放在一個目錄中:

Kafka的文件存放目錄:

進入Zookeeper的文件管理界面(命令行):

b) 因為Kafka是一個消息中間鍵,有將生產者生產的信息進行緩存的操作,所以在配置Kafka的數據存儲目錄時需要注意,將數據存放到一個比較大的磁盤中,該數據存放的目錄如下配置所示:

c) 在卸載重裝Kafka時,需要將Zookeeper目錄下的Kafka文件,以及Kafka數據存放的目錄都清空,請注意是每個節點都要清空,否則不能重裝。

4、啟動Kafka服務,會發現Kafka服務不能成功啟動,報錯如下:

此時為主機的內存不足,返回Kafka配置文件界面,修改memory中的Java Heap Size of Broker值為512M(如果機器內存充足,可以再大一些),如下:

修改之后去CDH的主界面重啟Kafka,啟動成功,如下所示:


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM