相關文章鏈接
CentOS7安裝CDH 第二章:CentOS7各個軟件安裝和啟動
CentOS7安裝CDH 第四章:CDH的版本選擇和安裝方式
CentOS7安裝CDH 第五章:CDH的安裝和部署-CDH5.7.0
CentOS7安裝CDH 第六章:CDH的管理-CDH5.12
CentOS7安裝CDH 第七章:CDH集群Hadoop的HA配置
CentOS7安裝CDH 第八章:CDH中對服務和機器的添加與刪除操作
1. CDH官網Kafka的安裝教程網址
https://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html#concept_m2t_d45_4r
2. 下載對應的Kafka版本
1、查看CDH和Kafka的版本對應列表:
2、因為安裝的CDH版本為5.10或5.12,故選擇的Kafka版本為2.2.x和0.10.2,此時去網站找到對應的Kafka版本:
網址:https://www.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html#concept_fzg_phl_br
3、點擊對應的下載地址,下載該Kafka的parcel包(需更改sha1的后綴名):
3. 安裝Kafka服務
1、將Kafka的parcel包(3個文件)上傳到/var/www/html/kafka_parcel目錄下,需配置好https服務,請參考上述CDH安裝時的方法配置,在瀏覽器上能訪問到如下場景即可:
2、點擊CDH主頁面中的主機下面的Parcel按鈕:
3、點擊Parcel界面的配置按鈕,配置Kafka的地址,該地址默認是官網地址,但在CDH的離線安裝時已將所有的在線地址刪除,所以在這加上Kafka的Parcel包的離線地址即可:
4、在Parcel界面,點擊Kafka的下載按鈕:
5、依次執行Kafka的分配和激活:
4. 將Kafka服務添加到CDH中
1、在CDH的主界面點擊添加服務按鈕,並選擇Kafka服務:
2、給Kafka分配節點(Kafka后面2個服務一般情況下不選):
3、Kafka的配置文件進行配置:
a) 配置Kafka的文件存放目錄,因為Kafka是依賴Zookeeper的,所以Kafka的文件也是存放在Zookeeper的目錄中,如果要卸載Kafka時,需要將這些Kafka的文件也刪除,所以可以把Kafka的文件存放在一個目錄中:
Kafka的文件存放目錄:
進入Zookeeper的文件管理界面(命令行):
b) 因為Kafka是一個消息中間鍵,有將生產者生產的信息進行緩存的操作,所以在配置Kafka的數據存儲目錄時需要注意,將數據存放到一個比較大的磁盤中,該數據存放的目錄如下配置所示:
c) 在卸載重裝Kafka時,需要將Zookeeper目錄下的Kafka文件,以及Kafka數據存放的目錄都清空,請注意是每個節點都要清空,否則不能重裝。
4、啟動Kafka服務,會發現Kafka服務不能成功啟動,報錯如下:
此時為主機的內存不足,返回Kafka配置文件界面,修改memory中的Java Heap Size of Broker值為512M(如果機器內存充足,可以再大一些),如下:
修改之后去CDH的主界面重啟Kafka,啟動成功,如下所示: