一、角色分配
Cloudera Manager Agent:向server端報告當前機器服務狀態。
Cloudera Manager Server:接受agent角色報告服務狀態,以視圖界面展現,方便管理員查看。
master | slave1 | slave2 | |
Server | Y | ||
Agent | Y | Y | Y |
二、准備CDH安裝包
本文檔采用離線安裝方式,所需安裝包上傳到/root/soft/cdh/目錄下
創建目錄(所以節點都要執行)
[root@master ~]# mkdir /root/soft/cdh
上傳以下安裝包:
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel.sha
cloudera-manager-el6-cm5.9.3_x86_64.tar.gz
manifest.json
三、安裝 Cloudera Manager Server&Agent(所有節點)
拷貝 cloudera-manager-el6-cm5.9.3_x86_64.tar.gz到所有 Server、Agent 節點
[root@master ~]# scp -r cloudera-manager-el6-cm5.9.3_x86_64.tar.g slave1:$PWD [root@master ~]# scp -r cloudera-manager-el6-cm5.9.3_x86_64.tar.g slave2:$PWD
3.1 創建CM目錄(所有節點)
[root@master ~]# mkdir /opt/cloudera-manager
3.2 解壓CM安裝包(所有節點)
[root@master cdh]# tar -zxvf cloudera-manager-el6-cm5.9.3_x86_64.tar.gz -C /opt/cloudera-manager/
3.3 創建用戶 cloudera-scm (所有節點)
[root@master cdh]# useradd --system --home=/opt/cloudera-manager/cm-5.9.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3.4 配置 CM Agent(所有節點)
修改文件/opt/cloudera-manager/cm-5.9.3/etc/cloudera-scm-agent/config.ini 中的server_host。(server_port使用默認的7182即可,不要改為7180,否則會導致在管理界面無法看到相應的主機。)
server_host=master
[root@master cdh]# vi /opt/cloudera-manager/cm-5.9.3/etc/cloudera-scm-agent/config.ini
四、配置 CM Server 的數據庫(master節點)
4.1 創建目錄(所有節點)
[root@master cdh]# mkdir /usr/share/java
4.2 拷貝mysql連接驅動包(所有節點)
將驅動包拷貝到目錄下(注意拷貝過去的驅動包名字一定要和下邊的一樣,否則會報錯):
[root@master cdh]# cp /root/soft/mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar
4.3 MySQL中創建臨時用戶
mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
4.4 創建CM server數據庫
[root@master java]# cd /opt/cloudera-manager/cm-5.9.3/share/cmf/schema/ [root@master schema]# ./scm_prepare_database.sh mysql -h master -utemp -ptemp --scm-host master scm scm scm
(對應於:數據庫類型、數據庫服務器、用戶名、密碼、CMServer 所在節點.......)
4.5 刪除MySQL臨時用戶
mysql> drop user 'temp'@'%';
若上步失敗或過程中操作中斷,刪除所有庫、重頭來過。
五、創建Parcel目錄
5.1 在master節點執行
Manager 節點(master)創建目錄/opt/cloudera/parcel-repo
[root@master ~]# mkdir -p /opt/cloudera/parcel-repo
[root@master ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
5.2 在Agent節點執行
Agent 節點(所有節點)創建目錄/opt/cloudera/parcels
[root@master ~]# mkdir -p /opt/cloudera/parcels
[root@master ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
5.3 拷貝文件
將 下 載 好 的 文 件 (
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel.sha
manifest.json
)拷貝到master的/opt/cloudera/parcel-repo
[root@master ~]# cd soft/cdh5.9.3/ [root@master cdh]# cp CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel* /opt/cloudera/parcel-repo/ [root@master cdh]# cp manifest.json /opt/cloudera/parcel-repo/
六、啟動 CM Manager&Agent 服務
6.1 啟動manager
在master上執行以下啟動命令
#啟動 [root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-server start #查看狀態 [root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-server status #停止 [root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-server stop 重啟 [root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-server restart
6.2 啟動Agent
在所有服務器上執行以下啟動命令
#啟動 [root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-agent start #查看狀態 [root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-agent status #停止 [root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-agent stop 重啟 [root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-agent restart
6.3 訪問界面
訪問:http://IP(master):7180,若可以訪問(用戶名、密碼:admin),則安裝成功。
Manager 啟動成功需要等待一段時間,過程中會在數據庫中創建對應的表需要耗費一些時間。 (不支持IE瀏覽器,可用火狐或谷歌)