相關文章鏈接
CentOS7安裝CDH 第二章：CentOS7各個軟件安裝和啟動
CentOS7安裝CDH 第四章：CDH的版本選擇和安裝方式
CentOS7安裝CDH 第五章：CDH的安裝和部署-CDH5.7.0
CentOS7安裝CDH 第六章：CDH的管理-CDH5.12
CentOS7安裝CDH 第七章：CDH集群Hadoop的HA配置
CentOS7安裝CDH 第八章：CDH中對服務和機器的添加與刪除操作
1. CDH動態添加機器
1.2. 對新機器的環境配置
1、配置新機器的JDK環境，保持和其他機器一致，可參考上述JDK的安裝；
2、關閉防火牆，如果在線上環境要開放好端口；
3、上傳MySQL的連接Jar包；
4、修改原有集群的所有機器的/etc/hosts，將新機器的對應ip添加進去：
echo “192.168.12.120 centos.ouyang.com” >> /etc/hosts
5、將老機器中的/etc/hosts中ip地址對應的主機名的內容復制到新機器上；
6、檢查新機器的python版本，要和老機器保持一致；
7、配置新機器的yum源，可以直接到老機器上復制即可；
cd /etc/yum.repos.d/
scp cloudera-manager.repo 192.168.12.120:/etc/yum.repos.d/
注意：
1、在添加其他機器時操作系統和原機器的操作系統要保持版本一致；
2、如果使用jar包安裝JDK，安裝地址為/usr/java目錄下，其他目錄下會報錯；
3、上傳的MySQL連接Jar包需上傳到/usr/share/java目錄下；
4、安裝JDK時建議使用上述的rpm包安裝，這樣會將python更新一下；
1.2. 在CDH的web界面添加新機器
1、點擊向集群中添加新主機按鈕
2、添加主機向導
3、輸入新機器的IP地址搜索新機器，如果是使用阿里雲等雲服務機器，請輸入內網IP，在阿里雲上，內網速度比外網快很多
4、搜索到新機器，點擊繼續按鈕
5、選擇自定義存儲庫，自定義存儲庫中的地址就是yum源配置的地址，可以通過cat cloudera-manager.repo命令查看，將其中的baseurl的地址復制進去即可，請注意其中的協議要為http，不能是https
6、不安裝自帶JDK，點擊下一步
7、輸入用戶的密碼
8、在新添加的機器中安裝agent（這是拼人品的時候，遇到問題請查看日志，然后解決問題，再重新安裝），安裝成功后點擊繼續按鈕
注意：如果在安裝過程中，點擊了中止按鈕，此時需要到命令行端，執行ps -ef | grep yum命令，查找到對應的yum進程，並kill掉，再去web界面重新安裝，否則不能重新安裝成功，在web界面中止，不會把yum源完全關閉，需要在命令行界面徹底關閉才行
9、安裝選定的包，安裝完成之后點擊繼續按鈕
10、進行主機檢查，可以參考上述的CDH安裝中，設置大頁面和swap
11、選擇主機模板，一般是不選擇模板的，先添加一台空機器進入集群中
12、部署客戶端配置，點擊繼續按鈕即可
13、添加成功
2. CDH動態添加服務
1、選擇對應服務中的添加角色實例按鈕（以HDFS為例）
2、為要添加的服務選擇具體的主機（以DataNode為例）
3、審核更改DataNode的數據目錄和容忍DataNode可以失敗的卷（請注意CentOS中掛載的其他磁盤，如果沒有掛載其他磁盤，就如下所示，當磁盤容量充足時，不需要添加其他的目錄，保留如下目錄即可）
4、重新部署客戶端配置
按照流程往下走即可，其中的重新部署客戶端配置選項一定要選，如下圖：
5、重啟過時服務，重啟之后點擊完成即可
6、添加完成，在主界面有一些配置等小問題需要更改，請根據具體情況進行修改即可，例在HDFS中添加了一個DataNode，此時HDFS中的塊可以備份為3個，CDH就會提示進行修改，如下圖所示，但在生產環境中最好不要修改配置，因為修改配置后有重啟服務的提示，一不小心重啟服務在生產環境中會造成不好的后果（注：生產環境中一般情況下不要重啟服務，如果一定要重啟服務請在晚上等業務較少時再進行操作）
7、如果碰到如下情況，新添加的服務還是沒有啟動，可以手動啟動
3. CDH的遷移服務
1、場景一，A機器的磁盤快滿了，新添加了B機器（大磁盤）到集群上：
此時，需要在B機器上添加DN，並刪除A機器的DN，但當在B機器上添加DN，並刪除A機器的DN時，HDFS集群會自動修復數據，即會保持HDFS中的block塊備份為3個，此時會有很多數據通過B機器的DN寫入到B機器的磁盤中，會占大量的網絡和磁盤IO，此時應該評估B機器的磁盤是否夠用（預估2年后的數據量，B機器磁盤是否能裝下），是否處於業務低谷，即會不會影響Job的執行。
2、場景二，HDFS中log分區的數據備份：
將存儲到HDFS中6個月前的冷數據遷移到 aws s3 / aliyun oss / 或另外的集群上，達到數據備份並清理集群中機器磁盤的目的。
3、注意：
a) 有些服務不能遷移（如DataNode），只能在新機器上添加服務，再在老機器上刪除服務。
b) 在遷移服務時會重啟集群上的該服務，所以應該選擇在業務低谷中對服務進行遷移。
c) 在HDFS中，有balancer平衡器對各個機器中的數據進行平衡，但當一個機器中的數據太多時（另外還有個機器的數據很少），使用平衡器不會將該機器中的數據移除太多，只會移除比較少的一部分，所以一般是在新機器上添加服務，將老機器上的服務刪除。
4. CDH中的刪除服務和機器
1、選中該機器，並停止該機器上的所有角色
2、去對應的服務中刪除該機器中每一個角色
3、通過命令行，關閉該機器的的agent服務，並將該機器從集群中移除
4、成功將該機器從集群中移除（移除也可以直接選中該機器，然后解除授權，但速度太慢，不建議使用，上述刪除每個服務的方法速度較快）
