CDH大數據集群修復記錄
1）cm web打不開，查看監聽7180端口產生了很多進程，於是kill進程；重啟cloudera-cmf-server服務，幾秒鍾就掛了，查看cloudera-scm-server運行日志是由於mysql服務掛了。
2）查看mysql錯誤日志，mysql是默認安裝在/根分區下的，由於根分區空間不足，無法啟動mysql；清理了一些垃圾，重啟mysql成功了；重啟cloudera-cmf-server成功，但是各個組件出現了很多配置問題；於是重啟所有組件，不能重啟，究其原因，因與主節點失去聯系太久，日志報很多錯誤；於是重啟主機下各個組件，也不能重啟，現在各個組件都無法啟動；但是進程還在，過了一天后，各個進程死掉了。
遇到問題：a.系統分區空間不足，刪掉垃圾文件
b.默認的/var/log日志文件空間不足，更改路徑
c.無法檢測各個主機JAVA_HOME，配置JAVA主目錄
d.權限問題：日志文件夾drwxrwxrwx依次代表u,g,o,組別和擁有者
e.版本不匹配的問題：cm-guid刪掉，重啟所有agent
f.生成的/opt/lib/下的數據文件可以刪除
g.關閉防火牆、關閉SELINUX安全控制
3）重啟cloudera-scm-server:/opt/cm-5.10.0/etc/init.d/cloudera-scm-server restart
4）查看日志分析和網上百度，修復各個主機配置、終於發現原來是代理agent id不一樣的問題：
刪除各個主機下：rm /opt/cm-5.10.0/lib/cloudera-scm-agent/cm-guid
重啟各個主機下：/opt/cm-5.10.0/etc/init.d/cloudera-scm-agent restart
5)重啟cloudera manager service服務
6）重啟各個組件（hdfs/hbase/hive/yarn等）服務
7）注意各個組件的log日志文件路徑和lib生成的文件以及所需要的JDK根目錄是否配置
8）學會使用cm web端查看日志，搜索錯誤信息