不多說，直接上干貨！
福利 => 每天都推送
前期博客
Cloudera Manager安裝之Cloudera Manager 5.3.X安裝（三）（tar方式、rpm方式和yum方式）
說在前面的話（看清楚就好！！！）
我這篇博客，是兩種方式都使用過：（在/etc/yum.repos.d下的）
[hadoop@clouderamanager01 yum.repos.d]$ sudo vi cloudera-manager.repo [hadoop@clouderamanager02 yum.repos.d]$ sudo vi cloudera-manager.repo [hadoop@clouderamanager03 yum.repos.d]$ sudo vi cloudera-manager.repo
即（博主我推薦用這種！！！）（但是不需）
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64 name=Cloudera Manager baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/ gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera gpgcheck = 1
或者（但是，需要自定義存儲庫）
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64 name=Cloudera Manager baseurl=https://clouderamanager01/cm5/redhat/6/x86_64/cm/5.3.6/
enabled = 1 gpgcheck = 1
我這里是，使用CM 5.3.x利用parcels方式集群安裝CDH 5.3.x單節點集群！（開始開工）
下載CDH離線包
http://archive.cloudera.com/cdh5/parcels/
我這里，是選擇5.3.6版本
http://archive.cloudera.com/cdh5/parcels/5.3.6/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel http://archive.cloudera.com/cdh5/parcels/5.3.6/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 http://archive.cloudera.com/cdh5/parcels/5.3.6/manifest.json
以下是clouderamanager01這台機器上（主節點）
[hadoop@clouderaManager01 softwares]$ pwd
/opt/softwares [hadoop@clouderaManager01 softwares]$ ll total 4 drwxr-xr-x 2 hadoop hadoop 4096 Apr 8 13:49 cm-5.3.6 [hadoop@clouderaManager01 softwares]$ sudo mkdir cdh-5.3.6 [hadoop@clouderaManager01 softwares]$ ll total 8 drwxr-xr-x 2 root root 4096 Apr 8 20:00 cdh-5.3.6 drwxr-xr-x 2 hadoop hadoop 4096 Apr 8 13:49 cm-5.3.6 [hadoop@clouderaManager01 softwares]$ cd cdh-5.3.6/ [hadoop@clouderaManager01 cdh-5.3.6]$ pwd /opt/softwares/cdh-5.3.6 [hadoop@clouderaManager01 cdh-5.3.6]$ ll total 0 [hadoop@clouderaManager01 cdh-5.3.6]$ sudo rz [hadoop@clouderaManager01 cdh-5.3.6]$ sudo rz [hadoop@clouderaManager01 cdh-5.3.6]$ sudo rz [hadoop@clouderaManager01 cdh-5.3.6]$ ll total 1473900 -rw-r--r-- 1 root root 1509217191 Apr 7 19:38 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.html -rw-r--r-- 1 root root 41 Apr 7 19:24 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 -rw-r--r-- 1 root root 42661 Apr 7 19:24 manifest.json [hadoop@clouderaManager01 cdh-5.3.6]$
以下是clouderamanager01這台機器上安裝之后，默認產生的（在這里，你看看就好）
[hadoop@clouderaManager01 opt]$ pwd
/opt [hadoop@clouderaManager01 opt]$ ll total 16 drwxr-xr-x 4 cloudera-scm cloudera-scm 4096 Apr 8 18:31 cloudera drwxr-xr-x 2 root root 4096 Apr 8 18:13 cloudera-manager drwxr-xr-x. 2 root root 4096 Nov 22 2013 rh drwxr-xr-x 4 hadoop hadoop 4096 Apr 8 20:00 softwares [hadoop@clouderaManager01 opt]$ cd cloudera [hadoop@clouderaManager01 cloudera]$ ll total 8 drwxr-xr-x 2 cloudera-scm cloudera-scm 4096 Jul 30 2015 csd drwxr-xr-x 2 cloudera-scm cloudera-scm 4096 Jul 30 2015 parcel-repo [hadoop@clouderaManager01 cloudera]$ cd parcel-repo/ [hadoop@clouderaManager01 parcel-repo]$ pwd /opt/cloudera/parcel-repo [hadoop@clouderaManager01 parcel-repo]$ ll total 0 [hadoop@clouderaManager01 parcel-repo]$
或者，有時候，安裝CM完成后，出現：
以下是clouderamanager01這台機器上安裝之后，默認產生的（在這里，你看看就好）
[hadoop@clouderamanager01 opt]$ pwd
/opt [hadoop@clouderamanager01 opt]$ ll total 8 drwxr-xr-x 4 cloudera-scm cloudera-scm 4096 Apr 8 22:48 cloudera drwxr-xr-x. 3 hadoop hadoop 4096 Apr 8 11:20 softwares [hadoop@clouderamanager01 opt]$ cd cloudera/ [hadoop@clouderamanager01 cloudera]$ ll total 8 drwxr-xr-x 2 cloudera-scm cloudera-scm 4096 Mar 20 11:24 csd drwxr-xr-x 2 cloudera-scm cloudera-scm 4096 Mar 20 11:24 parcel-repo [hadoop@clouderamanager01 cloudera]$
關於/opt/cloudera/parcel-repo和/opt/cloudera/parcel（必須弄懂，別怕）
192.168.80.148 clouderamanager01 （部署ClouderaManager-server和Mirror server） （部署Agent） （分配1G，我這里只是體驗過程，當然你可以分配更多或更小)
192.168.80.149 clouderamanager02 （部署Agent） （分配1G，我這里只是體驗過程，當然你可以分配更多或更小)
192.168.80.150 clouderamanager03 （部署Agent）
部署ClouderaManager-server和Mirror server的機器，默認是存儲在/opt/cloudera/parcel-repo。
部署Agent的機器，默認是存儲在/opt/cloudera/parcel。
即，這也是為什么，我在下面這篇博客里寫到。
Cloudera Manager安裝之Cloudera Manager 5.3.X安裝（三）（tar方式、rpm方式和yum方式）
博客里，提及到的tar方式來安裝。
我這篇博文，是安裝單節點集群，是在clouderamanager01上。因為，它是安裝了ClouderaManager-server和Mirror server的機器。
所以，默認是存在/opt/cloudera/parcel-repo。（因為，我是在這個做主節點的！，也是為了后續的3節點集群准備）
http://clouderamanager01:7180/cmf/home
[hadoop@clouderaManager01 yum.repos.d]$ sudo service cloudera-scm-server status cloudera-scm-server (pid 5533) is running... [hadoop@clouderaManager01 yum.repos.d]$ sudo service cloudera-scm-server restart Stopping cloudera-scm-server: [ OK ] Starting cloudera-scm-server: [ OK ] [hadoop@clouderaManager01 yum.repos.d]$
http://clouderamanager01:7180/cmf/login
選擇集群中的主機，這里選擇所有主機。
這步選擇CDH安裝包，進入這個頁面是，系統自動識別本地parcel包了。如果不識別，則可以點擊上面更多選擇里面到對應的目錄把正確的本地路徑地址和遠程url地址路徑填上即可。
注意：默認是最新的穩定版本！
http://archive.cloudera.com/cdh5/parcels/latest/
其實呢，在安裝過程中，我們可以用默認的。但是，我這里選擇用5.3.6。
http://archive.cloudera.com/cdh5/parcels/5.3.6/
同時，注意這兩個地方
Parcel 目錄，默認是/opt/cloudera/parcels（即clouderaManager02、即clouderaManager03機器）
但是呢。不更改，也可以正常安裝！
填入，就是這里的值!
clouderaManager01/cm5/redhat/6/x86_64/cm/5.3.6/
其實啊，這一步的ssh，我之前已經配置過了，這里還是最好再自動配置吧！即勾選上。
在安裝過程中，出現如下問題
[hadoop@clouderaManager01 html]$ pwd /var/www/html [hadoop@clouderaManager01 html]$ ll total 4 drwxr-xr-x 3 root root 4096 Apr 8 20:37 cm5 [hadoop@clouderaManager01 html]$ sudo mkdir -p cm5/redhat/6/x86_64/cm/5.3.6/repodata [hadoop@clouderaManager01 html]$ ll total 4 drwxr-xr-x 3 root root 4096 Apr 8 20:37 cm5 [hadoop@clouderaManager01 html]$ cd cm5/redhat/6/x86_64/cm/5.3.6/repodata/ [hadoop@clouderaManager01 repodata]$ pwd /var/www/html/cm5/redhat/6/x86_64/cm/5.3.6/repodata [hadoop@clouderaManager01 repodata]$ ll total 0 [hadoop@clouderaManager01 repodata]$
[hadoop@clouderaManager01 repodata]$ pwd /var/www/html/cm5/redhat/6/x86_64/cm/5.3.6/repodata [hadoop@clouderaManager01 repodata]$ sudo rz [hadoop@clouderaManager01 repodata]$ sudo rz [hadoop@clouderaManager01 repodata]$ sudo rz [hadoop@clouderaManager01 repodata]$ sudo rz [hadoop@clouderaManager01 repodata]$ sudo rz [hadoop@clouderaManager01 repodata]$ sudo rz [hadoop@clouderaManager01 repodata]$ sudo rz [hadoop@clouderaManager01 repodata]$ sudo rz [hadoop@clouderaManager01 repodata]$ ll total 124 -rw-r--r-- 1 root root 91122 Apr 7 22:36 filelists.xml.gz -rw-r--r-- 1 root root 198 Apr 7 22:36 filelists.xml.gz.asc -rw-r--r-- 1 root root 570 Apr 7 22:36 other.xml.gz -rw-r--r-- 1 root root 198 Apr 7 22:36 other.xml.gz.asc -rw-r--r-- 1 root root 4208 Apr 7 22:37 primary.xml.gz -rw-r--r-- 1 root root 198 Apr 7 22:37 primary.xml.gz.asc -rw-r--r-- 1 root root 951 Apr 7 22:37 repomd.xml -rw-r--r-- 1 root root 198 Apr 7 22:37 repomd.xml.asc [hadoop@clouderaManager01 repodata]$
集群安裝
因為這里所需要的軟件包我們之前都已經安裝過了，這一步會很快結束。
如果還是沒解決的話，那就換成在線的吧！（哎）
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64 name=Cloudera Manager baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/ gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera gpgcheck = 1
然后，接着下面
重復，執行上面的過程。這里省略，.....
直至如下界面.....
安裝Parcel到所有主機上（我這里是clouderaManager02這台機器上）
因為Parcel文件已經提前下載好了，第一個進度條會直接顯示已下載，然后開始分配。這個過程實際上就是將Parcel內的軟件解壓縮安裝到各個主機上的過程。耐心等待，時間會比較長，我安裝1台主機（即在clouderaManager02這台，安裝單節點集群）大概是需要5分鍾時間。（這里看個人的網速和內存有關）
其實啊，這里分配就是解壓。
安裝完畢后點繼續
主機檢查
檢查就可以了，建議不要跳過。檢查結果如下：
這里， 是必須得所有不能出現黃色警告！
安裝完成之后，再安裝所需的服務（其實，這一步，若你的內存和空間足夠，最好選擇所有服務）
其實啊，這步是選擇集群中要安裝的CDH服務，為了將來新增服務麻煩，我們這里選擇所有服務。其中有暫時用不到的服務，我們可以在界面中停止服務，這樣可以節省內存資源
這里，添加Cloudera Management Service服務
然后，關於安裝其他的，如Zookeeper、Hive、HBase和Spakr、Hadoop等。這些。我就不贅述了。
或者，你可以。CDH5提供了你可能需要的各種服務，需要什么啟動什么就行了。這里我選擇了自定義，添HBase，HDFS，Hive，MapReduce，ZooKeeper，Spark等添加這里大家按照自己的需求選。
換圖
角色分配
分配各個節點的角色
數據庫設置
我這里，故意先是，選擇使用嵌入式數據庫，只是做個示范而已。點擊測試連接，成功后點繼續。
但是，若是實際生產環境中，最好還是用自定義數據庫，我這里只是玩玩而已。（記得截圖，以便為了看密碼）
同時，注意，我的clouderaManager01僅僅只是安裝了CM而已，當前要到clouderaManager02上去。
所以，CDH默認內嵌了一個數據庫，無法通過。我這里選擇需要MySQL或者Oracle請選擇使用自定義數據庫，
比如Hive， oozie 元數據庫配置，使用我們安裝的mysql來存放元數據，其中數據庫名，用戶名和密碼需要預先創建好的。這里。請移步
需要之前就創建好，請移步
注意，這里，gaiwei
mysql> GRANT ALL PRIVILEGES ON *.* to 'hive'@'
clouderaManager02
' IDENTIFIED BY 'hive_password' WITH GRANT OPTION;
mysql> GRANT ALL PRIVILEGES ON *.* to 'oozie'@'clouderaManager02' IDENTIFIED BY 'oozie_password' WITH GRANT OPTION;
如果中間出錯誤了，則如下這樣，刪除就好
[hadoop@clouderaManager02 ~]$ sudo rpm -qa|grep mysql mysql-server-5.1.73-8.el6_8.x86_64 mysql-5.1.73-8.el6_8.x86_64 mysql-libs-5.1.73-8.el6_8.x86_64 [hadoop@clouderaManager02 ~]$ sudo rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 error: package mysql-libs-5.1.71-1.el6.x86_64 is not installed [hadoop@clouderaManager02 ~]$ sudo rpm -e --nodeps mysql-server-5.1.73-8.el6_8.x86_64 warning: /var/log/mysqld.log saved as /var/log/mysqld.log.rpmsave [hadoop@clouderaManager02 ~]$ sudo rpm -e --nodeps mysql-5.1.73-8.el6_8.x86_64 [hadoop@clouderaManager02 ~]$ sudo rpm -e --nodeps mysql-libs-5.1.73-8.el6_8.x86_64 [hadoop@clouderaManager02 ~]$ sudo rpm -qa|grep mysql [hadoop@clouderaManager02 ~]$
審核更改
這里全部默認就可以了，直接繼續。
安裝完成，初始化
到這里集群已經安裝部署完成了，CDH會自動對你選擇的服務進行初始化設置，你也可以稍后自行開啟。
初始化完成后，將進入主頁面
常見錯誤
[hadoop@clouderaManager01 parcel-repo]$ sudo service cloudera-scm-server restart ./cloudera-scm-server: line 109: pstree: command not found Starting cloudera-scm-server: [ OK ]
主要因為沒有安裝pstree包。
解決辦法：
[hadoop@clouderaManager01 parcel-repo]$ sudo yum install epel-release (安裝yum 源)
[hadoop@clouderaManager01 parcel-repo]$ sudo yum provides pstree (找到提供pstree命令的包)
[hadoop@clouderaManager01 parcel-repo]$ sudo yum install psmisc (安裝對應的包)
然后，
[hadoop@clouderaManager01 parcel-repo]$ sudo service cloudera-scm-server restart
Stopping cloudera-scm-server: [ OK ]
Starting cloudera-scm-server: [ OK ]
Detecting Cloudera Manager Server... Detecting Cloudera Manager Server... BEGIN host -t PTR 192.168.1.198 198.1.168.192.in-addr.arpa domain name pointer localhost. END (0) using localhost as scm server hostname BEGIN which python /usr/bin/python END (0) BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182 Traceback (most recent call last): File "<string>", line 1, in <module> File "<string>", line 1, in connect socket.error: [Errno 111] Connection refused END (1) could not contact scm server at localhost:7182, giving up waiting for rollback request
解決辦法：
在失敗的主機上，終端執行
sudo mv /usr/bin/host /usr/bin/host.bak
然后重試。
安裝過程一直卡在"正在獲取安裝鎖"狀態界面
解決辦法：
在卡住的主機上，刪除/tmp文件夾中的所有scm_prepare_node.開頭的文件，清空yum緩存，然后重啟主機。
sudo cd /tmp sudo rm -rf scm_prepare_node.* sudo yum clean all sudo reboot
安裝完畢后NameNode格式化失敗，報以下錯誤
IncorrectVersionException: Unexpected version of storage directory /data/dfs
解決辦法：
刪除NameNode節點的/data/dfs文件夾，重新添加主機。
如何更改節點ip
解決辦法：
重新設置每台主機的hosts文件，完成后進入主機界面，點擊重新運行升級向導，再走一遍之前的流程即可。
參考鏈接
http://www.mamicode.com/info-detail-1596233.html
http://www.jianshu.com/p/57179e03795f
http://www.aboutyun.com/thread-20741-1-1.html
若您想搭建多節點集群，請移步
Cloudera Manager安裝之利用parcels方式安裝3節點集群（包含最新穩定版本或指定版本的安裝）（添加服務）
同時，大家可以關注我的個人博客：
http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/ http://www.cnblogs.com/sunnyDream/
詳情請見：http://www.cnblogs.com/zlslch/p/7473861.html
人生苦短，我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神，匯聚於互聯網和個人學習工作的精華干貨知識，一切來於互聯網，反饋回互聯網。
目前研究領域：大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及：Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里，每天必須有收獲
對應本平台的討論和答疑QQ群：大數據和人工智能躺過的坑（總群）（161156071）
打開百度App，掃碼，精彩文章每天更新！歡迎關注我的百家號： 九月哥快訊
