Cloudera Manager5及CDH5在線（cloudera-manager-installer.bin）安裝詳細文檔

問題導讀：
1.Cloudera Manager5如何使用cloudera-manager-installer.bin安裝？
2.Cloudera Manager5安裝被中斷該如何繼續安裝？還是重新安裝？
3.安裝過程cloudera server與agent不能通信該如何解決？
4.Cloudera Manager5安裝是否有要求？
5.安裝服務的過程中，遇到錯誤，該如何解決？







Cloudera Manager5安裝遇到很多的問題，本來Cloudera Manager是為了簡化部署，但是由於條件有限，安裝Cloudera Manager如果不注意，會成為一部血淚史。為了避免、多次、重復安裝不成功，所以你需要具備以下條件。



1.較好的網速
至少2m,否則現在慢的要死

2.網絡要穩定
一旦網絡中斷，可能你花費了半天或則一天的時間，就有可能會浪費，然后重裝。

3.內存要足夠大
我的電腦是8G:
使用虛擬機安裝
cloudera server：4G
cloudera agent：分別為2G
電腦最后很卡，而且內存爆滿。
所以官網給出的10G不是沒有道理的。



安裝系統為ubuntu12.04

1. 網絡配置(所有節點)

vi /etc/sysconfig/network 修改hostname：

NETWORKING=yesHOSTNAME=n1

通過 service network restart 重啟網絡服務生效。

vi /etc/hosts ,修改ip與主機名的對應關系

192.168.1.106   n1
192.168.1.107   n2
192.168.1.108   n3

注意： 這里需要將每台機器的ip及主機名對應關系都寫進去，本機的也要寫進去，否則啟動Agent的時候會提示hostname解析錯誤。

關閉防火牆和SELinux

注意： 需要在所有的節點上執行，因為涉及到的端口太多了，臨時關閉防火牆是為了安裝起來更方便，安裝完畢后可以根據需要設置防火牆策略，保證集群安全。

關閉SELINUX（實際安裝過程中發現沒有關閉也是可以的，不知道會不會有問題，還需進一步進行驗證）:

setenforce 0 （臨時生效）  
修改 /etc/selinux/config 下的 SELINUX=disabled （重啟后永久生效）

來源： http://www.tuicool.com/articles/ENjmeaY/

准備工作

規划三台：
cloudera scm server  內存分配4G
cloudera scm agent   內存分配2G
cloudera scm agent  內存分配2G
同時三台都需要配置hostname及hosts如下
（這里一定要配置正確否則，會面會出通信問題）
 

1. #127.0.1.1      ubuntu     
   

2. 172.16.77.60 CDH.aboutyun.com  CDH
   

3. 172.16.77.61 CDH1.aboutyun.com CDH1
   

4. 172.16.77.62 CDG2.aboutyun.com CDH2
   

5. 
   

復制代碼

不知道如何配置，參考ubuntu修改hostname

注意：本來想寫一個完美的文檔，上面有一個小失誤，CDH2可以寫成CDG2，這里不要照抄，而是失誤，不過這個不影響，只要所有的hosts，都配置成這樣，通信是沒有問題的。


同時三台都安裝ssh

1. sudo apt-get install ssh

復制代碼

 


在每台機器上執行下面操作：

1. sudo mv /usr/bin/host /usr/bin/host.bak

復制代碼

1. echo 0 > /proc/sys/vm/swappiness

復制代碼

官網介紹及cloudera-manager-installer.bin下載及安裝視頻





下載和運行cloudera-manager-installer.bin

1.下載cloudera-manager-installer.bin
附件下載：
 cloudera-manager-installer.rar (253.69 KB, 下載次數: 228) 


官網下載
如果使用windows,可以使用scp，復制到Linux，如果不會使用scp，可以參考
新手指導：使用 WinSCP（下載） 上文件到 Linux圖文教程
ssh、scp不能遠程登錄與復制都失敗解決方案


2.改變 cloudera-manager-installer.bin 的執行權限

1. chmod u+x cloudera-manager-installer.bin
   

2. 
   

復制代碼

3.執行 cloudera-manager-installer.bin

1. sudo ./cloudera-manager-installer.bin

復制代碼

會彈出框，你只需要按下next和yes就可以了。
詳細步驟如下：
彈出對話框

 


單擊NEXT

 



單擊NEXT


 



按下Yes


 


單擊NEXT


 



按下Yes

 



最后是等待。
最后安裝

 

1. Your browser should now open to http://localhost:7180/. Log in to Cloudera Manager with the username and password set to 'admin' to continue installation.

復制代碼

在安裝cloudera-server的pc機下，輸入下面網址即可訪問

1. http://localhost:7180

復制代碼

上面點擊close，會自動訪問。關閉瀏覽器后，會看到下圖
 



遠程訪問的輸入ip即可下面形式

1. http://ip:7180

復制代碼

例如：

1. http://172.16.77.60：7180

復制代碼

4.登錄

輸入用戶名和密碼
用戶名：admin
密碼：  admin

安裝完畢，單擊ok，系統會默認讓你訪問localhost:7180。我們可以通過ip訪問
如下圖所示：http://172.16.77.60：7180

 


z這樣cloudera-manager-server就已經安裝成功了。



我們接着進入下面：

登錄成功，進入下面界面

選擇 Cloudera Manager 版本 和指定主機



我們選擇Clouder Express。
當然你選擇Clouder Enterprise試用版也可以。單擊繼續



為CDH集群安裝指定主機
 


 



都通信完好，我們單擊繼續



選擇存儲庫

都是采用的默認設置
 

配置 Java 加密

 

采用的是默認形式

提供ssh登錄憑據

 

這里選用的是root，並且接受相同的密碼，密碼都為123

注釋：
指定主機的 SSH 登錄方式
一種通過root用戶，密碼需要一致，剛開始安裝建議使用root。
也可以使用非root用戶，但是需要保證sudo無密碼訪問 
實現方法如下

1. 給aboutyun用戶設置無密碼sudo權限：
   

2. chmod u+w /etc/sudoers
   

3. aboutyun ALL=(root)NOPASSWD:ALL
   

4. chmod u-w /etc/sudoers
   

5. 測試：sudo ifconfig

復制代碼

來自創建sudo無密碼登陸



開始安裝
 


如遇到問題 無法檢測到 Agent 發出的檢測信號，可參考：Cloudera Manager5 在線bin安裝遇到 無法檢測到 Agent 發出的檢測信號 總結


 

這樣就通信成功了，我們單擊繼續


下載CDH

圖1
 

圖2
 






主機正確性檢測
 

這里可能會遇到如下問題：

Cloudera 建議將 /proc/sys/vm/swappiness 設置為 0。當前設置為 60。使用 sysctl 命令在運行時更改該設置並編輯 /etc/sysctl.conf 以在重啟后保存該設置。您可以繼續進行安裝，但可能會遇到問題，Cloudera Manager 報告您的主機由於交換運行狀況不佳。以下主機受到影響：

解決辦法：執行下面即可

1.     
       
       
               
   
        
        
        
                
   echo 0 > /proc/sys/vm/swappiness
       
       
       
               

   
   
   1.查看你的系統里面的swappiness
   $ cat /proc/sys/vm/swappiness
   不出意外的話，你應該看到是 60
   2.修改swappiness值為10
   $ sudo sysctl vm.swappiness=10
   但是這只是臨時性的修改，在你重啟系統后會恢復默認的60，所以，還要做一步：
   $ gksudo gedit /etc/sysctl.conf
   在這個文檔的最后加上這樣一行:
   vm.swappiness=10
   
   
   
   來源： http://blog.csdn.net/tianlangxiaoyue/article/details/7249484
   
   
   
   

數據庫設置：

這里使用默認設置，然后單擊測試連接即可

 







審核更改

 

同樣這里采用的是默認設置



創建服務
這里是一個關鍵點，很多人會遇到錯誤。
並且有的服務創建成功，有的創建失敗，於是我們點擊重試，那么對於成功的服務，他就不會再次出現，這就就是為什么，加入有19個服務，在此重試的時候，你可能會看到2個服務。


在這里遇到的錯誤是內存不夠用，所以我們server最好是5個G，另外兩個節點是3G，至少2G。我這里的內存分布是：有一個master,三個datanode.
server節點有namenode和datanode兩個節點。
因為內存少，所以就遇到了下面問題：

1. Command aborted because of exception: Command timed-out after 90 seconds
   

2. 程序: hdfs/hdfs.sh ["mkdir","/tmp","hdfs","supergroup","1777"]

復制代碼

上面是命令超時。
解決辦法：
再次重試，相信能過的。
假如這里你遇到了其它的問題，那么可以通過上圖中的角色日志查看問題原因。





由於上面兩個服務安裝失敗，所以在此點擊重試的時候，剩下兩個服務，創建成功
 



最后集群創建成功

 









指定主機開始可能會碰到的問題
注意：問題1
這里安裝的時候，相信你會碰到下面問題

Detecting Cloudera Manager Server...
Detecting Cloudera Manager Server...
BEGIN host -t PTR 192.168.1.198
198.1.168.192.in-addr.arpa domain name pointer localhost.
END (0)
using localhost as scm server hostname
BEGIN which python
/usr/bin/python
END (0)
BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "<string>", line 1, in connect
socket.error: [Errno 111] Connection refused
END (1)
could not contact scm server at localhost:7182, giving up
waiting for rollback request

解決辦法：

1. mv /usr/bin/host /usr/bin/host.bak

復制代碼

問題2：
在這個過程中還發生些問題，就是安裝完畢和cloudera-scm-agent通信異常，不能檢測到心跳。
 


具體解決辦法，參考：Cloudera Manager5 在線bin安裝遇到No socket could be created on[Errno 99] 總結



問題3：集群安裝意外終止，該如何恢復

圖1
 

圖2
 

這是一個很漫長的過程，不幸的是在下載完畢，執行分發的時候，這個過程被打斷，安裝被終止。導致回不到圖2，這個該如何解決？
難道真的要重裝嗎？花費了大半天功夫，又不得不重來。

這里面的問題是找不到cloudera manager5所管理的節點了？
about雲有這篇文章卸載 Cloudera Manager 5.1.x.和 相關軟件【官網翻譯：高可用】
但是這篇文章是卸載Cloudera Manager以及CDH的，由於cloudera-scm-server和cloudera-scm-agent查看都是運行正常的，如何查看狀態，可以參考：
Cloudera Manager Server5及Cloudera Manager Agents5命令整理（about雲），所以cloudera manager不需要卸載，卸載的是CDH的相關內容。
於是執行下面命令：

1. sudo apt-get remove avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr

復制代碼

1. sudo apt-get clean

復制代碼

1. sudo rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper

復制代碼

1. sudo rm -Rf /dfs /mapred /yarn

復制代碼

進入目錄：
刪掉/var/lib/cloudera-scm-agent里面的
response.avro  uuid


最后終於找回


通過上面終於找到所管理的三個節點。然后從新登錄，選擇三個主機，然后繼續繼續，最后終於進入了這個界面。總算沒有重新安裝

如果還未找回，則進入下面目錄：刪掉/var/lib/cloudera-scm-agent里面的
response.avro  uuid

1. /var/lib/cloudera-scm-agent# rm *
   

2. 
   

復制代碼

找回



如果出現了下面情況，說明parcel錯誤，如果遇到這樣的情況不能解決，就只能重裝了。 

1. CDH 5.1.3-1.cdh5.1.3.p0.12  1 個錯誤
   

2. parcel CDH-5.1.3-1.cdh5.1.3.p0.12-unknown 的本地 parcel 錯誤：一個或多個主機沒有報告其操作系統分配。這可能是由於運行已過期的 Cloudera Manager Agent 版本造成的。請運行 Host Inspector 檢查 Agent 版本。。

   
   
   來源： http://aaronsa.blog.51cto.com/5157083/1727947

來自為知筆記(Wiz)