CDH安裝Hadoop


一.安裝CDH-manager

1.關閉selinux

修改/etc/selinux/config 文件

將SELINUX=enforcing改為SELINUX=disabled

重啟機器即可
 
2.修改bin文件的運行權限,運行bin文件后,進入安裝cdh-manager的安裝界面
如果直接安裝,cdh-manager會去archive.cloudera.com下載安裝包,這樣會很慢,所以最好在內網搭一個下載源,做個host
echo '192.168.8.XX archive.cloudera.com' >> /etc/hosts
每一步安裝的日志會保存在  /var/log/cloudera-manager-installer/目錄
 
3.設置全部機器的hostname,並關閉iptable  /etc/init.d/iptables stop
我的集群情況
192.168.15.115  nn.hadoop.com
192.168.15.99 dn1.hadoop.com
192.168.15.162 dn2.hadoop.com

 

3.安裝成功后,就在瀏覽器輸入 http://192.168.15.115:7180/,賬號密碼都是admin,
然后輸入這三台機的ip
搜索結果
選擇安裝包
 
 
這里如果選擇Parcel包安裝,會卡在下載Parcel的步驟,不知道為什么,可能還是因為網絡原因,需要去官網下載parcel包,這肯定會很慢
進入安裝界面
在這一步一般會遇到比較多問題:
1.顯示 獲取XXX資源error,主要原因是訪問cdh的官網會比較慢,而且下載的包一般都比較大,一共要下載2G左右,所以如果沒有內部的源來下載,去官網下載的話,失敗的幾率很大
2.報錯:
安裝失敗。 無法接收 Agent 發出的檢測信號。
請確保主機的名稱已正確配置。
請確保端口 7182 可在 Cloudera Manager Server 上訪問(檢查防火牆規則)。
請確保正在添加的主機上的端口 90009001 空閑。
檢查正在添加的主機上 /var/log/cloudera-scm-agent/ 中的代理日志(某些日志可在安裝詳細信息中找到)。

原因是/etc/hosts 里面配置的ip hosts設置錯誤,ip和host不對應

3.yum安裝某個包的時候失敗,報由於XXX包依賴於XXX包導致安裝失敗的錯誤,最后我把所有虛擬機都還原,重新安裝cdh了~~~~~

安裝完成后,選擇啟動所有的服務

添加所有服務

后面連接Report Manager時數據庫的時候可能會報錯Unknown host ':7432'. Unable to find it from host.

解決方法:

用netstat查看 7432端口狀態 如果監聽的主鍵為localhost 就修改
/var/lib/cloudera-scm-server-db/data/ 里面的postgres.conf,的listen_address為'*',然后/etc/init.d/cloudera-scm-server-db.sh restart重啟

頁面上數據庫主機名稱那一欄加上域名,例如nn.hadoop.com:7432

啟動服務時如果

卡住了hive的啟動,報錯'Hive Metastore Database Host' is required when using database type 'postgresql'
需要在cdh的頁面里面修改hive的配置,把Metastore的主機名改成是nn.hadoop.com
 
如果重啟機器,需要手動啟動cdh-agent
/etc/init.d/cloudera-scm-agent start
 
如果報時鍾偏差,啟動所有機器的ntpd服務
/etc/init.d/ntpd start

 

 

搭建內部源:

用 wget -c -r -np -k -L -p http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.0.0/ 

把所有文件下載下來,然后用nginx做一個靜態資源服務器


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM