CDH:全稱Cloudera’s Distribution Including Apache Hadoop
CDH版本衍化hadoop是一個開源項目,所以很多公司在這個基礎進行商業化,Cloudera對hadoop做了相應的改變。
Cloudera公司的發行版,我們將該版本稱為CDH(Cloudera Distribution Hadoop)。截至目前為止,CDH共有5個版本,其中,前兩個已經不再更新,最近的兩個,分別是CDH4,在Apache Hadoop 2.0.0版本基礎上演化而來的,CDH5,它們每隔一段時間便會更新一次。
最近安裝CDH5安裝時遇到一噸的問題,我整理了一下送給第一次安裝的大家,希望能夠節省大家的工作時間和學習時間。
我用的是centos系統離線安裝的方法,安裝的文檔網上不少,大同小異:
Ubuntu安裝的案例
centos 安裝的案例
cdh 使用文檔
大家可以參照上面文檔做參考。
問題1:
在主節點初始化
CM5
的數據庫
報錯:ld-linux.so.2 bad ELF interpreter
解決:安裝 glibc 和 glibc.i686
問題2:
報錯:ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>
解決:$> ps -ef | grep supervisord
$> kill -9 <processID>
/opt/cm-5.6.0/etc/init.d/cloudera-scm-agent restart
問題3:server啟動時,日志提示端口被占用。
解決:刪除java進程。
問題4:web安裝,當前管理的主機顯示都是本地地址
解決:注釋/etc/hosts 的loaclhost ,在檢查agent日志的報錯。
重啟所有agent
重啟server
問題4:web數據庫設置,登入被拒絕
解決:grant all privileges on *.* to 'hive'@'cdh1' identified by '123456' with grant option;
指定主機名或IP地址
問題5:web安裝時,群集設置 HDFS格式失敗
解決:刪除原有的/dfs
問題6:web安裝時,群集設置HDFS 創建/tmp失敗
解決:ntp一定啟動服務器,不能光用命令同步。(這個好像不是問題的所在,但是ntp服務必須要啟動的)
還出現,再重試試試。
問題7:web管理頁面提示時間偏差
解決:檢查ntpdc -c loopinfo
Name or service not known
vim /etc/hosts
添加 本機IP對應localhost 地址