CDH集群部署時遇到的問題


  CDH:全稱Cloudera’s Distribution Including Apache Hadoop

  CDH版本衍化hadoop是一個開源項目,所以很多公司在這個基礎進行商業化,Cloudera對hadoop做了相應的改變。

  Cloudera公司的發行版,我們將該版本稱為CDH(Cloudera Distribution Hadoop)。截至目前為止,CDH共有5個版本,其中,前兩個已經不再更新,最近的兩個,分別是CDH4,在Apache Hadoop 2.0.0版本基礎上演化而來的,CDH5,它們每隔一段時間便會更新一次。
 
  最近安裝CDH5安裝時遇到一噸的問題,我整理了一下送給第一次安裝的大家,希望能夠節省大家的工作時間和學習時間。
  我用的是centos系統離線安裝的方法,安裝的文檔網上不少,大同小異:
  
Ubuntu安裝的案例
 
centos 安裝的案例
 
cdh 使用文檔
 
大家可以參照上面文檔做參考。
  
問題1: 在主節點初始化 CM5 的數據庫
報錯:ld-linux.so.2   bad ELF interpreter
解決:安裝 glibc 和 glibc.i686
 
問題2:
報錯:ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>
解決:$> ps -ef | grep supervisord
$> kill -9 <processID>
/opt/cm-5.6.0/etc/init.d/cloudera-scm-agent restart
 
問題3:server啟動時,日志提示端口被占用。
解決:刪除java進程。
 
問題4:web安裝,當前管理的主機顯示都是本地地址
解決:注釋/etc/hosts 的loaclhost ,在檢查agent日志的報錯。
重啟所有agent
重啟server
 
問題4:web數據庫設置,登入被拒絕
解決:grant all privileges on *.* to 'hive'@'cdh1' identified by '123456' with grant option;
指定主機名或IP地址
 
問題5:web安裝時,群集設置 HDFS格式失敗
解決:刪除原有的/dfs
 
問題6:web安裝時,群集設置HDFS 創建/tmp失敗
解決:ntp一定啟動服務器,不能光用命令同步。(這個好像不是問題的所在,但是ntp服務必須要啟動的)
還出現,再重試試試。
 
問題7:web管理頁面提示時間偏差
解決:檢查ntpdc -c loopinfo
Name or service not known
vim /etc/hosts
添加 本機IP對應localhost 地址
 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM