CDH 安裝遇到的問題


 

CDH  遇到的問題

JAVA_HOME問題

 

這里, 很明顯可以看到, JAVA_HOME 並沒有設置成功。using  as ... 感覺完全就是沒有設置JAVA_HOME 這個環境變量。可是呢? 我確實是設置了JAVA_HOME 的,而且在linux shell 執行 echo $JAVA_HOME  也是有輸出的。 百思不得其解。

 

后面偶然注意到, 其實是Bigtop 的原因: 由於CDH不會使用系統默認JAVA_HOME環境變量,而是使用Bigtop進行管理,故我們需要安裝Bigtop的規則在指定的位置安裝jdk。

配置在這里: cloudera-manager-centos7-cm5.11.1_x86_64\cm-5.11.1\lib64\cmf\service\common\cloudera-config.sh

其中可以看到:

local JAVA8_HOME_CANDIDATES=(
'/usr/java/jdk1.8'
'/usr/java/jre1.8'
'/usr/lib/jvm/j2sdk1.8-oracle'
'/usr/lib/jvm/j2sdk1.8-oracle/jre'
'/usr/lib/jvm/java-8-oracle'
)

 

於是,建立一個已經有的JAVA_HOME  鏈接到 /usr/java/jdk1.8 就好了!

 

 

Mysql-jdbc驅動找不到

可能是CDH軟件本身問題,我們需要在多個位置(主要是 hadoop、 hbase、spark 等的 lib 目錄 )保持Mysql-jdbc驅動拷貝,這個工作必須手動完成。很多服務都會跟數據庫打交道,都需要Mysql-jdbc驅動,但是CDH默認可能並沒有附帶一個相應的驅動。

Master節點看不到其他從節點,或者連不上從節點,或者每次刷新頁面,會有不同從節點出現。

首先看從節點的cm-agent是否配置正確( 百分之八十就是這個原因),啟動是否有異常,然后再看防火牆、Selinux是否關閉,SSH免密是否ok,再看網絡問題,以及主從各節點的系統負載是否過高導致響應很慢。

 

安裝CDH耗時很長很長很長,而且最終還是失敗

CM和CDH的版本必須是一樣的,要一模一樣,否則就會導致重新下載,下載的話,通常非常耗時,而且各種奇怪問題出現。

 

安裝好后,訪問管理界面,但是出現:Host MonitorService Monitor服務無法啟動

 

 

CM 需要用到數據庫,安裝/啟動CM之前,我們就應該先創建好各數據庫,然后再安裝CDH 過程中,我們需要正確填寫。

 

機器變得很卡

CM Server Agent啟動后,機器變得很卡,那么我們就需要增加機器配置這取決於我們安裝的服務具體有哪些: 

 

 

CDH 安裝過程中,我們選擇了所有服務,故CDH 一次性把上面的都安裝好了,但是,通常我們並需要這么多服務, 於是我們可以關掉其中一些服務。 另外, 如果確實需要運行這么多服務, 我們可以增加機器內存等配置。

 

因為安裝了很多的服務,這些服務都是很好內存的,2G 內存是不夠的, 我這里給每個節點分配4G 內存后感覺就好狠多了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM