CDH 遇到的問題
l JAVA_HOME問題
這里, 很明顯可以看到, JAVA_HOME 並沒有設置成功。using as ... 感覺完全就是沒有設置JAVA_HOME 這個環境變量。可是呢? 我確實是設置了JAVA_HOME 的,而且在linux shell 執行 echo $JAVA_HOME 也是有輸出的。 百思不得其解。
后面偶然注意到, 其實是Bigtop 的原因: 由於CDH不會使用系統默認JAVA_HOME環境變量,而是使用Bigtop進行管理,故我們需要安裝Bigtop的規則在指定的位置安裝jdk。
配置在這里: cloudera-manager-centos7-cm5.11.1_x86_64\cm-5.11.1\lib64\cmf\service\common\cloudera-config.sh
其中可以看到:
local JAVA8_HOME_CANDIDATES=(
'/usr/java/jdk1.8'
'/usr/java/jre1.8'
'/usr/lib/jvm/j2sdk1.8-oracle'
'/usr/lib/jvm/j2sdk1.8-oracle/jre'
'/usr/lib/jvm/java-8-oracle'
)
於是,建立一個已經有的JAVA_HOME 鏈接到 /usr/java/jdk1.8 就好了!
l Mysql-jdbc驅動找不到
可能是CDH軟件本身問題,我們需要在多個位置(主要是 hadoop、 hbase、spark 等的 lib 目錄 )保持Mysql-jdbc驅動拷貝,這個工作必須手動完成。很多服務都會跟數據庫打交道,都需要Mysql-jdbc驅動,但是CDH默認可能並沒有附帶一個相應的驅動。
l Master節點看不到其他從節點,或者連不上從節點,或者每次刷新頁面,會有不同從節點出現。
首先看從節點的cm-agent是否配置正確( 百分之八十就是這個原因),啟動是否有異常,然后再看防火牆、Selinux是否關閉,SSH免密是否ok,再看網絡問題,以及主從各節點的系統負載是否過高導致響應很慢。
l 安裝CDH耗時很長很長很長,而且最終還是失敗
CM和CDH的版本必須是一樣的,要一模一樣,否則就會導致重新下載,下載的話,通常非常耗時,而且各種奇怪問題出現。
l 安裝好后,訪問管理界面,但是出現:Host Monitor和Service Monitor服務無法啟動
CM 需要用到數據庫,安裝/啟動CM之前,我們就應該先創建好各數據庫,然后再安裝CDH 過程中,我們需要正確填寫。
l 機器變得很卡
CM 的Server 、 Agent啟動后,機器變得很卡,那么我們就需要增加機器配置。這取決於我們安裝的服務具體有哪些:
在CDH 安裝過程中,我們選擇了所有服務,故CDH 一次性把上面的都安裝好了,但是,通常我們並需要這么多服務, 於是我們可以關掉其中一些服務。 另外, 如果確實需要運行這么多服務, 我們可以增加機器內存等配置。
因為安裝了很多的服務,這些服務都是很好內存的,2G 內存是不夠的, 我這里給每個節點分配4G 內存后感覺就好狠多了。