搭建教程地址:http://www.amoscloud.com/?p=1175
相關視頻直達,在進入登錄頁之前,完全沒必要看視頻。進入之后,我選擇跳過看了些視頻,因為網頁版的內容和視頻的內容有些區別,有些坑。
雖然現在收費了,但是只要有依賴這些能下載好,目前還是能用的。
下圖是組件版本介紹及跟cdh5.x的對比,6.3.2的組件版本跟6.1.1的組件版本基本沒啥區別。(目前只注意到hadoop版本和kudu版本是一樣的,其他沒一一觀察)
照着教程來遇到的坑或者沒注意到的地方
1)在 vim /etc/yum.repos.d/cloudera-manager.repo 時,內容為:
[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://cdh00/cloudera-repos/cm6
gpgkey=https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPM-GPG-KEY-cloudera
gpgcheck=1
enabled=1
autorefresh=0
type=rpm-md
需要自己將gpgcheck=1 改成gpgcheck=0 跳過驗證。
2)首次啟動失敗
大坑!在首次運行:systemctl start cloudera-scm-server.service** 之后,使用命令:systemctl status cloudera-scm-server.service 查看服務啟動狀態,在幾分鍾或者十分鍾內看到的提示都會是提示xxx數據庫名.version表不存在。這個時候我當時就覺得會不會是哪里配置錯了。非常糾結,可是檢查又檢查不出來哪里有問題。明明是cdh連接數據庫,我手動把數據庫創建,然后輸入mysql地址,保證地址和賬號密碼正確就行了。當時死活檢查不出來,然后便運行重啟,可是提示就還是這個,再過會就直接報錯狀態為not running啥的了。后面
經過查詢得知最合適的監控啟動進程日志的命令為
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
然后才知道hadoop其實一直在跑,當時是在把一些列的表都重新update。整個過程非常久,首次運行大概20到30分鍾才能跑起來
(可能硬件問題,總之我的虛擬機是這樣)
3)往后關於搭建這塊沒啥坑了。一直在頁面啟動完成。剩下的就直接登錄,配置。只是首次搭建的話,不能只看這個網址的文檔,還是得看看視頻,就是登錄之后怎么配置的視頻。
下面是關於啟動容易碰上的問題
4)HDFS忘記格式化
而且真正格式化的方式是在namenode實例下的位置,當時不知道這一回事,還以為在任意節點的命令行操作格式化命令(不過這個操作好像也可以吧,但是還是推薦在圖片的地方格式化)
5)namenode權限問題
啟動還有一個權限問題,默認路徑 /dfs/nn 會提示沒有權限。解決:當時把沒有權限這句話復制粘貼百度就行了,命令忘了。大概就是給予權限就ok
6)yarn的jobhistory服務器運行失敗
解決:sudo -u hdfs hdfs dfs -chmod -R 777 /
7)經常會遇到某某文件夾沒有權限的問題
HDFS中,一般是hdfs用戶(有所有文件操作權限)或者直接在hdfs頁面上看到某個路徑下的owner的用戶,只有這兩個用戶能有該文件夾下的所有權限。所以這個時候遇到沒有權限的問題。就統一修改權限
sudo -u hdfs hdfs dfs -chmod -R 777 /xx路徑
第一個hdfs是指使用hdfs用戶操作,后面才是真正的修改權限的命令
8)hive啟動時報錯
SQLSyntaxErrorException: Table 'hivecdh.version' doesn't exist,然后去該數據庫一看,空空如也,只有一張表。
解決辦法:在cdh主節點找到hive的sql腳本在數據庫中運行,運行完sql后再啟動,不過這個時候會遇到下一個問題,那就是依舊報錯說找不到版本號。其實還可以這么解決,只在cdh頁面上操作,第一步,第二步,接着就能成功啟動了。
9)Oozie的安裝出錯
的原因也一樣。照樣是鏈接的mysql缺少表,當時以為輸入對mysql地址,然后自己新建庫,在安裝cdh集群的時候最后一步會自動幫我們創建好關聯的表。但實際上都是得自己啟動的時候先創建再升級架構。
10)Hue的坑
沒解決,連接到hive和impala和Oozie沒啥坑。它不是號稱也能連接zk的嗎,但是卻沒看到任何關於zk的連接。網上找到的做法清一色是,官網上的文檔版本又太新了。而且關於連接zk的介紹又少之又少
可是我查看自己cdh集群下的配置文件,配置得正確的呀
對了。有了hue,使用oozie做任務調度非常方便,媽媽再也不用擔心我寫xml文件頭大了