CM和CDH的安裝-進階完成


安裝Cloudera Manager Server 和Agent

1、在cdh1解壓cloudera-manager-el6-cm5.9.0_x86_64.tar.gz(cdh1節點)
tar -zcvf cloudera-manager-el6-cm5.9.0_x86_64.tar.gz

 

2、為Cloudera Manager 5建立數據庫(cdh1節點)

2.1:復制 mysql-connector-java-5.1.30.jar到/opt/cm-5.10.0/share/cmf/lib/目錄下
cp mysql-connector-java-5.1.30.jar /opt/cm-5.9.0/share/cmf/lib/

2.2:在主節點初始化CM5的數據庫:

/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

3、Agent配置(cdh1節點)

3.1:修改/opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名:

vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini

serverhost = cdh1

3.2:同步Agent到其他節點

scp -r /opt/cm-5:9.0/ root@cdh2:/opt/

scp -r /opt/cm-5.9.0/ root@cdh3:/opt/

4、創建cloudera-scm用戶(所有節點)

useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

5、准備Parcels,用以安裝CDH5(cdh1節點)

將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

manifest.json

注:將CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1重命名為CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha

5、啟動cm服務(cdh1節點)和Agent服務(所有節點)

/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start   #啟動服務端。

/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start   #啟動Agent服務。

需要停止服務將以上的start參數改為stop就可以了,重啟是restart。

6、訪問http://192.168.189.128:7180/

Cloudera Manager Server和Agent都啟動以后,就可以進行CDH5的安裝配置了。

這時可以通過瀏覽器訪問主節點cdh1的7180端口測試一下了(由於CM Server的啟動需要花點時間,這里可能要等待一會才能訪問)

默認的用戶名和密碼均為admin

 

 7、CDH5的安裝配置

按照界面操作直接進行:我就不一一截圖了,總結下遇到的錯誤。

7.1、修改配置(所有節點)

解決辦法:

臨時修改:echo 0 > /proc/sys/vm/swappiness

重啟生效:vim /etc/sysctl.conf

添加一行vm.swappiness=10

臨時:

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

或添加上面二行:vi /etc/rc.local

 

7.2安裝hive的時候回提示缺少mysql連接驅動(cdh1節點)

cp  /opt/mysql-connector-java-5.1.30.jar  /opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p0.23/lib/hive/lib/

7.3安裝oozie的時候提示沒有權限建目錄和缺少mysql驅動(cdh1節點)

修改/var/lib/oozie 目錄權限 : chmod 777 /var/lib/oozie

cp  /opt/mysql-connector-java-5.1.30.jar /var/lib/oozie/  

 

 

 

 

 

注;幾個配置警告是因為jvm內存設置太小和datanode節點數少於3個的原因。

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM