安裝Cloudera Manager Server 和Agent
1、在cdh1解壓cloudera-manager-el6-cm5.9.0_x86_64.tar.gz(cdh1節點)
tar -zcvf cloudera-manager-el6-cm5.9.0_x86_64.tar.gz
2、為Cloudera Manager 5建立數據庫(cdh1節點)
2.1:復制 mysql-connector-java-5.1.30.jar到/opt/cm-5.10.0/share/cmf/lib/目錄下
cp mysql-connector-java-5.1.30.jar /opt/cm-5.9.0/share/cmf/lib/
2.2:在主節點初始化CM5的數據庫:
/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm
3、Agent配置(cdh1節點)
3.1:修改/opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名:
vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini
serverhost = cdh1
3.2:同步Agent到其他節點
scp -r /opt/cm-5:9.0/ root@cdh2:/opt/
scp -r /opt/cm-5.9.0/ root@cdh3:/opt/
4、創建cloudera-scm用戶(所有節點)
useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
5、准備Parcels,用以安裝CDH5(cdh1節點)
將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1
manifest.json
注:將CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1重命名為CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha
5、啟動cm服務(cdh1節點)和Agent服務(所有節點)
/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start #啟動服務端。
/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start #啟動Agent服務。
需要停止服務將以上的start參數改為stop就可以了,重啟是restart。
6、訪問http://192.168.189.128:7180/
Cloudera Manager Server和Agent都啟動以后,就可以進行CDH5的安裝配置了。
這時可以通過瀏覽器訪問主節點cdh1的7180端口測試一下了(由於CM Server的啟動需要花點時間,這里可能要等待一會才能訪問)
默認的用戶名和密碼均為admin
7、CDH5的安裝配置
按照界面操作直接進行:我就不一一截圖了,總結下遇到的錯誤。
7.1、修改配置(所有節點)
解決辦法:
臨時修改:echo 0 > /proc/sys/vm/swappiness
重啟生效:vim /etc/sysctl.conf
添加一行vm.swappiness=10
臨時:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
或添加上面二行:vi /etc/rc.local
7.2安裝hive的時候回提示缺少mysql連接驅動(cdh1節點)
cp /opt/mysql-connector-java-5.1.30.jar /opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p0.23/lib/hive/lib/
7.3安裝oozie的時候提示沒有權限建目錄和缺少mysql驅動(cdh1節點)
修改/var/lib/oozie 目錄權限 : chmod 777 /var/lib/oozie
cp /opt/mysql-connector-java-5.1.30.jar /var/lib/oozie/
注;幾個配置警告是因為jvm內存設置太小和datanode節點數少於3個的原因。