Cloudera Manager則是為了便於在集群中進行Hadoop等
大數據處理相關的服務安裝和監控管理的組件,對集群中主機、Hadoop、
Hive、
Spark等服務的安裝配置管理做了極大簡化。
環境准備
相關包的下載地址:
Cloudera Manager地址:
http://archive.cloudera.com/cm5/cm/5/
以下使用的操作系統為CentOS6.9,需要下載以下文件:
jdk-8u144-linux-x64.rpm
mysql-connector-java-5.1.43.tar.gz (解壓其中的jar包即可)
cloudera-manager-el6-cm5.12.0_x86_64.tar
CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel
CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1
manifest.json
以下操作均需要(root)管理員權限
1.網絡配置(所有節點)
修改主機名:vim /etc/sysconfig/network
修改ip與主機名的對應關系:vim /etc/hosts
192.168.3.190 master 192.168.3.176 node1 192.168.3.158 node2
2.打通SSH,設置ssh無密碼登陸(所有節點)
執行ssh-keygen -t rsa,一路回車,生成無密碼的密鑰對。
將公鑰復制成認證文件並修改權限:
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys && chmod 600 ~/.ssh/authorized_keys
通過scp命令將認證文件拷貝到所有其他節點。
3.安裝Oracle的Java(所有節點)
CentOS自帶OpenJdk,不過運行CDH5需要使用oracle的JDK。
卸載自帶的OpenJdk,使用rpm -qa | grep java查詢java相關的包,並rpm -e --nodeps 包名卸載。
下載jdk的rpm安裝包,並使用rpm -ivh 包名安裝,最后配置環境變量。
rpm -ivh jdk-8u144-linux-x64.rpm
4.安裝配置
MySQL(主節點)
安裝mysql服務,service mysqld start啟動mysql服務,並根據提示設置
設置開機啟動:chkconfig mysqld on
root的初始密碼:mysqladmin -u root password 'xxxx'
設置root授權訪問所有的數據庫: grant all privileges on *.* to 'root'@'%' identified by '123' with grant option;
flush privileges;
5.關閉防火牆和SELinux (所有節點)
關閉防火牆:
service iptables stop (臨時關閉) chkconfig iptables off (重啟后生效)
關閉SELINUX
setenforce 0 (臨時生效) 修改 /etc/selinux/config 下的 SELINUX=disabled (重啟后永久生效)
6.所有節點配置NTP服務 (所有節點)
集群中所有主機必須保持時間同步,如果時間相差較大會引起各種問題。
所有節點安裝相關組件:yum install ntp。
完成后,配置開機啟動:chkconfig ntpd on
開啟服務:service ntpd start
檢查是否成功,用ntpstat命令查看同步狀態,出現以下狀態代表啟動成功:
unsynchronised
polling server every 64 s
正式安裝
解壓安裝 (所有節點)
cloudera manager的目錄默認位置在/opt下,將包導入並解壓:
tar zxf cloudera-manager-el6-cm5.12.0_x86_64.tar.gz
創建cloudera-scm用戶(所有節點)
useradd --system --home=/opt/cm-5.12.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
為Cloudera Manager 5建立數據庫 並初始化(主節點)
先將JDBC驅動 mysql-connector-java-5.1.43-bin.jar,放到/opt/cm-5.12.0/share/cmf/lib/中。
初始化:
/opt/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123 --scm-host localhost scm scm scm
修改agent配置文件(所有節點)
修改/opt/cm-5.12.0/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名。
准備Parcels,用以安裝CDH5
將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中。
相關的文件如下:
CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1 manifest.json
然后需將CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1重命名為CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha
啟動腳本
通過/opt/cm-5.12.0/etc/init.d/cloudera-scm-server start啟動服務端。
通過/opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start啟動Agent服務。
停止服務stop,重啟是restart。
CDH5的安裝配置
Cloudera Manager Server和Agent都啟動以后,就可以進行CDH5的安裝配置了。
這時可以通過瀏覽器訪問主節點的7180端口測試一下了(由於CM Server的啟動需要花點時間,這里可能要等待一會才能訪問),默認的用戶名和密碼均為admin:
各個Agent節點正常啟動后,可以在當前管理的主機列表中看到對應的節點。選擇要安裝的節點,點繼續。
接下來,出現以下包名,說明本地Parcel包配置無誤,直接點繼續就可以了。
點擊,繼續,如果配置本地Parcel包無誤,那么下圖中的已下載,應該是瞬間就完成了,然后就是耐心等待分配過程就行了。
接下來是服務器檢查,可能會遇到以下問題: (根據提示操作即可)
Cloudera 建議將 /proc/sys/vm/swappiness 設置為 10。當前設置為 60。
已啟動“透明大頁面”,它可能會導致重大的性能問題。
臨時解決辦法:
echo 0 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
長期解決辦法:將配置文件寫入/etc/rc.local
接下來是選擇安裝服務:
服務配置,一般情況下保持默認就可以了(Cloudera Manager會根據機器的配置自動進行配置,如果需要特殊調整,自行進行設置就可以了):
接下來是數據庫的設置,需要創建一些數據庫:
mysql -uroot -pxxxx進入mysql命令行,創建以下數據庫:
--hive數據庫 create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; --oozie數據庫 create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; --hue數據庫 create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
問題:
1、Logon denied for user/password. Able to find the database server and database, but logon request was rejected
解決辦法:創建一個新的用戶並授權
grant all privileges on *.* to 'user'@'主機名' identified by '密碼' with grant option;
設置root授權訪問以上所有的數據庫
flush privileges;
2、hive和oozie默認都沒有帶mysql的驅動,需拷貝jar包到依賴目錄
hive:/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib/
oozie:/opt/cloudera/parcels/CDH/lib/oozie/libtools
3、如果hue連不上,會報錯:Unexpected error. Unable to verify database connection.
這是因為Centos最小安裝,缺了個東西:yum install -y python-lxml
下面是集群設置的審查頁面,全部保持默認配置即可:
接下靜靜地等待即可。
