1、Cloudera Manager
• Cloudera Manager是一個管理CDH的端到端的應用。
• 作用：
– 管理
– 監控
– 診斷
– 集成
• 架構
• Server
– 管理控制台服務器和應用程序邏輯
– 負責軟件安裝、配置，啟動和停止服務
– 管理服務運行的群集
• Agent
– 安裝在每台主機上
– 負責啟動和停止進程，配置，監控主機
• Management Service
– 由一組角色組成的服務，執行各種監視、報警和報告功能
• Database
• Cloudera Repository
• Clients
• Admin Console
• API
2、安裝前環境搭建
1 .網絡配置( 所有節點)
vi /etc/sysconfig/network 修改 hostname：
通過 service network restart 重啟網絡服務生效
vi /etc/hosts ,修改 ip 與主機名的對應關系
2 .SSH 免密碼登錄
主節點執行：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
生成無密碼密鑰對
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
然后將公鑰添加到其他節點的authorized_keys上：
$ scp ~/.ssh/id_dsa.pub root@node6:/opt
$ scp ~/.ssh/id_dsa.pub root@node7:/opt
$ scp ~/.ssh/id_dsa.pub root@node8:/opt
#然后分別登錄這三台虛擬機，將公鑰覆蓋到公鑰中
$ cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys
測試：主節點 ssh 其他節點 ……; 如果不能成功的話，則先在其他節點讓做其他節點自己的免密碼登錄即：分別在節點上使用命令 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
然后再重復上面操作
3. 關閉 防火牆
臨時關閉：
service iptables stop
永久關閉（重啟后生效）：
chkconfig iptables off
4.關閉 SELINUX
臨時關閉：
setenforce 0
修改配置文件/etc/selinux/config（重啟生效） ：
將 SELINUX=enforcing 改為 SELINUX=disabled
查看 SELINUX 狀態：
1) /usr/sbin/sestatus –v
SELinux status: enabled（enabled：開啟；disabled：關閉）
2) 使用命令：getenforce
5.安裝 JDK
本文采用 RPM 包安裝…….執行：
rpm -ivh jdk-7u80-linux-x64.rpm
配置環境變量，修改/root/.bash_profile：
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOMdE/lib/dt.jar:$JAVA_HOME/lib/tools.jar
生效：
source /etc/profile
查看版本：
[root@slave6 cdh]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)
6. 設置 NTP
所有節點安裝 NTP：
yum install ntp
配置開機啟動：
chkconfig ntpd on
檢查是否設置成功：
chkconfig --list ntpd （2-5 為 on 狀態則成功）
設置同步：
ntpdate -u ntp.sjtu.edu.cn（時鍾服務器根據實際環境設置、本文采用 210.72.145.44-國家授時中心服務器 IP 地址）
7.安裝 配置 MySql
可使用Yum自帶的Mysql 使用命令 yum install mysql-server
8.下載依賴包
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
3、CM安裝
1 . 安裝 Cloudera Manager Server&Agent
拷貝 cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent 節點
創建 cm 目錄：
mkdir /opt/cloudera-manager
解壓 cm 壓縮包：
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2 . 創建用戶 cloudera-scm （ 所有 節點）
執行：
useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3 . 配置 CM Agent
修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中server_host 以及 server_port(默認7180 不變即可)
4 . 配置 CM Server 的 數據庫
將驅動包拷貝到目錄下（ 注意拷貝過去的驅動包名字一定要和下邊的一樣，否則會報錯 ） ：
cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-connector-java.jar
登錄MySql : $ mysql -p mysql -uroot (首次登錄不需要密碼)
執行：
mysql> use mysql;
mysql> delete from user where user='';
mysql> update user set password=PASSWORD('123456') where user='root'; #為mysql的Root用戶更改密碼
--為其他客戶端開啟連接權限 如果是hive和mysql在同一台服務器上則不需要授權 可以把 %改成IP,則授權固定IP
mysql>grant all privileges on *.* to 'root'@'%' identified by '123456';
mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option; #如果temp數據庫存在，則先刪除執行這句
mysql>flush privileges; 刷新權限
退出MySql 然后執行下面的命令
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema
./scm_prepare_database.sh mysql -h myhost1.sf.cloudera.com -utemp -ptemp --scm-host myhost2.sf.cloudera.com scm scm scm
例如：
./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm
（對應於：數據庫類型、數據庫服務器、用戶名、密碼、CMServer 所在節點…….）
mysql> drop user 'temp'@'%';
若上步失敗或過程中操作中斷，刪除所有庫、重頭來過 /( ㄒ o ㄒ )/~~
若安裝 Oozie 等組件可能需要手動創建對應組件所需的數據庫，例如：
create database ooziecm DEFAULT CHARACTER SET utf8;
grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';
5 . 創建 Parcel 目錄
Manager 節點創建目錄/opt/cloudera/parcel-repo，執行：
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
將下載好的文件（CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha、manifest.json）拷貝到該目錄下。
Agent 節點創建目錄/opt/cloudera/parcels，執行：
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
6 . 啟動 CM Manager&Agent 服務
執行：
Manager：/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start
Agents：/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start
訪問：http://ManagerHost:7180，若可以訪問（用戶名、密碼：admin） ，則安裝成功。
Manager 啟動成功需要等待一段時間，過程中會在數據庫中創建對應的表需要耗費一些時間。
4、CDH5 5 安裝
CM Manager && Agent 成功啟動后，登錄前端頁面進行 CDH 安裝配置。免費版本的 CM5 已經去除 50 個節點數量的限制。
在這里指出了不同的版本之間功能上的不同
選擇當前要安裝CDH的主機
選擇安裝CDH的版本，在這里我們要選擇我們下載並且上傳到Linux下的那個版本
下載安裝配置的階段會比較慢，需要耐心等待
檢查正確性，在這里會有一個警告：xxx 最好是把警告解決了，然后再次重啟然后訪問7180進行安裝
在這里選擇要安裝哪些服務，建議都不選擇，到安裝成功以后再安裝這些服務。
配置數據庫的鏈接，如果是按上面的一路走下來的話，那么數據庫名、用戶名、密碼都是 temp 即： temp temp temp
這個是各種服務的目錄，最好記錄下來，以方便后面使用
然后就是各種安裝啦，安裝在功以后會顯示下面的界面
在左側的位置會顯示一些安裝以后的一些警告信息和錯誤信息，如果是真正企業環境的話，建議把這些警告全部解決掉。