1.在已經安裝好系統的linux服務器上關閉selinux和iptables
2.在所有linux服務器上配置ntp服務並設置ntp時間同步
3.在所有linux服務器上安裝好cm和cdh版本所需要對應的java版本
(1).下載java包到/usr/local目錄解壓
(2).添加java環境到/root/.bash_profile目錄下
export JAVA_HOME=/usr/local/jdk1.8.0_211 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin
4.為所有服務器配置host主機名並配置hosts（**配置所有主機的hosts；配置cm主機免密碼登錄所有服務器**）
**注意主機名不要出現”_”不然在cm為主機安裝CDH后開啟cloudera-manager-agent時會有問題**
**注意主機名不要出現用如:(Test.node01;Test.node02;Test.cm)這樣”.”分割的第一段都相同；這樣的host在是不法配置HA，因為cm配置HA自動認別主機就是以”.”為分割取第一段**
5.在CM服務器上安裝數據庫，這里作者選擇安裝的是mysql5.7(可以選擇安裝oraclea或postgresql)
(1).安裝好mysql5.7
(2).初始化mysql5.7
[root@centos7 bin]# ./mysqld --initialize --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 2019-02-21T09:09:32.773141Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details). 2019-02-21T09:09:34.064508Z 0 [Warning] InnoDB: New log files created, LSN=45790 2019-02-21T09:09:34.252282Z 0 [Warning] InnoDB: Creating foreign key constraint system tables. 2019-02-21T09:09:34.320052Z 0 [Warning] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 67cc2fdb-35b8-11e9-a738-000c29186a7c. 2019-02-21T09:09:34.321735Z 0 [Warning] Gtid table is not ready to be used. Table 'mysql.gtid_executed' cannot be opened. 2019-02-21T09:09:34.330050Z 1 [Note] A temporary password is generated for root@localhost: >aHMp/_V3(Aq
**注意>aHMp/_V3(Aq為初始化第一次登錄的臨時密碼**
(3).啟動mysql5.7；登錄后修改root密碼
mysql> alter user 'root'@'localhost' identified by 'xxx' PASSWORD EXPIRE NEVER account unlock; #原本密碼有效期為360天需要取消這個限制。 mysql> flush privileges;
**注意添加root用戶時加上WITH GRANT OPTION給予賦權的權限**
6.所有服務器安裝必要的包
yum -y install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security x86_64 spax time zlib-devel
7.下載安裝Cloudera-manager5.16.2
下載地址：https://www.cloudera.com/downloads/manager/6-2-0.html
(1).選擇要下載的版本下載
(2).下載包放至/opt目錄解壓 tar –xzvf cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz
(3).創建mysql庫
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
1.CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
(4).創建clouder-manager的mysql賬號
grant all on scm.* to scm@"%" Identified by "Bigdata@123";
(5).復制mysql Jar包到環境
cp mysql-connector-java-5.1.30-bin.jar /usr/share/java/mysql-connector-java.jar
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.16.2/share/cmf/lib/
(6).下載CDH5.16.5 centos7版本
下載地址：http://archive.cloudera.com/cdh5/parcels/5.16.2/
下載三個包到/opt/cloudera/parcel-repo目錄下改名CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1為CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha
(7).初始化CM庫
/opt/cm-5.16.2/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -P31000 -p123456 -scm-host localhost scm(庫) scm(用戶名) Bigdata@123(密碼)
(8).所有節點創建系統用戶
useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
(9).修改cm配置文件
sed -i "s/server_host=localhost/server_host=mcserver/" /opt/cm-5.16.2/etc/cloudera-scm-agent/config.ini
(10).cm服務器上chown –R cloudera-scm:cloudera-scm /opt/**;同步/opt/cmd-5.16.2到所有服務器上;
(11).在CM服務器上開啟cm和agent服務
/opt/cm-5.16.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent start
(12).在其它服務器上開啟agent服務
8.登錄CM平台
(1).在cm服務器netstat –tpln看到7180端口已經監聽起來http://cmserver:7180用戶名admin密碼admin登錄
(2).選擇要作為集群的主機，第一確認/opt/cm-5.16.2/etc/clouder-scm-agent/config.ini已經配置為master,第二確認cloudera-scm-agent是否正常啟動
（3）選擇要安裝的CDH版本
(4).安裝完成會顯示100%如果主機的域名是含有”_”的在安裝完后會報clouser-manager-agent連接失敗檢查9000,9001端口是否被占用的錯:
(5)待安裝完成后，會自動運行主機正確性檢查，檢查完后的結果如下圖所示。如果出現圖中所示的警告，按照上面的提示，運行提示中的命令，進行修改即可
(6).下一步是根據自己的需要，安裝所需的集群服務
這里作者安裝的服務
(7).接着根據你上一步選擇的服務，會進行相應的角色分配，系統會自動分配一些角色，如果你有其他的需求，自行更改即可
(8).然后是進行數據庫的配置，如果你也是同作者一樣安裝的全部服務，千萬不要忘了創建hive、oozie、hue這三個數據庫
(9)接着是自動運行所有服務，這里需要等待10-15分鍾的時間
(10)最后當上面的所有命令運行完成后，會進入如下的主頁面
9升級spark1.6到spark2.4.0
(1).cm5.16.2默認安裝的spark是1.6.4；如果要升級SPARK2是不用刪除spark1.6可以同時安裝兩個spark(spark1和spark2)**注意spark2.2和saprk2.3是不可以存在兩個的**
(2)下載SPARK2.4.0如下圖三個包到/opt/cloudera/parcel-repo;SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1改名為SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha;**注意原來CDH5.16.2的manifest.json文件要改名為manifest_CDH5.16.2.json；因為mainifest.json文件不可以有重名**
下載地址:http://archive.cloudera.com/spark2/parcels/latest/
(3)下載CSD文件到所有服務器/opt/cloudera/csd目錄下
下載地址:http://archive.cloudera.com/spark2/csd/
(4)分配並激活parcel
以上已經激活，第一次進來，如果沒有SPARK2先檢查新parcel會有SPARK2;再點分配，分配完成就激活；如果分配激活時有問題，報錯，/opt/cmd-5.16.2/etc/init.d/cloudera-scm-agent restart重啟agent再試
(5)命令重啟cm，在cm服務器上/opt/cmd-5.16.2/etc/init.d/cloudera-scm-server restart重啟后就可以添加spark2服務；
(5)安裝完成后在服務器上運行spark2-shell --master local[2];可以正常動行表示升級spark2完成
