一. cloudera manager的概念
簡單來說，Cloudera Manager是一個擁有集群自動化安裝、中心化管理、集群監控、報警功能的一個工具（軟件）,使得安裝集群從幾天的時間縮短在幾個小時內，運維人員從數十人降低到幾人以內，極大的提高集群管理的效率。
功能：
1) 管理：對集群進行管理，如添加、刪除節點等操作。
2) 監控：監控集群的健康情況，對設置的各種指標和系統運行情況進行全面監控。
3) 診斷：對集群出現的問題進行診斷，對出現的問題給出建議解決方案。
4) 集成：多組件進行整合。
架構：
1) Server：負責軟件安裝、配置，啟動和停止服務，管理服務運行的群集。核心
2) Agent：安裝在每台主機上。負責啟動和停止進程，配置，監控主機。
3) Management Service：由一組執行各種監控，警報和報告功能角色的服務。圖表的生成和管理
4) Database：存儲配置和監視信息。
5) Cloudera Repository：軟件由Cloudera 管理分布存儲庫。（有點類似Maven的中心倉庫）；在線安裝（從中心倉庫拉取）和離線安裝（離線庫）
6) Clients：是用於與服務器進行交互的接口（API和Admin Console）
二. 准備安裝環境
主節點10g /16G 其他節點2G /4G 其他節點2G /4G 硬盤情況： [root@hadoop101 ~]# df -h
1. SSH免密登錄
配置hadoop101對hadoop101、hadoop102、hadoop103三台服務器免密登錄。CDH服務開啟與關閉是通過server和agent來完成的，所以這里不需要配置SSH免密登錄，但是為了我們分發文件方便，在這里我們也配置SSH。
1）生成公鑰和私鑰：
[root@hadoop101 .ssh]$ ssh-keygen -t rsa
然后敲（三個回車），就會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）
2）將公鑰拷貝到要免密登錄的目標機器上
[root@hadoop101 .ssh]$ ssh-copy-id hadoop101 [root@hadoop101 .ssh]$ ssh-copy-id hadoop102 [root@hadoop101 .ssh]$ ssh-copy-id hadoop103
3）重復1和2的操作，配置hadoop102對hadoop101、hadoop102、hadoop103三台服務器免密登錄。
2. 集群同步腳本
1）在/root目錄下創建bin目錄，並在bin目錄下創建文件xsync，文件內容如下：
[root@hadoop101 ~]$ mkdir bin [root@hadoop101 ~]$ cd bin/ [root@hadoop101 bin]$ vi xsync
#!/bin/bash #1 獲取輸入參數個數，如果沒有參數，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 獲取文件名稱 p1=$1 fname=`basename $p1` echo fname=$fname #3 獲取上級目錄到絕對路徑 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 獲取當前用戶名稱 user=`whoami` #5 循環 for((host=103; host<105; host++)); do echo ------------------- hadoop$host -------------- rsync -av $pdir/$fname $user@hadoop$host:$pdir done
2）修改腳本 xsync 具有執行權限
[root@hadoop101 bin]$ chmod 777 xsync
3. 安裝JDK（三台）
1）解壓JDK到/opt/module目錄下，並修改文件的所有者和所有者組為root
[root@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ [root@hadoop101 module]# chown root:root jdk1.8.0_144/ -R
2）配置JDK環境變量
（1）打開/etc/profile文件
[root@hadoop101 software]$ vi /etc/profile 在profile文件末尾添加JDK路徑 #JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin
（2）讓修改后的文件生效
[root@hadoop101 jdk1.8.0_144]$ source /etc/profile
3）測試JDK是否安裝成功
[root@hadoop101 jdk1.8.0_144]# java -version java version "1.8.0_144"
4）將hadoop101中的JDK和環境變量分發到hadoop102、hadoop103兩台主機
[root@hadoop101 opt]# xsync /opt/module/
[root@hadoop101 opt]# xsync /etc/profile
分別在hadoop102、hadoop103上source一下
[root@hadoop102 ~]$ source /etc/profile
[root@hadoop103 ~]# source /etc/profile
4. 集群整體操作腳本
1）在/root/bin目錄下創建腳本xcall.sh
[root@hadoop101 bin]$ vim xcall.sh
#! /bin/bash for i in hadoop101 hadoop102 hadoop103 do echo --------- $i ---------- ssh $i "$*" done
2）修改腳本執行權限
[root@hadoop101 bin]$ chmod 777 xcall.sh
3）將/etc/profile文件追加到~/.bashrc后面
[root@hadoop101 module]# cat /etc/profile >> ~/.bashrc [root@hadoop102 module]# cat /etc/profile >> ~/.bashrc [root@hadoop103 module]# cat /etc/profile >> ~/.bashrc
4）測試
[root@hadoop101 bin]# xcall.sh jps
5. 安裝MySQL
注意：一定要用root用戶操作如下步驟；先卸載MySQL再安裝
[root@hadoop101 software]# ll 總用量 2387020 -rw-r--r--. 1 root root 1620405492 4月 5 14:52 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel -rw-r--r--. 1 root root 41 4月 5 14:51 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 -rw-r--r--. 1 root root 742029734 4月 5 14:52 cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -rw-r--r--. 1 root root 72312 4月 5 14:52 manifest.json -rw-r--r--. 1 root root 77807942 4月 5 14:54 mysql-libs.zip -rw-r--r--. 1 root root 3969752 4月 5 14:52 MySQL-shared-compat-5.6.41-1.el6.x86_64.rpm [root@hadoop101 software]# unzip mysql-libs.zip Archive: mysql-libs.zip creating: mysql-libs/ inflating: mysql-libs/MySQL-client-5.6.24-1.el6.x86_64.rpm inflating: mysql-libs/mysql-connector-java-5.1.27.tar.gz inflating: mysql-libs/MySQL-server-5.6.24-1.el6.x86_64.rpm [root@hadoop101 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm [root@hadoop101 mysql-libs]# cat /root/.mysql_secret # The random password set for the root user at Sun Apr 5 14:55:45 2020 (local time): SEACIwdkL2dPI8_g [root@hadoop101 mysql-libs]# service mysql start Starting MySQL.... [確定] [root@hadoop101 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm [root@hadoop101 mysql-libs]# mysql -uroot -pSEACIwdkL2dPI8_g mysql> SET PASSWORD=PASSWORD('123456'); Query OK, 0 rows affected (0.00 sec) [root@hadoop101 mysql-libs]# mysql -uroot -p123456 mysql> select User, Host, Password from mysql.user; +------+-----------+-------------------------------------------+ | User | Host | Password | +------+-----------+-------------------------------------------+ | root | localhost | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 | | root | hadoop101 | *5750A2405D7ED53B669267E80F41E095C3BABC0E | | root | 127.0.0.1 | *5750A2405D7ED53B669267E80F41E095C3BABC0E | | root | ::1 | *5750A2405D7ED53B669267E80F41E095C3BABC0E | +------+-----------+-------------------------------------------+ 4 rows in set (0.00 sec) mysql> update user set host='%' where host='localhost'; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> delete from user where Host='hadoop101'; Query OK, 1 row affected (0.00 sec) mysql> delete from user where Host='127.0.0.1'; Query OK, 1 row affected (0.00 sec) mysql> delete from user where Host='::1'; Query OK, 1 row affected (0.00 sec) mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) mysql> select User, Host, Password from user; +------+------+-------------------------------------------+ | User | Host | Password | +------+------+-------------------------------------------+ | root | % | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 | +------+------+-------------------------------------------+ 1 row in set (0.00 sec)
6. 創建CM用的數據庫：
[root@hadoop101 ~]# mysql -uroot -p123456 （1）集群監控數據庫 create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; （2）hive數據庫 create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; ##安裝Hive時需要創建hive數據庫；如果安裝失敗要把它刪除重寫創建 （3）oozie數據庫 create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; （4）hue數據庫 create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
7. 下載第三方依賴
依次在三台節點（所有Agent的節點）上執行下載第三方依賴（注意：需要聯網）
[root@hadoop101 ~]# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb [root@hadoop102 ~]# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb [root@hadoop103 ~]# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
關閉SELINUX
安全增強型Linux（Security-Enhanced Linux）簡稱SELinux，它是一個 Linux 內核模塊，也是Linux的一個安全子系統。為了避免安裝過程出現各種錯誤，建議關閉，有如下兩種關閉方法：
1）臨時關閉（不建議使用）
[root@hadoop101 ~]# setenforce 0 但是這種方式只對當次啟動有效，重啟機器后會失效。
2）永久關閉（建議使用）
修改配置文件/etc/selinux/config [root@hadoop101 ~]# vim /etc/selinux/config 將SELINUX=enforcing 改為SELINUX=disabled SELINUX=disabled
3）同步/etc/selinux/config配置文件
[root@hadoop101 ~]# xsync /etc/selinux/config
4）重啟hadoop101、hadoop102、hadoop103主機
[root@hadoop101 ~]# reboot [root@hadoop102 ~]# reboot [root@hadoop103 ~]# reboot
1.2.10 配置NTP時鍾同步
1）NTP服務器配置
[root@hadoop101 ~]# vi /etc/ntp.conf ①注釋掉所有的restrict開頭的配置 ②修改#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 為restrict 192.168.1.101 mask 255.255.255.0 nomodify notrap ③將所有server配置進行注釋 ④添加下面兩行內容 server 127.127.1.0 fudge 127.127.1.0 stratum 10
2）啟動NTP服務 service ntpd start
[root@hadoop101 ~]# service ntpd start
3）NTP客戶端配置（在agent主機上進行配置hadoop102,hadoop103）
[root@hadoop102 ~]# vi /etc/ntp.conf ①注釋所有restrict和server配置 ②添加server 192.168.1.101
4）手動測試
[root@hadoop102 ~]# ntpdate 192.168.1.101 顯示如下內容為成功： 17 Jun 15:34:38 ntpdate[9247]: step time server 192.168.1.101 offset 77556618.173854 sec 如果顯示如下內容需要先關閉ntpd： 17 Jun 15:25:42 ntpdate[8885]: the NTP socket is in use, exiting
5）啟動ntpd並設置為開機自啟（每個節點hadoop101，hadoop102，hadoop103）
[root@hadoop102 ~]# chkconfig ntpd on [root@hadoop102 ~]# service ntpd start
6）使用群發date命令查看結果
3. CM安裝部署
1）CM下載地址：http://archive.cloudera.com/cm5/cm/5/
2）離線庫下載地址：http://archive.cloudera.com/cdh5/parcels
注：以下所有操作均使用root用戶
1）創建/opt/module/cm目錄
[root@hadoop101 module]# mkdir –p /opt/module/cm
2）上傳cloudera-manager-el6-cm5.12.1_x86_64.tar.gz到hadoop101的/opt/software目錄，並解壓到/opt/module/cm目錄
[root@hadoop101 software]# tar -zxvf cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cm
3）分別在hadoop101、hadoop102、hadoop103創建用戶cloudera-scm
[root@hadoop101 module]# useradd \ --system \ --home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \ --no-create-home \ --shell=/bin/false \ --comment "Cloudera SCM User" cloudera-scm [root@hadoop102 module]# useradd \ --system \ --home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \ --no-create-home \ --shell=/bin/false \ --comment "Cloudera SCM User" cloudera-scm [root@hadoop103 module]# useradd \ --system \ --home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \ --no-create-home \ --shell=/bin/false \ --comment "Cloudera SCM User" cloudera-scm
參數說明：
--system 創建一個系統賬戶
--home 指定用戶登入時的主目錄，替換系統默認值/home/<用戶名>
--no-create-home 不要創建用戶的主目錄
--shell 用戶的登錄 shell 名
--comment 用戶的描述信息
注意：Cloudera Manager默認去找用戶cloudera-scm，創建完該用戶后，將自動使用此用戶。
4）修改CM Agent配置
修改文件/opt/module/cm/cm-5.12.1/etc/cloudera-scm-agent/ config.ini的主機名稱 [root@hadoop101 cloudera-scm-agent]# vim /opt/module/cm/cm-5.12.1/etc/cloudera-scm-agent/config.ini 修改主機名稱 server_host=hadoop101
5）配置CM的數據庫 ，在主節點創建即可。
拷貝mysql-connector-java-5.1.27-bin.jar文件到目錄 /usr/share/java/
[root@hadoop101 cm]# mkdir –p /usr/share/java/ [root@hadoop101 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz [root@hadoop101 mysql-libs]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/ [root@hadoop101 mysql-libs]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
注意：jar包名稱要修改為mysql-connector-java.jar
6）使用CM自帶的腳本，在MySQL中創建CM庫
[root@hadoop101 cm-5.12.1]# /opt/module/cm/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop101 -uroot -p123456 --scm-host hadoop101 scm scm scm
參數說明
-h：Database host
-u：Database username
-p：Database Password
--scm-host：SCM server's hostname
7）分發cm
[root@hadoop101 module]# xsync /opt/module/cm
8）創建Parcel-repo目錄
Servre 節點創建目錄/opt/cloudera/parcel-repo
[root@hadoop101 module]# mkdir -p /opt/cloudera/parcel-repo [root@hadoop101 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
9）拷貝下載文件manifest.json 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel到hadoop102的/opt/cloudera/parcel-repo/目錄下
[root@hadoop101 parcel-repo]# ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 manifest.json
10）將CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1：需改名為
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
[root@hadoop101 parcel-repo]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
11）在hadoop101上創建目錄/opt/cloudera/parcels，並修改該目錄的所屬用戶及用戶組為cloudera-scm
[root@hadoop101 module]# mkdir -p /opt/cloudera/parcels [root@hadoop101 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
啟動CM服務
1）啟動服務節點：hadoop101
[root@hadoop101 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server start Starting cloudera-scm-server: [確定]
2）啟動工作節點：hadoop101、hadoop102、hadoop103
[root@hadoop101 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start [root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start [root@hadoop103 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start
注意：啟動過程非常慢，Manager啟動成功需要等待5分鍾左右，過程中會在數據庫中創建對應的表需要耗費一些時間。
3）查看被占用則表示安裝成功了！！！
[root@hadoop101 cm]# netstat -anp | grep 7180 tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java
4）訪問http://hadoop101:7180，（用戶名、密碼：admin）
關閉CM服務
1）關閉工作節點：hadoop101、hadoop102、hadoop103
[root@hadoop101 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent: [確定] [root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent: [確定] [root@hadoop103 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent: [確定]
2）關閉服務節點：hadoop101
[root@hadoop101 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server stop 停止 cloudera-scm-server： [確定]
按裝CM 1. 解壓cloudera-manager-el6-cm5.12.1_x86_64.tar.gz [root@hadoop104 module]# mkdir /opt/module/cloudera-manager [root@hadoop104 module]# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/ 2. 創建用戶cloudera-scm（所有節點，三個節點都創建） [root@hadoop104 cloudera-manager]# useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm [root@hadoop104 cloudera-manager]# id cloudera-scm uid=495(cloudera-scm) gid=492(cloudera-scm) 組=492(cloudera-scm)
#####hadoop104、hadoop105、hadoop106都需要創建cloudera-scm用戶，否則在Parcel分發狀態下，沒有創建用戶的分發，激活不了； 3. 配置CM Agent 修改文件/opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini [root@hadoop104 cloudera-scm-agent]# vim config.ini [General] # Hostname of the CM server. server_host=hadoop104 4. 配置CM的數據庫；在主節點創建即可； 拷貝mysql jar文件到目錄 /usr/share/java/ [root@hadoop104 share]# mkdir /usr/share/java/ [root@hadoop104 cm-5.12.1]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/ [root@hadoop104 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar • 注意jar包名稱要修改為mysql-connector-java.jar 在mysql中創建cm庫 [root@hadoop104 cm-5.12.1]# /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop104 -uroot -p123456 --scm-host hadoop104 scm scm scm
5. 分發到其他機器中
xsync cloudera-manager/
創建Parcel-repo目錄
創建Parcel-repo 目錄 1. Servre 節點創建目錄/opt/cloudera/parcel-repo [root@hadoop104 module]# mkdir -p /opt/cloudera/parcel-repo [root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo 2.拷貝下載文件到/opt/cloudera/parcel-repo （1）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel （2）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名為CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha （3）manifest.json [root@hadoop104 cm-5.12.1]# mv /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha [root@hadoop104 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/ [root@hadoop104 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/ [root@hadoop104 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/ 3.在Agent 節點（hadoop102，hadoop103，hadoop104）創建目錄/opt/cloudera/parcels [root@hadoop104 module]# mkdir -p /opt/cloudera/parcels [root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels [root@hadoop105 module]# mkdir -p /opt/cloudera/parcels [root@hadoop105 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels [root@hadoop106 module]# mkdir -p /opt/cloudera/parcels [root@hadoop106 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 4. 分發Parcel-repo [root@hadoop104 cloudera]# xsync /opt/cloudera/
啟動和關閉CM Server&Agent 服務
服務節點：hadoop104 [root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start Starting cloudera-scm-server: [確定] 工作節點：hadoop104\hadoop105\hadoop106 [root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start 正在啟動 cloudera-scm-agent： [確定] [root@hadoop105 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start 正在啟動 cloudera-scm-agent： [確定] [root@hadoop106 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start 正在啟動 cloudera-scm-agent： [確定] 注意：啟動過程非常慢，Manager 啟動成功需要等待一段時間，過程中會在數據庫中創建對應的表需要耗費一些時間。 [root@hadoop102 init.d]# netstat -anp | grep 7180 tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java 查看被占用則表示安裝成功了！！！ 訪問http://hadoop104:7180，（用戶名、密碼：admin） 關閉： 服務節點：hadoop104 [root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server stop 停止 cloudera-scm-server： [確定] 工作節點：hadoop104\hadoop105\hadoop106 [root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent:
集群設置自定義安裝
選擇安裝服務：
分配節點：
集群設置全部選默認即可，自動啟動進程
[root@hadoop104 conf]# pwd //Hive的配置文件位置
/etc/hive/conf
HDFS重新安裝的時候要把它的df文件夾給刪掉
hive重新安裝要把mysql里的hive庫刪掉；
修改權限問題兩種方法：
第一種：
#第二種方式 [hdfs@hadoop104 init.d]$ su - hdfs ##su用戶切換時 加 - 是會把環境也切換過來；建議用這種形式；
[hdfs@hadoop104 init.d]$ hadoop fs -chmod -R 777 /
[hdfs@hadoop104 init.d]$ exit ###不要直接su套用戶，先exit結束掉
exit
[root@hadoop104 init.d]#
hive的啟動
[root@hadoop104 ~]# hive ##啟動hive時直接啟動； Java HotSpot(TM) 64-Bit [root@hadoop104 ~]# beeline ##直接啟動beeline，不用啟動hiveserver2，因為在CDH上hive已經給我們啟動了 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0 beeline> !connect jdbc:hive2://hadoop104:10000 scan complete in 13ms Connecting to jdbc:hive2://hadoop104:10000 Enter username for jdbc:hive2://hadoop104:10000: hive ####用戶是啟動hiveserver2的用戶，而不是root Enter password for jdbc:hive2://hadoop104:10000:
Hive配置文件所在目錄：
cloudera/parcels/CDH/lib/hive/conf
