CDH6.1.0離線安裝——筆記

一、 概述

該文檔主要記錄大數據平台的搭建CDH版的部署過程，以供后續部署環境提供技術參考。

1.1 主流大數據部署方法

目前主流的hadoop平台部署方法主要有以下三種:

• Apache hadoop
• CDH (Cloudera’s Distribution Including Apache Hadoop)
• HDP (Hortonworks Data Platform)

1.2 部署方法的比較

手工部署: 需要配置太多參數，配置繁瑣，建議初學者部署方式

工具部署：比如Ambari和clouder Manger當前兩大最主流的集群管理工具，前者是Hortonworks公司，后者是Cloudera公司）使用工具來，可以說是一鍵操作，難點都在工具Ambari或Cloudera Manger本身部署上。

兩種部署方式的優缺點如下表1所示:

表1-1:手工方式和工具部署方式比較

 

內容	手工方式	工具方式
難易度	難，幾乎不可能成功	簡單 易行
兼容性	自己解決兼容性的問題	自動安裝兼容組件
組件支持數	支持全部組件	支持常用組件
優點	對組件和集群管理深刻	簡單 容易 可行
缺點	太復雜，不可能成功	屏蔽太多的細節，妨礙對組件的理解

CDH和DHP比較如下表1-2所示

表1-2：CDH和DHP部署方式比較，如表2所示：

 

工具名	所屬機構	開源性	社區	易用及穩定性	占有率
Cloudera Manger	Cloudera	商用	不支持	易用，穩定	高
Ambari	Hortonwork	開源	支持	較易用，較穩定	較高

二、 各節點環境配置

本節主要描述部署CDH系統環境配置及前期准備工作

2.1 CDH 部署基本要求

• 機器數：3台
• 內存：最少2GB（官方建議8GB）
• 磁盤：100G

2.2 測試環境配置

測試部署環境基本配置，如下表2-1：

表2-1 部署環境基本參數

 

參數	數值	說明
機器數	3台	192.168.8[154,156,157]
內存	20GB
磁盤	300G
系統	Centos 7.3.1708
CDH版本	CDH-6.1.0	CDH目前支持100台免費支持

 

2.3 修改IP和主機名稱

修改三台主機節點的名稱和ip地址映射。

1) 第一步：修改主機名稱(永久生效)

分別在三台主機(192.168.8.154,1192.168.8.156, 192.168.8.157)執行命令:

# hostnamectl set-hostname asiainfo-157

2) 第二步：修改hosts

分別在三台主機(192.168.8.154,1192.168.8.156, 192.168.8.157)執行命令：

# vim /etc/hosts

在文件末尾添加地址映射,務必主機名小寫

3) 第三步: 重啟網關

# systemctl  restart  network

2.4 關閉防火牆

分別在三台主機節點上執行如下命令關閉防火牆：

# systemctl stop firewalld.service  #停止firewall

# systemctl disable firewalld.service  #禁止firewall開機啟動

# firewall-cmd --state  #查看默認防火牆狀態（關閉后顯示not running，開啟后顯示running）

2.5 修改內核參數                             

• 修改transparent_hugepage參數(透明大頁面壓縮)

修改系統參數，這一參數默認值可能會導致CDH性能下降。

執行如下命令：

# echo never > /sys/kernel/mm/transparent_hugepage/defrag

# echo never > /sys/kernel/mm/transparent_hugepage/enabled

關閉告警：

# echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.local

# echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local

# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf  

# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf

• 修改swap空間的swappiness=0

該配置的目的為CDH最大限度的使用環境內存，執行如下命名：

# cat  /proc/sys/vm/swappiness 

# sysctl vm.swappiness=0

# echo 0 > /proc/sys/vm/swappiness

關閉告警：

# echo never > /sys/kernel/mm/transparent_hugepage/defrag

2.6 ssh免密碼登陸

1）第一步:利用ssh-kegen生成秘鑰

# ssh-keygen -t rsa -P ""

2）第二步：在三台主機節點上分別拷貝公鑰文件

# cat  ~/.ssh/id_rsa.pub  >>  /root/.ssh/authorized_keys

3) 第三步：將三台主機節點上id_rsa.pub公鑰都復制三台節點上的authorized_keys文件中

# vim /root/.ssh/authorized_keys

每個節點上添加如下秘鑰內容                                      

# ssh asiainfo-154 // 測試ssh

2.7 時間同步NTP服務器

采用搭建內網NTP服務器，內網服務器通過此NTP服務器進行時間同步

在測試環境中選定主服務器(192.168.8.154),其他服務器(156,157)都同步這台主服務器的時間來使得三台節點的時間同步。

1)  第一步: NTP服務器端配置首先確定服務器的時區正確

# timedatectl                               //查看具體時間時區

# timedatectl  list-timezones                 //查看具所有時區

# timedatectl set-timezone  Asia/Shanghai     //設置時區

2)  第二步: 在三台主機節點上安裝ntp服務器端

# yum -y install ntp

3）第三步: 在主服務器上配置NTP

# vim /etc/ntp.conf

a).注意紅色部分為需修改部分

driftfile /var/lib/ntp/drift

restrict default nomodify notrap nopeer noquery

restrict 192.168.8.156 nomodify notrap nopeer noquery  ## 本機地址

restrict 127.0.0.1

restrict ::1

restrict 192.168.8.0 mask 255.255.255.0 nomodify notrap #網管地址，限制范圍route查看

# server 120.25.115.20 prefer # 優先選擇阿里ntp服務

server 127.127.1.0     ## 本機服務

fudge 127.127.1.0 stratum 10

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

disable monitor

b) 啟動ntp服務

# sudo service ntpd start

c) 查看服務連接與監聽端口

 # netstat -tlunp | grep ntp

第一行說明ntp服務已經啟動，ntp默認監聽123端口。

4）第四步：ntp客戶端配置

a) 修改ntp.conf，按照上面的方法配置server為剛才設置的服務器ip，並增加restrict配置（參數nomodify noquery notrap）

# vim /etc/ntp.conf

# 文件內容，修改為紅色部分

driftfile /var/lib/ntp/drift

restrict default nomodify notrap nopeer noquery

restrict 192.168.8.154 nomodify notrap nopeer noquery #本機地址

restrict 127.0.0.1

restrict ::1

server 192.168.8.156   ## 服務器地址

Fudge 192.168.8.156 stratum 10

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

disable monitor

 

b) 啟動ntp服務

# service ntpd start

c) 手動同步

# ntpdate -u 192.168.8.154 

d）查看ntp服務器與上層ntp的狀態

# ntpq -p

# ntpstat

4) 第四步: 三台主機節點重啟ntp服務並設置為開機啟動

# systemctl  ntpd  restart // 重啟

# systemctl  ntpd  enable // 開機啟動

2.8 mysql 服務器

Mysql安裝要求

• 名稱：mysql
• 版本：5.7.11
• 系統：cennts 7
• 部署機器: 192.168.8.156

下載地址: 

#wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz

1)  第一步：卸載本系統mysql

# rpm -qa | grep -i mysql   查看本地mysql

mysql-libs-5.1.61-4.el6.x86_64

#rpm -e mysql-libs-5.1.61-4.el6.x86_64 --nodeps    卸載mysql

1)  第二步: 解壓安裝

# tar -zxvf mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz

# cp -r mysql-5.6.33-linux-glibc2.5-x86_64 /usr/local/mysql 復制解壓后的指定目錄

3)      第三步: linux上添加用戶組和用戶

#添加用戶組

# groupadd mysql

#添加用戶mysql 到用戶組mysql

# useradd -g mysql mysql

4)      第四步: 創建目錄並初始化(注意密碼)使用及配置

# cd /usr/local/mysql/

# mkdir ./data/mysql

# chown -R mysql:mysql ./*

# ./bin/mysqld --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/mysql

--initialize

# cat support-files/mysql.server >> /etc/init.d/mysqld 添加到服務項中

 修改啟動腳本

# vi /etc/init.d/mysqld

#修改項：

     basedir=/usr/local/mysql/

     datadir=/usr/local/mysql/data/mysql

# chmod 755 /etc/init.d/mysqld

# cp support-files/my-default.cnf /etc/my.cnf  #拷貝配置文件

# vim /etc/my.cnf

添加如下內容：

basedir=/usr/local/mysql/

datadir=/usr/local/mysql/data/mysql

5)  第五步: 加入環境變量，編輯/etc/profile，這樣可以在任何地方用mysql命令了

# vim /etc/profile

MYSQL_HOME =/usr/local/mysql/bin

PATH=.:$MYSQL_HOME/bin:$PATH

# source /etc/profile   生效配置文件

6)      第六步: 啟動數據庫

# service mysqld start    啟動mysql

# service mysqld stop    關閉mysql

# service mysqld status   查看運行狀態

7)      第七步: root用戶授權

# mysql –uroot –p 

• 給所有主機登錄的權限

>GRANT ALL PRIVILEGES ON *.* TO ‘root’@'%’ IDENTIFIED BY ‘123456’;

> flush privileges;

• 給用戶所有表的所有權限

>GRANT ALL PRIVILEGES ON *.* TO ‘root’@'%’ IDENTIFIED BY ‘123456’  WITH GRANT OPTION;

> flush privileges;

2.9 java 運行環境

注意：CDH6安裝下載中有oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm安裝包

1) 下載java jdk,版本為jdk1.8，注意必須為oracle

下載地址: http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

2)卸載系統自帶的jdk

# rpm –qa | grep java

# rpm –e –nodes java-version

3）三個節點上進行解壓並安裝

# cd /usr/java

注意:一定要安裝在這個目錄下，如果沒有java自己創建java目錄，否則后續CDH找不到

# tar zxvf jdk-8u181-linux-x64.tar.gz               

編輯配置環境變量

# vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_181

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar  ### jps使用

PATH=$JAVA_HOME/bin:$HOME/bin:$HOME/.local/bin

# source /etc/profile

三、CDH部署配置

3.1 CDH安裝概述

CDH 安裝版本描述

• Linux版本: centos 7
• CDH 版本：CDH6.1.0
• 安裝工具：CM6(clouldera manager)
• 安裝方式: 離線/repo源安裝，可選擇一種

3.2 下載CDH6安裝包

CDH6采用的是RPM包進行安裝，可到官網下載RPM包進行安裝

下面是安裝包下載地址

下載CM6.1的安裝包

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/allkeys.asc

 

下載CDH6.1的安裝包

https://archive.cloudera.com/cdh6/6.1.0/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel

https://archive.cloudera.com/cdh6/6.1.0/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256

https://archive.cloudera.com/cdh6/6.1.0/parcels/manifest.json

 

CDH6.1.0 rpm軟件包下載

https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/noarch/

https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/x86_64/

 

3.2.1 rpm包安裝

l  下載文件

下載服務地址：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/

 

 

下載文件列表：

• cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm
• cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm
• cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm
• cloudera-manager-server-db-2-6.1.0-769885.el7.x86_64.rpm
• oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

下載離線安裝地址：https://archive.cloudera.com/cdh6/6.1.0/parcels/

 

 

下載文件列表：

• CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel
• CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256
• manifest.json

注意：*.sha256中的hash值應該與manifest.json中的一致。

下載mysql驅動

mysql-connector-java-5.1.39.jar

上傳到安裝包

將服務安裝包上傳到每台機器目錄/opt/cloudera-manager下，沒有的創建

# mkdir /opt/cloudera-manager

 

安裝服務包(順序不可變)

• 安裝java包

# rpm –ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

• 安裝daemons包

# rpm -ivh cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm

• 主機上安裝server服務

# rpm -ivh cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm

• 每台機器上安裝agent服務

# rpm -ivh cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm

移動paracel包到parcel-repo、

在安裝服務后會自動生成/opt/cloulera/parcel-repo目錄，將parcel移動到此目錄

# 將三個包移動到/opt/cloulder目錄下

# mv  CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel

CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256

manifest.json  /opt/clouldera/parcel-repo

修改parcel-repo的目錄權限

# chmod –R cloudera-scm: cloudera-scm  /opt/clouldera/parcel-repo

 

重名名*.sha256文件為*.sha后綴文件   

# mv CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256

 CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha

注意：這里*.sha有兩個要求，否則無法找到本地parcels目錄文件

1)   /opt/cloudera/parcel-repo的目錄及子目錄的權限為clouldera-scm

2)   CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha中的hash碼，必須與manifest.json中的碼一致

拷貝到到所有節點目錄

# scp -r /opt/cloudera/parcel-repo/*  root@asiainfo-154:/opt/cloudera/parcel-repo

# scp -r /opt/cloudera/parcel-repo/*  root@asiainfo-157:/opt/cloudera/parcel-repo

3.2.2 repo源安裝

可用vftp搭建一個ftp服務器來配置repos服務或使用python搭建一個HTTPServer

通過可以聯網的機器各類安裝包下載

# mkdir -p /var/www/html/cloudera-repos

#wget https://archive.cloudera.com/cm6/6.1.1/allkeys.asc -P /var/www/html/cloudera-repos/cm6/6.1.1/

#wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/gplextras6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos

#wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos

#wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cm6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos

拷貝到一台網路環境比較好的機器上

將cloudera-repos文件夾，打包拷到內網環境中，因為大小超過4G ,所以可以采用壓縮軟件分包或者直接用一個NTFS格式的U盤。

# mkdir -p /var/www/html/cloudera-repos

將下載的文件拷貝到此目錄下

解壓縮，建立rpm包服務器

在內網環境中cd到 cloudera-repos 同級目錄

# cd /var/www/html/cloudera-repos

# python -m SimpleHTTPServer 8900 ##搭建一個臨時HTTP服務

這里就是一個臨時的服務，安裝完成CDH所有組件之后，可以ctrl + c 就停止了

每台機器上都配置repo源

刪除CenteOS 自帶的源，因為你無法訪問外網，不刪除會報錯

# rm -rf /etc/yum.repos.d/Centos*

# vim /etc/yum.repos.d/cloudera-repo.repo

添加yum配置

[cloudera-repo]

name=cloudera-repo

baseurl=http://127.0.0.1:8900/cloudera-repos/cm6/6.1.1/redhat7/yum/ #里面的IP對應的是你的rpm包的服務器ip

enabled=1

gpgcheck=0

在添加一個CDH組件的包源

# vi /etc/yum.repos.d/cloudera-repo-cdh.repo

[cloudera-repo-cdh]

name=cloudera-repo-cdh

baseurl=http://127.0.0.1:8900/cloudera-repos/cdh6/6.1.1/redhat7/yum/

enabled=1

gpgcheck=0

清理 repos 源

Yum clean all

自此，所有的配置都已經結束，開始安裝！！！！CM的安裝就找集群里面的一台機器安裝，成功之后，通過web頁面可以可視化的自動把集群中其他機器安裝CM服務和CDH組件。

安裝服務包

• 安裝JDK

# yum install oracle-j2sdk1.8

• 所有的master節點

# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-serve

• 所有的datanode節點

#yum install cloudera-manager-daemons cloudera-manager-agent

 

3.3 cm中mysql配置

1)  mysql中創建cloudera hadoop,cm 所需的數據庫

grant all privileges on *.* to 'root'@'%' identified by '123456';

create database scm default character set utf8 default collate utf8_general_ci;

grant all on scm.* to 'scm'@'%' identified by '123456';

create database amon default character set utf8 default collate utf8_general_ci;

grant all on amon.* to 'amon'@'%' identified by '123456';

create database rman default character set utf8 default collate utf8_general_ci;

grant all on rman.* to 'rman'@'%' identified by '123456';

create database hue default character set utf8 default collate utf8_general_ci;

grant all on hue.* to 'hue'@'%' identified by '123456';

create database metastore default character set utf8 default collate utf8_general_ci;

grant all on metastore.* to 'hive'@'%' identified by '123456';

create database sentry default character set utf8 default collate utf8_general_ci;

grant all on sentry.* to 'sentry'@'%' identified by '123456';

create database nav default character set utf8 default collate utf8_general_ci;

grant all on nav.* to 'nav'@'%' identified by '123456';

create database oozie default character set utf8 default collate utf8_general_ci;

grant all on oozie.* to 'oozie'@'%' identified by '123456';

flush privileges;

 

2)  mysql 驅動放置位置(兩個位置)

位置1：

# mv /tmp/mysql-connector-java-5.1.39.jar /opt/cloudera-manager/cm-5.14.2/share/cmf/lib/

位置2：（注意將MySQL包重命名為mysql-connector-java.jar）：

# mv /tmp/mysql-connector-java-5.1.39.jar /tmp/mysql-connector-java.jar

# mv /tmp/mysql-connector-java.jar /usr/share/java/   # 如果沒有目錄自己創建

3）使用cm初始化mysql（建議在192.168.8.156（主節點）的主機mysql安裝機器）

# /opt/cloudera-manager/cm-5.14.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

3.4 cdh rpm依賴包

1) 安裝 cdh cdm所需的rpm 包，不安裝會出現相關的問題

yum -y install chkconfig

yum -y install python

yum -y install bind-utils

yum -y install psmisc

yum -y install libxslt

yum -y install zlib

yum -y install sqlite

yum -y install cyrus-sasl-plain

yum -y install cyrus-sasl-gssapi

yum -y install fuse

yum -y install portmap

yum -y install fuse-libs

yum -y install redhat-lsb

 

yum -y install bind-utils

yum -y install libxslt

yum -y install sqlite

 

yum -y install cyrus-sasl-plain

yum -y install cyrus-sasl-gssapi

yum -y install fuse

yum -y install fuse-libs

yum -y install httpd

yum -y install mod_ssl

yum -y install openssl-devel

yum -y install python-psycopg2

yum -y install MySQL-python

yum -y install libpq.so.5()(64bit)

3.5 cm中agent和server服務

0）agent節點配置服務

#vim /etc/cloudera-scm-agent/config.ini

 

 

1）主節點執行(192.168.8.156)

啟動cloudera-scm-server

# systemctl start cloudera-scm-server

查看啟動日志

# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

2）各子節點(192.168.8.156, 192.168.8.154, 192.168.8.157)

啟動cloudera-scm-agent

# systemctl start cloudera-scm-agent

查看啟動日志

# tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

3)       查看狀態(192.168.8.156)

# systemctl start cloudera-scm-agent

# systemctl start cloudera-scm-server

4)       關閉服務

5)       # systemctl stop  cloudera-scm-agent

6)       # systemctl stop  cloudera-scm-server

5) 開機啟動

# systemctl enable cloudera-scm-agent

# systemctl enable cloudera-scm-server

 

3.6 cm中存在的目錄匯總

目錄	作用	說明
/run/cloudera-scm-agent	Agent服務運行的目錄
/run/cloudera-scm-agent/process	Agent維護程序目錄
/run/cloudera-scm-server	Server運行維護目錄
/etc/cloudera-scm-agent	Agent 配置目錄
/etc/cloudera-scm-server	Server配置目錄
/var/lib/cloudera-scm-server	Agent 運行文件目錄
/var/lib/cloudera-scm-agent	Server 運行文件目錄
/var/log/cloudera-scm-server	Agent日志文件目錄
/var/log/cloudera-scm-agent	Server日志文件目錄
/opt/cloudera	安裝文件目錄

 

四、cm部署CDH集群

4.1 cm 界面化部署

搭建時，忘記截圖，就用以前的CHD5的圖片吧，操作和界面差不多，撮合看

在瀏覽器中輸入cm地址:,cm登陸地址:

http://192.168.8.156:7180/cmf/home

1)  第一步: 輸入cm 地址，可以看到登陸界面

 

CM初始用戶和密碼為:admin/admin，登陸

2)   第二步: 許可界面，點擊同意條款，點擊繼續，進行下一步

 

3)   第三步：選擇cdh的版本

 

cdh提供三個版本:免費版和收費版，此次選擇免費版，點擊繼續

4)   第四步：版權許可聲明，點擊繼續

 

5)    第五步: 指定安裝主機 

 

6)    也可以查看當前的主機列表

 

選擇主機列表后，點擊繼續

7)    第六步: 集群安裝界面

 

• 選擇方式:使用parcel方式
• 選擇CDH的版本: CHD-6.1.0.p0.1
• 其他parcel：都選”無”
• 選擇后，點擊繼續

8)    第七步:集群安裝界面，安裝時間比較長

 

9)    第八步：集群設置

 

本次安裝選擇含spark的內核

9） 第九步：集群安裝正確性檢查

 

如果出現警告標示，可按照提示進行配置。

10)   第十步：集群角色的划分，可選擇默認角色分配方案

 

也可查看每台機器中的角色分配情況。

 

設置完畢后，點擊繼續

11）第十一步：配置和測試數據庫連接

  

選擇配置好的數據看名稱、賬號和密碼。點擊測試連接，如果測試通過，點擊繼續。如果不通過，可以查看日志文件

# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

排查錯誤。

12） 第十二步：集群的自動安裝

 

安裝進度界面

 

等到集群整個安裝完畢后，點擊完成。

即可完成整個集群的搭建。

13) 第十三步：集群登陸

 

輸入賬號和密碼admin/admin，點擊登錄，如果看到下面的界面，集群正確搭建完畢。 

五、CDH 6.X完全卸載步驟

8.1 關閉集群中的所有服務

 這個可以通過clouder manger 主頁關閉集群

8.2 卸載

[root@master ~]# systemctl enable cloudera-scm-server 

[root@slave1 ~]#systemctl enable cloudera-scm-agent

[root@slave2~]# systemctl enable cloudera-scm-agent

一下都是所有要卸載的集群均要執行清除工作：

[root@master ~]# umount /var/run/cloudera-scm-agent/process

[root@slave1 ~]# umount /var/run/cloudera-scm-agent/process

[root@slave2 ~]# umount /var/run/cloudera-scm-agent/process

[root@master ~]# rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera*  /etc/cloudera*  /var/log/hadoop-*

8.3 卸載安裝包：

[root@slave1 ~]# rpm -qa | grep cloudera

[root@slave2 ~]# for f in `rpm -qa | grep cloudera `  ; do rpm -e ${f} ; done    #（如果有保存，在執行一遍）

8.4 清除安裝文件

# rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie  /var/lib/pgsql  /var/lib/sqoop2  /data/dfs/  /data/impala/ /data/yarn/  /dfs/ /impala/ /yarn/  /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalog 

//只刪除hadoop系列的，不要刪除其他軟件的，否則其他軟件的版本控制會被破壞

[root@master alternatives]# rm -rf ` find /var/lib/alternatives/* ! -name "mta" ! -name "print" ! -name "zlibrary-ui"  -mtime -3` 

[root@master alternatives]# rm -rf /etc/alternatives/* 

8.5. 殺死相關進程：

for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done

8.6. 刪除parcel包分發文件和解壓文件

  rm -rf /opt/cloudera