CentOS7安裝CDH 第五章:CDH的安裝和部署-CDH5.7.0


相關文章鏈接

CentOS7安裝CDH 第一章:CentOS7系統安裝

CentOS7安裝CDH 第二章:CentOS7各個軟件安裝和啟動

CentOS7安裝CDH 第三章:CDH中的問題和解決方法

CentOS7安裝CDH 第四章:CDH的版本選擇和安裝方式

CentOS7安裝CDH 第五章:CDH的安裝和部署-CDH5.7.0

CentOS7安裝CDH 第六章:CDH的管理-CDH5.12

CentOS7安裝CDH 第七章:CDH集群Hadoop的HA配置

CentOS7安裝CDH 第八章:CDH中對服務和機器的添加與刪除操作

CentOS7安裝CDH 第九章:CDH中安裝Kafka

CentOS7安裝CDH 第十章:CDH中安裝Spark2

CentOS7安裝CDH 第十一章:離線升級CDH版本

CentOS7安裝CDH 第十二章:YARN的資源調優

CentOS7安裝CDH 第十三章:CDH資源池配置

CentOS7安裝CDH 第十四章:CDH的優化

1. CDH的下載

CentOS7.5CDH5.7.0舉例:

1.1. cm的tar包下載

下載地址:http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/

請選擇需要的版本。

1.2. parcels包下載

下載地址:http://archive.cloudera.com/cdh5/parcels/5.7.0/

請選擇對應的版本,el7,並將后綴.sha1更改為.sha。

2. 安裝CDH的准備工作(所有節點都要執行)

2.1. 安裝好JDK

2.2. 更改主機名和hosts

# echo "bigdata0*.tfpay.com" > /etc/hostname
# echo "172.17.28.1    bigdata01.tfpay.com    bigdata01" >> /etc/hosts
# echo "172.17.28.2    bigdata02.tfpay.com    bigdata02" >> /etc/hosts
# echo "172.17.28.3    bigdata03.tfpay.com    bigdata03" >> /etc/hosts
# echo "172.17.28.4    bigdata04.tfpay.com    bigdata04" >> /etc/hosts

2.3. 關閉防火牆,並重啟服務器使hostname和selinux的配置生效

# systemctl stop firewalld
# systemctl disable firewalld
# systemctl status firewalld
# sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
# reboot
# getenforce
# sestatus -v

2.4. 安裝NTP服務

#在所有節點
yum -y install ntp

#在master節點,注釋掉原有的server指向把時間服務器的域名地址指向一個靠譜可連的時間服務器,我選擇的是ntp.api.bz.
# vim /etc/ntp.conf
    ……
     #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    server ntp.api.gz iburst
......

# 在其余的節點上,把時間服務器的server指向master namenode節點
# vi /etc/ntp.conf
     ……
     #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    server 172.17.28.1 iburst
......

# 在所有節點
systemctl start ntpd
systemctl enable ntpd

2.5. 配置SSH無密碼登錄,如上配置免密登錄所示

2.6. 安裝MySQL數據庫,能進入MySQL數據庫即為安裝完成

3. 配置CDH的離線安裝

目的:將上述下載的4個文件上傳到centos7服務器中,並配置好離線服務,安裝時即可以從該離線服務中下載,不需要再從官網中去下載,防止網絡錯誤。

3.1. 在master節點上安裝httpd

# 查看該centos7是否存在httpd服務
rpm -qa|grep httpd

# 如果不存在該服務就安裝
yum install -y httpd

# 啟動該服務
systemctl start httpd.service #啟動
systemctl stop httpd.service #停止
systemctl restart httpd.service #重啟

# 設置該服務是否開機啟動
systemctl enable httpd.service #開機啟動
systemctl disable httpd.service #開機不啟動

# 查看該服務的狀態
systemctl status httpd.service

當訪問該服務器的80端口出現如下畫面即為安裝和啟動成功

3.2. 創建 parcels文件

# 在/var/www/html下創建一個parcels文件夾,並將上述下載的3個文件上傳到該目錄下
cd /var/www/html/
mkdir parcels
# 上傳如下3個文件
CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel
CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha
manifest.json

# 校驗文件下載未損壞
/usr/bin/sha1sum CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel
cat CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha

如果2個驗證碼一樣,證明該文件未損壞,可以使用:

在瀏覽器中能打開如下網址,證明配置成功:

3.3. 創建cm文件

# 在/var/www/html創建cm5/redhat/7/x86_64/文件夾(和官網一樣的路徑)
cd /var/www/html/
mkdir -p cm5/redhat/7/x86_64/

# 上傳cm5.7.0-centos7.tar.gz包到/var/www/html目錄下,並解壓
tar -zxf cm5.7.0-centos7.tar.gz

# 將解壓好的文件夾移動到上述創建的文件夾下
mv cm /var/www/html/cm5/redhat/7/x86_64/

# 配置本地的yum源,cdh集群在安裝時會就從本地down包,不會從官網了,所有節點都要執行
vim /etc/yum.repos.d/cloudera-manager.repo

#在該文件下插入如下數據
[cloudera-manager]
name = Cloudera Manager, Version 5.7.0
baseurl = http://192.168.12.131/cm5/redhat/7/x86_64/cm/5/
gpgcheck = 0

在瀏覽器中出現如下界面:

3.4. 安裝CM的server+agent

# 進入上述創建的CM的文件目錄下
cd /var/www/html/cm5/redhat/7/x86_64/cm/5.7.0/RPMS/x86_64/
# 安裝cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el7.x86_64.rpm
yum install cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el7.x86_64.rpm
# 安裝cloudera-manager-server-5.7.0-1.cm570.p0.76.el7.x86_64.rpm,請注意,不用安裝db版本的,那是使用默認數據庫的,在生產環境中一般不使用,生產環境中是使用MySQL數據庫的
yum -y install cloudera-manager-server-5.7.0-1.cm570.p0.76.el7.x86_64.rpm

3.5. 在MySQL中創建元數據庫並上傳jar包

# 在MySQL中創建元數據庫
create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
create database hive DEFAULT CHARACTER SET utf8;
create database oozie DEFAULT CHARACTER SET utf8;
create database hue DEFAULT CHARACTER SET utf8;

grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456';
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY '123456';
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY '123456';

# 創建cmf用戶,並創建cmf數據庫,此數據庫需在CDH的數據庫配置文件中配置
create database cmf DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456';
flush privileges;

# 創建其他數據庫,並授權
create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
flush privileges;
    
create database hive DEFAULT CHARSET SET utf8;
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY '123456';
flush privileges;
    
create database oozie DEFAULT CHARSET SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';
flush privileges;

create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY '123456';
flush privileges;

#給MySQL授權時會出現密碼問題,可以執行如下命令
set global validate_password_policy=LOW;
set global validate_password_length=6;

#修改CDH關於數據庫的配置文件(如下圖所示)
vim /etc/cloudera-scm-server/db.properties

# 上傳與MySQL連接的jar包(注:jar包需要放入如下目錄,沒有就創建)
# 所有節點都需要執行
cd /usr/share/java

# 上傳jar包,並修改jar包的名字(此jar包不需要版本號)
mv mysql-connector-java-8.0.15.jar mysql-connector-java.jar

CDH數據庫配置文件如下圖所示:

在CDH5.8.4版本之后又如下配置,請修改:

3.6. 啟動cloudera-scm-server服務並查看日志

#啟動
service cloudera-scm-server start
service cloudera-scm-server status

#在啟動時有可能碰到The server time zone value 'EDT' is unrecognized異常,這是mysql的時區和系統的時區不匹配,可以參考如下網站解決
https://blog.csdn.net/u010003835/article/details/88974898

#查看日志
cd /var/log/cloudera-scm-server/
tail -f cloudera-scm-server.log
# 出現如下7180即證明啟動成功
WebServerImpl:org.mortbay.log: Started SelectChannelConnector@0.0.0.0:7180

成功圖片如下所示:

此時查看MySQL數據庫,會發現cmf數據庫下回自動創建表:

使用命令會查看到連接cmf的用戶的具體信息:

show processlist;

3.7. 在瀏覽器的web頁面上安裝CM

當service cloudera-scm-server start啟動成功后,即可以在瀏覽器上服務7180端口(需開放防火牆)。

1. 在瀏覽器中輸入http://bigdata01.ouyang.com:7180 ,登錄CM的web界面,賬號和密碼均為admin:

2. 點擊同意許可:

3. 選擇CM的版本:

4. 使用搜索模式,搜索需要安裝CDH的主機:

3.8. 在瀏覽器的web頁面上安裝CDH集群

1.  選擇存儲庫

點擊更多選項,將其他遠程Parcel刪除,並輸入先前配置好的Parcel:

選擇CDH的版本,並選擇自定義存儲庫:

地址:http://bigdata01.ouyang.com/cm5/redhat/7/x86_64/cm/5/

2.  是否需要安裝JDK,默認不進行安裝,直接下一步:

3. 是否啟用單用戶模式,可以自由選擇:

4. 提供 SSH 登錄憑據,可以自由選擇,這里直接使用root用戶:

5.  進行集群安裝,如果安裝失敗可以點擊詳細信息查看失敗原因,解決后再重新安裝:

6. 安裝選定Parcel,先前配置的Parcel就作用於此處,如果不進行此配置會去官網進行下載,對網絡要求很高,並網絡中斷后會重新下載,較麻煩,使用此配置可以直接下載成功,並速度很快:

7. 檢查主機正確性,一般來說此步會存在swap設置和大頁面2個問題,可以使用如下代碼在每個主機上進行配置,然后重新檢測即可:

#關閉大頁面
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'>>  /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'>>  /etc/rc.local

#設置swap
echo 'vm.swappiness = 10' >> /etc/sysctl.conf
sysctl -p

3.9. 在瀏覽器的web頁面上進行CDH集群的配置

1. 選擇要在集群上安裝的CDH5服務:

2. 自定義角色分配,一般將主色分配到master節點,所以該節點內存要大,zookeeper需要安裝奇數台,這里是只安裝了一台,不合理,請安裝3台以上的奇數台:

3. 進行數據庫設置,此步驟中用到的數據庫在上述的MySQL數據庫中均進行了創建和授權:

4. 審核更改,此步驟中不管是開發測試還是生產環境,均不需要更改,直接點擊繼續,進行下一步:

5. 首次運行,會自動運行,運行之后點擊繼續按鈕即可:

6. 安裝成功:

此狀態為主機配置較低,運行不良,對集群無影響,可以正常工作。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM