CDH6.2.0部署-親自操作驗證可行

CDH6.2.0部署

PDF文檔：https://files.cnblogs.com/files/duxingren/CDH6.2-pdf.zip

鄭重聲明：並非拿來主義。親手實踐並花費一天時間整理文檔。再三感謝此鏈接。

補充了再參考文獻中遇到的問題並重點圈畫出來。值得一讀。謝謝各位。

參考文獻：https://blog.csdn.net/github_39577257/article/details/92471365

參考文獻：https://blog.csdn.net/github_39577257/article/details/92471365

參考文獻：https://blog.csdn.net/github_39577257/article/details/92471365

常見的 JDK 有 Oracle JDK、和 Open JDK，而常用到的 Open JDK有 Linux yum 版的 Open JDK、Zulu JDK、GraalVM CE JDK等。安裝 CDH 環境的 JDK 時還是建議先使用官方提供的下載資源列表里的 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm。如果公司有要求必須使用Open JDK，可以先安裝下載包中的Oracle JDK 安裝，等CDH安裝完畢，需要的組件服務安裝配置完成之后，再升級為自己需公司要求的 Open JDK，且強烈建議這樣做。

對於包中個組件的版本可查看 CDH 6.2.0 Packaging，或者鏡像庫中查看 noarch | x86_64 。注意：從cdh6.0開始，Hadoop的版本升級到了3.0

CDH 6.2.0 Packaging：

https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_62_packaging.html

Noarch：

https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum/RPMS/noarch/

x86_64：

https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum/RPMS/x86_64/

Cloudera Enterprise 6發行指南

https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_requirements_supported_versions.html#cm_cdh_compatibility

 

1.環境准備

1.1 環境清除或重裝

假設舊環境已經安裝過CDH或HDP或者其它，需要清除這些，清除相對麻煩些，刪除的時候需謹慎。但整體可以這樣快速清除

 

1 獲取root用戶

2 卸除通過rmp安裝的服務：

rpm -qa

# 或者指定某些服務

rpm -qa 'cloudera-manager-*'

# 移除服務

rpm -e 上面命令查到的名字 --nodeps

# 清除yum 緩存

sudo yum clean all

3 查看進程

ps -aux > ps.txt，通過第一列USER 和 最后一列COMMAND 確定是否為清除的進程，如果是根據第二列PID kill掉：kill -9 pid

4 查看系統的用戶信息：cat /etc/passwd

5 刪除多余的用戶：userdel 用戶名

6 搜索這個用戶相關的的文件，並刪除：

 find / -name 用戶名*

 # 刪除查到的文件

 rm -rf 文件

7 在刪除時有時可能文件被占用，可以先通過 lsof 命令找到被占用的進程，關閉后再刪除。

8 雖然查不到進程被占用，可能文件被掛載了，卸除后再刪除:

umount cm-5.16.1/run/cloudera-scm-agent/process，

然后再

rm -rf cm-5.16.1/。

當卸除命令執行后還是不能刪除時，可以多運行幾次，再嘗試刪除文件。

1.2 Apache HTTP 服務安裝

因為有些服務器對訪問外網有嚴格限制時，可以配置一個 HTTP服務，將下載的資源上傳上去，方便后面的安裝。

Step 1：先查Apache http服務狀態

如果狀態可查到，只需要修改配置文件(查看Step 3)，重啟服務就行。如果狀態查詢失敗，需要先安裝 Apache HTTP 服務(接着Step 2)。

sudo systemctl start httpd

Step 2：安裝 Apache http服

 yum -y install httpd

Step 3：修改 Apache http 配置

配置如下內容。最后保存退出。可以查看到配置的文檔路徑為：/var/www/html。其他的配置項可以默認，也可以根據情況修改。

vim /etc/httpd/conf/httpd.conf

# 大概在 119 行

DocumentRoot "/var/www/html"

# 大概在 131 行，<Directory "/var/www/html"> </Directory>標簽內對索引目錄樣式設置

# 最多顯示100個字符，utf-8字符集，開啟目錄瀏覽修飾，目錄優先排序

IndexOptions NameWidth=100 Charset=UTF-8 FancyIndexing FoldersFirst

配置完后，記得重啟服務。

Step 4：創建資源路徑

sudo mkdir -p /var/www/html/cloudera-repos

1.3 Host 配置

將集群的Host的ip和域名配置到每台機器的/etc/hosts。

注意 hostname必須是一個FQDN（全限定域名），例如myhost-1.example.com，否則后面轉到頁面時在啟動Agent時有個驗證會無法通過↘。

# cdh1

sudo hostnamectl set-hostname cdh1.example.com

# cdh2

sudo hostnamectl set-hostname cdh2.example.com

# cdh3

sudo hostnamectl set-hostname cdh3.example.com

#配置 /etc/hosts

192.168.104.103 cdh1.example.com cdh1

192.168.104.104 cdh2.example.com cdh2

192.168.104.105 cdh3.example.com cdh3

# 配置 /etc/sysconfig/network

# cdh1

HOSTNAME=cdh1.example.com

# cdh2

HOSTNAME=cdh2.example.com

# cdh3

HOSTNAME=cdh3.example.com

1.4 NTP

NTP服務在集群中是非常重要的服務，它是為了保證集群中的每個節點的時間在同一個頻道上的服務。

規划如下，當可以訪問時間同步服務，例如可以直接和亞洲NTP服務進行同步。例如不能訪問時，可以將cdh1.example.com配置為NTP服務端。集群內節點和這個服務進行時間同步。

ip    用途

asia.pool.ntp.org   亞洲NTP時間服務地址

cdh1.example.com      ntpd服務，以本地時間為准

cdh2.example.com      ntpd客戶端。與ntpd服務同步時間

cdh3.example.com      ntpd客戶端。與ntpd服務同步時間

我的做法是直接yum安裝一下ntp服務。因為都可以訪問外網。

step1 ntpd service

# NTP服務，如果沒有先安裝

systemctl status ntpd.service

step2 與系統時間一起同步

非常重要 硬件時間與系統時間一起同步。

修改配置文件vim /etc/sysconfig/ntpd。末尾新增代碼SYNC_HWCLOCK=yes

# Command line options for ntpd

#OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

OPTIONS="-g"

SYNC_HWCLOCK=yes

step3 添加NTP服務列表

編輯vim /etc/ntp/step-tickers

# List of NTP servers used by the ntpdate service.

#0.centos.pool.ntp.org

cdh1.example.com

step4 NTP服務端ntp.conf

修改ntp配置文件vim /etc/ntp.conf

driftfile /var/lib/ntp/drift

logfile /var/log/ntp.log

pidfile   /var/run/ntpd.pid

leapfile  /etc/ntp.leapseconds

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

#允許任何IP的客戶端進行時間同步，但不允許修改NTP服務端參數，default類似於0.0.0.0

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

#restrict 10.135.3.58 nomodify notrap nopeer noquery

#允許通過本地回環接口進行所有訪問

restrict 127.0.0.1

restrict  -6 ::1

# 允許內網其他機器同步時間。網關和子網掩碼。注意有些集群的網關可能比價特殊，可以用下面的命令查看

# 查看網關信息：/etc/sysconfig/network-scripts/ifcfg-網卡名；route -n、ip route show 

restrict 192.168.33.2 mask 255.255.255.0 nomodify notrap

# 允許上層時間服務器主動修改本機時間

#server asia.pool.ntp.org minpoll 4 maxpoll 4 prefer

# 外部時間服務器不可用時，以本地時間作為時間服務

server  127.127.1.0     # local clock

fudge   127.127.1.0 stratum 10

step5 NTP客戶端ntp.conf

vim /etc/ntp.conf

driftfile /var/lib/ntp/drift

logfile /var/log/ntp.log

pidfile   /var/run/ntpd.pid

leapfile  /etc/ntp.leapseconds

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

restrict 127.0.0.1

restrict -6 ::1

server 192.168.33.3 iburst

step6 NTP服務重啟和同步

#重啟服務

systemctl restart ntpd.service

#開機自啟

chkconfig ntpd on

ntpq -p

ntpdate -u  cdh1.example.com

 

step7 NTP服務狀態查看

如果顯示如下則同步是正常的狀態(狀態顯示 PLL,NANO)：

[root@cdh1 ~]# ntpstat

synchronised to NTP server (84.16.73.33) at stratum 2

   time correct to within 127 ms

   polling server every 1024 s

[root@cdh1 ~]# ntptime

ntp_gettime() returns code 0 (OK)

  time e2478ca0.ddc19360  Mon, Apr 20 2020 10:51:12.866, (.866235678),

  maximum error 456301 us, estimated error 250 us, TAI offset 0

ntp_adjtime() returns code 0 (OK)

  modes 0x0 (),

  offset -87.932 us, frequency 14.716 ppm, interval 1 s,

  maximum error 456301 us, estimated error 250 us,

  status 0x2001 (PLL,NANO),

  time constant 10, precision 0.001 us, tolerance 500 ppm,

[root@cdh1 ~]# timedatectl

      Local time: Mon 2020-04-20 10:51:21 CST

  Universal time: Mon 2020-04-20 02:51:21 UTC

        RTC time: Mon 2020-04-20 02:51:21

       Time zone: Asia/Shanghai (CST, +0800)

     NTP enabled: yes

NTP synchronized: yes

 RTC in local TZ: no

      DST active: n/a14

1.5 MySQL

Download MySQL

https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.27-el7-x86_64.tar.gz

step1 配置環境變量

# 配置Mysql環境變量

export PATH=$PATH:/usr/local/mysql/bin

step2 創建用戶和組

#①建立一個mysql的組

groupadd mysql

#②建立mysql用戶，並且把用戶放到mysql組

useradd -r -g mysql mysql

#③還可以給mysql用戶設置一個密碼（mysql）。回車設置mysql用戶的密碼

passwd mysql

#④修改/usr/local/mysql 所屬的組和用戶

chown -R mysql:mysql /usr/local/mysql/

step3 設置MySQL配置文件

編輯/etc/my.cnf文件：vim /etc/my.cnf。設置為如下：

 

[mysqld]

basedir = /usr/local/mysql

datadir = /usr/local/mysql/data

port = 3306

socket=/var/lib/mysql/mysql.sock

character-set-server=utf8

 

transaction-isolation = READ-COMMITTED

# Disabling symbolic-links is recommended to prevent assorted security risks;

# to do so, uncomment this line:

symbolic-links = 0

server_id=1

max_connections = 550

log_bin=/var/lib/mysql/mysql_binary_log

binlog_format = mixed

read_buffer_size = 2M

read_rnd_buffer_size = 16M

sort_buffer_size = 8M

join_buffer_size = 8M

 

# InnoDB settings

innodb_file_per_table = 1

innodb_flush_log_at_trx_commit  = 2

innodb_log_buffer_size = 64M

innodb_buffer_pool_size = 4G

innodb_thread_concurrency = 8

innodb_flush_method = O_DIRECT

innodb_log_file_size = 512M

[client]

default-character-set=utf8

socket=/var/lib/mysql/mysql.sock 

[mysql]

default-character-set=utf8

socket=/var/lib/mysql/mysql.sock

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

step4 配置解壓和設置

# 解壓到 /usr/local/ 下

tar -zxf mysql-5.7.27-el7-x86_64.tar.gz -C /usr/local/

# 重命名

mv /usr/local/mysql-5.7.27-el7-x86_64/ /usr/local/mysql

# 實現mysqld -install這樣開機自動執行效果

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql

vim /etc/init.d/mysql

# 添加如下配置

basedir=/usr/local/mysql

datadir=/usr/local/mysql/data

#創建存放socket文件的目錄

mkdir -p /var/lib/mysql

chown mysql:mysql /var/lib/mysql

#添加服務mysql

chkconfig --add mysql

# 設置mysql服務為自動

chkconfig mysql on

step5 開始安裝

#初始化mysql。注意記錄下臨時密碼： ?w=HuL-yV05q（每個都不一樣的）

/usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

#給數據庫加密

/usr/local/mysql/bin/mysql_ssl_rsa_setup --datadir=/usr/local/mysql/data

# 啟動mysql服務。過段時間，當不再刷屏時，按Ctrl + C退出后台進程

/usr/local/mysql/bin/mysqld_safe --user=mysql &

# 重啟MySQL服務

/etc/init.d/mysql restart

#查看mysql進程

ps -ef|grep mysql

step6 登陸MySQL，完成后續設置

#第一次登陸mysql數據庫，輸入剛才的那個臨時密碼

/usr/local/mysql/bin/mysql -uroot -p

輸入前面一步生成的臨時密碼，進入MySQL的命令行，其中密碼密碼可以訪問☌隨機密碼生成☌網站生成安全強度較高的隨機密碼，生產環境一般是有強度要求。

--必須先修改密碼

mysql> set password=password('V&0XkVpHZwkCEdY$');

--在mysql中添加一個遠程訪問的用戶

mysql> use mysql;

mysql> select host,user from user;

-- 添加一個遠程訪問用戶scm，並設置其密碼為 scm

mysql> grant all privileges on *.* to 'scm'@'%' identified by 'scm' with grant option;

--刷新配置

mysql> flush privileges;

1.6 剩下

Java-jdk環境：sudo yum install oracle-j2sdk1.8（特別重要，否則自制的jdk會讓你絕望）

防火牆：

sed -i "s#SELINUX=enforcing#SELINUX=disabled#g" /etc/selinux/config

setenforce 0

systemctl stop firewalld

systemctl disable firewalld

1.7 其他

Cloudera Manager和Cloudera Navigator使用的端口

 

https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/cm_ig_ports_cm.html

2.下載資源

上傳到Apache HTTP 服務器上的目錄：/var/www/html/cloudera-repos。

2.1 簡版下載

其中將下載資源上傳到搭建的 Apache HTTP 服務節點，如果文件夾不存在，需要手動創建。記得文件路徑有足夠的權限：

 

# 注意文件的權限

chmod 555 -R /var/www/html/cloudera-repos

2.1.1 下載 parcel 包

https://archive.cloudera.com/cdh6/6.2.0/parcels

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1

manifest.json

將下載的包上傳到 /var/www/html/cloudera-repos/cdh6/6.2.0/parcels

cdh 6.3.0的parcel 包訪問：https://archive.cloudera.com/cdh6/6.3.0/parcels/

2.1.2 下載需要的rpm包

https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/

cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm

enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm

oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

 

上傳到 /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/RPMS/x86_64

CDH 6.3.0：https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/

 

2.1.3 獲取 cloudera-manager 其他資源

2.1.3.1 獲取cloudera-manager.repo

將下面下載的包上傳到 /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum

https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/

cloudera-manager.repo

RPM-GPG-KEY-cloudera

 

2.1.3.2 獲取allkeys.asc

將下面下載的包上傳到 /var/www/html/cloudera-repos/cm6/6.2.0

https://archive.cloudera.com/cm6/6.2.0/

 

mv allkeys.asc /var/www/html/cloudera-repos/cm6/6.2.0

2.1.3.3 初始化repodata

進入到Apache HTTP服務器的：

/var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/目錄下，然后執行

# 如果沒有安裝 createrepo，請 yum 安裝 createrepo

yum -y install createrepo

cd /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/

yum repolist

createrepo .

2.1.4 下載數據庫驅動

mysql-connector-java-5.1.46-bin.jar，記得務必將其名字改為mysql-connector-java.jar

 

#下載連接：

https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

# 解壓

tar zxvf mysql-connector-java-5.1.46.tar.gz

# 重命名mysql-connector-java-5.1.46-bin.jar為mysql-connector-java.jar，並放到/usr/share/java/下（CDH腳本限制，必須這么規范不然無法初始化數據庫）

mv mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

# 同時發送到其它節點

scp /usr/share/java/mysql-connector-java.jar root@cdh2:/usr/share/java/

scp /usr/share/java/mysql-connector-java.jar root@cdh3:/usr/share/java/

2.2 完整版下載（二選一）

不做整理

2.3 設置安裝節點的 cloudera-manager yum信息

2.3.1 下載

wget http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/

# 導入存儲庫簽名GPG密鑰：

sudo rpm --import http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera

2.3.2 修改

修改 cloudera-manager.repo。執行命令：

vim /etc/yum.repos.d/cloudera-manager.repo

修改為如下（注意，原先的https一定要改為http）

[cloudera-manager]

name=Cloudera Manager 6.2.0

baseurl=http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/

gpgkey=http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera

gpgcheck=1

enabled=1

autorefresh=0

type=rpm-md

2.3.3 更新yum

#清除 yum 緩存

sudo yum clean all

#更新yum

sudo yum update（此步操作甚至，會導致內核升級，開機無法進入系統）

可以yum makecache

3.安裝

3.1 安裝 Cloudera Manager

在 Server 端 執行

yum install -y cloudera-manager-daemons

yum install -y fcloudera-manager-agent

yum install -y cloudera-manager-server

在 Agent 端 執行

yum install -y cloudera-manager-agent

yum install -y cloudera-manager-daemons

在安裝完后，程序會自動在server節點上創建一個如下文件或文件夾：

 ls /etc/cloudera-scm-agent/config.ini

 ls /etc/cloudera-scm-server/

 ls /opt/cloudera

為了后面安裝的更快速，將下載的CDH包裹方到這里(僅Server端執行)：

cd /opt/cloudera/parcel-repo/

wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel

wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1

wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/manifest.json

 

# 在manifest.json中找到對應版本的密鑰(大概在755行)，復制到*.sha文件中

# 一般CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1文件的內容和parcel密鑰是一致的，只需重命名即可.

copy CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1 CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

#修改屬主屬組。

chown cloudera-scm.cloudera-scm /opt/cloudera/parcel-repo/*

 

修改agent配置文件，將Cloudera Manager Agent 配置為指向 Cloudera Manager Serve。

這里主要是配置 Agent節點的 config.ini 文件。

vim /etc/cloudera-scm-agent/config.ini

#配置如下項

# Hostname of the CM server. 運行Cloudera Manager Server的主機的名稱

server_host=cdh1.example.com

# Port that the CM server is listening on. 運行Cloudera Manager Server的主機上的端口

server_port=7182

#1位啟用為代理使用 TLS 加密，如果前面沒有設置，一定不要開啟TLS

#use_tls=1

3.2 設置 Cloudera Manager 數據庫

Cloudera Manager Server包含一個可以數據庫prepare的腳本，主要是使用這個腳本完成對數據庫的相關配置進行初始化，這里不對元數據庫中的表進行創建。

3.2.1 創建 Cloudera 軟件對應的數據庫：

# 登陸 Mysql后執行如下命令

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

# 順便把其他的數據庫也創建

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

3.2.2 初始化數據庫

這一步會在/etc/cloudera-scm-server/db.properties更新配置

請確認/usr/share/java是否有mysql-connector-java.jar

 

[root@cdh1 ~]#  sudo /opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost  mysql scm scm scm

 

參數說明：

options 指定操作，如果數據庫不再本地請用-h或--host 指定mysql的host，不指定默認為localhost

databaseType 指定為mysql，也可以是其它類型的數據，例如：oracle等

databaseName 指定為scm數據庫，這里使用 scm庫

databaseUser 指定mysql用戶名，這里使用 scm

password 指定mysql其用戶名的密碼，這里使用scm

這一步如果我們用的是自己配置的JDK可能會報如下的錯誤:

解決辦法，打開執行的腳本/opt/cloudera/cm/schema/scm_prepare_database.sh 在108行local JAVA8_HOME_CANDIDATES=()方法中將自己配置的JAVA_HOME填入：

  local JAVA8_HOME_CANDIDATES=(

     '/usr/java/jdk1.8.0_181-cloudera'

    '/usr/java/jdk1.8'

    '/usr/java/jre1.8'

    '/usr/lib/jvm/j2sdk1.8-oracle'

    '/usr/lib/jvm/j2sdk1.8-oracle/jre'

    '/usr/lib/jvm/java-8-oracle'

  )

3.3 安裝CDH和其他軟件

只需要在 Cloudera Manager Server 端啟動 server即可，Agent 在進入Web頁面后徐步驟中會自動幫我們啟動。

 

3.3.1 啟動Cloudera Manager Server

sudo systemctl start cloudera-scm-server

sudo systemctl status cloudera-scm-server

sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

# 當您看到此日志條目時，Cloudera Manager管理控制台已准備就緒：

# INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

 

問題解決：

修改文件權限問題，修改時區。如果問題不能解決，請更換為Oracle JDK。

時區問題可以在/opt/cloudera/cm/bin/cm-server文件中，大概第40行添加CMF_OPTS="$CMF_OPTS -Duser.timezone=Asia/Shanghai"

 

如果提示如下錯誤，請刪除/var/lib/cloudera-scm-agent/cm_guid的guid。

[15/Jun/2019 13:54:55 +0000] 24821 MainThread agent        ERROR    Error, CM server guid updated, expected 198b7045-53ce-458a-9c0a-052d0aba8a22, received ea04f769-95c8-471f-8860-3943bfc8ea7b

3.3.2 轉到 Web 瀏覽器

在Web瀏覽器數據 http://192.168.104.103:7180

登錄Cloudera Manager Admin Console，默認憑證為

Username: admin

Password: admin

登陸用戶名后，顯示如下頁面，根據提示進行安裝即可：歡迎 -> Accept License -> Select Edition。

這一步選擇安裝的版本，不同版本支持的主要功能已列出，第一列為Cloudera免費的快速體驗版；第二列為Cloudera為企業級試用版（免費試用60天）；第三列是功能和服務最全的Cloudera企業版，是需要認證且收費的。Cloudera Express 和 Cloudera Enterprise 中的可用功能的完整列表。

 

選擇第一列，快速體驗版服務，完全免費，功能和服務對於需求不是很特殊和復雜的試用基本沒什么問題，如果后期功能不夠，或滿足不了需求，想使用Cloudera的企業版也不用擔心，在Cloudera Manager頁面，點擊頁面頭部的管理菜單，在下拉列表中單機許可證，可在頁面上選擇：試用Cloudera Enterprise 60天 、升級至Cloudera Enterprise ，更詳細的升級說明可查看 從Cloudera Express升級到Cloudera Enterprise ➹。

選擇第二列，可以直接免費體驗Cloudera Enterprise全部功能60天，且這個每次只能試用一次，關於許可證到期或試用許可證的說明可訪問 Managing Licenses ➹。

選擇第三列，使用Cloudera企業版，需要獲取許可證，要獲得Cloudera Enterprise許可證，請填寫此表單 或致電866-843-7207。關於許可證的詳細說明可以訪問Managing Licenses。其功能和價格可參考 功能和價格 頁面。

 

4.集群安裝

Cluster Basics：給集群設置一個名字。

* Specify Hosts：輸入集群的主機名，多個換行添加，例如：

cdh1.example.com

cdh2.example.com

cdh3.example.com

以單節點方式安裝，Web頁面到達集群設置選擇安裝組件服務時，另起一個頁面，進入Cloudera Manager，選擇 主機 -> 所有主機 -> Add Hosts ，根據提示依次將其它節點添加到這個集群名字下，中間輸入每個機器的root的密碼完成驗證即可。

 

 

 

使用向導設置群集

 

 

 

審核更改默認即可直接下一步

 

 

 

 

至此完成。后續使用文檔有時間更新。

參考文獻：https://blog.csdn.net/github_39577257/article/details/92471365