背景：我自己的電腦配置太低，想在centos操作系統上安裝CDH5.1.2並配置集群，我去阿里雲上買了3台按流量計費的阿里雲服務器。
大家一定要注意，配置，購買的阿里雲服務器不要太低了。建議：3台2核8G內存的阿里雲服務器。測試完畢后，請及時釋放掉這三台服務器，否則阿里雲會繼續計費，很快消耗掉賬戶里面的錢。我花了不到10元，就完成了測試。
當前環境：
操作系統：CentOS7.2
CDH版本：5.16.2
CM版本：5.16.2
Spark2版本：
3台2核8G的阿里雲ECS服務器[測試完，已釋放了這三台linux服務器]：
3台服務器的賬戶及密碼：
賬戶：root
密碼：Root123
==================
aliyun_hadoop001
172.17.238.7
aliyun_hadoop002
172.17.238.8
aliyun_hadoop001
172.17.238.9
阿里雲重新發明了“按量付費“這個詞，不是按照正常人的思維定義的，而是按照他們自己的規則定義的。除非你徹底刪除這個實例包括所有數據，否則計費是不會停止的。所有其他公有雲包括AWS，Azure,GCE等都不是這樣，都是停機就停止計費，再開機繼續運行，所有數據都存在；當然，這個計費針對的是計算能力也就是CPU和內存。網絡流量，公網IP，磁盤等有其他的計費規則；
阿里雲的“按量計費”翻譯成大白話就是：假設你買了包月的ECS，那么哪怕你1小時后后悔了不使用這個ECS了一整個月的錢照收不誤，一分錢也不會退還。而“按量計費”的話，你付出比包月貴幾倍的單價為代價，你可以1小時后后悔的時候將其徹底刪除，計費也就停止了。然而，和包月包年一樣的是，不管你使用還是停機，計費都不會停止的，而“按量計費”你可以提前用徹底終止實例並刪除所有數據的方法終止計費，這就是阿里雲理解的“按量計費”。。
CDH搭建Hadoop集群(Centos7) https://www.cnblogs.com/frankdeng/articles/10136230.html
特別注意，請安裝如下依賴：
#為了安裝mysql服務
yum install libaio
#為了hue服務,需要提前安裝環境 httpd, mod_ssl
yum install mod_ssl
yum install httpd
yum -y install libxml2-python #不確定是否是這個原因，但是安裝上也不會有什么壞處
yum -y install libxml2-devel libxslt-devel
配置ip和hostname的映射
vi /etc/hosts
文件中追加如下內容：
172.17.238.7 hadoop001
172.17.238.8 hadoop002
172.17.238.9 hadoop003
======================
ntp服務：
======================
關閉防火牆：
#查看防火牆狀態
service firewalld status
或者
systemctl status firewalld
#臨時關閉防火牆
service firewalld stop
或者
systemctl stop firewalld
# 永久關閉防火牆
chkconfig firewalld off
======================
關閉SELINUX
vi /etc/selinux/config
#修改SELINUX的值：
#修改前：
SELINUX=endorcing
#修改后：
SELINUX=disabled
======================
免密配置
核心命令：
ssh-keygen
ssh-copy-id
scp
命令scp教程： https://www.runoob.com/linux/linux-comm-scp.html
具體操作：
#在本機生成對密鑰
# -t rsa,表示使用rsa的密鑰使用rsa算法；
# -P '',表示密碼為空；
# -f ~/.ssh/id_rsa,表示生成的密鑰保存在當前用戶的家目錄的.ssh目錄下，文件名為：id_rsa
# 前置：當前目錄可以是任何目錄，下面這句話明確表示密鑰對生成后保存到：~/.ssh/,私鑰文件名：id_
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
#將本機的當前用戶的密鑰，添加到另外一台用戶的authorized_keys
ssh-copy-id tjnode02
#將本機的文件拷貝到node01的相同的目錄下，注意：`pwd`標識當前路徑，不是單引號，是數字1前面的反引號。
#前置條件：cd ~/.ssh
scp authorized_keys tjnode01:`pwd`
#測試免密
#前置：當前在node02,免密登錄到tjnode01,tjnode03
ssh tjnode01
ssh tjnode03
#同時，也測試一下，從tjnode01,免密登錄到tjnode02,tjnode03
#同時，也測試一下，從tjnode03,免密登錄到tjnode01,tjnode02
======================
安裝jdk:
mkdir /usr/java
cd /opt/software
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/java
2.配置環境變量：vi /etc/profile
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
======================
安裝配置MySql
（主節點安裝即可--這里將tjnode01作為主節點）
1．卸載mariadb
rpm -qa|grep mariadb
rpm -e --nodeps mariadb的包名
Linux解壓rar: https://blog.csdn.net/jacson_bai/article/details/85230060
1.下載rar包
wget https://www.rarlab.com/rar/rarlinux-x64-5.6.1.tar.gz
tar xf rarlinux-x64-5.6.1.tar.gz
cp rar/rar rar/unrar /usr/bin
rm -rf rar rarlinux-x64-5.6.1.tar.gz
至此，rar壓縮和解壓包安裝完成
2.解壓命令簡析
將*.rar壓縮文件解壓到當前文件目錄
rar e *.rar
解壓帶密碼的rar壓縮文件
rar e -p *.rar
在彈出的交互式里面輸入密碼即可
————————————————
版權聲明：本文為CSDN博主「Python兔子」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/jacson_bai/article/details/85230060
[root@hadoop001 mysql-5.7.21-1.el7.x86_64.rpm-bundle]# ll
total 580032
-rw-r--r-- 1 root root 25107316 Dec 28 2017 mysql-community-client-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 278844 Dec 28 2017 mysql-community-common-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 3779988 Dec 28 2017 mysql-community-devel-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 46256768 Dec 28 2017 mysql-community-embedded-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 24078148 Dec 28 2017 mysql-community-embedded-compat-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 128571868 Dec 28 2017 mysql-community-embedded-devel-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 2238596 Dec 28 2017 mysql-community-libs-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 2115904 Dec 28 2017 mysql-community-libs-compat-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 55662616 Dec 28 2017 mysql-community-minimal-debuginfo-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 171890056 Dec 28 2017 mysql-community-server-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 15289580 Dec 28 2017 mysql-community-server-minimal-5.7.21-1.el7.x86_64.rpm
-rw-r--r-- 1 root root 118654584 Dec 28 2017 mysql-community-test-5.7.21-1.el7.x86_64.rpm
[root@hadoop001 mysql-5.7.21-1.el7.x86_64.rpm-bundle]# rpm -ivh mysql-community-common-5.7.21-1.el7.x86_64.rpm
warning: mysql-community-common-5.7.21-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing... ################################# [100%]
Updating / installing...
1:mysql-community-common-5.7.21-1.e################################# [100%]
[root@hadoop001 mysql-5.7.21-1.el7.x86_64.rpm-bundle]# rpm -ivh mysql-community-libs-5.7.21-1.el7.x86_64.rpm
warning: mysql-community-libs-5.7.21-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing... ################################# [100%]
Updating / installing...
1:mysql-community-libs-5.7.21-1.el7################################# [100%]
[root@hadoop001 mysql-5.7.21-1.el7.x86_64.rpm-bundle]# rpm -ivh mysql-community-libs-compat-5.7.21-1.el7.x86_64.rpm
warning: mysql-community-libs-compat-5.7.21-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing... ################################# [100%]
Updating / installing...
1:mysql-community-libs-compat-5.7.2################################# [100%]
[root@hadoop001 mysql-5.7.21-1.el7.x86_64.rpm-bundle]# rpm -ivh mysql-community-client-5.7.21-1.el7.x86_64.rpm
warning: mysql-community-client-5.7.21-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing... ################################# [100%]
Updating / installing...
1:mysql-community-client-5.7.21-1.e################################# [100%]
#### 在安裝mysql-community-server-5.7.20-1.el7.x86_64.rpm前需要安裝libaio-0.3.107-10.el6.x86_64.rpm
#### 如果有網絡：yum install libaio
[root@hadoop001 mysql-5.7.21-1.el7.x86_64.rpm-bundle]# rpm -ivh mysql-community-server-5.7.21-1.el7.x86_64.rpm
warning: mysql-community-server-5.7.21-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing... ################################# [100%]
Updating / installing...
1:mysql-community-server-5.7.21-1.e################################# [100%]
vim /etc/my.cnf
重啟mysql服務 systemctl restart mysqld.service
獲取初始密碼
cat /var/log/mysqld.log | grep password
注意：修改密碼的復雜度
/etc/my.cfg,添加如下，降低密碼安全要求：
#0（LOW），1（MEDIUM），2（STRONG）
validate_password_policy=0
validate_password_length=3
validate_password_number_count=0
validate_password_mixed_case_count=0
validate_password_special_char_count=0
將初始密碼復制下來，輸入如下命令登陸mysql ：
mysql -uroot -p
將復制的密碼粘貼到命令行中，進入了mysql，使用如下命令修改密碼：
set password=password('root1234');
flush privileges;
添加遠程訪問權限：
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root1234' WITH GRANT OPTION;
flush privileges;
重啟mysql服務即可使用。
安裝完后：需要創建以下5個mysql數據庫：hive 和oozie作為hadoop的核心功能
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE activity DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE reports DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
SHOW VARIABLES LIKE 'validate_password%';
SET GLOBAL validate_password_policy=LOW;
GRANT ALL ON hive.* TO 'root'@'%' IDENTIFIED BY 'root1234';
GRANT ALL ON oozie.* TO 'root'@'%' IDENTIFIED BY 'root1234';
GRANT ALL ON activity.* TO 'root'@'%' IDENTIFIED BY 'root1234';
GRANT ALL ON hue.* TO 'root'@'%' IDENTIFIED BY 'root1234';
GRANT ALL ON reports.* TO 'root'@'%' IDENTIFIED BY 'root1234';
FLUSH PRIVILEGES;
=================
安裝cloudera-manager：
* 1、安裝Cloudera Manager Server、Agent
- mkdir /opt/cloudera-manager
- tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
注意：所有節點都要創建目錄：/opt/cloudera-manager
* 2、配置CM Agent
--- 修改文件 vi /opt/cloudera-manager/cm-5.16.2/etc/cloudera-scm-agent/config.ini中server_host
* 3、創建用戶 cloudera-scm
*
- useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
說明：新創建的用戶cloudera-scm,不能遠程登錄，沒有家目錄
下面第5步驟中，需要用到該用戶。將資源和用戶捆綁到這里。
做到： 用戶、權限、資源，三位一體
* 4、創建Parcel目錄
- Server節點（僅僅主服務器）
-- mkdir -p /opt/cloudera/parcel-repo
-- chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
- Agent節點（所有的服務器）
-- mkdir -p /opt/cloudera/parcels
-- chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
* 5、配置CM Server數據庫
--- 拷貝mysql jar文件到目錄 /usr/share/java/，該目錄如果不存在，則先創建該目錄
--- 注意jar包名稱要修改為mysql-connector-java.jar
--- grant all on *.* 'temp'@'%' identified by 'temp' with grant option; 這句話：創建一個msyql的賬戶temp，當然你可以起一個知名見意的好名字，例如：cmadmin
降低mysql 5.7的密碼強度設置：/etc/my.cfg,添加如下，降低密碼安全要求，見如下
/etc/my.cfg,添加如下，降低密碼安全要求：
#0（LOW），1（MEDIUM），2（STRONG）
validate_password_policy=0
validate_password_length=3
validate_password_number_count=0
validate_password_mixed_case_count=0
validate_password_special_char_count=0
--- ./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm
--- 格式：數據庫類型、數據庫、數據庫服務器、用戶名、密碼、cm server服務器
### 只在服務器，執行
cd /opt/cloudera-manager/cm-5.16.2/share/cmf/schema
線上：[root@tjnode01 schema]# ./scm_prepare_database.sh mysql cm -hhadoop001 -uroot -proot1234 --scm-host thadoop001 scm scm scm
查找文件scm_prepare_database.sh的路徑：
[root@hadoop001 cm-5.16.2]# pwd
/opt/cloudera-manager/cm-5.16.2
[root@hadoop001 cm-5.16.2]# find . -name scm_prepare_database.sh
./share/cmf/schema/scm_prepare_database.sh
說明：
scm_prepare_database.sh文件路徑：/opt/cloudera-manager/cm-5.16.2/share/cmf/schema/scm_prepare_database.sh
報錯：java.sql.SQLException: Access denied for user 'scm'@'hadoop001' (using password: YES)
解決辦法：
GRANT ALL ON cm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
刪除數據庫：drop database cm;
完美解決問題。
====================================================
啟動server：
cd /opt/cloudera-manager/cm-5.16.2/etc/init.d/
./cloudera-scm-server start
啟動agent：
cd /opt/cloudera-manager/cm-5.16.2/etc/init.d/
./cloudera-scm-agent start
界面安裝CDH：
http://39.107.100.95:7180/
已啟用透明大頁面壓縮，可能會導致重大性能問題。請運行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”
和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此設置，然后將同一命令添加到 /etc/rc.local 等初始化腳本中，以便在系統重啟時予以設置。以下主機將受到影響:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vi /etc/rc.local
添加：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
然后在分配角色的時候注意：
zookeeper，請保證奇數台服務器上安裝。
Hbase Trift server請安裝到和hue server在同一台服務器上。
數據庫：
hive
oozie
activity
hue
reports
數據庫賬戶：root
數據庫密碼：root1234
到這里基本都差不多了，繼續下去可能會出現一些問題，可以繼續向下看，如果遇到和我一樣的問題，如下是我的解決辦法，僅供參考學習！！！
下面是安裝的錯誤、排查錯誤的思路及解決辦法，僅供參考：
Hue: 報錯誤：Unexpected error. Unable to verify database connection.
先查看日志：
[root@hadoop001 init.d]# cat /opt/cloudera-manager/cm-5.16.2/log/cloudera-scm-server/cloudera-scm-server.log
發現日志中報：
ImportError: libxslt.so.1: cannot open shared object file: No such file or directory
原因：OS缺少相關包
解決辦法： 安裝hue需要的依賴包即可
執行這個一般就可以了：yum -y install libxml2-devel libxslt-devel
如果不行，請執行下面這些：
yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel -y
————————————————
版權聲明：本文為CSDN博主「jimmyxyalj」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/xjping0794/article/details/77526760
參見文章：
CDH中安裝Hue連接不上數據庫 Unexpected error. Unable to verify database connection 完美解決方案
https://blog.csdn.net/xiaobao5214/article/details/83748265
====================================================
CDH安裝后，再次安裝：spark2
#創建csd目錄：
[root@hadoop001 SPARK2-2.1.0.cloudera2-1.cdh5.7.0]# mkdir /opt/cloudera/csd
#下載SPARK2_ON_YARN-2.1.0.cloudera2.jar到路徑/opt/cloudera/csd/下
[root@hadoop001 SPARK2-2.1.0.cloudera2-1.cdh5.7.0]# cd /opt/cloudera/csd/
[root@hadoop001 SPARK2-2.1.0.cloudera2-1.cdh5.7.0]# wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar
#修改所有者
[root@hadoop001 csd]# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera2.jar
[root@hadoop001 csd]# chmod 644 SPARK2_ON_YARN-2.1.0.cloudera2.jar
#先備份一下 /opt/cloudera/parcel-repo/
注意: 如果有其他的安裝包，不用刪除 ，但是如果本目錄下有其他的重名文件比如manifest.json文件，把它重命名備份一下。然后把那spark2的那3個parcel包的文件放在這里。
# 拷貝spark2的包到 /opt/cloudera/parcel-repo/
[root@hadoop001 SPARK2-2.1.0.cloudera2-1.cdh5.7.0]# cp ./* /opt/cloudera/parcel-repo/
[root@hadoop001 SPARK2-2.1.0.cloudera2-1.cdh5.7.0]# ll /opt/cloudera/parcel-repo/
total 2252428
-rw-r--r-- 1 root root 2132782197 Nov 6 17:52 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel
-rw-r----- 1 root root 1368064 Nov 6 17:55 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.part
-rw-r--r-- 1 root root 41 Nov 6 17:52 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha
-rw-r----- 1 root root 81526 Nov 6 17:56 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.torrent
-rw-r--r-- 1 root root 66804 Nov 6 17:52 manifest-cdh.json
-rw-r--r-- 1 root root 4650 Nov 6 19:09 manifest.json
-rw-r--r-- 1 root root 172161150 Nov 6 19:09 SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-el7.parcel
-rw-r--r-- 1 root root 41 Nov 6 19:09 SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-el7.parcel.sha
[root@hadoop001 SPARK2-2.1.0.cloudera2-1.cdh5.7.0]# cd /opt/sofrware/SPARK2-2.1.0.cloudera2-1.cdh5.7.0
[root@hadoop001 SPARK2-2.1.0.cloudera2-1.cdh5.7.0]# ll
total 168140
-rw-r--r-- 1 root root 4650 Nov 6 17:01 manifest.json
-rw-r--r-- 1 root root 172161150 Nov 6 17:01 SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-el7.parcel
-rw-r--r-- 1 root root 41 Nov 6 17:01 SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-el7.parcel.sha
參考文章鏈接：
https://www.jianshu.com/p/6acd6419f697?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation
然后：
停掉CM和集群，現在將他們停掉。然后運行命令
service cloudera-scm-agent restart
service cloudera-scm-server restart
把CM和集群啟動起來。然后點擊主機->Parcel頁面，看是否多了個spark2的選項。如下圖，你這里此時應該是分配按鈕，點擊，等待操作完成后，點擊激活按鈕
激活后，點擊你的群集-》添加服務，添加spark2服務。注意，如果你這里看不到spark2服務，就請檢查你的CSD包和parcel包是否對應，上面的步驟是否有漏掉。正常情況下，應該是能用了。
*****CDH5.16.2 不需要這些配置，spark2添加到集群后，就能正確顯示spark2的狀態 開始*****
4、文件配置
1、前提交代
- CDH安裝目錄 /opt/cloudera/parcels/CDH/
- SPARK2安裝目錄 /opt/cloudera/parcels/SPARK2
- 啟動spark2用戶名為hadoop
- 所有配置文件目錄為 /etc/
2、將CDH中spark配置文件拷貝到SPARK2的配置文件中,並配置spark-env.sh文件
#拷貝文件
cp /opt/cloudera/parcels/CDH/etc/spark/conf.dist/* /opt/cloudera/parcels/SPARK2/etc/spark2/conf.dist/
#配置spark-env.sh文件
vim /opt/cloudera/parcels/SPARK2/etc/spark2/conf.dist/spark-env.sh
#添加如下內容
export SPARK_DIST_CLASSPATH=$(hadoop classpath) //指定hadoop class文件目錄
export HADOOP_CONF_DIR=/etc/hadoop/conf //指定hadoop配置文件目錄
3、配置啟動賬戶hadoop .bashrc文件
#打開文件
vim /home/hadoop/.bashrc
#添加如下內容
export HADOOP_CONF_DIR=/etc/hadoop_conf
export SPARK_HOME=/opt/cloudera/parcels/SPARK2/lib/spark2
export PATH=$SPARK_HOME/bin:$PATH
作者：bigdata_er
鏈接：https://www.jianshu.com/p/6acd6419f697
來源：簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。
*****CDH5.16.2 不需要這些配置 結束*****
到命令行下，運行：spark2-shell命令，報錯誤：
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
19/11/06 19:46:35 ERROR spark.SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb'
and/or 'yarn.nodemanager.resource.memory-mb'.
解決辦法：
YARN--->ResourceManager--->資源管理：
修改：最大容器內存
yarn.scheduler.maximum-allocation-mb ：2G
YARN--->NodeManager--->資源管理：
修改：容器內存
yarn.nodemanager.resource.memory-mb ：2G
參見下面這篇文章，有圖片
CDH5(5.15.0)中修改spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb配置：
https://blog.csdn.net/u013429010/article/details/81809522
#請切換到hdfs賬戶下，執行spark2-shell
[root@hadoop001 init.d]# su hdfs
[hdfs@hadoop001 init.d]$ spark2-shell
==================================
對安裝CDH5.16.2有參考意義的博客文章，推薦參考：
CDH5.16.1集群企業真正離線部署