相關文章鏈接
CentOS7安裝CDH 第二章:CentOS7各個軟件安裝和啟動
CentOS7安裝CDH 第四章:CDH的版本選擇和安裝方式
CentOS7安裝CDH 第五章:CDH的安裝和部署-CDH5.7.0
CentOS7安裝CDH 第六章:CDH的管理-CDH5.12
CentOS7安裝CDH 第七章:CDH集群Hadoop的HA配置
CentOS7安裝CDH 第八章:CDH中對服務和機器的添加與刪除操作
1. CDH官網Spark2的安裝教程網址
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
2. 下載對應的Spark2版本
1.查看CDH和Spark的對應版本列表(點擊上述圖片2中的地址即可跳轉),在這里選擇安裝Spark的2.2和cloudera1版本,請注意,當前面選擇cloudera1.jar時,后面對應的Parcel包也要選擇cloudera1,不然會出錯,特別是在版本升級方面,要格外注意,不要后面的Parcel包升級了,前面的cloudera.jar包就沒升,會出問題:
查看網址:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_packaging.html#packaging
2.下載Spark2對應的Parcel包(以Spark2.2和cloudera1舉例):
下載網址:http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/
3. 安裝Spark2服務到CDH中
1、Spark2服務對其他服務有版本依賴要求:
查看網址:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html#cm_versions
2、給集群上所有節點的機器安裝Scala2.11版本:
a) 執行如下命令,在所有機器上創建目錄:
mkdir -p /opt/software
b) 將scala-2.11.8.tgz包上傳到所有機器上:
c) 執行如下命令,解壓所有機器上的scala包:
tar -zxvf scala-2.11.8.tgz
d) 執行如下命令,配置好Scala的環境變量,當能查看到版本時即可:
echo "export SCALA_HOME=/opt/software/scala-2.11.8" >> /etc/profile
echo "export PATH=$SCALA_HOME/bin:$PATH" >> /etc/profile
source /etc/profile
3、將下載好的jar包和Parcel包上傳到一台機器上,並配置好https:
4、使用下載好的jar包,給CDH上添加服務中加入一個添加Spark2的按鈕:
a) 將下載好的jar包復制到CDH默認的csd目錄下,並賦予好權限:
b) 重啟CDH的server服務:service cloudera-scm-server restart
c) 進入到CDH的web界面,刷新界面,重新更新配置文件,重啟CMS:
d) 此時點擊cluster的添加服務,能看到Spark2的服務了:
5、配置Parcel,將Spark2的離線地址添加到Parcel的URL中:
a) 因為重啟CDH的server服務,所以有很多默認的URL,將這些刪除:
b) 將Spark2的離線地址添加進入:
6、對Spark2進行下載,分配,解壓,激活:
7、安裝Spark2服務:
a) 點擊cluster的添加服務,添加spark2服務:
b) 因為安裝了其他服務,Spark是一個內存計算服務,所以可以依賴其他服務,可以選擇多服務的那一組,如下圖:
c) 給Spark中的服務選擇主機(history選一台,Gateway所有主機都要選):
d) 對Spark2服務進行審核更改,清空配置即可:
e) 對Spark2進行安裝:
f) 完成安裝: