CentOS7安裝CDH 第十章:CDH中安裝Spark2


相關文章鏈接

CentOS7安裝CDH 第一章:CentOS7系統安裝

CentOS7安裝CDH 第二章:CentOS7各個軟件安裝和啟動

CentOS7安裝CDH 第三章:CDH中的問題和解決方法

CentOS7安裝CDH 第四章:CDH的版本選擇和安裝方式

CentOS7安裝CDH 第五章:CDH的安裝和部署-CDH5.7.0

CentOS7安裝CDH 第六章:CDH的管理-CDH5.12

CentOS7安裝CDH 第七章:CDH集群Hadoop的HA配置

CentOS7安裝CDH 第八章:CDH中對服務和機器的添加與刪除操作

CentOS7安裝CDH 第九章:CDH中安裝Kafka

CentOS7安裝CDH 第十章:CDH中安裝Spark2

CentOS7安裝CDH 第十一章:離線升級CDH版本

CentOS7安裝CDH 第十二章:YARN的資源調優

CentOS7安裝CDH 第十三章:CDH資源池配置

CentOS7安裝CDH 第十四章:CDH的優化

1. CDH官網Spark2的安裝教程網址

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

2. 下載對應的Spark2版本

1.查看CDH和Spark的對應版本列表(點擊上述圖片2中的地址即可跳轉),在這里選擇安裝Spark的2.2和cloudera1版本,請注意,當前面選擇cloudera1.jar時,后面對應的Parcel包也要選擇cloudera1,不然會出錯,特別是在版本升級方面,要格外注意,不要后面的Parcel包升級了,前面的cloudera.jar包就沒升,會出問題:

查看網址:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_packaging.html#packaging

2.下載Spark2對應的Parcel包(以Spark2.2和cloudera1舉例):

下載網址:http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/

3. 安裝Spark2服務到CDH中

1、Spark2服務對其他服務有版本依賴要求:

查看網址:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html#cm_versions

2、給集群上所有節點的機器安裝Scala2.11版本:

a) 執行如下命令,在所有機器上創建目錄:

  mkdir -p /opt/software

b) 將scala-2.11.8.tgz包上傳到所有機器上:

  

c) 執行如下命令,解壓所有機器上的scala包:

  tar -zxvf scala-2.11.8.tgz

d) 執行如下命令,配置好Scala的環境變量,當能查看到版本時即可:

  echo "export SCALA_HOME=/opt/software/scala-2.11.8" >> /etc/profile

  echo "export PATH=$SCALA_HOME/bin:$PATH" >> /etc/profile

  source /etc/profile

  

3、將下載好的jar包和Parcel包上傳到一台機器上,並配置好https:

4、使用下載好的jar包,給CDH上添加服務中加入一個添加Spark2的按鈕:

a) 將下載好的jar包復制到CDH默認的csd目錄下,並賦予好權限:

  

  

b) 重啟CDH的server服務:service cloudera-scm-server restart

c) 進入到CDH的web界面,刷新界面,重新更新配置文件,重啟CMS:

  

d) 此時點擊cluster的添加服務,能看到Spark2的服務了:

  

5、配置Parcel,將Spark2的離線地址添加到Parcel的URL中:

a) 因為重啟CDH的server服務,所以有很多默認的URL,將這些刪除:

  

b) 將Spark2的離線地址添加進入:

  

6、對Spark2進行下載,分配,解壓,激活:

  

7、安裝Spark2服務:

a) 點擊cluster的添加服務,添加spark2服務:

  

b) 因為安裝了其他服務,Spark是一個內存計算服務,所以可以依賴其他服務,可以選擇多服務的那一組,如下圖:

  

c) 給Spark中的服務選擇主機(history選一台,Gateway所有主機都要選):

  

d) 對Spark2服務進行審核更改,清空配置即可:

  

e) 對Spark2進行安裝:

  

f) 完成安裝:

  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM