cdh5.15集群添加spark2.3服務(parcels安裝)


背景:

機器系統:redhat7.3;已經配置了http服務

集群在安裝的時候沒有啟動spark服務,因為cdh5.15自帶的spark不是2.0,所以直接進行spark2.3的安裝

參考文檔:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

一、下載:(注意版本對應)

1.准備csd文件

路徑http://archive.cloudera.com/spark2/csd/

 

2.准備parcels文件

路徑http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/

二、准備:

3.將csd文件放在 分發目錄中(默認/opt/cloudera/csd目錄),修改權限

sudo chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar

sudo chmod 644 SPARK2_ON_YARN-2.1.0.cloudera1.jar

注:要保證集群的本地描述符存儲庫路徑是/opt/cloudera/csd 
查看方式:CM主界面管理–>設置–>類別(本地描述符存儲庫路徑)

4.將parcel文件放置在/var/www/html/spark2/parcels/目錄下,且保證http能夠訪問(因為我這里的/var/www/html目錄存儲不夠了,所以我做了軟連接)

5.重啟cm server

service cloudera-scm-server restart

三、安裝parcels 
1、主機–>parcels–>配置–>填寫url–>檢查新的parcel 
2、下載–>分配—>激活

四、添加服務 
1、點擊集群按鈕旁的添加服務 
2、選擇spark2 –>繼續 
3、選擇依賴 
4、角色分配(Gateway所有主機都要安裝) 
5、啟動

五、安裝jdk1.8和scalar


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM