背景:
機器系統:redhat7.3;已經配置了http服務
集群在安裝的時候沒有啟動spark服務,因為cdh5.15自帶的spark不是2.0,所以直接進行spark2.3的安裝
參考文檔:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
一、下載:(注意版本對應)
1.准備csd文件
路徑http://archive.cloudera.com/spark2/csd/
2.准備parcels文件
路徑http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/
二、准備:
3.將csd文件放在 分發目錄中(默認/opt/cloudera/csd目錄),修改權限
sudo chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar
sudo chmod 644 SPARK2_ON_YARN-2.1.0.cloudera1.jar
注:要保證集群的本地描述符存儲庫路徑是/opt/cloudera/csd
查看方式:CM主界面管理–>設置–>類別(本地描述符存儲庫路徑)
4.將parcel文件放置在/var/www/html/spark2/parcels/目錄下,且保證http能夠訪問(因為我這里的/var/www/html目錄存儲不夠了,所以我做了軟連接)
5.重啟cm server
service cloudera-scm-server restart
三、安裝parcels
1、主機–>parcels–>配置–>填寫url–>檢查新的parcel
2、下載–>分配—>激活
四、添加服務
1、點擊集群按鈕旁的添加服務
2、選擇spark2 –>繼續
3、選擇依賴
4、角色分配(Gateway所有主機都要安裝)
5、啟動
五、安裝jdk1.8和scalar