CDH 5.16.1 離線安裝 Spark 2.3

1.環境

CDH 5.16.1
Centos 7.6
Scala 2.11.8

2.安裝前准備

1.下載 Spark2.3 所需的Parcel包

http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/

將三個文件拷貝到 /opt/cloudera/parcel-repo 目錄下，如果有有相同文件,就將之前的文件重命名

2.下載Spark 的csd 包

http://archive.cloudera.com/spark2/csd/

將 SPARK2_ON_YARN-2.3.0.cloudera4.jar 拷貝到 /opt/cloudera/csd 目錄中

3.重啟CM和集群

4.安裝Spark

依次點擊 “主機” --> “parcel” --> “檢查新parcel” --> “分配” --> “激活”

5.問題

1.啟動Spark2-shell報錯

解決辦法：修改 yarn.scheduler.maximum-allocation-mb 和 yarn.nodemanager.resource.memory-mb的默認值為2G