在cdh 上安裝spark on yarn 還是比較簡單的,不需要獨立安裝什么模塊或者組件。
安裝服務 選擇on yarn 模式:上面 Spark
在spark 服務中添加
在yarn 服務中添加 getWay
后重新 啟動服務端
用hdfs 用戶進入 spark bin 目錄
cd /opt/cloudera/parcels/CDH/lib/spark/bin
執行
./spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/lib/spark-examples.jar 10
執行后查看狀態:
查看Executors
