cdh 上安裝spark on yarn


在cdh 上安裝spark on yarn 還是比較簡單的,不需要獨立安裝什么模塊或者組件。

安裝服務 選擇on yarn 模式:上面 Spark

在spark 服務中添加

在yarn 服務中添加 getWay 

后重新 啟動服務端

用hdfs 用戶進入 spark bin 目錄

cd /opt/cloudera/parcels/CDH/lib/spark/bin

執行

./spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/lib/spark-examples.jar 10

執行后查看狀態:

查看Executors 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM