spark on yarn 基於cdh5.7.2

概述：在cdh上搭建spark on yarn  

　　-- 要點：安裝好兩個服務后，在yarn 實例中添加對應的gateway即可     

　　ps：改完后  記得重啟集群

 

 

一、首先添加圖中紅箭頭所指服務   --即spark  與 yarn

二、給yarn添加gateway  圖中紅箭頭所指默認是沒有的，也就是我們將要添加的

2.1  點擊本頁紅箭頭所指按鈕

 

2.2  選中對應的host  

2.3  點擊繼續完成

三、重啟集群   點擊restart即可

 

  測試使用：在任意一個節點執行

   spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/spark/lib/spark-examples.jar 10             

　--ps ： /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/spark/lib/spark-examples.jar  該路徑為你自己安裝的cdh相關路徑   

   在spark  UI 端查看如下，即證明成功