012 Spark在IDEA中打jar包,並在集群上運行(包括local模式,standalone模式,yarn模式的集群運行)


一:打包成jar

1.修改代碼

  

 

 

2.使用maven打包

  但是目錄中有中文,會出現打包錯誤

  

 

3.第二種方式

  

 

4.下一步

  

 

5.下一步

  

 

6.下一步

  

 

7.下一步

  

 

8.下一步

  

 

9.完成

  

 

 二:在集群上運行(local模式)

1.上傳

  

 

2.學習spark-submit的使用方式

  

 

3.運行(local模式)

  

 

4.運行結果

  

 

三:集群上運行(standalone模式)

1.DeoloyMode

  表示Driver執行的位置。

  client如果是參數,則表示driver執行在執行spark-submit命令的機器上。

  cluster是參數,則表示driver會運行在集群中選擇的某一台機器上。

 

2.運行(standalone模式的client)

  

 

3.結果(8080端口)

  

 

4.運行(standalone模式的cluster)

  

 

5.結果

  

 

四:介紹模式

1.client

  

 

2.cluster

  工作中一般都是這個,想一下還是很符合實際的。

  

 

五:YARN模式

1.使用方式

  將上面的--master修改成yarn就可以運行了。

 

  

 

 

  

 

 

 

 

 

  

 

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM