012 Spark在IDEA中打jar包,并在集群上运行(包括local模式,standalone模式,yarn模式的集群运行)


一:打包成jar

1.修改代码

  

 

 

2.使用maven打包

  但是目录中有中文,会出现打包错误

  

 

3.第二种方式

  

 

4.下一步

  

 

5.下一步

  

 

6.下一步

  

 

7.下一步

  

 

8.下一步

  

 

9.完成

  

 

 二:在集群上运行(local模式)

1.上传

  

 

2.学习spark-submit的使用方式

  

 

3.运行(local模式)

  

 

4.运行结果

  

 

三:集群上运行(standalone模式)

1.DeoloyMode

  表示Driver执行的位置。

  client如果是参数,则表示driver执行在执行spark-submit命令的机器上。

  cluster是参数,则表示driver会运行在集群中选择的某一台机器上。

 

2.运行(standalone模式的client)

  

 

3.结果(8080端口)

  

 

4.运行(standalone模式的cluster)

  

 

5.结果

  

 

四:介绍模式

1.client

  

 

2.cluster

  工作中一般都是这个,想一下还是很符合实际的。

  

 

五:YARN模式

1.使用方式

  将上面的--master修改成yarn就可以运行了。

 

  

 

 

  

 

 

 

 

 

  

 

  

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM