018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面


一:目标

1.目标

  在yarn的8080页面可以跳转到spark的日志18080页面。

  因为在运行spark之后,看对应的job的日志,这样直接连接,更合理直接。

 

2.总结

  在后面可以看到,其实不需要启动mr-history的。

  因为这个是手机mapreduce的日志的,同时,只要8088的页面,在这个页面点history朝着18080跳转即可。

 

二:操作步骤

1.先开启服务

  yarn,hdfs,spark

  

 

2.运行程序

  

 

3.在yarn上无法观察history

  

 

4.因为没有开启服务 

  1. MR的job History服务启动(不需要启动)
    mr-jobhistory-daemon.sh start historyserver
    http://hadoop-senior01:19888/jobhistory
  2. Spark的Job History服务启动
    sbin/start-history-server.sh

 

5.结果

  可以看18080端口。

  

  但是,在yarn上的history仍然不可以跳转到spark的日志页面。

 

二:解决方法

1.关闭所有的服务

  因为需要修改spark与hadoop的配置文件

  

 

2.修改yarn-site.xml

  其中,enable已经在MR的yarn中被配置过。

  只要配置一下url。

  

 

3.修改spark-defaults.conf

  eventLog.dir的作用的聚合作用。

  在spark-default-site.xml中的配置是展示的作用,展示的文件夹与端口号。

  

 

4.重启服务

  启动yarn,然后spark的history。

  

 

5.继续运行刚才的程序

  

 

6.开始观看所有的效果(首先是18080端口)

  

 

7.继续(yarn的8088端口的history点击)

  yarn的8088端口

  

  单击后跳到这个界面(18080端口)

  

 

 

  

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM