018 spark on yarn (Job history)的配置,主要是yarn處跳轉到歷史聚合頁面


一:目標

1.目標

  在yarn的8080頁面可以跳轉到spark的日志18080頁面。

  因為在運行spark之后,看對應的job的日志,這樣直接連接,更合理直接。

 

2.總結

  在后面可以看到,其實不需要啟動mr-history的。

  因為這個是手機mapreduce的日志的,同時,只要8088的頁面,在這個頁面點history朝着18080跳轉即可。

 

二:操作步驟

1.先開啟服務

  yarn,hdfs,spark

  

 

2.運行程序

  

 

3.在yarn上無法觀察history

  

 

4.因為沒有開啟服務 

  1. MR的job History服務啟動(不需要啟動)
    mr-jobhistory-daemon.sh start historyserver
    http://hadoop-senior01:19888/jobhistory
  2. Spark的Job History服務啟動
    sbin/start-history-server.sh

 

5.結果

  可以看18080端口。

  

  但是,在yarn上的history仍然不可以跳轉到spark的日志頁面。

 

二:解決方法

1.關閉所有的服務

  因為需要修改spark與hadoop的配置文件

  

 

2.修改yarn-site.xml

  其中,enable已經在MR的yarn中被配置過。

  只要配置一下url。

  

 

3.修改spark-defaults.conf

  eventLog.dir的作用的聚合作用。

  在spark-default-site.xml中的配置是展示的作用,展示的文件夾與端口號。

  

 

4.重啟服務

  啟動yarn,然后spark的history。

  

 

5.繼續運行剛才的程序

  

 

6.開始觀看所有的效果(首先是18080端口)

  

 

7.繼續(yarn的8088端口的history點擊)

  yarn的8088端口

  

  單擊后跳到這個界面(18080端口)

  

 

 

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM