一:目標
1.目標
在yarn的8080頁面可以跳轉到spark的日志18080頁面。
因為在運行spark之后,看對應的job的日志,這樣直接連接,更合理直接。
2.總結
在后面可以看到,其實不需要啟動mr-history的。
因為這個是手機mapreduce的日志的,同時,只要8088的頁面,在這個頁面點history朝着18080跳轉即可。
二:操作步驟
1.先開啟服務
yarn,hdfs,spark
2.運行程序
3.在yarn上無法觀察history
4.因為沒有開啟服務
1. MR的job History服務啟動(不需要啟動)
mr-jobhistory-daemon.sh start historyserver
http://hadoop-senior01:19888/jobhistory
2. Spark的Job History服務啟動
sbin/start-history-server.sh
5.結果
可以看18080端口。
但是,在yarn上的history仍然不可以跳轉到spark的日志頁面。
二:解決方法
1.關閉所有的服務
因為需要修改spark與hadoop的配置文件
2.修改yarn-site.xml
其中,enable已經在MR的yarn中被配置過。
只要配置一下url。
3.修改spark-defaults.conf
eventLog.dir的作用的聚合作用。
在spark-default-site.xml中的配置是展示的作用,展示的文件夾與端口號。
4.重啟服務
啟動yarn,然后spark的history。
5.繼續運行剛才的程序
6.開始觀看所有的效果(首先是18080端口)
7.繼續(yarn的8088端口的history點擊)
yarn的8088端口
單擊后跳到這個界面(18080端口)