如何查找和分析MapReduce的log日志

在Hive客户端执行HQL查询报错，该查询走的是MapReduce，此时需要查看MapReduce的日志信息。

那么MR的日志在哪里呢?

首先启动historyserver，认情况下HistoryServer没有启动

进入到hadoop的bin目录下，执行以下命令，开启之后,jps一下确认有JobHistoryServer

[root@master sbin]# ./mr-jobhistory-daemon.sh start historyserver

然后需要确认 yarn-site.xml的一个配置信息，启用日志聚集功能，默认为false，不打开则查看详细日志会报错

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
</property>

 

登陆Yarn的WebUI监控界面：hostname:8088，在这个界面可以看到所有执行的applicaitons。

 

 点击Histroy的链接，进入该应用的历史信息，点击对应的数字，查看出错的日志信息。

 经过分析发现出错的原因是数组的索引超出范围，导出出错。

 

 

 

另外MapReduce的log日志存放位置是在HDFS上，每个应用都有对应的文件夹。