如何修改Hadoop的默認日志級別,還真是麻煩


鄙人使用的Hadoop版本為2.6.4。Hadoop的默認日志級別為INFO,對於百台以上的集群,如果文件操作頻繁的話,NameNode會狂打日志,對性能會有一定的影響。

我們可以通過http://<namenode:50070>/logLevel在線修改NameNode的日志級別。如下所示:

但是,如果NameNode重啟的話,又得重新設置,好麻煩。

怎么設置默認的日志級別為WARN呢?

Hadoop使用的是log4j記錄日志,我們理所當然會想到去修改${HADOOP_HOME}/etc/hadoop/log4j.properties,但是改完重啟,你會發現然並卵!!!

尼瑪,這是為啥,認真看了下log4j.properties的配置說明,發現一個關鍵點:

# Define some default values that can be overridden by system properties
hadoop.root.logger=WARN,console

意思就是說,這里的配置會被系統屬性覆蓋!

於是乎,查了下可能會設置系統屬性的腳本,發現需要修改以下2個文件,才能把默認的日志級別改掉(我這里只改的HDFS的,Yarn的自行參考即可):

第一處是${HADOOP_HOME}/etc/hadoop/hadoop-env.sh,把INFO改為WARN即可:

# Command specific options appended to HADOOP_OPTS when specified
export HADOOP_NAMENODE_OPTS="-Xmx30720m -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-WARN,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-WARN,NullAppender} $HADOOP_NAMENODE_OPTS"

還有一處藏的比較深,是啟動腳本${HADOOP_HOME}/sbin/hadoop-daemon.sh,也需要這樣改一下:

export HADOOP_ROOT_LOGGER=${HADOOP_ROOT_LOGGER:-"WARN,RFA"}

最后在重啟下NameNode就可以了。

線上配合Zookeeper做了HA,所以可以平滑重啟,直接使用以下命令先重啟standby的NameNode,在將standby切換為active,在重啟另一台NameNode就可以了。

# 先重啟standby
cd ${HADOOP_HOME}/sbin
./hadoop-daemon.sh stop namenode
./hadoop-daemon.sh start namenode
# 切換active節點,這里的nn2將被切換為active節點
hdfs haadmin -failover <nn1> <nn2>
# 最后重啟nn2就完事了,重啟方式同上


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM