鄙人使用的Hadoop版本為2.6.4。Hadoop的默認日志級別為INFO,對於百台以上的集群,如果文件操作頻繁的話,NameNode會狂打日志,對性能會有一定的影響。
我們可以通過http://<namenode:50070>/logLevel在線修改NameNode的日志級別。如下所示:

但是,如果NameNode重啟的話,又得重新設置,好麻煩。
怎么設置默認的日志級別為WARN呢?
Hadoop使用的是log4j記錄日志,我們理所當然會想到去修改${HADOOP_HOME}/etc/hadoop/log4j.properties,但是改完重啟,你會發現然並卵!!!
尼瑪,這是為啥,認真看了下log4j.properties的配置說明,發現一個關鍵點:
# Define some default values that can be overridden by system properties
hadoop.root.logger=WARN,console
意思就是說,這里的配置會被系統屬性覆蓋!
於是乎,查了下可能會設置系統屬性的腳本,發現需要修改以下2個文件,才能把默認的日志級別改掉(我這里只改的HDFS的,Yarn的自行參考即可):
第一處是${HADOOP_HOME}/etc/hadoop/hadoop-env.sh,把INFO改為WARN即可:
# Command specific options appended to HADOOP_OPTS when specified
export HADOOP_NAMENODE_OPTS="-Xmx30720m -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-WARN,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-WARN,NullAppender} $HADOOP_NAMENODE_OPTS"
還有一處藏的比較深,是啟動腳本${HADOOP_HOME}/sbin/hadoop-daemon.sh,也需要這樣改一下:
export HADOOP_ROOT_LOGGER=${HADOOP_ROOT_LOGGER:-"WARN,RFA"}
最后在重啟下NameNode就可以了。
線上配合Zookeeper做了HA,所以可以平滑重啟,直接使用以下命令先重啟standby的NameNode,在將standby切換為active,在重啟另一台NameNode就可以了。
# 先重啟standby
cd ${HADOOP_HOME}/sbin
./hadoop-daemon.sh stop namenode
./hadoop-daemon.sh start namenode
# 切換active節點,這里的nn2將被切換為active節點
hdfs haadmin -failover <nn1> <nn2>
# 最后重啟nn2就完事了,重啟方式同上
