HDFS日志的查看總結

HDFS日志查看的兩種方式：HDFS安裝目錄中的logs中和HDFS WEB UI上

HDFS安裝目錄中的logs中看日志

 

我們分別在master、slave1以及slave2上安裝了HDFS，只是每台機器上安裝的角色不一樣而已。

在master安裝的是NameNode和SecondaryNameNode，對應的日志為：

## 這個是NameNode對應的日志
/home/hadoop-twq/bigdata/hadoop-2.7.5/logs/hadoop-hadoop-twq-namenode-master.log
## 這個是SecondaryNameNode對應的日志
/home/hadoop-twq/bigdata/hadoop-2.7.5/logs/hadoop-hadoop-twq-secondarynamenode-master.log

　　在slave1和slave2上安裝的都是DataNode的角色，DataNode對應的日志文件為：

## slave1上的DataNode的日志文件
/home/hadoop-twq/bigdata/hadoop-2.7.5/logs/hadoop-hadoop-twq-datanode-slave1.log
## slave2上的DataNode的日志文件
/home/hadoop-twq/bigdata/hadoop-2.7.5/logs/hadoop-hadoop-twq-datanode-slave2.log

　　NameNode和DataNode對應的日志的路徑默認是在$HADOOP_HOME/logs下，即在Hadoop安裝目錄下的logs目錄下，這個日志存放的地方可以通過$HADOOP_HOME/etc/hadoop/hadoop-env.sh中的配置HADOOP_LOG_DIR來修改，如下圖：

 

 可以通過下面的配置來修改日志的存放目錄：

## 將日志都放在/home/hadoop-twq/hadoop/cus/logs這個文件目錄下
export HADOOP_LOG_DIR=/home/hadoop-twq/hadoop/cus/logs

　　HDFS WEB UI上查看日志

這種方式只能查看HDFS的NameNode和SecondaryNameNode的日志

我們可以通過http://master:50070來訪問HDFS集群。然后點擊如下圖

 

 

 

然后我們進入到下圖

 

 

• 第1處是HDFS的NameNode的日志
• 第2處是HDFS的SecondaryNameNode的日志
• 第3處是Yarn的ResourceManager的日志，這個你如果現在看不懂沒關系的

當我們點擊第1處的時候，可以看到下圖：

 

 

這個就是NameNode的日志