Hadoop網頁監控配置

接之前的內容http://www.cnblogs.com/jourluohua/p/8734406.html

在之前那的內容中，僅實現了Hadoop的安裝和運行，距離實際使用還有很遠。現在先完成一個小目標，實現Hadoop運行情況的網頁監控配置，省的每次都要查log文件。

1. 配置JVM

如果之前沒有配置JVM的，請一定要配置好JVM路徑，這里修改的是HadoopDir/etc/hadoop/hadoop-env.sh文件(從之前文件來的，可以跳過第一點)

將export JAVA_HOME=

修改成export JAVA_HOME=/home/jourluohua/tools/jdk1.7.0_75 

這里使用絕對路徑，類似我的配置，使用你自己的路徑

2. 配置core-site.xml文件

這里僅介紹最簡單配置，僅保證可以正常運行，非實際生產所用配置

<configuration>
<property>
　　<!--指定namenode的地址-->
    <name>fs.defaultFS</name>
    <value>hdfs://127.0.0.1:9000</value>
    </property>
</configuration>

3. 配置hdfs-site.xml文件

<configuration>
                <property>
                    <name>dfs.nameservices</name>
                    <value>hadoop-cluster</value>
                </property>
                <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:///data/hadoop/hdfs/nn</value>
                </property>
               <!--檢查點配置非必須，懶得刪除-->
                <property>
                    <name>dfs.namenode.checkpoint.dir</name>
                    <value>file:///data/hadoop/hdfs/snn</value>
                </property>
                 <!--檢查點配置非必須，懶得刪除-->
                <property>
                   <name>dfs.namenode.checkpoint.edits.dir</name>
                    <value>file:///data/hadoop/hdfs/snn</value>
                </property>
                <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>file:///data/hadoop/hdfs/dn</value>
                </property>
</configuration>

4. 配置yarn-site.xml文件

<configuration>

<!-- Site specific YARN configuration properties -->
 <!-- 指定ResourceManager的地址-->
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>127.0.0.1</value>
                </property>
                <!-- 指定reducer獲取數據的方式-->
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
                <property>
                    <name>yarn.nodemanager.local-dirs</name>
                    <value>file:///data/hadoop/yarn/nm</value>
                </property>
</configuration>

5. 配置mapred-site.xml

這一步默認是沒有的，需要從mapred-site.xml.example復制一個

<configuration>
        <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
        </property>
</configuration>

6. 啟動dfs和yarn

這一步如果成功的話，大半功能就實現了

首先格式化namenode  ，使用./bin/hadoop namenode -format 命令進行

如果你按照我的配置進行配置，也正確對應了你自己的目錄的話，很可能是/data目錄沒有訪問全向造成的，可以先加一個訪問權限

使用 sudo chmod 777 /data 

然后重新格式化namenode

之后使用./sbin/start-all.sh腳本啟動所有的dfs和yarn

7. 查看

使用 jps命令查看是否namenode yarn datanode都正常啟動

正常的話，會存在這幾個字段的值。如果提示沒有jps命令的話，請自行配置Hadoop的相關路徑到PATH ，並使其生效

都正常的話，打開http://127.0.0.1:50070/ 和http://127.0.0.1:8088/就可以看到運行狀況的網頁了