Linux Hadoop2.7.3 安裝(單機模式) 二

 

Linux Hadoop2.7.3 安裝(單機模式) 一 

Linux Hadoop2.7.3 安裝(單機模式) 二

  

YARN是Hadoop 2.0中的資源管理系統，它的基本設計思想是將MRv1中的JobTracker拆分成了兩個獨立的服務：一個全局的資源管理器ResourceManager和每個應用程序特有的ApplicationMaster。

其中ResourceManager負責整個系統的資源管理和分配，而ApplicationMaster負責單個應用程序的管理。

創建一個words.txt 文件並上傳

vi words.txt

Hello World
Hello Tom
Hello Jack
Hello Hadoop
Bye   hadoop

將words.txt上傳到hdfs的根目錄

/home/xupanpan/hadoop/hadoop/bin/hadoop fs -put /home/xupanpan/hadoop/word.txt /

 

1、配置etc/hadoop/mapred-site.xml：

mv /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml
vim /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml

<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2、配置etc/hadoop/yarn-site.xml:

vim /home/xupanpan/hadoop/hadoop/etc/hadoop/yarn-site.xml

3、YARN的啟動

/home/xupanpan/hadoop/hadoop/sbin/start-yarn.sh

http://192.168.20.225:8088/cluster

3、YARN的停止

sbin/stop-yarn.sh

現在我們的hdfs和yarn都運行成功了，我們開始運行一個WordCount的MP程序來測試我們的單機模式集群是否可以正常工作。

 

運行一個簡單的MP程序

我們的MapperReduce將會跑在YARN上，結果將存在HDFS上：

用hadoop執行一個叫 hadoop-mapreduce-examples.jar 的 wordcount 方法，其中輸入參數為 hdfs上根目錄的words.txt 文件，而輸出路徑為 hdfs跟目錄下的out目錄，運行過程如下：

/home/xupanpan/hadoop/hadoop/bin/hadoop jar  /home/xupanpan/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar  wordcount hdfs://127.0.0.1:9000/word.txt hdfs://127.0.0.1:9000/out

說明我們已經計算出了，單詞出現的次數。

至此，我們Hadoop的單機模式搭建成功。

參考 http://blog.csdn.net/uq_jin/article/details/51451995