國內最全最詳細的hadoop2.2.0集群的MapReduce的最簡單配置


 

簡介

 

hadoop2的中的MapReduce不再是hadoop1中的結構已經沒有了JobTracker,而是分解成ResourceManager和ApplicationMaster。這次大變革被稱為MRv2或者YARN,是一次革命性的變化。

 

配置

 

前面的文章中,我們配置了hadoop2集群的HA高可靠,下面緊接上前面的配置,設置MapReduce的配置信息,也是最簡單最容易上手的。

 

修改文件yarn-site.xml,內容如下

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop100</value>
  </property>   

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

其中,名稱yarn.resourcemanager.hostname指的是運行ResourceManager機器所在的節點位置;名稱yarn.nodemanager.aux-services在hadoop2.2.0版本中是mapreduce_shuffle,一定要看清楚。

 

修改mapred-site.xml,內容如下

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

其中,名稱mapreduce.framework.name指的是使用yarn運行mapreduce程序。

 

啟動了HDFS之后,就可以啟動yarn了。執行命令start-yarn.sh即可啟動MapReduce集群。

 

關於hadoop2的其他配置文章,歡迎持續關注我的文章


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM