配置YARN


1.配置yarn-site.xml(所有節點)
  路徑:
    /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml
  配置項:
    <property>
      <!-- 指明resourcemanager在什么地方 -->
      <name>yarn.resourcemanager.hostname</name>
      <value>master</value>
    </property>

    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>

    <property>
      <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
2.配置mapred-site.xml(所有節點)
  路徑:
    /usr/local/hadoop-2.7.3/etc/hadoop/mapred-site.xml
  配置項目:
    <property>
      <!-- 指明mapreduce跑在什么框架上,不配默認本機 -->
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  說明:
    默認沒有mapred-site.xml文件,但是有一個mapred-site.xml.template,cp改名一個就好了
3.單獨啟動YARN
  在每個節點上執行:yarn-daemon.sh
4.一鍵啟動YARN
  在master上執行:start-yarn.sh
5.Web監控地址(8088端口)
  http://192.168.0.104:8088/cluster
  如果啟動不成功,參看"啟動hadoop集群"里面寫的"一鍵式啟動"那里的配置,原理是一樣的,這里也要配
6.查看每個node的配置,以及配置來源
  http://nodemanageraddress:8042/conf
  例如:http://192.168.0.105:8042/conf

備注:

  yarn-site如果是集中啟動,其實只需要在管理機上配置一份即可,但是如果單獨啟動,需要每台機器一份


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM