啟動YARN


  啟動 Hadoop,僅僅是啟動了 MapReduce 環境,我們可以啟動 YARN ,讓 YARN 來負責資源管理與任務調度。

首先修改配置文件 mapred-site.xml,需要先進行重命名:

cd /usr/local/hadoop
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

然后再進行編輯( gedit ./etc/hadoop/mapred-site.xml ):

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

接着修改配置文件 yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
</configuration>

然后就可以啟動 YARN 了(需要先執行過 ./sbin/start-dfs.sh):

./sbin/start-yarn.sh      # 啟動YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 開啟歷史服務器,才能在Web中查看任務運行情況

開啟后通過 jps 查看,可以看到多了 NodeManager 和 ResourceManager 兩個后台進程

 

  啟動 YARN 之后,運行實例的方法還是一樣的,僅僅是資源管理方式、任務調度不同。但 YARN 主要是為集群提供更好的資源管理與任務調度,然而這在單機上體現不出價值,反而會使程序跑得稍慢些.

不啟動 YARN 需重命名 mapred-site.xml:如果不想啟動 YARN,務必把配置文件 mapred-site.xml 重命名,改成 mapred-site.xml.template,需要用時改回來就行。

關閉 YARN :

./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM