啟動 Hadoop,僅僅是啟動了 MapReduce 環境,我們可以啟動 YARN ,讓 YARN 來負責資源管理與任務調度。
首先修改配置文件 mapred-site.xml,需要先進行重命名:
cd /usr/local/hadoop
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
然后再進行編輯( gedit ./etc/hadoop/mapred-site.xml
):
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
接着修改配置文件 yarn-site.xml:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
然后就可以啟動 YARN 了(需要先執行過 ./sbin/start-dfs.sh
):
./sbin/start-yarn.sh # 啟動YARN
./sbin/mr-jobhistory-daemon.sh start historyserver # 開啟歷史服務器,才能在Web中查看任務運行情況
開啟后通過 jps
查看,可以看到多了 NodeManager 和 ResourceManager 兩個后台進程
啟動 YARN 之后,運行實例的方法還是一樣的,僅僅是資源管理方式、任務調度不同。但 YARN 主要是為集群提供更好的資源管理與任務調度,然而這在單機上體現不出價值,反而會使程序跑得稍慢些.
不啟動 YARN 需重命名 mapred-site.xml:如果不想啟動 YARN,務必把配置文件 mapred-site.xml 重命名,改成 mapred-site.xml.template,需要用時改回來就行。
關閉 YARN :
./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver