Yarn篇--搭建yarn集群


一。前述

有了上次hadoop集群的搭建,搭建yarn就簡單多了。廢話不多說,直接來

二。規划

 

 三。配置如下

yarn-site.xml配置

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>//定義yarn的機制
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name//集群Id
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>//集群邏輯節點
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>//集群物理節點
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>//集群物理節點
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>//與zookeeper通信
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>


mapred-site.xm配置
<property>
        <name>mapreduce.framework.name</name>//使用yran
        <value>yarn</value>
  </property>
PS  :slaves中既是datanode配置同時也是nodemanger的配置

四。配置免密

同樣需要配置resourcemange到nodemanager的免密 和兩個resourcemanger的免密
五。啟動順序
養成一個好習慣,先把集群停掉,然后再添加配置,(其實不停也行)

 

先在node01節點上手動先啟動hdfs集群start-dfs.sh

node01然后再啟動yarn集群 start-yarn.sh(Nodemanager也是由slaves文件管理)

然后再在node03和node04手動啟動resourcemanger

yarn-daemon.sh start resourcemanager

六。驗證

自此集群搭建成功!!!

持續更新中。。。。,歡迎大家關注我的公眾號LHWorld.

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM