一直深深困擾我的問題——hadoop 重啟集群后,之前運行的job運行狀態都丟失了


努力之后總是存在回報的,我花了三天時間終於找到了問題所在:

配置文件yarn-site.xml:


<property>
        <name>yarn.resourcemanager.recovery.enabled</name>

       <!--默認值為false,也就是說resourcemanager掛了相應的正在運行的任務在rm恢復后不能重新啟動-->
        <value>true</value>
</property>

<property>
        <name>yarn.resourcemanager.store.class</name>

        <!--此版本的rmstate信息存放主要有兩種,一種是FileSystemRMStateStore,另一種是MemoryRMStateStore,還有一種目前較為主流的是zkstore,正在測試中,2.2版本還未提供-->                     

        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore</value>
</property>

<property>
        <name>yarn.resourcemanager.fs.state-store.uri</name>

       <!--此處配置為hdfs存儲狀態信息,還可以配置為存放在本地路徑,之所以存放在hdfs上是考慮都如果rm節點完全掛掉,還可以在其他節點上啟動rm直接讀取hdfs信息,如果放在本地文件系統上還需要進行狀態信息的同步。-->
        <value>hdfs://mycluster/rmstore</value>
 </property>

 

另外附上 官網地址:http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 

其他版本自己參考 :

 

個人網站:   http://blog.tbnb1.cn 后期更新全部移到此網站更新

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM