YARN 高可用機制


YARN 的高可用:
ResourceManager : 基於Zookeeper 實現高可用機制,避免單點故障。

NodeManager: 執行失敗之后,ResourceManager 將失敗任務告訴對應的ApplicationMaster , 由ApplicationMaster 來決定如何處理失敗的任務。

ApplicationMaster: 執行失敗之后,由ResourceManager 負責重啟;ApplicationMaster 需處理內部的容錯問題,並保存已經運行完成的Task , 重啟后無需重新運行。

作為通用的、統一的資源管理系統,YARN可以:
1、同時運行長應用程序(比如Service, HTTP Server)
2、運行短應用程序(MapReduce job、Spark job 等等)

在引入了YARN之后,可以在YARN上運行各種不同框架的作業:
離線計算框架:MapReduce
流式計算框架:Storm
內存計算框架:Spark

YARN 生態圈:

 

參考資料:大數據技術Hadoop入門理論系列之一----hadoop生態圈介紹  http://blog.51cto.com/gridmix/1731744

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM