hadoop生態系統主要架構圖匯總


1 hadoop1.0時期架構

clip_image002

2 hadoop2.0時期架構

clip_image004

3 hdfs架構

clip_image006

Active Namenode】:主 Master(只有一個),管理 HDFS 的名稱空間,管理數據塊映射信息;配置副本策略;處理客戶端讀寫請求

Secondary NameNode】:NameNode 的熱備;定期合並 fsimage fsedits,推送給 NameNode;當 Active NameNode 出現故障時,快速切換為新的 Active NameNode

Datanode】:Slave(有多個);存儲實際的數據塊;執行數據塊讀 /

Client】:與 NameNode 交互,獲取文件位置信息;與 DataNode 交互,讀取或者寫入數據;管理 HDFS、訪問 HDFS

4 MapReduce架構

clip_image008

clip_image010

clip_image012

clip_image013

5 yarn架構

clip_image015

6 hadoop1.0hadoop2.0比較圖

clip_image017

參考網址:

http://blog.csdn.net/babyfish13/article/details/52527665

http://www.cnblogs.com/sharpxiajun/p/3151395.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM