C# Hadoop學習筆記(二)—架構原理


一,架構

 

 

二、名詞解釋

    (一)NameNode(簡稱NN),Hadoop的主節點,負責偵聽節點是否活躍,對外開放接口等。在未來的大數據處理過程中,由於訪問量和節點數量的不斷增多,需要該節點的處理能力較高,因此從集群搭建的角度,建議該節點的CPU配置較高。

    (二)SecondNameNode(SNN),Hadoop高可用的備份節點,主要用途是主節點宕機或者不可用的情況下,自行切換到備用節點。

               身份決定了該節點需要同步NN的信息,因此采用心跳的方式從NN發現數據,並同步到自身。由於不可預知的本機硬件問題或網絡原因及災害,SNN需要部署在遠離NN的物理空間內,一般配置是將該節點放在不同的機架、機房、樓層、樓房、或者更遠,以確保高可用。

     (三)JobTracker(JT),負責任務的並發及調度處理。因此需要該節點能夠擁有較高的CPU(低於NN),較高的內存。

     (四)DataNode(DN),分布式的各個子節點,真正存儲NDFS文件的節點,負責接受Hadoop的計算任務,通過TaskTacker執行並行任務,啟動MapReduce進行數據處理。

              身份決定該節點需要存儲大量的文件,而且由於冗余備份(Hadoop缺省配置3份),防止節點宕機導致的計算不准確問題。該節點需要非常大的磁盤空間承載文件。

 三、試驗集群部署結構

 

 

 

四、生產環境部署結構


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM