hadoop block大小為128的原因


1.減輕了namenode的壓力
原因是hadoop集群在啟動的時候,datanode會上報自己的block的信息給namenode。namenode把這些信息放到內存中。那么如果塊變大了,那么namenode的記錄的信息相對減少,所以namenode就有更多的內存去做的別的事情,使得整個集群的性能增強。
2.增大會不會帶來負面相應。
因為這個可以靈活設置,所以這里不是問題。關鍵是什么時候,該如何設置。
如果對於數兩級別為PB的話,建議可以block設置的大一些。
如果數據量相對較少,可以設置的小一些64M也未嘗不可。
負面效應,如果網絡環境不好,可能會造成重新傳輸。
3.如果尋址時間約為10ms,而傳輸速率為100mb/s,為了使尋址時間僅占傳輸時間的64m。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM