HDFS文件塊大小


1. HDFS文件塊大小
  HDFS中的文件在物理上是分塊存儲(Block),塊的大小可以通過配置參數dfs.blocksize來規定,默認大小在Hadoop2.x/3.x版本中是128M,Hadoop 1.x中是64M


2. 文件塊大小的決定因素
  HDFS塊的大小設置主要取決於磁盤傳輸速率。
  尋址時間為傳輸時間的1%時,則為最佳狀態。


3. 為什么塊的大小不能設置太小,也不能設置太大
  A. HDFS的塊設置太小,會增加尋址時間,程序一直在找塊的開始位置
  B. 如果塊設置的太大,從磁盤傳輸數據的時間會明顯大於定位這個塊開始位置所需的時間。導致程序在處理這塊數據時,會非常慢

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM