1. HDFS文件塊大小
HDFS中的文件在物理上是分塊存儲(Block),塊的大小可以通過配置參數dfs.blocksize來規定,默認大小在Hadoop2.x/3.x版本中是128M,Hadoop 1.x中是64M
2. 文件塊大小的決定因素
HDFS塊的大小設置主要取決於磁盤傳輸速率。
尋址時間為傳輸時間的1%時,則為最佳狀態。
3. 為什么塊的大小不能設置太小,也不能設置太大
A. HDFS的塊設置太小,會增加尋址時間,程序一直在找塊的開始位置
B. 如果塊設置的太大,從磁盤傳輸數據的時間會明顯大於定位這個塊開始位置所需的時間。導致程序在處理這塊數據時,會非常慢