HDFS中的block、packet、chunk
Block
HDFS中的文件在物理上是分塊存儲的,即分成Block;
block在Hadoop不同版本大小不同:
- Hadoop1.x:64M
- Hadoop2.x:128M
Packet
Packet是Client端向Dataode,或者DataNode的PipLine之間傳輸數據的基本單位,默認64kB
.
Chunk
Chunk是最小的Hadoop中最小的單位,是Client向DataNode或DataNode的PipLne之間進行數據校驗的基本單位,默認512Byte
,因為用作校驗(自己校驗自己),故每個chunk需要帶有4Byte
的校驗位。
所以世紀每個chunk寫入packet的大小為526Byte,真實數據與校驗值數據的比值為128:1。