Hadoop之HDFS的block、packet、chunk


HDFS中的block、packet、chunk

Block
HDFS中的文件在物理上是分块存储的,即分成Block;
block在Hadoop不同版本大小不同:

  • Hadoop1.x:64M
  • Hadoop2.x:128M

HDFS块从64M升级后改为128M的原因

Packet
Packet是Client端向Dataode,或者DataNode的PipLine之间传输数据的基本单位,默认64kB.

Chunk
Chunk是最小的Hadoop中最小的单位,是Client向DataNode或DataNode的PipLne之间进行数据校验的基本单位,默认512Byte,因为用作校验(自己校验自己),故每个chunk需要带有4Byte的校验位。
所以世纪每个chunk写入packet的大小为526Byte,真实数据与校验值数据的比值为128:1。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM