Hadoop之HDFS的block、packet、chunk


HDFS中的block、packet、chunk

Block
HDFS中的文件在物理上是分塊存儲的,即分成Block;
block在Hadoop不同版本大小不同:

  • Hadoop1.x:64M
  • Hadoop2.x:128M

HDFS塊從64M升級后改為128M的原因

Packet
Packet是Client端向Dataode,或者DataNode的PipLine之間傳輸數據的基本單位,默認64kB.

Chunk
Chunk是最小的Hadoop中最小的單位,是Client向DataNode或DataNode的PipLne之間進行數據校驗的基本單位,默認512Byte,因為用作校驗(自己校驗自己),故每個chunk需要帶有4Byte的校驗位。
所以世紀每個chunk寫入packet的大小為526Byte,真實數據與校驗值數據的比值為128:1。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM