Hadoop之HDFS的block、packet、chunk

HDFS中的block、packet、chunk

Block
HDFS中的文件在物理上是分块存储的,即分成Block;
block在Hadoop不同版本大小不同:

  • Hadoop1.x:64M
  • Hadoop2.x:128M

HDFS块从64M升级后改为128M的原因

Packet
Packet是Client端向Dataode,或者DataNode的PipLine之间传输数据的基本单位,默认64kB.

Chunk
Chunk是最小的Hadoop中最小的单位,是Client向DataNode或DataNode的PipLne之间进行数据校验的基本单位,默认512Byte,因为用作校验(自己校验自己),故每个chunk需要带有4Byte的校验位。
所以世纪每个chunk写入packet的大小为526Byte,真实数据与校验值数据的比值为128:1。

原文地址:https://www.cnblogs.com/we9999/p/12404121.html