HDFS 存放策略

数据块

  • 每个磁盘都有默认数据块大小,这个数据块就是磁盘存取得最小得单位。
  • 磁盘块得大小一般为512字节
  • 数据块得大小小于512字节,他得空间也会被占用。

HDSF 数据块

  • HDFS也有数据块得大小,大小以前为64M,当前得大小为128M 。
  • 如果该块没有存满,不会占用整个数据块得空间。
  • HDFS 块得大小为什么要设置这么多大
  1. HDFS 得时间都浪费到寻址中去。传输时间大于选址时间,读取文件所消耗得时间就传输时间。
  2. 例子:加入寻址时间10ms,磁盘读写得速率时100MB/s,寻址用总时间得1%,计算到块得大小未100MB ,所以设置128M
  • 切片
  1. 切片得大小和块得大小他时相同的

副本放置策略。

  • 网络拓扑
  • 副本存放策略,同数据中心不同机架之间的数据是4,不同数据中心距离是6。
  1. 看客户端程序离那个数据近。第一个节点放在客户端所在机架。如果不再集群几点中,随机房放在某个机架中。
  2. 第二个副本放到另一个机架中去。
  3. 放在不同的数据中心,或者放到零个机架。
  4. 这样放的目的是为了高可能性。未了数据的安全。
  • 数据是如何写道分布式文件系统中去的。
原文地址:https://www.cnblogs.com/dousil/p/12180127.html