HDFS

https://www.cnblogs.com/bainianminguo/p/11986605.html

1、概述
hdfs文件系统主要设计为了存储大文件的文件系统;如果有个TB级别的文件,我们该怎么存储呢?分布式文件系统未出现的时候,一个文件只能存储在个服务器上,
可想而知,单个服务器根本就存储不了这么大的文件;退而求其次,就算一个服务器可以存储这么大的文件,你如果想打开这个文件,效率会高吗 hdfs的出现就是为了解决上面的问题 hdfs为了满足大文件的存储和可读性,对数据进行切成多个小块进行存储,同时为了保证数据的可靠性,又对每个小块数据做复制,然后分别存储到多个节点中. hdfs2.
7.3后,默认每个块的大小是128MB,在hdfs1.0的时候,默认每个块的大小是64MB 可以通过修改hdfs的配置文件自定义块大小 hdfs-site.xml文件中的dfs.blocksize 默认每个块的副本数是3,可以通过修改hdfs的配置文件自定义副本数 hdfs-site.xml的dfs.replication 二、hdfs的结构体系 hdfs是一个分布式的文件系统,采用主从(master/slave)的结构体系,一个hdfs集群由NameNode和多个datanode组成,其中namenode作为主节点,
DataNode为从节点 Namenode简称NN DataNode简称DN NN的作用 a、存储元数据信息 b、元数据存储两份,一份在内存中,一份在硬盘中 c、保存文件、block、datanode的映射关系 DN的作用 a、存储block信息 b、block存储在硬盘中 c、维护block和文件的映射关系 数据存储在内存中是为了读取性能,保证效率,数据存储在硬盘中,为了持久化数据,保证数据不丢失 三、hdfs的优缺点
1、hdfs的优点 a、支持超大文件 支持超大文件,这里的超大文件几百MB,几百GB,甚至TB级别大小的文件,一般来说hadoop的文件系统会存储TB级别或者 PB级别的数据,所以在企业节点中,
数据节点可能有上千个 b、检测和快速 应对 硬件故障 在集群中 环境中,硬件故障是常见的问题,因为 有上千台服务器,这样会导致高故障率,因此故障检测和自动 恢复 是hdfs文件系统 的一个设计目标 c、流式数据访问 Hdfs的数据处理规模比较大,应用一次要 访问大量的 数据,同时这些应用一般都是批量处理,而不是用户交互式 处理,应用程序能以流的形式访问数据集,
主要是数据的吞吐量,而不是访问速度;适合做离线数据的处理 d、简化的一致性模型 大部分 hdfs操作文件时,需要一次 写入,多次读取,在 hdfs文件系统中,一个文件块一旦经过 创建,写入,关闭后就不允许 修改了,在hdfs2.7后 ,
才允许对block进行追加修改,但是不能改变已有的数据,这样简单的一致性模型,保证数据操作的简单化 e、高容错性 数据自动保存多个 副本,副本丢失自动恢复 f、可构建在廉价的机器上 构建在廉价的机器上,可以启动通过扩展机器 个数里线性提高存储能力
2、hdfs的缺点 a、低延迟数据访问 低延迟数据 ,如果用户进行交互的应用,比如京东,需要数据在毫秒后者秒级范围内得到响应,由于 hadoop对高吞吐 模型 做了优化,牺牲了获取数据的延迟,
所以对于低延时的应用,不适合 用hadoop,而且hdfs的数据也不是结构化的数据 b、不适合大量小文件 Hdfs支持超大的文件,是通过数据分别在不同的数据节点,数据的元数据保存在namenode上,namenode的内存大小决定了hdfs可以保存的文件数量,虽然现在
内存已经很大,但是大量的 小文件还是会 影响namenode的节点性能,每个block会占用一片内存空间 c、不支持多次写入文件,修改文件 为了保证吞吐量,设计为这样
原文地址:https://www.cnblogs.com/654321cc/p/12172312.html