Hive-文件存储格式

Hive-文件格式

TEXTFILE

描述

TEXTFILE是普通的文本型文件,是Hadoop里最常用的输入输出格式,也是Hive的默认文件格式。

输入输出包

org.apache.hadoop.mapred.TextInputFormat

org.apache.hadoop.mapred.TextOutputFormat

SEQUENCEFILE

描述

Sequence文件是由二进制键值对组成的平面文件。Hive将查询转换成MapReduce作业时,决定一个给定记录的哪些键/值对被使用,Sequence文件是可分割的二进制格式,主要的用途是联合多个小文件

Hadoop处理少量大文件比大量小文件的性能要好。如果文件小于Hadoop定义的块大小(Hadoop 2.x默认是128MB),可以认为是小文件。元数据的增长将转化为NameNode的开销。如果有大量小文件,NameNode会成为性能瓶颈。为了解决这个问题,Hadoop引入了Sequence文件,将Sequence作为存储小文件的容器

输入输出包

org.apache.hadoop.mapred.SequenceFileInputFormat

org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat

RCFILE

描述

RCFILE指的是Record Columnar File,是一种高压缩率的二进制文件格式,被用于在一个时间点操作多行的场景。RCFILE是由二进制键/值对组成的平面文件,这点与SEQUENCEFILE非常相似。

RCFILE以记录的形式存储表中的列,即列式存储。它先分割行做水平分区,然后分割列做垂直分区。RCFILE把一行的元数据作为键,把行数据作为值。这种面向列的存储在执行数据分析时更高效

输入输出包

org.apache.hadoop.hive.ql.io.RCFileInputFormat

org.apache.hadoop.hive.ql.io.RCFileOutputFormat

ORCFILE

描述

ORC指的是Optimized Record Columnar,相对于其他文件格式,它以更优化的方式存储数据。ORC能将原始数据的大小所见75%。从而提升了数据处理的速度。

ORCTextSequenceRC文件格式有更好的性能,而且ORC是目前Hive中唯一支持事务的文件格式。

输入输出包

org.apache.hadoop.hive.ql.io.orc

文件格式选取

如果数据有参数化的分隔符,可以选择TEXTFILE格式

如果数据所在文件比块尺寸小,可以选择SEQUENCEFILE格式

如果像执行数据分析,并高效的存储数据,可以选择RCFILE

如果希望减小数据所需的存储空间并提升性能,可以选择ORCFILE格式

原文地址:https://www.cnblogs.com/EnzoDin/p/14198467.html