小文件如何产生
1.动态分区插入数据，产生大量小文件，导致map数剧增
2.Reduce数越多，小文件越多
3.数据直接导入小文件
小文件的影响
从hive的角度看，小文件会开很多map，一个map开一个jvm去执行，所以这些任务的初始化，启动，执行浪费大量资源，严重影响集群性能
在HDFS中，每个小文件对象越占150byte，如果小文件过多会占用大量内存。这样namenode内存容量严重制约了集群的扩展。
解决思路
- 使用sequence file作为表的存储格式，不要用TextFile
- 减少Reducer数量，可以用参数控制
- 少用动态分区，使用时记得要distribute by分区
解决方案
手动解决1：hadoop archive命令把小文件归档
手动解决2:重建表，将数据转移，建表时减少reducer数量，设置reducer
自动解决方案：脚本中加入设置参数，
设置
hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
然后开启map与reduce自动合并小文件
hive.merge.mapfiles=true 是否合并map输出文件，默认为True
hive.merge.mapredfiles=false 是否合并Reduce输出文件，默认为False
设置split size减少map数，包括每个及诶单的每个交换机的至少大小
Set mapred.max.split.size=100000000;
Set mapred.max.split.size.per.node=100000000;
Set mapred.max.split.size.per.rack=100000000;
Set hive.input.format = org. apache. hadoop. hive. ql. io. CombineHiveInputFormat;