一、序列化
（*） 核心接口：Writable接口。如果有一个类实现了Writable接口，就可以作为Map/Reduce的key和value.
举例：
读取员工数据，生成员工对象，直接存储在HDFS
序列化的顺序和反序列化 的顺序要保持相同。
public void readFields(DataInput input) throws IOException{
}
pubic void write(DataOutput output) throws IOException{
}
二、排序
排序规则：按照key2排序。key2可以是基本数据类型，也可以是对象（可序列化的对象）。
基本数据类型:
ByteWritable：单字节数值
IntWritable：整型数
LongWritable：长整型数
FloatWritable：浮点数
DoubleWritable：双字节数值
BooleanWritable：标准布尔型数值
Text：使用UTF8格式存储的文本
NullWritable：当<key,value>中的key或value为空时使用
常用的数据类型，排序规则的实现：
（*）Int 数字：默认升序，可以改变默认的排序规则，通过创建自己的比较器。
创建一个类（比如叫做NewIntCompare）继承并重写 IntWritable.Comparator 类中的compare方法,
在main函数中，通过Job类对象配置比较器，在Map类设置语句的后面，添加job.setSortComparatorClass(NewIntCompare.class)
（*）字符串：默认字典序，可以改变默认的排序规则，通过创建自己的比较器。
创建一个类（比如叫做NewTextCompare）继承并重写 Text.Comparator类中的compare方法,
在main函数中，通过Job类对象配置比较器，在Map类设置语句的后面，添加job.setSortComparatorClass(NewTextCompare.class)
（*）对象：实现WritableComparable接口
三、分区
1、需求分析：把最终结果中，不同类型的数据，输出到不同的文件。比如，将相同城市的数据输出到一个文件中，或者把相同性别的数据输出的一个文件中。
2、MR中分区的特点：
（1）在MR中，一个reducer任务对应一个输出文件，分区的数量也是reducer任务的数量。
（2）Reducer的输入数据来自于Mapper,分区工作由Mapper任务来完成。
（3）Mapper任务划分数据的过程叫做Partition,MR中负责划分数据的类叫做Partitioner。
（4）自定义分区规则，需要创建新的分区类（以MyPartitioner为自定义类的名字），继承Partitioner,并重写getPartition（）方法，代码如下。
1 import org.apache.hadoop.mapreduce.Partitioner 2 3 public void MyPartitioner extends Partitioner<K,V>{ 4 @Override 5 // 默认使用key的hash值与Integer的做大值做“与运算”，避免出现溢出的情况 6 public int getPartiton(K key ,V value , int numReduceTasks){ 7 return (key.hashCode() && Integer.MAX_VALUE) % numReduceTasks; 8 } 9 }
（5）MyPartitioner类是用于处理Mapper任务的输出的，getPartition方法的三个参数分别是，Mapper输出的key,value，和设置的Reducer任务数量（即，分区数量）。
（6）getPartition方法的返回值为0~numReduceTasks-1 ,分别代表 numReduceTasks个分组；
（7）分区数 numReduceTasks的设置，在主函数中完成，代码如下：
job.setPartitionerClass(Mypartitioner.class); job.setNumReduceTasks(3); //比如，设置分区数量为3个
四、合并（combiner）
1、hadoop中娥的combiner函数其实本质上也是Reduce,设计的初衷是为了降低Mapper和Reducer之间的 IO的数据量，将Mapper输出的数据在Mapper端进行合并。
2、注意事项：
（1）combiner并不是用于所有的业务场景，比如，求平均数的时候就不能使用。
（2）combiner的输入是Mapper的输出，而输出是Reducer的输入，然后在MapReduce中，Mapper的输出数据类型与Reducer的输入数据类型是相同的。所以在设计Mapper/Reducer
之前要充分考虑，防止因为combiner的出现，对Reducer最终的输出产生影响。
3、在主函数中设置combiner,代码如下
job.setCombinerClass(MyCombiner.class);