MapReduce原理

以WordCount程序为例,假设有三台DataNode,每台DataNode有不一样的数据,如下表格所示:

DataNode1
DataNode2
DataNode3
who are you are
who am i are 
who is he am
经过Map函数后,生成以下键值对:
DataNode1
DataNode2
DataNode3
who   1
are     1
you    1
are     1
who    1
am      1
i          1
are      1
who   1
is        1
he      1
am     1
然后按照key值排序,变成以下键值对:
DataNode1
DataNode2
DataNode3
are      1
are      1
who    1
you     1
am       1
are       1
i           1
who     1
am      1
he       1
is         1
who    1
如果有Combiner函数的话,则把相同的key进行计算,我们可以吧Combiner函数当做一个miniReduce函数:
DataNode1
DataNode2
DataNode3
are      2
who    1
you     1
am       1
are       1
i           1
who     1
am      1
he       1
is         1
who    1

如果有Partition函数的话,则进行分区,分几个区就有几个Reducer同时进行运算,然后就会生成几个不一样的结果文件;默认只有一个Reducer进行工作。
这里先讲一个Reducer的情况,数据先从三个DataNode中Copy过来,然后Merge到Reducer中去:
Reducer
are      2
who    1
you     1
am      1
are      1
i          1
who    1
am      1
he       1
is         1
who    1

然后对数据按照key进行排序(Sort),Copy,Merge,Sort过程统称为Shuffle过程:
Reducer
am      1
am      1
are      2
are      1
he       1
i          1
is         1
you     1
who    1
who    1
who    1

然后数据经过Reduce函数后,生成以下输出文件:
Reducer
am      2
are      3
he       1
i          1
is         1
you     1
who    3
 
到这里为止,整个MapReduce过程也就完成了。
如果有多个Reducer的话,不同的是数据会分开Copy到不同的机器中,也就是分开计算,然后Copy到每个Reducer中的数据都会经过Merge,Sort,Reduce过程,最后每个Reducer都会生成一个结果文件。



原文地址:https://www.cnblogs.com/fabulousyoung/p/4078016.html