MapReduce计算原理及步骤

 步骤:input从HDFS读取内容,

split()切割分片内容,key/value,

map()方法对输入的key/value进行计算处理,先写到内存,在内存中进行分区、排序,之后将Key/value写入磁盘对应分区

combiner方法(本地计算,不是所有都适用,目的是减少网络传输)

shuffiling

从执行map task之后 到执行 redurce task 之前的过程 总称为 shuffiling

reduce

会从经过map程序计算后落在各个分区里取数据去merge进行计算

原文地址:https://www.cnblogs.com/dll102/p/11987760.html