hadoop Mapreduce组件介绍

MapReduce原理

  MapRedcue采用‘分而治之’的思想,对大规模数据集的操作,分发给一个主节点下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。Mapreduce就是任务的分解,与结果的汇总

MapReduce任务机器有两个一个是jobTracker,另一个是TaskTracherJobTracker用于调度的工作,TaskTracher用于执行工作,一个hadoop集群只有一个JobTracker

 在分布式计算中,MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题,把处理过程高度抽象为两个函数:mapreducemap负责把任务分解成多个任务,reduce负责把分解后多任务处理的结果汇总起来。

输入--拆分--映射--归并---计算--结果

 

原文地址:https://www.cnblogs.com/tsxylhs/p/7262011.html