MapReduce_架构

架构

MapReduce1.x

  • JobTracker:JT(作业管理者)

    • 将作业分解成一堆的任务:Task(MapTask和ReduceTask)

    • 将任务分派给TaskTracker运行

    • 作业的监控、容错处理(Task作业挂了,重启task的机制)

    • 在一定的时间间隔内,JT没有收到TT的心跳信息,TT可能是挂了,T'T上运行的任务会被指派到其他TT上去执行

  • TaskTracker:TT(任务的执行者)

    • 在TT上执行Task(MapTask和ReduceTask)

    • 与JT进行交互:执行/启动/停止作业,发送心跳信息给JT

  • MapTask

    • 自己开发的map任务交由该Task处理

    • 解析每条记录的数据,交给自己的map方法处理

    • 将map输出结果写到本地磁盘(有些作业只仅由map没有reduce==》hdfs)

  • ReduceTask

    • 将Maptask输出的数据进行读取

    • 按照数据进行分组传给我们自己编写的reduce方法处理

    • 输出结果写到HDFS

MapReduce2.x

原文地址:https://www.cnblogs.com/zxbdboke/p/10468035.html