春节遇到疫情，假期延长了，收拾下放浪的心，对工作遇到的一些技术做下小结。
前段时间一直在搞知识图谱项目，面对海量的数据，要做数据范围划分、清洗、消歧、建模，用到了MR技术，下面做下简单的记录。
一、概念：
MapReduce：是一种编程思想，即映射（map）和规约（reduce）。
二、应用场景
一般通过Hadoop处理海量离线数据。当然有兴趣的可以研究下spark，据说生态更为丰富、性能更好、功能更强。
三、MapReduce1.0运行模型
input->splitting->mapping->combing(可选)->shuffling->reduecing
combing是一个本地化的reduce过程，目的是为了提高宽带传输效率。应用这个过程原则是结果不改变最终reduce结果。
如:计算单词数量，最大值，最小值等
反之：如计算平均值不可以使用这个combine。
四、MapReduce 1.x的架构
一个JobTracker+多个taskTracker
JobTracker:负责资源管理和作业调度；
TrakTracker：定期向JobTracker汇报节点的健康、资源、作业情况，接收JT的命令，比如启动/杀死任务；
客户端：配置作业，提交作业；
HDFS：用来在其他实体之间共享作业文件，保存作业的数据、配置信息等等，最后的结果也是保存在hdfs上面；
具体如图：
输入文件路径配置：可以是单文件、多文件，或者是单文件夹或多文件夹；
输出文件路径配置：一个MR指定一个输出文件夹。
五、处理流程
1、输入文本信息，由InputFormat -> FileInputFormat -> TextInputFormat，通过getSplits方法获得Split数组，然后在用getRecordReader 方法对Split做处理，每读一行交给一个map处理；
2、每个节点上的所有map，交由该节点上的Partitioner处理（Shuffling的过程），按key将map放在其他节点上去还是继续在该节点下处理；
3、排序；
4、结果交由reduce处理；
5、处理完成后由 OutputFormat ->FileOutputFormat ->TextOutputFormat 写到本地或Hadoop上；
Split：MR处理的的数据块，MR中最小的计算单元，默认是与HDFS中的Block（HDFS中的最小存储单元，默认128M）是一一对应的，也可以手工设置（不建议修改）
InputFormat：将输入的数据进行分片（Split） InputSplit[] getSplits(JobConf var1, int var2)
TextInputFormat：用来处理文本格式的数据
OutputFormat： 输出：
上图图解：
一般来说，一个Split对应一个Block，但上图是一个设置过后的。
一个file文件被分成了n个Block，对应着就是2n个Split，经过InputFormat处理后，每个Split交由一个Mapper处理，通过Shuffling的分组和排序后产生多个Reducer，每个Reducer就会产生一个文件
六、注意点
1、有时候为了完成业务需要，我们需要许多个MR协调工作，即MR1文件输出作为MR2的输入文件，所以尽量保证顺序靠前的MR的准确性（输入文件完整、代码质量ok），避免浪费时间重复执行；
2、多个MR协调，检查每个输入文件和输出文件路径是否正确；
3、MR执行时，最好根据业务需要统计数据并打印到输出（如：统计人口文件数据总共有那些民族等），便于根据业务分析数据是否有遗漏，和最终出报表；
参考：
https://blog.csdn.net/asd54090/article/details/80920592