MapReduce的产生
MapReduce最早是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法。Google公司设计MapReduce的初衷主要是为了解决其搜索引擎中大规模网页数据的并行化处理。
2003年和2004年，Google公司在国际会议上分别发表了两篇关于Google分布式文件系统和MapReduce的论文，公布了Google的GFS和MapReduce的基本原理和主要设计思想。
可以把MapReduce理解为，把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。Map面对的是杂乱无章的互不相关的数据，它解析每个数据，从中提取出key和value，也就是提取了数据的特征。经过MapReduce的Shuffle阶段之后，在Reduce阶段看到的都是已经归纳好的数据了，在此基础上我们可以做进一步的处理以便得到结果
MapReduce会生成大量的临时文件，为了提高效率，它利用Google文件系统来管理和访问这些文件。
主要功能
1）数据划分和计算任务调度
2）数据/代码互定位
3）系统优化
4）出错检测和恢复
优点
易于编程：它简单的实现了一些接口，不需要关注太多底层逻辑（如网络协议等），就可以写一个分布式程序。
良好的扩展性：当计算资源不能得到满足时，通过简单的增加物理机来增强计算能力以及存储能力。
高容错性：Mapreduce设计的初衷就是部署在廉价的pc机器上，这就要求它具有很高的容错性，比如其中一台机器挂了，通过hadoop的管理，此机器上的任务可以转移到其他节点上运行，且此过程不需要人工参与。
适合PB级别以上海量数据存储以及上千台服务器集群并发工作
缺点
不擅长实时计算：无法像mysql一样在秒级别以内返回结果。
**不擅长流式计算（并不是不能实现--Spark Streaming）：流式计算的输入是动态的，由于mapreduce自身的设计特点使得mapreduce的输入数据是静态的，不能动态化。即使实现了动态数据的输入，因为其返回结果的速度相对慢，所以也不适合。
不擅长DAG(有向图)式计算：若多个任务存在依赖关系。例如c的输入依赖于b的输出，b的输入依赖于a的输出，而marpduce在执行每一个任务时都会把数据存储到磁盘中，使得程序之间的通信相对慢。
总结：慢
写一个MapReduce的一个案例WordCount
WcMapper.java
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import java.io.IOException;
/**前两个泛型为MR框架给mapper程序的输入，输入的对象为一行数据对象，< 行首的偏移量，行的内容>
* 例如需要处理的源文件为 hello hadoop
* hello flink
*则此时mapper需要处理的第一个数据对象为0,"hello hadoop")， 0对应LongWritable，“hello hadoop“对应 Text
*处理完第一个再重复处理第二个。
*
* @author xido
*/
public class WcMapper extends Mapper< LongWritable,Text, Text, IntWritable> {
private Text word = new Text();
private IntWritable one = new IntWritable(1);
@Override
// 重写父类的map方法
// Context对象为当前整个mapreduce任务给map的一个输入输出接口，map从Context读取输入处理完输出给Context
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
// 拿到这一行数据
String line = value.toString();
// 按照空格切分数据装入一个数组容器
String[] words = line.split(" ");
// 遍历数组，把单词变成（word，1）的形式交给Context
for (String word:words) {
// 原为context.write(new Text(word),new IntWritable(1));
// 由于大量new对象浪费资源，所以定义了成员变量
this.word.set(word);
context.write(this.word,this.noe);
}
}
}
Reducer.java
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
/**
* 得到的数据对象为Context聚合之后的数据：map输出给Context，Context将结果进行聚合
* 例如 mapper输出的值中 将同key的数据聚合（例 (hello,1) (hello,1)聚合为 (hello,{1,1}(一个Iterable对象))
* 然后再输出给reducer处理
*/
public class WcReducer extends Reducer< Text,IntWritable,Text, IntWritable> {
private IntWritable total = new IntWritable();
@Override
protected void reduce(Text key, Iterable< IntWritable> values, Context context) throws IOException, InterruptedException {
int sum = 0;
// 遍历包含n个1的Iterable对象
for(IntWritable value:values){
// 此处可以写 sum+=1，但不推荐写1。原因待笔者研究
sum+=value.get();
}
// 包装结果并输出
total.set(sum);
context.write(key,total);
}
}
Driver.java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
public class WcDriver {
/*
*前面只是定义了map与reduce的逻辑
* 但是没有接入MR框架
*在Driver中配置map与reduce的环境（输入文件输出文件等）
*/
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
// 1 获取一个job实例 job即一个mapreduce task
Job job = Job.getInstance(new Configuration());
// 2 设置Driver类路径
job.setJarByClass(WcDriver.class);
// 3 设置mapper与reducer
job.setMapperClass(WcMapper.class);
job.setReducerClass(WcReducer.class);
// 4 设置Mapper与Reducer输出的类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
// 设置reducer输出即总输出
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
// 5 设置输入输出数据存储的文件夹
// 执行时Path由main指定
FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job,new Path(args[1]));
// 6 提交我们的job
boolean b= job.waitForCompletion(true);
System.exit(b?0:1);
}
}
PS
1 参考了 百度 以及尚硅谷的hadoop课程及ppt
2 写（ban）作（yun）匆忙，各位若发现错误请多交流指正
3 学有余力的同学可以试试 阿里巴巴hadoop笔试