hadoop中Combiner使用中需要注意的地方

今天在写一个MR的时候,用到了combiner。在使用过程中,遇到了一些问题,特此记录一下。

Combiner分为两种,一种是可插拔的,一种是不可插拔的。

可插拔的:Combiner和Reduce的处理逻辑是一样的,可以直接使用Reduce类进行处理。如果去掉Combiner,不影响结果。

不可插拔:Combiner和Reduce的处理逻辑不一样,如果去掉Combiner,会影响结果。

在使用不可插拔的Combiner过程中需要注意的是,其输出的key和value要和Map输出的key和value一致,要不然会报错。

原文地址:https://www.cnblogs.com/6tian/p/4284532.html