MongoDB进行MapReduce的数据类型

  有很长一段时间没更新博客了,因为最近都比较忙,今天算是有点空闲吧。本文主要是介绍MapReduce在MongoDB上的使用,它与sql的分组、聚集类似,也是先map分组,再用reduce统计,最后还可选性地使用finalize调整最终结果。好了,来介绍下我所使用版本是MongoDB2.4.5,然后我还使用了MongoVUE(一款非常不错的图形化mongodb管理工具)帮助我协同操作。

  1、原始数据,待使用的Collection中有三条doc:                                  而且它们的数据格式为:

 

  可能很多人并不注意mongodb中存的数据格式吧,但是对于我来说,这个很敏感,我并不喜欢在后台使用object来保存这些本来明确的类型。这里我多提一点,如果是使用控制台插入的数据,你插入的数字,很可能存成了Double,而想存成整型,则必须要用NumberInt()、NumberLong()来,示例:

  

  运行后在控制台上是看不出来数据类型的,但是利用MongoVUE,我可以看到:

  数据库直接存成了double。而使用:

  

  可以让它存成int32,使用NumberLong()可以存成Int64。 

  2、进行MapReduce,实现查找不同名字的人各有多少个的统计。首先是map函数,再调用reduce函数  

1 function Map() {
2     emit(
3         this.name,
4         {count: 1}
5     ); 
6 }

  emit(key,value)是一个分组的函数,表示以指定key对原doc进行分组,value是从doc中取出的数据或者自己录入的数据,它将会被添加到一个集合(暂称C集合)中。MapReduce会对各个doc都进行一次Map函数调用,但你可以决定是否使用emit函数对此doc进行分组,不分组的doc就相当于弃置了。不过我推荐不要在Map函数中添加过滤操作,如if (xxx==yyy)  emit(...,...);,而应该在进行MapReduce前就进行Query过滤掉信息(后面会讲)。在Map函数中可以进行的过滤操作一般也是分类操作,比如成绩高于60的以某种方法emit,低于60的以某种方法emit,而不应该说是高于60的进行emit,否则什么都不做。

1 function Reduce(key, values) {
2     var reduced = {count:0, name:""}; // 初始化返回值
3     values.forEach(function(val) {
4         reduced.count += val.count; 
5     });
6     return reduced;    
7 }

  接下来是Reduce函数,这个便是根据上面的emit分组数据进行统计了,函数的参数分别是key(它是上面的emit中的key)和values(它就是上面提到的C集合)。MapReduce会对各个分组的key都进行一次Reduce函数调用。函数第一行是对需要的统计结果数据进行初始化,然后就是自己的统计方法了,最后需要返回这个结果。

  好了,看下在DB控制台下怎么调用这个MapReduce:

 1 db.runCommand({ mapreduce: "lekko", 
 2  map : function Map() {
 3     emit(
 4         this.name,
 5         {count: 1}
 6     ); 
 7 },
 8  reduce : function Reduce(key, values) {
 9     var reduced = {count:0, name:""}; // 初始化返回值
10     values.forEach(function(val) {
11         reduced.count += val.count; 
12     });
13     return reduced;    
14 },
15  out : { inline : 1 }
16 });

  结果很快出来了:,由于我前面又在控制台下添加了两条doc,所以现在lekko名称的人有4个了。值得注意的是,这里在MapReduce之后的结果都将成为double型!

  

  3、一些附加操作

  单纯的MapReduce原理很简单,关键是会灵活使用就好。现在我例出几个我自己的使用心得:

  (1)把Query也放到MapReduce中

  在前面的runCommand中添加参数。例如我要查询所有男生的,就添加..., query : { "isman" : true }, ...。

  (2)对结果进行数据类型转化

  利用Finalize函数(该函数是在Reduce函数后调用,它将对所有key的Reduce结果进行最后的操作),例如我在后台调用了api后想得到的是int型数据,而不是double的,那么就可以添加Finalize函数:

1 ...,
2 finalize : function Finalize(key, reduced) {
3     reduced.count = NumberInt(reduced.count);
4     return reduced;
5 },
6 ...

  这样,输出的reduced将会是int32,在后台你就直接用一个强制转化就行了,而不需要先从object转为double,再转为int(用ToString后再用Prase也不如强制转化)。

  (3)时间类型

  因为mongodb是有Date类型的,但是由于存入的时间格式和查询时间的格式可能不一致(特别是在你的mongodb部署在远程,而开发又是多人协作),会导致根据时间条件,却查不出数据的问题。我的建议,直接存时间的long形态(过去秒数),那么这种差异性问题就不复存在。

  转载请注明原址:http://www.cnblogs.com/lekko/p/3240028.html

原文地址:https://www.cnblogs.com/lekko/p/3240028.html