在使用mongoDB 中Group时，分组字段不是唯一索引记录数不能大于2000

我在一次统计中，用mongoDB中的Group 对一张记录数100W表进行汇总。

结果出现异常信息。

Error in executing GroupBy

Command 'group' failed: exception: group() can't handle more than 20000 unique keys (response: { "errmsg" : "exception: group() can't handle more than 20000 unique keys", "code" : 10043, "ok" : 0.0 })

Type: MongoDB.Driver.MongoCommandException

从异常信息可以看出mongoDB中的group是有限制的，非唯一索引记录数不能大于20000,。

不过我没有研究，怎么去设置mongoDB参数，来取消这个限制。

但是可以用mongoDB中mapReduce,依然可以完成统计需求。

mapReduce初级使用可以参考：http://www.kafka0102.com/2010/09/329.html

这里还是简单说一下自己理解mongDB MapReduce原理。

Map 就是映射，Reduce化简。

意思就是在统计的时候我需要先根据你定义的规则来收集信息(执行Map操作)，

然后再从你收集的信息里面提取你想要数据(reduce)。

先卡看一下语法：

语法介绍

MapReduce是mongodb中的一个Command，它的语法格式如下：

db.runCommand(
{ mapreduce : <collection>,
map : <mapfunction>,
reduce : <reducefunction>
[, query : <query filter object>]
[, sort : <sort the query.  useful for optimization>]
[, limit : <number of objects to return from collection>]
[, out : <output-collection name>]
[, keeptemp: <true|false>]
[, finalize : <finalizefunction>]
[, scope : <object where fields go into javascript global scope >]
[, verbose : true]
}
);

对于该Command，必有的3个参数我就不解释了。对于可选参数，这里简要说明如下：

(1) query是很常用的，它用来在map阶段过滤查询条件的以限定MapReduce操作的记录范围。

(2) 和query相关的还有sort和limit，我起初以为它俩是用在reduce阶段，实际上和query一起用在map阶段。

(3) mongodb默认是创建一个临时的collection存储MapReduce结果，当客户端连接关闭或者显示使用collection.drop()，这个临时的collection会被删除掉。这也就说，默认的keeptemp是false，如果keeptemp为true，那么结果collection就是永久的。当然，生成的collection名称并不友好，所以可以指定out表明永久存储的collection的名称（这时不需要再指定keeptemp）。当指定out时，并不是将执行结果直接存储到out，而是同样到临时collection，之后如果out存在则drop掉，最后rename临时collection为out。

(4) finalize：当MapReduce完成时应用到所有结果上，通常不怎么使用。

(5) verbose：提供执行时间的统计信息。

第一步：在Map函数中通常我们会用到emit函数。

emit(

this.city,
// how to group

{count: 1, age: this.age}// associated data point (document)

);

emit函数有两个参数。

参数1，表示你需要分组的字段。

参数2，分组中每条数据中需要的字段。

在Map执行完成后我们可以想象成，收集的数据存入一个map集合中，group字段是key,value值是分组中多条数据。

举个列子：

有一张表：

班级，学生

1,a

1,b

2,c

2,d

那么map存放的类容。

map1={1:a,1:b},map2={2:c,2:d} (这是value值)

map={1:map1,2:map2};

第二步：然后再执行reduce.

对于map中每一项都会调用一次reduce函数。

具体函数：

function Reduce(key, values) {

/*

var reduced = {count:0, age:0}; // initialize a doc (same format as emitted value)

values.forEach(function(val) {

reduced.age += val.age;
// reduce logic

reduced.count += val.count;

});

return reduced;

*/

return values[0];

}

第三步：是可选的选项。这里主要介绍以下finalize

[, query : <query filter object>]
[, sort : <sort the query.  useful for optimization>]
[, limit : <number of objects to return from collection>]
[, out : <output-collection name>]
[, keeptemp: <true|false>]
[, finalize : <finalizefunction>]
[, scope : <object where fields go into javascript global scope >]
[, verbose : true]

finalize是最终的意思，就是对mapReduce后的数据再一次处理，就相当于在关系数据库中group by以后的having操作。

比如说我们需要过滤count数大于10条记录的。或者求平均数等待。

function Finalize(key, reduced) {

/*

// Make final updates or calculations

reduced.avgAge = reduced.age / reduced.count;

*/

if(reduced.count>10){return;} //过滤记录数大于10

return
reduced;

}