mongodb 之聚合框架--aggregate

Mongodb中的聚合框架

1 .Mongodb 中的管道操作符之简单操作,

Mongo 中的数据查询语句db.collection.find({},{})中的第一个大括号是用来控制过滤条件的，
第二个大括号是控制key的显示的。如果想要对查询出来的结果集中的字段重命令，求平均值,分组等操作
的时候这个find就实现不了。

要想对查询出来的结果集做进一步处理，mongo提供一种实现的方式，聚合框架（aggreagate） 。

下面我们来进一步讨论这个aggreagate 怎么使用。。

在使用aggregate实现聚合操作之前,我们首先来认识下几个常用的聚合操作符。
$project:：可以对结果集中的键 重命令，控制键是否显示,对列进行计算。
$match: 过滤结果集
$group:分组，聚合，求和，平均数，等
$skip: 在显示结果的时候跳过前几行
$sort:对即将显示的结果集排序
$limit:控制结果集的大小

(1).$project:：可以对结果集中的键 重命令，控制键是否显示。如果在操作中,
实例一：
> db.test.find({},{_id:0}).limit(2);
{ "id" : 1, "iname" : "ToneyDeng", "iage" : 21, "iadd" : "ShengZheng", "mark" : "" }
{ "id" : 2, "iname" : "Jack", "iage" : 24, "iadd" : "ShangHai", "mark" : "" }
> db.test.aggregate({$project:{did:"$id",dname:"$iname",dage:"$iage",daddr:"$iadd",_id:0}},{$limit:2});
{
"result" : [
{
"did" : 1,
"dname" : "ToneyDeng",
"dage" : 21,
"daddr" : "ShengZheng"
},
{
"did" : 2,
"dname" : "Jack",
"dage" : 24,
"daddr" : "ShangHai"
}
],
"ok" : 1
}

在以上实例中，隐藏了_id,然后将其他所有的key的名字重新设置了下。
这里需要重点注意的是在对key重命令后，如果该key下面有索引，将使查询无法使用到索引。
所以尽量在查询后进行重命令。

(2)$match: 这个函数的功能其实和find({})差不多,主要过滤结果集的。
实例二：
> db.test.find({iage:{$lt:25}},{}).limit(2);
{ "_id" : ObjectId("54c1fe77570ca4579ca978e5"), "id" : 1, "iname" : "ToneyDeng", "iage" : 21, "iadd" : "ShengZheng", "mark" : "" }
{ "_id" : ObjectId("54c1febb570ca4579ca978e6"), "id" : 2, "iname" : "Jack", "iage" : 24, "iadd" : "ShangHai", "mark" : "" }
> db.test.aggregate({$match:{iage:{$lt:25}}},{$limit:2})
{
"result" : [
{
"_id" : ObjectId("54c1fe77570ca4579ca978e5"),
"id" : 1,
"iname" : "ToneyDeng",
"iage" : 21,
"iadd" : "ShengZheng",
"mark" : ""
},
{
"_id" : ObjectId("54c1febb570ca4579ca978e6"),
"id" : 2,
"iname" : "Jack",
"iage" : 24,
"iadd" : "ShangHai",
"mark" : ""
}
],
"ok" : 1
}
>

以上两个查询的结果集一样只是展示的方式不一样而已。
在进行聚合group之前最好执行match，减少数据量，提高工作效率。另外如果过滤的key上有索引,
那么查询会走索引。

(3). $group:分组，聚合，求和，平均数，等
实例三：
> db.test.aggregate({$group:{_id:"$iname",ct:{$sum:1},avg:{$avg:"$iage"}}},{$limit:3});
{
"result" : [
{
"_id" : "Tom",
"ct" : 3,
"avg" : 25.666666666666668
},
{
"_id" : "Owen",
"ct" : 2,
"avg" : 26
},
{
"_id" : "Smith",
"ct" : 1,
"avg" : 27
}
],
"ok" : 1
}

以上是一个简单的$group操作,这里需要重点解释一下几个字段
_id:分组字段，该字段的值必须为”$key” ,并且_id是固定的不能随意改变，该列表示需要的分组的字段，可以为单字段分组，也可以多字段分组(后面演示)。
ct：表示总的记录数,
avg:平均值。

(4).$skip: 在显示结果的时候跳过前几行
实例四：
> db.test.find({}).sort({id:1});
{ "_id" : ObjectId("54c1fe77570ca4579ca978e5"), "id" : 1, "iname" : "ToneyDeng", "iage" : 21, "iadd" : "ShengZheng", "mark" : "" }
{ "_id" : ObjectId("54c1febb570ca4579ca978e6"), "id" : 2, "iname" : "Jack", "iage" : 24, "iadd" : "ShangHai", "mark" : "" }
{ "_id" : ObjectId("54c1ff22570ca4579ca978e7"), "id" : 3, "iname" : "Smith", "iage" : 27, "iadd" : "ShangHai", "mark" : "" }
{ "_id" : ObjectId("54c1ff36570ca4579ca978e8"), "id" : 4, "iname" : "Owen", "iage" : 27, "iadd" : "BeiJing", "mark" : "" }
{ "_id" : ObjectId("54c1ff44570ca4579ca978e9"), "id" : 5, "iname" : "Owen", "iage" : 25, "iadd" : "BeiJing", "mark" : "" }
{ "_id" : ObjectId("54c1ffc2570ca4579ca978ea"), "id" : 6, "iname" : "Tom", "iage" : 25, "iadd" : "WuHan", "mark" : "" }
{ "_id" : ObjectId("54c1ffd3570ca4579ca978eb"), "id" : 7, "iname" : "Tom", "iage" : 25, "iadd" : "BeiJing", "mark" : "" }
{ "_id" : ObjectId("54c2005e570ca4579ca978ec"), "id" : 8, "iname" : "Tom", "iage" : 27, "iadd" : "GuangZhou", "mark" : "nihao" }
{ "_id" : ObjectId("54c20076570ca4579ca978ed"), "id" : 9, "iname" : "Jack", "iage" : 23, "iadd" : "GuangZhou", "mark" : "Yahoo" }
> db.test.aggregate({$sort:{id:1}},{$skip:6});
{
"result" : [
{
"_id" : ObjectId("54c1ffd3570ca4579ca978eb"),
"id" : 7,
"iname" : "Tom",
"iage" : 25,
"iadd" : "BeiJing",
"mark" : ""
},
{
"_id" : ObjectId("54c2005e570ca4579ca978ec"),
"id" : 8,
"iname" : "Tom",
"iage" : 27,
"iadd" : "GuangZhou",
"mark" : "nihao"
},
{
"_id" : ObjectId("54c20076570ca4579ca978ed"),
"id" : 9,
"iname" : "Jack",
"iage" : 23,
"iadd" : "GuangZhou",
"mark" : "Yahoo"
}
],
"ok" : 1
}

通过上面的两个结果集的对比可以发现结果二成功跳过了前6行。

(5)$sort:对即将显示的结果集排序 , $limit:控制结果集的大小
关于这两个管道操作符的的使用方法比较简单，在实例四和实例三中有使用到。

2.Mongodb 中的管道操作符之复杂操作,

实例五:分组后，重命名字段。
> db.test.aggregate({$group:{_id:"$iname",count:{$sum:1},avg:{$avg:"$iage"}}},{$project:{id:"$_id",ct:"$count",ag:"$avg",_id:0}})
{
"result" : [
{
"id" : "Tom",
"ct" : 3,
"ag" : 25.666666666666668
},
{
"id" : "Owen",
"ct" : 2,
"ag" : 26
},
{
"id" : "Smith",
"ct" : 1,
"ag" : 27
},
{
"id" : "Jack",
"ct" : 2,
"ag" : 23.5
},
{
"id" : "ToneyDeng",
"ct" : 1,
"ag" : 21
}
],
"ok" : 1
}

实例六：重命名字段再分组。
> db.test.aggregate({$project:{_id:0,aid:"$id",aname:"$iname",age:"$iage"}},{$group:{_id:"$aname",ct:{$sum:1},ag:{$avg:"$age"}}});
{
"result" : [
{
"_id" : "Tom",
"ct" : 3,
"ag" : 25.666666666666668
},
{
"_id" : "Owen",
"ct" : 2,
"ag" : 26
},
{
"_id" : "Smith",
"ct" : 1,
"ag" : 27
},
{
"_id" : "Jack",
"ct" : 2,
"ag" : 23.5
},
{
"_id" : "ToneyDeng",
"ct" : 1,
"ag" : 21
}
],
"ok" : 1
}

实例七：过滤再分组.
> db.test.aggregate({$match:{id:{$lt:6}}},{$group:{_id:"$iname",ct:{$sum:1},ag:{$avg:"$iage"}}});
{
"result" : [
{
"_id" : "Owen",
"ct" : 2,
"ag" : 26
},
{
"_id" : "Smith",
"ct" : 1,
"ag" : 27
},
{
"_id" : "Jack",
"ct" : 1,
"ag" : 24
},
{
"_id" : "ToneyDeng",
"ct" : 1,
"ag" : 21
}
],
"ok" : 1
}

实例八：分组再过滤
> db.test.aggregate({$group:{_id:"$iname",ct:{$sum:1},ag:{$avg:"$iage"}}},{$match:{ct:{$lte:2}}});
{
"result" : [
{
"_id" : "Owen",
"ct" : 2,
"ag" : 26
},
{
"_id" : "Smith",
"ct" : 1,
"ag" : 27
},
{
"_id" : "Jack",
"ct" : 2,
"ag" : 23.5
},
{
"_id" : "ToneyDeng",
"ct" : 1,
"ag" : 21
}
],
"ok" : 1
}

总结: 这几个聚合操作符之间没有严格的使用顺序，只要按照一定的规则搭配使用，一般的聚合都可以实现。

问题一：在聚合框架中，如何统计结果集的总数。
问题二：在聚合框架中，如何查看执行计划，

3.Mongodb 中的管道表达式之常用表达式。

管道表达式
project:部分
#数学表达式
$add:一个或多个表达式相加
$subtract:接收两个表达式,返回两表达式的之差
$multiply:接收一个或多个表达式,返回它们相乘的结果集
$divide:接收两个表达式,返回第一个除以第二个表达式的商
$mod:接收两个表达式,返回第一个表达式除以第二个表达式的余数(模型)

#日期表达式
$year:年份
$month:月份
$week:一年中的第几周
$dayOfMonth:本月的第几天
$dayOfWeek:一个星期的第几天
$dayOfYear:一年中的第几天
$hour:获取小时部分
$minute:取得分钟数
$second:取得秒数

#字符串表达式
$substr:字符串截取函数,相当于mysql中substr
$concat:字符串连接函数
$toLower:将字符串值变为小写
$toUpper:将字符串值变为大写

#逻辑表达式
$cpm:接收两个表达式[exp1,exp2],如果exp1<exp2,就返回-1,如果exp1=exp2,就返回1,如果exp1>exp2就返回1
$cond:[bool,exp1,exp2],如果bool为true就返回exp1，否则返回exp2
$ifnull:[exp1,exp2],如果exp1为null,就返回exp2
$strcasecmp:比较两个字符串的大小
$eq/$ne/$gt/$gte/$lt/$lte:以此为(等于/不等于/大于/大于或等于/小于/小于或等于)
$and:并且
$or:或
$not:否
$in:相当于mysql中 in
$ne:不等于。
$exists:列是存在。

#数学表达式
(1)$add:一个或多个表达式相加
> db.test.aggregate({$project:{iage:{$add:["$iage",1]},_id:0}},{$limit:3});
{
"result" : [
{
"iage" : 22
},
{
"iage" : 25
},
{
"iage" : 28
}
],
"ok" : 1
}
>

(2).$subtract:接收两个表达式,返回两表达式的之差
> db.test.aggregate({$project:{iage:{$add:["$iage",1]},subtr:{$subtract:["$iage",20]},_id:0}},{$limit:3});
{
"result" : [
{
"iage" : 22,
"subtr" : 1
},
{
"iage" : 25,
"subtr" : 4
},
{
"iage" : 28,
"subtr" : 7
}
],
"ok" : 1
}

(3).$multiply:接收一个或多个表达式,返回它们相乘的结果集
> db.test.aggregate({$project:{multi:{$multiply:["$iage",2]},_id:0}},{$limit:3});
{
"result" : [
{
"multi" : 42
},
{
"multi" : 48
},
{
"multi" : 54
}
],
"ok" : 1
}

（4）.$divide:接收两个表达式,返回第一个除以第二个表达式的商
> db.test.aggregate({$project:{divide:{$divide:["$iage",11]},_id:0}},{$limit:3});
{
"result" : [
{
"divide" : 1.9090909090909092
},
{
"divide" : 2.1818181818181817
},
{
"divide" : 2.4545454545454546
}
],
"ok" : 1
}

(5).$mod:接收两个表达式,返回第一个表达式除以第二个表达式的余数(模型)
> db.test.aggregate({$project:{iage:1,mod:{$mod:["$iage",20]},_id:0}},{$limit:3});
{
"result" : [
{
"iage" : 21,
"mod" : 1
},
{
"iage" : 24,
"mod" : 4
},
{
"iage" : 27,
"mod" : 7
}
],
"ok" : 1
}
这个表达式很特别,可以在find,和match中使用但是好像是有点问题.

> db.test.find({id:{$mod:[21,4]}}).limit(3);
{ "_id" : ObjectId("54c1ff36570ca4579ca978e8"), "id" : 4, "iname" : "Owen", "iage" : 27, "iadd" : "BeiJing", "mark" : "" }
> db.test.find({id:{$mod:[7,4]}}).limit(3);
{ "_id" : ObjectId("54c1ff36570ca4579ca978e8"), "id" : 4, "iname" : "Owen", "iage" : 27, "iadd" : "BeiJing", "mark" : "" }

以上两个查询中,在正常情况下，查询出来的id应为,1,3 不应该为4,。

(6).#日期表达式部分.
$year:年份
$month:月份
$week:一年中的第几周
$dayOfMonth:本月的第几天
$dayOfWeek:一个星期的第几天
$dayOfYear:一年中的第几天
$hour:获取小时部分
$minute:取得分钟数
$second:取得秒数
用法很单一，这里就用$year为例。
> db.test.aggregate({$project:{_id:0,iname:1,year:{$year:[new Date()]}}},{$limit:2});
{
"result" : [
{
"iname" : "ToneyDeng",
"year" : 2015
},
{
"iname" : "Jack",
"year" : 2015
}
],
"ok" : 1
}

(7).#字符串表达式
$substr:字符串截取函数,相当于mysql中substr
> db.test.aggregate({$project:{_id:0,id:1,iname:1,substr:{$substr:["$iname",0,4]}}},{$limit:2});
{
"result" : [
{
"id" : 1,
"iname" : "ToneyDeng",
"substr" : "Tone"
},
{
"id" : 2,
"iname" : "Jack",
"substr" : "Jack"
}
],
"ok" : 1
}

(8).$concat:字符串连接函数
> db.test.aggregate({$project:{_id:0,id:1,iname:1,iadd:1,concat:{$concat:["$iname"," ","$iadd"]}}},{$limit:2});
{
"result" : [
{
"id" : 1,
"iname" : "ToneyDeng",
"iadd" : "ShengZheng",
"concat" : "ToneyDeng ShengZheng"
},
{
"id" : 2,
"iname" : "Jack",
"iadd" : "ShangHai",
"concat" : "Jack ShangHai"
}
],
"ok" : 1
}

(9).$toLower:将字符串值变为小写 ,$toUpper:将字符串值变为大写
$toLower和$toUpper的使用方法一样,
> db.test.aggregate({$project:{_id:0,iname:1,toLower:{$toLower:["$iname"]}}},{$limit:2});
{
"result" : [
{
"iname" : "ToneyDeng",
"toLower" : "toneydeng"
},
{
"iname" : "Jack",
"toLower" : "jack"
}
],
"ok" : 1
}

（10）。#逻辑表达式
$cpm:接收两个表达式[exp1,exp2],如果exp1<exp2,就返回-1,如果exp1=exp2,就返回1,如果exp1>exp2就返回
> db.test.aggregate({$project:{_id:0,iname:1,iadd:1,cmp:{$cmp:["$iname","$iadd"]}}},{$limit:2});
{
"result" : [
{
"iname" : "ToneyDeng",
"iadd" : "ShengZheng",
"cmp" : 1
},
{
"iname" : "Jack",
"iadd" : "ShangHai",
"cmp" : -1
}
],
"ok" : 1
}

(11).$strcasecmp:比较两个字符串的大小（这个具体还不知道是怎么回事！，不过语法没有问题。）
> db.test.aggregate({$project:{_id:0,iname:1,iadd:1,strcasecmp:{$strcasecmp:["w","w"]}}},{$limit:2});
{
"result" : [
{
"iname" : "ToneyDeng",
"iadd" : "ShengZheng",
"strcasecmp" : 0
},
{
"iname" : "Jack",
"iadd" : "ShangHai",
"strcasecmp" : 0
}
],
"ok" : 1
}

(12).$cond:[bool,exp1,exp2],如果bool为true就返回exp1，否则返回exp2
> db.test.aggregate({$project:{_id:0,iname:1, con:{$cond:[false,"$iage","$iadd"]}}},{$limit:2});
{
"result" : [
{
"iname" : "ToneyDeng",
"con" : "ShengZheng"
},
{
"iname" : "Jack",
"con" : "ShangHai"
}
],
"ok" : 1
}

(14) 运算表达式,这几个表达式可以在find和match中用来过滤文档数量
$eq/$ne/$gt/$gte/$lt/$lte:以此为(等于/不等于/大于/大于或等于/小于/小于或等于)
$and:并且
$or:或
$not:否
$in:相当于mysql中 in
$exists:某个键是否存在。
相当于 select * from tableName where iname <>”ToneyDeng” and iage<25
> db.test.aggregate({$match:{$and:[{iname:{$ne:"ToneyDeng"}},{iage:{$lt:25}}]}});
{
"result" : [
{
"_id" : ObjectId("54c1febb570ca4579ca978e6"),
"id" : 2,
"iname" : "Jack",
"iage" : 24,
"iadd" : "ShangHai",
"mark" : ""
},
{
"_id" : ObjectId("54c20076570ca4579ca978ed"),
"id" : 9,
"iname" : "Jack",
"iage" : 23,
"iadd" : "GuangZhou",
"mark" : "Yahoo"
}
],
"ok" : 1
}

相当于:select * from tableName where id not in (1,3,5,6,7,8) or iname<>”ToneyDeng” and iage<25
> db.test.aggregate({$match: {$or:[{id:{$not:{$in:[1,3,5,6,7,8]}}} ,{$and:[{iname:{$ne:"ToneyDeng"}},{iage:{$lt:25}}]}]}});
{
"result" : [
{
"_id" : ObjectId("54c1febb570ca4579ca978e6"),
"id" : 2,
"iname" : "Jack",
"iage" : 24,
"iadd" : "ShangHai",
"mark" : ""
},
{
"_id" : ObjectId("54c1ff36570ca4579ca978e8"),
"id" : 4,
"iname" : "Owen",
"iage" : 27,
"iadd" : "BeiJing",
"mark" : ""
},
{
"_id" : ObjectId("54c20076570ca4579ca978ed"),
"id" : 9,
"iname" : "Jack",
"iage" : 23,
"iadd" : "GuangZhou",
"mark" : "Yahoo"
}
],
"ok" : 1
}

键iname 是否存在
> db.test.aggregate({$match:{iname:{$exists:true}}},{$limit:2});
{
"result" : [
{
"_id" : ObjectId("54c1fe77570ca4579ca978e5"),
"id" : 1,
"iname" : "ToneyDeng",
"iage" : 21,
"iadd" : "ShengZheng",
"mark" : ""
},
{
"_id" : ObjectId("54c1febb570ca4579ca978e6"),
"id" : 2,
"iname" : "Jack",
"iage" : 24,
"iadd" : "ShangHai",
"mark" : ""
}
],
"ok" : 1
}

(15).group:聚合操作符
#算术操作符
$sum:求和
$avg:平均数
$max:最大值
$min:最小值
$first:第一个值
$last:最后一个值
> db.test.aggregate({$group:{_id:"$iname",count:{$sum:1},sum:{$sum:"$iage"},avg:{$avg:"$iage"},max:{$max:"$iage"},min:{$min:"$iage"}}},{$limit:2});
{
"result" : [
{
"_id" : "Tom",
"count" : 3,
"sum" : 77,
"avg" : 25.666666666666668,
"max" : 27,
"min" : 25
},
{
"_id" : "Owen",
"count" : 2,
"sum" : 52,
"avg" : 26,
"max" : 27,
"min" : 25
}
],
"ok" : 1
}

得到分组中的第一个值和最后一个值
> db.test.aggregate({$group:{_id:"$iname",ct:{$sum:1},first:{$first:"$iage"},min:{$min:"$iage"},last:{$last:"$iage"}}},{$limit:2});
{
"result" : [
{
"_id" : "Tom",
"ct" : 3,
"first" : 25,
"min" : 25,
"last" : 27
},
{
"_id" : "Owen",
"ct" : 2,
"first" : 27,
"min" : 25,
"last" : 25
}
],
"ok" : 1
}

4.#数组操作符
$addTOSet:expx ,如果当前数组中不包含expx就把它添加到数组中。
$push:expx,不管expx是什么值,都expx 都添加到数组中。

5.mongo聚合操作操作还可以通过以下方式实现,
不过似乎是要写js脚本,这个就有点复杂了。
MapReduce
db.runCommand():执行数据库命令

参考链接:
/article/4587677.html

本文出自 “SQLServer MySQL” 博客，请务必保留此出处http://dwchaoyue.blog.51cto.com/2826417/1608068