您的位置:首页 > 数据库 > Mongodb

mongodb遍历万亿级数据,论索引的重要性

2017-12-13 11:28 851 查看
【背景】有160万用户账号数据,200万终端账号数据,需要在160万用户账号数据中排除所有账号数据,那就需要遍历 160万 * 200万 = 3200000000000 次运算 ,3万2000亿次!

用mongodbimport的upsert 命令

mongoimport --db xxx --host xxx --port 27017 --username xxx--password xxx --collection xxx --type csv --headerline --upsertFields uid --file /data/xxx/xxx.csv --numInsertionWorkers 8


这个命令会把找到的数据替换调,举例:原有集合 uid,aa,bb xxx.csv 里面的数据 uid,cc 这个命令执行之后,新的集合数据为 uid,cc 数据被替换了,如果你想添加字段,弄成 uid,aa,bb,cc 这样,mongoimport这个命令貌似是不支持的,需要自己用程序实现。

言归正传,这个命令跑起来非常慢,一个小时更新几十k的数据,我突然想到用增加索引试一试,db.xxx.ensureIndex({"uid":1}); 没想到啊! 这么命令执行之后,效果立竿见影,速度一下就上来了,剩下的数据,总共27.7MB (建序列之前,跑了2个多小时,跑了88KB) 40分钟跑完!

牛逼了! 索引 32k亿次运算啊
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  mongodb 索引