mongodb遍历万亿级数据,论索引的重要性
2017-12-13 11:28
851 查看
【背景】有160万用户账号数据,200万终端账号数据,需要在160万用户账号数据中排除所有账号数据,那就需要遍历 160万 * 200万 = 3200000000000 次运算 ,3万2000亿次!
用mongodbimport的upsert 命令
这个命令会把找到的数据替换调,举例:原有集合 uid,aa,bb xxx.csv 里面的数据 uid,cc 这个命令执行之后,新的集合数据为 uid,cc 数据被替换了,如果你想添加字段,弄成 uid,aa,bb,cc 这样,mongoimport这个命令貌似是不支持的,需要自己用程序实现。
言归正传,这个命令跑起来非常慢,一个小时更新几十k的数据,我突然想到用增加索引试一试,db.xxx.ensureIndex({"uid":1}); 没想到啊! 这么命令执行之后,效果立竿见影,速度一下就上来了,剩下的数据,总共27.7MB (建序列之前,跑了2个多小时,跑了88KB) 40分钟跑完!
牛逼了! 索引 32k亿次运算啊
用mongodbimport的upsert 命令
mongoimport --db xxx --host xxx --port 27017 --username xxx--password xxx --collection xxx --type csv --headerline --upsertFields uid --file /data/xxx/xxx.csv --numInsertionWorkers 8
这个命令会把找到的数据替换调,举例:原有集合 uid,aa,bb xxx.csv 里面的数据 uid,cc 这个命令执行之后,新的集合数据为 uid,cc 数据被替换了,如果你想添加字段,弄成 uid,aa,bb,cc 这样,mongoimport这个命令貌似是不支持的,需要自己用程序实现。
言归正传,这个命令跑起来非常慢,一个小时更新几十k的数据,我突然想到用增加索引试一试,db.xxx.ensureIndex({"uid":1}); 没想到啊! 这么命令执行之后,效果立竿见影,速度一下就上来了,剩下的数据,总共27.7MB (建序列之前,跑了2个多小时,跑了88KB) 40分钟跑完!
牛逼了! 索引 32k亿次运算啊
相关文章推荐
- MongoDB 索引数据类型优化,节省60%内存
- mongodb数据文件结构——record是内嵌BSON的双向链表,多个record或索引组成extent
- mongodb单机1亿数据索引测试
- MongoDB 1000W级数据 Insert和Query和Delete性能测试(分别测试 不加索引 和 加索引)
- mongodb 建立唯一索引,去除重复数据
- Solr(搜索引擎服务)和MongoDB通过mongodb-connector进行数据同步的解决方案,以及遇到的各种坑的总结(针对solr-5.3.x版本),mongodb和solr实现实时增量索引
- MongoDB数据模型和索引学习总结
- mongodb nosql 大数据提高查询速度-索引
- MongoDB数据模型和索引学习总结
- mongodb在重复数据的集合里建立唯一索引
- MongoDB 索引数据类型优化,节省60%内存
- 显示游标通过索引遍历数据
- MongoDB - 空间数据存储、建立索引、空间查询
- Elasticsearch中的索引数据Index同步到Mongodb中的集合collection中
- python操作mongodb之八地理索引空间数据
- mongodb安装Windows服务、数据备份还原、数据失效、建立索引、主从配置
- 遍历表中所有的数据(通过key值来获取的,而不是i(索引)值)
- Mongodb--TTL索引(Mongodb自动删除数据)
- MongoDB自动删除过期数据--TTL索引
- ko.js 数据遍历——获取索引