mysql 控制每次批量插入5w条记录思路
2017-05-04 14:19
148 查看
由于业务中使用到word分词,所以数据量比较大,需要把分出来的结果插入到数据库,每次插入1条的话,非常慢,所以使用批量插入
具体思路如下:
keyWordList总长度:96221
循环次数:50000
成功插入关键词:96221;所用时间:4秒
keyWordList总长度:38314
成功插入关键词:38314;所用时间:1秒
keyWordList总长度:161874
循环次数:50000
循环次数:100000
循环次数:150000
成功插入关键词:161874;所用时间:6秒
各位高人如有其他好的方法可以一起探讨
具体思路如下:
long start=System.currentTimeMillis(); if(keyWordList!=null&&!keyWordList.isEmpty()){ //最终插入的条数 Integer effectRow = 0; //总共需要插入的条数 int totalNum=keyWordList.size(); System.out.println("keyWordList总长度:"+totalNum); //每次插入的条数 int onceNum=50000; for(int i=onceNum;i<totalNum;i+=onceNum){ effectRow += keyWordService.insertBatch(keyWordList.subList(i-onceNum, i)); System.out.println("循环次数:"+i); } effectRow += keyWordService.insertBatch(keyWordList.subList(totalNum/onceNum*onceNum, totalNum)); long end=System.currentTimeMillis(); System.out.println("成功插入关键词:"+effectRow+";所用时间:"+(end-start)/1000+"秒"); }优化后的结果很明显:
keyWordList总长度:96221
循环次数:50000
成功插入关键词:96221;所用时间:4秒
keyWordList总长度:38314
成功插入关键词:38314;所用时间:1秒
keyWordList总长度:161874
循环次数:50000
循环次数:100000
循环次数:150000
成功插入关键词:161874;所用时间:6秒
各位高人如有其他好的方法可以一起探讨
相关文章推荐
- mysql 控制每次批量插入5w条记录思路
- mysql妙用:批量插入记录,遇到重复记录则为自动更新
- mysql中一条insert语句批量插入多条记录
- mysql中一条insert语句批量插入多条记录
- 【日记】利用VB.NET实现MYSQL和MSSQL进行批量插入记录的方法及比较
- MySQL使用INSERT插入多条记录, 批量新增数据
- sql语句之随机查询记录和批量插入--基于mysql
- Mysql使用insert插入多条记录 批量新增数据
- MySQL 在触发器里中断记录的插入或更新?
- mysql 快速插入(insert)多条记录
- MySQL分表实现上百万上千万记录分布存储的批量查询设计模式
- mysql的两个技巧(key记录存在则替换,不存在则插入和key记录存在则更新,不存在则插入)
- MySQL 中如何在触发器里中断记录的插入或更新?
- java代码执行mysql的数据备份和批量数据插入!
- mysql 存在该记录则更新,不存在则插入的sql
- C 批量保存图片进 mysql 利用MYSQL_BIND插入longblob
- sql server:向表中批量插入记录时如何避免重复插入记录
- MySQL 当记录不存在时插入(insert if not exists)
- MySQL 在触发器里中断记录的插入或更新?
- Oracle 批量插入记录