关于mysql上万条数据同时插入时的性能优化
2015-10-20 11:38
513 查看
由于项目需要,要求是要单次往数据库里插入10000条数据,刚开始写得代码如下:
这段代码是将这10000条数据循环插入数据库,效率是比较低,但还可以忍受,这里插入的时间没有测算,估计在10秒以内。这时候我手贱,搞了五万条数据给同时插入,这时候问题来了,浏览器直接提示内存溢出(后来试了插入三万条数据没有提示溢出,但依然花了大概30秒时间)。有大神解释是用了yii2的语法会导致多余内存占用,建议用原生sql语句,然后我把上面的代码改造下面的:
然后客户端浏览器依然提示内存溢出(这时候插入三万条数据的时候花了大概23秒时间,有进步,但还是不理想,所以继续倒腾),所以只好在index.php里加上一句
将客户端内存大小设置为1GB(不知道这样表述正不正确,望指正),这时候插入五万条数据的时候没有提示内存溢出,但是执行速度还是很慢,五万条数据30秒内都插不完,最后提示超时。
所以总结下来,将yii2语法改成了原生sql性能也只是提升一些,但也并不是想要的效果。后来在网上找了一些插入大量数据性能优化资料,提到了比较重要的一点是将
这样的单条单条的insert语句改造成
这种一次insert多条记录,性能会提升比较明显,所以我就开始试验这种方法,将每条记录在代码里循环拼接成一条原生insert语句再进行插入(想想感觉可行性很高),拼接完成后依然继续插入五万条数据,拼接出来的sql语句就成了
浏览器运行插入数据的页面,bong...,提示Mysql server has gone away!,mysql崩溃了。蛋疼~!然后寻思着将这五万条数据分批次进行插入,这样就不会产生数据库崩溃的情况,所以我将这五万条数据按照五千个一组分批插入,最后再运行这个页面,bong...五万条数据两秒之内就给全部插入进去了,两秒。。(这里已经去掉了前面加上的ini_set('memory_limit','1024M');)效率跟之前比提高了几十倍,瞬间感觉整个人都变好了。又试了再插入三万条数据,1秒之内搞定。下面贴出部分参考代码
另外,这些代码外层都放了事务回滚的!将多条insert放入事务中也会提升一点数据插入的性能!
啧啧,感觉优化成果非常好,所以这里给大家分享出来,有需要的同类可以参考一下,有什么问题或者本文错误请一定下方留言让我一一回答或更正本文,万分感激!
$code = new Code(); foreach ($codeModel as $v) { $_code = clone $code; $_code->rid = $rid; $_code->created_at = time(); $_code->setAttributes($v); $_code->save(); }
这段代码是将这10000条数据循环插入数据库,效率是比较低,但还可以忍受,这里插入的时间没有测算,估计在10秒以内。这时候我手贱,搞了五万条数据给同时插入,这时候问题来了,浏览器直接提示内存溢出(后来试了插入三万条数据没有提示溢出,但依然花了大概30秒时间)。有大神解释是用了yii2的语法会导致多余内存占用,建议用原生sql语句,然后我把上面的代码改造下面的:
$db = Yii::$app->db; foreach ($codeModel as $v) { $db->createCommand('insert into w_code (rid,cid,regcode,used_times,status,reason_id,created_at) values (:rid,:cid,:regcode,:used_times,:status,:reason_id,:created_at)', [':rid'=>$rid,':cid'=>$v['cid'],':regcode'=>$v['regcode'],':used_times'=>0,':status'=>$v['status'],':reason_id'=>0,':created_at'=>time()])->execute(); }
然后客户端浏览器依然提示内存溢出(这时候插入三万条数据的时候花了大概23秒时间,有进步,但还是不理想,所以继续倒腾),所以只好在index.php里加上一句
ini_set('memory_limit','1024M');
将客户端内存大小设置为1GB(不知道这样表述正不正确,望指正),这时候插入五万条数据的时候没有提示内存溢出,但是执行速度还是很慢,五万条数据30秒内都插不完,最后提示超时。
所以总结下来,将yii2语法改成了原生sql性能也只是提升一些,但也并不是想要的效果。后来在网上找了一些插入大量数据性能优化资料,提到了比较重要的一点是将
insert into tablename(f1,f2,...) values (d1,d2,...); insert into tablename(f1,f2,...) values (d1,d2,...); ...
这样的单条单条的insert语句改造成
insert into tablename(f1,f2,...) values (d1,d2,...),(d1,d2,...),(d1,d2,...);
这种一次insert多条记录,性能会提升比较明显,所以我就开始试验这种方法,将每条记录在代码里循环拼接成一条原生insert语句再进行插入(想想感觉可行性很高),拼接完成后依然继续插入五万条数据,拼接出来的sql语句就成了
insert into tablename(f1,f2,...) values (d1,d2,...),(d1,d2,...),(d1,d2,...)...;//此处省略了49997条记录
浏览器运行插入数据的页面,bong...,提示Mysql server has gone away!,mysql崩溃了。蛋疼~!然后寻思着将这五万条数据分批次进行插入,这样就不会产生数据库崩溃的情况,所以我将这五万条数据按照五千个一组分批插入,最后再运行这个页面,bong...五万条数据两秒之内就给全部插入进去了,两秒。。(这里已经去掉了前面加上的ini_set('memory_limit','1024M');)效率跟之前比提高了几十倍,瞬间感觉整个人都变好了。又试了再插入三万条数据,1秒之内搞定。下面贴出部分参考代码
//下面是大于5000条数据拼接算法,小于5000条就没贴出来了 $chu = (int)($count/5000);//取整 $yu = $count%5000;//取余 for ($i=0; $i < $chu; $i++) { //每5000条数据组成一个insert语句,$codeModel是存放记录的一个数组 $values = ''; for ($j=$i*5000; $j < ($i+1)*5000; $j++) { //拼接values的值 $values .= '('.$codeModel[$j]['rid'].','.$codeModel[$j]['cid'].',"'.$codeModel[$j]['regcode'].'",0,'.$codeModel[$j]['status'].',0,'.time().'),'; } $values = "insert into w_code (rid,cid,regcode,used_times,status,reason_id,created_at) values".substr($values,0,-1).';'; Yii::$app->db->createCommand($values)->execute(); }
另外,这些代码外层都放了事务回滚的!将多条insert放入事务中也会提升一点数据插入的性能!
啧啧,感觉优化成果非常好,所以这里给大家分享出来,有需要的同类可以参考一下,有什么问题或者本文错误请一定下方留言让我一一回答或更正本文,万分感激!
相关文章推荐
- LabVIEW访问MySQL数据库的一种简单方法
- MySQL锁定状态查看命令
- MySQL数据库MyISAM和InnoDB存储引擎的比较
- MySql 插入数据中文乱码
- MySQL查看表占用空间大小
- mysql分表的三种方法
- MYSQL数据库备份与恢复
- 源码编译安装 MySQL 5.5.x 实践
- windows 环境下 mysql,命令导入\导出表结构或数据
- mysql登录错误或者密码错误
- MySQL for Mac 安装和基本操作
- mysql日志介绍
- mysql 通过使用联全索引优化Group by查询
- MySQL快速命令
- mysql workbench建表时PK,NN,UQ,BIN,UN,ZF,AI
- 使用c3p0与DBCP连接池,造成的MySql 8小时问题解决方案
- MySQL用户权限详细汇总
- 10分钟学会理解和解决MySQL乱码问题
- mysql的binlog恢复日志
- 【MYSQL】5.7的GA版发布