分享高性能批量插入和批量删除sql语句写法
2012-12-25 13:00
381 查看
在笔者的首篇博文(http://www.cnblogs.com/zhangql/archive/2008/09/26/1299289.HTML)中,有下面一段表述:
技术水平总能在扯皮和吹毛求疵中得到提高。如果从来不“求疵”,可能就不会知道if(str != "")不如if(str != string.Empty)高效、批量插入和删除的sql语句是要那样写才执行最快、接口和抽象类的区别不仅是语言层面、原来权限管理是要这样设计的、某个类那样设计职责才更单一更易于扩展……
本来前两篇文章是学习cnblogs编辑控件用的,看到跟贴的朋友询问批量插入和批量删除的问题,决定整理成文和大家分享。
我们这里讨论的只是普通sql语句如何写更高效,不考虑特殊的用文件中转等导入方式,毕竟在代码中调用sql语句或存储过程才更方便。
批量删除很简单,大家可能都用过:
DELETE FROM TestTable WHERE ID IN (1, 3, 54, 68) --sql2005下运行通过
当用户在界面上不连续的选择多项进行删除时,该语句比循环调用多次删除或多条delete语句中间加分号一次调用等方法都高效的多。
本文重点讲述的是批量插入的写法:
sql写法:
INSERT INTO TestTable SELECT 1, 'abc' UNION SELECT 2, 'bcd' UNION SELECT 3, 'cde' --TestTable表没有主键,ID不是主键
Oracle写法:
INSERT INTO TestTable SELECT 1, 'abc' From daul UNION SELECT 2, 'bcd' From daul --TestTable表没有主键,ID不是主键
曾经测试过,这种写法插入1000条数据比循环调用1000次insert或1000条insert语句简单叠加一次调用要高效得多,大概快20多倍(调试状态不是太准)。其实很简单,就用了个union(union all 也可以),但当时得出测试结果时还是很惊喜的。
要得出这个结果需要两个条件:
1、表不能有主键或者主键是数据库默认的(sql用自动递增列,Oracle用序列)
2、组合sql语句时只能直接用字符串连接,不能用参数化sql语句的写法(就是在组合的sql中用@parm做占位符,再给Command对象添加Parameter)
以上两条任意一条不满足,效率的提高都不明显。
另外,sql语句的最大长度有限制,组合几千条数据写成一条insert语句,可能会超过上限,所以如果有5000条数据,可以一次insert 1000条,分5次写完(不一定一次1000条最合适,有兴趣的朋友可以研究)。
声明:看了几位朋友的评论后发现自己没有叙述清楚
上面的两个条件并不是说这样做就好,而是说当应用场景满足这两个条件时才适合用union的写法
当时用这种写法时,是为了解决一个WinForm程序批量导入手机号码的问题,程序给自己人用,Excel文件也是可靠的,不需要考虑sql攻击。还有一些场景是大量数据来源于通过Gprs网络连接的专用终端,总之数据来源是可靠的,还有就是数据量很大但不可能巨大。
PS:常常遇到一些小技巧或者值得注意的小细节,没有记下来,要等下次再遇到时才想起来。现在下决心要养成好的工作习惯,留此文为证。
能够整理成文的要写在项目组开发规范中,其它的至少要记录下来。
技术水平总能在扯皮和吹毛求疵中得到提高。如果从来不“求疵”,可能就不会知道if(str != "")不如if(str != string.Empty)高效、批量插入和删除的sql语句是要那样写才执行最快、接口和抽象类的区别不仅是语言层面、原来权限管理是要这样设计的、某个类那样设计职责才更单一更易于扩展……
本来前两篇文章是学习cnblogs编辑控件用的,看到跟贴的朋友询问批量插入和批量删除的问题,决定整理成文和大家分享。
我们这里讨论的只是普通sql语句如何写更高效,不考虑特殊的用文件中转等导入方式,毕竟在代码中调用sql语句或存储过程才更方便。
批量删除很简单,大家可能都用过:
DELETE FROM TestTable WHERE ID IN (1, 3, 54, 68) --sql2005下运行通过
当用户在界面上不连续的选择多项进行删除时,该语句比循环调用多次删除或多条delete语句中间加分号一次调用等方法都高效的多。
本文重点讲述的是批量插入的写法:
sql写法:
INSERT INTO TestTable SELECT 1, 'abc' UNION SELECT 2, 'bcd' UNION SELECT 3, 'cde' --TestTable表没有主键,ID不是主键
Oracle写法:
INSERT INTO TestTable SELECT 1, 'abc' From daul UNION SELECT 2, 'bcd' From daul --TestTable表没有主键,ID不是主键
曾经测试过,这种写法插入1000条数据比循环调用1000次insert或1000条insert语句简单叠加一次调用要高效得多,大概快20多倍(调试状态不是太准)。其实很简单,就用了个union(union all 也可以),但当时得出测试结果时还是很惊喜的。
要得出这个结果需要两个条件:
1、表不能有主键或者主键是数据库默认的(sql用自动递增列,Oracle用序列)
2、组合sql语句时只能直接用字符串连接,不能用参数化sql语句的写法(就是在组合的sql中用@parm做占位符,再给Command对象添加Parameter)
以上两条任意一条不满足,效率的提高都不明显。
另外,sql语句的最大长度有限制,组合几千条数据写成一条insert语句,可能会超过上限,所以如果有5000条数据,可以一次insert 1000条,分5次写完(不一定一次1000条最合适,有兴趣的朋友可以研究)。
声明:看了几位朋友的评论后发现自己没有叙述清楚
上面的两个条件并不是说这样做就好,而是说当应用场景满足这两个条件时才适合用union的写法
当时用这种写法时,是为了解决一个WinForm程序批量导入手机号码的问题,程序给自己人用,Excel文件也是可靠的,不需要考虑sql攻击。还有一些场景是大量数据来源于通过Gprs网络连接的专用终端,总之数据来源是可靠的,还有就是数据量很大但不可能巨大。
PS:常常遇到一些小技巧或者值得注意的小细节,没有记下来,要等下次再遇到时才想起来。现在下决心要养成好的工作习惯,留此文为证。
能够整理成文的要写在项目组开发规范中,其它的至少要记录下来。
相关文章推荐
- 分享高性能批量插入和批量删除sql语句写法
- 分享高性能批量插入和批量删除sql语句写法
- 分享高性能批量插入和批量删除sql语句写法
- 分享高性能批量插入和批量删除sql语句写法
- 使用“一条”SQL语句完成批量插入和批量删除操作
- 如何写高效的批量插入和删除sql语句 -sql语句 删除主键
- 对于MSSQL数据库被插入的木马可用SQL语句批量删除的方法。
- MSSQL数据库被插入木马如何用SQL语句批量删除
- 如何写高效的批量插入和删除sql语句
- Mysql如何批量删除具有相同表前缀的数据表(纯SQL语句)
- 处理数据批量生成sql插入语句
- sql insert into select语句写法-将查询结果直接插入到表中
- python脚本批量生成50000条插入数据的sql语句
- mybatis针对Oracle数据库进行(单个或多个条件)批量操作(新增、修改、删除)的sql写法--mysql
- PHP 批量删除 sql语句
- sql语句批量插入测试数据
- 使用T-SQL语句插入、更新、删除数据表
- 【分享】通过Excel生成批量SQL语句,处理大量数据的好办法
- EF监听生成的所有sql语句(包括插入,删除sql)
- MySQL中批量删除指定前缀表的sql语句