提高数据更新效率(UPDATE/INSERT)
2010-05-11 13:11
381 查看
有多种方法可以提高更新的效率.
简单说来:
1、暂停索引,更新后恢复.避免在更新的过程中涉及到索引的重建.
2、批量更新,每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.
3、创建一临时的大的表空间用来应对这些更新动作.
=========================================================================不同看法
如果UPDATE的是索引字段,就会涉及到索引的重建,暂停索引不会提高多少的速度,反而有可能降低UPDATE速度,
因为在更新是索引可以提高数据的查询速度,重建索引引起的速度降低影响不大。
ORACLE优化修改参数最多也只能把性能提高15%,大部分都是SQL语句的优化!
=========================================================================不同位置
update总体来说比insert要慢
几点建议:
1、如果更新的数据量接近整个表,就不应该使用index而应该采用全表扫描
2、减少不必要的index,因为update表通常需要update index
3、如果你的服务器有多个cpu,采用parellel hint,可以大幅度的提高效率
前年我也遇到类似的问题,300万纪录的一个表,每天要全表更新20次左右,最初通过cursor多进程(18个进程)更新,耗时30分钟,
后来采用full+parallel hint,耗时降低到3分钟左右。服务器是ibm rs6000 s590,18个CPU,64GB内存。
另外,建表的参数非常重要,对于更新非常频繁的表,建议加大PCTFREE的值,以保证数据块中有足够的空间用于UPDATE,
从而降低CHAINED_ROWS。
=========================================================================不同位置
如果有足夠CPU以及I/O 的話....
ALTER SESSION ENABLE PARALLEL DML;
INSERT /*+ PARALLEL(tableA, 2) */
INTO tableA NOLOGGING
SELECT * FROM tableB;
當中的 2 是多少個進程同時執行. 可應不同情況加減.
=========================================================================不同位置
2比较可行的方法
方法一:使用oracle中包含在注释中的提示信息
insert /*+append*/ into ...nologing
select * from ...
方法二:使用批量拷贝方法
set arraysize 20
set copycommit 5000
copy fromusername/password@oracle_nameappend table_name1
using select * from table_name2;
实际效果,方法一要比方法二速度还要快些
/*+append */ nologging 的方法不错.
bulk insert好像需要内容足够大才可以.
=========================================================================不同位置
set autocommit 100;----------每一百条记录提交一次
set transaction use rollback segment RBS1;
INSERT INTO table1 NOLOGGING
SELECT * FROM table2;
commit;
改变表的存储策略:
ALTER TABLE aaaa1
PCTFREE 30
PCTUSED 60;
---------这两个值相加要小于100,把PCTFREE搞大,PCTUSED搞小,可能会快一点
=========================================================================不同位置
再提供一种方法,俺曾经用过的:
alter session set sort_area_size=100000000;
insert into tableb select * from tablea;
commit;
=========================================================================总结
提高更新速度总结:
1、暂停索引,更新后恢复.避免在更新的过程中涉及到索引的重建.
缺点:
如果UPDATE的是索引字段,就会涉及到索引的重建,暂停索引不会提高多少的速度,反而有可能降低UPDATE速度。
如果表比较庞大,停索引后重键需要花比较长的时间
优点:
如果更新的数据量接近整个表,此方法比较好。
2、批量更新,每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.
3、创建一临时的大的表空间用来应对这些更新动作.
4、如果你的服务器有多个cpu,采用parellel hint,可以大幅度的提高效率
ALTER SESSION ENABLE PARALLEL DML;
INSERT /*+ PARALLEL(tableA, 2) */INTO tableA NOLOGGING
SELECT * FROM tableB;
當中的 2 是多少個進程同時執行. 可應不同情況加減.
5、建表的参数非常重要,对于更新非常频繁的表,建议加大PCTFREE的值,以保证数据块中有足够的空间用于UPDATE,从而降低CHAINED_ROWS
ALTER TABLE aaaa1
PCTFREE 30
PCTUSED 60;
---------这两个值相加要小于100,把PCTFREE搞大,PCTUSED搞小,可能会快一点
6、oracle提示及批量拷贝
方法一:使用oracle中包含在注释中的提示信息
insert /*+append*/ into ...nologing
select * from ...
方法二:使用批量拷贝方法
set arraysize 20
set copycommit 5000
copy from username/password@oracle_name append table_name1
using select * from table_name2;
实际效果,方法一要比方法二速度还要快些
7、加大排序缓冲区
alter session set sort_area_size=100000000;
insert into tableb select * from tablea;
commit;
简单说来:
1、暂停索引,更新后恢复.避免在更新的过程中涉及到索引的重建.
2、批量更新,每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.
3、创建一临时的大的表空间用来应对这些更新动作.
=========================================================================不同看法
如果UPDATE的是索引字段,就会涉及到索引的重建,暂停索引不会提高多少的速度,反而有可能降低UPDATE速度,
因为在更新是索引可以提高数据的查询速度,重建索引引起的速度降低影响不大。
ORACLE优化修改参数最多也只能把性能提高15%,大部分都是SQL语句的优化!
=========================================================================不同位置
update总体来说比insert要慢
几点建议:
1、如果更新的数据量接近整个表,就不应该使用index而应该采用全表扫描
2、减少不必要的index,因为update表通常需要update index
3、如果你的服务器有多个cpu,采用parellel hint,可以大幅度的提高效率
前年我也遇到类似的问题,300万纪录的一个表,每天要全表更新20次左右,最初通过cursor多进程(18个进程)更新,耗时30分钟,
后来采用full+parallel hint,耗时降低到3分钟左右。服务器是ibm rs6000 s590,18个CPU,64GB内存。
另外,建表的参数非常重要,对于更新非常频繁的表,建议加大PCTFREE的值,以保证数据块中有足够的空间用于UPDATE,
从而降低CHAINED_ROWS。
=========================================================================不同位置
如果有足夠CPU以及I/O 的話....
ALTER SESSION ENABLE PARALLEL DML;
INSERT /*+ PARALLEL(tableA, 2) */
INTO tableA NOLOGGING
SELECT * FROM tableB;
當中的 2 是多少個進程同時執行. 可應不同情況加減.
=========================================================================不同位置
2比较可行的方法
方法一:使用oracle中包含在注释中的提示信息
insert /*+append*/ into ...nologing
select * from ...
方法二:使用批量拷贝方法
set arraysize 20
set copycommit 5000
copy fromusername/password@oracle_nameappend table_name1
using select * from table_name2;
实际效果,方法一要比方法二速度还要快些
/*+append */ nologging 的方法不错.
bulk insert好像需要内容足够大才可以.
=========================================================================不同位置
set autocommit 100;----------每一百条记录提交一次
set transaction use rollback segment RBS1;
INSERT INTO table1 NOLOGGING
SELECT * FROM table2;
commit;
改变表的存储策略:
ALTER TABLE aaaa1
PCTFREE 30
PCTUSED 60;
---------这两个值相加要小于100,把PCTFREE搞大,PCTUSED搞小,可能会快一点
=========================================================================不同位置
再提供一种方法,俺曾经用过的:
alter session set sort_area_size=100000000;
insert into tableb select * from tablea;
commit;
=========================================================================总结
提高更新速度总结:
1、暂停索引,更新后恢复.避免在更新的过程中涉及到索引的重建.
缺点:
如果UPDATE的是索引字段,就会涉及到索引的重建,暂停索引不会提高多少的速度,反而有可能降低UPDATE速度。
如果表比较庞大,停索引后重键需要花比较长的时间
优点:
如果更新的数据量接近整个表,此方法比较好。
2、批量更新,每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.
3、创建一临时的大的表空间用来应对这些更新动作.
4、如果你的服务器有多个cpu,采用parellel hint,可以大幅度的提高效率
ALTER SESSION ENABLE PARALLEL DML;
INSERT /*+ PARALLEL(tableA, 2) */INTO tableA NOLOGGING
SELECT * FROM tableB;
當中的 2 是多少個進程同時執行. 可應不同情況加減.
5、建表的参数非常重要,对于更新非常频繁的表,建议加大PCTFREE的值,以保证数据块中有足够的空间用于UPDATE,从而降低CHAINED_ROWS
ALTER TABLE aaaa1
PCTFREE 30
PCTUSED 60;
---------这两个值相加要小于100,把PCTFREE搞大,PCTUSED搞小,可能会快一点
6、oracle提示及批量拷贝
方法一:使用oracle中包含在注释中的提示信息
insert /*+append*/ into ...nologing
select * from ...
方法二:使用批量拷贝方法
set arraysize 20
set copycommit 5000
copy from username/password@oracle_name append table_name1
using select * from table_name2;
实际效果,方法一要比方法二速度还要快些
7、加大排序缓冲区
alter session set sort_area_size=100000000;
insert into tableb select * from tablea;
commit;
相关文章推荐
- 提高数据更新效率(UPDATE/INSERT)
- 提高数据更新效率(UPDATE/INSERT)
- 批量更新数据(batches update )插入数据(batches insert)
- mysql的insert与update效率提高上万倍的经历
- 数据添加(insert),删除(delete),更新(update)
- 利用android提高的的insert,query,update,deleteAPI与execSql,rawQuery函数执行原生的插入,查询,更新,删除语
- 1.利用android提高的的insert,query,update,deleteAPI与execSql,rawQuery函数执行原生的插入,查询,更新,删除语句操作花费时间的对比结果
- SQL 复习笔记2数据更新 insert、update、delete
- MySQL备忘之数据更新篇(INSERT, UPDATE, DELETE)
- SQL之merge into 批量更新数据 Merge关键字是一个神奇的DML关键字。它在SQL Server 2008被引入,它能将Insert,Update,Delete简单的并为一句。M
- 数据库 误操作(更新数据(Update),删除数据(delete),当然也包括增加大量数据(insert))之后,给出的解决方案
- 如何提高ORACLE大数据表Update效率
- 提高ITable数据更新效率
- Oracle实现数据不存在则插入,数据存在则更新(insert or update)
- discuz 如何添加数据DB::insert和更新数据DB::update 查询DB::query删除DB::delete
- C#serialport收到数据实时插入数据库 datagridview更新一行 提高效率
- MERGE语句用来合并UPDATE和INSERT语句,一张表的大数据操作,要同时进行增删改,提高性能
- 大幅提高数据更新效率技术探究
- 教你如何调整Mysql中insert、update、delete的顺序来以提高效率
- 如何提高ORACLE大数据表Update效率