Oracle如何在亿级记录表中创建索引
2013-07-23 17:28
609 查看
1.前阶段做了个项目,需要将生产系统中的一个数据,导出到备份机中,这个表近40个字段,14亿条的数据。
数据抽取用的是开源的ETL工具,比较了一下,还是先导出txt文件,在导入到备份机中,速度最快。
2.下面对导入数据时遇到的问题进行分析:
问题一、不要自动创建表空间。
因表空间较大,一开始只创建了一个表空间文件,导致表空间全使用后,不能自动扩展。创建多个表空间文件,文件大小最好不起过25G。设置大的表空间比设置小的自增的表空间好处是,表空间在磁备扇区连续,查询性能较高。
问题二、参数调整
1.在workarea_size_policy=AUTO的情况下,改pga_aggregate_target=2048m。对于串行操作,一个session能使用的pga=MIN(5%PGA_AGGREGATE_TARGET,100MB),这样可以使得pga用到最大的值:
alter system set pga_aggregate_target=2048m;
2.使用并行参数,4个CPU, 可以用parallel 2 ,最多占用2个CPU, 正常情况下没问题(前提是其他应用没有占超过2个CPU的资源)
3. nologging, 绝对应该使用,会使速度大幅上升。(减少大量redo log)
4. PGA, 普通的auto pga最大才100M, 显然没有达到最好性能,应该使用manual pga
alter session set workarea_size_policy=manual;
alter session set hash_area_size=100000; -- hash_area_size 默认情况下会自动根据ort_area_size*2来调,导致sort_area_size不能超过1G, 手动设了就没问题了。
alter session set sort_area_size=2000000000; -- 在系统可用内存足够的情况下,最大可以到2G
5. 设置高一点的db_file_multiblock_read_count 也有利于提高I/O性能。保证足够大的db_cache_size可以避免free_buffer_wait的出现
6.创建完成后分析索引.
7. 可以通过v$session_longops 来监视进度
数据抽取用的是开源的ETL工具,比较了一下,还是先导出txt文件,在导入到备份机中,速度最快。
2.下面对导入数据时遇到的问题进行分析:
问题一、不要自动创建表空间。
因表空间较大,一开始只创建了一个表空间文件,导致表空间全使用后,不能自动扩展。创建多个表空间文件,文件大小最好不起过25G。设置大的表空间比设置小的自增的表空间好处是,表空间在磁备扇区连续,查询性能较高。
问题二、参数调整
1.在workarea_size_policy=AUTO的情况下,改pga_aggregate_target=2048m。对于串行操作,一个session能使用的pga=MIN(5%PGA_AGGREGATE_TARGET,100MB),这样可以使得pga用到最大的值:
alter system set pga_aggregate_target=2048m;
2.使用并行参数,4个CPU, 可以用parallel 2 ,最多占用2个CPU, 正常情况下没问题(前提是其他应用没有占超过2个CPU的资源)
3. nologging, 绝对应该使用,会使速度大幅上升。(减少大量redo log)
4. PGA, 普通的auto pga最大才100M, 显然没有达到最好性能,应该使用manual pga
alter session set workarea_size_policy=manual;
alter session set hash_area_size=100000; -- hash_area_size 默认情况下会自动根据ort_area_size*2来调,导致sort_area_size不能超过1G, 手动设了就没问题了。
alter session set sort_area_size=2000000000; -- 在系统可用内存足够的情况下,最大可以到2G
5. 设置高一点的db_file_multiblock_read_count 也有利于提高I/O性能。保证足够大的db_cache_size可以避免free_buffer_wait的出现
6.创建完成后分析索引.
7. 可以通过v$session_longops 来监视进度
相关文章推荐
- [Oracle]如何在亿级记录表中创建索引
- [Oracle]如何在亿级记录表中创建索引
- [Oracle]如何在亿级记录表中创建索引(转)
- 如何在亿级记录表中创建索引(转)
- 如何解决Oracle“不能创建唯一索引,发现重复记录”问题
- Oracle中重建索引时如何解决“无法为表空间 XXXXXX 中的段创建INITIAL区”错误 .
- ORACLE下如何获得全部的索引创建语句
- Oracle 如何创建和使用全文索引
- Oracle中如何导出存储过程、函数、包和触发器的定义语句?如何导出表的结构?如何导出索引的创建语句?
- Oracle中如何导出存储过程、函数、包和触发器的定义语句?如何导出表的结构?如何导出索引的创建语句?
- Oracle 如何创建和使用全文索引
- ORACLE下如何获得全部的索引创建语句
- oracle 如何预估将要创建的索引的大小
- oracle创建索引---如何创建所以
- Oracle 11g Release 1 (11.1) Oracle Text 如何创建 CTXCAT 索引
- 如何解决Oracle“不能创建唯一索引,发现重复记录”问题
- Oracle 11g Release 1 (11.1) Oracle Text 如何创建 CONTEXT 索引
- Oracle新手入门:如何提高索引创建速度?
- Oracle之如何在线创建索引,并且不影响update
- oracle sql中涉及is null时如何优化(索引创建和直方图)