并行提高oracle数据导入速度
2014-08-13 14:16
169 查看
近期有一个行业项目,需要把较大数据从文件中导入到oracle。我们使用oracle的sqlldr导入数据,当数据量较大时导入的时间过长:导入一张8千万条记录的表需要2.5个小时,太慢了。后来采用了sqlldr并行导入的方式将时间缩短到了0.8小时,这里记录一下使用过程。
这里有两点比较重要,1、如何自动生成若干条sqlldr命令和若干个control文件(一个个写有点累);2、如何同时并行执行(一个个去执行就更累了)。这里借助了集算器这个工具完成自动生成命令和控制文件,再并行执行。
【注】这里使用了集算器的并行机制来同时执行多个sqlldr命令;使用system函数调用系统命令。
下图记录了不同并行数情况下sqlldr导入速度,总体是呈线性增长的,并发任务越多,导入速度越快。
思路
将要导入的数据文件拆分成10份,然后使用多任务并行执行对应数据份数的sqlldr命令(当然也就需要同样数量的control文件),多个客户端同时往数据库中导入数据。这里有两点比较重要,1、如何自动生成若干条sqlldr命令和若干个control文件(一个个写有点累);2、如何同时并行执行(一个个去执行就更累了)。这里借助了集算器这个工具完成自动生成命令和控制文件,再并行执行。
实现步骤
主程序
负责任务控制,任务分配、调用子程序。子程序
生成具体control文件和sqlldr命令,并执行导入命令完成数据加载【注】这里使用了集算器的并行机制来同时执行多个sqlldr命令;使用system函数调用系统命令。
实际效果
由于是程序控制的并行任务,所以可以根据实际需要设置并行任务数,将机器性能发挥到最优。下图记录了不同并行数情况下sqlldr导入速度,总体是呈线性增长的,并发任务越多,导入速度越快。
相关文章推荐
- Oracle中压缩数据节省空间和提高速度
- ORACLE 大量数据insert into的速度提高
- 提高vb -》excel数据的导入速度
- Oracle sqlldr导入数据使用默认值和提高性能的方法
- 如何提高mysql导入表数据的速度
- oracle提高数据移植速度.
- Oracle中压缩数据节省空间和提高速度
- Oracle用定时任务存储过程将数据转存到历史表,提高查询速度
- oracle 数据仓库提高访问速度方法
- Oracle occi 绑定变量提高数据插入速度
- 提高Oracle历史数据查询速度研究
- Oracle数据导入导出imp/exp
- ORACLE数据导入C程序
- 想导入oracle8的数据,研究了半天...
- ORACLE数据导入Shell程序
- Oracle数据导入导出详解
- Oracle数据导入导出imp/exp命令
- Oracle数据导入导出imp/exp命令
- [导入]ORACLE 常用的SQL语法和数据对象
- Oracle中导入文本数据的方法