ORACLE 快速批量导入文本数据到数据库(sqlldr工具)方法与分析

在实际生产环境中，常会碰到将一些如通过通讯接口传过来的数据（文本文件 txt）导入到数据库的某张表中。通常做法是使用ORACLE自带的包功能打开文件，将文件中的数据用LOOP循环一行行读入内存数组中，之后再使用LOOP循环将内存数组写入表中。

例如将一个文本文件56万+行数据导入数据库表：

create or replace procedure bob_tmp_700 is
filehandle utl_file.file_type;
filebuffer varchar2(4000);
fileName   varchar2(50);
--记时用
v_duration interval day(1) to second(0);
v_start timestamp(2);

type t_table is table of tmp_bobtest%rowtype index by binary_integer;
v_tmpdata t_table;
--行分隔
v_tab_split TAB_SPLIT;
v_loopcount   number(10);

begin
v_loopcount:=0;
--拼接文件名
fileName := 'WM_CHK' || to_char(sysdate, 'yyyyMMdd') || '.txt';
--打开文件
filehandle := utl_file.fopen('FILETRANS', fileName, 'r');

v_start:=systimestamp;
dbms_output.put_line('开始打开文件并将数据导入内存  time: '|| v_start );

loop
v_loopcount:=v_loopcount+1;
begin
utl_file.get_line(filehandle, filebuffer);
--分隔行数据
v_tab_split := TOOLS.fn_split(filebuffer, '|');
--将一行数据给数组赋值
v_tmpdata(v_loopcount).pcmiid       := v_tab_split(1);
v_tmpdata(v_loopcount).pcqfje       := v_tab_split(2);
v_tmpdata(v_loopcount).pcycje       := v_tab_split(3);
v_tmpdata(v_loopcount).updatedate   := to_date(v_tab_split(4), 'yyyy-MM-dd');
v_tmpdata(v_loopcount).sendate      :=  to_date(v_tab_split(5), 'yyyy-MM-dd');
v_tmpdata(v_loopcount).insertdate   := sysdate;
v_tmpdata(v_loopcount).pcmetertype := '1';

exception
when no_data_found then
exit;
end;
end loop;

v_duration:=systimestamp-v_start;
dbms_output.put_line('数据导入内存完毕  time: '|| v_start ||'    用时: '||v_duration);
--关闭文件
utl_file.fclose(filehandle);

v_start:=systimestamp;
dbms_output.put_line('开始将内存数据插入表  time: '|| v_start );
--先删除原数据
execute immediate 'truncate table tmp_bobtest';
commit;
--插入数据表
for i in 1..v_tmpdata.count loop
insert into tmp_bobtest values  (v_tmpdata(i).pcmiid,v_tmpdata(i).pcqfje,v_tmpdata(i).pcycje,v_tmpdata(i).updatedate,v_tmpdata(i).sendate,v_tmpdata(i).insertdate,v_tmpdata(i).pcmetertype);
end loop;
commit;
v_duration:=systimestamp-v_start;
dbms_output.put_line('内存数据插入表完毕  time: '|| v_start ||'    用时: '||v_duration);

end bob_tmp_700;

DBMS输出：

开始打开文件并将数据导入内存  time: 2017-03-29 19:33:35:050000

数据导入内存完毕  time: 2017-03-29 19:33:35:050000    用时: +0 00:08:03

开始将内存数据插入表  time: 2017-03-29 19:41:37:630000

内存数据插入表完毕  time: 2017-03-29 19:41:37:630000    用时: +0 00:00:19

如上面例子中我们可以看到：一共从文件中导入56万+条数据到表中，将文件中数据读取到内存数组中就花去了8分多钟，而将内存数组中的数据写到表中只用了二十多秒时间。因此使用 utl_file.get_line 方法循环读取文本文件内容非常地耗时（大概每秒1100+行），这种方法对付小批量数据问题不大，一但数据超过几十万，上百万，甚至上千万条时就非常地慢。

如果我们使用sqlldr工具则可以从文本文件里高速导入，一共只要21秒左右（大概每秒2.5万+行），翻了二十多倍。但这个工具无法在PLSQL中使用，必须登录LINUX以su - oracle 身份运行。

具体是：你要创建一个控制文件，控制文件用来指示导入文本文件数据的规则

控制文件：/home/bob/sql7002.ctl

内容：

----------------------------------------------

Load data

Infile '/home/filetrans/bobWM_CHK20170329.txt'

Append into table tmp_bobtest

fields terminated by '|'

Trailing nullcols

(

pcmiid,

pcqfje,

pcycje,

updatedate "TO_DATE(:updatedate,'yyyy-mm-dd HH24:MI:SS')",

sendate "TO_DATE(:sendate,'yyyy-mm-dd HH24:MI:SS')",

insertdate "sysdate",

pcmetertype "1"

)

----------------------------------------------

说明：updatedate，sendate ，insertdate 为date类型。函数必须用双引号括起来，字段前要加冒号。

再执行命令：

[oracle@newmete ~]$ sqlldr userid=SZJT/SZJT@orcl control=/home/bob/sql7002.ctl log=input.log;

注意：

当加载大量数据时（大约超过10GB），最好抑制日志的产生：

SQL>ALTER TABLE RESULTXT nologging;

无论哪种方式导入，都建议先关闭索引和相关约束与触发器。

Infile 指定文件名

Append into table tmp_bobtest 以追加新记录方法插入到表中

insert，为缺省方式，在数据装载开始时要求表为空

append，在表中追加新记录

replace，删除旧记录，替换成新装载的记录

truncate，直接删除旧记录

fields terminated by '|'  字段的结束符

Trailing nullcols 允许字段数据为空NULL

在 Dos 窗口下使用 SQl*Loader 命令实现数据的导入

C:/>sqlldr userid=system/manager@ serviceName control=input.ctl

默认日志文件名为：input.log

默认坏记录文件为：input.bad

如果要指定每个字段列  好像只能为char 不能是其它类型

(resultid char terminated by ',',

website char terminated by ',',

ipport char terminated by ',',

status char(500) terminated by whitespace)