在实际生产环境中,常会碰到将一些如通过通讯接口传过来的数据(文本文件 txt)导入到数据库的某张表中。通常做法是使用ORACLE自带的包功能打开文件,将文件中的数据用LOOP循环一行行读入内存数组中,之后再使用LOOP循环将内存数组写入表中。
create or replace procedure bob_tmp_700 is filehandle utl_file.file_type; filebuffer varchar2(4000); fileName varchar2(50); --记时用 v_duration interval day(1) to second(0); v_start timestamp(2); type t_table is table of tmp_bobtest%rowtype index by binary_integer; v_tmpdata t_table; --行分隔 v_tab_split TAB_SPLIT; v_loopcount number(10); begin v_loopcount:=0; --拼接文件名 fileName := 'WM_CHK' || to_char(sysdate,'yyyyMMdd') || '.txt'; --打开文件 filehandle := utl_file.fopen('FILETRANS',fileName,'r'); v_start:=systimestamp; dbms_output.put_line('开始打开文件并将数据导入内存 time: '|| v_start ); loop v_loopcount:=v_loopcount+1; begin utl_file.get_line(filehandle,filebuffer); --分隔行数据 v_tab_split := TOOLS.fn_split(filebuffer,'|'); --将一行数据给数组赋值 v_tmpdata(v_loopcount).pcmiid := v_tab_split(1); v_tmpdata(v_loopcount).pcqfje := v_tab_split(2); v_tmpdata(v_loopcount).pcycje := v_tab_split(3); v_tmpdata(v_loopcount).updatedate := to_date(v_tab_split(4),'yyyy-MM-dd'); v_tmpdata(v_loopcount).sendate := to_date(v_tab_split(5),'yyyy-MM-dd'); v_tmpdata(v_loopcount).insertdate := sysdate; v_tmpdata(v_loopcount).pcmetertype := '1'; exception when no_data_found then exit; end; end loop; v_duration:=systimestamp-v_start; dbms_output.put_line('数据导入内存完毕 time: '|| v_start ||' 用时: '||v_duration); --关闭文件 utl_file.fclose(filehandle); v_start:=systimestamp; dbms_output.put_line('开始将内存数据插入表 time: '|| v_start ); --先删除原数据 execute immediate 'truncate table tmp_bobtest'; commit; --插入数据表 for i in 1..v_tmpdata.count loop insert into tmp_bobtest values (v_tmpdata(i).pcmiid,v_tmpdata(i).pcqfje,v_tmpdata(i).pcycje,v_tmpdata(i).updatedate,v_tmpdata(i).sendate,v_tmpdata(i).insertdate,v_tmpdata(i).pcmetertype); end loop; commit; v_duration:=systimestamp-v_start; dbms_output.put_line('内存数据插入表完毕 time: '|| v_start ||' 用时: '||v_duration); end bob_tmp_700;
DBMS输出:
开始打开文件并将数据导入内存 time: 2017-03-29 19:33:35:050000
数据导入内存完毕 time: 2017-03-29 19:33:35:050000 用时: +0 00:08:03
开始将内存数据插入表 time: 2017-03-29 19:41:37:630000
内存数据插入表完毕 time: 2017-03-29 19:41:37:630000 用时: +0 00:00:19
如上面例子中我们可以看到:一共从文件中导入56万+条数据到表中,将文件中数据读取到内存数组中就花去了8分多钟,而将内存数组中的数据写到表中只用了二十多秒时间。因此使用 utl_file.get_line 方法循环读取文本文件内容非常地耗时(大概每秒1100+行),这种方法对付小批量数据问题不大,一但数据超过几十万,上百万,甚至上千万条时就非常地慢。
如果我们使用sqlldr工具则可以从文本文件里高速导入,一共只要21秒左右(大概每秒2.5万+行),翻了二十多倍。但这个工具无法在PLsql中使用,必须登录LINUX以su - oracle 身份运行。
具体是:你要创建一个控制文件,控制文件用来指示导入文本文件数据的规则
控制文件:/home/bob/sql7002.ctl
内容:
----------------------------------------------
Load data
Infile '/home/filetrans/bobWM_CHK20170329.txt'
Append into table tmp_bobtest
fields terminated by '|'
Trailing nullcols
(
pcmiid,
pcqfje,
pcycje,
updatedate "TO_DATE(:updatedate,'yyyy-mm-dd HH24:MI:SS')",
sendate "TO_DATE(:sendate,
insertdate "sysdate",
pcmetertype "1"
)
----------------------------------------------
说明:updatedate,sendate ,insertdate 为date类型。函数必须用双引号括起来,字段前要加冒号。
再执行命令:
[oracle@newmete ~]$ sqlldr userid=SZJT/SZJT@orcl control=/home/bob/sql7002.ctl log=input.log;
注意:
当加载大量数据时(大约超过10GB),最好抑制日志的产生:
sql>ALTER TABLE RESULTXT nologging;
无论哪种方式导入,都建议先关闭索引和相关约束与触发器。
Infile 指定文件名
Append into table tmp_bobtest 以追加新记录方法插入到表中
insert,为缺省方式,在数据装载开始时要求表为空
append,在表中追加新记录
replace,删除旧记录,替换成新装载的记录
truncate,直接删除旧记录
fields terminated by '|' 字段的结束符
Trailing nullcols 允许字段数据为空NULL
在 Dos 窗口下使用 sql*Loader 命令实现数据的导入
C:/>sqlldr userid=system/manager@ serviceName control=input.ctl
默认日志文件名为:input.log
默认坏记录文件为:input.bad
如果要指定每个字段列 好像只能为char 不能是其它类型 (resultid char terminated by ',',website char terminated by ',ipport char terminated by ',status char(500) terminated by whitespace)