sqlldr的用法 (这个最完整)

Oracle 前端之家
前端之家收集整理的这篇文章主要介绍了sqlldr的用法 (这个最完整)，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

转自:http://blog.chinaunix.net/uid-23622436-id-2394093.html

在 Oracle 数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法：

1. A 表的记录导出为一条条分号隔开的 insert 语句，然后执行插入到 B 表中
2. 建立数据库间的 dblink，然后用 create tableB as select * fromA@dblinkwhere ...，或 insert intoB select * fromA@dblinkwhere ...
3. exp A表，再 imp 到 B 表，exp 时可加查询条件
4. 程序实现 select from A ..，然后 insert into B ...，也要分批提交
5. 再就是本篇要说到的 sql Loader(sqlldr) 来导入数据，效果比起逐条 insert 来很明显

第 1 种方法在记录多时是个噩梦，需三五百条的分批提交，否则客户端会死掉，而且导入过程很慢。如果要不产生 REDO 来提高 insert into 的性能，就要下面那样做：

  1. altertableBnologging;
  2. insert/*+APPEND*/intoB(c1,c2)values(x,xx);
  3. intoBselect*fromA@dblinkwhere.....;
@H_301_64@ 好 啦，前面简述了 Oracle 中数据导入导出的各种方法，我想一定还有更高明的。下面重点讲讲 Oracle 的 sql Loader (sqlldr) 的用法。 @H_301_64@ @H_301_64@在命令行下执行 Oracle的 sqlldr 命令，可以看到它的详细参数说明，要着重关注以下几个参数： @H_301_64@ userid -- Oracle 的 username/password[@servicename] @H_301_64@ control -- 控制文件，可能包含表的数据 @H_301_64@------------------------------------------------------------------------------------------------------- @H_301_64@log -- 记录导入时的日志文件，默认为 控制文件(去除扩展名).log @H_301_64@bad -- 坏数据文件，默认为 控制文件(去除扩展名).bad @H_301_64@data -- 数据文件，一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作 @H_301_64@errors -- 允许的错误记录数，可以用他来控制一条记录都不能错 @H_301_64@rows -- 多少条记录提交一次，默认为 64 @H_301_64@skip -- 跳过的行数，比如导出的数据文件前面几行是表头或其他描述 @H_301_64@还有更多的 sqlldr 的参数说明请参考： sql loader的用法 。 @H_301_64@用例子来演示 sqlldr 的使用，有两种使用方法： @H_301_64@1. 只使用一个控制文件，在这个控制文件中包含数据 @H_301_64@2. 使用一个控制文件(作为模板) 和一个数据文件 @H_301_64@一般为了利于模板和数据的 分离，以及程序的不同分工会使用第二种方式，所以先来看这种用法。数据文件可以是 CSV 文件或者以其他分割符分隔的，数据文件可以用 PL/sql Developer 或者 Toad 导出，也可以 用 SQL *Plus 的 spool 格式化产出，或是 UTL_FILE 包生成 。另外，用 Toad 还能直接生成包含数据的控制文件。 @H_301_64@首先，假定有这么一个表 users，并插入五条记录： @H_301_64@
createtableusers(
  • user_idnumber,--用户ID
  • user_namevarchar2(50),--用户名
  • login_timesnumber,--登陆次数
  • last_logindate--最后登录日期
  • )

    • insertintousersvalues(1,'Unmi',3,sysdate);
  • values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD'));
  • values(3,'隔叶黄莺 ',8,to_date('2009-01-02','YYYY-MM-DD'));
  • values(4,'Kypfos',NULL);
  • values(5,'不知秋 ',1,to_date('2008-12-23','YYYY-MM-DD'));
    • @H_301_64@第 二种方式： 使用一个控制文件(作为模板) 和一个数据文件 @H_301_64@1) 建立数据文件，我们这里用 PL/sql Developer 导出表 users 的记录为 users_data.csv 文件，内容如下：
    "","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"
  • "1","1","Unmi","3","2009-1-520:34:44"
  • "2","2","","5","2008-10-15"
  • "3","隔叶黄莺","8","2009-1-2"
  • "4","4","Kypfos",""
  • "5","不知秋","2008-12-23"
    • @H_301_64@2) 建立一个控制文件 users.ctl，内容如下：
    OPTIONS(skip=1,rows=128)--sqlldr命令显示的 选项可以写到这里边来,skip=1用来跳过数据中的第一行
  • LOADDATA
  • INFILE"users_data.csv"--指定外部数据文件，可以写多 个INFILE"another_data_file.csv"指定多个数据文件
  • --这里还可以使 用BADFILE、DISCARDFILE来指定坏数据和丢弃数据的文件，
  • truncate--操作类型，用truncatetable来清除表中原有 记录
  • INTOTABLEusers--要插入记录的表
  • Fieldsterminatedby","--数据中每行记录用","分隔
  • Optionallyenclosedby'"'--数据中每个字段用'"'框起，比如字段中有","分隔符时
  • trailingnullcols--表的字段没有对应的值时允 许为空
  • (
  • virtual_columnFILLER,--这是一个虚拟字段，用来跳 过由PL/sqlDeveloper生成的第一列序号
  • --字段可以指定类型，否则认 为是CHARACTER类型,log文件中有显示
  • user_name,
  • login_times,
  • DATE"YYYY-MM-DDHH24:MI:SS"--指定接受日期的格式，相当用to_date()函数转换
  • 说 明：在操作类型 truncate 位置可用以下中的一值： @H_301_64@1) insert --为缺省方式，在数据装载开始时要求表为空 @H_301_64@2) append --在表中追加新记录 @H_301_64@3) replace --删除旧记录(用 delete from table 语句)，替换成新装载的记录 @H_301_64@4) truncate --删除旧记录(用 truncate table 语句)，替换成新装载的记录 @H_301_64@3) 执行命令： @H_301_64@sqlldr dbuser/dbpass@dbservice control=users.ctl @H_301_64@在 dbservice 指示的数据库的表 users 中记录就和数据文件中的一样了。 @H_301_64@执行完 sqlldr 后希望能留意一下生成的几个文件，如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件，从中可让你更好的理解 sql Loader，里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。 @H_301_64@第一种方式，只使用一个控制文件 在这个控制文件中包含数据 @H_301_64@1) 把 users_data.cvs 中的内容补到 users.ctl 中，并以 BEGINDATA 连接，还要把 INFILE "users_data.csv" 改为 INFILE *。同时为了更大化的说明问题，把数据处理了一下。此时，完整的 users.ctl 文件内容是：
    INFILE*--因为数据同控制文件在一 起，所以用*表示
  • append--这里用 了append来操作，在表users中附加记录
  • TABLEusers
  • whenLOGIN_TIMES<>'8'--还可以用when子 句选择导入符合条件的记录
  • trailingnullcols
  • (
  • virtual_columnFILLER,--跳过 由PL/sqlDeveloper生成的第一列序号
  • user_id"user_seq.nextval",--这一列直接取序列的下一值，而不用数据中提供的值
  • user_name"'Hi'||upper(:user_name)",--,还能用sql函数或运算对数据进行加工处理
  • login_timesterminated,NULLIF(login_times='NULL')--可为列单独指定分隔符
  • last_loginDATE"YYYY-MM-DDHH24:MI:SS"NULLIF(last_login="NULL")--当字段为"NULL"时就是NULL
  • )
  • BEGINDATA--数据从这里开始
  • ,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN
  • 1,Unmi,2009-1-520:34
  • 2,2,Fantasia,2008-10-15
  • 3,隔叶黄 莺,2009-1-2
  • 4,4,Kypfos,NULL,NULL
  • 5,不知 秋,2008-12-23
    • @H_301_64@2) 执行一样的命令： @H_301_64@比 如，在控制台会显示这样的信息： @H_301_64@ C:\>sqlldr dbuser/dbpass@dbservice control=users.ctl

    sql*Loader: Release 9.2.0.1.0 - Production on 星期三 1月 7 22:26:25 2009

    Copyright (c) 1982,2002,Oracle Corporation. All rights reserved.

    达到提交点，逻辑记录计数4
    达到提交点，逻辑记录计数5

    上面的控制文 件包含的内容比较复杂(演示目的)，请根据注释理解每个参数的意义。还能由此发掘更多用法。

    最后说下有关 sql *Loader 的性能与并发操作

    1) ROWS 的默认值为 64，你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/sql Developer 中一次执行几条条以上的 insert 语句的情形吗？)

    2）常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE)，而直接将数据导入到数据文件中，可以提高导入数据的 性能。当然，在很多情况下，不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。

    3) 通过指定 UNRECOVERABLE选项，可以关闭数据库的日志(是否要 alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。

    4) 对于超大数据文件的导入就要用并发操作了，即同时运行多个导入任务.

    sqlldr userid=/ control=result1.ctl direct=true parallel=true
    sqlldr userid=/ control=result2.ctl direct=true parallel=true
    sqlldr userid=/ control=result2.ctl direct=true parallel=true

    当加载大量数据时（大约超过10GB），最好抑制日志的产生：

    sql>ALTER TABLE RESULTXT nologging;

    这样不产生REDO LOG，可以提高效率。然后在 CONTROL 文件中 load data 上面加一行：unrecoverable， 此选项必须要与DIRECT共同应用。

    在并发操作时，ORACLE声称可以达到每小时处理100GB数据的能力！其实，估计能到 1－10G 就算不错了，开始可用结构 相同的文件，但只有少量数据，成功后开始加载大量数据，这样可以避免时间的浪费。

    （注意：一般只能用ASCII码形式，切记要转换编码，不然导入数据为空）

    参考：1.Oracle SQL*Loader -- 英文，sql Loader 的官方使用说明，包含多种类型的 Demo
    2.sql loader的用法 --列出了 sql loader 的选择参数的中文说明
    3.使用SQL Loader导入大量数据，避免使用SQL频繁写库-- 一个简单的例子，快带了解 sql Loader 的用法
    4.Oracle SQL Loader的详细语法
    5.oracle sql loader全攻略-- 还算名符其实。并讲了如何用 sql *Plus 的 spool 或 UTL_FILE 包生成数据文件
    6.SQL*Loader Control File Reference -- 英文，控制文件使用参考
    7.学习oracle sql loader 的使用
    8.用 sqlloader(sqlldr)装载LOB数据 -- LOB 的内类是一个外部文件，用 sql loader 导入到数据库
    9.SQLLDR直 接加载几个参数的测试
    10.Maximizing SQL*Loader Performance

    原文链接：https://www.f2er.com/oracle/211939.html

    猜你在找的Oracle相关文章

    [Oracle]记一次由sequence引发的enq sv-contention等待事件
    数据库版本：11.2.0.4 RAC(1)问题现象从EM里面可以看到，在23号早上8：45~8：55时，数据库...
    oracle统计信息的锁定与解锁
    （一）问题背景最近在对一个大约200万行数据的表查看执行计划时，发现存在异常，理论上应该...
    【转】RMAN删除过期备份或非过期备份
    （一）删除备份--DELETE命令用于删除RMAN备份记录及相应的物理文件。当使用RMAN执行备份操...
    数据恢复顾问（DRA）
    （1）DRA介绍 数据恢复顾问（Data Recovery Advise）是一个诊断和修复数据库的工具，DRA能...
    RMAN备份与恢复（一）--认识RMAN
    RMAN（Recovery Manager）是Oracle恢复管理器的简称，是集数据库备份（backup）、修复（re...
    RMAN备份与恢复（二）--RMAN常用操作学习
    （1）连接目标数据库 在RMAN中可以建立与目标数据库或恢复目录数据库的连接。与目标数据库...
    ORA-00245问题总结
    （1）问题描述 在进行数据库归档备份时（备份归档日志文件和控制文件），有时成功，有时失...
    使用RMAN对数据文件进行恢复
    （1）备份数据库 在使用RMAN进行数据库恢复之前，先用RMAN进行全库备份 （2）删除数据文件...
    Oracle使用fy_recover_data恢复truncate删除的数据
    (一)truncate操作概述在生产中，truncate是使用较多的命令，在使用不当的情况下，往往会造...
    备份与恢复（四）--RMAN使用恢复目录catalog来保存档案资料库
    （一）恢复目录概述RMAN档案资料库用于存储数据库备份、修复以及恢复所需的信息。这些信息...
    MySQLMsSQLOracleSqlitePostgre SQLMariadbMongoDBNoSQLHBaseJDBC
    undo日志persistent-cmysql-error-postal-codesql-match-almysql-5.6mysql-8.0database-tri安装路径系统错误data_dir丢失文件主从同步sql_mode数据库目录匿名用户character_seID归零数据库位置查询表重复字段查询字段截断日志SUSPECT7391Remote ServeLinked Serve玄学问题登录不上开启远程访问