Datapump和RMAN学习资料.doc

Datapump和RMAN培训学习资料数据传输技术DataPump=Data Pump 从oracledatabase 10g开始引入了data pump(数据泵)工具，它提供了一种基于服务器的数据导出导入使用程序。 所有的data pump都作为一个服务器进程，数据不再必须由一个客户程序处理。Data Pump工具的导出和导入实现 Oracle数据库之间数据的传输。 Data Pump工具中包含Data Pump Export和Data Pump Import，所使用的命令行客户程序为expdp和impdp。 【注意】 在10g之前，传统的导出导入分别使用exp工具和imp工具。从oracle database 10g开始，不仅保留了原有的 exp和imp工具，还提供了数据泵导出导入工具expdp和impdp。 从11g开始，在传统的export和import应用程序中可用的任何特性在data pump中都可用。 在使用expdp和impdp工具时，应该注意以下几点： 1 exp和imp是客户端工具程序，它们既可以在客户端使用，也可以在服务器端使用。 2 expdp和impdp是服务器工具程序，它们只能在oracle服务器端使用，不能再客户端使用。 3 imp只适用于exp导出的文件，不适用于expdp导出文件；impdp只适用与expdp导出的文 件，不适用于exp导出文件。data pump导出导入所得到的文件跟传统的import/export 应用程序导出导入的文件不兼容。 【pump特点】 与原有的export和import使用程序相比，oracle的data pump工具的功能特点如下： 1 在导出或者导入作业中，能够控制用于此作业的并行线程的数量。 2 支持在网络上进行导出导入，而不需要是使用转储文件集。 3 如果作业失败或者停止，能够重新启动一个data pump作业。并且能够挂起恢复导出导入作业。 4 通过一个客户端程序能够连接或者脱离一个运行的作业。 5 空间估算能力，而不需要实际执行导出。 6 可以指定导出导入对象的数据库版本。允许对导出导入对象进行版本控制，以便与低版本数据库兼容。 【pump数据字典】 数据字典 说明 dba_datapump_jobs 显示运行数据泵作业的信息，也可以使用user_datapump_jobs变量 dba_datapump_sessions 提供数据泵作业会话级别的信息 datapump_paths 提供一系列有效的对象类型，可以将其与export或者impdp的include或者exclude参数关联起来 dba_directories 提供一系列已定义的目录 -21.2 使用datapump工具的准备工作 1 在环境变量中队bin目录进行配置。默认情况下，安装oracle数据库时，将自动配置相应的环境变量， 例如D:oracleproduct10.2.0db_1BIN 2 在oracle安装路径的bin文件夹中，确定expdp.exe和impdp.exe文件的存在。 3 创建一个外部目录。 data pump要求为将要创建和读取的数据文件和日志文件创建目录，用来指向 使用的外部目录。在oracle中创建目录对象时，可以使用 create directory 语句。 【实例】 1，检查，高级环境变量-pathpath里面有无bin目录 2，检查expdp.exe、impdp.exe文件是否存在。 3，建立目录 c: sqlplus /nolog sql conn sys/sys as sysdba sql create directory mypump as d:apptemp; sql grant read, write on directory mypump to scott; sql select * from dba_directories; 查询所有目录 -21.3 数据泵导出选项 参数 说明 help 显示用于导出的联机帮助，默认为n compress 指定要压缩的数据，可选值有：all、data_only、metadata_only和none content 筛选导出的内容，可选值有：all、data_only和metadata_only directory 指定用于日志文件和转储文件集的目的目录 dumpfile 为转储文件指定名称和目录 encryption 输出的加密级别，可选值有：all、data_only、encrypted_columns_only、etadata_only和none exclude 排除导出的对象和数据 flashback_sch 用于数据库在导出过程中闪回的系统更改号 flashback_time 用于数据库在导出过程中闪回的时间戳 include 规定用于导出对象和数据的标准 logfile 导出日志的名字和可选的目录名字 parfile 指定参数文件名 query 在导出过程中从表中筛选行 reuse_dmupfiles 覆盖已有的转储文件 status 显示data pump作业的详细状态 attach 将一个客户会话连接到一个当前运行的data pumpexport作业上 transportable 只为表模式导出而导出元数据 full 在一个full模式下通知data pump导出所有的数据和元数据 schemas 在一个schemas模式导出中命名将导出的模式 tables 列出将用于一个table模式导出而导出的表和分区 tablespaces 列出将导出的表空间 transport_tablespaces 指定一个transportable tablespace模式导出 transport_full_check 是否应该验证正在导出的表空间是一个自包含集 expdp交互模式中的命令列表 参数 说明 add_file 向转储文件集中添加转储文件 exit_client 退出客户机会话并使作业处于运行状态 kill_job 分离和删除作业 paraliel 改变用户data pump export作业的工作进程的数量 start_job 启动、恢复当前作业 status 显示data pump export的作业状态 reuse_dmpfiles 是否覆盖现有的转储文件。设置为y时，现有的转储文件将被覆盖； 当使用默认值n时，如果转储文件已经存在就会产生一个错误。 stop_job 依次关闭执行的作业并退出客户机。stop_job=immediate将立即关闭数据泵作业 【实例】 1，进入目录 D:cd D:oracleproduct10.2.0db_1BIN 2，expdp help=y 列出所有参数 3，交互模式下 BIN expdp system/system 等待一会，按下ctrl c 进入export模式 Exportstop_job 停止作业 BIN-21.4 实现数据导出导出模式模式 参数 说明 操作角色 full full 导出整个数据库 exp_full_databaseschema schemas 导出一个或者多个用户模式中的数据和元数据 拥有exp_full_database角色，可以导出任何模式， 否则只能导出自己的模式table tables 导出一组特定的表 拥有exp_full_database角色，可以导出任何模式的表tablespace tablespaces 导出一个或者多个表空间的数据 exp_full_databasetransportable transport_tablespaces tablespace 导出表空间中对象的元数据 exp_full_database 【实例】 1，进入bin目录 2，表模式导出 expdp scott/scott_2009 directory=mypump dumpfile=expdptab.dmp tables=dept,emp (select * from dba_tablespaces; alter tablespace testspace online;) 3，全库模式导出 expdp system/system directory=mypump dumpfile=expdp.dmp full=y 4，schema模式导出 expdp system/system directory=mypump dumpfile=expdp.dmp schemas=scott nologfile=y 5，表空间数据导出 expdp system/system directory=mypump dumpfile=expdpspace.dmp tablespaces=users 6，可移动表空间导出 1 将user表空间设置成只读状态，然后执行可移动表空间元数据导出 sql alter tablespace users read only; BIN expdp system/system directory=mypump dumpfile=exptrans.dmp transport_tablespaces=users; sql alter tablespace users online; -21.5 使用导出参数 1 使用exclude参数 在expdp命令中可以指定参数exclude，用来实现从data pump export中排除对象，如果排除了一个对象，也将排除 所有与它相关的对象。 使用exclude的格式如下： exclude=object_type:name_clause,. 其中，object_type可以是任何oracle对象类型，包括权限、索引和表等；name_clause用来限制返回的值。 2 使用exclude参数 如果在data pump export中使用include，可以只导出符合要求的对象，其他所有对象均被排除。使用include 参数的格式如下： include=object_type:name_clause,. 3 使用query参数 对于满足exclude和include标准的对象，将会导出该对象的所有行。这时，可以使用query参数来限制返回的行， 使用query参数格式如下： query=schema.table_name:query_clause 其中，schema是指定表所属的用户名，或者所属的用户模式名称； table_name指定表名；query_clause用来指定限制条件。 【实例】 1 exclude参数，注意表名要大写。 expdp system/system directory=mypump dumpfile=expdpexclude.dmp tablespaces=users exclude=table:in(EMP) exclude=table:in(DEPT) 2 include参数，注意表名要大写。导出users表空间的索引信息 expdp system/system directory=mypump dumpfile=expdpinclude.dmp tablespaces=users include=index 3 query参数 expdp system/system directory=mypump dumpfile=expdpquery.dmp tables=scott.dept query=where deptno=10 -21.6 数据泵导入选项关键字 说明 (默认)-ATTACH 连接到现有作业, 例如 ATTACH =作业名。CONTENT 指定要加载的数据, 其中有效关键字为: (ALL), DATA_ONLY 和 METADATA_ONLY。DIRECTORY 供转储文件, 日志文件和 sql 文件使用的目录对象。DUMPFILE 要从 (expdat.dmp) 中导入的转储文件的列表, 例如 DUMPFILE=scott1.dmp, scott2.dmp, dmpdir:scott3.dmp。ENCRYPTION_PASSWORD 用于访问加密列数据的口令关键字。 此参数对网络导入作业无效。ESTIMATE 计算作业估计值, 其中有效关键字为: (BLOCKS) 和 STATISTICS。EXCLUDE 排除特定的对象类型, 例如 EXCLUDE=TABLE:EMP。FLASHBACK_SCN 用于将会话快照设置回以前状态的 SCN。FLASHBACK_TIME 用于获取最接近指定时间的 SCN 的时间。FULL 从源导入全部对象 (Y)。HELP 显示帮助消息 (N)。INCLUDE 包括特定的对象类型, 例如 INCLUDE=TABLE_DATA。JOB_NAME 要创建的导入作业的名称。LOGFILE 日志文件名 (import.log)。NETWORK_LINK 链接到源系统的远程数据库的名称。NOLOGFILE 不写入日志文件。PARALLEL 更改当前作业的活动 worker 的数目。PARFILE 指定参数文件。QUERY 用于导入表的子集的谓词子句。REMAP_DATAFILE 在所有 DDL 语句中重新定义数据文件引用。REMAP_SCHEMA 将一个方案中的对象加载到另一个方案。REMAP_TABLESPACE 将表空间对象重新映射到另一个表空间。REUSE_DATAFILES 如果表空间已存在, 则将其初始化 (N)。SCHEMAS 要导入的方案的列表。SKIP_UNUSABLE_INDEXES 跳过设置为无用索引状态的索引。SQLFILE 将所有的 SQL DDL 写入指定的文件。STATUS 在默认值 (0) 将显示可用时的新状态的情况下, 要监视的频率 (以秒计) 作业状态。STREAMS_CONFIGURATION 启用流元数据的加载TABLE_EXISTS_ACTION 导入对象已存在时执行的操作。 有效关键字: (SKIP), APPEND, REPLACE 和 TRUNCATE。TABLES 标识要导入的表的列表。TABLESPACES 标识要导入的表空间的列表。TRANSFORM 要应用于适用对象的元数据转换。 有效的转换关键字: SEGMENT_ATTRIBUTES, STORAGE OID 和 PCTSPACE。TRANSPORT_DATAFILES 按可传输模式导入的数据文件的列表。TRANSPORT_FULL_CHECK 验证所有表的存储段 (N)。TRANSPORT_TABLESPACES 要从中加载元数据的表空间的列表。 仅在 NETWORK_LINK 模式导入操作中有效。VERSION 要导出的对象的版本, 其中有效关键字为: (COMPATIBLE), LATEST 或任何有效的数据库版本。 仅对 NETWORK_LINK 和 SQLFILE 有效。下列命令在交互模式下有效。注: 允许使用缩写命令 说明 (默认)-CONTINUE_CLIENT 返回到记录模式。如果处于空闲状态, 将重新启动作业。EXIT_CLIENT 退出客户机会话并使作业处于运行状态。HELP 总结交互命令。KILL_JOB 分离和删除作业。PARALLEL 更改当前作业的活动 worker 的数目。 PARALLEL=。START_JOB 启动/恢复当前作业。 START_JOB=SKIP_CURRENT 在开始作业之前将跳过 作业停止时执行的任意操作。STATUS 在默认值 (0) 将显示可用时的新状态的情况下, 要监视的频率 (以秒计) 作业状态。 STATUS=intervalSTOP_JOB 顺序关闭执行的作业并退出客户机。 STOP_JOB=IMMEDIATE 将立即关闭 数据泵作业。 【实例】 查看命令：impdp help=y 1，表模式导入 impdp scott/scott_2009 directory=mypump dumpfile=expdptab.dmp tables=dept,emp table_exists_action=replace 2，全库模式导入 impdp system/system directory=mypump dumpfile=expdp.dmp full=y 3，schema模式导入 impdp system/system directory=mypump dumpfile=expdp.dmp schemas=scott nologfile=y 4，表空间数据导入 impdp system/system directory=mypump dumpfile=expdpspace.dmp tablespaces=users 5，可移动表空间导入 1 将user表空间设置成只读状态，然后执行可移动表空间元数据导出 sql alter tablespace users read only; BIN impdp system/system directory=mypump dumpfile=exptrans.dmp transport_tablespaces=users; sql alter tablespace users online;=数据泵data pumpdata pump不可以读取EXP命令导出的数据文件。相关数据字典dba_jobs/user_jobsData pump的作业信息DBA_DATAPUMP_JOBS查看所有数据泵任务的状态dba_datapump_sessions所有活跃的数据泵工作进程select sid, serial#from v$session s, dba_datapump_sessions dwhere s.saddr = d.saddr;datapump_pathsexpdp/impdp命令中通过include或exclude包含的对象列表你可以通过查询DBA_DATAPUMP_JOBS视图快速查看所有数据泵任务的状态。你不能获得STATUS命令所给出的详细信息，但你可以快速查看到哪些任务在执行、哪些处于空闲状态等。另一个需要了解的视图是DBA_DATAPUMP_SESSIONS，它列出了所有活跃的数据泵工作进程。Data Pump 是运行在数据库内部的， 而不是像一个独立的客户端应用程序一样存在。这就意味着这部分的工作在一定程度上独立于发起执行导入或者导出任务的进程 。 在一台机器上 (例如一个定期任务) 可以开始执行导出的任务，而另一台机器上 (例如 DBA 的 手提电脑) 可以对任务的运行状态进行监控。 也正因为任务是运行在数据库内部的，所以如果你要将数据导出到一个文件中，那么你首先要做的事情就是为输出路径建立一个数据库的DIRECTORY 对象，然后给将要进行数据导入和导出的用户授权访问。当导出工作开始执行以后，可以通过按下CtrlC (或者是客户端中具有相同功能的按键) 来“中止”导出任务。这样就不会再有数据发送到你的客户端了，但是该任务在数据库中仍然还在运行。你的客户端会进入交互模式（出现Export提示符）。 在提示符后输入status就可以查看到当前有哪些任务正在运行。如果在客户端输入expdp attach=，你就可以连接到一个正在运行的任务上。通过选项设置可以将数据库对象通过SQL*Net直接导到一个远程数据库中，需要指定remote 选项。然后加上与远程数据库连接的连接字符串。 这就有点类似于对数据库的一次性复制过程。Data Pump 执行起来要比原来的exp 和 imp 客户端命令快得多。Data Pump 运行得更快是因为它有一个新特性“parallel”选项。选定这个选项后，Data Pump 将会以四个不同的线程同时压送数据。其实不仅仅只有Data Pump 是在数据库内部运行的，事实上大部分的命令行性质的命令都是在数据库内部运行的，只不过是通过一个PL/SQL API DBMS_DATAPUMP显示出来。准备工作其转储文件只能被存放在DIRECTORY对象对应的OS目录中,而不能直接指定转储文件所在的OS目录。通常需要创建一个目录对象，用于存放导入导出的转储文件，建议将目录创建于非oracle系统卷上，这些文件存放于服务器上。并将目录使用权限授予相关用户。用户账号具有create any directory权限create directory dumpdir as g:ora_bakoradataldumpdir;grant read,wirte on directory dumpdir to scott;grant read,wirte on directory dumpdir to system;expdp scott/password directory=dumpdir dumpfile=expfull.dmp;执行后可用Ctrl+c转为后台进入交互界面，用status可查看作业状态。11g中默认转储目录为%ORACLE_BASE%adminSIDdpdumpexpdp数据泵导出数据泵导出实用程序提供了一种用于在 Oracle 数据库之间传输数据对象的机制。该实用程序可以使用以下命令进行调用: 示例: expdp scott/tiger DIRECTORY=dmpdir DUMPFILE=scott.dmp该命令默认的导出scott模式中的所有对象您可以控制导出的运行方式。具体方法是: 在 expdp 命令后输入各种参数。要指定各参数, 请使用关键字: 格式: expdp KEYWORD=value 或 KEYWORD=(value1,value2,.,valueN) 示例: expdp scott/tiger DUMPFILE=scott.dmp DIRECTORY=dmpdir SCHEMAS=scott 或 TABLES=(T1:P1,T1:P2), 如果 T1 是分区表USERID 必须是命令行中的第一个参数。关键字 说明 (默认)-ATTACH 连接到现有作业, 例如 ATTACH =作业名。在命令行除了连接字符串和ATTACH选项外,不能指定任何其他选项-COMPRESSION 减小转储文件内容的大小, 其中有效关键字 值为: ALL, (METADATA_ONLY), DATA_ONLY 和 NONE。-CONTENT 指定要卸载的数据, 其中有效关键字 值为: (ALL), DATA_ONLY 和 METADATA_ONLY。-DATA_OPTIONS 数据层标记, 其中唯一有效的值为: 使用 CLOB 格式的 XML_CLOBS-write XML 数据类型-DIRECTORY 供转储文件和日志文件使用的目录对象。在一个数据库中目录对象不能重名。-DUMPFILE 目标转储文件 (expdat.dmp) 的列表,例如 DUMPFILE=scott1.dmp, scott2.dmp, dmpdir:scott3.dmp。可用替换变量(%U)表示01-99的二位数字，用于创建多个文件。-ENCRYPTION 加密部分或全部转储文件, 其中有效关键字 值为: ALL, DATA_ONLY, METADATA_ONLY, ENCRYPTED_COLUMNS_ONLY 或 NONE。-ENCRYPTION_ALGORITHM 指定应如何完成加密, 其中有效 关键字值为: (AES128), AES192 和 AES256。-ENCRYPTION_MODE 生成加密密钥的方法, 其中有效关键字 值为: DUAL, PASSWORD 和 (TRANSPARENT)。-ENCRYPTION_PASSWORD 用于创建加密列数据的口令关键字。-ESTIMATE 计算作业估计值, 其中有效关键字 值为: (BLOCKS) 和 STATISTICS。估算转储文件大小的方式，默认blocks根据数据块的块数量和块大小估算，sampling基于取自每个表的样本数据行计算转储文件大小，statistics基于当前对象的统计信息-ESTIMATE_ONLY 在不执行导出的情况下计算作业估计值。Y/(N)-EXCLUDE 排除特定的对象类型, 例如 exclude=table:in (EMP),在导出操作中，排除某些元数据，当排除某个对象时，所有相关对象（索引，触发器有表数据）也被排除了。可用SQL通酏符。include/exclude 例子：include=table:in (DB, TS) 或者include=table:like %E%或者include=function,package,procedure,table:=EMP或者exclude=SEQUENCE,TABLE:IN (EMP,DEPT)EXCLUDE=TABLE:”=T_LOB”在linux上要转义,否则不成功.对于 EXCLUDE/INCLUDE 参数还要注意的是二者不能共用。此外，Linux 和 Windows 下的命令行可能要对转义符号注意一点。exclude=SEQUENCE,TABLE: IN (EMP, DEPT, MYIOT) -FILESIZE 以字节为单位指定每个转储文件的大小。B,KB,MB,GB指定文件大小，可用于文件分割。默认为0-FLASHBACK_SCN 用于将会话快照设置回以前状态的 SCN。结合flashback功能指定导出特定SCN时刻的表数据.语法如下:FLASHBACK_SCN=scn_value-FLASHBACK_TIME 用于获取最接近指定时间的 SCN 的时间。结合flashback功能导出特定时间点的表数据.语法如下:FLASHBACK_TIME=TO_TIMESTAMP(time_value)-FULL 导出整个数据库 (N)。(EXPORT FULL DATABASE)权限-HELP 显示帮助消息 (N)。用法expdp -help-INCLUDE 包括特定的对象类型, 例如 INCLUDE=TABLE_DATA。-JOB_NAME 要创建的导出作业的名称。-LOGFILE 日志文件名 (export.log)。-NETWORK_LINK 链接到源系统的远程数据库的名称。-NOLOGFILE 不写入日志文件 (N)。-PARALLEL 更改当前作业的活动 worker 的数目。-PARFILE 指定参数文件。-QUERY 用于导出表的子集的谓词子句。-REMAP_DATA 指定数据转换函数, 例如 REMAP_DATA=EMP.EMPNO:REMAPPKG.EMPNO。-REUSE_DUMPFILES 覆盖目标转储文件 (如果文件存在) (N)。-SAMPLE 要导出的数据的百分比;-SCHEMAS 要导出的方案的列表 (登录方案)。需exp_full_database权限-STATUS 在默认值 (0) 将显示可用时的新状态的情况下, 要监视的频率 (以秒计) 作业状态。-TABLES 标识要导出的表的列表 - 只有一个方案。-TABLESPACES 标识要导出的表空间的列表。-TRANSPORTABLE 指定是否可以使用可传输方法, 其中 有效关键字值为: ALWAYS, (NEVER)。-TRANSPORT_FULL_CHECK 验证所有表的存储段 (N)。-TRANSPORT_TABLESPACES 要从中卸载元数据的表空间的列表。-VERSION 要导出的对象的版本, 其中有效关键字为: (COMPATIBLE), LATEST 或任何有效的数据库版本。为COMPATIBLE时,会根据初始化参数COMPATIBLE生成对象元数据;为LATEST时,会根据数据库的实际版本生成对象元数据.version_string用于指定数据库版本字符串.下列命令在交互模式下有效。注: 允许使用缩写命令 说明-ADD_FILE 添加新的转储文件到转储文件集中，以扩展空间。-CONTINUE_CLIENT 从交互式命令模式更改为记录模式，如果作业处于暂停状态将重新启动作业，即执行 START_JOB-EXIT_CLIENT 退出客户机会话并使作业处于运行状态。-FILESIZE 后续 ADD_FILE 命令的默认文件大小 (字节)。-HELP 总结交互命令。-KILL_JOB 分离和删除作业。-PARALLEL 更改当前作业的活动 worker 的数目。 PARALLEL=。-REUSE_DUMPFILES 覆盖目标转储文件 (如果文件存在) (N)。-START_JOB 启动/恢复当前作业。-STATUS 在默认值 (0) 将显示可用时的新状态的情况下, 要监视的频率 (以秒计) 作业状态。 STATUS=interval-STOP_JOB 顺序关闭执行的作业并退出客户机。 STOP_JOB=IMMEDIATE 将立即关闭 数据泵作业。作业启动后可Ctrl+c进入export交互模式例:expdp scott/iop0orcltry parfile=g:ora_bakoradataldpdumpexpdp.par query=EMP: WHERE ename like F% query=DEPT: where deptno=10 and deptnoexpdp system/iop0 network_link=to_orcltry dumpfile=linkexp.dmp directory=ldumpdir job_name=linkexp logfile=linkexp.log tables =scott.emp,scott.dept;expdp system/password-此默认导出schema system到 %ORACLE_BASE%ADMINsidDPDUMPEXPDAT.DMPexpdp.par的内容为directory=ldumpdirdumpfile=scott_01.dmplogfile=scott_01.log使用newwork_link导出到远程数据库expdp system/iop0 network_link=to_orcltry dumpfile=linkexp.dmp directory=ldumpdir job_name=linkexp logfile=linkexp.log注意，如果我要做并行导出并且将我的I/O分布在两个磁盘上，那么我可以对DUMPFILE参数值做出修改，并如下添加PARALLEL参数和值，如下所示：CREATE DIRECTORY export_dumps01 AS c:a;CREATE DIRECTORY export_dumps02 AS d:a;DUMPFILE=export_dumps01:gnis%U.dmp, export_dumps02:gnis%U.dmpPARALLEL=2注意，在这个并行导出任务中，目录名作为文件名的一部分来被指定。-数据泵导入实用程序提供了一种用于在 Oracle 数据库之间传输数据对象的机制。该实用程序可以使用以下命令进行调用: 示例: impdp scott/tiger DIRECTORY=dmpdir DUMPFILE=scott.dmp您可以控制导入的运行方式。具体方法是: 在 impdp 命令后输入各种参数。要指定各参数, 请使用关键字: 格式: impdp