Oracle数据库10g中的数据泵.ppt

1、Oracle 数据库 10g 中的数据泵： 超高速数据转移实用工具的基础,甲骨文公司,数据泵：概述,什么是数据泵？ 主要特性 体系结构 性能 要记住的事情 对原来的 exp / imp 的一些看法,数据泵：什么是数据泵？,基于服务器的工具，用于在加载和卸载数据和元数据时获得高性能 可调用：DBMS_DATAPUMP。在内部使用 DBMS_METADATA 以直接路径 (Direct Path) 流的格式写入数据。以 XML 的格式写入元数据 新的客户端程序 expdp 和 impdp：原来的 exp / imp 的扩展集 流、逻辑备用、网格、可移动表空间和数据挖掘初始实例化的基础。,特性：高性

2、能！,自动、双层并行化 用于分区间 并行化的直接路径 用于分区内 并行化的外部表 示例：parallel= 动态：在企业版中可以从一个正在运行的作业中添加或删除工作线程 自动构建索引，使并行度达到作业数 同时进行数据和元数据卸载 单线程数据卸载：1.5-2X exp 单线程数据加载： 15X-40X imp 使用索引构建：4-10X imp,特性：检查点/重新启动,作业进度记录在一个“主表”中 可以显式地停止并在以后重新启动： 在当前项目完成后停止或立即停止 异常终止的作业也可以重新启动 如果有问题可以在重启时跳过当前的对象,特性：网络模式,网络导入：直接从一个数据库加载 另一个数据库 网络导

3、出：将一个远程数据库卸载至一个本地的转储文件集中 允许导出只读数据库 数据泵在本地运行，元数据 API 远程运行。 使用数据库链接，而不是管道。以 insert into select from 的方式转移数据 直接路径引擎在两端均使用 很容易阻塞网络带宽：小心！,特性：细粒度的对象选择,两种 操作（导出和 导入）都支持 所有的 对象类型 Exclude（排除）：从操作中 排除指定的对象类型 Include（包含）：只 包含指定的对象类型。 例如，只包含检索程序包、函数和过程 虽然可以指定两者中的一个或两个，但新的客户端程序禁止同时使用两者 两者都使用一个可选的名称过滤器，以获得甚至更高的细粒

4、度： INCLUDE PACKAGE: “LIKE PAYROLL% “ EXCLUDE TABLE: “IN (FOO,BAR, ) “,特性：监控,灵活的 GET_STATUS 调用 每个工作线程的状态，显示当前的对象和完成的百分比 初始的作业空间估计和总体完成百分比 作业状态和描述 工作进度和错误,特性：转储文件集管理,基于目录：例如，DMPDIR:export01.dmp 其中 DMPDIR 创建为： SQL create directory dmpdir as /data/dumps 支持指定多个带通配符的文件： dumpfile=dmp1dir:full1%u.dmp, dmp2d

5、ir:full2%u.dmp 根据需要从提供的文件指定中循环创建文件 可以限制文件大小以便管理 自动维护转储文件集的一致性,新的客户端程序 expdp / impdp,类似（但不完全相同）于 exp / imp 的外观 支持所有的模式：完整、模式、表、表空间、可传输。 exp / imp 的扩展集 支持闪回 expdp 和 impdp 都支持查询，并且在每一个表的基础上进行！ 与正在运行的作业连接或分离 允许每个作业与多个客户端程序连接；但一个客户端程序一次只能与一个作业连接 如果拥有权限，可以连接并控制其他用户的作业,新的客户端程序 expdp / impdp,通过 Ctl-C 进入交互式模

6、式： ADD_FILE：为作业添加转储文件和通配符文件指定 PARALLEL：动态添加或删除工作线程 STATUS：获取每个工作线程的详细状态并修改报表时间间隔 STOP_JOB=IMMEDIATE：停止作业，使其为可重新启动。IMMEDIATE 不等待工作线程完成当前的工作项目它们将在重新启动时重新执行 START_JOB：重新启动一个先前停止的作业 KILL_JOB：停止作业并删除其所有的资源 （主表、转储文件），使其为不可重新启动 CONTINUE：退出交互模式，继续记录日志 EXIT：退出客户端程序，使作业保持运行,特性：其他的出色特性,使用 XML 可以容易地进行 DDL 转换： R

7、EMAP_SCHEMA REMAP_TABLESPACE REMAP_DATAFILE 可以隐藏段和存储属性 可以只提取和加载数据、或元数据，或提取和加载两者 SQLFILE 操作生成可执行的 DDL 脚本 如果一个表在加载时已存在，那么您可以：跳过它（默认）、替换它、截取然后加载或者附加到其末尾 根据分配的块（默认）或统计信息（如果提供）进行空间估计 企业管理器界面集成了 9i 和 10g 可调用！,体系结构：结构图,直接路径 API,外部表 API,元数据 API：DBMS_METADATA,数据泵,体系结构：流程图,无需客户端！,转储文件集： 数据、元数据和主表,数据泵：性能调整,默认的

8、初始化参数就非常好！ 确保 disk_asynch_io 保持为 TRUE 扩展 I/O！ Parallel= 不超过两倍的 CPU 数量： 不要超过磁盘最高容量。 必然的结果：扩展 I/O！ 为 AQ 消息发送和元数据 API 查询提供足够的 SGA 为长时间运行的查询提供足够的回滚 这就是性能调整！,大型的互联网公司2 个事实表： 16.2M 行，2 Gb,Oracle 应用程序种子数据库：,密集的元数据：392K 个对象，200 个模式，10K 个表，总共 2.1 Gb 的数据 原来的 exp / imp 总共花费：32 小时 50 分钟 exp：2 小时 13 分钟 imp： 30 小

9、时 37 分钟 数据泵 expdp / impdp 总共花费：15 小时 40 分钟 Expdp：1 小时 55 分钟 impdp： 13 小时 45 分钟对于 expdp 和 impdp，Parallel=2,请记住：,设计用于处理大量数据的*大型*作业 元数据性能几乎一样 更复杂的基础架构，更长的启动时间 XML 比 DDL 更大，但更灵活 转储文件中的数据格式与 exp 相比压缩了大约 15% 通过修剪主表实现了子集导入,原来的 exp 和 imp,将永远支持原来的 imp，以允许加载 V5 V9i 的转储文件 原来的 exp 至少在 10g 中提供，但可能不支持所有新的功能。 9i exp 可以用于从 10g 降级 不兼容原来的转储文件格式和数据泵转储文件格式,10g Beta 反馈,英国电信： Ian Crocker，性能与存储顾问 “我们已经测试了新的 Oracle10g 导出和导入实用工具： Oracle 数据泵。数据泵导出的执行速度是原来的两倍，数据泵导入的执行速度比原来快十倍。新的可管理性特