数据仓库培训教程.ppt

1、本次培训目的,了解OLAP技术以及相关产品 了解Oracle数据仓库和商业智能总体解决方案 了解Oracle Warehouse Builder产品的架构和安装 了解Oracle Warehouse Builder产品的特性和使用方式 了解国内当前几个银行的数据仓库项目的实施过程 使用Hypersion实现BI前端展现,日程安排,第一天 OLAP技术以及产品介绍 Oracle 数据仓库和商务智能整体解决方案介绍 Oracle Warehouse Builder 产品整体介绍 安装OWB产品，创建设计和运行资料库 定义数据仓库目标模型 多维模型设计 维度设计，立方体设计 数据源定义 创建文本数据

2、源，创建Oracle数据源,日程安排,第二天 ETL设计 数据流和映射的设计 部署管理 过程设计 过程设计和编辑 元数据浏览 设计浏览器和运行审计器 DW工程中ETL的实现 Hypersion实现BI前端展示,Oracle Warehouse Builder,OWB工作过程,关系性数据 平面文件 应用 主机,Oracle 8i or Oracle 9i,OWB repository,源数据,目标数据仓库,OWB Client,3. 源到目标的映射,避免手工编码和维护复杂的程序 文档化表示 ETL 的流程和业务规则 避免大量的培训工作,Business Challenge!,3. 源到目标的映射

3、,Key Lookup Name/Address Set Joiner Filter Splitter Aggregator Deduplicator Sorter Sequence Expression Transformation Pre- and Post-Mapping Process,Mapping Editor (Iconic View),3.源到目标的映射: 转换,利用 Oracle9i 作为转换引擎 超过 80 个打包的函数和存储过程 标准Oracle SQL 函数 超过40多种的 Warehouse Builder 函数和存储过程 WB_DISABLE_ALL_CONSTRA

4、INTS WB_TRUNCATE_TABLE WB.LOOKUP_NUM 可以使用用户自定义的PL/SQL转换函数和过程 内嵌的表达式编辑器 Expression Builder 内置的校验功能 可以在全局中共享和重用,3.源到目标的映射: 表达式编辑器,语法检验,3.源到目标的映射: 增量代码生成,3.源到目标的映射: 验证,有效性探测 数据类型的错误匹配 漏失的参数 未完成的匹配 无效的对象 无效的参照 ,3.源到目标的映射,易于使用和基于导向的设计 Mapping designer 包含了完整的设计能力 中间的和完整的代码生成和校验,OWB工作过程,关系性数据 平面文件 应用 主机,Or

5、acle 8i or Oracle 9i,OWB repository,源数据,目标数据仓库,OWB Client,4. 代码生成,你得到了性能良好的代码吗?,Business Challenge!,4. 代码生成,针对Oracle数据库优化的代码 可对Oracle9i 目标使用MERGE语言 Set-based或者row-based PL/SQL 批量处理 外键约束处理 通过inline views实现远端表的快速抽取 分区抽取,4. 代码生成,针对目标特性的代码 为数据仓库创建的SQL DDL 为关系型数据源的PL/SQL 对应文本数据源的SQL*Loader control files

6、对应SAP R/3 sources的ABAP 为OEM注册的教本,日程安排,第二天 ETL设计 数据流和映射的设计 部署管理 过程设计 过程设计和编辑 元数据管理 设计浏览器和运行审计器 映射调试和版本控制,OWB工作过程,关系性数据 平面文件 应用 主机,Oracle 8i or Oracle 9i,OWB repository,源数据,目标数据仓库,OWB Client,5. 部署数据仓库,我如何管理我的数据仓库和数据集市? 你提供了统一的控制方式吗?,Business Challenge!,5. 部署数据仓库：部署管理器,对象位置的显式辨识 配置状态 Never deployed Pre

7、viously deployed Successful Failed Warning 缺省活动: Create or Update 配置历史 配置日期, 状态, 错误信息,5. 部署数据仓库：部署管理器,5. 部署数据仓库：部署管理器,OWB工作过程,关系性数据 平面文件 应用 主机,Oracle 8i or Oracle 9i,OWB repository,源数据,目标数据仓库,OWB Client,6. 抽取和转换数据,任务运行在下班时间 有限的资源用来监控和通报 任务之间的相互依赖关系 如果一个过程失败, 需要告警和通知,Business Challenge!,6. 抽取和转换数据,处理

8、流程-Process Flow Editor 在处理流程建立过程中定义 智能地控制映射和其它 OWB 对象 基于集中的 repository 管理任务 监控, 审计和通告任务状态 消灭手工劳动, 减少错误,6. 抽取和转换数据,File Exists,FTP,Fork,And,Sub-process,Email,User-defined,Or,Transform,Map,6. 抽取和转换数据,Process Flow Modeler,6. 抽取和转换数据,ETL任务排序和安排 在OWB中直接执行完成ETL过程 在Oracle Enterprise Manager安排这些任务 在Oracle W

9、orkflow中注册,定义执行顺序和附加的相关操作,OWB,OEM,OracleWorkflow,Oracle Workflow,元数据管理,如果开发过程中源数据结果发生变化？ 如果开发结束一段时间后，有新的需求产生？ 如果其他部门的技术人员需要改变和系统相关的数据结果？ 是否是开发的架构？,Business Challenge!,元数据管理,多用户元数据 单用户更新，多用户读取 对象锁机制 同步 版本管理 影响分析 开放: 编程访问,元数据集成,OMG CWM (Common Warehouse Model ) 开放的标准 使用XML元数据互换XML Metadata Interchange

10、 (XMI) 强大的对象模型 相关ETL和分析的元数据 OWB 桥 (Oracle Warehouse Builder Bridges) Oracle Discoverer Oracle Express Oracle Designer (via the OWB Oracle Integrator) CA ERwin Sybase PowerDesigner OMG CWM,元数据集成把OWB 源数据传输到Oracle Discoverer,元数据报告,元数据报表 影响分析,总结,Oracle完整集成的数据仓库解决方案 Oracle Warehouse Builder,总结：Oracle 数据仓库解决方案,总结：OWB,OWB 是一个针对数据仓库应用的工具 设计和部署数据仓库数据中心以及源数据和目标数据的匹配 充分利用Oracle数据库技术和投资 元数据共享和报表 在 Oracle Developer Suite套件中,总结：OWB架构,总结： OWB工作过程,关系性数据 平面文件 应用 主机,Oracle 8i or Oracle 9i,OWB repository,源数据,目标数据仓库,OWB Client,管理,Informatic以及Hype