中文les10_创建数据仓库_ 数据仓库教学课件 中文oracle99版

Copyright Oracle Corporation, 1999. All rights reserved. 1010 创建数据仓库 10-10-2 2Copyright Oracle Corporation, 1999. All rights reserved. 总述 项目管理 (方法论, 维持元数据) 定义数据仓库的 概念及术语 规划一个成功 的数据仓库 分析用户 查询需求 选择一个处理 体系结构 建模数据仓库 规划仓库存储 ETT (创建数据仓库) 满足业务需求 支持最终 用户存取 管理数据仓库 10-10-3 3Copyright Oracle Corporation, 1999. All rights reserved. 目标 完成这一课后,你应该能够做到以下几点: 概述为创建数据仓库所进行的抽取,转化及传输过程 识别抽取内容 了解如何检查数据源 掌握抽取技术 列出抽取数据源的工具 10-10-4 4Copyright Oracle Corporation, 1999. All rights reserved. 抽取/变换/传输 过程 (ETL) 抽取源数据 变换/清理数据 索引和概要 向数据仓库加载数据 检测变化 刷新数据 程序 工具 ETLETL 操作系统操作系统仓库仓库 Browser: http:/ HollywoodHollywood X X + + Customers: a recorof as X X + + Customers: Browser: http:/ HollywoodHollywood Browser: http:/ HollywoodHollywood X X + + 网关 10-10-5 5Copyright Oracle Corporation, 1999. All rights reserved. ETL过程 导入的数据必须是相关的、有用的、高质量的、精确 的、可访问的 需要大量的数据仓库开发时间和资源 仓库仓库 操作系统操作系统 相关的 清洗 整理 重构 ETLETL 有用的 有质量的 精确的 可访问的 10-10-6 6Copyright Oracle Corporation, 1999. All rights reserved. 数据聚集区 数据仓库的构建场所 需要多步执行 由ODS,平面文件或关系服务器的表组成 以多层分段传送频繁的配置 抽取抽取 变换变换 操作系统 传输传输 ( (加载加载) ) 仓库 数据聚集区 10-10-7 7Copyright Oracle Corporation, 1999. All rights reserved. 远程聚集区模型 在仓库环境中的数据聚集地 抽取，抽取， 转换，转换， 传输传输 转换转换 操作系统 传输传输 （加载）（加载） 数据聚集区 仓库 仓库环境仓库环境操作型环境操作型环境 在自身环境中的数据聚集地, 避免对仓库环境的负作用 抽取，抽取， 转换，转换， 传输传输 转换转换 操作系统 传输传输 （加载）（加载） 数据聚集区 仓库 聚集地环境聚集地环境 操作型环境操作型环境 仓库环境仓库环境 10-10-8 8Copyright Oracle Corporation, 1999. All rights reserved. 本地聚集区模型 抽取抽取 转换转换 操作系统 传输传输 ( (加载加载) ) 数据聚集区 仓库 操作环境操作环境仓库环境仓库环境 数据聚集区在操作环境内，可能影响操作系统 10-10-9 9Copyright Oracle Corporation, 1999. All rights reserved. 抽取数据 从源数据中选择字段 不同的数据格式 规则, 审计追踪, 错误修正工具 变换变换 操作的数据库操作的数据库 数据聚集区数据聚集区 仓库数据库仓库数据库 Browser: http:/ HollywoodHollywood X X + + Customers: a recorof as X X + + Customers: Browser: http:/ HollywoodHollywood Browser: http:/ HollywoodHollywood X X + + 数据映射 10-10-1010Copyright Oracle Corporation, 1999. All rights reserved. 源系统 生产数据 归档文件 内部数据 外部数据 Browser: http:/ HollywoodHollywood X X + + Customers: Browser: http:/ HollywoodHollywood X X + + a recorof as X X + + Customers: Browser: http:/ HollywoodHollywood 12345.00 12780.00 2345787.00 87877.98 5678.00 100% 110% 230% 200% -10% ABC CO GMBH LTD GBUK INC FFR ASSOC MCD CO 10-10-1111Copyright Oracle Corporation, 1999. All rights reserved. 操作系统平台 硬件平台 文件系统 数据库系统和垂直的应用 生产数据 IMSIMS DB2DB2 VSAMVSAM NonStopNonStop SQL SQL OracleOracle SybaseSybase RdbRdb SAPSAP Shared Medical Shared Medical SystemsSystems Dun and Bradstreet Dun and Bradstreet FinancialsFinancials Hogan FinancialsHogan Financials Oracle FinancialsOracle Financials Browser: http:/ HollywoodHollywood X X + + Customers: a recorof as X X + + Customers: Browser: http:/ HollywoodHollywood Browser: http:/ HollywoodHollywood X X + + 10-10-1212Copyright Oracle Corporation, 1999. All rights reserved. 有关历史数据 有助于在较长的时间段上做分析 有助于第一次加载 可能需要独特的转换 归档数据 操作型的数据库操作型的数据库 数据仓库的数据库数据仓库的数据库 10-10-1313Copyright Oracle Corporation, 1999. All rights reserved. 内部数据 计划编制，销售和营销管理数据 通过维护: 电子数据表（结构化的） 文档（非结构化的） 像其他的源数据一样被处理 计划编制计划编制 行销行销 账目清理账目清理 12345.00 12780.00 2345787.00 87877.98 5678.00 100% 110% 230% 200% -10% ABC CO GMBH LTD GBUK INC FFR ASSOC MCD CO 仓库数据库仓库数据库 12345.00 12780.00 2345787.00 87877.98 5678.00 100% 110% 230% 200% -10% ABC CO GMBH LTD GBUK INC FFR ASSOC MCD CO 12345.00 12780.00 2345787.00 87877.98 5678.00 100% 110% 230% 200% -10% ABC CO GMBH LTD GBUK INC FFR ASSOC MCD CO 10-10-1414Copyright Oracle Corporation, 1999. All rights reserved. 信息来自外部组织 有关频率，格式和可预测性的问题 使用元数据来描述和跟踪 外部数据 BarronsBarrons Dun and Dun and BradstreetBradstreet Purchased Purchased databasesdatabases Wall Street Wall Street JournalJournal Economic Economic forecastsforecasts Competitive Competitive informationinformation WarehousingWarehousing databasesdatabases A.C. Nielsen, IRI, IMS,A.C. Nielsen, IRI, IMS, Walsh AmericaWalsh America 10-10-1515Copyright Oracle Corporation, 1999. All rights reserved. 映射 定义哪个操作属性被使用 定义怎样为仓库转换属性 定义仓库中的各种属性在哪里存在 映射工具是有用的 File A F1123 F2Bloggs F310/12/56 Staging File One Number USA123 NameMr. Bloggs DOB10-Dec-56 Metadata File AStaging File One F1Number F2Name F3DOB 10-10-1616Copyright Oracle Corporation, 1999. All rights reserved. 程序: C, COBOL, PL/SQL 网关: 透明的数据库访问 内部开发很普遍 工具 初始成本高 连续自动化 数据清理 抽取技术 10-10-1717Copyright Oracle Corporation, 1999. All rights reserved. 来源和目标 联机处理机制联机处理机制 数据集市数据集市 数据分析数据分析 数据挖掘数据挖掘 源源ODSODS仓库仓库访问访问 10-10-1818Copyright Oracle Corporation, 1999. All rights reserved. 设计抽取过程 分析: 来源，技术 数据类型，质量，所有者 设计选项: 手动, 定制, 网关, 第三方 复制, 完整, 或变化刷新 设计问题: 视窗, 容量, 数据流通性 自动化, 技术需求, 资源 10-10-1919Copyright Oracle Corporation, 1999. All rights reserved. 维护抽取元数据 来源位置, 类型, 结构 访问方法 特权信息 临时存储 故障程序 有效性检查 丢失数据的处理 10-10-2020Copyright Oracle Corporation, 1999. All rights reserved. 可能的 ETL 缺陷 源文件丢失 系统故障 不充分的元数据 映射信息不正确 不充分的存储规划 来源结构改变 没有考虑意外事故 不充分的数据验证 10-10-2121Copyright Oracle Corporation, 1999. All rights reserved. 保证 ETL 质量 ETL必须: 经过测试 有文档记录 可监控和回顾 必须协调相互没有关系的元数据 10-10-2222Copyright Oracle Corporation, 1999. All rights reserved. 抽取工具 映射信息 更新元数据 JCL 文件 Map Source Data to Intermediate File StoreMap Source Data to Intermediate File Store Sales and Marketing Customer Name CharVarchar 20 Unique name 10-10-2323Copyright Oracle Corporation, 1999. All rights reserved. 基本功能基本功能 接口特征接口特征 元数据仓库元数据仓库 开放的开放的APIAPI 元数据访问元数据访问 仓库效用仓库效用 输入和输出处理输入和输出处理 清理清理, , 重定格式和审计重定格式和审计 参考参考 培训需求培训需求 挑选准则 10-10-2424Copyright Oracle Corporation, 1999. All rights reserved. WTI Partner ETL工具 Carleton Constellar Evolutionary Technologies Informatica Information Builders Oracle EDMS, Toolkits, OADW Prism Solutions Sa