数据仓库架构培训.ppt

目录 厂商的数据仓库架构 IBM数据仓库架构 NCR数据仓库架构 SAP的数据仓库 两级数据仓库架构 公司的数据仓库架构 业务系统 数据存储平台 数据仓库应用平台 EDW DDS 对外接口 数据交换平台 数据挖掘与分析系统 其它应用 OLAP ADS DM 系统总体架构图 历史数据存储 HDS 操作数据存储 ODS 主数据 ETL 数据质量管理 业务系统 数据存储平台 数据仓库应用平台 EDW DDS 对外接口 数据交换平台 数据挖掘与分析系统 其它应用 OLAP ADS 公司实施常用架构 历史数据存储 HDS DM ETL 数据质量管理 数据存储与ETL 11 数据存储 主数据存储 模型特点ER模型 与业务系统中代码信息存放方式类似数据标准 在企业中采用统一的编码规则和标准保留历史 保留主数据变化的版本 ODS数据存储 模型特点ER模型 与业务系统中模型基本一致 尽量减少由于数据处理带来的时间消耗实时性 保存实时变化的数据 EDW数据存储 模型特点采用3NF方式建模 采用面向对象的建模方式从业务模型入手 结合实际的业务系统的数据 使用主题域对数据进行抽象建模原则全面性 最终应该能够覆盖到客户经营活动中所有的业务数据抽象性 从业务的角度把客户的所有业务要素抽象成若干对象 采用面向对象的设计方法扩展性 其体系结构应该能够适应客户今后业务的发展高效性 应该注意不要使对象之间的关系过于复杂 导致在实际查询时的速度过慢 DDS数据存储 模型特点星型模型 以维度表和事实表的方式对数据进行组织和存放面向需求 从满足应用需求的角度进行设计 从中找出维度 维和分析变量粒度较粗 从明细数据汇总得到 数据抽取 数据加载 数据映射 数据转换 数据清洗 从HDS或ODS中获取所需数据 清除错误的 不符合业务逻辑的数据 将业务系统的数据字段对应到主数据的数据字段 将数据转换成主数据的模型 将转换完毕的数据写入物理数据库 数据标准化 按照数据的标准 对数据进行统一 主数据加载 数据抽取 数据加载 数据映射 数据转换 数据清洗 从HDS或ODS中获取所需数据 清除错误的 不符合业务逻辑的数据 将业务系统的数据字段对应到EDW的数据字段 将数据转换成EDW的模型 将转换完毕的数据写入物理数据库 数据标准化 按照数据的标准 对数据进行统一 EDW数据加载 数据抽取 数据加载 数据转换 数据汇总 数据映射 从EDW数据存储中获取所需数据 将EDW存储模型的字段 对应到DDS存储模型的字段 把数据从EDW的ER模型转换为DDS的多维存储模型 把EDW中的数据进行一定程度的汇总 将转换完毕的数据写入物理数据库 DDS数据加载 前端业务应用与管理系统 应用服务层 数据中心存储平台 DDS OLAP DM MetaData 数据服务层 OLAP引擎 元数据管理服务 管理和审计服务 BI引擎 统一的安全管理 EDS 数据访问层代理 WebServer 浏览器 GUI应用程序 ODS 数据交换服务 主数据管理服务 分析型应用 企业绩效KPI 业务报务 业务应用 跨部门 跨业务应用 应用层次规划 资产分析 成本分析 业务分类 财务 生产 销售 KPI 库存 物流 盈利 产量 原料 质检 销量 市场 竞争对手 市场 生产指标 财务指标 销售指标 库存分析 应用分类 管理系统 元数据管理 主数据 数据中心 ODS EDS DDS DM 应用系统 ETL 元数据数据源 元数据存储平台 业务元数据 业务指标 维度 技术元数据 维度 ADS ETL信息 应用系统信息 管理元数据 ETL日志 应用系统日志 权限 元数据应用平台 维护功能 业务元数据维护 技术元数据维护 查询功能 分类导航 全文检索 日志查询 权限查询 展现功能 动态指标解释 信息展示 血缘关系 OLAP 业务指标 需求 主数据管理 商务智能工具 SOA技术 WEB技术 实施技术 实施过程 数据仓库实施方法 自下而上从业务数据入手 建立数据模型建立完整的后台数据自上而下完全基于业务需求分析的结果以需求确定后台的数据范围迭代开发整个建设过程分为多个迭代过程从关键的业务入手 即考虑后台数据 又提供前端展现 28 项目组架构 实施流程 项目准备 项目规划 技术架构 源数据分析数据建模 应用设计开发 ETL设计开发 集成测试 系统上线 运行维护系统演进 项目管理 实施案例 业务系统 数据存储平台 数据仓库应用平台 EDW DDS 对外接口 数据交换平台 数据挖掘与分析系统 其它应用 OLAP ADS DM 数据中心 案例1 历史数据存储 HDS 操作数据存储 ODS 主数据 ETL 数据质量管理 业务系统 数据存储平台 数据仓库应用平台 EDW DDS 对外接口 数据交换平台 数据挖掘与分析系统 其它应用 OLAP ADS DM 数据仓库 案例2 历史数据存储 HDS 操作数据存储 ODS 主数据 ETL 数据质量管理 业务系统 数据存储平台 数据仓库应用平台 EDW DDS 对外接口 数据交换平台 数据挖掘与分析系统 其它应用 OLAP ADS DM 数据仓库 案例3 历史数据存储 HDS 操作数据存储 ODS 主数据 ETL 数据质量管理 业务系统 数据存储平台 数据仓库应用平台 EDW DDS 对外接口 数据交换平台 数据挖掘与分析系统 其它应用 OLAP ADS DM 数据仓库 案例4 历史数据存储 HDS 操作数据存储 ODS 主数据 ETL 数据质量管理 业务系统 数据存储平台 数据仓库应用平台 EDW DDS 对外接口 数据交换平台 数据挖掘与分析系统 其它应用 OLAP ADS DM 数据仓库 案例5 历史数据存储 HDS 操作数据存储 ODS 主数据 ETL 数据质量管理 业务系统 数据存储平台 数据仓库应用平台 EDW DDS 对外接口 数据交换平台