数据仓库架构培训

1、,目 录,厂商的数据仓库架构,IBM数据仓库架构,NCR数据仓库架构,SAP的数据仓库,两级数据仓库架构,公司的数据仓库架构,业务系统,数据存储平台,数据仓库应用平台,EDW,DDS,对外接口,数据交换平台,数据挖掘 与分析系统,其它应用,OLAP,ADS,DM,系统总体架构图,历史数据存储（HDS）,操作数据存储（ODS）,主数据,ETL,数据 质量 管理,业务系统,数据存储平台,数据仓库应用平台,EDW,DDS,对外接口,数据交换平台,数据挖掘 与分析系统,其它应用,OLAP,ADS,公司实施常用架构,历史数据存储（HDS）,DM,ETL,数据 质量 管理,数据存储与ETL,11,数据存储

2、,主数据存储,模型特点 ER模型：与业务系统中代码信息存放方式类似 数据标准：在企业中采用统一的编码规则和标准 保留历史：保留主数据变化的版本,ODS数据存储,模型特点 ER模型：与业务系统中模型基本一致，尽量减少由于数据处理带来的时间消耗 实时性：保存实时变化的数据,EDW数据存储,模型特点 采用3NF方式建模，采用面向对象的建模方式 从业务模型入手，结合实际的业务系统的数据，使用主题域对数据进行抽象 建模原则 全面性：最终应该能够覆盖到客户经营活动中所有的业务数据 抽象性：从业务的角度把客户的所有业务要素抽象成若干对象，采用面向对象的设计方法 扩展性：其体系结构应该能够适应客户今后业务的发

3、展 高效性：应该注意不要使对象之间的关系过于复杂，导致在实际查询时的速度过慢,DDS数据存储,模型特点 星型模型：以维度表和事实表的方式对数据进行组织和存放 面向需求：从满足应用需求的角度进行设计，从中找出维度，维和分析变量 粒度较粗：从明细数据汇总得到,数据抽取,数据加载,数据映射,数据转换,数据清洗,从HDS或ODS中获取所需数据,清除错误的、不符合业务逻辑的数据,将业务系统的数据字段对应到主数据的数据字段,将数据转换成主数据的模型,将转换完毕的数据写入物理数据库,数据标准化,按照数据的标准，对数据进行统一,主数据加载,数据抽取,数据加载,数据映射,数据转换,数据清洗,从HDS或ODS中获

4、取所需数据,清除错误的、不符合业务逻辑的数据,将业务系统的数据字段对应到EDW的数据字段,将数据转换成EDW的模型,将转换完毕的数据写入物理数据库,数据标准化,按照数据的标准，对数据进行统一,EDW数据加载,数据抽取,数据加载,数据转换,数据汇总,数据映射,从EDW数据存储中获取所需数据,将EDW存储模型的字段，对应到DDS存储模型的字段,把数据从EDW的ER模型转换为DDS的多维存储模型,把EDW中的数据进行一定程度的汇总,将转换完毕的数据写入物理数据库,DDS数据加载,前端业务应用与管理系统,应用服务层,数据中心存储平台,DDS,OLAP,DM,Meta Data,数据服务层,OLAP引擎

5、,元数据管理服务,管理和审计服务,BI引擎,统 一 的 安 全 管 理,EDS,数 据 访 问 层 代 理,Web Server,浏览器,GUI应用程序,ODS,数据交换服务,主数据管理服务,分析型应用,企业绩效 KPI,业务报务、业务应用,跨部门、跨业务应用,应用层次规划,资产分析,成本分析,业务分类,财务,生产,销售,KPI,库存,物流,盈利,产量,原料,质检,销量,市场,竞争对手,市场,生产指标,财务指标,销售指标,库存分析,应用分类,管理系统：元数据管理,主数据,数据中心,ODS,EDS,DDS,DM,应用系统,ETL,元数据数据源,元数据存储平台,业务元数据,业务指标,维度,技术元数

6、据,维度,ADS,ETL信息,应用系统信息,管理元数据,ETL日志,应用系统日志,权限,元数据应用平台,维护功能,业务元数据维护,技术元数据维护,查询功能,分类导航,全文检索,日志查询,权限查询,展现功能,动态指标解释,信息展示,血缘关系,OLAP,业务指标/需求,主数据管理,商务智能工具,SOA技术,WEB技术,实施技术,实施过程,数据仓库实施方法,自下而上 从业务数据入手，建立数据模型 建立完整的后台数据 自上而下 完全基于业务需求分析的结果 以需求确定后台的数据范围 迭代开发 整个建设过程分为多个迭代过程 从关键的业务入手，即考虑后台数据，又提供前端展现,28,项目组架构,实施流程,项目

7、准备,项目规划,技术架构,源数据分析 数据建模,应用设计开发,ETL设计 开发,集成测试,系统上线,运行维护 系统演进,项 目 管 理,实施案例,业务系统,数据存储平台,数据仓库应用平台,EDW,DDS,对外接口,数据交换平台,数据挖掘 与分析系统,其它应用,OLAP,ADS,DM,数据中心-案例1,历史数据存储（HDS）,操作数据存储（ODS）,主数据,ETL,数据 质量 管理,业务系统,数据存储平台,数据仓库应用平台,EDW,DDS,对外接口,数据交换平台,数据挖掘 与分析系统,其它应用,OLAP,ADS,DM,数据仓库-案例2,历史数据存储（HDS）,操作数据存储（ODS）,主数据,ET

8、L,数据 质量 管理,业务系统,数据存储平台,数据仓库应用平台,EDW,DDS,对外接口,数据交换平台,数据挖掘 与分析系统,其它应用,OLAP,ADS,DM,数据仓库-案例3,历史数据存储（HDS）,操作数据存储（ODS）,主数据,ETL,数据 质量 管理,业务系统,数据存储平台,数据仓库应用平台,EDW,DDS,对外接口,数据交换平台,数据挖掘 与分析系统,其它应用,OLAP,ADS,DM,数据仓库-案例4,历史数据存储（HDS）,操作数据存储（ODS）,主数据,ETL,数据 质量 管理,业务系统,数据存储平台,数据仓库应用平台,EDW,DDS,对外接口,数据交换平台,数据挖掘 与分析系统,其它应用,OLAP,ADS,DM,数据仓库-案例5,历史数据存储（HDS）,操作数据存储（ODS）,主数据,ETL,数据 质量 管理,业务系统