数据仓库架构培训

1、目,录,公司的数据仓库架构,2,数据存储与,ETL,3,厂商的数据仓库架构,1,前端业务应用与管理系统,4,实施过程,5,案例,6,厂商的数据仓库架构,IBM,数据仓库架构,NCR,数据仓库架,构,SAP,的数据仓库,两级数据仓库架构,公司的数据仓库架构,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,系统总体架构图,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数

2、据,质量,管理,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,公司实施常用架构,历史数据存储（,HDS,）,DM,ETL,数据,质量,管理,数据存储与,ETL,11,企业数据存,储,（,EDW,）,企业级,关系数,据模型,数据集市,（,DM,）,应,用,服,务,层,特殊应用数,据存储,（,ADS,）,操作数据存储,（,ODS,）,实时数据,存储,主数据,（,MD,）,多维数据,存储,（,DDS,

3、）,关系型,多维,模型,OLAP,数据存储,主数据存储,模型特点,?,ER,模型：与业务系统中代码信息存放方式类似,?,数据标准：在企业中采用统一的编码规则和标准,?,保留历史：保留主数据变化的版本,ODS,数据存储,模型特点,?,ER,模型：与业务系统中模型基本一致，尽量减少由于数据处理带来,的时间消耗,?,实时性：保存实时变化的数据,EDW,数据存储,模型特点,?,采用,3NF,方式建模，采用面向对象的建模方式,?,从业务模型入手，结合实际的业务系统的数据，使用主题域对数据进,行抽象,?,建模原则,?,全面性：最终应该能够覆盖到客户经营活动中所有的业务数据,?,抽象性：从业务的角度把客户的

4、所有业务要素抽象成若干对象，采用面,向对象的设计方法,?,扩展性：其体系结构应该能够适应客户今后业务的发展,?,高效性：应该注意不要使对象之间的关系过于复杂，导致在实际查询时,的速度过慢,DDS,数据存储,模型特点,?,星型模型：以维度表和事实表的方式对数据进行组织和存放,?,面向需求：从满足应用需求的角度进行设计，从中找出维度，维和分,析变量,?,粒度较粗：从明细数据汇总得到,数据抽取,数据加载,数据映射,数据转换,数据清洗,?,从,HDS,或,ODS,中获取,所需数,据,?,清除错,误的、,不符合,业务逻,辑的数,据,?,将业务,系统的,数据字,段对应,到主数,据的数,据字段,?,将数据,

5、转换成,主数据,的模型,数据标准化,?,按照数,据的标,准，对,数据进,行统一,主数据加载,数据抽取,数据加载,数据映射,数据转换,数据清洗,?,从,HDS,或,ODS,中获取,所需数,据,?,清除错,误的、,不符合,业务逻,辑的数,据,?,将业务,系统的,数据字,段对应,到,EDW,的数据,字段,?,将数据,转换成,EDW,的,模型,数据标准化,?,按照数,据的标,准，对,数据进,行统一,EDW,数据加载,数据抽取,数据加载,数据转换,数据汇总,数据映射,?,从,EDW,数,据存储中,获取所需,数据,?,将,EDW,存,储模型的,字段，对,应到,DDS,存储模型,的字段,?,把数据从,EDW

6、,的,ER,模型转,换为,DDS,的多维存,储模型,?,把,EDW,中,的数据进,行一定程,度的汇总,DDS,数据加载,前端业务应用与管理系统,?,应用服务层,数据中心存储平台,DDS,OLAP,DM,Meta Data,数据服务层,OLAP,引擎,元数据管理服务,管理和审计服务,BI,引擎,统,一,的,安,全,管,理,EDS,数,据,访,问,层,代,理,Web Server,浏览器,GUI,应用程序,ODS,数据交换服务,主数据管理服务,分析人员使用,决策层使用,管理人员使用,业务人员使用,分析型应用,企业绩效,KPI,业务报务、业务应用,跨部门、跨业务应用,应用层次规划,资产分析,成本分析

7、,业务分类,财务,生产,销售,KPI,库存,物流,盈利,产量,原料,质检,销量,市场,竞争对手,市场,生产指标,财务指标,销售指标,库存分析,应用分类,?,管理系统：元数据管理,主,数,据,数,据中心,ODS,EDS,DDS,DM,应,用系,统,ETL,元,数,据,数,据源,元,数,据存,储,平台,业务,元,数,据,业务,指,标,维,度,技,术,元,数,据,维,度,ADS,ETL,信息,应,用系,统,信息,管理元,数,据,ETL,日志,应,用系,统,日志,权,限,元,数,据,应,用平台,维护,功能,业务,元,数,据,维护,技,术,元,数,据,维护,查询,功能,分,类导,航,全文,检,索,日志,

8、查询,权,限,查询,展,现,功能,动态,指,标,解,释,信息展示,血,缘关,系,OLAP,业务,指,标,/,需求,主数据管理,实施技术,实施过程,数据仓库实施方法,自下而上,?,从业务数据入手，建立数据模型,?,建立完整的后台数据,自上而下,?,完全基于业务需求分析的结果,?,以需求确定后台的数据范围,迭代开发,?,整个建设过程分为多个迭代过程,?,从关键的业务入手，即考虑后台数据，又提供前端展现,28,项目组架构,项目管理组,客户方项目组,系统架构组,ETL,组,数据建模组,应用开发组,质量管理组,项目管理委员会,需求分析组,售后与服务组,系统测试组,实施流程,项目准备,项目规划,需求定义,

9、技术,需求,业务,需求,技术架构,源数据分析,数据建模,应用设计开发,ETL,设计,开发,集成测试,系统上线,运行维护,系统演进,项,目,管,理,实施案例,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,数据中心,-,案例,1,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,

10、工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,数据仓库,-,案例,2,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,数据仓库,-,案例,3,历史数据存储（,HDS,）,操

11、作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,数据仓库,-,案例,4,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,数据仓库,-,案例,5,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,业务系统,数据存储平台,数据仓库应用平台,