数据仓库设计

1、数据仓库设计内容提要n数据仓库的开发过程n数据仓库设计步骤n数据仓库的概念设计n概念设计步骤n星型模型数据仓库的开发n与数据库应用系统的开发过程相比，有如下几方面不同：n面向的处理类型不同；n面向的需求不同；n系统设计的目标不同；n两者的数据来源或系统的输入不同；n系统设计的方法和步骤不同；数据库应用开发过程SDLC应用B应用A应用C收集应用需求分析应用需求构建数据库应用编程系统测试系统实施DB数据仓库的开发过程CLDS外部数据数据获取与集成构建数据仓库系统测试理解需求数据仓库建模 DSS应用编程DBDB数据仓库开发的特点：数据驱动n数据驱动 ：从已有数据出发的数据仓库设计方法称为“数据驱动”

2、的系统设计方法。 n利用以前所取得的工作成果n不再是面向应用n利用数据模型n数据模型是联系操作型数据环境的设计、数据仓库数据环境的设计、操作型数据处理应用的开发和设计以及DSS应用的开发与设计的纽带 规划 分析阶段 数据仓库 开发过程 设计实施 使用维护阶段 阶段数据仓库的螺旋式开发方法数据仓库的螺旋式开发方法数据仓库实现策略数据仓库实现策略n开发策略主要有：n自顶向下：实际应用比较困难 。n自底向上：用于一个数据集市或一个部门的数据仓库开发 ，容易获得成功 。n两种策略的联合使用 ：能够快速地完成数据仓库的开发与应用，而且还可以建立具有长远价值的数据仓库方案。在实际使用中难以操作 。数据仓库

3、的结构数据仓库的结构n数据仓库的应用结构 n基于业务处理系统的数据仓库 n单纯数据仓库 n单纯数据集市 n数据仓库和数据集市 n数据仓库的技术平台结构n单层结构 n客户/服务器两层结构 n三层客户/服务器 n多层式结构 数据仓库使用方案和项目规划预算数据仓库使用方案和项目规划预算n数据仓库使用方案n最终用户的决策支持要求n数据仓库的技术要求n开发方案的预算进行估计 n编制数据仓库开发说明书 n说明系统与企业战略目标的关系，系统与企业急需处理的、范围相对有限的开发机会。n业务机会的说明以及任务概况说明、重点支持的职能部门和今后工作的建议。n计划中需要阐明期望取得的有形和无形利益n规划书中要确定数

4、据仓库的开发目标实现范围、体系结构和使用方案及开发预算。数据仓库的设计步骤数据仓库运行与维护分析主题域，针对每一个选定的实施的主题域逻辑模型设计物理模型设计粒度层次划分数据分割策略记录系统定义关系模式定义确定存储结构确定索引结构确定存放位置确定存储分配概念模型设计界定系统边界确定主题域技术准备工作技术环境准备技术评估数据仓库生成设计接口数据装入数据仓库的设计步骤n1.概念模型设计：界定系统边界、确定主要的主题域 n2.技术准备工作：技术评估和环境的准备 n3.逻辑模型设计：确定要装载的主题、粒度层次划分、数据分割策略、关系模式定义和记录系统定义 数据仓库的设计步骤n4.物理模型设计：确定数据的

5、存储结构、索引策略、数据存放位置和存储分配 n5.数据仓库生成：设计接口和将数据装入 n6.数据仓库运行与维护：开发决策支持系统DSS的应用；进一步理解需求，调整和完善数据仓库系统，维护数据仓库；概念模型设计n概念模型的设计阶段：n用户需求调查n模型定义n模型分析n模型设计 n概念模型的需求调查n数据仓库开发的任务书 n首先要明确用户的信息需求 n了解管理人员在信息需求方面的内容 n了解关于信息的来源 n组织所使用的系统环境 概念模型的定义概念模型的定义n数据仓库用户的决策分析n支持决策的数据需求分析n数据需求分析工具：CRUD矩阵nC：Create产生；nR：Read引用；nU：Update

6、更新；nD：Delete删除。例：了解用户的决策分析问题决策分析问题客户购买商品趋势分析需求信息类日期地点商品客户年龄组客户经济状况客户信用需求信息1层需求信息2层需求信息3层需求信息4层需求信息5层年(4)季(16)月(48)国家(15)省(60)市(200)街道(2100)商店(20000)商品种类(7)商品小类(40)商品(220)年龄组（8）经济类（10）信用（10） 实体功能客户销售单商品销售代表供货商销售单输入CRUDCRUDRRURU销售单处理CRUDCRUD商品管理RRRUR预算系统RRRRUR财务计算RURRURR库存控制RRUCRUDR后勤RRURRUCRUD矩阵企业业务处

7、理系统数据存储表OracleSysbaseSQL ServerVFP其它模式销售单输入销售单处理商品管理预算系统(Excel)财务计算库存控制后勤外部数据源商品供应商市场调查公司 客户变动信息 商品变动信息 客户号 商品固有信息 客户固有信息 客户号 供应商号 开户日期 日期 销售数量 日期 商品号 商品 客户 销售 概念模型的分析简单的概念模型的缺陷n仅从数据模型的角度，会产生“平面”的效应；n实体之间不会是简单的对等的关系；实体的三维透视n某些实体的数据载入量要远远大于其他实体；星型模型n利用星型模型对要载入大量数据的实体进行管理；n产生大量数据的实体处于中央，称之为事实表；n其他实体处于

8、周围，称之为维度表；n事实表包含了独有的标识数据，也包含了实体本身的独有数据；n事实表还包含了指向其周围的表维表的外键；n如果非外键的信息经常被事实表使用，那么星型连接内的非外键信息将会伴随外键的关系共同存在。例：星型模型例子星型模型星型模型 星型模型是最常用的数据仓库设计结构的实现模式。使数据仓库形成了一个集成系统，为用户提供分析服务对象。 事实表维度表维度表维度表维度表维度表核心是事实表，围绕事实表的是维度表。通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。指标实体（事实实体）指标实体名维度实体名详细类别实体名维度实体详细类别实体（引用实体）星型模型中使用的表示方法星型

9、模型n文本数据常出现在维表中，数值数据常出现在事实表中；n星型连接的好处是为决策支持系统的处理优化了数据；n数据预连接；n建立有选择的数据冗余；n传统数据模型和星型连接的配合n传统数据模型应用于维表即数据不多的实体；n星形连接应用于事实表(即数据量大的实体)；文本数据与数值数据数据模型依然是数据仓库的设计基础经济(年收入)100万以上10万以上1万以上1万以下地点国家省市销售销售数量销售价格销售金额时间ID地点ID商品ID年龄60岁以上40岁以上30岁以上20岁以上20岁以下日期年月日商品种类ID小类ID商品ID信用10万元以上1万元以上1千元以上1千元以下 0元概念模型的设计雪花模型雪花模型雪花模型是对星型模型的扩展，每一个维度都可以向外连接到多个详细类别表。 雪花模型对星型模型的维度表进一步标准化，对星型模型中的维度表进行了规范化处理。 事实表维度表维度表维度表维度表维度表详 细类 别表详 细类 别表经济(年收入)100万以上10万以上1万以上地点国家省市销售销售ID销售数量销售价格销售金额时间ID地点ID商品ID年龄60岁以上40岁以上30岁以上20岁以上20岁以下日期年月日商品ID种类小类商品信用10万元以上1万元以上1千元以上1千元以下 0元商品ID生产厂家进货价