chapter3数据仓库设计

1、第三章 数据仓库设计第3章数数据仓库库设计3.1数据仓库库的需求求与规划划3.1.1数据库设设计方法法简述3.1.2数据仓库库开发流流程3.1.3数据仓库库需求分分析3.1.4数据仓库库规划3.2建立数据据仓库3.2.1数据仓库库的平台台与结构构选择3.2.2数据仓库库接口与与中间件件设计3.2.3数据仓库库的数据据抽取、加载与与复制3.2.4数据仓库库逻辑模模型的确确定3.2.5数据仓库库物理模模型的确确定3.2.6数据仓库库测试3.3数据仓库库典型解解决方案案3.1.1数据库设设计方法法简述在相当长长的一段段时期内内，数据据库设计计主要采采用的是是手工试试凑方法法。按照规范范设计的的思想，

2、一般将将数据库库设计细细分为数数据库需需求分析析阶段、数据库库概念设设计阶段段、数据据库逻辑辑设计阶阶段、数数据库物物理设计计阶段、数据库库实施阶阶段和数数据库运运行、维维护六个个阶段。在数据库库实施阶阶段，设设计人员员的主要要工作是是使用DBMS所提供的的语言和和宿主语语言，根根据数据据库逻辑辑设计阶阶段和数数据库物物理设计计阶段的的成果建建立数据据库，并并编制和和调试数数据库应应用程序序。在数据库库运行和和维护阶阶段，设设计人员员的主要要工作是是将是运运行后的的数据库库正式运运行，并并在运行行过程中中，对数数据库所所反映出出的问题题不断修修改、评评价、调调试和完完善。实际上，数据库库实际步

3、步骤也包包括了数数据库应应用系统统的设计计过程。有关对数数据处理理特性的的描述中中，不同同的数据据库的设设计过程程、数据据库设计计的不同同阶段应应该具有有不同的的数据模模式。如如在需求求分析阶阶段，应应该是用用户应用用需求模模式；在在概念设设计阶段段，应该该是产品品的概念念模式；而在逻逻辑设计计阶段，则应该该是有关关数据产产品支持持的数据据模型。从数据仓仓库的应应用角度度来看，DSS分析员一一般是企企业的中中上层管管理人员员，他们们对决策策分析的的需求不不能预先先做出规规范的说说明，只只能给设设计人员员一个抽抽象的（模糊的的）描述述。图3-1数据库设设计步骤骤应用需求求（数据、处理）转换规则则

4、、DBMS功能、优化方法法需求收集集和分析析设计概念念结构设计逻辑辑结构数据模型型优化设计物理理结构评价设计计，性能能预测物理实现现试验性运运行使用、维维护数据据库应用要求求，DBMS详细特征需求分析析阶段概念设计计阶段逻辑设计计阶段物理设计计阶段数据库实实施阶段段数据库运运行、维维护阶段段不满意不满意图3-2数据库结结构设计计（1）设 计阶 段设计计描描述述数据据处理理需 求分 析数据字典典、全系系统中数数据项、数据流、数据存存储的描描述数据流图图和判定定表（判判定树）、数据据字典中处理过过程的描描述概念结构设计逻辑结构设计概念模型型（E-R图）数据字典典系统说明明书包括括：A.新系统要要求

5、、方案和概概图B.反映新系系统信自流的数数据流图图某种数据据模型关系非关系系统结构构图（模块结结构）图3-2数据库结结构设计计（2）物理设计实施阶段运行维护性能监测测、转储储/恢复数据库重重组和重重构新旧系统统转换、运行、维护（修正性性、适应性、改改善性维维护）存储安排排方法选择择存取路径径建立分区1分区2模块设计计IPO表IPO表输入：输出：处理：编写模式式装入数据据数据库试试运行Creat.Load程序编码码、编译联结结、测试试Main()IfThenend图3-3数据库的的不同模模式应用要求求应用要求求应用要求求应用要求求概念模式逻辑模式外模式外模式外模式外模式内模式应用1应用2应用3应

6、用4应用1应用2应用3应用4综合转换映象映象3.1.2数据仓库库开发流流程设计和建建立数据据仓库应应采取工工程管理理的方式式进行。1.数据仓库库系统的的4个阶段（1）设想阶阶段：在在数据仓仓库设想想阶段，一般是是为了适适应特定定的商业业应用提提出数据据仓库系系统的发发展前景景。（2）规划和和成长阶阶段：此此阶段为为开展商商业活动动。（3）控制阶阶段：在在这个阶阶段要用用控制和和整合的的办法将将应用系系统整合合，把聚聚焦点正正确地转转移到“集中化化方法”上，以以求在企企业级的的真正数数据仓库库中，为为企业决决策分析析提供强强有力的的支持，从而将将多个数数据仓库库结合起起来，形形成一个个决策支支持

7、环境境。（4）稳定阶阶段：主主要任务务是在使使用决策策支持和和数据仓仓库过程程中不断断的改进进，是数数据仓库库逐渐成成熟。2.数据仓库库的开发发流程（1）数据仓仓库规划划分析阶阶段，在在该阶段段的工作作内容主主要包括括：A.分析数据据仓库应应用环境境，调查查数据仓仓库开发发需求，完成数数据仓库库的开发发规划。B.建立包括括实体关关系图、星型模模型、雪雪花模型型、元数数据模型型以及数数据源分分析的主主题区数数据模型型，并根根据主题题区数据据模型开开发数据据仓库逻逻辑的模模型。（2）数据仓仓库设计计实施阶阶段，在在该阶段段的工作作内容主主要包括括：A.按照数据据仓库的的逻辑模模型设计计数据仓仓库的

8、体体系结构构。B.设计数据据仓库的的物理数数据库。C.用物理数数据库元元数据填填充面向向最终用用户的元元数据库库。D.对数据仓仓库中每每个目标标字段确确认其在在业务系系统或外外部数据据源中的的数据来来源。E.开发（或或购买）用于抽抽取、清清洁、交交换和合合并数据据等中间间件的程程序。F.将数据从从现有系系统中传传送到仓仓库中。（3）数据仓仓库的使使用维护护阶段，在该阶阶段的工工作内容容主要包包括：A.将数据仓仓库投入入实际应应用，并并在应用用中改进进和维护护数据仓仓库。B.对数据仓仓库进行行效益评评价，以以为下一一个循环环提供依依据。图3-4数据仓库库的生命命周期开开发应用用全过程程开发概念模

9、型规划与确定需求数据仓库评价数据仓库维护数据仓库应用填充与测试数据仓库开发中间件确定数据抽取源数据库与元数据设计设计体系结构开发逻辑模型数据仓库库开发过程程规划分析阶段段设计实施阶段使用维护护阶段3.数据仓库库的开发发特点数据仓库库的使用用也即在在数据仓仓库中建建立DSS应用。数数据仓库库的开发发特点包包括：（1）数据仓仓库开发发要从数数据出发发（2）数据仓仓库使用用的需求求不可能能在开发发初期就就明确（3）数据仓仓库的开开发是一一个不断断循环的的过程，是启发发式的开开发。3.1.3数据仓库库需求分分析数据仓库库的需求求分析根根据不同同领域可可以划分分为业主主（投资资者）的的需求、设计的的需求

10、、开发者者的需求求和最终终用户的的需求等等方面。（1）业主需需求的分分析数据仓库库的业主主关心的的是创建建数据仓仓库的目目标，建建立数据据仓库给给组织战战略带来来的影响响，创建建数据仓仓库所需需的投资资费用以以及所具具有的应应用前景景。业主主常常参参与数据据仓库概概念模型型的认可可和评审审，批准准开发方方案，为为系统以以后的不不断升级级和连续续投资进进行决策策。（2）设计者者需求的的分析数据仓库库设计者者不但要要收集业业主对数数据仓库库的需求求，还要要收集实实现这些些需求所所需的技技术要求求。设计计者介于于投资者者和实现现者之间间。企业结构构规划（EAP）法是用于于结构设设计的一一种最有有效的

11、方方法，在在该法中中，设计计者可以以实现以以下3种结构。A.数据结构构。B.应用程序序结构。C.技术结构构。（3）开发者者需求的的分析开发者负负责数据据仓库各各个构件件的物理理安装和和集成。开发者需需求进一一步包括括如下四四个方面面：A.技术需求求B.试用需求求C.数据仓库库产品就就绪需求求D.开发与使使用人员员及其技技术需求求（4）最终用用户需求求的分析析数据仓库库相对最最终用户户而言是是一个黑黑箱，他他们只能能通过查查询、报报表工具具和数据据仓库内内部信息息的某种种影射关关系来访访问数据据仓库内内部数据据。因而而，最终终用户的的需求主主要体现现在对工工作流程程的分析析、决策策的查询询需求、

12、报表需需求、操操作需求求和数据据需求等等方面。同时，在进行行数据仓仓库的最最终用户户需求分分析时，还需要要对数据据仓库的的主题域域、信息息的粒度度、数据据仓库的的维度进进行分析析。3.1.4数据仓库库规划1.项目开发发小组（1）项目开开发小组组概述：不是所有有的团体体都是小小组。一一个团体体要作为为一个小小组成功功地运作作，必须须具备三三个基本本的条件件：A.要完成的的任务必必须清楚楚明确。B.小组必须须是明确确确定的的。C.小组必须须对它的的项目有有自始至至终的控控制。建立高效效小组的的四项基基本原则则是内聚聚力、目目标、反反馈和共共同工作作框架。（2）创建项项目开发发小组当小组开开始成为为

13、整体的的时候，他们首首先要确确定和接接受一系系列共同同的目标标。确立目标标后要做做的第一一件事就就是明确确责任。没有明确确的职责责分工，就、小小组就要要花一些些时间去去搞清楚楚什么事事情必须须做、决决定谁来来做哪一一件工作作、决定定什么时时候做和和怎样去去做。小组确定定了目标标、分派派好角色色后，就就要确定定一个达达到目标标的战略略了。小组成员员接着再再确定他他们将要要用来开开始工作作的资料料，并将将其存档档。小组成员员们都很很忙，他他们可能能没有多多少时间间来聚在在一起，这就破破坏了小小组工作作的一个个关键交流。2.项目开发发小组对对数据仓仓库规划划与其他项项目一样样，一个个好的计计划能带带

14、来有效效的开端端，数据据仓库项项目开发发小组必必须要对对即将开开发的数数据仓库库项目进进行整体体规划，作出项项目开发发计划书书，以使使项目变变得易于于理解。表3-1数据仓库库项目对对照表(1)项目目1项目目2业务驱动动因素竞争性的的市场使使一家金金融组织织认识到到，它必须开始始利用其其日常活活动中包包含的大大量信息。企企业的资资产很多多，但它它没有预预测其信用卡卡使用状状况和利利润率的的能力一家财产产和事故故保险公公司无法法为有多多张保险单和复复杂保险险险种的的顾客传传递统一一的结账数据。因此要要求将多多个来源源中的数数据与一个能生生成统一一报表和和进行用用户查询询的数据模型对对应起来来数据范

15、围围一个主题题区“信信用卡”多个主题题区，包包括“收收入”、“赔款款”和“顾客客”业务原因因向接受该银银行信用用卡的组组织宣传传信用卡卡（如趋势、人口统统计特征征等）的的决策支支持项目业务支持持，数据据合并分类战略性的的战术性的的时间范围围3-6个月的增增加业务务价值6-9个月取得得初步成成果技术范围围公司近期期政策要要求把所所有新的的商务软软件都放在客客户机/服务器体体系结构构上用现在技术术迅速产产生结果果，以后后可以加入新技技术表3-1数据仓库库项目对对照表（2）项目方法法高度循环环性的DW开发项目每六六个月交交付一次次成果，然后继继续逐步交付付结果假设/约束可以得到到优秀的的员工；最终用

16、用户一开开始就能接受受特别查查询可以得到到优秀员员工角色用户项目目代表项目经理理数据建模模人员业务分析析人员系统分析析员开发人员员用户主题事务务专家用户项目目代表项目经理理数据建模模人员业务分析析人员系统分析析员开发人员员用户主题事务务专家所选的步步骤建模决策者的的需求主题区分分析源系统分分析最终用户户（EU）访问方法法设计EU访问方法法界定EU访问方法法开发交换设计计物理数据据库设计计DW开发DW填充和实实现建模DSS体系结构构决策者的的需求主题区分分析源系统分分析EU访问方法法设计变换设计计物理数据据库设计计DW开发DW填充和实实现除了项目目开发计计划书外外，项目目开发小小组的项项目规划划

17、活动还还将产生生：A.文档化的的业务驱驱动因素素。B.数据范围围。C.时间范围围。D.业务原因因。E.总体方法法。F.参与者及及其作用用。G.假设和约约束。H.项目管理理战略。3.2.1数据仓库库的平台台与结构构选择1.数据仓库库的技术术平台（1）单层结结构：主主要是指指在数据据源和数数据仓库库之间共共享平台台，或者者让数据据源、数数据仓库库、数据据集市与与最终用用户工作作站使用用同一个个平台。（2）客户/服务器两两层结构构：在这这类结构构中，一一层为客客户机，一层为为服务器器。最终终用户访访问工具具在客户户层运行行，而数数据源、数据仓仓库和数数据集市市位于服服务器上上。该技技术结构构一般用用

18、于普通通规模的的数据仓仓库。（3）三层客客户/服务器结结构：这这类结构构包括基基于工作作站的客客户层、基于服服务器的的中间层层和基于于主机的的第三层层。主机机（宿主主）层负负责管理理数据源源和可选选的源数数据转换换；服务务器运行行数据仓仓库和数数据集市市软件，并存储储仓库的的数据；客户工工作站运运行查询询和报表表运用程程序，且且还可以以存储从从数据集集市或数数据仓库库卸载的的局部数数据。（4）多层式式结构：这是在在三层客客户/服务器结结构上发发展起来来的数据据仓库结结构。2.数据仓库库的体系系结构（1）信息获获取层：负责数数据的收收集、提提纯、净净化和聚聚合，以以及从组组织外部部数据源源和组织

19、织的业务务处理系系统中获获取数据据。（2）信息存存储层：提供包包含时点点信息的的单一逻逻辑信息息，这种种数据通通常以最最分散的的方式存存放需要尽可可能使物物理设计计符合数数据模型型，这对对最终产产生满足足各种设设计要求求的灵活活性是十十分重要要。（3）信息传传递层：是数据据仓库结结构中支支持一套套共用的的表示工工具和分分析工具具的组成成部分。3.数据仓库库的数据据库设计计数据仓库库的数据据库主要要包含存存储用户户进行决决策分析析的数据据库和描描绘数据据的元数数据库。存储用户户分析数数据的数数据库可可以采用用关系型型数据库库、多维维数据库库和对象象数据库库实现。元数据库库是数据据仓库的的灵魂。没

20、有元元数据库库，用户户就无法法对数据据仓库数数据进行行良好的的定义、组织和和管理。3.2.2数据仓库库接口与与中间件件设计1.数据仓库库的数据据源确定定以及与与业务处处理系统统接口的的设计（1）数据仓仓库的数数据源确确定要为数据据仓库从从数据源源中抽取取为管理理决策分分析所使使用的数数据源，首先要要对所抽抽取的数数据源进进行正确确的定义义。数据据源的定定义要确确定数据据仓库主主题所需需各数据据源的详详细情况况，包括括数据源源所在计计算机平平台、拥拥有者、数据结结构、使使用该数数据源的的处理过过程、数数据仓库库更新计计划等。为了保证证数据的的更新需需要，还还需要为为数据仓仓库中的的每个目目标列确

21、确认它在在业务系系统或外外部数据据源中的的数据来来源规则则，以便便利用数数据获取取中间件件，从源源系统中中获取数数据，并并加载到到数据仓仓库中。（2）数据仓仓库与业业务处理理系统的的接口设设计在确定了了数据仓仓库的数数据源以以后，就就需要考考虑数据据仓库与与作为数数据源的的业务处处理系统统的接口口设计。由于业务务处理系系统环境境小，各各个应用用系统都都有自己己独立的的、特殊殊的需求求，在各各自的过过程中没没有考虑虑到以后后与其他他系统的的集成问问题，在在其基础础上建立立的数据据仓库需需要完成成与业务务处理系系统接口口的设计计，所以以设计的的接口应应该具有有这样一一些功能能：A.从面向应应用和操

22、操作环境境生成完完整的数数据。B.数据基于于时间的的转换。C.数据的聚聚集。D.对现有数数据系统统的有效效扫描，以便今今后数据据仓库的的数据追追加。数据追加加的方法法主要有有：A.对操作型型数据打打上时间间戳。B.使用系统统日志或或审计日日志。C.修改程序序代码。D.使用前映映像或后后映像文文件。2.数据仓库库的中间间件设计计（1）拷贝中中间件，主要有有如下4种：A.代码发生生器。B.数据复制制工具。C.数据泵。D.广义数据据获取工工具和设设备。（2）用于数数据库访访问的网网关中间间件：主主要用于于解决数数据仓库库与数据据源和客客户端之之间的网网络协议议不同所所造成的的数据传传输困难难的问题题

23、。（3）对数据据仓库进进行监控控的中间间件：主主要用于于对数据据仓库的的应用选选择适当当的资源源，如可可以根据据系统的的负载选选择恰当当的计算算机完成成数据库库事务；如果有有的计算算机不可可用，可可以自动动选择可可用的计计算机进进行事务务处理；可以根根据用户户对数据据仓库的的使用频频率以及及数据量量来调整整数据仓仓库。3.2.3数据仓库库的数据据抽取、加载与与复制1.数据仓库库的数据据抽取数据仓库库的数据据抽取是是数据仓仓库成功功的关键键。“垃垃圾进，垃圾出出”的原原则说明明了数据据抽取的的重要性性。在操操作数据据上执行行的数据据抽取，应该依依据元数数据中定定义的标标准数据据格式处处理数据据。

24、在抽抽取过程程中，应应该在将将数据传传递到数数据仓库库系统之之前，从从元数据据存储中中读到这这种域定定义，将将数据转转换或修修补以适适合新标标准。数据的抽抽取处理理实际上上被个别别情况所所驱动。2.数据仓库库的数据据加载在数据被被抽取后后，可把把数据加加载到数数据仓库库中。数数据加载载之前，首先需需要对准准备加载载的数据据进行清清理，即即对数据据按照标标准进行行格式化化处理，这些清清理工作作可在一一个专门门的数据据清理区区或数据据准备区区内进行行。数据清理理工作必必须严格格依据元元数据的的定义进进行，一一旦数据据清理结结束，则则将经过过净化和和转换的的数据加加载到合合适的数数据仓库库事实表表中

25、。在在数据加加载后，还要更更新元数数据仓库库中的元元数据，以反映映刚完成成的数据据加载活活动，并并对受影影响的概概括数据据重新概概括处理理。3.数据仓库库数据的的复制与与发行一个完整整的复制制结构应应能完成成以下的的复杂任任务：.A.不会受到到系统失失败等问问题的影影响，保保证提供供可靠的的数据复复制。B.只传送符合合数据完完整性规规则的一一致数据据。C.可优化传传送过程程，减少少在捕获获或修改改数据和和复制品品作为结结果传送送之间的的时间。技术和数数据结构构应保证证数据发发行系统统完成以以下的功功能：A.保证数据据发行以以适时和和有效的的方式进进行。B.保证只发发送被排排序的数数据。C.建立

26、正确确的和所所需要的的服务水水平标准准。3.2.4数据仓库库逻辑模模型的确确定对数据仓仓库逻辑辑模型的的确定要要涉及数数据仓库库粒度划划分、数数据分割割策略及及关系模模型定义义等内容容。1.数据仓库库粒度划划分：数数据仓库库的逻辑辑设计中中需要解解决的一一个重要要问题是是决定数数据仓库库粒度的的层次划划分；粒粒度层次次的划分分适当与与否直接接影响到到数据仓仓库中要要存储的的数据量量和查询询方法。2.确定数据据分割策策略：数数据分割割是指把把逻辑上上整体的的数据分分割成较较小的、可以独独立管理理的物理理单元进进行存储储的方法法。使用用数据分分割便于于数据的的重构、重组和和恢复，从而提提高创建建索

27、引和和顺序扫扫描的效效率。使使用数据据分割的的同时也也可有效效地支持持数据概概括。在设计数数据仓库库的数据据分割时时，最主主要的是是选择适适当的分分割标准准。选择择适当的的数据分分割标准准一般需需要考虑虑以下三三个方面面的因素素。（1）数据量量：数据据量的大大小是决决定是否否进行数数据分割割和如何何分割的的主要因因素。（2）数据分分析处理理的对象象：数据据分割是是与数据据处理的的对象紧紧密联系系的，不不同主题题内数据据分割的的标准不不同。（3）粒度分分割的策策略：进进行数据据分割设设计时，更重要要的是将将数据分分割标准准与粒度度层次的的划分策策略统一一起来。3.关系模型型定义无论数据据仓库的的

28、概念模模型是ER模型、星星型模型型还是雪雪花模型型，其最最后的物物理实现现必然是是以各种种表来完完成的。这些表表有的是是由指标标实体转转换而成成，有的的是由维维实体而而来，有有的是从从详细类类别实体体所来。指标实体体在转换换成事实实表时，往往会会形成多多个事实实表。4.数据仓库库的实体体定义在设计逻逻辑模型型时，必必须对逻逻辑模型型中的每每个实体体进行具具有的定定义。在在定义之之前必须须明确实实体究竟竟是另一一个实体体的部分分还是具具有独立立性的实实体。在逻辑数数据模型型中不仅仅要确定定实体、实体之之间的关关系和实实体所具具有的列列，还要要进一步步确定实实体列中中的主键键列，实实体之间间关系的

29、的外部键键列，实实体物理理存储的的一些特特性。要从实体体的众多多事实数数据中识识别用户户所需要要的数据据就需要要在不同同的列中中选择某某个可以以惟一识识别数据据表行的的列作为为主键列列，主键键列通常常由一个个或多个个列组成成，要求求主键列列必须识识别实体体的一个个实例。在实体的的列中除除了主键键列的确确定外，还要确确定一些些侯选键键列和外外部键列列。3.2.5数据仓库库物理模模型的确确定1.数据仓库库设计的的规范由于在数数据仓库库中包含含多种表表、列与与域等，为保证证数据仓仓库的设设计、实实施和管管理保持持稳定，不产生生混乱，需要对对物理数数据模型型中的实实体、表表、列等等进行规规范化处处理，

30、使使整个数数据仓库库的物理理数据模模型能够够保持一一致。数数据仓库库的规范范化内容容主要有有完整清清晰的数数据定义义，合适适的数据据格式等等。2.确定数据据结构的的类型在数据仓仓库的结结构中，可能包包含这样样一些数数据类型型的任意意组合：细节数数据、概概括数据据、外部部数据、多维数数据、数数据子集集、专门门数据缓缓存、复复制数据据和存档档数据。数据仓仓库设计计人员必必须确定定符合设设计目标标的数据据结构类类型。在数据仓仓库中进进行数据据非规范范化处理理的优点点有：A.能够减少少对表联联结的需需求，提提高数据据仓库性性能。B.能够减少少编写专专门决策策支持应应用程序序的必要要性，因因为运用用一些

31、专专门的查查询工具具，可以以更容易易地访问问数据。C.可让用户户以直观观的易于于理解的的工具查查看数据据。3.确定索引引策略数据仓库库的数据据量很大大，要对对数据的的存取路路径进行行仔细的的设计和和选择。由于数数据仓库库的数据据一般很很少更新新，因而而可以设设计索引引结构来来提高数数据存取取效率。4.确定数据据存放位位置同一个主主题的数数据并不不要求存存放在相相同的介介质上。在设计数数据的布布局时要要注意遵遵循以下下原则：A.不要把经经常需要要连接的的几张表表放在同同一服务务器上。B.把要进行行公共连连接的表表放在同同一服务务器上。C.如果几台台服务器器之间的的连接会会造成严严重的网网络业务务量的问问题，则则要考虑虑服务器器复制表表格。D.考虑把整整个企业业共享的的细节数数据放在在主机或或其他集集中式服服务器上上。E.别把表格格和它们们的索引引放在同同一设备备上。RAID阵列分为为如下八八个级别别实现：RAID0RA