第三章数据仓库开发应用过程

与传统的DB开发一样，DW的开发也经历需求分析、概念模型设计、逻辑模型设计和物理模型设计；其不同之处——数据量以及数据操作不同，此外，前者在需求分阶段就能确定系统的功能，后者则不能。

§1DW开发应用的特点§2DW的规划§3DW概念模型设计§4DW逻辑模型设计§5DW物理模型设计§6DW的实施§7DW的应用、支持和增强第三章数据仓库开发应用过程§1DW开发应用的特点DW的开发也具有其特有的、完整的生命周期——DW规划分析阶段、DW设计实施阶段以及DW使用维护阶段。该三个阶段将循环往复，直至一个完善的DW开发完毕。1.DW开发的阶段性借鉴Nolan阶段模型，可以将DW的开发阶段划分为：创始阶段、成长阶段、控制阶段和成熟阶段等四个阶段。[课后阅读]CH32.DW的螺旋式开发方法如前所述，DW的一个生命周期包含三个阶段。然而，一个完善的DW需要经历若干个生命周期完成——每个DW生命周期积累的经验，一方面可以用于未来其他主题的开发应用，另一方面，可以用于完善原DW。上述过程便构成了数据仓库的螺旋式开发方法，该方法是目前DW开发的主要方法。CH3DW的螺旋式开发方法设计体系结构开发概念模型开发逻辑模型DW与元数据的设计数据抽取转换与加载开发或购买中间件填充与测试数据仓库数据仓库用户培训改进维护数据仓库评价数据仓库规划与确定需求规划分析阶段设计实施阶段使用维护阶段数据仓库开发过程CH33.数据仓库开发的特点数据驱动的设计方法①用业务系统的数据创建DWDB系统有什么→对DW有何影响；DB数据→主题领域[联系]；数据模型→DB与主题数据的共同性。②该方法不是面向应用的，即，不是从应用需求出发的。CH3开发初期使用需求的不确定性

DB系统，面向应用，其设计有一组确定的应用需求做为参照；

DW无对应的、固定的物流、信息流、数据流等，导致数据的分析处理没有固定的模式，甚至用户自己都不知道其将来的分析处理的过程，所以，难以在初期确定DW的使用需求。CH3不断循环的启发式过程DW的开发是一个动态反馈的、启发式的循环过程：一方面，DW的数据内容、结构、数据粒度、分割及其他物理模型及其设计需根据用户的反馈信息不断调整和完善，以提高系统的效率和性能；另一方面，通过不断理解用户的决策分析需求，来调整和完善DW，以提供更为准确的决策信息。CH3§2DW的规划规划是DW开发的首要任务，它包括选择DW实现策略、确定DW开发目标和实现范围、选择DW体系结构以及建立DW使用方案和项目规划预算四个方面。上述规划工作完成后，要编制DW规划说明书，内容包括DW与企业战略规划之间的关系，DW重点支持的职能部门，对DW开发工作的建议，实际使用方案与开发预算等。CH31.选择DW实现策略主要有自上而下、自下而上以及混合策略三种。①自上而下策略

应用于DW较难——需求难以定义；较为死板——需预先确定目标；需开发人员具有丰富的自上而下开发系统的经验，以及管理人员与决策者完全知晓DW的目标及作用；适合采用结构化或OO开发方法。CH3②自下而上策略

较灵活——一般从某个原型开始，常用于开发数据集市；一般用于试点[对DW技术的评价，运行DW的各种费用等]；适合采用螺旋式的原型开发方法。③混合策略难以操作——需要精通方方面面的专家。CH32.确确定DW的的开发发目标标和实实现范范围为此，，需要要对用用户说说明DW应应用和和发展展趋势势以及及对企企业经经营战战略的的支持持。开发目目标：：确确定信信息的的范围围[主主题域域/指指标域域]；；确确定访访问和和导航航数据据的方方法和和工具具包括聚集及及概括工具具，访问检检索图表、、预定义报报表、统计计分析器等等的工具等等等；CH3确定DW数数据的规模模。其他目标还有：根据据需求确定定数据的含含义，确定定DW的类类型，确定定DW的功功能，确定定元数据的的数量，确确定数据源源的使用，，……。可见，DW的目标非非常繁多复复杂，需开开发人员与与用户不断断交流来确确定。CH3实现范围：：基于用户的的角度谁[人员/部门门]使用DW；DW有有哪些查询——它们确确定了概括括、聚集、、集成、重重构等的技技术要求以以及报表的的种类等。。基于技术的的角度确定DW的元数据库的规模———间接地确确定了DW要管理的的数据量。。CH33.选择DW的体系系结构一般基于DW的应用用结构和DW的技术术平台结构构两个方面面来考虑。。①DW的的应用结构构基于业业务处理系系统的DW——虚拟拟DW；单纯DW（所有有应用都在在DW中进进行）；单纯数数据集市（（部门级DW）；DW与与数据集市市（最佳体体系结构））。CH3②DW的的技术平台台结构单层结结构——数数据源与DW共享平平台或数据据源、DW、数据集集市、最终终用户工作作站使用同同一平台；；C/S结构；三层C/S结构构——包括括基于工作作站的客户户层、基于于服务器的的中间层、、基于主机机的第三层层；多层式式结构———在三层结结构基础上上发展起来来的，可多多达五层（（存储层、、服务层、、查询层、、应用层、、客户层））。CH34.建立DW使用方方案和项目目规划预算算使用方案——实际上上是DW需需求的一个个重要的原原型，体现现了用户参参与的原则则。规划预算——估算项项目投资额额，可根据据以往软件件开发确定定，或根据据参照结构构估算。最后，要撰撰写规划说说明书。CH3§3DW概念模型型设计概念模型设设计包括概概念模型的的需求调查查、概念模模型的定义义、概念模模型的分析析以及概念念模型的设设计四个阶段。1.概念模模型的需求求调查概念模型的的需求调查查，是以DW开发任务书书（包括组织织现状、业业务功能及及范围、组组织发展的的战略、需需决策支持持的方面等等）为基础础进行的。。CH3调查对象包括组织中中的DW项项目负责人人、知识用用户、信息息用户和信信息管理人人员。项目负责人人——通过过项目负责责人在开发发者和用户户之间进行行沟通，以以确定用户户的信息需需求、定义义系统以及及界定系统统边界。CH3对项目负责人人的调查内容容包括：①组织的的管理人员对信息的需需求，比比如，与任任务说明书书中业务需需求相关的的业务或事事务，相关关的数据在在哪个系统统中，所需需数据的年年限，现行行业务处理理系统能否否提供所需需数据等。。②用户户的有关关情况，，比如，，谁是用用户？用用户如何何使用DW？用用户是否否拥有自自己的计计算机系系统？是是否使用用了分析析工具？？用户喜喜好的报报表形式式？等等等。③DW成功因因素的建建议、希希望DW做什么么？CH3知识用户户与信息息用户——主主要调查查信息的来来源，包括：：①用户承担担的工作作及所需需信息？？信息的的来源？？信息处处理方式式？所在在部门使使用哪些些信息系系统？这这些系统统提供哪哪些分析析信息？？②用户户使用什什么样的的计算机机系统？？其中有有哪些应应用程序序？对这这些程序序的熟悉悉程度？？③了解解DW否否？希望望DW达达到什么么目的？？如何衡衡量是否否达到此此目的？？工作中中尚未获获得哪些些信息?④如何何评价DW（同同前）？？CH3信息管理理人员——主主要调查查组织所所用的系统环境境，比如组组织有否否DSS？其用用户是谁谁？提供供什么支支持信息息？等等等。可见，需需求调查查过程中中，开发发人员应应该关注注的是管管理决策策中关于于信息的的需求、、用户的的基本情情况、用用户使用用信息的的情况，，而非像像业务处处理系统统开发那那样，向向被调查查人员询询问系统统应该具具有哪些些功能！CH32.概念念模型的的定义概念模型型的定义义，就是是要确定定系统的的范围及及所涉及及的对象象——从从所选择择的主题题域出发发，确定定基本需求求的方向以以及基本本的数据需求求（有别于于功能驱动动的业务处处理系统统，数据驱动动的DW设设计之初初，不能能马上知知道用户户详细的的需求）），从而而界定DW大致致的系统统边界，，并形式式地表示示出来。CH3例———某超超市的DW设计计日趋激烈烈的竞争争环境，，要求决决策者能能够更准准确地了了解超市市的经营状况况，跟踪市场趋势势，制定合合理的采购与销销售策略略。之前由由于业务务需求，，已建立立了若干干业务处处理系统统，如人人事、库库存、销销售、采采购等。。由于这这些业务务处理系系统各自自为政，，缺乏全全局性，，因此，，难以从从中进行行全局性性的分析析工作并并获取相相关报表表。所以以，决策策者决定定建立一一个DW。[明确决策策需求，，进一步步确定所所需信息息]CH3①DW用户的的决策分分析基于开发DW的初衷，超超市决策者迫迫切希望掌握握超市的库存存情况和销售售情况。为制定一个营营销策略，决决策者要进行行以下分析：：超市促销效效果，客户购购买趋势，商商品供应市场场变化趋势以以及供应商和和客户的信用用等级等。②支持决策策的数据需求求分析为完成上述分分析，决策者者需要促销策策略数据、采采购数据、库库存数据、客客户及供应商商数据等。CH3③数据需求求分析工具常用的工具有有：用户信息息需求表、CRUD矩阵阵、业务处理理系统数据存存储表等。用于描述用户户的信息需求求状况以及信信息的详细程程度。CH3用于描述高层层模型中每个个实体产生、、引用、更新新以及删除的的情况。CH3用于描述DW数据源的物物理状况。CH33.概念模型型的分析概念模型主要要在设计者与与用户之间交交流对业务过过程的认识，，一般用ER图表示，仍仍以超市为例例——考虑决决策者的分析需求，确定超市DW的三个基基本主题域：：销售主题、、商品主题和和客户主题，，则其概念模模型如下：CH3给出每个主题题的属性后，，便得到完整整的概念模型型了：CH34.概念模型型的设计以概念模型的分分析结果以及概念模型的定定义中收集到的数数据为基础，，完成星形或或雪花模型的的设计。前面的ERD只适合于于业务处理系系统的设计而而不能用于DW的设计。。实际中，选取取星形模型还是雪花模型取决于用户的的决策分析需需求。CH3CH3CH35.概念模型型文档与评审审概念模型设计计文档——主要包括括DW开发需需求分析报告告、概念模型型分析报告、、概念模型以以及概念模型型评审报告。。概念模型的评评审——DW开发发中经常出现现这类的阶段段性评审[好处？]。概念模型型的评审主要要用于确定概概念模型是否否准确、完整整地描述了用用户的决策分分析环境。CH3概念模型的评评审人员——DW项目目负责人、DW分析人员员、DW设计计人员、DW用户，一般般限制在十人人以下。概念模型的评评审内容——评审资料料有：DW开开发任务书，，用户信息需需求表，DW主题说明书书，ERD，，概念模型设设计成果（星星形模型或雪雪花模型）；；——评审标准准：是否真实实反映了开发发DW的目的的，信息需求求表准确否，，DW的主题题全面否，ERD、星形形/雪花模型型是否如实反反映了用户的的决策分析环环境等。CH3§4DW逻逻辑模型设计计逻辑模型是物物理模型和概概念模型之间间的桥梁，它与DW物物理实现时所所使用的数据据库相关———大多为RDBMS，，故此，逻辑辑模型主要采采用的是关系模型——利用关系系模型不仅可可以设计指标标实体，还可可以设计维实实体以及详细细类别实体。。CH3逻辑模型设计计的内容主要要有：1.分析主题域5.定义DW的实实体2.确定粒度层6.定义DW的数数据次以及聚集抽取模型3.确定数据7.DW元数据模模型分割策略的建立与应用用4.定义关系模型型8.评审逻辑模型型CH31.分析主题题域数据仓库的建建立是一个循循环的过程———一般每次次循环建立建建立一个/几几个主题域。。超市DW概念念模型中，确确立了三个基本主题域（（商品、销售售、客户）———经分析可可发现，其中中销售是超市的基本本业务，也是是进行决策分分析的主要领领域，因此，，决定首先建建立并实施销售主题域。CH3一旦定义了主主题域，也就就确定了DW的逻辑模型型，进一步要要详细描述该该模型中主题题的所有属性性，以便确定定系统相关的的行为和存储储结构——如如下图所示。。CH32.确定粒度度层次以及聚聚集粒度层次及聚聚集的确定，，要参照第二章§6和§7中中介绍的原则和方法——无非是确确定单一还是是多重粒度，，及常用的聚聚集等。对于超市的销销售主题，采采用多重粒度度较为适宜，，考虑到销售售记录数量的的庞大，以及及对销售的分分析以销售统统计以及销售售趋势分析为为主，商品销销售数据的综合层次可以分为每种种商品的周、、月、季统计计销售数据，，每小类商品品的周、月、、季统计销售数据据等。CH33.确定数据据分割策略数据分割——把逻辑辑上整体的数据分割成成较小的、可可独立管理的的物理单元进行存储，以以便于数据的的重构、重组组和恢复，并并提高建立索索引和顺序扫扫描的效率。。数据分割，，必需在逻逻辑模型设设计中完成成（为什么？），它可以以采用单一一标准（比比如季节）或组合标标准（如，，按季节+业务类型）进行分割割。采用什么样样的分割标标准，一般般考虑以下下三个因素素：CH3数据量——主要因因素。数据据量小，可可不分割或或用单一标标准分割；；数据量大大，则要用用组合标准准细致地分分割。数据处处理对象——与主题题域相关，，比如，商品主题可以用用商品种类类、商品小小类、时间间标准分割割，而供应商主题则更多多地用地址址和时间标标准进行分分割。（思思考：为什么？）CH3粒度分分割的策略——数据分割标准必需要与粒度层次统一起来。。比如，假如如商品主题关于商商品销售数数据的粒度度是按日期期和商品类类别进行划划分的，那那么，在每每一粒度层层次上的数数据，就要要按日期和和商品类别别的组合标标准进行分分割，以便便于将来在在日期和类类别方面综综合为更高高层次粒度度的数据。。CH3超市市DW中中，，如如果果决决策策者者经经常常关关心心的的问问题题是是商商品品在在某个个季季节节的销销售售情情况况，，则则，，可可以以考考虑虑按按照照季节节（日日期期））进进行行分分割割，，因因为为：：①超超市市DW是是按按日日期期顺顺序序获获取取数数据据的的；；②DW中中数数据据的的综综合合常常常常是是在在日日期期维维上上进进行行的的。。当然然，，也也可可以以考考虑虑用用业业务务类类型型、、地地理理位位置置等等标标准准进进行行分分割割。。CH34.定定义义关关系系模模型型由于于DW一一般般都都是是在在RDBMS上上实实现现的的，，因因此此不不论论概概念念模模型型是是E-R模模型型、、星星形形模模型型还还是是雪雪花花模模型型，，都都要要转换换为关系系模模型型。指标标实实体体转转换换后后，，可可能能形形成成多多个个关关系系（（事实实表表），，这这些些关关系系，，通通过过公共共码码键联联系系在在一一起起；；当当然然，，还还要要创创建建相相应应的的维维表表、、详详细细类类别别表表。。事事实实表表通通过过外键与它们们建立立联系系。CH3例：超超市客客户的的逻辑辑模型型转换后后包括括以下下各表表：客户基基本情情况表表(账账号int9,………)，，客户变变动情情况表表(账账号int9,………)，，商品交交易情情况表表(账账号int9,………)，，服务交交易情情况表表(账账号int9,………)，，客户反反馈记记录表表(账账号int9,………)，，客户信信用状状况表表(账账号int9,………)等等。这些表表，通通过公公共码码键———账账号关关联在在一起起。CH35.定定义DW的的实体体逻辑模模型设设计中中，不不仅要要确定定实体体、实实体间间的关关系和和实体体具有有的列列，还还要进进一步步确定定主键列列、候选键键列以及外键列列等，它它们可可以由由一列列或多多列组组成。。此外，，还要要确定定各个个实体体中的的列是是否可可以为为空值——一一般，，主键键/候候选键键/外外键不不能为为空。。最后，，还要要给出出每个个实体体所有有列的的具体体特性以及实实体的的容量和和数据据更新新频率率。CH3CH3CH36.定定义DW的的数据据抽取取模型型数据仓仓库的的数据据抽取取模型型由数数据抽抽取流流程图图和若若干种种表构成。设计数数据抽抽取模模型的的目的是建立立DW的数数据抽抽取(Extract)、转转换(Transform)和加加载(Load)系系统，，即ETL系统统。数据抽抽取模模型的的建立立，主主要包包括四个方面的的工作作：数数据抽抽取处处理流流程图图，DW的的数据据抽取取、转转换与与加载载计划划，DW的的清理理数据据转换换方法法，DW的的数据据抽取取、清清理与与转换换模型型。CH3①数数据抽抽取处处理流流程数据仓仓库的数据据抽取取是传传统的的数据据处理理流程程，其其输入入是各各种业业务处处理系系统DB，，输出出是DW数数据。。

根据元数据中定义的标准数据格式及相应的规则进行处理。CH3②DW的的数据据抽取取、转转换与与加载载计划划该计划划，是是关于于DW从从数据据源中中抽取取、转转换和和加载载的工作计计划。制定定该计计划时时，要要考虑虑相关关的影响因因素并确定定对应应的对策。A.影影响因因素数据格格式——多多数据据源，，统一一格式式；坏数据据——丢丢失、、失效效、改改不正正确的的数据据；系统的的兼容容性——不不同业业务处处理系系统间间的兼兼容；；CH3数据源源的变变化——数数据源源数据据格式式与结结构的的变化化；数据抽抽取的的时间间——避避开业业务处处理系系统的的高峰峰期。。B.对对策面对上上述影影响因因素，，要明明确抽抽取什什么数数据（（抽取取方式式）？？何时时抽取取？何何处抽抽取？？抽取方方式全库比比较——当当前瞬瞬间的的状态态与上上次抽抽取时时的状状态比比较，，找出出增量文文件；CH3利利用程程序日日志——在在业务务系统统中，，用程序把发生生变化化的数数据记记下来来，形形成增增量文文件；；利利用数数据库库日志志——检检查DB运行日日志以确定定增量量文件件；利利用时时间戳戳——在在记录录中增增加时间戳戳（会增增加业业务处处理系系统的的开销销）；；CH3利利用位位图索索引——在在数据据源的的记录录中增增加一一个位图索索引字字段，其取取值为为：没没变化化/修修改过过/修修改中中。抽取时时间两种方方法———基基于时时间的的抽取取和基基于事事件的的抽取取。抽取地点点即抽取过过程的运运行之处处——在在数据源源还是数数据仓库库中。CH3③DW的数据据清理转转换方法法数据清理理与转换换用来解解决数据据源和DW的数数据格式式不一致致性的问问题，其其方法有有：类型型转换——将相相同含义义不同格式的数据转转换成相相同格式式的数据据；串操操作——将两两个以上上列的值值裁剪、、连接为为一个新新值；关键键字翻译译——数据据源关键键字到DW关键键字的映映射；CH3数学函数数——用数数学函数数根据数数据源计计算出结结果作为为DW的的数据；；参照照完整性性——数据据加载到到DW时时，要确确定这些些数据是是否已经经在DW中了；；聚集运算算——在数数据加载载到DW过程中中，计算算之前确确定了的的大量的的概括、、聚集数数据，以以减少数数据I/O的开开销。CH3④DW的数据据抽取、、清理与与转换模模型包括以下下四个方方面的工工作：数据据源分析析——数据据仓库主主题所需需各个数数据源的的详细情情况，包包括所所在的计计算机平平台、拥拥有者、、数据结结构、使使用该数数据源的的处理过过程、DW的更更新计划划等；——分析析DW中中的每个个列及其其在数据据源(业业务处理理系统或或外部数数据源)中的数数据来源源的情况况；CH3上述分析析过程中中，要利利用数据据抽取规规则确定定从哪些些数据源源抽取哪哪些数据据，这些些数据基基于哪些些数据平平台等，，并形成成数据源抽抽取对象象表：CH3数据抽取取条件分分析分析所抽抽取的数数据应满满足哪些些条件———可能能是来自自于不同同表的复复合条件件，并形形成数据源抽抽取规则则表：CH3数据清理理分析清理工作作包括数数据类型型转换、、数据类类型统一一或者汇汇总或聚聚集处理理等，并并形成目标表列列与数据据源表列列的对应应关系表表：CH3数据的排序、、概括和导出出处理给出以下两种种表：CH3CH37.DW元数数据模型的建建立与应用元数据模型的的作用在于指指导数据仓库库中数据的抽抽取、清理和和加载过程以以及引导用户户使用数据仓仓库。元数据模型的的建立贯穿于于DW的规划划到应用的整整个过程。元数据模型的的建立需要在在多个DW生生命周期的循循环——即螺螺旋式开发过过程中完成,其建立与应应用过程如下下图所示。CH3CH3其中，各个步步骤的内容如如下：⑴利用某种种建模工具创创建DW模型的的过程中，需需要从业务处理系统统中提取元数据，并建立DW的的逻辑模型和和物理模型———包括DW的逻辑名称称、业务名称称、列名、物物理列名、业业务术语和描描述、查询的的样值及提示示等，并把它它们存放在元数据目录中；⑵在DW中中添加数据加加载的元数据据——关于DW数据源的的描述，完成成数据“来源定义”；CH3⑶利用数据据加载工具提取DW中各种种表的定义，，并完成源数据到目目标数据的映映射的定义，捕捉捉所有转换信信息；⑷把上述源源数据到目标标数据的映射射和转换存储储到元数据目录中；⑸把数据加加载到DW时，需从从元数据目录录中找到有关源数据的的类型和位置置、目标数据据的类型和位位置以及两者者间的映射；；CH3⑹数据加载载前，要检查查DW中物理状态的最新信息，，如磁盘空间等等；⑺利用元数数据提取数据据的同时，根据据提取的源数数据状况，提取元数据，如数据提取取时间、数据据源的变化等等；⑻将提取的的源数据经清清理、转换后后加载到DW中；⑼加载中，，将捕捉到的的加载统计信信息和审核信信息保存到元数据目录中；CH3⑽DW建模模过程中的事实表信息，保存为为元数据目录录中的业务分组元数据——使使用DW的帮助信息；⑾用户可以以利用元数据据通过前端数数据展示工具具形成查询请求；⑿DW将查询结果返回给用户；；⒀完成用户户查询的统计计后，结果保存在元数据据目录中———分析用户使使用DW的依依据。CH38.评审逻辑辑模型完成逻辑模型型的设计工作作后，把设计计方案整理成成文档，并组组织有关人员员进行评审。。文档内容包括括——主题域域分析报告，，数据粒度划划分模型，数数据分割策略略，数据抽取取模型，指标标实体、维实实体与详细类类别实体的关关系模型等。。CH3评审内容：主题域→满足决策分析析要求？概括数据据使用需求→数据粒度及分分割策略满足足决策分析要要求？指标实体体、维实体、、详细类别实实体→对应的关系式式满足3NF？为提高DW效率→进行反规范化化处理？数据抽取取模型→建立正确的对对应关系？CH3§5DW物物理模型设计计物理模型设计计，就是逻辑辑模型在物理系统中的实现过程程。实现物理设计计的前提：全全面了解所选选用的DBMS，尤其是是该DBMS的存储结构构和存取方法法；全面了解解数据环境、、数据使用频频率、使用方方式、数据规规模及响应时时间等；全面面了解外部存存储设备的特特性。CH3物理模型设计计的内容包括括：确定DW设计的规范范；确定数据据结构的类型型；创建DW的索引；确定数据据存放的位置置；确定存储储分配等。最后，要对物物理模型进行行评审，内容容包括：表空空间、分区、、数据表、数数据量、数据据分布、索引引等等。CH3§6DW的的实施——以物理模模型为基础，，具体工作包包括以下五个个方面的内容容：1.DW与业业务处理系统统接口的设计计逻辑模型中，，已经建立了了每个目标列列抽取的规则则（与业务处处理系统或外外部数据源间间的映射），，为使DW中中的数据抽取取快速、准确确需要设计相相应的接口程程序，以完成成数据抽取的的工作。CH3一般，接口程程序的功能为：从面向应应用和操作的的环境生成完完整的数据；；生成数据的的聚集；完成成基于时间的的数据转换；；扫描现有系系统以便追加加数据等。2.DW的创创建显然，DW中中包含两类数数据——分析数据和元数据。分析数据，大大多采用RDBMS管理理（少数情况况下采用多维维数据库方式式）。CH3元数据库构成成会较为复杂