第14章 数据仓库的维护和解决方案

1、数据仓库与olap实践 清华大学出版社 2 第第14章章 数据仓库的维护和解决方案数据仓库的维护和解决方案 v 14.1 更新数据仓库更新数据仓库 v 14.2 维护维护olap数据数据 v 14.3 优化数据仓库性能优化数据仓库性能 v 14.4 数据仓库解决方案数据仓库解决方案 v 14.5 小结小结 3 14.1 更新数据仓库 v更新数据仓库数据包括定期从联机事务型更新数据仓库数据包括定期从联机事务型 系统中析取数据，清理、转换数据以及将系统中析取数据，清理、转换数据以及将 新数据加载到数据仓库。新数据加载到数据仓库。 v更新数据还包括：在联机分析处理的情况更新数据还包括：在联机分析处理

2、的情况 下必须同步完成多维数据集的任务，而且下必须同步完成多维数据集的任务，而且 还必须更新所有作为数据仓库一部分的数还必须更新所有作为数据仓库一部分的数 据集市。据集市。 4 初始数据加载和数据更新的区别 v初始数据加载和数据更新之间的一个不同之处在初始数据加载和数据更新之间的一个不同之处在 于：于： v在将数据加载到数据仓库供用户使用之前，应在在将数据加载到数据仓库供用户使用之前，应在 更新数据上不断地验证引用完整性。更新数据上不断地验证引用完整性。 v更新通常包括添加和更改维度表以及向事实数据更新通常包括添加和更改维度表以及向事实数据 表添加数据行。表添加数据行。 v在将新更改的数据加载

3、到数据仓库之前，应检查在将新更改的数据加载到数据仓库之前，应检查 其内部的一致性并且应在数据仓库的当前数据上其内部的一致性并且应在数据仓库的当前数据上 验证验证 5 14.1.1 调度数据更新调度数据更新 v用于分析历史业务数据的数据仓库最好由定期更用于分析历史业务数据的数据仓库最好由定期更 新而非联机数据更新提供服务。新而非联机数据更新提供服务。 v经常更改数据会影响分析过程，因为这要求时间经常更改数据会影响分析过程，因为这要求时间 和反复查询来优化和验证结果。和反复查询来优化和验证结果。 v数据仓库的更新频率取决于单位的需要和数据仓数据仓库的更新频率取决于单位的需要和数据仓 库的用途。库的

4、用途。 v典型的更新周期可以是每月、每周或每天。调度典型的更新周期可以是每月、每周或每天。调度 数据仓库更新时需要考虑一些事项。数据仓库更新时需要考虑一些事项。 6 14.1.1 调度数据更新（续）调度数据更新（续） v将数据加载到数据仓库，就是填充将由显示应用将数据加载到数据仓库，就是填充将由显示应用 程序使用的表，该应用程序使用户可以使用这些程序使用的表，该应用程序使用户可以使用这些 数据。数据。 v加载数据通常涉及从源操作系统、数据准备区向加载数据通常涉及从源操作系统、数据准备区向 数据仓库数据库中的表传输大量的数据。数据仓库数据库中的表传输大量的数据。 v这样的操作会显著增加所涉及的数

5、据库的处理负这样的操作会显著增加所涉及的数据库的处理负 荷，因此这些操作应在系统相对不忙的时候进行。荷，因此这些操作应在系统相对不忙的时候进行。 v此外，还必须协调数据仓库的更新操作与提供数此外，还必须协调数据仓库的更新操作与提供数 据的显示服务的操作间的关系。据的显示服务的操作间的关系。 7 14.1.1 调度数据更新（续）调度数据更新（续） v更改基础数据对多维数据集的影响因使用的多维更改基础数据对多维数据集的影响因使用的多维 数据集类型的不同而不同。数据集类型的不同而不同。 v例如，例如，molap多维数据集不受基础数据更改的多维数据集不受基础数据更改的 影响，除非重新处理多维数据集。影

6、响，除非重新处理多维数据集。 v根据定义的方式，根据定义的方式，rolap多维数据集和多维数据集和 holap多维数据集可能会立即受到影响，并要多维数据集可能会立即受到影响，并要 求更新或重新处理以恢复一致性。实时多维数据求更新或重新处理以恢复一致性。实时多维数据 集是为立即包含新数据仓库数据而设计的。集是为立即包含新数据仓库数据而设计的。 8 14.1.2 更新数据集市更新数据集市 v在有些数据仓库的实施过程中，数据集市从主数在有些数据仓库的实施过程中，数据集市从主数 据仓库接收它们的数据，即按自顶向下模式。据仓库接收它们的数据，即按自顶向下模式。 v而在有些数据仓库的实施过程中，数据集市是

7、在而在有些数据仓库的实施过程中，数据集市是在 本地更新并向数据仓库数据库提供数据，即按自本地更新并向数据仓库数据库提供数据，即按自 底向上模式。底向上模式。 v如果数据集市设计为与主数据仓库一致，则将更如果数据集市设计为与主数据仓库一致，则将更 新的数据移入数据集市或从数据集市移出更新的新的数据移入数据集市或从数据集市移出更新的 数据都很简单。数据都很简单。 v使用标准化架构、共享维度和常用事实数据表格使用标准化架构、共享维度和常用事实数据表格 式都可以显著减轻数据集市的维护工作。式都可以显著减轻数据集市的维护工作。 9 14.1.2 更新数据集市（续）更新数据集市（续） v如果数据集市从主数

8、据仓库接收数据更新，则可如果数据集市从主数据仓库接收数据更新，则可 以设计自动化任务，以设计自动化任务， v如果数据集市在本地收集数据并向主数据仓库提如果数据集市在本地收集数据并向主数据仓库提 供数据，则可能需要将数据集市看成是操作数据供数据，则可能需要将数据集市看成是操作数据 源来处理，并在发布数据到数据仓库之前，将数源来处理，并在发布数据到数据仓库之前，将数 据放入准备区进行清理并在数据仓库上进行验证。据放入准备区进行清理并在数据仓库上进行验证。 v如果数据集市是作为数据仓库的一个完整部分设如果数据集市是作为数据仓库的一个完整部分设 计和管理，则可以将数据直接从数据集市装入数计和管理，则可

9、以将数据直接从数据集市装入数 据仓库数据库。据仓库数据库。 10 14.2 维护olap数据 v14.2.1 数据仓库中的修改数据仓库中的修改 v14.2.2 同步同步olap和数据仓库数据和数据仓库数据 v14.2.3 刷新客户端应用程序刷新客户端应用程序 11 14.2.1 数据仓库中的修改 v实际应用中通常需要定期向数据仓库中添实际应用中通常需要定期向数据仓库中添 加数据，以便反映业务活动的最新信息。加数据，以便反映业务活动的最新信息。 v但不经常修改数据仓库中现有的数据，而但不经常修改数据仓库中现有的数据，而 只是在发现数据有错误或者是由于业务变只是在发现数据有错误或者是由于业务变 动

10、需要重新构造数据时才修改数据仓库中动需要重新构造数据时才修改数据仓库中 的数据。这种情况一般是很少发生的。的数据。这种情况一般是很少发生的。 12 1. 添加数据 v 在数据仓库中添加数据时，由于数据与多在数据仓库中添加数据时，由于数据与多 维数据集分区之间的相互作用，客户端应维数据集分区之间的相互作用，客户端应 用程序可以联机使用的多维数据集信息会用程序可以联机使用的多维数据集信息会 受到影响。受到影响。 v 可以通过仔细地定义分区筛选以及设计同可以通过仔细地定义分区筛选以及设计同 步步olap 和数据仓库数据的策略，来管理和数据仓库数据的策略，来管理 向数据仓库中添加数据所带来的影响。向数

11、据仓库中添加数据所带来的影响。 13 2. 修改数据 v 若认真对待数据转换、验证和清理等操作，就可若认真对待数据转换、验证和清理等操作，就可 以减少因纠正数据仓库中的错误而进行的修改。以减少因纠正数据仓库中的错误而进行的修改。 企业或其产品的结构若发生改变，也需要对数据企业或其产品的结构若发生改变，也需要对数据 仓库中已有的数据进行修改。仓库中已有的数据进行修改。 v 例如，将产品重新组织成不同的类别就需要对数例如，将产品重新组织成不同的类别就需要对数 据仓库中的数据做重大修改。据仓库中的数据做重大修改。 v 在某些情况下，这样的修改可能需要对多维数据在某些情况下，这样的修改可能需要对多维数

12、据 集进行重新设计。或者是重新设计维度和处理所集进行重新设计。或者是重新设计维度和处理所 有使用那些维度的多维数据集。有使用那些维度的多维数据集。 14 2. 修改数据（续） v如果修改事实数据表中的数据而没有对多如果修改事实数据表中的数据而没有对多 维数据集进行处理，则会影响对多维数据维数据集进行处理，则会影响对多维数据 集查询的准确性。集查询的准确性。 v可以使用可以使用“刷新数据刷新数据”处理选项重新加载处理选项重新加载 多维数据集的数据并重新计算聚合。由于多维数据集的数据并重新计算聚合。由于 聚合设计保持不变，聚合设计保持不变，“刷新数据刷新数据”处理选处理选 项会比完整的项会比完整的

13、“完整处理完整处理”处理选项的速处理选项的速 度快。度快。 15 2. 修改数据（续） v即使表结构保持不变，维度层次结构也会即使表结构保持不变，维度层次结构也会 受数据仓库维度表中数据改动的影响。受数据仓库维度表中数据改动的影响。 v因为维度层次结构基于维度表中成员间的因为维度层次结构基于维度表中成员间的 关系，当改变这些关系时（例如，将城市关系，当改变这些关系时（例如，将城市 重新组织成不同的销售区域时），必须重重新组织成不同的销售区域时），必须重 新生成维度结构。新生成维度结构。 v添加、修改或删除数据仓库中的数据时必添加、修改或删除数据仓库中的数据时必 须保持引用的完整性。须保持引用的

14、完整性。 16 3. 改变结构 v olap多维数据集和维度的结构会受数据多维数据集和维度的结构会受数据 仓库设计改变的影响，比如添加、删除、仓库设计改变的影响，比如添加、删除、 修改表或表之间的关系。修改表或表之间的关系。 v 当结构改变时，必须修改受影响的多维数当结构改变时，必须修改受影响的多维数 据集和维度的设计，重新定义分区和聚合，据集和维度的设计，重新定义分区和聚合， 并彻底处理所修改的多维数据集和维度。并彻底处理所修改的多维数据集和维度。 17 14.2.2 同步同步olap和数据仓库数据和数据仓库数据 v当分析服务器正在运行时，有效的多维数据集处当分析服务器正在运行时，有效的多维

15、数据集处 于联机状态，客户端应用程序可以随时使用这些于联机状态，客户端应用程序可以随时使用这些 多维数据集。多维数据集。 v由于由于olap多维数据集分区与数据仓库数据之间多维数据集分区与数据仓库数据之间 存在潜在的交互，因此在设计数据仓库时应考虑存在潜在的交互，因此在设计数据仓库时应考虑 同步策略，使添加数据时不会导致多维数据集在同步策略，使添加数据时不会导致多维数据集在 可由联机客户端应用程序使用的多维数据集内提可由联机客户端应用程序使用的多维数据集内提 供错误的查询答案。供错误的查询答案。 18 14.2.2 同步同步olap和数据仓库数据（续）和数据仓库数据（续） v管理数据仓库和在管

16、理数据仓库和在olap数据库中添加数据的比数据库中添加数据的比 较好的一个策略是设计一个批处理更新系统。较好的一个策略是设计一个批处理更新系统。 v在该策略中，数据仓库事实数据表中的所有数据在该策略中，数据仓库事实数据表中的所有数据 在每个记录中都包含一个批号。在每个记录中都包含一个批号。 v在设计多维数据集时，在多维数据集的每个分区在设计多维数据集时，在多维数据集的每个分区 的筛选中可以添加一个表达式以指定适用的最大的筛选中可以添加一个表达式以指定适用的最大 批号。批号。 v当需要向事实数据表中添加数据时，在新记录中当需要向事实数据表中添加数据时，在新记录中 包含一个更大的新批号。这些添加的

17、记录并不影包含一个更大的新批号。这些添加的记录并不影 响多维数据集。响多维数据集。 19 14.2.2 同步同步olap和数据仓库数据（续）和数据仓库数据（续） v在维度被处理之前，添加到维度表中的数据并在维度被处理之前，添加到维度表中的数据并 不影响多维数据集内现有的专用或共享维度。不影响多维数据集内现有的专用或共享维度。 v批号在维度表记录中不是必需的，但在保证连批号在维度表记录中不是必需的，但在保证连 续的引用完整性方面很有用。续的引用完整性方面很有用。 v将一批数据添加到事实数据表和维度表之后，将一批数据添加到事实数据表和维度表之后， 可以对维度和多维数据集或分区进行处理，使可以对维度

18、和多维数据集或分区进行处理，使 其包含新数据。其包含新数据。 v共享维度的处理应在包含它们的多维数据集处共享维度的处理应在包含它们的多维数据集处 理之前进行。理之前进行。 20 14.2.2 同步同步olap和数据仓库数据（续）和数据仓库数据（续） v要将一批新数据合并到多维数据集中，可要将一批新数据合并到多维数据集中，可 在多维数据集的每个分区中更新筛选表达在多维数据集的每个分区中更新筛选表达 式以包含新的批号，然后处理或增量更新式以包含新的批号，然后处理或增量更新 多维数据集。多维数据集。 v如果多维数据集的数据分散在多个分区中，如果多维数据集的数据分散在多个分区中， 可以用其中的一个分区

19、来聚集这批新数据，可以用其中的一个分区来聚集这批新数据， 然后只处理那一个分区。然后只处理那一个分区。 21 14.2.3 刷新客户端应用程序刷新客户端应用程序 v当正处于联机状态的多维数据集由三个处当正处于联机状态的多维数据集由三个处 理选项（理选项（“完整处理完整处理”、“增量更新增量更新”或或 “刷新数据刷新数据”）之一处理时，多维数据集）之一处理时，多维数据集 将保持联机状态直到处理过程结束，将保持联机状态直到处理过程结束， v结束时联机多维数据集会被新的多维数据结束时联机多维数据集会被新的多维数据 集版本取代。集版本取代。 22 14.2.3 刷新客户端应用程序刷新客户端应用程序 v

20、当使用当使用“完整处理完整处理”选项处理多维数据集选项处理多维数据集 时，客户端应用程序与多维数据集的连接时，客户端应用程序与多维数据集的连接 将在多维数据集切换到新的版本时断开，将在多维数据集切换到新的版本时断开， 每个客户端应用程序必须分别重新连接才每个客户端应用程序必须分别重新连接才 能访问新版本。能访问新版本。 v当使用当使用“增量更新增量更新”或或“刷新数据刷新数据”选项选项 处理多维数据集时，联机客户端应用程序处理多维数据集时，联机客户端应用程序 与多维数据集的连接在处理过程结束时不与多维数据集的连接在处理过程结束时不 会中断。会中断。 23 14.2.3 刷新客户端应用程序刷新客

21、户端应用程序 v共享维度的处理过程会影响在设计中包含该维度共享维度的处理过程会影响在设计中包含该维度 的多维数据集。的多维数据集。 v如果使用如果使用“重建维度结构重建维度结构”选项处理共享维度，选项处理共享维度， 所有使用该维度的多维数据集都将立即变得不可所有使用该维度的多维数据集都将立即变得不可 用，必须在处理完成之后客户端应用程序才能重用，必须在处理完成之后客户端应用程序才能重 新使用。新使用。 v如果使用如果使用“增量更新增量更新”选项处理共享维度，则使选项处理共享维度，则使 用该维度的多维数据集仍可由客户端应用程序使用该维度的多维数据集仍可由客户端应用程序使 用，任何添加到该维度的新

22、成员都将在维度处理用，任何添加到该维度的新成员都将在维度处理 结束时自动由客户端应用程序使用。结束时自动由客户端应用程序使用。 24 14.3 优化数据仓库性能 v对于分析并汇总多个联接表中的大量行的查询，对于分析并汇总多个联接表中的大量行的查询， 数据仓库必须提供对这类查询的快速评估。数据仓库必须提供对这类查询的快速评估。 vsql server 2000 提供可用于优化包含数据提供可用于优化包含数据 仓库数据的关系数据库性能的信息。仓库数据的关系数据库性能的信息。 v数据库的性能调节是通过将网络流通、磁盘数据库的性能调节是通过将网络流通、磁盘i/o 和和cpu时间减到最小，使每个查询的响应

23、时间最时间减到最小，使每个查询的响应时间最 短并最大限度地提高整个数据库服务器的吞吐量。短并最大限度地提高整个数据库服务器的吞吐量。 25 14.3 优化数据仓库性能（续） v对性能问题的考虑应贯穿于开发阶段的全过程，对性能问题的考虑应贯穿于开发阶段的全过程， 不应只在最后实现系统时才考虑性能问题。不应只在最后实现系统时才考虑性能问题。 v许多使性能得到显著提高的性能事宜可通过开始许多使性能得到显著提高的性能事宜可通过开始 时仔细设计得以实现。时仔细设计得以实现。 v为最有效地优化为最有效地优化sql server 2000 的性能，的性能， 必须在多样化的情形中识别出会使性能提升最多必须在多

24、样化的情形中识别出会使性能提升最多 的区域，并对这些区域集中分析。的区域，并对这些区域集中分析。 v可以通过使用一些工具来优化可以通过使用一些工具来优化 analysis services 的性能，这些工具在处理多维数据集的性能，这些工具在处理多维数据集 时通过调整预先计算好的聚合量分析使用模式，时通过调整预先计算好的聚合量分析使用模式， 从而优化多维数据集架构以避免不必要的联接。从而优化多维数据集架构以避免不必要的联接。 26 14.4 数据仓库解决方案 v ibm、oracle、sybase、ca、ncr、informix、 microsoft和和sas等公司相继推出了自己的数据仓库解决等

25、公司相继推出了自己的数据仓库解决 方案。方案。 v bo和和brio等专业软件公司也在前端在线分析处理工具市场等专业软件公司也在前端在线分析处理工具市场 上占有一席之地。上占有一席之地。 v 根据各公司提供的数据仓库工具的功能，可将其分为三类：根据各公司提供的数据仓库工具的功能，可将其分为三类： 解决特定功能的产品（主要包括bo的数据仓库解决方案） 提供部分解决方案的产品（主要包括oracle、ibm、 sybase、informix、ncr、microsoft及sas等公司的数 据仓库解决方案） 提供全面解决方案的产品（ca是目前的主要厂商）。 27 1business objects（bo

26、）数据仓库解决方案 vbo是集查询、报表和是集查询、报表和olap技术为一身的数据技术为一身的数据 仓库解决方案，仓库解决方案， v它使用独特的语义层和动态微立方技术来表示数它使用独特的语义层和动态微立方技术来表示数 据库中的多维数据，具有较好的查询和报表功能，据库中的多维数据，具有较好的查询和报表功能， 提供钻取等多维分析技术，提供钻取等多维分析技术， v同时支持基于同时支持基于web浏览器的查询、报表和分析决浏览器的查询、报表和分析决 策。策。 v从严格意义上讲，只能算是一个前端工具。从严格意义上讲，只能算是一个前端工具。 v几乎所有的数据仓库解决方案都把几乎所有的数据仓库解决方案都把bo

27、作为可选作为可选 的数据展示工具。的数据展示工具。 28 2ibm数据仓库解决方案 v ibm公司提供了一套基于可视数据仓库的商业智能解决方公司提供了一套基于可视数据仓库的商业智能解决方 案，具有集成能力强，高级面向对象案，具有集成能力强，高级面向对象sql等特性。包括：等特性。包括： visual warehouse（vm） essbase/db2olap server 5.0 ibm db2 udb， 来自第三方的前端数据展示工具（如bo）和数据挖掘工 具（如sas）。 v vw是一个功能很强的集成环境，既可用于数据仓库建模是一个功能很强的集成环境，既可用于数据仓库建模 和元数据管理，又可

28、用于数据抽取、转换、加载和调度。和元数据管理，又可用于数据抽取、转换、加载和调度。 v essbase/db2olapserver支持维度的定义和数据加支持维度的定义和数据加 载，但它不是关系型载，但它不是关系型olap，而是混合型的，而是混合型的olap。 29 3oracle数据仓库解决方案 voracle一直致力于为企业提供最能满足企业竞一直致力于为企业提供最能满足企业竞 争需要的数据仓库解决方案，其数据仓库解决方争需要的数据仓库解决方案，其数据仓库解决方 案包含了业界领先的数据库平台、开发工具和应案包含了业界领先的数据库平台、开发工具和应 用系统。用系统。 voracle数据仓库突破了

29、现有数据仓库产品的局数据仓库突破了现有数据仓库产品的局 限，能够帮助企业以任何方式访问存放在任何地限，能够帮助企业以任何方式访问存放在任何地 点的信息，在企业中的任何层次上，满足信息检点的信息，在企业中的任何层次上，满足信息检 索和商业决策的功能需要。索和商业决策的功能需要。 v数据仓库解决方案能够提供一系列的数据仓库工数据仓库解决方案能够提供一系列的数据仓库工 具和服务，具有多用户数据仓库管理能力，多种具和服务，具有多用户数据仓库管理能力，多种 分区方式，较强的与分区方式，较强的与olap工具的交互能力，以工具的交互能力，以 及快速和便捷的数据移动机制等。及快速和便捷的数据移动机制等。 30

30、 oracle数据仓库解决方案的两个部分 v oracle ecpress： oracle express server是一个molap服务器，它利用 多维模型，存储和管理多维数据库或多维高速缓存， 同时也能访问多种关系型数据库； oracleexpresswebagent通过cgi或web插件支持基 于web的动态多维数据展示； oracleexpressobjects前端数据分析工具提供了图形化 建模和假设分析功能，支持可视化开发和事件驱动编 程技术； oracleexpressanalyzer是通用的面向最终用户的报告 和分析工具。 31 oracle数据仓库解决方案的两个部分（续） v

31、oraclediscoverer 即席查询工具，专门为最终用户设计， 分为最终用户版和管理员版， 在其数据仓库解决方案实施过程中，通 常把汇总数据存储在express多维数据库 中，而将详细数据存储在oracle关系数据 库中。 32 4sybase数据仓库解决方案 vsybase公司提供的数据仓库解决方案以能够支公司提供的数据仓库解决方案以能够支 持多种关系型数据库而受到业界的推崇。持多种关系型数据库而受到业界的推崇。 v它能够同时处理几十个即席查询，其垂直数据存它能够同时处理几十个即席查询，其垂直数据存 储技术是系统只访问特定的少量数据，使得查询储技术是系统只访问特定的少量数据，使得查询

32、速度比传统的关系型数据库管理系统快速度比传统的关系型数据库管理系统快100倍。倍。 vsybase提供的数据仓库解决方案称为提供的数据仓库解决方案称为sybase 企业级关系型数据库，企业级关系型数据库，adaptiveserveriq是是 专门为数据仓库设计的关系型数据库，它为高性专门为数据仓库设计的关系型数据库，它为高性 能的能的dss和数据仓库的建立作了专门的优化处理，和数据仓库的建立作了专门的优化处理， sybaseiq支持各种流行的前端展现工具。支持各种流行的前端展现工具。 33 5infomix数据仓库解决方案 vinfomix于于1998和和1999年相继收购了国际上年相继收购了

33、国际上 享有盛誉的数据仓库供应商享有盛誉的数据仓库供应商redbricksystem 和数据管理软件供应商和数据管理软件供应商ardent，并提供了完整，并提供了完整 集成的数据仓库解决方案。集成的数据仓库解决方案。 v该解决方案还包括了一个快速启动咨询服务，能该解决方案还包括了一个快速启动咨询服务，能 够帮助用户快速完成数据仓库或数据集市的开发。够帮助用户快速完成数据仓库或数据集市的开发。 vinfomix产品能够集成产品能够集成microsoft iis或或 netscapeenterprise/fasttrack服务器，服务器， 从而支持基于从而支持基于web的数据仓库应用。的数据仓库应用。 34 6ncr数据仓库解决方案 vncr提出了一套独特的数据仓库方法论和实施框提出了一套独特的数据仓库方法论和实施框 架理论，成为架理论，成为“可扩展数据仓库可扩展数据仓库” （scalabledatawarehouse，简称为，简称为 ），其基本框架主要分为个部分：），其基本框架主要分为个部分： 数据加载。 数据管理这一部分是整个数据仓库的心脏，它 必须采用一个具有优良并行处理性能的关系数 据库管理系统。 信息访问。 35 7microsoft数据仓库解决方案 v2000年年4月，月，microsoft发布了发布了sql s