（管理科学与工程专业论文）数据仓库技术及其在税务行业中的应用.pdf

摘要 摘要 目前，基于通用数据库技术的联机事务处理( o l t p ) 系统在大多 数现代企业中的应用已经比较成熟，如企业管理信息系统、办公自动 化系统、电子商务远程交易系统等。它们为企业信息化迈出了坚实的 一步，由此带来的日常业务处理效率的大大提高促进了企业整体效益 的提高。 然而，在o l t p 系统逐渐走向成熟的进程中，业务高效处理的企业 群体日益暴露出来的是决策滞后的新问题。企业已经清楚地认识到， 因决策延迟造成的人员、设备、资金等的不均衡配置渐渐冲淡了因业 务处理效率的提高带来的效益，这些信息技术引发的决策快速问题， 常常令决策者措手不及；还有就是决策深度的问题，当企业得益于丰 富的数据资源的同时，管理者应更清楚地认识到，要在激烈的市场竞 争中取胜就决不能满足于简单的数据收集和整理。市场、销售、财务、 产品、顾客、服务、存货、销货等方方面面的数据的内在联系逐渐成 为企业各层管理者所致力挖掘的焦点。因此，如何从大量的历史和当 前数据中有效地提取有用的数据成为各企业所普遍面临的问题。 信息技术引发的问题常常会推动信息技术的前进，正是这许多困扰 企业的实际问题推动了数据仓库技术的产生与发展。本文以数据仓库 理论、技术和行业应用为线索，以北京圆税数据仓库系统的成功实施 为实践背景，系统地探讨了数据仓库技术在税务行业中的应用。 关键词：数据仓库联机分析处理数据建模 数据立方体 北方交通大学硕士学位论文 a b s t r a c t p r e s e n t l y ，t h eo nl i n et r a n s a c t i o np r o c e s s i n g ( o l t p ) s y s t e m s b a s e do n g e n e r a l d a t a b a s et e c h n o l o g y h a v ea l r e a d yb e e n u s e d s u c c e s s f u l l y i nm o s tm o d e r ne n t e r p r is e s ，s u c ha sm i s ，o a ，e b l o n g d is t a n c e t r a n s a c t i o n s y s t e m s a n ds oo n t h e s e s y s t e m s i n d i c a t eas t r o n gs t e pf o r t h ee n t e r p r i s ei n f o r m a t i o n ，w h i c h i m p r o v et h ee f f i c i e n c yo ft h ew h o l ee c o n o m y h o w e v e r ，w i t ht h eo l t ps y s t e m sb e c o m i n gm o r ea n dm o r em a t u r e ， t h en e w p r o b l e m so fd e c i s i o n sl a g g i n gc a u s e db y f a s tb u s i n e s sp r o c e s s i n g a p p e a r t h ee n t e r p r i s e s h a v er e a l i z e d c l e a r l y t 1 1 a tt h eu n r e a s o n a b l e a r r a n g e m e n to fl a b o r ，e q u i p m e n t ，c a p i t a l a n do t h e rr e s o u r c e sc a u s e db y d e c i s i o nl a g g i n ga r ee a t i n ga w a yt h eb e n e f i t so fh i 曲b u s i n e s sp r o c e s s i n g e f f i c i e n c y f a s td e c i s i o np r o b l e m s r a i s e db yi n f o r m a t i o nt e c h n o l o g ya l w a y s m a k ed e c i s i o n m a k e r s u n p r e p a r e d a n o t h e rp r o b l e m i sd e c i s i o n d e p t h ， w h e ne n t e r p r i s e sb e n e f i tf r o mr i c hr e s o u r c e so fd a t a , t h e yw a n tt ok n o w m o r ea b o u tt h ei n t e m a lr e l a t i o n s h i p so fa 1 1k i n d so fd a t a ，s u c ha sd a t ao f m a r k e t ，s a l e ，f i n a n c e ，p r o d u c t ，c u s t o m e r ，s e r v i c e ，s u p p l y ，s t o c k ，s e l l i n ga n d s oo n ，n o tl i m i t e di nt h es i m p l yc o l l e c t i n go fd a t a s o ，h o wt op i c ku pt h e u s e f u ld a t af r o mt h el a r g eh i s t o r ya n dc u r r e n td a t ae f f e c t i v e l yb e c o m e sa c o m m o n p r o b l e m t oa n y e n t e r p r i s e 1 m e p r o b l e m s c a u s e d b y i n f o r m a t i o n t e c h n o l o g y o f t e n p u s h t h e a d v a n c eo fi n f o r m a t i o nt e c h n o l o g y ，i ti sj u s tt h es 0m a n yp u z z l e st h a td r i v e t h ed a t aw a r e h o u s et e c h n o l o g yp r o d u c ea n dg r o w t h 。a r t i c l es e l e c t st h e d a t aw a r e h o u s et h e o r y ，t e c h n o l o g ya n di n d u s t r ya p p l i c a t i o na sac l u e ，t h e s u c c e s s f u li m p l e m e n to fb e i j i n gn a t i o n a lt a xd e p a r t m e n ta s t h ep r a c t i c e b a c k g r o u n d ，a n dd i s c u s s e st h ea p p l i c a t i o no f d a t aw a r e h o u s et e c h n o l o g yi n t a xi n d u s t r yi nd e t a i l s k e y w o r d s ：d a t a w a r e h o u s eo l a pd a t am o d e l i n g d a t ac u b e 2 独创性声明 本人声明，所呈交的学位论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽本人所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得北方交通大学或其他教学机构的学位或证书而使用过的材 料。与我一起工作的同志对本研究所做的任何贡献已在论文中作了明 确说明并表示了谢意。 本人签名 ) 一墟 日期：如弓年矗月五暑日 数据仓库技术兴起的背景 1 数据仓库技术兴起的背景 随着计算机技术的飞速发展和企业界不断提出新的需求，数据仓 库技术应运而生。传统的数据库技术是单一的数据资源，即以数据库 为中心，进行事务处理、批处理到决策分析等各种类型的数据处理工 作。近年来，由于计算机和网络的应用，数据计算开始向两个不同的 方向拓展广度计算和深度计算。广度计算的含义是把计算机的应 用范围尽量扩大，同时实现更广泛的数据交流，互联网就是广度计算 的特征；另一方面就是人们对以往计算机的简单数据操作提出了更高 的要求希望计算机能够更多的参与数据分析与决策支持等领域。同 时，数据库处理的两大类划分操作型处理和分析型处理划清 了数据处理的分析型环境与操作型环境之间的界限，从而由原来的以 单一数据库为中心的数据环境发展为一种以数据仓库为基础的结构化 环境，进而推进了基于数据仓库技术的决策支持应用的广泛发展。 按“数据仓库之父”w h i n m o n 的定义，数据仓库是一个面向主题 的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员 的决策。以主题为导向的数据仓库是围绕着企业的基本实体设计的， 如政府行业的城市数据仓库设计主题可考虑城市的人口总数、人均工 资水平、失业人数、税收情况、污染指数等。它们都是内在密切联系 的这样利于实现数据的关系化、规则优且可提供动态、多维的数 据统计、数据查询，建立关系数据模型，预测发展趋势等，若仅靠现 有的在线事务处理系统是很难甚至无法做到这一点的；数据集成是指 通过数据抽取、清洗、转换、验证等数据处理方式实现命名协议、关 键字、关系、编码的一致，要想实现高度的集成性，必须规划好复杂 的前期设计工作，才有可能真正成功地建立数据仓库；非易失性是指 数据仓库里的大部分数据一般不进行实时更新，数据经过复杂的抽取 过程后定期进入数据仓库。数据一旦加载完毕，用户就不能再像更改 业务系统里的数据那样更改数据仓库中的数据了；随时间变化，是指 数据仓库的设计要按不同时段组织数据，如按月、按季或按年。从历 史数据中生成不同级别的汇总数据，这一点对数据仓库设计来说是非 常重要的。 从需求到技术，又从技术到需求，数据仓库技术在实际应用的推 动下不断扩展被完善，形成了尽前决策支持系统和专家系统的结构化 数据环境的基础。 北方交通大学硕士学位论文 1 1 事务处理系统不利于数据分析 现代企业或政府机构备阶段的业务发展过程中积累了大量的历史 和当前数据，这些数据是一种处于原始状态的资源，用户要想在此基 础上生成一个报告，就会遇到很大的困难。传统的应用于联机事务处 理( o l t p ) 的数据库是面向应用、事务驱动的。应用本来就是千差万 别、零散琐碎的，而且为了提高性能，数据还常常被分散在多个子系 统中。因而，要利用支持o l t p 的数据库进行分析是十分困难的 如分析所需要的主题内容可能分散在许多应用中；同字段在不同应 用中又可能存在着同名异义、异名同义、单位不同、字长不同等许多 难以识别的矛盾。为了将这些零碎而且结构各不相同的数据统一起来， 就要为各种数据类型制定相关的转化程序，最终将所有数据集成以供 分析使用，并产生总体报告，但这是一个复杂而繁重的工作。 另外，各个部门在进行分析的时候，为了不影响联机效率并取得对 数据的全权控制，都是利用自己的抽取程序将所关心的一小部分数据 从原始数据库中抽耿出来，再对其进行分析。每个部门或单位都这样 各行其是地进行抽取，并且在抽取的基础上还有进一步的抽取。这种 横向与纵向的无节制的发展，必然导致”蜘蛛网”问题的产生。虽然网上 任意两个节点的数据可能归根结底是从一个原始库中抽取出来的，但 他们的数据没有统一的时间基准，抽取算法各不相同，抽取级别也不 相同，并且可能参考了不同的外部数据。因而，对同一问题的分析， 不同节点会产生不同、甚至截然相反的结果，这必然使决策者无从下 手。 还需要考虑的问题是，决策分析需要较长的时间，而业务处理则要 求对用户的指令尽快做出响应，如果进行一次大规模的分析，这对业 务系统性能的影响是难以忍受的；另外，决策分析常常需要通过一段 历史时期的数据来分析趋势，而业务系统中一般只涉及短期数据访问， 且各个应用领域数据的有效期限也不一样，在分析时难以满足决策的 需要。总之，传统的业务系统已经越来越暴露出不能适应决策支持要 求的缺点。 1 2 基于数据仓库技术的决策支持 面对政府或企业中大量的业务数据、财务数据和其他方面的数据， 决策者需要一套统一的数据访问和分析方法，这样他们在制定决策时， 数据仓库技术兴起的背景 就可以随时获取与决策相关的各方面信息，确保制定决策的可行性、 正确性和有效性。 上节提到的o l t p 系统大多将历史数据存储在光盘、磁带或其他大 容量存储介质中，要查询历史数据是费时、费力的事情，进行数据分 析时就更不用说了，况且各年的数据可能存储在不同的介质上，导致 数据处理效率低是可想而知的。数据仓库中主要存储的就是历史数据 和大量的汇总数据，因而基于历史数据的分析在数据仓库系统中则显 得非常方便，且效率显著提高，因为在数据仓库中存储的就是大量预 先处理的汇总数据。数据仓库还可以通过数据转移工具将位于不同的 地理位霞、不同平台、不同数据库中的数据按照一定的规则，高度集 中在一个数据仓库中，达到充分利用各种数据源的目的。且在构建数 据仓库的过程中，可充分考虑企业原环境数据的不一致性问题，将系 统中不一致的数据，按数据的一致性原则转移到数据仓库中，从而保 证数据仓库中数据的完全一致，这对做出正确的决策是至关重要的。 如在电信市场，数据仓库可迅速而准确地向客户提供混合销售、留言、 呼叫、等待等综合服务。 基于数据挖掘、数据抽取和决策支持上发展起来的数据仓库技术， 使得决策支持系统进入实用化阶段。一个具有高效的数据分析功能的 数据仓库可能会告诉用户( 当然，事先并不知道它能作到这些) ：如 何防止丢失有利的客户? 查明哪些客户会离开? 为什么? 提高周末的 票价将会带来什么好处? 需要多大成本实现一项新服务? 2 0 0 2 年4 季 度意外伤亡索赔比重为何比去年同期增长一倍? 而且，数据仓库对不 同的用户具有不同的使用价值。 对普通业务用户。可以提高工作效率，减少工作积压。过去，为了 得到一个用户关心的数据，也许需要打电话向信息部门寻求帮助，或 者翻阅大量的历史报表。繁琐的工作过程会导致厌烦情绪和工作积压。 现在不同了，基于数据仓库的业务智能，只需通过办公p c 就可以全方 位访问数据资源，顺利完成工作；业务用户还可以更适酎和方便的制 作自己的报表，这在过去是不可能的。应用数据仓库，包括业务人员、 决策分析人员和单位领导们在内的用户，可以无鬻技术人员的帮助， 只需简单的鼠标点击，就可独立完成报表的制作和分发；数据仓库可 以更决地响应顾客需求，在激烈的竞争中，如何与原有客户保持良好 的关系，并不断拓展薪的用户领域? 如何及时有效地收集客户信息， 及对有效地对客户的要求做出反馈是摆在许多中国企业面前的课题e 数据仓库技术提供了先进的、集成化的解决方案。它提供有关客户的 详细信息，便捷的数据访问和分析能力，可以随时获得客户增长、客 户分布、客户需求变化等信息，在与客户打交道时更加积极主动。另 北方交通大学硕士学位论文 一方面，如果顾客要求提供一段时间内的业务综述，利用数据仓库技 术，马上就可以做出答复，但如果用e x c e l 等电子表格加手工计算，可 能会花很长的时间。 对信息技术人员，可以改进原有的工作方式。数据仓库技术改变了 原有的数据管理和访问方式，它采用可灵活配置的数据访问方式和系 统重构策略，把i t 人员从繁琐的编程工作和定制报表工作中解脱出来； 进行技术支持。利用数据仓库技术建设的业务职能系统，向i t 人员提 供强大、便捷的系统维护方式。这样i t 人员有足够的精力和时间，充 分发挥技术优势，对业务用户进行计算机使用的培训和技术支持真 正发挥他们的专业特长。 对管理人员，可以利于决策制定。数据仓库可以向决策人员提供与 决策内容相关的全面数据，可以提供一段时期内的发展变化情况，预 测未来发展趋势，帮助管理人员制定合理有效的决策，避免盲目投资 等靠臆断而造成的资金浪费，节省信息收集和分析的时间。运用业务 智能提供的联机分析处理功能，用户可以任意转动、组合数据浏览的 角度和显示方式，轻松获得所需信息；组织的竞争优势在于能够正确 的把握现状并制定相应的决策。基于数据仓库解决方案的业务智能从 多个口径提供各方面的详细数据，来支持决策制定。 数据仓库的体系结构 2 数据仓库的体系结构 数据仓库不是软件产品或应用程序，它是系统体系结构。体系结构 是按照优先原则对方法进行的安排。这些原则使得通过客户机、网络 和数据库软件执行业务过程成为可能，而这些业务过程又为处理基本 业务的规则提供了启示，这是关键所在。假如数据仓库市场有各种有 用的和有创意的软件产品，而它们都宣称自己是解决方案，那么就有 必要考虑一下了。毫无疑问，这些软件产品都有值得注意的优点，或 者许多产品均暗示自己是体系结构，因为没有一种产品是孤立的，但 关键问题是一种产品本身就是体系结构。 2 1 以数据为中心的体系结构 数据仓库必须是以数据为中心的体系结构，也就是说，以数掘为中 心与以运行控制为中心相对立。它们对应于两种不同类型的数据：分 析型数据和操作型数据。 操作型数据是处于不断变换和更新之中的，属于动态数据。订单输 入数据库中的当前订单就是这类数据的一个例子。操作数掘所代表的 是某一时间点的当前信息，如操作数据可以表明待发订单的状况、活 期存款帐户的当前余额或当前脱销产品的数量。这类数据可以告诉我 们某件事情的现状，而且它们在任何时候都是处于变化之中的。 分析型数据是历史数据，通常都不会随着时间的推移而发生变化， 因此属于静态数据。只有在原始信息错误的情况下分析数据才会有 变动。某个时间点的销售额是最终数据，不可逆的。在这个时间点， 信息变成了静态，因此可以从动态数据源迁移到静态数据源。分析数 据可用于查看跨时间段的信息。例如，可以查看2 0 0 2 年8 月份的总销 售额、1 0 月份在北京市出售摩托罗拉v 6 0 手机的数量或者开发人员在 过去6 个月里的工资变化情况。操作型数据与分析型数据的主要区别 见表2 - 1 分析数据通常采自操作数据，可用来对公司在某个时期的运营状况 作全面分析。这种数据必须准确、可访问，并且能以实用的格式显示 出来。用于分析的数据可以包括企业内部数据和企业外购数据。建立 数据仓库所使用的数据库系统必须可以访问各种数据源的数据，把它 们转变为一种统一的格式，校验数据的完整性，最终把数据存储到一 个适合的联机分析处理服务器中供使用者方便访问。 北方交通大学硕士学位论文 表2 - 1 操作型数据与分析型数据的区别 操作型数据分析型数据 衰示业务处理的动态情况表示业务处理的静态情况 在存取的瞬间是正确的代表过去的数据 可更新，由录入人员或经过专门不可更新，终端用户的访问权限常常是只 培训的输入事务而业新凄的 受到更多关注的是结论性的数据，是综合 处理细节问题 的，或是提炼的 操作需求事先可知道，系统可按操作需求事先不知道，永远不知道下一步 预计的工作量进行优化用户要做什么 有许多事知，每个事务影响数据有数目不多的一些奇询，每个查询可访问 的一小部分大量数据 对性能要求高对性能要求宽松 面向应用支持日常操作面向分析，支持管理需求 用户不必理解数据库。他们只是用户需要理解数据库，以从数据中得m 有 输入数据意义的结论 2 2 数据仓库体系结构的基本特性 为了更有效确保数据仓库系统的应用价值，数据仓库体系结构必须 提供十几种特性。这些特性对数据仓库系统来说并不是独一无二的， 但数据仓库在理解和使用它们时有一定的优先权。数据仓库中存储的 信息越有价值，保密就越重要。为了采取防范措施，通常是在网络层 和后端数据仓库，基于桌面的授权控制，采用对工作组授权的方法， 以防范有意的或偶然的攻击和破坏。体系结构的目的在于避免商业规 则在从生到死的循环中不断变化。因此，体系结构必须是灵活的，它 必须能适应不断变化的商业规则和环境，允许对其进行有效的修改、 指导和管理。因为在今天公司兼并和收购己经相当普遍，因此，数据 仓库必须是可移植的。系统组件必须不需要大量的修改就可以在软硬 件上安装，这就要求使用开放的标准组件，它们具有可重用性高的重 要特性。高度一致而松散连接的设计要求仍然有效，系统各个部分的 要求是紧凑一致的，它们必须独立于接口，而接口则表示了它们可以 访问哪些协议；同时，它们应是松散地保持连接，一个组件的改变刁； 数据仓库的体系结构 应该明显影响其他组件。可缩放系统是指当增加系统组件来处理加大 的数据量、用户和处理需求时，系统性能呈线性或近似线性的提高。 在这种环境中，灵活性是可缩放性的对立面。数据仓库体系结构的基 本特点总结如下： 安全性在网络层和后端数据仓库，基于桌面的授权控制，防 范有意或偶然的攻击和破坏 健壮性能适应不断变化的商业规则和环境，允许进行有效的 修改、指导和管理 可移植系统的组件无需大量修改就可以在软硬件上安装 开放性使用公开的标准，独立于某个主导企业，或在主要的 技术设计上代表事实标准 一致性单独的组件有定义良好的接口，不受其他组件实现的 改变豹影响 可维护通过对由于环境的变化而改变或磨损的特性进行常 规检查，系统的生命周期可咀延长，或不确定 可扩展系统组件可用于新的、不可预见的环境和状况 工具化系统有内置传感器或数据收集设备，这样，如果出现 问题，无需做大量工作就可以进行诊断 可重用组件定义良好，可以进行配置管理，并被证明可以 用于其他环境 连通性信息和功能可以通过预定义的接口、路径和系统其他 地方的连接，包括跨分布式节点的连接得到 可缩放性当增加系统组件来处理增大的数据量、用户和处理 需求时系统性能提高，并呈线性或近似线性增长 灵活性面对不断发展的商业环境，性能逐渐恶化，但不会 突然崩溃，有时间等待人们进一步改正 数据仓库体系结构与建立企业数据仓库中有一个急需解决的现实 问题，即如何定义适合业务规则的数据仓库约束，这也是建立并运行 数据仓库的困难所在了。约束是种机制，用来管理企业对品牌发展、 客户关系和及时的信息供应链有关业务问题的处理。成功的数据仓库 能精确表示这些问题，并通过软件高效地解决这些问题，能够获取必 要的数据，能够在信息供应链上转换数据。使数据可以为企业分析员 和决策人员所用。 北方交通大学硕士学位论文 数据仓库涉及的主要问题 建立并运行数据仓库的最大困难是如何定义适合业务规则的数据 仓库约束，次之才是技术上的难题。由于数据仓库涉及面广、涉及的 问题复杂，系统开发人员只有站在企业c e o 或c i o 的角度纵览全局， 才有可能开发出一个相当出色的数据仓库应用系统，建立一个灵活而 富有生命力的数据仓库解决方案。数据仓库所涉及的主要问题如下。 3 1 数据仓库的数据源 数据仓库主要来源于三种事务系统，包括传统业务系统、企业资源 规划( e p r ) 系统和电子商务( e c ) 系统( 见图3 1 ) 。 传统业务系统指在大型机或中型机上的系统，通常先于9 0 年代初 出现的客户机服务器。最近，这个词用来指以前生产的任何系统。传 统业务系统令人惊奇的特点在于它的可持续性。人们从来没有指望7 0 蔟望磊警譬喜蒜窑广 口压至壹习 继续工作，但它们当中的广 厂= l ：= ： l 大多数却都做到了。因此，i 挟i i ：l 广一 只要做到合理设计，软件i 策i 一? ：_ 一e p r 系统1 是可以持续使用的。当排1 支li 笆k l 一 除了已发现的问题后，旧u i 。| 平f广 式系统比新的替换产品更 一 弋电子商务系统l 銎售要曼妻k 兰兰彗孥 图3 - 1 数据仓库亩聂磊；f 一一 产品还没能证明它们可以 岬 在不同的环境下运行。许多传统业务系统的情况也是如此，这些系统 是日常事务处理和企业运行所必不可少的。 e r p 系统是事务系统，是用于业务运作的数据库和应用程序。e r p 系统的数据结构是非常标准的、规范的，而且，此结构还为大量的更 新活动进行了优化。适合使用e r p 的是那些形式上分离，但会从集中 化中得到好处的公司。好处是更紧密的集成，与使用e r p 系统的贸易 伙伴之间处理效率的提高，改善公司内部供应链的上下纵向通信。但 要注意的是，业务过程将必须改变以适应e r p 系统，而不是相反。 数据仓库数据的第三个来源是电子商务系统，包括基于企业内部网 和i n t e r n e t 的系统。这些系统建立的基础在于电子数据交换( e d i ) 商业规则带来的成本降低以及供应链和价值链管理效率的提高。业务 数据仓库涉及的主要问题 处理通常要求减少人工处理，委托方式的协作涉及到在生产和零售中 合理分布产品，由此引进了”远距离操作“，即商业真正的强有力之处 是4 信急在线”。这种情况由于来自各方的压力而加剧，如来自于及时 交货以管理和减少库存的压力，来自供应商管理的库存的压力，以及 来自减少中间商的压力。i n t e r n e t 所做的是插入一组开放技术，为远 距离的行动提供基础。它为e c 的开展提供许多项级别的增值网络，打 破了小型和中型公司的障碍，捕获有用的数据，并通过直接或中转系 统把它传给数据仓库进行分析，对于描绘完整的企业商务系统非常重 要。 传统业务系统、e r p 或e c 系统第一次与数据仓库实现数据交换时， 工作流的方向是从事务系统到仓库。这是典型的方案，因为运作数据 的处理是为了帮助决策支持过程。但是，当建立统一的维表示以在事 务系统中支持仓库”反馈”时，就会发生意外。因为客户、产品和其他 关键业务维的表示在原始事务系统中大都不是一致的、连贯的。这个 反馈并没有使数据仓库成为数据中心，数据中心仍然是独立的结构和 产品空间，尤其对于有数据质量和完整性问题的旧式系统来说，情况 通常是这样的；对于可能有不同质量和完整性问题的新e r p 系统来说 也是这样。这时，数据仓库的要点仍然是决策支持，但决策只是空转 的轮子，除非事务系统的相关部分也动起来它才起作用。其实，从数 掘仓库到事务系统的反馈是数据仓库典型的高级应用数据仓库实际 成为信息供应链阶段中的”前端”。当数掘仓库用于预测应用时，可以 对事务系统发出指令。通过预测，可以让事务系统作好准备，以满足 预期的需求。只要这个需求停留在基本的细节事务上，它就是不可见 的。但是，当数据仓库预测应用程序浮出水面时，只要查看基本事务 的细节，就可以看到基于聚合的趋势了。如可以从仓库给事务系统发 布命令，来调整库存，提供补充货物，或者分配资源，以满足预测的 需求。有时这叫做寻找预测的来源，因为它所做的就是提供来源以满 足需求。不管是传统业务系统、e r p 还是e c 系统数据源均代表一种以 不同的方式获取数据仓库输入数据的途径。相对于数据仓库而言，它 们是数据生产系统。在这些系统中，数据的流动隐藏蓿诸如如何发展 客户关系，发展产品品牌以及优化供应链和价值链的知识。这些知识 有待于人们去理解，在企业系统的相互合作中，为了优化业务处理， 信息技术应用还会有新的创新，还会进一步涌现出更多的创新知识。 北方交通大学硕士学位论文 3 2 数据仓库的维与事实 商业智能的一个根本定位就是基本的商业驱动力客户、产品、 服务、提供商、地点、渠道、时间以及对企业来说很重要的其他实体。 当这些商业驱动力在一个关系数据库中表示和抽象出来的时候，它们 被称为维。这些实体以及实体之间的关系( 如客户购买、收货或使用 产品等) 构成的模型口q 实体关系图( e r 图) 。当然，e r 图除了这些以外 还有很多内容。在数据仓库业界有这样的争论，即是否在处理维数据 时要采用与经典e r 图不同的模型、分析方法和思考原则。在视觉表示 上确实是这样，即数据仓库模型的结果图与事务系统的e r 图有明显的 不同。简单来说，结果数据模型的外观确实表现不同。一个看起来有 些像雪花，优雅而复杂；另一个像星星，一个简单的中心体，周围是 多个结构( 见图3 2 ) 。 图3 2 多维数据结构的星型模型 如果理解了e r 图，就可以不再钻研维数据模型了，因为维数据建 模只是告诉人们何时打破e r 图规则，而不会提供任何基本的新规则。 数据仓库涉及的主要问题 因此更有价值的是去研究企业的问题、参数和概念，以及它们如何在 决策支持中出现。 多维数据结构的维为探索数据提供了路径，沿着路径会发生数据基 本聚合的”上钻”或”下钻”。客户通常按地理位嚣分组，例如不同的客 户、地域、地区、区域、范围等。根据客户在选定地点和时间对产品 的购买或使用，按地域进行汇总，然后按地区再按区域，最后按范围 汇总。高级的客户聚合，如在包含层次结构的区域或地区级，汇总了 关于客户活动的许多信息。产品在层次结构中可以按统一产品代码 ( u p c ) 、物品、产品、品牌或目录分类，还可能会存在其他层次结构， 这导致了对市场和使用产品方法的分割。保险、金融或预订服务行业 均有它们自己的分类方法，通常这些方法要针对具体用户而不同。这 里要指出的是，发生“下探”或”聚合”的路径是先于维内容而建立的。 某个”客户”在特定”时间”、特定”地点”购买了一个4 产品”，当这4 个维交叉时，便发生了购买活动。这些维的交叉点为基本问题提供了 一个答案，也是一个基本的业务事件事实。事实是从市场捕捉到 的事件的一个度量，它是客户在特定时间和地点与产品发生作用时的 瞬时值。数据仓库将事实定义为维的交叉点，这些维组成了业务事实 的基本实体。通常，事实还不是企业关系，品牌发展、客户关系、销 售趋势和产品趋势分析才是其本质，但他们往往潜含于事实数据之中。 在这个接合点，从交叉点描绘出的维根容易使用而且特别有用商 店( 地点、供应商、推销、装货点、个人事务和部门。维趋向于定义垂 直行业部门的边界。维是实体和属性的目录，它们对于所讨论的垂直 市场和行业有重要意义。例如，在机场卖票，那么来往的飞机数目就 是一个非常重要的维。如果在旅馆推销房间，那么房间类型、服务和 登记就非常重要。描述数据仓库事实要注意一个重要的术语，即粒度。 顾名思义，粒度表示在基本事实中捕获了多少细节。系统是在处理发 货单运输路线上的物品吗? 是在处理在某天、某种产品的所有客户的 购买量吗? 或某星期的购买量? 为企业行为、策略和创新作出决策需 要多少细节? 操作型系统包含着最详细的可用数据，因为数据最初是 在那里产生的，但是系统通常不会将这些数据存储- - n 五年。正在应 用的事务系统的数据存储通常会保持两到三个月( 一个财政季度) 的数 据，剩下的则放到廉价的媒体( 如磁带) 中。因此，粒度在数据仓库生 命周期中是重要的考虑因素。它是一个非常重要的性能因素，是由业 务问题所驱动的，而不是由技术驱动的。更精确地说，它是由企业推 动的，受技术的制约。如果粒度太大，就会丢失个别细节，就要花更 多的处理时间来解开聚合：而若粒度太小，就会由于一叶障目而不见 森林。 北方交通大学硕士学位论文 3 3 数据立方体 数掘仓库以多维的方式组织数据，中心事实结构及其周围小的支持 维结构组成的数据模型像一个星星。实际上，不同维的交织看起来确 实像是星型的形状。中心的事实表和不同的维是星星里的许多点。因 此，将不同的维联合起来的这种形状叫”星型模式”，这是整个维模型 的另一个名字。对星型模型中的数据进行聚合就构成了数据立方体( 或 称多维数据集) 。立方体定义为基本业务驱动力的可用聚合，它是适 于通过s q l 或其他接口进行查询的完整数据结构。立方体是维的交叉 点，提供企业感兴趣的事实结构。经典的立方体有产品、时间、地点( 见 图3 - 3 展示的数据立方体) 。 如果一个姓刘的客户在2 0 0 2 年1 0 月8 日花2 0 元人民币购买了一 盒雀巢咖啡，这个事务就是客户、产品、时间的交叉点。在这个事务 部门 胜 牛仔部 女装部 男 l 季度 2 季度 时1 4 ：蓁譬 a u a i i1 季度，鞋类，a 1 套装，牛仔部 服内套鞋 装表装类； 产品 图3 - 3 服装商场数据仓库的三维数据立方体 中，最重要的量是卖出价格( 2 0 元) 和卖出的东西。这些量形成了立方 体的粒度。粒度是维交叉时导致的细节等级。通常，可以加上量化的、 连续的值。如果某个客户购买了某个产品，结果就是一个基本粒度或 原子事务。立方体列在可用元数据列表的顶部。尽管元数据并不限于 立方体，但它可定义为基本业务驱动力的可用聚合，通常在建有关系 目录的储存库中定义和维护。因此，立方体不再是元数据的子集。在 数据仓库涉及的主要问题 上图中，使用星型模式和数据立方体不能很容易描述的是这两种方法 之间的折中。通常，星型模式是通过多个维和事实之间的联系，用关 系数据库表示数据的方法和结果。在对比o l a p 引擎与关系数据库的方 法和结果时，立方体与星型模式是对立的。但这种简化是不精确的， 因为立方体可以转换成星型模式，或者相反。真正的问题是性能和效 率的折衷。经过计算，高层的聚合存储为立方体更有效率：以可用的 细节为基础，维变化的上卷聚合用星型模式表示更有效、更灵活。 聚合是对基本事务数据的汇总，它以维层次结构中非基本层的交集 为基础。如客户按照区域分组，品牌包含产品，客户购买产品，则发 生销售。这个抽象在话南地区卖品牌x 给客户产生了全新的 视角，积累了关于品牌和客户行为的知识。聚合报告按区域划分的品 牌的汇总情况。这里，粒度不是原子( 或基本) 事务，而是聚合。聚合 是基于维的有意义的交集，是附加价值的积累或汇总。在基于大数据 量的讨论中，维一般不是关于个别人的，它们表示一个组。聚合的变 化、数目和使用与客户、产品和其他维分组有关。在层次结构的上下， 可以任意按产品、亚品种、品牌、产品目录对客户进行组合。 北方交通大学硕士学位论文 4 基于数据仓库的联机分析处理 仅仅将数据存储在数据仓库环境之中，不是我们的最终目的。我们 的目的是分析数据，从中挖掘有价值的知识。基于数据仓库环境的数 据分析方法( 或工具) 主要包括报表、数据挖掘、o l a p ( 联机分析处 理) 等。其中o l a p 是数据仓库领域中应用最广，技术最成熟的分析 方法；报表工具直接为决策者提供报表视图，其实许多报表工具也是 基于o l a p 的；数据挖掘是当前的一个热门话题，它包括多种挖掘算 法，如关联、聚类、聚簇、神经网络等。其技术难点在于对超大数据 量的处理以及分析结果的展现，目前较成熟的如关联挖掘、决策树等。 如果分析者希望在数据中发现趋势和异常，并探测数据的不同区域 以找到趋势和异常的根源，就需要用到联机分析处理技术。 4 1 o l a p 系统与o l t p 系统的区别 企业级关系数据库管理软件( 如o r a c l e e n t e r p r i s em a n a g e r 、s y b a s e a s e 等) 是记录执行企业日常操作所需数据的高效系统，称为联机事 务处理( o l t p ) 系统。目的在于发现趋势和关键因素，并能有效探测 数据的查询系统称为联机分析处理( o l a e ) 系统。o l a p 查询通常需 要大量的数据。 o l a p 系统与o l t p 系统有着很大区别。o l t p 系统必须能够处理 同时输入的大量实时事务，快速响应细节数据的插入、删除和更新等 操作。o l t p 系统的诞生主要是为了替代手工劳作，因而与业务流程 非常相近，是业务流程的计算机描述。如一个优秀的o l t p 系统中的 数据应能高性能地支持如下事务： 记录来自销售终端的定单 当库存水平达到警报点时，订购提醒或自动定购 跟踪售后服务情况 记录企业人、财、物、资源等数据 员工考勤、考评纪录 由于管理人员关心的不是单笔业务，而是汇总数据，期望从中发现 引起成功或导致失败的关键因素或各种商业实体的发展趋势等方面的 信息。这样的查询可能需要聚合过去十年的全部详细记录，产生很大 基于数据仓库的联机分析处理 的工作负荷，会严重耗尽事务处理系统的资源，影响日常业务的正常 进行。0 l 世系统概要如下： 0 l 廿系统是一种用来分析商业信息的工具 分析员、经理和董事们都可以使用o l 垤系统来查看过去 任一时期企业是如何运作的 o l 廿系统是一种能够以精确视图的形式提供企业原始数 据的快速、稳定的交互式工具 4 2 0 l a p 定义的维与度量 o l a p 系统的主要目的是进行分析运算和模拟重要的商业度量 ( m e a s u r e ) ，分析这些度量的角度被称作维( d i m e n s i o n ) 。就像数学 和自然科学中的空间和时间一样，商业维也可以用时间和空间来表示。 空间维在o l a p 系统中一般表示地理位置的维。在o 乙廿系统中，还 有客户、销售人员、部门等其他重要的维。当使用0 l a j p 进行分析时， 可以在多个维上考虑多个度量。如果度量是商品的销售量和销售额， 维是时f 日q ( 7 月份) 和地理位置( 北京) ，那么，o l a p 系统便可以计算7 月份在北京地区的商品销售数量和销售额。o l a p 系统一般由多个维进 行度量分析。这就是将0 u 址系统称作多维系统的原因。如果”想了解 某一时间某一地区，某一部门的所有销售情况”。在这种情况下，度 量是总销售额，三个维分别是部门、地区和时间，当问到最终用户想 从数据仓库中得到什么信息时，可以把所需信息变成上述格式。 个维是一个商业量度( b u s i n e s sm e t r i c ) 单位，可以用多种不同方法 表示精确量度。例如，代表时间的维是小时、天数、星期、年或季度。 一组几个相关的量度表示可以做成一个维，因此可以创建一个包括年 和月的时间维，也可以创建一个包括财政年度和季度的时间维。如果 想用不同的方法来看一个量度，可以为每一个量度表示法创建不同的 维。维的成员通常可以分为彼此相关的各种量度等级( 层) ，这些不同的 等级叫层次结构。时间维可以用年和月来表示。时间的这些不同表示 方法是相互关联的f 1 年等于1 2 个月，1 2 个月等于2 9 - - 3 1 天等) 。包括 季度和财政年度的第二种时间维也是一个层次结构。地理位置维可以 有下列层次；地区、省市级、地市级和市区级。o l a p 工具通过在这些 层间移动来快速给出较为详细的公司信息视图。例如，o u 婶工具可以 给出在北京地区1 2 月份小商品销售情况的视图。通过选择适宜的城市， 可以用o l a p7 - 具查看北京任何地区( 如海淀区) 特定月份小商品的 北方交通大学硕士学位论文 销售隋况。 o l a p 系统通过维、维的层次结构以及度量可以完成某一连续时间 的趋向分析、数据子集切片并迅速创建一个表示这个切片的新视图。 o l a p 系统可以获得基本的详细数据，在视图中转换为新的维，并完成 更广泛的分析服务。用o i _ a p 系统分析信息时，往往需要回答一个度 量在几个维下的问题。例如，”7 月、8 月、9 月在2 0 个地区销售了多 少小商品? ”这是多维问题，需要通过几个维来查询。 4 3 0 l a p 服务管理术语 o l a _ p 服务管理涉及的许多专用术语，如聚合、分区、钻取、角色 等，现将市局数据仓库系统开发涉及到的主要术语作简要解驿。 4 3 1 聚合 如果计算细节数据的合计值并把这些合计值存入数据仓库中就可 以有效地改善o 乙舒工具的效能。通过层次结构计算这些合计过的度 量值可以生成一个聚合，通过存储度量的聚合值可以使o i _ , a p 工具快 速完成查询。聚合是o “奸工具的关键特性之一，它可以给出这些工 具可靠的和有效的应答次数。存储聚合是有代价的，即要花费许多磁 盘存储空间。随着结构层次中层次的增加，合计的次数也会相应增加： 维的数量越大，成员越多，需要用来存储聚合信息的空间也越大，引 起所谓的数据爆炸。数据爆炸的大小依赖数据的粒度。数掂的粒度表 示信息的详细程度，在数据仓库中有许多不同级别的粒度。可以用目 来度量时闻维，这是一个精细的粒度等级：也可咀用年来度量时间维， 这是一个粗糙的粒度等级。可以用邮政编码来度量地理位置维，这是 一个精细的粒度等级：也可以用国家来度量地理位置维，这是一个粗 糙的粒度等级。在数据仓库建模阶段，要考虑根据不同情况选择合适 的粒度。 数据粒度的大小对数据爆炸有较大影响。可以假设这样一种情况， 有一个包含5 0 个结点的产品层次结构，在此。合计的度量是作为聚合 被计算的。如果时问维只包括年和四个季度( 粗粒度) ，那么在数据仓库 中，每一个度量只有4 5 0 = 2 0 0 个值可用。这表示5 0 个产品中的每一 种产品每一个季度的度置f 如销售情况) 。我们可以把5 0 个产品中的每 一种产品的四个季度的值聚合为一个值。这样在数据仓库中做聚合时， 只会产生5 0 个值。如果再将1 2 个月和3 6 5 天增；b u n 时间维中，数据 基于数据仓库的联机分析处理 仓库中就会有3 6 5 5 0 = 1 8 2 5 0 个值。如果以月度量做聚合，一年就需 要1 2 5 0 = 6 0 0 个聚合加上5 0 个聚合，总计为6 5 0 个聚合。在数据仓 库中提高粒度级别会导致数值和聚合同时增加，这就是数据爆炸。 在真实世界中，层次结构会分为多个层次，而在结构维内往往有几 个层次结构。也可能有用来创建聚合值的其他类型的维，如分类维。 产品维中的一个层次可能很容易达到1 0 0 个可能的值。可以看一下如 果从聚合值创建该层次的1 0 0 个可能的值将发生什么情况。一个具有 产品维( 具有成百个属性) 的多维数据集如果以日的时间粒度和城市的 地理位鼹粒度( 共包括5 0 0 个城市1 来度量，它的聚合将等于5 0 0 1 0 0 x 3 6 5 = 1 8 2 5 0 0 0 0 ，产生数据爆炸。当将5 、6 个大的结构维和分类维( 每 一个维都有许多可产生成百