（计算机应用技术专业论文）独立型数据集市的若干关键技术的研究与应用.pdf

沈阳航空t 业学院硕士学位论文 摘要 独立型数据集市以投入资金少及设计周期短等特点成为大多数企业可接受 的快速实现企业辅助决策分析的解决方案。本文围绕独立型数据集市的体系结 构、维度建模、数据转换及o l a p 实现等关键技术进行了深入细致地研究，提 出了扩展独立型数据集市的体系结构，并以此为基础，提出了扩展独立型数据集 市中一致性维度创建、维度模型的粒度划分及数据转换等策略。 针对传统独立型数据集市之间数据不一致且难以集成为企业级数据仓库的 问题，本文提出了d b e d 潮层体系结构。在介绍维度建模的基本概念和维度 模型的结构的基础上，提出了在扩展数据集市的数据集市控制中心创建一致性维 度的三种策略及基于时间轮转模型进行维度模型粒度划分的基本方法。在此基础 上，介绍了“沈阳市特种设备监督检验决策支持系统”维度模型的宅q 建方法和过 程。数据转换是用户能否得到高质量信息的前提和保证，本文详细讨论了数据集 市中数据转换的过程和方法，提出了一种基于维度模型的数据转换模型。在研究 了基于维度模型的独立型数据集市多阶段数据转换策略和管道数据转换策略的 基础上，提出了以x m l 技术实现异构环境下独立型数据集市的多阶段数据转换 算法。 最后，本文深入地研究了o l a p 的产生背景、与o l t p 之间关系及基本分析 方法等内容，并以“沈阳市特种设备监督检验决策支持系统”检验收费多维模型 为例展示了o l a p 的设计和实现过程。 关键字：独立型数据集市；维度建模；数据转换；o l a p ；一致性维度；特种设 备 - i - 沈阳航空工业学院硕士学位论文 a b s t r a c t w i t hl e s si n v e s t m e n ta n ds h o r td e v e l o p m e n tc y c l e ，i n d e p e n d e n td a t am a r t 8h a v e b e c o m et h ea c c e p t a b l ea n df a s ts o l u t i o ns c h e m eo fi m p l e m e n t i n gd e c i s i o ns u p p o r t s y s t e mf o rm o s te n t e r p r i s e s a f t e rs t u d y i n gs o m ek e yt e c h n i q u e ss u c ha sa r c h i t e c t u r e d e s i g no fi n d e p e n d e n td a t am a r t s , d i m e n s i o n a lm o d e l i n g ，d a t at r a n s f o r m a t i o n ，t h e r e a l i z a t i o no fo l a p , t h ea r c h i t e c t u r eo f e x t e n d e di n d e p e n d e n td a t am a r t si sp r o p o s e d i nt h i sd i s s e r t a t i o n t h e ns t r a t e g i e so fe s t a b l i s h i n gc o n s i s t e n c yd i m e n s i o n a l i t y , d i v i d i n gu pg r a n u l a r i t yo fd i m e n s i o n a lm o d e la n dd a t at r a n s f o r m a t i o no fe x t e n d e d i n d e p e n d e n td a t am a r t sa r ep r o p o s e d f o c u s i n go nt h ep r o b l e mo fd a t ai n c o n s i s t e n c ya m o n gs e v e r a l t r a d i t i o n a l i n d e p e n d e n td a t am a r t sa n db e i n gh a r dt oi n t e g r a t ei n t oe n t e r p r i s ed a t aw a r e h o u s e ， t h i sd i s s e r t a t i o np r o p o s e st h et w o - l e v e l sa r c h i t e c t u r e a f t e ri n t r o d u c i n gt h eb a s i c c o n c e p t i o no fd i m e n s i o n a lm o d e l i n ga n dt h ec o n s t r u c t i o no fd i m e n s i o n a lm o d e l ，t h i s d i s s e r t a t i o np r o p o s e st h r e ed j p e so fc o n s t r u c t i n gc o n s i s t e n c yd i m e n s i o n a l i t ys t r a t e g i e s i nd a t ac o n t r o lc e n t e ro fe x t e n d e di n d e p e n d e n td a t am a r t sa n dt h eb a s i ca p p r o a c h e so f d i v i d i n gu pg r a n u l a r i t yo f d i m e n s i o n a lm o d e l i n gb a s e do nt i m er o t a t i o nm o d e l t h e n t h i sd i s s e r t a t i o ni n t r o d u c e dt h ep r o c e s sa n dm e t h o do fi m p l e m e n t i n gt h ed i m e n s i o n a l m o d e lo fs h e n y a n gs u p e r i n t e n d i n gi n s p e c t i o nd e c i s i o ns u p p o r ts y s t e mf o rs p e c i a l e q u i p m e n t s d a t at r a n s f o r m a t i o ni st h ep r e c o n d i t i o na n dg u a r a n t e et og e th i g hq u a l i t y d a t af o ru s e l s t h i sd i s s e r t a t i o nd i s c u s s e sc a r e f u l l yt h ep r o c e s sa n dm e t h o do ft h ed a t a t r a n s f o r m a t i o ni nd a t am a r t s ，a n dp r o p o s e sad a t at r a n s f o r m a t i o nm o d e lb a s e do n d i m e n s i o n a l i t y a f t e ra n a l y z i n gt h em u l t i s t a g e a n dp i p e l i n ed a t at r a n s f o r m a t i o n s t r a t e g i e so fi n d e p e n d e n td a t am a r t sb a s e do nd i m e n s i o n a lm o d e l ，t h i sd i s s e r t a t i o n p r o p o s e st h em u l t i s t a g ed a t at r a n s f o r m a t i o na l g o r i t h m b a s e do nd i m e n s i o n a lm o d e lo f i n d e p e n d e n td a t am a r t si nh e t e r o g e n e o u se n v i r o n m e n t w i t hx m l f i n a l l y , t h i s d i s s e r t a t i o ns t u d i e st h ep r o d u c i n gb a c k g r o u n do fo i a p , t h e r e l a t i o n s h i p sb e t w e e no l t pa n do l a pa n dt h eb a s i ca n a l y s i sm e t h o d sd e e p l y a sa n i n s t a n c e ，t h ed e s i g na n dt h ei m p l e m e n tp r o c e s so fo l a pw i t ht h ei n s p e c t i v ec h a r g e d i m e n s i o n a lm o d e lo ft h ed e c i s i o ns u p p o r ts y s t e mo fs h e n y a n gs u p e r i n t e n d i n g i n s p e c t i o nf o rs p e c i a le q u i p m e n ti sd i s c u s s e d k e yw o r d s ：i n d e p e n d e n td a t am a r t s ；d i m e n s i o n a lm o d e l i n g ；d a t at r a n s f o r m a t i o n ； c o n s i s t e n c yd i m e n s i o n a l i t y ；s p e c i a le q u i p m e n t s - 1 1 原创性声明 本人郑重声明：所呈交的学位论文是本人在导师的指导下独 立完成的。除文中已经注明引用的内容外，本论文不包含其他个 人或集体已经发表或撰写过的作品或成果，也不包含本人为获得 其他学位而使用过的成果。对本文研究做出重要贡献的个人或集 体均已在论文中进行了说明并表示谢意。本声明的法律后果由本 人承担。 论文作者签名：涨难为 一年) 月刁日 沈阳航空丁业学院硕士学位论文 版权授权说明 本人授权学校“有权保留送交学位论文的原件，允许学位论 文被查阅和借阅，学校可以公布学位论文的全部或部分内容，可 以影印、缩印或其他复制手段保存学位论文”；愿意将本人学位 论文电子版提交给研究生部指定授权单位收录和使用。学校必须 严格按照授权对论文进行处理，不得超越授权对毕业论文进行任 意处置。 授权人：弧乖莎 。6 年 月銎日 ， 沈阳航空工业学院硕士学位论文 第l 章绪论 1 1 引盲 关系型数据库技术的出现和广泛应用为进行实时、高效的事务性处理提供了 强有力的工具。然而，数据库容量的指数级增长与数据库信息利用的贫乏形成了 强烈的反差，对能够有效指导企业的生产、技术和经营决策的信息及规律的渴求 使得各企业、组织、公司集团、商业团体等已经不能满足于简单的事务性数据查 询，而是需要对其拥有的大量o l t p ( o n l i n et r a n s a c t i o np r o c e s s i n g ，联机事务 处理) 数据、外部文挡、历史遗留系统中的有效数据进行充分分析和处理，并从 中发现具有指导作用的辅助决策支持信息。对信息有效的管理并充分进行决策分 析的必然趋势是建立企业级的数据仓库( d w ，d a t aw a r v h o u s e ) 系统【1 】o 目前，作 为数据仓库体系的重要组成部分之一的数据集市及其相关技术( 如e t l 、o l a p 、 元数据库的建立等) 已经成为学术界、企业、组织、商业团体等研究的热点问题。 关于数据集市( d a t am a r t s ) 有许多描述，如p gh u g l l 和j w a t s o n 将数据 集市描述为一个商业部门或公司中的一个部门使用的小容萤数据仓库。王珊认为 数据集市相当于部门级数据仓库，是一个小型的、面向部门的或工作组的数据仓 库【2 1 。m m 公司关于数据集市的定义为“支持一个特定的用户组进行决策支持的 面向主题的、集成的、随时间改变的数据集合”p l 。与企业数据仓库( e 1 ) w , e n t e r p r i s e d a t a d a r e h o u s e ) 相比，数据集市以其查询效率高、数据可定制、实现 相对容易等特点为大多数的迫切需要辅助决策支持的企业所接受。 在数据仓库难以实现的情况下，不依赖于数据仓库而存在的独立型数据集市 是从数据仓库中派生出来的更适应企业具体业务数据分析的一条捷径。然而，独 立型数据集市不是数据仓库的廉价解决方案，对独立型数据集市的错误看法和定 位使得二十世纪九十年代产生的“数据仓库”往往是孤立的独立型数据集市。这 种错误观念的直接后果是产生了大量的数据孤岛，数据信息得不到充分地利用， 反而是互相隔绝，企业的决策者难以站在全局的角度上对数据进行分析。因此， 正确地认识独立型数据集市与数据仓库之间的关系、选择数据仓库与独立型数据 集市创建方案、在企业的视图下创建独立型数据集市、有效地应用独立型数据集 沈阳航空工业学院硕士学位论文 市创建的技术是企业能否在激烈的竞争中快速成功实施决策的关键。 1 2 创建独立型数据集市的必要性 数据仓库的工作范围、成本及时间消耗是限制数据仓库发展的主要原因。在 数据仓库中，信息技术部门必须针对所有的用户，并以整个企业的眼光对待任何 一次决策分析，这样就形成了代价高、时间长的大项目。因此，创建独立型数据 集市很自然的成为最快满足终端用户进行分析处理的最佳解决方案，目前，对数 据仓库总投资的一半以上都集中在数据集市上【4 l 。独立型数据集市与数据仓库和 其它的商业智能产品相比主要具有以下特点： ( 1 ) 数据可定制 拥有数据集市的部门可以在数据流入数据集市时定制数据，且数据集市中的 数据不必服务于整个公司，各部门可以概括、分类、选择和构造属于自己的数据。 ( 2 ) 查询的效率商 与数据仓库中相比，部门可以在少量历史数据的基础上创建更加利于查询分 析的多维模型，从丽减少查询访问时的负担，提高了查询的效率。 ( 3 ) 分析具有独立性 各个部门可以按其需要做任何决策支持处理且不需要考虑对其它部门资源 利用的影响；各个部门也可以选择所希望的分析软件，在储存数据集市的处理器 级别上创建并使用任意的分析软件。 ( 4 ) 存储代价低 在数据集市上处理和存储数据的代价要远远少于在数据仓库上处理和存储 数据的代价，并且创建和维护数据集市的费用也要远远小于创建和维护数据仓库 的费用。 ( 5 ) 创建周期短、投入资金少 由于每一个独立型的数据集市只针对部门或工作组级的应用，无论在数据量 还是技术实现的复杂度上都要远远小于数据仓库，因此，创建独立型数据集市的 周期和投入的资金量要远远小于数据仓库。 综上所述，独立型数据集市是大多数企业快速实现企业辅助决策分析的最佳 解决方案。 沈阳航空工业学院硕士学位论文 1 3 数据集市技术的发展过程及研究现状 作为数据仓库技术体系一个重要的组成部分，数据集市技术随着数据仓库技 术的发展而日趋成熟。早期的数据集市有效地解决了数据仓库资源的竞争，此时， 数据集市中的数据来源于e d w ( e n t e r p r i s ed a t a w a r e h o u s e ，企业级数据仓库) ， 数据集市相当于一个部门级的小型数据仓库，数据集市的创建、维护、数据模型， 以及o l a p ( o n - l i n e a n a l y t i c a lp r o c e s s i n g ，联机分析处理) 都依赖于e d w 。然 而计算机及数据仓库技术的不成熟制约了e d w 的发展，大多数企业不能接受 e d w 建设周期长、投入资金大、技术实现复杂等特点，转而寻求不依赖于数据 仓库而存在的独立型数据集市作为企业实现辅助决策支持的解决方案。 独立型的数据集市的数据来源于o l t pd b 、外部文档及遗留系统，企业可 就最急需解决的决策分析问题建立独立型的数据集市。独立型数据集市创建周期 短、实现技术相对容易、投入资金少，可以使企业尽快得到决策分析的辅助支持， 于是存在一种错误的看法：数据集市是数据仓库的一种廉价替代晶，独立型数据 集市的联合就是企业级的数据仓库。这种错误的看法使得二十世纪九十年代至今 产生的大部分数据仓库都是“部门级”的彼此孤立的独立型数据集市。这种替代 数据仓库、依据部门级的需要而建的孤立的独立型数据集市虽然满足了生成报告 和进行分析的战术性需求，但是并不能生成贯穿整个业务领域的企业级战略性决 策，带来的后果是各数据集市的数据不一致性使得企业很难站在全局的角度上对 数据进行分析处理，从而产生了大量的数据孤岛。 在数据库技术当前及未来的发展里程中，数据仓库、数据集市，以及基于此 技术的商业智能无疑将是大势所趋。据m c t ag r o u p 统计，企业数据仓库和商业 智能市场已达到4 0 亿美元规模，并有望在2 0 0 8 年底增长至1 0 0 亿美元。2 0 0 5 年在数据仓库市场上的投资进一步加大，同时有越来越多的中小企业开始进入数 据仓库和数据集市的用户群，从而带来了许多新的增长点。未来数据集市的发展 趋势将是： ( 1 ) 功能的多样化 未来的发展中，面向部门级的应用不再是创建数据集市的唯一原因，随着创 建数据集市技术的进一步发展，数据集市将更多地以功能进行划分。 ( 2 ) 智能型的数据集市 沈阳航空上业学院硕士学位论文 数据集市在用o l a p 进行多维分析时，常常是根据用户的需要来设计数据 模型，在此基础上进行o l a f 分析，用来解答一些特定的问题。未来的数据集 市将可以根据以往的o l a p 结果，自动发现数据集市中数据存在的一些问题。 ( 3 ) o h 气p 的多样性。 随着数据集市技术的发展，o l a f 将不仅仅可以分析文本、数据，还应该把 声音、图表、图像等软数据包含进来。 1 4 背景课题 本论文所研究的内容和相关技术在“沈阳市特种设备监督检验决策支持系 统”中得到应用。“沈阳市特种设备监督检验决策支持系统”是以沈阳市特种设 备监督检验所的“特种设备安全监督检验综合管理信息系统”为基础，融合了沈 阳市特种设备监督检验所各科室的信息，针对监督检验的各个环节分析而建立的 决策支持系统。 “沈阳市特种设备监督检验决策支持系统”的建立基于以下背景：拥有“特 种设备安全监督检验综合管理信息系统”的沈阳市特种设备监督检验所的信息化 建设初见成效，并且积累了相当数量的数据；同时，沈阳市特种设备监督检验所 的上级单位沈阳市技术监督局特种设备安全监察处已建立了对全沈阳市特 种设备进行监察的“沈阳市特种设备安全检验与质量监督综合管理系统”。在这 种情况下，如何充分利用这些信息优化业务流程、支持决策分析、最终建立行业 知识库是为沈阳市特种设备监督检验所建立数据集市，从而进行决策支持分析的 首要原因。除此之外，为沈阳市特种设备监督检验所建立数据集市的同时要兼顾 未来为沈阳市技术监督局特种设备安全监察处建立全局的数据仓库的需要，因 此，建立具有可扩展性的数据集市也是本课题重点的研究内容。 “沈阳市特种设备监督检验决策支持系统”的原型系统建立将重点解决以下 问题： ( 1 ) 通过对沈阳市特种设备检验情况分析，决定对特种设备检验的派工分配； ( 2 ) 通过对沈阳市特种设备检验收费情况的分析来判定每一阶段检验收费的 执行情况。 由于数据集市是按照循环往复的方法进行设计，因此，与o l t p 系统的设计 过程不同，沈阳市特种设备监督检验决策支持系统将提供给沈阳特检所一个平 沈阳航空工业学院硕士学位论文 台，在此基础上，用户可根据此平台逐步提出更加成熟的决策分析需求。 1 5 论文主要的研究的内容及组织结构 基于我国的信息化建设情况以及大多数企业实际生产的需要，并以“沈阳市 特种设备监督检验决镶支持系统”为背景课题，本文针对数据集市的体系结构、 维度建模的方法及关键技术、独立型数据集市数据转换模型及数据转换策略、独 立型数据集市o l a p 实现等独立型数据集市中的几个关键问题进行了深入细致 地研究，针对具体问题提出了相关的解决策略和技术，并将这些技术用于“特种 设备监督检验决策支持系统”中。 本文首先介绍了数据集市的基本概念，对数据集市的基本定义、特点及类型 做详细的研究，在此基础上重点探讨数据仓库与数据库、数据集市与数据仓库、 数据集市与o d s 之间的区别和联系；详细论述了数据集市的理论体系结构及创 建数据集市的关键技术和基本过程。 其次，本文详细论述了数据集市创建的关键技术之维度模型的创建。 在比较了维度模型和e - r 模型的差别之后，本文详细介绍了维度模型的维表、 事实表等基本概念及维度模型的基本结构星型模型、雪花模型。在讨论了多 维模型创建的一些关键技术和注意事项以后，本文依据背景课题，绘出沈阳市特 种设备监督检验决策支持系统的维度模型。 对数据集市而言，多种类型的数据源及维度模型的创建决定了数据转换是 e t i ( e x t r a c tt r a n s f o r ma n dl o a d ，抽取、转换和装载、过程中较为重要的一环，它 是用户能否从数据集市中得到高质量信息的前提和保证。因此，本文在对数据转 换技术进行分析研究的基础上，针对独立型数据集市的特点提出了基于维度的数 据转换模型，详细讨论了基于维度模型的独立型数据集市数据转换的内容及数据 转换技术。在建立了完整的数据转换模型之后，本文就数据转换实现的策略进行 了分析和讨论，提出了一种台适的数据转换的策略，并在实际应用中得到了验证。 o l a p 是数据集市的重要组成部分，它关系到如何恰当地把数据展现给用 户，以利于用户更好的进行分析处理和辅助决策。本文在充分地讨论的o l a p 基本概念及实现策略以后，在第二章所建立的维度模型的基础上创建了一个数据 集市的原型系统一“沈阳市特种设备监督检验决策支持系统”，并以o l a p 工 具展示其分析结果。 沈阳航空工业学院硕士学位论文 第2 章数据集市概述 数据集市有很多其它的名称：报告数据库、部门d s s 数据库、o l a p 数据 库、多维数据库、轻度概括数据库。总之，一个数据集市就是一个部门的数据体， 它具有数据仓库构造基础。数据集市提供了一种信息系统结构，这种结构可以使 企业灵活地对数据进行访问，用多种方法对数据进行考察。不同的数据集市可以 分布在不同的物理平台上，也可以逻辑的分布于同一物理平台上。 2 1 数据集市的基本概念 2 1 1 数据集市的定义 关于数据集市( d a t am a r t s ) 有许多定义，如p qh u g h 和j w a t s o n 将数据 集市描述为一个商业部门或公司中的一个部门使用的小容量数据仓库。王珊认为 数据集市相当于部门级数据仓库，是一个小型的、面向部门的或工作组的数据仓 库1 2 。i b m 公司关于数据集市的定义为“支持一个特定的用户组进行决策支持的 面向主题的、集成的、随时间改变的数据集合” 3 1 。 定义2 1 ：数据集市c d m s , d a t am a r t s ) 。数据集市是一种更小、更集中的 数据结构形式，是从数据仓库中派生出更适应企业一个具体业务数据分析的一条 捷径，它是具有特定应用目标的数据仓库子集，主要针对某个具有战略意义的应 用或具体部门级的应用，它支持客户利用已有的数据获得重要的竞争优势或找到 进入新市场的解决方案【5 l 。 2 1 2 数据集市的特征 数据集市虽然被称为“部门级的数据仓库”，但数据集市自身具有许多不同 于数据仓库及其它商业智能系统的特点： ( 1 ) 面向特定应用 不同的数据集市可以按业务来组织，每一个数据集市可解决某一业务领域的 问题。如销售、财务、人力资源等，都可以根据具体的应用建立各自不同的数据 集市。 ( 2 ) 面向部门工作组 数据集市的用户往往是部门级的主管或分析员，所做的决策分析大多也是部 - 6 沈阳航空工业学院硕士学位论文 门业务的中期或长期的战略决策。 ( 3 ) 数据规模小 数据集市针对的是某一业务或者某一部门的数据，因此也就决定了与数据仓 库相比。数据的规模要相对小。 ( 4 ) 实现速度快 数据集市更关注在数据中构建复杂的业务规则来支持功能强大的分析，因 此，数据集市中的数据通常以适合用户查询的多维模型( 星型、雪花型) 进行组 织，数据量和数据组织形式都使得数据集市的查询速度要远远高于数据仓库。 ( 5 ) 投资小 创建数据集市需要两到三个月的时问，而创建一个企业级的数据仓库一般需 要超过一年的时间，并且，由于数据集市的存储数据量要远远小于数据仓库，因 此也就决定了创建数据集市的所需的资金量要远远小于数据仓库。 可扩展成d w 数据集市中的数据逻辑上是数据仓库的一个子集，并且也具有主题性、集成 性、时变性、非易失性等特点，因此，数据集市具备构造数据仓库的基础。 2 1 3 数据集市的类型 数据的来源及数据集市的功能都可以作为不同的分类标准，从而将数据集市 分为不同的类型。为了满足业务决策分析的需求，数据集市中的数据源可以是数 据仓库、o l t p 系统、外部文档以及历史遗留系统。 ( 1 ) 按照与数据仓库的关系可以将数据集市分成：独立型的数据集市 ( i n d e p e n d e n td a t am a r t s ) 和依赖型的数据集市( d e p e n d e n td a t am a r t s ) ，具体 定义如下( 见图2 1 ) ： 定义2 盘独立型数据集市( i n d e p e n d e n td a t am a r t s ) 。独立型数据集市的数 据来源于操作型环境，数据集市独立于企业级的数据仓库而存在，数据集市中存 储的是不仅有大量细粒度( f i n eg r a i n ) 的细节数据，而且还有按一定业务规则组 织聚集的导出数据和汇总数据。 定义2 3 l 依赖型数据集市( d e p e n d e n td a t am a r t s ) 。依赖型数据集市的数 据源是企业级的数据仓库( e d w ) ，此时数据集市就是企业级数据仓库的一个子 集，它主要面向部门级应用，拥有更多的汇总数据和导出数据，因而可在定程 沈阳航空工业学院硕士学位论文 度上缓解访问数据仓库的瓶颈。 ( a ) 独立型数据集市 依艘型数据集市 圈2 1 赣墅蠹据集市和依赣型赣据集市 l 。l g z lh 止弹出柚t 腑h m a r t a n d d e p e r d e n t d a t a m - i ( 2 ) 根据不同的分析要求又可以将数据集市分为o l a p 数据集市、探索型数 据集市、数据挖掘或统计型数据集市、定制分析型数据集市1 6 l 。 定义2 4 o l a p 数据集市( o l a pd a t am a r t s ) 。这些数据集市是为了使用 联机分析处理软件工具支持概括型多维分析。数据集市的设计可使用多维模型设 计技术，数据存储可采用多维数据管理系统( m dd b m s ) 进行管理。o l a p 数 据集市可以很好地支持具有以下特点的多维分析：已知的、需求稳定的、需要合 理应时间的完全可预知的查询和重复性报表。 定义2 5 ：探索型数据集市( e x p l o r a t o r yd a t am a r t s ) 。探索型数据集市是对 数据仓库内数据进行探索提供对数据的探索或“即席式”的数据导航，当业务探 索者通过探索型数据集市发现有价值的信息后，可以通过建立另一种形式的数据 集市( 如_ 个o l a p 数据集市) 对业务分析进行形式化，以便使其他分析者可 以随时从中受益。标记、编码的向量及位图技术等新技术的采用已经大大地改进 了探索数据和快速而有效地建立一个原型系统的能力。 定义2 6 ：数据挖掘或统计型数据集市( d a t am i n i n go rs t a t i s t i c a ld a t a m a r t s ) 。数据挖掘或统计型数据集市是一种特殊的数据集市，它向研究人员或 分析员提供的功能是：在没有预先形成关于数据和事件之问联系的情况下挖掘出 这种联系。这种数据集市是人们对数据执行查询和应用挖掘及统计算法的安全 港，人们不用担心在做数据挖掘时损害了原有数据仓库中的数据。 定义2 7 ：可定制的分析型数据集市( c o n f i g u r a b l e a n a l y t i cd a t am a r t s ) 数 据集市内的数据是预先定制的，可满足公司或部门一般性应用或者某些特殊应 8 沈阳航空工业学院硕士学位论文 用。这种定制的方式可以使数据集市的用户快速地、有效地得到一些常用的查询 分析结果。 2 2 数据库、数据仓库、o d s 与数据集市 2 2 1 数据仓库的基本概念 数据仓库( d w ) 的概念诞生于2 0 世纪8 0 年代中期，人们逐渐尝试对d b 中的数据进行再加工以便形成一个综合的、露向分析的环境。w h i n m o n 在其 ( b u i l d i n g t h e d a t a w a r c h o u s c 一书中，比较系统地给出的关于数据仓库的定义： 定义2 8 ：数据仓库( d w d a t aw a r e h o u s e ) 。数据仓库是一个面向主题的、 集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策【1 1 。因此， 数据念库具有以下性质： 性质1 ：面向主题( s u b j e c to r i e n t e d ) 主题是一个抽象的概念，面向主题是数据仓库中数据组织的基本原则。从信 息管理的角度看，主题是在较高层次上将企业信息系统中的数据按照某一具体的 管理对象进行综合、归类并进行分析利用的对象【1 1 0 在逻辑意义上，它是对应企 业中某一宏观分析领域所涉及的分析对象。从数据组织的角度看，主题就是一些 数据集合，这些数据集合对分析对象进行了比较完整的、一致的数据描述，这种 描述不仅涉及数据自身，还涉及数据之间的联系。 数据仓库的创建、使用都是围绕着主题实现的。只有确定主题，才能确定主 题中包含的数据。主题具有必须是在较高层次上对数据的抽象，其数据组织必须 独立于数据的处理逻辑，并且可以在这种数据环境e 方便地开发新的分析型应 用。 性质2 ：集成性( i n t e g r a t e d ) 数据仓库的集成性是指根据决策分析的要求，将分散于各处的源数据进行抽 取、筛选、清理、综合等集成工作，使数据仓库中的数据具有集成性f 。数据仓 库所需要的数据是从与业务处理发生直接联系的业务处理系统那里获取，如，传 统的以客户机，服务器为基本框架的在线事务处理系统( o l t p ) 、从早期事务处 理系统发展起来的企业业务流程重组( b p r ) 以及基于因特网的电子商务( e c ) 。 集成是需要将多个数据源中抽取的数据按照某一标准进行统一，然后将数据加载 到数据仓库中，再根据决策分析的需要对这些数据进行概括和聚集处理。 沈阳航空工业学院硕士学位论文 性质3 ：非易失性( n o n - v o l a t i l e ) 数据的非易失性是指数据仓库中的数据不经常进行更新处理，与o l t p 等事 务处理数据库不同，数据仓库中数据大多表示过去某一时刻的历史数据，不需要 经常进行修改、添加等操作1 1 1 。数据仓库中的数据主要用于查询，具有非易失性 的数据可以支持不同的用户在不同的时间查询相同的问题时，获得相同的结果。 性质奎时变性( t i m ev a r i a n t ) 数据仓库的时变性，就是数据应该随着时间的推移而发生变化。数据仓库的 时变性主要体现在三个方面：增加数据、转储数据、概括数据。增加数据是指数 据仓库必须能不断地捕捉到业务系统中的变化数据，将那些变化的数据追加到数 据仓库中去。数据仓库中的数据可以长期保留，但是在数据仓库中的数据存储期 限还是有限的，超过限期的数据仓库中的数据需要转储到其它的存储介质上，避 免数据仓库中的数据太多而影响查询速度和效果。概括数据是与时阆有关的，概 括数据需要按照时间进行综合，按照时间进行抽取。因此，在数据仓库中的概括 数据必须随着时间的变化而重新进行概括处理。 2 2 2 数据库与数据集市 数据库专注于对当前事务的处理，而数据集市则是需要对已有的数据进行分 析，功能的不同造成了虽然数据集市是以数据库为基础发展而来，但是两者之间 存在相当大的差异( 如表2 1 ) 袭2 1 数据库与数据集市之间的差剐 1 i 山2 - 1d l 越e r e n e e sh j t 黼d a t a b a s ea n dd a t am a r t s 数据库数据集市 数据内容当前值历史的、存档的、归纳的、计算的数据 数据目标面向业务操作程序，重复处理分析应用 敷据特性动态变化，按字段更新静态，不能直接更新，只能定时添加、 刷新 数据结构高度结构化、复杂、适合操作多维结构，适合分析 计算 使用频率高中判低 数据访问量每个事务访问少量记录需耍访问一定餐的历史记录 响应时间以秒为单位计算以秒、分钟、甚至小时为单位计算 从数据存储内容上看，数据只存放当前值，而数据集市则存放历史值；数据 1 0 姿堕堕窒王些堂堕堡主堂丝笙塞 库中数据的目标是面向业务操作人员的，为业务处理人员提供信息处理的支持， 而数据集市则是面向中、高层管理人员的，为其提供决策支持；数据库内数据是 动态变化的，只要有业务发生，数据就会被更新，而数据集市则是静态的历史数 据，只能定期的添加、刷新。数据库中的数据结构比较复杂，有各种结构以适合 业务处理系统的需要，而数据集市中数据的结构则较为简单；数据库中数据的访 问频率高，但是访问数据的量少，而数据集市的访问频率低，但是访问数据量要 远高于数据库的访问量；数据库在访问数据要求响应速度很快，其响应时间一般 要求在数据秒以内，而数据集市的响应时间则可长达数据小时。 2 2 3 数据集市与数据仓库 i l l n l o i l 于1 9 9 8 年在一个著名商贸杂志上说：“今年r r 经理们面对的最重要 的问题就是到底先建立数据仓库还是先建立数据集市。”这一论述就是今天也非 常正确。数据集市与数据仓库有着千丝万缕的联系，按照与数据仓库的关系，数 据集市可以分成：依赖型数据集市和独立型的数据集市。依赖型数据集市常常作 为缓解企业数据仓库( e d w ) 查询资源竞争的一个数据子集出现，而独立型的 数据集市由于商业的原因常常作为数据仓库廉价替代品。由于对数据集市和数据 仓库没有一个很正确的认识，容易造成创建大量的孤立的独立型数据集市而产生 大量的数据孤岛。 数据集市与数据仓库一同发展而来，它是设计用来满足部门需求的数据集 合，但由于各部门的目标差别很大，因此需要不同的数据集合来实现，这也是为 什么企业内各部门拥有结构和特征都不同的数据集市的原因。而数据仓库则是设 计用来满足整个企业综合需求的模式一致的数据集合。一个设计方案不可能对特 定部门和企业均是最优的方案，因而针对企业的设计和针对部门的设计通常存在 很大差别，一个数据集市不可能增长到一定程度后直接转换成数据仓库。总之， 不论从结构还是存储的数据量，数据仓库和数据集市都存在显著的差别f 参见表 2 2 、。 表2 2 数据仓库与数据集市之间的差别 m 由2 2 溉n n c 铭b e t w _ q n ld i d aw a r e h o u s ea n dd a t am a r t s 数据仓库独立型数据集市依赣型数据集市 遗留系统、o l t p 系统、外部遗留系统、o l t p 系数据仓库 数据来源数据 统、外部数据 沈阳航空工业学院硕士学位论文 范围企业级部门级或工作组级部门级或工作组级 企业主题部门或特殊的分析部门或特殊的分析主题 主曩主题 数据粒度最细的粒度各种粒度较粗的粒度 敷据结构规范化结构( 满足第三范式)维度模型维度模型 历史数据海敛的历史数据大量的历史数据适度的历史数据 处理海量数据，便于访问和分析，便于访阔和分析， 优化可进行数据探索适于快速奁询适于快速查询 数据集市与数据仓库之间的主要区别有： ( 1 ) 服务对象不同 数据集市主要用于支持某个部门的决策支持，而数据仓库的目标是用于满足 整个企业的综合需求。自然，数据集市的用户范围比数据仓库的用户范围小得多。 ( 2 ) 敷据集市的设计与数据仓库的设计具有显著的区别 数据集市的设计通常采用多维技术，如星型结构，并且所采用的优化技术主 要是为了提高分析的灵活性和效率，而不是针对大数据量。数据仓库通常采用规 范化的结构进行设计，并且该结构主要是反映整个企业的数据需求，是考虑大数 据薰而选择优化技术，数据仓库中只使用少量的索引。 ( 3 ) 数据集市中的历史数据信息量比数据仓库少很多 数据集市中的数据只是与特定部门有关的数据，而数据仓库中存储整个企业 的决策分析所需要的数据，而且时间范围般为5 - 1 0 年。 ( 4 ) 数据集市与数据仓库中数据的详细程度也完全不同 数据集市中包含有许多概括和汇总数据，而数据仓库中则包含有大量的详细 数据和少量的汇总数据。 ( 5 ) 数据集市中的主题比数据仓库中的主题的涵盏范围小 数据仓库的主题域涵盖整个企业的分析主题，结构通常采用规范的第三范 式，具有多个主题领域，而数据集市只是涵盖一个部门的分析主题，结构通常采 用多维模型来支持更好的分析处理。 旧数据集市中的查询类型与数据仓库中的查询类型差别很大 数据集市中的用户查询是具有明确的可预知需求的查询。而数据仓库中的查 询带有探索行为，或者是涉及整个企业的报表或分析。 1 2 - 沈阳航空工业学院硕士学位论文 2 2 4 数据集市与o d s 定义2 9 - 操作型数据仓( o p e r a t i o n a ld a t as t o r e ，o d s ) 1 6 1 。操作型数据仓是 一种面向主题的、集成的、当前的、易失的数据集合，用于企业的操作和战术性 决策处理。它是用于业务管理的数据集成的中心点，提供企业数据的公芡视图。 由于数据集市和o d s 都是针对中层管理进行决策辅助支持，因此，本文有 必要对数据集市和o d s 之间作以比较，具体内容如表2 3 。 袁2 3 数据集市、o d s 与数据仓岸之间的差别 数据集市 o d s 数据仓库 设计目标部门或工作组级的决策中层辅助决策高层决策支持 处理类型面向分析，中层或部门级日常管理和控制的决 面向分析，高层决策支持 的决策支持分析策，事务处理与决策分析 分析并存 主要功能中期或长期的o l a p 分析企业级的o l t p 和即o l a p ( 长期趋势分析) 时o l a p 需求特征基于部门、工作组级或特基于全局应用和中层基于决策分析和主题 殊的应用决策的主题 内容 适量的历史数据 当前或接近当前的数 海量的历史数据 据 稳定性非易失性较稳定，允许更新非易失性 更新周期 一般2 4 小时数小时内( 小于2 4 小一般2 4 小时 时) 综合性少量细节数据、大鼍的概 细节数据大量细节数据、大量的概 要和累加要和累加 o l t p 和即时o l a p ，二是向数据仓库提供一致的数据环境以供抽取。因此，o d s 和数据集市所处的层次不同，o d s 往往作为数据仓库的数据源，而数据集市的 数据源可以是数据库、o d s 或数据仓库；数据集市是做部门级的中长期战术性 的决策分析，而o d s 常常是在全局的基础上做一些即时性的o l a p 分析；数据 集市中的数据大多是一些汇总或者聚集的数据以便于查询分析，而o d s 中包含 是细节性的数据以便于转储到数据仓库。 1 3 沈阳航空工业学院硕士学位论文 2 2 5 关于数据仓库、数据集市的争论 在过去的十几年中，r a l p hk i m b a l l 和w h 1 l l m o n 致力于数据仓库的相关理 论体系的研究并且将其应用到商业智能领域，开发并测试了新的技术和体系结 构。k i m b a l l 的基于维度模型创建数据仓库和i n m o n 的基于实体一关系( e r ) 模 型创建数据仓库是当前创建数据仓库的两种主流理论( 见图2 2 ) 。虽然两入在将 智能分析从o l t p 系统剥离从而建立数据仓库的观念上是一致的，然而，对数据 仓库理论研究的分歧以及由此产生的技术实现手段的不同造成了对数据仓库、数 据集市的争论。 下面针对两种理论进行讨论： ( 1 ) 数据仓库的不同定义 i n m o n 将数据仓库定义为“一个面向主题的、集成的、璇时间变化的、非 易变的用于支持管理和决策过程的数据集合”【”。1 1 3 1 n o n 定义的数据仓库数据围 绕主题进行组织且一个数据仓库中包含多个主题，数据集市包含部门级的主题且 依赖于数据仓库而存在，i n m o n 认为这个集中式的体系结构持续下去将提供更强 的一致性和灵活性，并且从长远来看将真正节省资源和工作。 k i m b a l l 的数据仓库理论强调面向整个企业级别的业务流程主题，例如定单 系统、支付系统，每个系统构成独自的数据集市。他认为“可以通过一系列维数 相同的数据集市递增地构建