（计算机应用技术专业论文）多维数据模型及多维计算研究.pdf

硕士学位论文 摘要 摘要 数据仓库为决策支持系统提供数据支持，联机分析处理对数据仓 库中的数据进行多维分析。数据模型是数据仓库研究中的核心内容， 当前所提出的一些模型都是针对特定领域的，不能有效地表示电力负 荷预测数据，相应地也就不能在这些模型基础上对数据进行有效的聚 集计算。为了解决上述问题，本论文深入地研究了数据仓库的数据模 型以及多维计算。 本文提出了一种综合的多维数据模型，并在此基础上定义了层次 聚集、对称处理等数据立方体操作。该模型能对电力负荷数据的复杂 结构进行有效的表示，除了满足一般的聚集操作如上卷、下钻外，还 具有以下几个特点：共享同一底层数据；间接的r d l l u p 操作：维和 度量之间的转换。 多维计算是联机分析处理的核心，计算方案的性能主要取决于两 方面：一是聚集速度，二是精度。本文基于线性表示法提出了一种多 维计算方案。该方案能对数据进行快速的聚集，在时间、空间等性能 上比以往的方案都有较大的提高，实验表明，该方案能有效地减小误 差。 论文最后对全文进行了总结，并对多维数据模型及多维计算的研 究方向进行了展望。 关键词联机分析处理，数据仓库，多维数据模型，多维计算 弋跚。l = ：) j 硕十学位论文 a b s t r a c t a b s t r a c t d a t aw a r e h o u s eo f 瓷r sd a t at od e c i s i o ns u p p o r ts y s t e m 0 n l i n e a n a l y t i c a lp r o c e s s i n g c a n a n a l y z e m u l t i d i m e n s i o n a ld a t ao fd a t a w a r e h o u s e d a t am o d e li st 1 1 ec o r eo fd a t aw a r e h o u s er e s e a r c h b mt h e m o d e l sp r e s e n t e dc u r r e m l yc a n t e x p r e s sm ec o m p l e xd a t as 廿u c t u r eo f e l e c t r i cp o w e r l o a d ，t h e r e f o r e ，w ec a n ta s s e m b l ed a t a _ s t r e a m sb a s e do n m e s em o d e l s 1 no r d e rt os o l v et h e s ep r o b l e m s ，t h ed i s s e r t a t i o ns t u d i e s d a t am o d e lo fd a t aw 盯e h o u s ea n dm u l t i d i m e n s i o n a l c o m p u t a t i o n i n d e t a i l t h ed i s s e r t a t i o np r e s e m sa ni n t e 黜dm u l t i d i m e n s i o n a ld a t am o d e l a n dd e f i n e ss e v e r a ld a t a - c u b eo p e r a t i o n sb a s e do nt h em o d e l t h em o d e l c a ne x p r e s st h ec o m p l e xd a t as t m c t u r eo fe l e c t r i cp o w e rl o a de 所c i e n t l y b e s i d e s o 丘b r i n gg e n e r a la g g r e g a t i o no p e r a t i o n s ，s u c h a s r o l l u p a i l d d r i l l - d o w n m em o d e lh a sa l s os e v e r a lc h a r a c t e r i s t i c s1 i s t e db e l o w ： d i 髓r e n td i m e n s i o n s s h a r i n go n eb o 怕ml e v e ld a t a ；o 髋r i n gi n d i r e c t r o l l u po p e m t i o n ；h a v i n g t r a n s f o r m a t i o no fd i m e n s i o n sa n dm e a s u r e s m u l t i d i m e n s i o n a lc o m d u t a t i o ni st h ec o r eo ft 1 1 eo n l i n ea n a l v t i c a l p r o c e s s i n g ，a j l dp e r f o m a n c eo f m e c o l p u t a t i o np r o j e c tm a i n l yd 印e n d s o nt w o a s p e c t s ： t h ef i r s to n ei s a g g r e g a t i o nt i m e ； t l l es e c o n di s c o m p u t a t i o np r e c i s i o n t h i sd i s s e n a t i o np u t sf o m a r d am u m d j l n e n s i o n a l c o m p u t a t i o np r o j e c t b a s e do nt h e1 i n e a re x p r e s s i o n so fd a t a s t r e a m s t h i s p r o j e c t c a l l p r o v i d e f a s t a g g r e g a t i o n o fd a t a s t r e 锄s ，w i t hb e 他r p e r f o m l a n c ei nc o m p u t a t i o n t i m ea n d s t o r a g es p a c e t h a nm a to f p r e v i o u s p r o j e c t s e x p e r i m e n ts h o w s t h es c h e m ec a nr e d u c ee r r o r s i nt h ee n d ，r e s e a r c hr e s u l t so ft h ed i s s e r t a t i o na r es u m m a r i z e d ，a r e r t h a t s o m eo r i e n t a t i o n so fm u l t i d i m e n s i o n a ld a t a m o d e la n d f n u l t i d i m e n s i o n a lc o m p u t a t i o nf o r 血r 山e rr e s e a r c ha r ea l s op r o v i d e d k e yw o r d s0 n l i n e a n a l y t i c a lp r o c e s s i n g ， d a t a w a r e h o u s e ， m u l t i d i m e n s i o n a ld a t am o d e l ，m u l t i d i m e n s i o n a lc o m p u t a t i o n - i i - 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学 位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在在沦 文中作了明确的说明。 作者签名：查堑整 日期：至：咝一年土月旦日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：弛导师签名：墨塑竺理日期：巡年旦月鲨日 硕士学位论文 第一章绪论 1 1 课题研究背景与意义 第一章绪论 随着国民经济的发展和人们生活水平的提高，电力在人们的生活中发挥着 越来越重要的作用，已经深入到了我们日常生活的每一个角落，如何合理地选 用电力负荷预测、控制系统，将有限的电力资源在生产与人们的日常生活之间 合理地进行分配，实现社会效益与经济效益的最大化，已经成为各级电力调度 部门需要考虑的一个重要课题。 电力负荷预测是指根据历史负荷值，在考虑一些重要的系统运行特性、增 容决策、自然条件、社会条件和地区经济发展状况等重要因素的基础上，利用 一套能系统地处理过去与未来负荷的数学方法，在满足一定精度的情况下，确 定未来某特定时刻的负荷值。 电力负荷预测是电力系统各种安全技术措施的重要组成部分，对电力系统 的安全、经济、稳定运行有着非常重要的作用。在全面建设社会主义市场经济 的今天，面临着电力市场改革，准确的负荷预测能够合理地安排机组运行容量， 提高机组的利用率，减少不必要的旋转备用容量，降低能源损耗，保证电能质 量，从而有效地降低发电成本并提高经济效益和社会效益，而且这也是电力行 业c i m s 工程的基础和不可缺少的技术和设备。此外，从发展来看，负荷预测也 决定未来新建发电机组的安装，决定装机容量的大小和地点，决定电网的建设 和改造，是我国实现电力市场化的必备条件，具有重要的理论意义和实用价值。 同时，随着我国社会主义市场经济体制的不断完善和电力工业管理体制改 革的不断深化，国家电力公司及其各省级电力公司作为电力市场的主体，其一 切经营活动除了服务于工农业生产外，还要以经济效益为中心，因此各级电力 公司也需要走向市场，立足电力市场，充分了解市场需求，发掘市场潜力，深 入研究电力市场的供需形势状况及其发展变化趋势，狠抓生产过程中的每一个 环节，使得在整个电力生产、经营过程中，成本最低，损失最小。以此为基础 制定公司的发展战略，指导公司的经营活动。其中最重要的一环就是要制定详 细的发电计划，制订的计划周期越短，与实际电力市场需求误差就越小，生产 成本也将越低。发电计划制订的主要依据就是电力市场的负荷预测，因此，电 硕+ 学位论文 第一章绪论 力负荷预测工作是电力公司经营和制定发展战略的基础，是准确把握市场脉搏， 分析未来电力需求走势的必要工具。 电力负荷预测工作的水平已经成为衡量一个电力企业的管理是否走向现代 化、科学化的显著标志之一。近年来，我国电力负荷预测研究工作取得了很大 的进展。尽管如此，与我国快速发展的电力市场、不断产生和出现的电力需求 及电力需求特点相比，嗣前的电力负荷预测研究工作还远远不够，这其中一个 重要的方面就是对数据的合理表示及有效聚集方面研究的还不够。为了能将有 限的电力发挥更大的作用，就需要通过联机分析处理、数据挖掘对大量的数据 进行分析，发现重要的数据模式，建立专门的知识库 2 】，为预测决策提供更加科 学、全面、有效的支持。 1 2 课题研究的现状 在一定的规划期内，电力系统的负荷水平决定了电力系统发展的规模与速 度，因此，负荷预测的结果在一定程度上决定了未来规划期内电力系统的发展 和电力系统的各种调度方案。为了更好地为国民经济服务，让有限的资源发挥 其最大的效用，长期以来，国内外的许多研究人员对电力负荷预测提出了各种 各样的模型和方法，有经典的单耗法、弹性系数法、时间序列法、统计分析法， 到目前的专家系统预测法、灰色预测法、神经网络法、模糊神经网络法、优选 组合法等。这些方法基本上可分为两类：基于参数模型的方法和基于非参数模 型的方法。基于参数模型的方法是基于某一特定的数学模型或统计模型，诸如 线性回归模型、自回归平滑移动模型等；基于非参数模型的方法主要有专家系 统、灰色系统、模糊逻辑、神经网络、遗传算法等。这些方法在实际的预测系 统中逐步得到了应用，取得了较好的预测效果。 9 0 年代以来，以w l i n m o n 等为代表的一批学者提出了以数据仓库为基础， 使用多维分析技术，对数据进行多层次分析的方法，辅助决策者实现从数据到 信息、信息到经验、经验到知识的认知过程，透过数据的表象，掌握事物内在 的本质和规律，从而指导科学决策。 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，用以 支持经营管理中的决策制订过程。它的数据可以从联机的事务处理系统、异构 的外部数据源、脱机的历史业务数据中得到。但这些数据是以不同的颗粒大小、 不同的格式进行存储的，如何将这些数据量大、结构复杂的数据以合适的数据 模型进行表示，并进而方便、快速、准确地为0 l a p 操作提供各种颗粒大小、 2 硕士学位论文 第一章绪论 层次结构的综合数据，就成了当前数据仓库领域研究的关键技术。 当前，对于多维数据模型还没有统一的定义，不同的厂商和人员通常都是 从本行业的实际需要出发，提出了一些具体的数据模型，这些模型往往不具有 通用性。为了能有效地表示电力负荷数据仓库中这些具有复杂层次结构的历史 数据，为联机分析处理、预测、决策提供各种层次的综合数据，提高系统的响 应速度，本论文提出了一种综合的多维概念模型；同时为了能对这些海量的数 据快速、方便地进行聚集，提出了一套多维计算方案。 l _ 3 本论文的研究目标与结构 本论文的主要研究目标：在前人研究的基础上，全面分析电力负荷数据仓库 体系结构特点，并重点展开对数据的概念模型表示及多维计算方案的研究，本 学位论文的具体结构如下： 第二章全面介绍了电力负荷数据仓库的体系结构。数据仓库和联机分析处理 是当前数据库技术领域的研究重点和热点，我们主要介绍了电力负荷数据仓库 的体系结构，并对该体系结构中的几个重要问题一多维数据的模型表示及联机 分析处理进行了洋细的讨论。这一章所做的工作为后续章节的深入探讨提供了 方向。 第三章对数据仓库中的多维概念模型进行研究。多维数据模型是数据仓库技 术的核心，然而，到目前为止，多维数据模型还缺乏相应的形式化理论，其功 能和操作通常都是以非形式的方法描述的，不同的人员对相同的用语往往赋予 不同的含义，这就妨碍了数据仓库技术的深入应用，随着数据仓库技术的迅速 发展，如何形式化地描述数据仓库及其数据结构，就成了一个重要的研究方向。 在第三章中，我们首先简要介绍了当前存在的几种主要的数搌模型，并对其优 缺点进行了分析；接下来，在深入分析了负荷数据集的特点及系统对数据操作 的要求后，提出了一种综合的多维概念模型。 第四章是关于多维计算的研究。数据仓库和联机分析处理是决策支持系统 的一个重要组成部分，联机分析处理是建立在多维数据模型基础上的类软件 技术，而多维计算是联机分析处理的核心内容。当前对多维计算的研究主要集 中在细节方面，而对于宏观趋势方面的研究则较少，第四章则从这方面出发， 从速度与精度两方面对多维计算进行了研究，并提出了两种多维计算方案。 第五章是结论与展望。论文最后在第五章对全文所开展的研究工作进行了总 结，并指明了未来的研究方向。 3 硕士学位论文 第一章数据仓库及联机分析处理 2 】引言 第二章数据仓库及联机分析处理 数据仓库和联机分析处理是决策支持系统的重要组成部分，为了给预测、 决策提供有效的支持，就需要根据数据的特点，建立起一种合理的数据仓库环 境，并在此基础上进行各种聚集操作，为系统提供各种综合的数据信息。 在本章中，我们首先介绍了数据仓库的起源、现状，并对当前数据仓库的 体系结构及数据的存储方式作了一些简单介绍，为后续章节对数据的概念模型 的研究作出了铺垫：同时，联机分析处理是建立在数据仓库基础之上的能为决 策支持系统提供综合数据的重要环节，而多维计算是联机分析处理中的重要内 容，后半部分介绍了联机分析处理及其研究重点多维计算。 2 2 数据仓库 2 2 1 数据仓库起源及现状 传统的数据库系统是基于面向业务操作设计的，只是对指定的数据进行简 单的处理，并不能对这些数据所包含的内在信息进行提取。为了能够从大量的 数据中获取有意义的信息，就需要建立一种体系化的数据存储环境，将分析、 决策所需的大量数据从传统的操作环境中分离出来，使分散、不统一的操作数 据转换成集成、统一的信息，进而发展出制度化的决策系统。这样企业就需要 把已经广泛收集到的数据集成到数据仓库中，以从业务数据中提取出有用的信 息，帮助他们在业务管理和发展上做出及时正确的判断。数据仓库技术就是在 这样的环境下应运而生，成为信息技术领域非常热门的研究方向之一【3 j 。 经过多年的数据库应用，金融、保险、电信、电力系统等传统数据密集型 企业积累了大量的数据，为了有效地利用各种数据信息，各个企业都建立了自 己的决策支持系统【4 】。数据仓库除了在传统的金融、保险、电信等行业中的应用 外，在零售业的发展前景也很好。 对数据仓库的研究目前主要集中在以下几个方面：数据仓库的概念模型【5 】、 数据立方体模型、实视图的维护更新【6 】、联机分析处理中的数据聚集操作及导航 一4 硕士学位论文第一二章数据仓库及联机分析处理 策略研究【7 1 、数据挖掘及运行模式等方面。 2 2 2 数据仓库的特点 2 0 世纪8 0 年代中期，“数据仓库”一词首先出现在号称“数据仓库之父” w i l i i a i lh m m o n 的“建立数据仓库”一书中。数据仓库从来没有“一个公认，而 且被标准化的定义。不过随着人们对大型数据系统的研究、管理与维护等方面 认识的不断加深与完善，对于数据仓库的如下几个特点基本达成了共识： 1 面向主题 主题是一个抽象的概念，是在较高层次上将企业信息系统中的数据综合、归 并后进行分析利用。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及 的分析对象，是针对某一决策问题而设置的。面向主题的数据组织方式，就是 在较高层次上对分析对象数据的一个完整、统一并一致的描述，能完整并统 地刻画各个分析对象所涉及的有关企业的各项数据，以及数据之间的联系。 2 集成的数据 数据仓库中存储的数据从原来分散的各个子系统中提取出来，但并不是原有 数据的简单拷贝，而是经过统一并综合。 ( 1 ) 数据仓库的数据不能直接从原有数据库系统中得到。在进入数据仓库之 前必须经过综合、计算，删除分析处理不需要的数据项，增加一些可能涉及的 外部数据。 ( 2 ) 数据仓库每一个主题所对应的源数据在原分散数据库中有许多重复或不 一致之处，必须将这些数据转换成全局统一的定义，消除不一致或错误之处， 以保证数据的质量。 3 数据不可更新 从数据的使用方式上看，数据仓库的数据不可更新。数据保存到数据仓库中 后，最终用户只能通过分析工具进行查询和分析，而不能修改。 从数据的内容上看，数据仓库中存储的是企业当前和历史的数据，在一定时 间间隔以后，当前数据需要按一定的方法转换成历史数据。年代久远且查询率 低的数据需要从数据仓库中删除。因此可以说数据仓库在定时间内是稳定的。 4 数据随时问不断变化 数据仓库中数据的不可更新是针对应用而言，即用户分析处理的是不可更新 的数据。但不是说，数据从进入数据仓库以后就永远不变，这些数据随时间变 化而定期更新。每隔一定的时间间隔后，抽取运行数据库系统中产生的数据， 硕士学位论文第二章数据仓库及联机分析处理 转换后集成到数据仓库中。随着时间的变化，数据被不断地综合，以适应趋势 分析的要求。 2 2 3 数据仓库的体系结构 数据仓库系统并非一个简单的由各种数据合并而成的超大型数据库，而是 一种专门为联机分析处理和决策支持系统提供数据源和决策工具的结构化数据 环境。 数据仓库系统由数据仓库、仓库管理和分析工具三部分组成，其结构形式 如图2 一l 所示： 关系数据库l _ 一 数据仓库 综合数据用户查询工具 管理工具 抽取、转换 c s 工具 装载 l 数据文件i 当前数据 i l 元数据库 o l a p 工具 0 ，称为维的域，d o m 是域( i i n ) ； ( 2 ) d = d l ，“ ，称为维标识集，d i 是d o m i 的标识( 1 i n ) ； ( 3 ) m d o m = 弧d o m i i n d o m 。，m o ，称为度量的域，m d o m i ( 1 i m ) 都是域； ( 4 ) m = f m l ，n ，n l m ，称为度量标识集，m 是m d o m 。的标识( 1 j m ) ； ( 5 ) f _ d o m m d o m 是d o m 到m d o m 上的部分映射，称为立方体的基； ( 6 ) a g g r 是m d o m 上的聚集函数。 然后定义了一套数据立方体操作代数：退化操作、选择函数，同构的数据 立方体的集合运算，如交、并、差、积、连接等操作。 李琪、白英彩在2 0 0 2 年提出了一种基于关系数据库的s q l ( d ) 的多维概念模 型i 引】，该模型的层次链、层次树、维的定义支持不平衡、异构的维层次结构， 并在此基础上对s q l 作了相应的扩充以支持维的定义、维层次比较、维的引用和 维聚集层次的指定，使得原先冗长、复杂的o l a p 查询表达式变得简洁、易于理 解。 总之，上述的复杂多维概念模型在明确表示维的层次结构、在同一维中表 示多个层次结构和维层次间的聚集语义三个方面都有不同程度的支持。随着研 究的深入，目前已有的多维概念模型表达能力越来越强，商业上也出现了一些 多维数据建模和查询语言的产品【j 2 j ，但是这些模型都是为解决特定的问题而提 出的，表达真实世界的能力有限。 3 4 负荷数据及多维概念模型的特点 电力负荷预测系统中的数据集，其基本形式如下所示：( 用户地区，时间， 用电负荷用电量) 。为了对电力负荷特性进行分析，要求数据仓库能提供每小时 - 1 9 一 硕士学位论文第三章数据仓库中的多维概念模l g 研究 记录一次的电力负荷数据。在对历史数据的分析巾我们发现，每小时记录一次 的用电负衙数据只在变电所和少数用电大户中存在，并且这种情况在现实生活 中还普遍存在。人们对一个庞大的系统进行观察和测量时，由于人力物力的局 限，只能在菜一集合层次上进行基本数据的观察和测量，不可能对系统每个最 基本的单元都进行最详尽的记录，如电力系统中对每个用户每小时的负荷值进 行记录，因此对较低层次的数据只能有目的地选择一些典型的对象进行，如电 力系统的各行业、各地区的典型用户，于是出现了某一层次的数据不是由低层 次的数据汇总得来而是直接记录得来的的情况。而乡镇和市区的日负荷曲线的 数据必须直接来自数据仓库外部，从而使该数据的基本数据存在于维的不同层 次上，这是本数据集的特点之一。 为支持对电力负荷数据从时间、地区、行业上进行o l a p 分析及数据挖掘， 该数据集合被组织成三个维：时间、地区、行业，个度量属性：用电负荷。 时间维由层次属性小时、日、周、月、季、年构成；地区维由层次属性用户、 乡镇市区、县市、地地级市构成；行业维由层次属性用户、行业、产业构成。 地区维和行业维共享一个层次属性“用户”，这是本数据集的第二个特点。 在预测决策的过程中，经常要对这样一些语句进行查询，如查询“在过去 的年罩，用电量达到2 0 0 万千瓦的地区有哪些”，对于这样的一些查询，传统 的o l a p 操作是很难回答的，或者是根本无能为力。因为用电量是度量，而地 区是维度，在我们一般的o l a p 操作中，都是根据维度的要求来对度量进行查 询，对上述的查询则很难回答。 为了描述一一般数据的细节层次关系，多维概念模型应能明确地表示维的层 次结构、支持维层次问的聚集等基本操作，对于这几种需求，以上介绍的几种 结构化模型都能较好地满足；但对于具有上述复杂层次关系的负荷数据集，则 不能很好地进行表示，为了完整地支持对具有上述特点的数据集进行分析查询， 本论文提出了一种多维概念模型，该模型除了能满足上述的几种基本操作需求 外，还具有以下几个特征：从一个底层数据出发，沿不同的维方向进行聚集操 作，从而得到不同的维及不同的层次数据集；支持“间接的r o l l 一u p ”操作；能 在维和度量属性之问方便地进行转换等。 3 5 综合多维概念模型 为了能对各种系统用户的行为进行分析，就有必要对底层的多维数据进行 形式化的描述，针对上述的数据集的特点，我们提出了一种综合多维数据模型。 2 0 一 硕十学位论文 第三奄数据仓库中的多维概念模型研究 为了描述的方便，先给出几个定义。 定义1 如集合l 上的二元关系r 是自反的、反对称的和传递的，则称r 为l 上的偏序，称序偶 为偏序集合， 为偏序关系。 定义2 对于一个有限集合s ，r 为s 上的偏序关系，e j s ，( 1 i n ，1 1 表示s 中元素的个数) ，设e n + l = a l l ，如果下列条件成立，则称 e 1 ，”，e i ，”，e n + 1 为集合s 的一个层次链。 ( 1 ) e 1 三至e i 三e n ； ( 2 ) 集合s 中不存在满足条件( 1 ) 的子集合b3 e 1 ，e ，e 儿+ i 。 定义3 对于多维概念模型中的任意维d ，其维层次结构可表示为个层次 链的形式，有l i 三主l 。三堇l n 三a l i ，如果d 中不存在某一层次l ，使得l 耋l i ，称l i 为维d 的根，标记为d a 1 1 ，用它来表示维中的最高层次。 定义4 设m - ( d 。，g 。，a 。) 和n = ( d n ，g 。，a 。) 是两个数据集合，如果m 和n 满足下列条件，则称m 和n 同构： ( 1 ) l d 。产| d 。| f a m m | _ | a 。m l ， a 。o = a n o b d k 。l m ；户 e k 。l n i ； ( 2 ) 存在一个一一映射r ，使得r ( d 。l 。i ，主) = ( d 。l 巾三) ： ( 3 ) 度量属性之间存在一个一一映射r ；a m m 斗a 。m ，使得如果r ( a 。m ) = a 。m ，d o m ( a m m ) 的元素与d o m ( a n m ) 的元素具有相同的数据类型。 定义5一个n 维概念模型是一个三元组c m = ( d ，g ，a ) 。 其中 c m 表示多维概念模型。 d = d l ，d 2 ，d 。1 ) 表示模型中所有维属性的集合，n l 为所有维属性的个数。 维属性d 为一二元组( l i ，三) ，1 i n ，其中d ，为维属性名，l 表示维d i 的 层次结构，( l i ，耋) 为一偏序集合，即对于维d 上的所有层次结构l i ，有l 1 盏 三l i 三三l n ：对于任意维，我们引入个隐含的顶层层次属性a l l ，对于该维 中的任意层次属性l 都有：l 三a l l 。 g 表示多维概念模型中最底层数据集的聚集模型，它是一个二元组( c ，m ) 。 其中，c 表示各个底层维层次属性的集合，反映多维概念模型中最小粒度数据所 对应的维层次属性。c = f c i l c ，l l i c 八c ( c l l i c c i c ) ，1 i n 。我们把 c 1 d o m c n d o m 记作c d o m ，n 为c 中元素的个数；m 表示最底层度量操 作模型的集合，m = m i ，m k ) ，k 为度量属性的个数，m i 为一三元组( n ，d o m ， a g g ) ，1 i m ，n 为该度量名。d o m 为该度量的值域，a g g 为可在该度量属性 上操作的聚集函数的集合。我们把m 1 d o m x m k d o m 记作m d o m 。 a 表示所有的存在于除最底层以外的较高层维层次属性上的聚集数据模型 一2 l 一 硕士学位论文 第二章数据仓库中的多维概念模型研究 ( 拘集合。a = a l ，a r l 2 ，n 2 为数据集的个数。a 。= ( h ，o ，m ) ，其中h = h l ，“，h 。 ， h i 反映数据存在的维层次，即h 。d l i ，1 i n 。h i d o m h n d o m 记作 h d o m ；o 表示聚集操作集合，m 表示度量属性集合，a i 表示一个已存在的数 据子集，其逻辑上对应着在a 。h 所包含的层次属性上对度量属性m 进行o 操作 的结果，其取值范围记为m d o m 。 为了叙述的方便，我们引入面向对象的表示方法，如d ，n 表示d 的名字， d j d o m 表示d 。的域，d i a g g 表示d 上的聚集函数的集合。 定义6 对于一个n 维概念模型c m d ，g ，a ) ，其实例可表示为一个三元 组i n s = ( c m ，i ，f ) 。 其中 c m 表示n 维概念模型名称。 i 为g c d o m 到g m d o m 的映射集合：g c d o m g m d o m ，它反映的是 满足模型g 的最基本粒度的数据集的映射集合。 f 表示映射的集合，f = r i ，”，r n 2 ，r i 为满足模型a a i 的租粒度数据集所对 应的映射的集合，为a a i h d o m 到a a m d o m 的映射。 定义7 实例中某一层次的数据子集s u b s e t 所在的数据模型用s u b s e l m o d e l 来表示，如若s u b s d = i ，则s u b s 乩m o d e l = g ，如s u b s e 仁f r i ，则s u b s e l m o d e l = a a 。 3 6 代数操作 长期以来，对于多维概念模型之上的各种操作如上卷、下钻等都是以非形 式化的方法描述的，不同的用语往往被人们赋予不尽相同的的含义，这就妨碍 了数据仓库和联机分析处理技术的深入应用。随着数据仓库和联机分析处理技 术的迅速发展，如何形式化地描述联机分析处理的各种代数操作，就成了数据 仓库领域研究的一个重要方向。 本文在详细地分析了电力负荷数据的各种复杂层次结构和语义的基础上， 针对上述多维概念模型的特点，提出了一套具有较强层次结构表达能力的代数 操作方法，综合地运用这些方法，能给数据仓库及o l a p 操作提供有效的支持。 为了表述的简洁，首先引入一些函数。 ( 1 ) p a r e n t 函数：对一个多维概念模型c m ，对任意维d i c m ，vc 。d 。， c l d 。，且c 。，c 1 之间存在偏序关系c i 兰c j ，即vc i d o m 的一个划分s = s l ，s k ) ， 存在单射f ：s c 1 d ，存在c i 的一取值e l s i ，。i 的一取值e 2 ，如果f ( s ) = e 2 ，则 称层次c 。的父层次为c 。，记为p a r e n t ( e l ，o i ，c 。) = e 2 。该函数是用来反映属性之 2 2 硕+ 学位论文第三章数据仓库中的多维概念模型研究 间的层次隶属关系。 ( 2 ) l a s s e m b l e 函数：设存在一个操作的集合a ，对v a ，a i a ，如果a 。 对应的数据集在逻辑上是对a i 数据集的聚集，l a s s e m b l e ( a i ，a 。) 返回对应的聚 集操作符，否则返回n u l l 。该函数是用来反映层次数据集之间的聚集操作关系。 ( 3 ) u p m o d e l 函数：一个多维概念模型c m = ( d ，g ，a ) ，它的一个实 例i n s = ( c m ，i ，f ) ，函数u p m o d e l ( i n s ) 为一个多维概念模型c m o = ( d o ， g o ，a o ) ，其中，d o = ( l i ，三) i l 。芸 l l l c m d l i c 八f h 。耋h ；g o = ( c k ， m k ) ；a o = ( a h ，l a s s e m b l e ( f m o d e i ，a ) ，a m ) a t e m p a k ， t e m p a k = a i l a l a 八l a s s e m b l e ( f m o d e l ，a ) n u l l ) 。对一多维概念模型的 实例i n s ，该函数返回以i n s i 为基( 最小粒度数据集) ，包括已有的可由f 导出的聚集数据集，构建的一个多维概念模型。 3 6 1 基本代数操作 为了能有效地对数据仓库中的数据进行操作，给出了多维数据模型上的一些 基本代数操作。 ( 1 ) 限制( o ) ：该操作是为了限制概念模型操作中多个维属性的值域，用小 写字母p ( 原子谓词) ，表示一维空间的属性值域；大写字母p ( 复合谓词) 是多个原 子谓词的组合，用来表示多维空间的多个属性值域。 p 2 p l p 2 p n 其中 表示各种运算操作符( 如n ( 交) 、u ( 并) 、= ( 等于) 、( 不等于) ) ，则限 制操作可用下面的代数表达式定义。 输入：一个多维概念模型c m = ( d ，g ，a ) 及一个复合谓词p ； 输出：一个多维概念模型实例i n s ：( c m ，i ，f ) ； 其中 i 表示输入模式g 中最小粒度的数据集所满足的一些映射关系集合，f 表示 已有的较粗粗粒度数据集所满足的一些映射关系的集合，上述三种集合的结果 都必须满足谓词p 。 代数表达：op ( c m ) = i n s ( 2 ) 笛卡尔积( ) ：该操作是一个二元操作，它可以用来连接任意的两个数 据模型。 首先定义多维概念模型的笛卡尔积： 2 3 硕士学位论文第三章数据仓库中的多维概念模型研究 输入：两个多维概念模掣c m l = ( d i ，g 1 ，a 1 ) ，c m 2 = ( d 2 ，g 2 ，a 2 ) ； 输出：一个多维概念模型c m o = ( d o ，g o ，) ： 其中 d o l = d 1 lud 2 l ，g o c = g 1 cug 2 c ，g o m = g 1 mug 2 m ，a o = a lua 2 。 代数表达：c m l c m 2 = c m 0 下面定义实例的笛卡尔积： 输入：两个多维概念模型实例i n s l = ( c m l ，i f 1 ) ，i n s 2 = ( c m 2 ，1 2 ，f 2 ) ； 输出：多维概念模型实例的i i l s o = ( c m o ，i o ，f o ) ； 其中 c m o _ u p m o d c l ( i n s l ) u p m o d e l ( i n s 2 ) ；i o 为一个从i 卜c d o m 1 2 c d o m 1 1 m d o m 1 2 m d o m 的映射；f 0 - ( f f l v f f 2 ) m o d e l c m a o ) 。 代数表达：i i l s l i n 8 2 = i n 8 0 ( 3 ) 交f n l ：交是一种特殊的笛卡尔积，它主要用来连接有一个或多个维层 次相同的数据模型实例，从它们相同的维属性到它们各自不同的属性间存在着 共同的映射关系，换句话说，即对于两个多维概念模型实例i n s l - ( c m l ，1 1 ，f 1 ) ， i n s 2 = ( c m 2 ，1 2 ，f 2 ) ，i n s l 与i n s 2 同构，c m l d n c m 2 d 或者c m l d l n c m 2 d l 叠，即对于任意两个多维概念模型它们之间必须有一个或多个相同的维层次或 者在某些维上有相同的层次结构，且v d l ( c m l d n c m 2 d ) ，( i l u f l ) ( d i ) = ( 1 2 u f 2 ) ( ，将两个概念模型实例的相同维( c o m m o nd i m e n s i o n s ，c d ) 表示成c m l d n c m 2 d = c d l ，c d 2 ，c d 。) 的形式。 输入：两个满足上述相关条件的多维概念模型实例i n s r ：( c m l ，i i ，f i ) ， i n s 2 = ( c m 2 ，1 2 ，f 2 ) 及复合谓词p ； 输出：一个多维概念模型实例h l s o = ( c m o ，i o ，f o ) ； 其中 p = ( d 1 c d l = i d 2 c d l ) 八( d 1 c d 2 = d 2 c d 2 ) 八八d 1 c d n = d 2 c d n 】 八( ( i luf 1 ) ( d 。) 2 ( 1 2uf 2 ) ( d i ) ) 八( c m o = s u b m o d e i ( h l s i n i l l s 2 ) f = n u i i ) 八( r o = ( i lu f l ) n ( 1 2 u f 2 ) ) 代数表达：i n si n i n s 2 = op ( i n s l i n s 2 ) ， ( 4 ) 并( u ) ：该操作主要是用于计算两个同构的多维概念模型实例i n s l 、i n s 2 的并集。 输入：两个多维概念模型实例i n s l = ( c m l ，i i ，f 1 ) ，i n s 2 2 ( c m 2 ，1 2 ，f 2 ) ； 输出：一个多维概念模型实例h l s 0 - ( c m o ，1 0 ，f 0 ) ，其中c m 0 = s u b m o d e i ( i n s l 2 4 硕士学位论文第三章数据仓库中的多维概念模型研究 u i n s 2 ) ，i o = 1 1u 1 2 ，f 0 - f iu f 2 ； 代数表达：i n s lui n s 2 = i n s o ( 5 ) 差( _ ：差主要用来查找两个同构的多维概念模型实例i n s l 、i n s 2 之间的 差别。 输入：两个多维概念模型实例l n s l = ( c m l ，i l ，f 1 ) ，i n s 2 - ( c m 2 ，1 2 ，f 2 ) ； 输出：一个多维概念模型实例m s o = ( c m o ，i o ，f 0 ) ，其中c m o = s u b m o d e i ( i n s l n i i l s 2 ) ，1 0 = 1 1 _ 1 2 ，f o = f 1 4 2 ，差操作将两个模型实例中相同的部分从实例i n s l 中 进行删除。 代数表达：i n s l _ i n s 2 = i n s 0 ( 6 ) 选择( s e l e c t l ：选择就是从模型中选出满足某些条件的维层次属性和度量 属性重新组合成新模型。 输入：一个多维概念模型实例i n s f = ( c m l ，i l ，f 1 ) 及选择条件p ： 输出：一个多维概念模型实例i i l s o = ( c m o ，i o ，f o ) ，其中c m 0 - s u b m o d e l ( i n s l ) ， i o = e f v e ( e i 】八( p 八e ) = 真) ，f o = ej v e ( e f 1 ( p 八e ) 2 真) ； 代数表达：h l s o = s e l e c t ( i n s l ，p ) ( 7 ) 投影( p r o j e c t ) ：投影指的是在度量属性上的投影，在维上的投影可以通过 先在维层次属性上进行聚集，再在某些维上采用投影操作来完成，这样可以达 到既去掉某些维属性，也去掉某些度量属性的目的。 首先讨论模型的投影： 输入：一个多维概念模型c m i _ ( d 1 ，g l ，a 1 ) 及度量属性集合s ； 输出：一个多维概念模型c m o = ( d o ，g 0 ，a 0 ) ； 其中 g o = ( c o ，m o ) ，c o = g 1 c ，m o = m 1m 。g 1 m 八m i s ) ，a 俨 a i a a l 八a 1 m s ，。 代数表达：c m o = p r o j e c t ( c m l ，s ) 实例的投影： 输入：一多维概念模型的实例h s = ( c m ，i ，f ) 及投影度量属性集合s ； 输出：一多维概念模型的实例i n s f ( c m o ，i o ，f o ) ； 其中 c m 俨p r o j e c t ( c m ，s ) ，i o 为一映射：p r o j e c t ( c m ，s ) g c d o m p r o j e c t ( c m ， s 1 g m d o m ，对于v v p r o j e c t ( c m ，s ) g c d o m ，如果i ( v ) 气m l ，m 2 ) ，其中 m ，m 2 分别为在s 中和不在s 中的度量属性上的取值，则i o ( v ) 2 ( m 1 ) ；f 0 = 删r f r m o d e l p r o j e c c m ，s ) a ，1 i n i ) ，n i 为映射集合f 中的元