（通信与信息系统专业论文）数据仓库和olap技术在配电网管理中的应用.pdf

摘要 在当今电力市场形式下，电力系统每时每刻产生大量的数据，传统的数据库及其应 用程序采取的是结构化的处理方式，无法对这些大量的数据进行全面的、宏观的统计和 分析。为进一步提高电力企业竞争力和经济效益，将数据仓库等相关技术应用于电力企 业的生产管理领域成为一个研究热点。本文首先系统介绍了数据仓库和o l a p 技术的理 论知识，在详细分析供电企业在配电网线路管理方面的需求基础上，结合配电网线路台 帐数据和运行数据，建立了配电网数据仓库，运用o l a p 技术和现有的办公软件资源实 现配电网线路数据多角度、多层次的查询。 关键词：配电网，数据仓库，联机分析处理 a j e i s t r a c t i nt h ec u r r e n tf o r mo ft h ee l e c t r i c i t ym a r k e t ，p o w e rs y s t e m sg e n e r a t el a r g ea m o u n t so f d a t aa ta l lt i m e s t r a d i t i o n a ld a t a b a s ea n di t sa p p l i c a t i o na d o p tas t r u c t u r e da p p r o a c h ，w h i c h c a nn o tc o n d u c tac o m p r e h e n s i v e ，m a c o - s t a t i s t i c sa n da n a l y s i so nt h e s el a r g ea m o u n t so f d a t a i no r d e rt of u r t h e ri m p r o v ec o m p e t i t i v e n e s sa n de c o n o m i cb e n e f i t si np o w e re n t e r p r i s e ， d a t aw a r e h o u s et e c h n o l o g ya n dr e l a t e dt e c h n o l o g yw e r eu s e di np o w e re n t e r p r i s e sp r o d u c t i o n a n dm a n a g e m e n tf i e l d ，w h i c hi sb e c o m i n gh o t t h ek n o w l e d g eo fd a t aw a r e h o u s ea n do n l i n e a n a l y t i c a lp r o c e s s i n gt e c h n o l o g ya r ep r e s e n t e di nt h i sp a p e r s e c o n d ，c o m b i n i n gc h a r a c t e r i s t i c o fp o w e rl i n ea n dr u n n i n gd a t ai np o w e rd i s t r i b u t i o nn e t w o r k ，ad e t a i l e da n a l y s i sa b o u tt h e n e e d o fp o w e rd i s t r i b u t i o nn e t w o r km a n a g e m e n tw a sm a d ei np o w e re n t e r p r i s e d a t a w a r e h o u s eo fp o w e rd i s t r i b u t i o nn e t w o r kw a sd e s i g n e di nt h ep a p e r t h i r d ，m u l t i - a n g l ea n d m u l t i - l e v e lq u e r yw a sa c h i e v e do nt h eb a s eo fo n l i n ea n a l y t i c a lp r o c e s s i n gt e c h n o l o g ya n d e x i s t i n go f f i c es o f t w a r er e s o u r c e s s h a n gt o n g ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f y u a nj i n s h a k e yw o r d s ：p o w e rd i s t r i b u t i o nn e t w o r k , d a t aw a r e h o u s e ，o n l i n ea n a l y t i c a lp r o c e s s i n g 摘要 在当今电力市场形式下，电力系统每时每刻产生大量的数据，传统的数据库及其应 用程序采取的是结构化的处理方式，无法对这些大量的数掘进行全面的、宏观的统计和 分析。为进一步提高电力企业竞争力和经济效益，将数据仓库等相关技术应用于电力企 业的生产管理领域成为一个研究热点。本文首先系统介绍了数据仓库和o l a p 技术的理 论知识，在详细分析供电企业在配电网线路管理方面的需求基础上，结合配电网线路台 帐数据和运行数据，建立了配电网数据仓库，运用o l a p 技术和现有的办公软件资源实 现配电网线路数据多角度、多层次的查询。 关键词：配电网，数据仓库，联机分析处理 a j e i s t r a c t i nt h ec u r r e n tf o r mo ft h ee l e c t r i c i t ym a r k e t ，p o w e rs y s t e m sg e n e r a t el a r g ea m o u n t so f d a t aa ta l lt i m e s t r a d i t i o n a ld a t a b a s ea n di t sa p p l i c a t i o na d o p tas t r u c t u r e da p p r o a c h ，w h i c h c a nn o tc o n d u c tac o m p r e h e n s i v e ，m a c r o - s t a t i s t i c sa n da n a l y s i so nt h e s el a r g ea m o u n t so f d a t a i no r d e rt of u r t h e ri m p r o v ec o m p e t i t i v e n e s sa n de c o n o m i cb e n e f i t si np o w e re n t e r p r i s e ， d a t aw a r e h o u s et e c h n o l o g ya n dr e l a t e dt e c h n o l o g yw e r eu s e di np o w e re n t e r p r i s e sp r o d u c t i o n a n dm a n a g e m e n tf i e l d ，w h i c hi sb e c o m i n gh o t t h ek n o w l e d g eo fd a t aw a r e h o u s ea n do n l i n e a n a l y t i c a lp r o c e s s i n gt e c h n o l o g ya r ep r e s e n t e di nt h i sp a p e r s e c o n d ，c o m b i n i n gc h a r a c t e r i s t i c o fp o w e rl i n ea n dr u n n i n gd a t ai np o w e rd i s t r i b u t i o nn e t w o r k ，ad e t a i l e da n a l y s i sa b o u tt h e n e e do fp o w e rd i s t r i b u t i o nn e t w o r km a n a g e m e n tw a sm a d ei np o w e re n t e r p r i s e d a t a w a r e h o u s eo fp o w e rd i s t r i b u t i o nn e t w o r kw a sd e s i g n e di nt h ep a p e r t h i r d ，m u l t i - a n g l ea n d m u l t i - l e v e lq u e r yw a sa c h i e v e do nt h eb a s eo fo n l i n ea n a l y t i c a lp r o c e s s i n gt e c h n o l o g ya n d e x i s t i n go f f i c es o f t w a r er e s o u r c e s s h a n gt o n g ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f y u a nj i n s h a k e yw o r d s ：p o w e rd i s t r i b u t i o nn e t w o r k , d a t aw a r e h o u s e ，o n l i n ea n a l y t i c a lp r o c e s s i n g 声明尸明 本人郑重声明：此处所提交的硕士学位论文数据仓库和o l a p 技术在配电网管理 中的应用，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作 和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意。 学位论文作者签名：氢鱼日 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件：学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播学 位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：导师签名： 华北电力人学硕十学位论文 1 1 选题背景 第一章引言 自上世纪九十年代以来，我国众多供电企业开展了不同程度的信息化建设。并 且随着计算机技术与信息技术的不断发展、普及和深入。多种业务系统( 如s c a d a 系统、e m s 系统、变电站监控系统、生产管理信息系统等等) 在电力企业中获得普 遍应用。由计算机管理代替手工操作，改善了办公环境，提高操作人员的工作效率 的同时节约了生产成本。对提高电力行业的经济效益，起到了一定的促进作用。 在当今信息化飞速发展的时代，随着国家对电力工业政策的改变，各供电企业 面临着如何更加充分地利用现有的信息技术来帮助企业解决生产、经营等问题，越 来越多的电力企业管理层认识到，企业要想在竞争中取胜，获得更大的收益，至关 重要的是，必须利用计算机和网络技术、数据仓库技术，深层次地挖掘、全面地分 析当前和历史的生产业务数据，以及相关数据，自动快速获取其中有用的决策信息， 为企业提供快速、准确和方便的决策支持。通过对企业生产和计划的完成情况及相 关数据进行多角度、多层次的分析，以使企业的决策者及时掌握企业的运行情况和 发展趋势，并对制定生产计划和长远规划提供理论指导，提高企业的管理水平和竞 争优势。 本文针对传统的数据库应用系统在分析、统计配电网线路数据方面的不足，将 数据仓库技术和联机分析处理技术应用于配电网线路管理领域，为企业提供在配电 网线路的管理方面更全面的、综合的分析查询。 1 2 国内外现状 早在1 9 9 3 年，学者w h i n m o n 在数据仓库( b u i l d i n gt h ed a t a w a r e h o u s e ) 一书中首次明确提出了数据仓库的概念，数据仓库技术经过了十几年的研究和探 索，数据仓库理论逐渐成型，在理论、实践应用上都取得了显著的成果，并有着良 好的发展前景。其应用技术引起了学术界和企业界的广泛关注，国际上许多重要的 学术会议，如超大型数据库国际会议( v l d b ) 、数掘工程国际会议( d a t ae n g i n e e r i n g ) 等，在数据仓库、联机分析处理和数据挖掘研究方面都有大量的论文，各大数据库 厂商也纷纷推出了支持数据仓库的产品和方案，如i n f o r m i xg o n g s i d e 、o r a c l e 、i b m 、 m i c r o s o f t 、s y b a s e 等公司都提出了相应的数据仓库解决方案。 国外对数掘仓库技术研究较早、数掘积累充分，技术相对成熟，数据仓库技术 在各个行业都有比较广泛的应用，应用相对来说也比较成熟。以数据仓库为基础的 华北电力人学硕十学位论文 联机分析处理和数据挖掘应用首先在传统数据密集型行业取得成功。例如在石油工 业中，南加利福尼亚石油公司利用它的大型机和d b z 数据库，并完善了它现有的数 据分析工具来聚焦它的营销目标。在两年里，该公司使用数据仓库技术来预测用户 行为，使其直接营销费用节省了大约4 0 万美元【。同样在电力系统行业，在管理信 息化方面，国外某公司为提高效率、降低运营成本，把原来的采购订单系统和物流 管理系统合并成为一个客户服务器模式的物流数据仓库，对日常需要解决的物质购 买、管理、使用和财务处理等问题进行统一管理，通过应用服务器消除不同平台的 不兼容性，提供方便、快捷的数据访问1 2 l 。在调度信息化方面，美国田纳西州电网 公司依据实时数据和历史数据建立数据仓库，实现数据的一致性和唯一性，并以此 为服务器，通过w a n 、i n t c r n c t 方式向分布在州内各地的客户应用系统提供数据， 使得电网运行的重要数据获得共享。减小了系统维护与升级的难度和成本，减轻了 网络负荷i 引。财富( f o r t u n c ) 5 0 0 强中有8 5 以上的企业已经建成或j 下在建立数据仓 库。 国内数据仓库技术方面的研究起步较晚，大部分处于科研阶段，没有能提供完 整数据仓库解决方案的厂商，许多行业构建的数据仓库应用都是采用国外技术和方 案。如深圳国信证券的数据仓库系统由s y b a s c 公司提供解决方案，该系统包括了客 户分析、账户分析、证券汇总分析、资金交易分析、非资金交易分析等多个业界关 心的主题。公司用户可以通过固定灵活报表、多维分析等多种形式实现多个层面的 数据访问，为当前公司的决策者提供快速有效的各种报表和分析方式，提高公司的 市场反应速度和竞争力水平【。从国内目前的市场来看，除了银行、电信、保险等 少数行业以外，商业零售业、物流货运、交通运输都建立了或计划建立自己的数据 仓库，但建成的数据仓库项目效果如何还有待检验。在国内电力行业，数据仓库技 术还未得到推广，其应用还比较有限。 1 3 数据仓库的发展方向 随着数据仓库技术应用的扩展，对数据仓库提出越束越多的要求。其中主要有 基于关系对象数据库的数据仓库、网络的影响、操作型数据仓库的要求等。 ( 1 ) 基于关系对象数据库的数据仓库 关系对象数据库的出现使数据仓库设计人员有能力将对象引入数据仓库环境 中，使数据仓库的平台性能得到很大的改善，使得数据仓库开发人员能够很容易地 将多媒体数据、复杂的数据类型和其他各种类型的数据引入数据仓库，这样可使数 据仓库满足用户的更多需求。 ( 2 ) 网络的影响 未来的数据仓库将越来越依赖于网络进行数据的传输和数据的使用请求处理。 2 华j 匕电力大学硕士学位论文 用户通过i n t e r n e t 或i n t r a n e t 来使用数据仓库，这就需要w e b 网关能够实现超文本 语言格式与特定数据引擎格式之间的互换，以实现数据源的抽取、转换和转载，为 数据仓库提供数据。 ( 3 ) 操作型数据仓库 在目前的数据仓库中，对数据的更新是通过加载程序，将每个数据更新周期中 所发生变化的数据整批添加到数据仓库中去，在实际操作中也会由于某种现实的变 化，需要对数据仓库中的记录进行少量的修改。但是，这种要求在目前无法完成。 通过“操作型数据仓库”以一种可以接受的标准对数据仓库进行修改类操作。 1 4 本文所做的工作 本文在查阅了国内外大量文献资料的基础上，并基于某地区配电网线路数据， 做了以下工作。 ( 1 ) 研究数据仓库和联机分析处理技术( o l a p ) 的基本理论和实现方法，分析某 企业电力管理信息系统和配电网线路部分的数据。分析企业对电网线路管理的需 求。 ( 2 ) 设计配电网设备管理数据仓库、设计配电网调度运行信息数据仓库。 ( 3 ) 结合配电网管理数据，完成数据的抽取、加载功能。 ( 4 ) 设计配电网o l a p 系统，合理选择o l a p 实现工具。完成数据的多维分析、 图表显示功能。 华北电力人学硕十学位论文 第二章数据仓库与联机分析处理综述 在当今电力市场形式下，对于大量电力系统本身的台帐数据和电力系统运行产 生的数据，传统的数据库及其应用程序采取的是结构化的处理方式，无法对这些大 量的数据进行全面的、宏观的统计和分析。随着数据仓库技术的诞生和日益发展， 数据仓库技术在这一领域开始应用，它突破了传统的数据库表模式的应用，更为贴 近决策思维过程，能对复杂的、大量的数据进行处理，得出决策所需要的信息。数 据仓库的建立并不是要取代原有的数据库，而是建立在一个较全面、完善的信息应 用的基础上。用于支持高层决策分析。数据仓库技术为o l ap 技术和数据挖掘技术 创造了应用的环境，有助于从业务数据中发现深层次的信息和知识。数据仓库是数 据库技术的一种新的应用，它仍然是基于数据库管理系统来管理其中的数据。 2 1 数据仓库综述。 2 1 1 数据仓库的产生背景 自上个世纪6 0 年代开始，企业开始建立和使用数据库应用系统，利用这些信 息处理系统，企业在处理物资采购、生产数据管理、客户服务管理等方面的工作效 率获得了极大的提高，同时也增强了企业的竞争力。进入9 0 年代，数据库技术应 用成为企业信息化管理的主流。然而随着市场竞争的加剧、业务的发展和数据量的 增加，企业内的各级人员都希望能够对这些大量杂乱无章的数据进行有效的统计、 分析、预测和评估，从中快速准确地提取企业的管理者迫切需要的信息，为管理者 的决策提供依据，以指导企业决策和发掘企业的竞争优势。但是那些传统的基于联 机事务处理的信息处理系统及其应用程序只能对许多细节的、结构化的数掘进行处 理，却并不能满足这种决策分析需求。 针对这一问题，人们设想专门为业务数据的统计分析建立一个数据中心，它的 数据来自联机事务处理系统、异构的外部数据源和脱机的历史业务数据，可以不受 传统事务处理的约束，能够帮助企业的管理者们以相对简单的方式从企业现有的大 量业务数据中获得重要的战略信息，从而帮助他们高效率得制订出正确的决策。在 这种背景下，数据仓库技术诞生了。 2 1 2 数据仓库的定义、特征 在最终分析中，数据仓库是一个简单的概念。它源于对战略信息的需求，并且 是寻找提供这种信息的新方法的一种结果。它是多种技术的混合体，是一种环境， 而不是产品。比较公认的数据仓库的定义是学者w h i n m o n 在数据仓库) ) ( b u i l d i n g 4 华北电力人学硕十学何论文 t h ed a t aw a r e h o u s e ) - - 书中提出的定义：数据仓库是面向主题的、集成的、稳定的、 随时间变化的数据集合，用以支持经营管理中的决策制定过程i4 1 。 数据仓库具有以下几方面的特点： ( 1 ) 面向主题 面向主题是与传统数据库的面向应用相对应的，主题是在较高层次上将数据综 合、归类并进行分析利用的抽象，每一个主题对应一个宏观分析领域。基于主题的 数据被划分成各自独立的领域，一个主题通常与多个业务系统相关。所有主题综合 起来应能覆盖企业的所有经营业务活动范围。数据仓库排除对于决策无用的数据提 供特定主题的简明视图。由于数据仓库主要是基于关系数据库来实现的，因此主题 的表和视图的内容本质上与各运行系统数据源的数据一致，只是便于对数据进行分 析和处理，对数据结构进行了重组。 ( 2 ) 集成的数据 集成的数据是指数据仓库是从分散的子系统中提取数据进行统一和综合。各子 系统数据库中，数据的结构是各式各样的，它们可能在追求局部最优时采用了不同 的编码、不同的关键结构、不同的命名规则等，造成各种数据源的数据的不一致性 和重复性。因此必须对源数据进行清洗和转换，最后把它们装载进数据仓库数据库 中，这也是数据仓库建设中最复杂、关键的一步。 ( 3 ) 数据稳定性 数据稳定性是指数据仓库中的数据不进行更新处理。由于数据仓库的数据主要 供企业决策分析之用，所涉及的数据操作主要是数据查询，因此，一旦某个数据进 入数据仓库以后，一般情况下将被长期保留，不像业务系统中数据库中的数据那样， 要经常进行修改、添加和删除，最终用户只能通过分析工具进行查询、分析，而不 能修改其中存储的数据。这也保证不同的用户在不同时间里查询和分析相同主题时 得到相同的结果。因此，对使用者来说，数据仓库在一定时间间隔内是稳定的。 ( 4 ) 数据是随时间不断变化的 为保证分析决策的正确性，数据仓库的数据要随时问的变化而定期更新。数据 是随时间不断变化的表现在以下三个方面：当前数据定期性地转换成历史数据，在 更高层次上不断综合；陈旧、查询率低的数据从数据仓库脱离，转存到廉价慢速设 备上：对分析处理不再有用的数据从数据仓库中删除。 2 1 3 数据仓库的结构 数掘仓库系统是以数据仓库为基础，通过数据筛选工具、数据转换工具、查询 工具、报表工具、分析工具和数据挖掘工具等，满足客户对信息的各种需求。数据 b 华北电力人学硕十学位论文 仓库体系结构可以用图2 1 的结构所示。数据仓库从多种信息源中获取原始数据， 经过整理加工后，存储在数据仓库的内部信息库中，通过数据仓库分析手段，向数 据仓库的用户提供统一、协调和综合的信息环境，支持企业整体的决策过程和对企 业经营管理作深入的综合分析。 l 外部数据! 舒| 矽| 文档资料； ； ： 元数据管理 数据集市 一数据源哼_ 一数据存储和管理源 - o l a p 服务器叫峥- 一前端工具和应用 图2 - 1 数据仓库的体系结构 ( 1 ) 数据源 是数据仓库系统的数据来源，是整个系统的基础。源数据来源于生产和管理领 域，存放于企业操作型数据库和办公自动化系统的文档中，可分为业务数据、文档 数据、外部数据。 ( 2 ) 数据的存储与管理 它是整个数据仓库系统的核心。在现有各业务系统的基础上，对数据进行抽取、 清理，并有效集成，按照主题进行重新组织，最终确定数据仓库的物理存储结构， 同时组织存储数据仓库元数据。 ( 3 ) o l a p 服务器 将分析需要的数据按照多维数据模型进行再次重组，以支持用户多角度、多层 次的分析，发现数据规律和发展趋势。 ( 4 ) 前端工具 主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具以及各种基 于数据仓库或数据集市丌发的应用。其中数据分析工具主要针对o l a p 服务器，报 表工具、数据挖掘工具既针对数据仓库，同时也针对o l a p 服务器。 2 1 4 数据仓库的数据加载 2 1 4 1 数据抽取 6 圈困 ；i； 囤 鼍： 日 褂； 华北电力人学硕士学位论文 数据仓库需要通过抽取过程将数掘从联机事务处理系统、外部数据源、脱机的 数据存储介质中导入到数据仓库。并不是源数据库的所有细节数据对于数据仓库的 主题域都是有用的，必须根据己确定主题的需要，从原有操作型数据库中抽取相关 数据到数据仓库中。 目前市场上所提供的大多是数据抽取工具。这些工具通过用户选定源数据和目 标数据的对应关系，会自动生成数据抽取的代码。但数据抽取工具支持的数据格式 种类是有限的，对于少量数据格式，也可由专业人员编写定制抽取程序来完成数据 抽取工作。 2 1 4 2 数据转换 数据仓库中的数据往往来自一个或多个分布异构的数据库系统，这些数据在放 入数据仓库时，按照数据仓库的设计要求需要经过如下的数据转换处理。 ( 1 ) 类型转变 可以将源数据从一种数据类型转换为另一种数据类型。例如从布尔值到数值的 0 和l 。 ( 2 ) 串操作 对字符字段进行操作。例如合并源系统的姓和名2 个字段为姓名一个字段，在 某种情况下也可拆分一个字段为多个字段。 ( 3 ) 数学函数 一些数据需要预先进行求和等运算再导入数据仓库中。 ( 4 ) 参照完整性。 当数据从运作系统进入数据仓库时，它将受到检测，以确定它所依赖的数据是 否存在于数据仓库中，或者它是否是已经抽取的数据的一部分。 2 1 4 3 数据；争化 有必要对进入数据仓库的数据进行全面检查，并使他们尽可能无差错，这一过 程就称作数据净化。数据净化应该处理许多可能存在的错误类型，这些类型包括数 据源中丢失数据和有错误数据；还包括两个或多个数据源罩的不一致数据和冲突数 据，所有这些都必须处理。 2 1 5 数据仓库的数据存储方式 数据仓库的数据存储方式可分为虚拟存储方式、基于关系表的存储方式和多维 数据库存储方式三种。 ( 1 ) 虚拟存储方式 华北电力大学硕士学位论文 它没有专门的数据仓库储存数据，数据仓库中的数据仍然在源数据库中，只是 根据用户的多维需求形成多维视图，临时在源数据库中找出所需要的数据，完成多 维分析。这种组织方式较简单、花费少、使用灵活，但同时它也存在一个致命的缺 点，即只有当源数据库的数据组织比较规范、没有数据不完备及冗余，同时又比较 接近多维数据模型时，虚拟数据仓库的多维语义层才容易定义。而一般数据库的组 织关系都比较复杂，数据库中的数据又存在许多冗余和冲突的地方，在实际中这种 方式很难建立起有效的决策服务数据支持。 ( 2 ) 基于关系表的存储方式 它是将数据仓库的数据存储在关系型数据库的表结构中，在元数据的管理下完 成数据仓库的功能。这种组织方式在建库时有两个主要过程用以完成数据的抽取： 首先要提供一种图形化的点击操作界面，使分析员能对源数据库的内容进行选择， 定义多维数据模型；然后再编制程序把数据库中的数据抽取到数据仓库的数据库 中。这种方式的主要问题是在多维数据模型定义好后，从数据库中抽取数据往往需 要编制独立、复杂的程序，因此通用性差、很难维护。 ( 3 ) 多维数据库组织方式 它直接面向数据挖掘分析操作所需的数据组织形式，在数据仓库中对海量数据 从感兴趣的视角、抽象层次上进行概括，便形成了针对不同目标的多维数据视图。 它是对决策目标意义较为完整的描述，能够精确地为用户提出的问题进行分析处理 服务。多维数据视图一般包括一组对分析感兴趣的量度，如客户和费用，每个量度 包含一组具体化内容的维，如客户的类别、信用度等。多维的层次划分，基本上确 定了每个垂直的汇总路径，可形成关于任意路径的分析。这种数据库产品也比较多， 其实现方法不尽相同，其数据组织采用多维数组结构文件进行数据存储，并有维索 引及相应的元数据管理文件与数据相对应。 2 1 6 数据仓库的数据追加 数据仓库的数据来源于传统的数据库系统，传统的数据库系统定期会产生大量 的数据，这些数据需要追加到数据仓库中成为历史数据，以供决策查询。常用的方 法如下。 ( 1 ) 时标方法 如果数据含有时标，对新插入或更新的数据记录，在记录中加更新时的时标， 那么只需根据时标判断即可。但并非所有的数据库中的数据都含有时标。 ( 2 ) d e l t a 文件 它是由应用生成的，记录了应用所改变的所有内容。利用d e l t a 文件效率很 高，它避免了扫描整个数据库。但同样的问题是生成d e l t a 文件的戍用并不普遍。 r 华北电力人学硕十学位论文 此外，还有更改应用代码的方法，使得应用在生成新数据时可以自动将其记录下来。 但应用成千上万，且修改代码十分繁琐，这种方法很难实现。 ( 3 ) 前后映象文件的方法 在抽取数据前后对数据库各作一次快照，然后比较两幅快照的不同从而确定新 数据。它占用大量资源，对性能影响极大，因此并无多大实际意义。 ( 4 ) 日志文件 最可取的技术大概是利用日志文件了。因为它是数据库的固有机制，不会影响 o l t p 的性能。同时，它还具有d e l t a 文件的优越胜质，提取数据只要局限日志文 件即可，不用扫描整个数据库。当然，原来同志文件的格式是依据数据库系统的要 求而确定的，它包含的数据对于数据仓库而言可能有许多冗余。比如，对一个记录 的多次更新，日志文件将全部变化过程都记录下来。而对于数据仓库，只需要最终 结果。但比较而言，日志文件仍然是最可行的一种选择。 2 1 7 数据仓库与数据库的区别与联系 由于数据仓库是数据库系统发展到一定阶段的产物，是在数据库已经大量存在 的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大 型数据库”。因此它们之间又存在联系和区别。 数据仓库与数据库的联系： ( 1 ) 数据仓库中的数据大部分来自传统的数据库系统，是对数据库中的数据的 “重组”。 ( 2 ) 数据仓库的数据管理和存储的主要方式仍然是基于传统数据库实现。 数据仓库与数据库的区别： ( 1 ) 面向对象不同 传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据，数 据服务于某个特定的商务过程或功能：数据仓库侧重于数据分析工作，是按照主题 存储数据的，数据服务于某个特定的主题，是非规范化数据。 ( 2 ) 集成性不同 面向不同应用的数据系统可能采用不同数据库公司的数据库产品，因此数据会 存在不一致的情况，而数据仓库在从各个业务数据库系统中提取数据时，不论数据 来源于哪个数据库，都必须按照数据仓库中的统一定义进行重新组织。 ( 3 ) 与时间相关性不同 数据库保存信息的时候，并不强调一定有时i 日j 信息。数据仓库则不同，出于决 策的需要，数据仓库中的数掘都要标明时间属性。决策中，时l h j 属性很重要。 9 华北电力人学硕士学位论文 ( 4 ) 响应速度不同 数据仓库的使用者主要进行一些查询操作，以获取决策所需要的信息，访问次 数少，对响应时间没有过高的要求。数据库系统的使用者需要经常访问数据库，对 数据进行存取操作，对响应时间要求较高。 同时传统数据库系统操作型数据和数据仓库中的分析型数据也从根本上存在 不同。见表2 1 。 表2 - 1 操作型数据和分析型数据对比 操作型数据分析型数据 面向应用：数据服务于某个特定面向主题：数据服务于某个特定的 目的 的商务过程或功能商务主题 数据稳定性数据可以修改，更新频繁 数据具有稳定性，一经加载，不可 以修改 数据类型细节数据，实时操作类型 综合性、历史性数据 交互方式可供大量用户同时访问的数据供决策人员访问的数据 数据冗余度数据很少有冗余根据需要引入数据冗余 数据保存期限保存时间较短，一般3 - 6 个月保存时阳j 较长，一般5 1 0 年 数据操作操作明确，数据读取量小 操作模糊，数据读取量大 数据规范化程度数据经过高度规范化处理数据经过非规范化处理 2 2 联机分析处理( o l a p ) 综述 联机分析处理( o l a p ) 系统以数据仓库作为支撑平台，以查询、分析为特征，具 有汇总、合并和聚合功能，根据决策者对信息的需求，提供即时准确的信息。通过 联机分析处理( o l a p ) ，数据分析人员、企业的管理人员和决策人员能够快速、一致、 交互式地访问企业数据仓库中的数据，实现对数据多角度的归纳、分析和处理，掌 握隐于其中的规律，进行正确的决策。 2 2 1o l a p 的由来和定义 数据仓库创建以后，企业的经理、主管和商业分析员希望从这些海量数据中提 取对企业决策分析有用的信息。传统的企业信息处理系统( 面向企业事务处理的信息 系统) 即联机事务处理系统( o n l i n et r a n s a c t i o np r o c e s s i n g ，简称o l t p ) 作为数据管理 的手段，主要用于企业事务处理，但它对分析处理的支持一直不能令人满意。分析 处理需要进行一些复杂的数据查询，这些查询应该是多角度的、多视图模式的、下 钻上卷的、可旋转的。完成这些查询仅拥有大量数据的数据仓库是不够的，必须依 靠一种工具、一种接口，才能够轻松自如地在数据仓库的数据海洋中畅游。因此， 1 0 华北电力大学硕+ 学位论文 一种新的基于多维分析的技术联机分析处理o a l p 技术应运而生。 联机分析处理是一类软件技术，它使分析人员、管理人员通过对信息的多种可 能的观察角度进行快速、一致和交互性的存取以获得对信息的深入理解。o l a p 的 概念最早是由关系数据库之父e f c o d d 于1 9 9 3 年提出的【5 1 ，o l a p 委员会对其下地 定义是：“o l a p 使分析人员、管理人员或执行人员能够从多角度对从原始数据中转 化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一 致、交互地存取，从而获得对数据地更深入了解的一类软件技术”1 6 j 。 2 2 2o l a p 的特点 ( 1 ) f a s t ( 快速性) 用户对o l a p 的快速反应能力有很高的要求，主要是指计算机的计算的反应速 度，系统应能在5 秒内对用户的大部分分析要求做出反应，如果终端用户在3 0 秒 内没有得到系统响应就会变得不耐烦，因而可能失去分析的兴趣，影响分析质量。 对于大量的数据分析要达到这个速度并不容易，因此就更需要一些技术上的支持， 如专门的数据存储格式、大量的事先运算、特别的硬件设计等。 ( 2 ) a n a l y s i s ( n - i 分析性) 系统应能处理与应用有关的任何逻辑分析和统计分析，用户无需编程就可以定 义新的专门计算，将其作为分析的一部分，并以用户理想的方式给出报告。用户可 以在o l a p 平台上进行数据分析，也可以连接到其他外部分析工具上，同时应提供 灵活开放的报表处理功能，以保存分析结果。 ( 3 ) s h a r e d ( 共享性) 这意味着系统要能够符合数据保密的安全要求，即使多个用户同时使用，也能 够根据用户所属的安全级别，让他们只能看到他们应该看到的信息。 ( 4 ) m u l t i d i m e n s i o n a l ( 多维性) 多维性是o l a p 的关键属性。o l a p 的显著待征就是它能提供数据的多维视图， 在现实世界中人们观察分析问题时是从多个不同的角度出发，而o l a p 就是模仿人 们的这种观察方式，对数据仓库中的数据建立多维视图的查询方式。多维视图使用 户可以从多角度、多侧面、多层次考察数据库中的数据，从而深入理解包含在数据 中的信息和内涵。 ( 5 ) i n f o r m a t i o n ( 信息性) 不论数据量有多大，也不管数据存储在何处，o l a p 系统应能及时获得信息， 并且管理大容量信息。这罩有许多因素需要考虑，如数据的可复制性、可利用的磁 盘空间、o l a p 产品的性能及与数据仓库的结合度等。 华北电力大学硕士学位论文 2 2 30 l a p 的相关概念 ( 1 ) 度量 度量值是从现实系统中抽象出来的，在分析我们感兴趣的数字化信息时用于描 述数据的实际意义，即描述数据“是什么 。一般情况下，度量总是一个能够度量 的数据值指标，例如：“线路长度 、“最大负荷”等等都是度量， ( 2 ) 维度 维度是o l a p 中的一个非常重要的概念，对度量起说明作用的属性，定义度量 的组织方式。同时它也是人们观察数据的一些特定角度，是考虑问题时的一类属性。 例如时间维、地理维等，也就是说，从时间的角度、地理的角度来分析数据。 ( 3 ) 维层次 一个维可以存在细节程度不同的多个描述方面，这多个描述方面称为维的层 次。例如，时间维就是一个典型的层次结构维，因为时间可以从年、季度、月、日 等不同层次来描述。 ( 4 ) 维成员 维成员是维的一个取值，如果维包含多个层次，那么维成员就是不同维层次取 值的组合。如果时间维度包含了年、月、日三个层次，那么“2 0 0 8 年1 0 月1 日” 就构成了时间维度的一个维成员。 ( 5 ) 多维数据集 一种数据的集合，这些数据组织并汇总到一个由一组维度和度量值所定义的多 维结构中，可以用一个多维数组( 维1 ，维2 ，维1 1 ，度量) 来表示。 ( 6 ) 数据单元 多维数组的取值称为数据单元。当多维数组的各个维都选中一个维成员，这些 维成员的组合就惟一确定了一个变量的值。那么数据单元就可以表示为( 维1 维成 员，维2 维成员，维n 维成员，变量的值) 。 2 2 40 l a p 多维分析的基本操作 ( 1 ) 切片和切块( s l i c ea n dd i c e ) 选定多维数组的一个二维子集的操作叫做切片，即选定多维数组( 维1 ，维 2 ，、维1 1 ，变量) 中的两个维：维i 、维j ，在这两个维上取某一区问或任意维 成员，而将其余的维都取一个维成员，则得到的就是多维数组在维i 和维i 上的一 个二维子集，称这个二维子集为多维数组在维i 和维j 上的一个切片，表示为：( 维 i ，维i ，变量) 。 1 2 华北电力火学硕士学位论文 雾当一 建 造 同 期 表3 - 1o l 心切片结果 导线型号 城东线 l g j 2 5l g j 3 5l g j 5 0 建造日期4 5 3 0 米2 6 9 1 0 米4 8 7 2 米 导线型号 图3 - 2o l a p 切块 表3 - 2 0 l a p 切块结果 导线型号 城东线+ 城榆线 l g j 2 5l g j 3 5l g j 5 0 建造同期6 4 8 4 米4 6 8 4 米1 0 5 5 8 米 1 3 华北电力人学硕+ 学位论文 ( 2 ) 钻取( d r i l l d o w n ) 和卷取( r o l l u p ) 钻取是从较高的维度层次下降到较低的维度层次上来对数据进行更为细节性 的观察，反之卷取是对数据进行更为宏观的观察。钻取和卷取的深度与维所划分的 层次相对应。如图3 3 所示。 图3 - 3 维度的下钻和上卷 ( 3 ) 旋转( r o t a t e ) 旋转就是变换维的方向，即改变一个报告或页面所显示的维方向。例如，旋转 可以交换行和列；或是把某一个行维移到列维中去，或是把页面中显示的一个维和 页面外的维进行交换( 令其成为新的行或列中的一个) 。如图3 - 4 所示 一一。1 导线型号 2 3 2 0 4 1 8 7 0 1 4 ，5 2 8 8 0 4 2 6 3 5 2 3 5 3 0 5 3 7 1 2 0 7，94400。 7 , 7 0 9 0 0删曼一j 器：g 望氅：氘+ 气+ 。越 图3 4 维度的旋转 2 2 5o l a p 系统的数据组织方式 o l a p 服务器为用户提供来自数据仓库或数据集市的多维数据，用户不必关心 数据如何存放和存放在何处。然而，o l a p 服务器的物理结构和实现必须考虑数据 组织、存放问题。其具体组织按照其存储器的数据存储格式可以分为多维 o l a p ( m o l a p ，m u l t i d i m e n s i o n a lo l a p ) 、关系o l a p ( r o l a p ，r e l a t i o n a lo l a p ) 和混合型o l a p ( h o l a p ，h y b r i do l a p ) - - 种类型： ( 1 ) r o l a p ( r e l a t i o n a lo l a p ) 结构 r o l a p 是一种直接用关系型数据库作存储结构的o l a p 系统，即r o l a p 的底 层数据库是关系型数据库，而不是多维数据库。r o l a p 将多维数据库的多维结构划 分为两类表：一类是事实表，用来存储数据和维关键字；另一类是维表，用来存放 维的层次、成员类别等维的相关属性和描述信息。维表和事实表通过主关键字和外 关键字联系在一起，形成了“星型模型”。对于层次复杂的维，为避免冗余数据占 1 4 华北电力人学硕士学位论文 用过大的存储空间，可以使用多个表来描述，这种星型模型的扩展称为“雪花模式”。 当数据仓库的数据模型确定之后，分散在企业各o l t p 数据库中的数据被载入 数据仓库并按数据模型的要求进行预处理。用户通过客户端工具提交多维分析请求 给r o l a p 服务器，r o l a p 服务器把多维查询转化成s q l 查询，然后由关系数据 库管理系统( r d b m s ) 对数据库执行s q l 查询，最终将结果经多维处理转化为多维 视图返回给终端用户。r o l a p 的主要特点是它的灵活性强，用户可以动态定义统计 或计算方式。缺点是要进行临时运算，响应时间长，但是现有的r d b m s 已经对o l a p 作了很多优化，大大提高了r o l a p 的速度。其结构如图3