（通信与信息系统专业论文）数据仓库技术在电力营销系统中的应用研究.pdf

华北电力大学硕士学位论文摘要 摘要 本文介绍了电力营销的研究现状，对数据仓库、o l a p 和数据挖掘技术进行了 系统阐述，在对电力营销业务进行深入分析的基础上，确定了电力营销主题域，设 计了电力营销数据仓库结构，并在此基础上整合现有的、相互离散的电力营销数据， 使用o r a c l e1 0 9 建立了电力营销数据仓库。数据挖掘作为一种发现大量数据中潜在 信息的数据分析方法和技术，已经成为各界关注的热点，本文介绍了聚类分析、决 策树算法和一种新型的智能聚类决策树算法，并给出了算法在电力营销中的应用实 例。 关键词：数据仓库，数据挖掘，电力营销 a b s t r a c t t h er e s e a r c hs i t u a t i o no fe l e c t r i cp o w e rm a r k e t i n ga tp r e s e n ti si n t r o d u c e di nt h e p a p e r m o r e o v e r ， t h ed a t aw a r e h o u s e ，o l a pa n dt h e d a t am i n i n gt e c h n o l o g yi s e l a b o r a t e ds y s t e m a t i c a l l y b a s e do nt l l e t h o r o u g ha n a l y s i s o ft h ee l e c t r i c p o w e r m a r k e t i n gs e i c e ，t h et o p i cr e g i o no fe l e c t r i cp o w e rm a r k e t i n gi s d e t e n i l i n e da n dt h e s t m c t u r eo fd a t aw a r e h o u s ei ne l e c t r i cp o w e rm a r k e t i n gi sd e s i g n e d b a s e do nt h i s ，t h e e x i s t i n ga j l di s o l a t e dd a t ao fe l e c t r i cp o w e rm a r k e t i n gi si n t e g r a t e d t h ed a t aw a r e h o u s e i ne l e c t r i cp o w e rm a r k e t i n gi sb u i l tb yt h em e a n so fo r a c l e1o g t h ed a t am i n i n g ，w h i c h i sa sm e t h o da n dt e c h n o l o g yo fd a t aa n a l y s i si nd i s c o v e r i n gl a t e n ti n f o r m a t i o n ，h 嬲 a l r e a d yb e c o m et h eh o tp o i n to ft h ea t t e n t i o n f r o ma l lw a l k so fl i f e t h i sp a p e r i n t r o d u c e st h ec l u s t e r i n ga n a l y s i s ，d e c i s i o nt r e ea l g o r i t h ma n dan e wt y p eo fi n t e l l i g e n t c i u s t e r i n gd e c i s i o nt r e ea l g o r i t h m t h e ya r eg i v e ni nt h ea p p l i c a t i o no fe l e c t r i cp o w e r m a r k e t i n g l ix u e ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f y u a nj i n s h a k e yw o r d s ：d a t aw a r e h o u s e ，d a t am i n i n g ，e l e c t r i cp o w e rm a r k e t i n g 华北电力大学硕士学位论文摘要 摘要 本文介绍了电力营销的研究现状，对数据仓库、o l a p 和数据挖掘技术进行了 系统阐述，在对电力营销业务进行深入分析的基础上，确定了电力营销主题域，设 计了电力营销数据仓库结构，并在此基础上整合现有的、相互离散的电力营销数据， 使用o r a c l e1 0 9 建立了电力营销数据仓库。数据挖掘作为一种发现大量数据中潜在 信息的数据分析方法和技术，已经成为各界关注的热点，本文介绍了聚类分析、决 策树算法和一种新型的智能聚类决策树算法，并给出了算法在电力营销中的应用实 例。 关键词：数据仓库，数据挖掘，电力营销 a b s t r a c t t h er e s e a r c hs i t u a t i o no fe l e c t r i cp o w e rm a r k e t i n ga t p a p e r m o r e o v e r ， t h ed a t aw a r e h o u s e ，o l a pa n dt h e p r e s e n ti si n t r o d u c e di nt h e d a t am i n i n gt e c h n o l o g yi s e l a b o r a t e ds y s t e m a t i c a l l y b a s e do nt l l et h o r o u g ha n a l y s i so ft h ee l e c t r i c p o w e r m a r k e t i n gs e i c e ，t h et o p i cr e g i o no fe l e c t r i cp o w e rm a r k e t i n gi sd e t e 加= l i n e da i l dt h e s t m c t u r eo fd a t aw a r e h o u s ei ne l e c t r i cp o w e rm a r k e t i n gi sd e s 迢n e d b a s e do nt h i s ，t h e e x i s t i n ga j l di s o l a t e dd a t ao fe l e c t r i cp o w e rm a r k e t i n gi si n t e g r a t e d t h ed a t aw a r e h o u s e i ne l e c t r i cp o w e rm a r k e t i n gi sb u i l tb yt h em e a n so fo r a c l e1o g t h ed a t am i n i n g ，w h i c h i sa sm e t h o da n dt e c h n o l o g yo fd a t aa n a l y s i si nd i s c o v e r i n gl a t e n ti n f o r m a t i o n ，h 嬲 a l r e a d yb e c o m et h eh o tp o i n to ft h ea t t e n t i o n f r o ma l lw a l k so fl i f e t h i sp a p e r i n t r o d u c e st h ec l u s t e r i n ga n a l y s i s ，d e c i s i o nt r e ea l g o r i t h ma n dan e wt y p eo fi n t e l l i g e n t c i u s t e r i n gd e c i s i o nt r e ea l g o r i t h m t h e ya r eg i v e ni nt h ea p p l i c a t i o no fe l e c t r i cp o w e r m a r k e t i n g l ix u e ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f y u a nj i n s h a k e yw o r d s ：d a t aw a r e h o u s e ，d a t am i n i n g ，e l e c t r i cp o w e rm a r k e t i n g 声明户明 本人郑重声明：此处所提交的硕士学位论文数据仓库技术在电力营销系统中的应 用研究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和 取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：乏叁雪 日期：巡：至：! 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播学 位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名： 导师签名： 华北电力大学硕士学位论文 1 1 本课题研究背景及意义 第一章引言 随着市场经济的快速发展，我国电力工业也取得了长足进步，自改革开放以来， 我国发电装机容量就保持l o g w 年的速度增长，其中年平均增长率达到7 6 8 ；发 电量的年增长率也达到7 4 8 ，现在己基本形成了比较完善且具有相当规模的电力 体系。自1 9 9 6 年下半年起，我国的电力供需基本达到平衡，从而结束了自7 0 年代 初开始的持续了2 0 多年的全国性缺电现象，因此在基本满足国民经济发展和人民 生活水平提高的基础上，需要扭转电力行业垄断经营的现状，在电力市场中引入有 效的竞争机制。在这种情况下，建立竞争性的电力营销市场是电力工业市场化改革 的必然趋势。 电力营销，指的是电力企业在变化的市场环境中，以市场需求为导向，通过一 系列与市场有关的经营活动，提供满足客户生产和消费需要的电力及相应的服务， 从而实现电能交换，并获得利润的一种管理过程。我国从9 0 年代初期就开始开发 和使用电力营销管理信息系统，但受当时计划经济管理模式和技术水平的限制，其 设计思想、系统构架和数据库的选用均有着不可克服的缺陷。 在这种情况下，如何做好电力市场营销工作，求得自身的生存和发展，成为电 力企业面临的一个重要课题，其关键就是电力企业如何将传统的经营理念转变为以 先进的计算机网络技术为基础，以管理、战略为导向的经营观念；以市场为核心进 行战略部署，按照市场营销规律进行高效的电力营销决策：如何通过开拓电力消费 市场，优化内部管理机制，逐步确立在市场经济中的竞争优势，尽可能实现经济效 益和社会效益的最大化；不断增强为客户服务的观念，提高工作效率，改善公共形 象【。 随着电力信息网络的发展，人们希望营销信息管理系统能够提供更高层次的数 据分析功能，数据仓库技术恰好可以弥补原有系统的不足，满足这一要求，因此电 力营销数据仓库应运而生。本课题以现代营销理论为指导，按照电力营销的业务流 程，融合客户关系服务思想，利用数据仓库技术，应用数据挖掘工具，在电力企业 已有的管理信息系统基础上建立一个实用的电力营销数据仓库，为电力企业决策制 定者提供科学的决策依据。 1 2 本课题国内外研究现状 1 2 1 电力营销的研究现状 华北电力大学硕士学位论文 我国的电力营销系统是从上世纪9 0 年代初期，由简单的电费核算单机系统经 过不断的功能扩充与升级改造，形成了包括电费计算、业扩报装、计量管理、电费 收费、综合查询、银企联网等子系统在内的、囊括了电力客服支持系统“业务处理 层 的大部分应用网络系统。目前各省电力公司正积极建设自己的营销管理信息系 统，提高对市场的快速反应能力。如广东省电力局建立面向规划的数据仓库，利用 聚类、分类、关联、总结等规则进行数据挖掘，寻求负荷变化与经济因素的联系模 型，克服了单纯从数学模型角度进行负荷预测的局限性1 2 j 。 2 0 世纪8 0 年代以来，以英国、美国为代表的一些西方国家，对其电力市场及 电力营销体系进行了一系列的改革，将开放、自由的电力市场作为改革的目标，在 2 0 多年的摸索实践中取得了一定的经验。世界各国电力市场化改革的道路虽不尽相 同，但各国都强调要根据实际采用符合各自国情的电力市场模式，使电力市场更贴 近于其他相关的商品市场，更好地反映电力商品特殊性的特点。如意大利某电力公 司混合使用神经网络技术和模糊聚类，把用户的管理、消费、交易等数据进行综合 处理，以欧几里德距离为判据得到分类的用户模型，并用可视化的方式表达出来， 辅助进行用户分析的实例【3 j 。 1 2 2 数据仓库的研究现状 9 0 年代初，w h i n m o n 在“记录系统 、“原子数据”和“决策支持系统”等专 项研究报告中，提出了数据仓库( d a t aw a r e h o u s e ，d w ) 的概念，1 9 9 3 年，e f c o d d 发表p r o v i d i n go l a pt 0u s e r a n a j y s i s 一文，提出了o l a p 技术，并给出了o l a p 产品的十二条评价准则。数据库中的知识发现k d d ( k n o w l e d g ed i s c o v e r yi n d a t a b a s e ) 一词( 又称为数据挖掘) 的出现首先出现在1 9 8 9 年8 月在美国底特律召开的 第1 1 届国际人工智能会议( t h e1 1i n t e m a t i o n a lj o i n tc o n f e r e n c eo na d ) 。数据仓库是 市场激烈竞争的产物，它通过将大量的、不同来源的数据进行集成，能够把统一的、 丰富的、综合的信息提供给决策者，从而实现有效的辅助决策。数据仓库可以利用 多种分析工具进行数据展示，例如数据挖掘( d a t am i n i n g ，d m ) 和联机分析处理 ( o n l i n e a n a l ) r t i c a lp r o c e s s i n g ，o l a p ) 能够充分展现数据仓库中的数据内涵，发现数 据之间潜在的关联，从而可以为企业决策提供更强大、更全面的支持。 数据仓库的价值在于帮助人们制定能够改进商业过程的决策，而不是实现商业 过程的自动化。应用数据仓库技术，改善企业决策的支持模式，取得最大的投资回报 率( r o i ) ，是当今大多数成功企业达成的共识。根据调查，财富( f o r t u n e ) 5 0 0 强中有 8 5 的企业已经建成或正在建立数据仓库，d w 与i n t e r n e t 一样正在成为当前最快的 i t 增长点和技术热点。随着数据仓库及相关技术的发展，越来越多的企业开始建设 自己的数据仓库，但各个企业的业务、数据、应用各不相同，而在数据仓库的实现 2 华北电力大学硕士学位论文 中，也采用了多种不同的解决方案，出现了形形色色的数据仓库建模工具、分析工 具和展示工具。国外对数据仓库的研究始于9 0 年代初，现在已有一些商品化的数 据仓库，如s y b a s e i q 、o r a c l ee x p r e s s 和s q ls e i w e r 等；国内哈尔滨工业大 学开发了并行数据仓库管理p d w m s ，南京大学开发了数据仓库原型s o rb a s e w a r e 。 1 3 本文所做的工作 通过对供电企业的用电营销现状分析，发现了其存在的主要问题( 如历史数据不 能得到很好的利用，面向操作而不是面向分析，异构数据如何解决等 ) ，提出了建立 电力营销数据仓库的解决方案。 本课题研究的主要内容是对已有的电力营销历史数据进行科学和规范的整理， 充分利用现有数据，补充缺失数据，建立适合分析的数据仓库；利用数据仓库、数 据挖掘相关技术及工具，从多层次、多角度对原有的历史进行数据整合以及数据处 理，形成一个结构科学合理的、有弹性的电力营销数据仓库，在此基础上进行数据 分析，为电力营销决策支持与管理工作提供良好的信息服务环境。 本文的主要工作包括： ( 1 ) 利用散落在各种平台、各种系统中的电力营销相关业务数据或相关信息，建 立一个适合分析而不是操作的电力营销数据仓库，将事务信息变成决策和管理信 息。 ( 2 ) 在深刻理解供电企业营销现状的基础上，对历史数据进行面向主题的组织和 整理，并对数据挖掘技术和o l a p 技术进行分析和研究，设计电力营销数据仓库的 具体实现方案。 ( 3 ) 介绍了聚类分析、决策树算法和一种新型的智能聚类决策树算法，并给出了 算法在电力营销中的应用实例。 3 华北屯力大学硕士学位论文 第二章数据仓库及相关工具的概述 随着市场经济竞争的加剧和企业数据量的积累，人们不满足于利用数据库对数 据进行简单的查询、统计报表等处理，更加希望能够将异构的、多渠道得到的数据 综合处理和管理，从而更好的发挥这些信息资源的作用，帮助管理者进行决策。基 于此种需求，数据仓库的思想就应运而生了。数据仓库不是可以买到的现成产品， 它是一种解决方案，从事务发展和历史的角度来组织和存储数据，以提供信息化和 分析处理之用。通俗的讲，数据仓库就是企业内部一种专门的数据存储，用于支持 分析型数据查询。应用数据仓库及相关工具( 数据挖掘、o l a p ) ，可以更好的完成多 维数据查询，采用适当的数据挖掘算法可以对系统的某些主题进行发展趋势预测。 2 1 数据仓库概述 2 1 1 数据仓库与数据库的区别 数据库系统在许多企业已得到普遍的应用，它是面向操作的，进行简单的报表 查询等应用，由于这些系统生成的数据是当前数据并且是细节数据，这些数据随着 日常业务工作不停的被添加、修改或删除，是动态变化的。操作型数据库系统一般 都有明确的操作流程和数据处理方法，一次操作的数据量很小，但操作的次数非常 频繁，这就要求存取的频率高，并且响应的时间尽量短。 数据仓库是在数据库的基础上发展起来的，和数据库具有非常密切的联系，从 某种角度说数据仓库可以看作是根据主题划分数据的数据库。数据仓库的建立不是 要取代原有的操作型数据库系统，而是将企业多年的历史数据整理以后按照统一格 式进行存储与管理，通过对这些数据的分析，有效的获取有价值的信息，用于制定 企业战略、进行经营决策，帮助企业获得更好的经济效益和社会效益。使用人员每 次操作所涉及的数据量很大，但是访问的次数相对较低，主要进行查询操作，因此 存取频率较低，对响应时间的要求也不高。 2 1 2 数据仓库的定义及特征 顾名思义，数据仓库就是数据的仓库，它在存放大量数据的同时又能像仓库一 样将大量数据有效的管理起来，主要侧重于对海量数据的组织和管理，提供有效的 数据访问手段，同时结合o l a p 工具和数据挖掘工具，面向中高层管理人员，进行 统计、分析和挖掘，以获得用于决策的信息或发现相关规律。可以说，数据仓库主 要用于决策支持，数据处理的方式以分析为主，可有效发挥数据的价值。 自从数据仓库概念出现以来，不同的学者从不同角度为数据仓库下了不同的定 4 华北电力大学硕士学位论文 义。目前大家公认w h i n m o n 在其1 9 9 2 年所著的“b u i 】d i n gt h ed a t aw a r e h o u s e ” 一书中对数据仓库的定义最具权威性。他认为数据仓库是面向主题的、集成的、非 易失的，是随时间变化的数据集合，用来支持管理决策f 5 】。从定义中不难看出数据 仓库具有以下特征： ( 1 ) 面向主题的 主题是一个在较高层次将数据归类的标准，每个主题基本对应一个宏观的分析 领域，满足该领域分析决策的需要。数据在进入数据仓库之前经过加工与集成，将 原始数据结构做一个从面向应用到面向主题的转变。例如，企业销售的管理人员所 关心的是本企业哪些产品销售量大、利润高，哪些客户采购的产品数量多，竞争对 手的哪些产品对本企业产品构成威胁，根据这些管理决策的分析对象，就可以抽取 出“产品”、“客户”等主题。 ( 2 ) 集成的 数据仓库中的数据主要用于分析决策，必须进行归纳和整理。要解决源数据中 格式相异的问题，将它们统一到数据仓库的数据模式中。数据仓库是对源数据的增 值和统一，此外还需要根据主题进行有效的数据组织。 ( 3 ) 非易失的 数据仓库中的数据反映的是一段相当长时间内历史数据的内容，是不同时间点 的数据库快照的集合，一旦操作型数据进入数据仓库，只要数据没有超过存储期限， 一般不对数据进行更新操作，只进行查询操作。数据仓库中的数据更新频率低，时 间要求也更为宽松。 ( 4 ) 具有时间特征的 数据仓库随着时间变化不断增加内容，同时也要删去陈旧不用的内容。由于数 据仓库常用作趋势预测分析，一般保留5 至l o 年的历史数据。数据仓库的数据都 包含时间元素，是键码( 关键字) 的一部分。 2 1 3 数据仓库的相关概念 ( 1 ) 元数据【5 】 简单的说，所谓元数据就是关于数据的数据，如传统数据库中的数据字典就是 一种元数据。元数据是任何信息处理环境的一个重要组成部分，在数据仓库中，元 数据的作用尤为重要。元数据描述了数据仓库的数据和环境，使得用户能够更方便 的使用数据进行各种分析，辅助决策。元数据在数据仓库的设计、运行中有着重要 的作用，它表述了数据仓库中的各对象，遍及数据仓库的所有方面，是数据仓库中 5 华北电力大学硕士学位论文 所有管理、操作数据的数据，是整个数据仓库的核心。 从用户的角度对元数据进行分类，这种分类方式没有一个统一的标准，目前一 般分为技术元数据和业务元数据两类。技术元数据为系统开发人员提供有关数据仓 库准确和详细的信息，主要包括数据仓库逻辑、物理模型，数据仓库的表名、关键 字、索引、字段名、长度、属性，源数据的相关信息，源数据与数据仓库数据的对 应关系等。业务元数据为管理人员提供从数据仓库中获取信息的指南，主要包括从 业务角度考虑的数据结构，表或属性的业务名称，向下挖掘的规则等。 ( 2 ) 粒度 粒度问题是数据仓库的一个重要概念，粒度是指数据仓库的数据单位中保存数 据细化或综合程度的级别。粒度影响存放在数据仓库中的数据量的大小，同时影响 数据仓库所能回答查询问题的细节程度。粒度可分为两种形式：按时间段综合数据 的粒度及按采样率高低划分的样本数据库。 按时间综合数据的粒度是对数据仓库中的数据的综合程度高低的一个度量，一 般是按照不同时间段来综合数据。它既影响数据仓库中的数据量的多少，也影响数 据仓库所能回答查询的种类。粒度越小，细节程度越高，综合程度越低，回答查询 的种类就越多；反之，粒度的提高将会提高查询效率，但同时也造成回答细节问题 能力的下降。为了适应不同查询的需要，在数据仓库中经常是建立多重粒度，比如 可以同时有按周综合的轻度综合级数据和按月综合的高度综合级数据。 样本数据库是根据一定需求来自源数据的一个抽样，一般是随机抽取。样本数 据可以代替源数据进行模拟分析，建立起分析模型或是得到相对准确、能反映趋势 的数据，为用户下一步的策略确定方向或对当前分析程序做出相应调整。样本数据 库的抽取可以按照数据的重要程度不同来进行，样本数据库是建立在不同时点上的 粒度。 ( 3 ) 分割 分割也是数据仓库中的一个重要概念，它是指将数据分散到各自的物理单元中 去以便能分别独立处理，以提高数据处理效率。数据分割后的数据单元称为分片。 分割以后，小单元内的数据相对独立，处理起来更快、更容易。 数据分割的标准可以根据实际情况来确定，通常可选择按日期、地域或业务领 域等进行分割，也可以按多个分割标准的组合进行，但一般情况分割标准总应包括 日期项。 数据仓库的本质之一就是灵活的访问数据，但大块数据达不到这个目的，因此 要对数据进行分割。分割的优越性包括容易重构；容易重组；自由索引：顺序扫描； 6 华北电力大学硕士学位论文 容易恢复：容易监控等。 2 1 4 数据仓库的系统结构 按照w h i n m o n 这位数据仓库构造设计师的说法，“数据仓库是一个面向主 题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程”。数据仓 库具有面向主题性，主题是企业中某一宏观分析领域所涉及的分析对象，是针对某 一个决策问题而设置的，围绕主题组织数据，使得查询更为简便。数据仓库中的数 据具有集成性，它是对原始的、详细的数据进行筛选、清理、概括和聚集处理后的 结果，更适合决策系统的需求。数据仓库中的数据具有稳定性，不同数据源中的数 据经过抽取转换存储到数据仓库后，只能对这些数据进行查询、分析，不能修改， 数据仓库中的数据具有时变性，各数据源中不断变化的数据定期追加、汇总进入数 据仓库中。数据仓库系统结构通常包括数据仓库、管理部分和分析工具三个部分， 这三个部分之间的关系如图2 一l 所示。 数据仓库 元数据 用户查询 卜一，h 管理工具工具 、 也务数据库 抽取，转 3 换装载 综合数据 c ，s 工具 卜卜 数据文件 元数据 o l a p 管理 当前数据 工具 。 数据建模数据挖掘 外部数据 工具 历史数据 工具 源数据管理部分 存储部分 ( 数据仓库) 图2 1数据仓库系统结构 应用部分 ( 分析工具) ( 1 ) 数据仓库管理部分 数据仓库的数据来自多个数据源，包括企业内部数据和外部数据。在确定数据 仓库信息需求之后，需要进行数据建模，确定从数据源到数据仓库的数据抽取、清 理和转换过程，分析、划分维数以及确定数据仓库的物理存储结构。元数据是数据 仓库的核心，用于存储数据模型、定义数据结构、转换规划、数据仓库结构和控制 7 华北电力大学硕士学位论文 信息等。管理部分包括对数据的安全、归档、备份、维护、恢复等。 数据仓库管理部分的组成包括： 定义部件。这部件用于定义和建立数据仓库系统，包括设计和定义数据仓 库的数据库、定义数据来源、确定数据源向数据仓库复制数据的转换、清理规则。 数据获取部件。依据数据定义部件定义的规则从数据源中将数据提取出来并 转换成同一种类型的格式，然后加载到数据仓库中。 数据管理和存储部件。数据仓库的真正关键是数据的存储和管理，该部分负 责数据仓库内部数据的维护和管理，提供包括数据存储的组织、数据的维护、数据 的管理、数据仓库的维护等服务。 ( 2 ) 数据仓库工具集 数据仓库工具集主要由一些分析工具组成，属于数据仓库的前端，包括检索查 询工具、多维数据的o l a p 分析工具、统计分析以及数据挖掘工具等。数据仓库的 最终用户在这里从数据仓库中提取信息、分析数据并且实施各种决策活动。 2 2o l a p 技术概述 2 2 10 l a p 特点 联机分析处理( o l a p ) 与人们更为熟悉的联机事务处理( o l t p ，o n l i n e t r a n s a c t i o np r o c e s s i n g ) 相比较，o l a p 描述了这样类技术，即专门为特殊的数据 存取和分析而设计的技术，而o l t p 一般来说仅仅依赖于关系型数据库。在多维环 境中，o l a p 软件工具为终端用户提出的复杂事务分析提供了分析数据的技术。有 了o l a p 工具，高层管理人员就能通过浏览、分析数据去发现其变化趋势、抽样特 征及得到一些潜藏的细节信息，从而更好的掌握他们商务活动的变化。 o l a p 理事会给出o l a p 的定义是：o l a p 是一种软件技术，它使分析人员能 够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的，这些信 息是从原始数据转化过来的，它们以用户容易理解的方式反映企业的真实“维 特 性。o l a p 的目的是满足决策支持或多维环境特定的查询和报表需求，其技术核心 是“维 的概念，因此o l a p 也可以说是多维数据分析工具的集合，是数据仓库中 大容量数据得以有效利用的重要保障j 。 o l a p 的特点如下： ( 1 ) 多维性，多维性是o l a p 的关键属性。系统能够提供对数据分析的多维视图 和分析，包括对层次维和多重层次维的完全支持。事实上，多维分析是分析企业数 8 华北电力大学硕士学位论文 据非常直观有效的方法，是o l a p 的灵魂。 ( 2 ) 快速性。用户对o l a p 的快速反应能力有很高的要求。一般系统应能在5 秒 内对用户的大部分分析要求做出反应。对于大量的数据分析要达到这个速度并不容 易，因此需要一些技术上的支持与设计，比如专门的数据存储格式、大量的事先运 算和特别的硬件设计等。 ( 3 ) 信息性。不论数据量有多大，也不管数据存储在何处，0 l a p 系统应能及时 获取信息，并且管理大容量信息。这里有许多因素需要考虑，如数据的可复制性、 可利用的磁盘空间、o l a p 产品的性能以及与数据仓库的结合度等等。 ( 4 ) 共享性。共享性是在大量用户之间实现潜在地共享秘密数据所必需的安全需 求。 ( 5 ) 可分析性。o l a p 系统应能处理与应用有关的任何逻辑分析和统计分析。用 户无需编程就可以定义新的专门计算，将其作为分析的一部分，并且按照用户满意 的方式给出报告。用户可以在o l a p 平台上进行数据分析，也可以连接到其他外部 分析工具上，如时间序列分析工具、成本分配工具、意外报警、数据开发等。 2 2 2o l a p 的数据实现结构 o l a p 分为三种结构：基于多维数据库的o l a p 存储结构( m o l a p ) 、基于关系 数据库的o l a p 存储结构( r o l a p ) 、混合型的0 l a p 存储结构( h o l a p ) 。 ( 1 ) m o l a p ( m u l t i d i m e n s i o n a lo l a p ) ：是基于多维数据库的联机分析处理。数据 以多维方式存储，并以多维视图方式显示。多维数据针对不同的数据抽象层次，在 数据立方体上进行旋转，切片和钻取等多维分析操作，使最终用户从不同角度、多 个侧面观察数据库中的数据，从而获取数据库中的有用信息。其优点是响应速度快， 缺点是处理大量细节数据的能力差。 ( 2 ) r o l a p ( r e l a t i o n a lo l a p ) ：以关系数据库为核心，以关系型结构进行多维数 据的表示和存储。r o l a p 的底层数据库是关系型数据库，而不是多维数据库。 r o l a p 一般采用星型或雪花模型( s t a u rm o d e lo rs n o w n a k em o d e l ) 来表达多维数据 视图。星型模型由一个事实表( f a c tt a b l e ) 和多个维表( d i m e n s i o nt a b l e ) 组成，雪花 模型是星型模型的扩展。r o l a p 的主要特点是它的灵活性强，用户可以动态定义统 计或计算方式。r o l a p 的缺点是它对用户的分析请求处理的时间要比m o l a p 长。 ( 3 ) h o l a p ( h y b r i do l a p ) ：它不是m o l a p 与r o l a p 结构的简单组合，而是 这两种结构技术优点的有机结合，这种方式具有更好的灵活性。h o l a p 是将聚合 的数据按多维结构存储，对源数据的查询从关系数据库中检索，关系数据库中保存 的是详细数据，存储容量不受限制。采用h o l a p 的结构，可以快速响应分析处理 9 华北电力大学硕士学位论文 的要求。一种比较理想的实现h o l a p 结构的方法是利用一个多维数据库存储高级 别的综合数据，同时用r d b m s 存储细节数据。在该方法中，客户端用户提交一个 分析请求，由系统透明地从多维数据库中提取经过综合的数据或从r d b m s 提取细 节数据。 2 3 数据挖掘技术概述 2 3 1 数据挖掘的概念和分类 数据挖掘，从技术角度定义就是应用一系列技术从大型数据库或数据仓库的数 据中提取人们感兴趣的信息和知识，这些知识或信息是隐含的、事先未知而潜在有 用的，提取的知识表示为概念( c o n c e p t s ) 、规则( r u l e s ) 、规律( r e g u l a r i t i e s ) 、模式 ( p a t t e m s ) 等形式【2 。 数据挖掘从商业的角度定义就是一种新的商业信息处理技术，其主要特点是对 商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取 辅助商业决策的关键知识，即从一个数据库中自动发现相关的商业模式。 从不同的视角看，数据挖掘技术有不同的分类方法，包括根据发现知识的种类 分类，根据挖掘的数据库的种类分类以及根据采用的技术分类。 ( 1 ) 根据发现知识的种类分类。这种分类方法有：总结规则挖掘、特征规则挖掘、 关联规则挖掘、分类规则挖掘、聚类规则挖掘、趋势分析、偏差分析、模式分析等， 如果以挖掘知识的抽象层次划分，又有原始层次的数据挖掘、高层次的数据挖掘和 多层次的数据挖掘等。 ( 2 ) 根据挖掘的数据库分类。数据挖掘基于的数据库类型有：关系型、实物型、 面向对象型、主动型、空间型、时间型、文本型、多媒体、异质数据库和遗留系统 世 守o ( 3 ) 根据采用的技术分类。最常用的数据挖掘技术是人工神经网络、决策树、遗 传算法、最邻近技术、规则归纳、可视化等。 2 3 2 数据挖掘与数据仓库的关系 成功的数据挖掘的关键之一就是通过访问正确、完整和集成的数据，唯此才能 进行深层次的分析，而这些正是数据仓库所能够提供的。数据仓库不仅是集成数据 的一种方式，而且数据仓库的联机分析功能( o l a p ) 还为数据挖掘提供了一个极佳的 操作平台。如果数据仓库与数据挖掘能够实现有效的联结，将给数据挖掘带来各种 便利和功能。 1 0 华北电力大学硕士学位论文 此外，数据仓库为数据挖掘提供了更广阔的活动空间。数据仓库完成数据的收 集、集成、存储、管理等工作，数据挖掘面对的是经初步加工的数据，使得数据挖 掘能更专注于知识的发现。又由于数据仓库所具有的新特点，对数据挖掘技术提出 了更高的要求。另一方面，数据挖掘为数据仓库提供了更好的决策支持，同时促进 了数据仓库技术的发展。因此，数据挖掘和数据仓库技术要充分发挥潜力就必须结 合起来。 2 4 本章小结 本章首先介绍了数据仓库与数据库的区别，数据仓库的定义与特征，数据仓库 的相关概念，数据仓库的系统结构；其次介绍了o l a p 的特点及数据实现结构；最 后介绍了数据挖掘的概念和分类，数据挖掘与数据仓库的关系。以上的介绍为电力 营销数据仓库的设计开发、分析预测提供了理论基础。 华北电力大学硕士学位论文 第三章电力营销数据仓库的总体设计 数据仓库是面向数据分析的，它从数据组织到数据处理都跟数据库有较大区 别，因此在进行数据仓库设计时不能照搬数据库系统的开发方法。需求分析即主题 域的确定是数据仓库设计的关键所在，全面而准确的需求分析是设计是否成功的必 要条件。本章将针对实际电力营销工作中的决策问题进行较为全面的需求分析。讨 论并确定了数据仓库的开发工具，为数据仓库的具体开发提供了技术上的支持。 3 1 设计原则 ( 1 ) 应简便易用，面向最终用户 数据仓库面对的主要用户是领导决策者、各部门的业务人员，他们不是计算机 专业开发人员，因此数据仓库应该简便易用，使最终用户能够自主地获取所需的信 息，底层数据结构的细节对他们而言应该是透明的。应建立良好的人机对话界面， 各项操作使用简单。 ( 2 ) 应具备良好的安全性 数据仓库应具备良好的安全机制，实现客户身份认证、访问权限认证等安全检 测，确保客户数据的访问权限，防止客户数据被非法盗取。通过国际加密协议( s s l 、 d e s 等技术) 对客户传输数据进行加密，只有客户端才可以得到申请的数据信息，确 保数据传输中的安全性。 ( 3 ) 应具有充分的灵活性 电力营销系统业务种类较多，业务量大，因此除日常业务中的固定报表外，经 常有许多从基层采集来的实时数据需要及时组成各种统计报表汇总上报。基于这一 现状，数据仓库设计之初就应考虑其灵活性，这主要包括：对多数据源的支持；用 户自主的数据查询；灵活的数据分析；随意的报表制作；系统良好的开放性等。 ( 4 ) 应具备良好的伸缩性 目前数据仓库主要是支持电力营销方面的工作，但是考虑将来此数据仓库要与 整个生产管理系统、o a 系统等进行结合以形成一个完整的电力开发系统，提供全 面的决策分析支持，所以应能保证数据仓库具有升级、扩充的能力。 3 2 设计流程 数据仓库是一种解决问题的过程而不是一个可以买到的现成产品。企业人员往 往不懂如何建立和利用数据仓库，而数据仓库开发人员又不懂业务，不知道建立哪 ! 2 华北电力大学硕士学位论文 些决策主题，这就需要双方在沟通的基础上共同协商开发数据仓库，这是一个不断 往复前进的过程。 开发电力营销数据仓库的流程大体上可以分为以下几步： ( 1 ) 启动工程。建立开发电力营销数据仓库工程的目标及制定工程计划，计划包 括数据范围、提供者、技术设备、资源、技能、人员培训、责任、方式方法、工程 跟踪及详细工程调度等。 ( 2 ) 建立技术环境。选择实现电力营销数据仓库的软硬件资源，包括开发平台、 d b m s 、网络通信、开发工具、终端访问工具及建立服务水平目标( 关于可用性、装 载、维护及查询性能) 等。 ( 3 ) 确定主题。进行数据建模要根据决策需求确定主题，选择数据源，对电力营 销数据仓库的数据组织进行逻辑结构设计。 ( 4 ) 设计电力营销数据仓库中的数据库。基于用户的需求，着重于某个主题，开 发数据仓库中数据的物理存储结构，即设计多维数据结构的事实表和维表。 ( 5 ) 数据转换程序的实现。从源系统中抽取数据、清理数据、一致性格式化数据、 综合数据、装载数据等过程的设计和编码。 ( 6 ) 管理元数据。定义元数据，即表示、定义数据的意义及系统各组成部件之间 的关系。元数据包括关键字、属性、数据描述、物理数据结构、源数据结构、映射 及转换规则、综合算法、代码、缺省值、安全要求、变化及数据时限等。 ( 7 ) 数据分析工具。建立结构化的决策支持查询，实现和使用电力营销数据仓库 的数据分析工具，包括优化查询工具、统计分析工具、o l a p 工具和数据挖掘工具， 通过分析实现决策支持需求。 ( 8 ) 管理电力营销数据仓库环境。电力营销数据仓库必须像其他系统一样进行管 理，包括质量检测、管理决策支持工具及应用程序，并定期进行数据更新，使电力 营销数据仓库正常运行。 3 3 电力营销数据仓库的需求分析 根据现有用电m i s 的状况和功能对其进行需求分析，得出电力营销数据仓库应 包括4 个主要部分：综合查询、业务报表、综合分析以及客户分析，下面分别进行 介绍。 3 3 1 综合查询 主要实现对各个基层单位用电情况全面综合的查询，包括以下四个方面的查 13 华北电力大学硕士学位论文 询。 ( 1 ) 用户用电档案查询：实现对全局的大宗用户基本情况和用电情况的查询。 用户按以下几个条件进行组合查询： 供电地区( 固定选择) ； 电压等级( 单位k v ，固定选择) ； 行业、用电类别( 固定选择) ； 装见容量( 人工输入，单位为k v a ) ； 用户号( 固定选择) ； 用户名称( 固定选择) 。 在确定用户的情况下，可以查询用户用电档案的基本信息、上月抄表信息、变 压器及线路信息、电量电费信息( 可以指定查询的时间范围，查询分时电量、电费以 及该时间范围内的电量、电费合计) 等。 ( 2 ) 线路用电情况查询：实现对全局的某条配电线路用电量、总电费情况的查询。 某条配电线路按以下几个条件实现组合查询： 供电地区( 固定选择) ； 线路电压等级( 单位k v ，固定选择) ； 供电类别( 固定选择) ； 线路编号( 固定选择) ； 线路名称( 固定选择) 。 在确定某条线路情况下，指定查询的时间范围，可以查询线路的专变台数、专 变容量、公变台数、公变容量、用电户数、总电量、总电费等。 计算某线路电量电费的具体方法是：先找出给定线路上的所有变压器，对每个 变压器查出其下的全部有效用户，计算出每个变压器的电量电费，最后合并所有用 户的电量电费。 ( 3 ) 业扩工作查询：实现对全局的某用户的业扩及变更情况的查询。 业扩工作查询按以下几个条件实现组合查询： 供电地区( 固定选择) ； 申请编号( 固定选择) ： 1 4 华北电力大学硕士学位论文 用户号( 固定选择) ； 用户名称( 固定选择) ： 当前处理部门( 固定选择) ； 申请类别( 固定选择) ； 处理步骤( 固定选择) ： 处理状态( 固定选择) 。 在确定用户的情况下，可以查询申请基本信息、申请内容、申请电气设备、供 电方式( 变压器、线路) 、查勘意见、计量计费信息、业扩收费信息、工程管理信息、 审批意见、供用电协议、工作票信息、业扩流程信息等。 ( 4 ) 电能计量资产查询：实现对各个电能计量资产设备的分类动态查询。 设备按以下几个条件实现组合查询： 器具类别( 电能表、p t 、c t 、标准装置) ( 选其一) ； 供电局( 固定选择) ； 户号( 固定选择) ； 表型号(