（计算机科学与技术专业论文）基于数据仓库技术的电力公司结算系统研究.pdf

莲宁工程装本夫学躺等学力硬学筑论文 摘要 零文以电力总公司微枫结算系统韵开发为背景，论述了数据仓库技术 以及把数据仓痒技术灵活运丽于惫力公司微机结算系统的方法，掇出了魄 力公司徽枫缩簿系统瓣总体柒构，以及菇体髂嶷现方式。 本次研究携蓬熬藏是钱黠黑燕江省馕本巅奄七煤察爱煞全局供瞧营镂 终算情况，歼发一套熙有接广价德的基于数据套库技术的的电力络簿管邋 傣悫系绫。 本文对项目的需求分析、总体方案、系统功能、详细技术方案设计和 数撩仓霹技寒在本系统静实现方法等律出了详细的_ 奔缮，其体叙述了数据 的存谙按术及数据的抽取、转换和装载技术的实现。该系统采用w i n d o w s 2 0 0 0s e r v e r 系统为开发环境，应掰程穿采滔了褥囱对象的开发可章凳化编稷 语言v i s u a lb a s i c 、s q ls e r v e r2 0 0 0 终麓舞发乎金，该缀合羼鸯开发速发 恢，运行可靠等特点。这种开发拽术，可有效达到系统的安全性，易维护 羧鼗篾捷洼戆要求。 关键词：数据仓库电力结算数据抽取数据转换数据装载 辽宁工程技术大学同等学力硕士学位论文2 a b s t r a c t t h i sa r t i c l et a k et h ee l e c t r i cp o w e rm a i nc o r p o r a t i o nm i c r o c o m p u t e r c h e c k o u ts y s t e md e v e l o p m e n ta sab a c k g r o u n d ，e l a b o r a t e dt h ed a t aw a r e h o u s e t e c h n o l o g ya sw e l ta sn i m b l yu t i l i z e st h ed a t aw a r e h o u s et e c h n o l o g yi nt h e e l e c t r i cp o w e rc o m p a n ym i c r o c o m p u t e rc h e c k o u ts y s t e mm e t h o d ，p r o p o s e dt h e e l e c t r i cp o w e rc o m p a n ym i c r o c o m p u t e rc h e c k o u ts y s t e mo v e r a l lo v e r h e a d c o n s t r u c t i o n ，a sw e l la sc o n c r e t er e a l i z a t i o nw a y t h i sr e s e a r c hg o a li sa i m sa tt h eh e i l o n g j i a n gp r o v i n c ek i a m u s uc i t ys e v e n c o a l sg r o u p st h eo v e r a l ls i t u a t i o np o w e rs u p p l ym a r k e t i n gs e t t l e m e n ts i t u a t i o n ， d e v e l o p sas e th a st h ep r o m o t e dv a l u eb a s e do nt h ed a t aw a r e h o u s et e c h n o l o g y e l e c t r i cp o w e rs e t t l e m e n tm a n a g e m e n ti n f o r m a t i o ns y s t e m t h i sa r t i c l et ot h ep r o j e c td e m a n da n a l y s i s ，t h eo v e r a l lp l a n ，t h es y s t e m f u n c t i o n ，t h ed e t a i l e dt e c h n i c a lp l a nd e s i g na n dt h ed a t aw a r e h o u s et e c h n o l o g y a n ds oo nh a sm a d et h ed e t a i l e di n t r o d u c t i o ni nt h i ss y s t e mr e a l i z a t i o nm e t h o d ， n a r r a t e dt h ed a t am e m o r yt e c h n o l o g ya n dt h ed a t as p e c i f i c a l l ye x t r a c t s ，t h e t r a n s f o r m a t i o na n dt h el o a d i n gt e c h n o l o g yr e a l i z a t i o n t h i ss y s t e mu s e d w i n d o w s2 0 0 0s e r v e rs y s t e mi st h ed e v e l o p m e n te n v i r o n m e n t ，t h ea p p l i c a t i o n p r o c e d u r eu s e so b je c t o r i e n t e dd e v e l o p m e n tv i s u a lp r o g r a m m i n gl a n g u a g e v i s u a lb a s i c ，s q ls e r v e r2 0 0 0a c h i e v e m e n th a sd e v e l o p e dt h ep l a t f o r m ，t h i s c o m b i n a t i o nh a dt h ed e v e l o p m e n ts p e e dq u i c k l y ，t h em o v e m e n tw a sr e l i a b l ea n d s oo nt h ec h a r a c t e r i s t i c t h i sk i n do fd e v e l o p m e n tt e c h n o l o g y ，b u te f f e c t i v e l y a c h i e v e st h es y s t e mt h es e c u r i t y ，e a s ym a i n t e n a n c ea n ds i m p l ea n dd i r e c t r e q u e s t k e yw o r d ：t h ed a t aw a r e h o u s e t h ee l e c t r i cp o w e rs e t t l e m e n td a t ae x t r a c t d a t ac o n v e r s i o nd a t al o a d i n g 创新点声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果： 本文以电力公司的电力结算系统为背景，较为深入地研究了数据 仓库技术，提胀了能够满是实际需求的电力结算系统总体麴架，共采 用一些改进或创新的方法解决了实现这个构架的以下关键性问题： 采用关系型存储的星型模式以增强数据仓库的适应性和可扩展 性。既保证了定程度上的数据规范化，提高了数据质量，面且也透 应多维数据分析的灵活性需求。 通过设计较为完善的元数据结构及数据仓库管理工具，以自动灵 活的方式解决数据从数据源弱数据仓库的抽取转换并装载闰题，从两 增强了系统的适应性，降低了系统的维护费用。 尽我所知，到目前国内外文献未见报道。 辽宁工程技术大学同等学力硕士学位论文 1 前言 经过多年的建设，电力结算业务功能在逐步完善，在运行的联 机事务处理系统中已经积累了大量的经营和管理数据，这些信息是 电力企业业务发展的重要财富之一，是进行业务决策并实施经营战 略的关键。但是这些有用的信息一般分散在各种不同类型的联机事 务处理数据库中。另外，有关业务部门根据管理要求又需要利用这 些重要数据进行统计和分析，人工采集和处理这些数据既无法保证 数据的完整性和准确性，又将造成大量重复劳动力；同时高层管理 人员也无法及时、全面准确地掌握电力结算的各种信息，难以及时 根据市场变化作出正确决策。应用数据仓库技术，建设电力结算数 据仓库，能够实现将分散的电力结算系统内部各种跨平台的数据经 过重新组合和加工，构成面向决策的数据结构，电力结算系统的管 理人员可以在此基础上进行数据的深层挖掘、多维分析和动态查询 等。因此，开发基于数据仓库技术的电力结算系统成为很有必要的 事情，在下面的各章中将以开发一套电力总公司的微机电力结算系 统为例，谈谈其开发过程和所涉及到的问题及解决方法。 辽宁王程技术丈掌弱等学力硬士学镶论文 2 第章综述 1 1 电力结辣系统概述 电力总公司微机结算系统是一套微机化的电费管理系统。掇负 着屯攥集函公镯全是供壤营链韭务熬结算，受责本企簸获套供魄雳 户电量电费的结算及大部分市政、企事业的电力用户的结算，及所 有殿民用户的汇总考核，年结算墩量9 。2 亿发，年结算电费4 0 亿 元。缝算动力鲻户这数币户，经营赣管理数撵非常多，傣患量狠丈。 1 2数据仓库概述 数据仓瘁怒近年来兴起豹一秘掰静数据艨应用。砖统鹣数掇蓐 技术是以单一的数据资源，即数搬库为中心，进行事务处理、批箍 理、决策分析等各种数撮处理工作，主要的划分为两大类：操作型 处臻帮分褥型鲶理门绉惑墼处理) “。揉接受娃理遣鹾攀务箍理，建 指对数据库联机的日常操作，通常是对一个绒一组纪泶的查询和修 改，主要为企业的特定_ 陂用服务，注重响应时间、数搬的安全设和 完整毪；分接麓楚理鬟瘸子警霪入爨静决綮分辑，经黎要谤阉大量 的历史数据。而传统数据库系统优于企业的囡常事务处理工作，而 难予实现对数据分析处瓒要求，已经无法满足数据处理多样化的登 求。搽作鍪楚壤帮分撰羹处瑾煞分离成秃磐然。 数据仓库弥补了原肖的数据库的缺点，将原来的以单一数据庠 为中心的数据环境发展为静薮玮境：体系化嚣境。如图1 1 赝示： 羹1 1 数蓬念瘁体系链饔凌 辽宁工程技术大学同等学力硕士学位论文3 1 2 1什么是数据仓库 业界公认的数据仓库概念创始人w h i n m o n 在建立数据仓库 一书中对数据仓库的定义是：数据仓库就是面向主题的、集成的、 不可更新的( 稳定性) 、随时间不断变化( 不同时间) 的数据集合， 用以支持经营管理中的决策制定过程。 根据这个定义，数据仓库有以下几个特征： l 、面向主题性 所谓的主题就是根据用户提出的决策问题或决策需求进行抽象 的结果，它对应于某一个领域的分析对象，例如根据商场用户所提 出的“服装颜色与客户年龄的关系”、“哪个地区进的货最好卖”等 问题经过抽象后可转化为“客户”、“地区”等主题。数据仓库根据 最终用户的观点，按照主题组织和提供数据。一般的应用系统只能 按照应用的观点组织数据，而面向主题的特征则赋予了最终用户更 广泛的权利，可以按照自己的意愿查询和处理信息。 2 、集成性 由于数据仓库要管理历史信息，而在操作这些信息时需要涉及 到多个应用程序和多个数据库，所以需要收集和组织这些分散的、 跨平台的、异构的数据。操作型数据在进入数据仓库之前，必须要 经过统一与综合，这是数据仓库建设中关键而复杂的一步，所要完 成的工作是对源数据的规范化处理，例如对不同数据库中字段的数 据类型进行匹配，对字段的同名异义、异名同义、长度不一致等情 况进行规范化处理，对数据的综合计算等。 3 、 数据的时变性与不可更新性 实际上这两个看似矛盾的特性其实是不矛盾的，数据仓库中的 数据主要用来为企业决策提供支持，它所反映的是相当长的一段时 间内历史数据的内容，一般情况下并不进行修改操作。数据的不可 更新性是针对事务处理的应用来说的，也就是说数据仓库的用户进 行分析处理时是不进行数据更新操作的，但这并不是说所有数据仓 库中的数据都是永远不变的，事实上它们是随着时间而改变的：数 辽宁工程技术大学同等学力硕士学位论文4 据仓库随着时间的变化不断增加新的数据内容，数据仓库系统必须 不断捕捉操作型数据库中的新近变化的数据，并追加到数据仓库中； 数据仓库也可能根据需要删除旧的数据内容，数据仓库一般都有一 个3 到10 年的存储期限，当超过这个存储期限后，过期数据就应该 被删除。 - 数据仓库是一种语义上一致的数据存储，物理实现决策支持数 据模型，并且存放企业战略决策所需的信息，它能够为数据分析提 供高质量的数据源，更好地支持管理决策。数据仓库存储和管理不 同粒度和分割的大量数据，数据量常以l0 g b 甚至l0 0 g b 计，为了 便于进行决策支持，在数据仓库中应存在必要的冗余，以及完善的 索引结构。其实，数据仓库并没有严格、成熟的基本模式，它更偏 向于工程，具有很强的工程性，确切的说它是一种解决方案、管理 思想：以现有的数据库技术作为存储数据和管理信息资源的基本手 段，以统计分析等技术作为分析数据和提取信息的有效方法，以人 工智能等技术作为挖掘知识和发现规律的科学途径。 对于一个大型的企业，不可能要求一个单一层次的数据仓库能 够完全符合各种各样的分析的需求，所以应该建立起分层的数据仓 库，根据管理层次的不同需求建立全局数据仓库、部门级数据仓库， 并与原有的操作型环境形成一个多层次的体系化环境。对于这种多 层次的体系化环境的实现有两种方法：“自项而下”和“自底而上”。 “自顶而下”是指首先从原来分散的操作型环境中抽取数据来建立 一个全局数据仓库，然后再在全局数据仓库的基础上建立各个部门 级的数据仓库。这种方法有利于各级数据仓库的一致性控制，但全 局数据仓库往往规模大、数据全，建设起来周期长、费用大并且见 效很慢。“自底而上”是指首先建立数据仓库部门级的、小型的数 据仓库，它是面向主题的多维数据库，然后经逐步扩展和集成最终 建立起全局数据仓库。一般来讲，部门级数据仓库的数据量要比全 局数据呛库少一个数量级。这种方法可以先以较少的投资来完成企 业当前的需求，周期短见效快，能够增强企业决策者继续投资建设 辽宁工程技术大学同等学力硕士学位论文 5 数据仓库的决心。同时，这种方法也提出了分布式数据仓库的思想。 然而需要注意的是在建立数据仓库时应有全局的观点，以使得将来 能够将数据仓库集成为全局数据仓库。 目前对于数据仓库中应如何存储数据有两种观点： 1 、数据仓库中以关系形式保存企业的历史数据，当用户需要 对数据做多维分析时，如联机分析处理技术( 0 1 1 l i n ea n a l y t ic a l p r o c ess i l 3 9 ，简称o l a p ) 或联机分析挖掘技术( o n l i n ea n a l y t i e a l m i n i n g ，简称o l a m ) ，再将数据仓库中的数据转化为多维数据： 2 、数据仓库中存储的数据就是多维分析所需的数据，它们以 面向主题的方式进行组织。 第一种观点源于工业界，它强调了企业历史数据与转换后的多维数 据的不同之处，特别是实现时间的某些特殊需求，这种观点下的数 据仓库用于积累大量的、属性烦琐的企业历史数据，而用户所需的 多维分析系统若要保证足够的查询响应速度，就必须再对数据仓库 中+ 的数据进行抽取集成以获得支持多维分析的数据。第二种观点主 要源于学术界，这种观点认为既然基于数据仓库的多维分析系统需 要使用多维数据，那么为了简化问题，数据仓库中就直接存储按主 题组织的多维数据。为了简化问题表述和系统实现，在本文中将采 用第二种观点，即在部门数据仓库和全局数据仓库中都存储多维数 据。 1 2 2数据仓库的产生 计算机系统的功能从数值计算扩展到数据管理距今已有五十多 年了。最初的数据管理形式主要是文件系统，少量的在数据片段之 间增加一些关联和语义而构成层次型或网状数据库，但数据的访问 必须依赖于特定的程序，数据的存取方式是固定的、死板的。到了 19 6 9 年，e f c o d d 博士发表了他著名的关系数据模型的论文。此后， 关系数据库的出现开创了数据管理的一个新时代。 近几十年来，大量新技术、新思路涌现出来并被用于关系型数 据库系统的开发和实现：客户服务器系统结构、存储过程、多线索 辽宁工程技术大学同等学力硕士学位论文6 并发内核、异步i o 、代价优化，等等，这一切足以使得关系数据 库系统的处理能力毫不逊色于传统封闭的数据库系统。而关系数据 库在访问逻辑和应用上所带来的好处则远远不止这些，s q l 的使用 己成为一个不可阻挡的潮流，加上近些年来计算机硬件的处理能力 呈数量级的递增，关系数据库最终成为联机事务处理系统的主宰。 整个8 0 年代直到9 0 年代初，联机事务处理一直是数据库应用 的主流。然而，应用在不断地进步，当联机事务处理系统应用到一 定阶段后，用户便发现单靠拥有联机事务处理已经不足以获得市场 竞争的优势，他们需要对其自身业务的运作以及整个市场相关行业 的情况进行分析，而做出有利的决策。这种决策需要对大量的业务 数据包括历史业务数据进行分析才能得到。在如今这样激烈的市场 竞争环境下，这种基于业务数据的决策分析，比以往任何时候都显 得更为重要，我们把它称为联机分析处理。如果说传统联机事务处 理强调的是更新数据库向数据库中添加信息，那么联机分析处理 就是从数据库中获取信息、利用信息。因此，著名的数据仓库专家 r a l p hk i t u b a l i 写道：”我们花了二十多年的时间。将数据放入数据库， 如今是该将它们拿出来的时候了。 事实上，将大量的业务数据应用于分析和统计原本是一个非常 简单和自然的想法。但在实际的操作中，人们却发现要获得有用的 信息并非如想象的那么容易，这主要表现在以下几点： l 、所有联机事务处理强调的是密集的数据更新处理性能和系 统的可靠性，并不关心数据查询的方便与快捷。联机分析和事务处 理对系统的要求不同，同一个数据库在理论上都难以做到两全。 2 、 业务数据往往存放于分散的异构环境中，不易统一查询访 问，而且还有大量的历史数据处于脱机状态，形同虚设。 3 、 业务数据的模式针对事务处理系统而设计，数据的格式和 描述方式并不适合非计算机专业人员进行业务上的分析和查询。 因此有人感叹：20 年前查询不到数据是因为数据太少了，而今 天查询不到数据是因为数据太多了。针对这一问题，人们设想专门 辽宁工程技术大学同等学力硕士学位论文 为业务的统计分析建立一个数据中心，它的数据从联机的事务处理 系统中来、从异构的外部数据源来、从脱机的历史业务数据中 来。这个数据中心是一个联机的系统，它是专门为分析统计和 决策支持应用服务的，通过它可以满足决策支持和联机分析应用所 要求的一切。这个数据中心就叫做数据仓库。这个概念在9 0 年代初 被提出来。如果需要给数据仓库一个定义的话，那么数据仓库就是 一个作为决策支持系统和联机分析应用数据源的结构化数据环境。 数据仓库所要研究和解决的问题就是从数据库中获取信息的问题。 那么数据仓库与数据库( 主要指关系数据库) 又是什么关系呢? 回想当初，人们固守封闭式系统是出于对事务处理的偏爱，人们选 择关系数据库是为了方便地获得信息。我们只要翻开c j d a t e 博士 的经典之作a ni n t r o d u c t i o nt od a t a b a s es y s t e ms 便会发现：，今 天数据仓库所要提供的正是当年关系数据库所要倡导的。然而，由 于关系数据库系统在联机事务处理应用中获得的巨大成功，使得人 们已不知不觉将它划归为事务处理的范畴；过多地关注于事务处理 能力的提高，使得关系数据库在面对联机分析应用时又遇到了新的 问题今天的数据仓库对关系数据库的联机分析能力提出了更高的 要求，采用普通关系型数据库作为数据仓库在功能和性能上都是不 够的，它们必须有专门的改进。因此，数据仓库与数据库的区别不 仅仅表现在应用的方法和目的方面，同时也涉及到产品和配置上的 不同。 以辨证的眼光看，数据仓库的兴起实际是数据管理的一种回归， 是螺旋式的上升。今天的数据库就好比当年的层次数据库和网状数 据库，它们面向事务处理；今天的数据仓库就好比是当年的关系数 据库，它针对联机分析。所不同的是，今天的数据仓库不必再为联 机事务处理的特性而- 无谓奔忙，由于技术的专业化，它可更专心于 联机分析领域的发展和探索。 1 2 3数据仓库技术的发展 9 0 年代以来，计算机技术，尤其是数据库技术的发展为决策支持 辽宁工程技术大学同等学力硕士学位论文 系统( de c is i o n m a k i n gs u p p or ts y s t e m ，简称d ss ) 提供了技术支 持，激烈的市场竞争促进了高层次决策人员对d s s 的实际需求。两 方面的共同作用，促成了以数据仓库技术( d a t aw a r e h o u s i n g ，简称 d w ) 为核心、以o l a p 和o l a m 工具为手段建设d s s 的可行方案。 数据库技术的发展需要以下数据库技术的支持。 1 、高性能数据库服务器：d w 的应用不同于传统d b 。传统 d b 的应用是操作型的，而d w 的应用是分析型的，它需要高性能 的d b m s 核心的支持，以使较快地获得分析结果，这通常需数秒至 数分钟。虽然比联机事务处理应用的响应时间长一些，但由于分析 型应用涉及的数据量大，查询要求复杂，因此，对d b m s 核心的性 能要求更高，同d b m s 必须具有良好的查询优化机制。 2 、 并行数据库技术：d w 中的数据量大，而且随着时间的延 长，新的数据还会不断进入。d w 中的数据库通常是g b 甚至t b 级 的，可谓是超大规模数据库( v l d b ) 。而并行数据库技术是存储和管 理v l d b ，并提供对v l d b 复杂查询处理的有效技术。 3 、数据库互操作技术：d w 中的数据大多来自企业或行业中 业已运行的联机事务处理数据库或外部的数据源。这些数据库常常 是异构的，甚至是文件系统中的数据。d w 必须从这些异构数据源中 定期抽取、转换和集成所需要的数据，并把它们存入d w 中。因此， 异构数据源之间的互访和互操作技术是必需的。 1 3 开发基于数据仓库技术电力结算系统的意义 近年来，我国电力建设高速发展。两网改造在有些地区已初步 完成，用户不仅要求有电用，而且要求用高质量的电，享受到更好 的服务，提高电力部门电费时性结算水平，建立区域乃至全国统一 的电力大市场已成为所有电力部门的共识。由此带来的对传统结算 手段的改进需求已越来越强烈。随着生产、生活的现代化水平的提 高以及计算机技术和通讯技术的发展，电力耗用的自动抄表结算已 经成为必然趋势。对于电力公司管辖范围内广泛区域的电力用户实 现自动抄表与自动结算，可以提高电力公司收费工作的效率与准确 辽宁工程技术大学同等学力硕士学位论文9 性，便于实现计算机化管理，产生各种统计报表、打印收据。经过 多年的建设，电力结算业务功能在逐步完善，在运行的联机事务处 理系统中已经积累了大量的经营和管理数据，这些信息是电力企业 业务发展的重要财富之一，是进行业务决策并实施经营战略的关键。 但是这些有用的信息一般分散在各种不同类型的联机事务处理数据 库中。另外，有关业务部门根据管理要求又需要利用这些重要数据 进行统计和分析，人工采集和处理这些数据既无法保证数据的完整 性和准确性，又将造成大量重复劳动力；同时高层管理人员也无法 及时、全面准确地掌握电力结算的各种信息，难以及时根据市场变 化作出正确决策。应用数据仓库技术，建设电力结算数据仓库，能 够实现将分散的电力结算系统内部各种跨平台的数据经过重新组合 和加工，构成面向决策的数据结构，电力结算系统的管理人员可以 在此基础上进行数据的深层挖掘、多维分析和动态查询等。 因此根据企业目前实际的电力结算情况开发一套基于数据仓库 技术的电力结算系统是十分必要的。 1 可大面积降低线损； 2 为反窃电提供了一种有效的高技术手段： 3 可有效提高供电的可靠性； 4 具有实时抄表功能，可大大减少抄收人员的工作量； 5 为供电营销自动化提供可靠数据和技术基础： 6 现代化管理可提高企业工作效率： 7 可以存储用电档案，安全、高效： 、 8 可以迅速查到所需信息。 9 可及时打印电力结算报表。 10 可以为企业高层管理人员提供详实信息，为领导决策提供服 务t 1 1 可以使企业管理人员以数据仓库为基础，进行数据的深层挖 掘、多维分析和动态查询 辽宁工程技术大学同等学力硕士学位论文 第二章电力结算系统的分析与设计 2 1系统的需求分析 2 1 1 硬件环境 l 、服务器：l 台。 服务器：c p u 为i n t e l 至强高性能服务器c p u ，且为双路，磁 盘系统为双硬盘具有r a i d 和磁盘阵列功能，支持热插拔功能，硬盘 总容量为16 0 g ，内存为5 12 m 。 2 、工作站：管理机为p 43 0 ，512 m b 内存，8 0 g 硬盘。其它 工作站为普通品牌电脑，服务器带6 台工作站，工作站能单独完成 打印功能。 3 、打印机：3 4 台( k 4 + ) ，工作站可共享打印机。 4 、u p s ：山特牌两台，容量lk w 以上，支持30 分钟断电工 作。容量上需满足带一台打印机完成打印工作( 微机室) 。 5 、小型交换机：l 台。 2 1 2 软件环境 l 、系统平台的选择 考虑到本系统的性能要求，和现有的条件，我们选择了 w i n d o w s2 0 0 0se r v er 中文版作为开发、测试和运行的平台。因为 w i n d o w s 操作系统是目前应用最广的操作系统，它以全新的图形 界面，简单快捷的操作方式，支持多媒体功能等特点而成为软件发 展的流行趋势，选用它作为开发平台，易于功能的扩展和软件升级。 2 、数据库平台的选择 经过仔细调研，考虑到本系统所采用的数据仓库性能要求，我 们选择了m i c r o s o f t 公司的s q ls e r v e r2 0 0 0 数据库，s q ls e r v e r 2 0 0 0 数据库具有以下功能： ( 1 )完全支持w e b 。通过w e b 可以查询、分析和处理数据。 在s q lse r v er2 0 0 0 中使用可扩展标记语言( x m l ) 可以在松散耦 辽宁工程技术大学同等学力硕士学位论文 1 1 合系统之间交换数据。从浏览器通过防火墙可方便而安全地访问数 据，并可对有格式文档执行快速全文检索。分析和链接联机分析处 理( o l a p ) 多维数据集，即使在w e b 上也是如此。执行点击流分 析，以了解w e b 用户的情况。 ( 2 )高度可扩展性和可靠性。使用增强的可扩展性和可靠性 功能，可无限制地扩容。分散数据库工作负荷以获得应用程序的扩 展。充分利用对称多处理( s m p ) 硬件，并与m i c t o s o f tw i n d o w s 2 0 0 0d a t a c ：e n t e r 一起使用。服务器操作系统最多可支持3 2 个 c p u 和6 4g b 的r a m 。 ( 3 )对市场的快速反应能力。快速构建、部署和管。理电子商 务、各种业务和数据仓库解决方案。对用户数据和财务数据进行深 入的数据挖掘。使用集成的t s q l 调试程序可缩短开发时间，并 可开发在不同应用程序中可重复使用的自己的功能。s q ls er v e r 2 0 0 0 提供了w e b 应用程序开发的捷径。 3 、开发工具的选择 、 针对目前世界上流行的大量软件和开发工具，经过认真分析其 优缺点，结合电力结算管理系统的需要和目前的硬件环境，我们选 用微软w i n d o w s 平台下的v is u a lb a s i c6 0 ( 简写为v b 6 0 ) 作 为软件开发工具。选用该工具有以下几方面的优点： ( 1 )v b 6 0 是目前微机上最优秀的关系型数据库管理系统软 件之一，正如其名称中冠以的“v is u a l ”一样，它采用了可视化、面 向对象的程序设计方法，提供了大量的控件，这些控件可用于设计 界面和实现各种功能，减少了编程人员的工作量，也简化了界面设 计过程，从而有效的提高了应用程序的运行效率和可靠性，大大简 化了应用系统的开发过程，并提高了系统工程的模块化和紧凑性。 ( 2 )v b 6 0 版本中提供了大量的诸如“数据库设计器”、“表单 设计器”、“菜单设计器”、“报表设计器”等开发设计工具和向导工具 ( w i z a r d ) ，使以往费时费力的开发工作变得轻松自如。这些可视化 的设计工具免除了开发者编写大量程序代码的工作。 辽宁工程技术大学同等学力硕士学位论文1 2 2 1 3 网络环境 l 、微机室的微机系统单独组成局域网，具备与公司其它局域 网的联网能力及本办公楼配出工作站的能力。网络内部数据互为备 份。 2 、网络工作基础系统要求：功能先进，稳定性强，操作简单， 易于培训。 3 、用户权限：系统管理员易于用户权限设定管理。 2 2电力结算系统的系统分析 系统分析就是明确系统开发的目标和用户的信息需求，提出系 统的逻辑方案。系统分析在整个系统开发过程中，是要解决“做什么” 的问题，把要解决哪些问题、要满足用户哪些具体的信息需求都进 行详细调查、分析，从逻辑上或从功能需求上提出系统的方案。 通过对系统的调查和可行性分析，画出系统的数据流程图：见图2 1 实 集 时数据采l 调入原始数据 操作 人员 管理 人员 录入原始数据 查询结果 查询结果 查询 人员 电力结算系统厂i 丽 调入修改数据 打印输出结果 工作 人员 图2 1 电力结算系统数据流程图 2 3 电力结算系统的系统设计 管理信息系统设计阶段的主要目的是将系统分析阶段所提出的 反映了用户信息需求的系统逻辑方案转换成可以实施的基于计算机 与通信系统的物理( 技术) 方案。 辽宁工程技术大学同等学力硕士学位论文 具体要求对系统进行功能分解，直到分解成含义明确、功能单 一的单元功能模块，从而绘制出系统的功能模块图，即h i p 0 图。 电力结算管理信息系统的h i p 0 图如下：见图2 2 系 统 系 统 图2 2 电力结算系统的层次模块结构图 2 4 电力结算系统各模块功能 本系统共包含七个模块，分别是购电电费结算系统、大工业用 户系统、中小用户系统、汇总报表系统、电费账目系统、审核管理 辽宁工程技术大学同等学力硕士学位论文 系统、数据分析系统，各个系统主要完成功能如下： l 、购电结算系统：主要完成购入电业局、各市电厂、各计量 点变电所电量、电费的结算与汇总。 2 、大户系统：主要是完成月末各变电所、开关所购售电量、 电费的结算。对所购售的电量进行分盘统计。 3 、中小用户系统：主要是完成以下工作 ( 1 )线损处理系统：完成变电所、开关所6 k v 各线路的电量 计算，及各线路的电量损失情况汇总。 ( 2 )中小户结算系统：完成各普通工业、非工业用户等6 k v 线路所有中小用户的电量电费计算，及时发现计量失真现象。 ( 3 )台表系统：完成计算居民台区的电量电费计算，及时发 现居民台区的实抄电量和实际回收率。 ( 4 )低压系统：完成38 0 v 商业、普通非工业用户的电量电 费结算，及、时发现计量失真现象。 ( 5 )居民应收电费管理系统：完成对每个部分所有居民用户 的应收电费管理。 4 、报表信息系统：完成各类所需汇总报表，完成公司供电营 销的利润分析。 5 、记帐系统：完成对每个用户的电费帐目管理。为每个用户 建立应收帐款的明细帐。 6 、审核系统： ( 1 )管理工作、回收率的审查、考核及购售电的审查。 ( 2 )完成对变电所、开关所的母线不平衡率的审查、考核。 7 、数据分析系统： 完成按照用户编号、用户名称、线路号、时间等条件进行查询 的功能，可以根据数据仓库里的内容进行汇总分析，给领导进行决 策提供参考服务。 8 、日志文件管理： 在对源程序文件和基础数据修改之前将原数据备份存在专用目 辽宁士程技术大学同等学力硕士学位论文 1 5 录下( 时间精确到分钟) ，以便及时恢复，对操作人员的一些操作要 求有日志记载。 9 、智能化功能： ( 1 )操作人员输入数据和修改数据有提示功能，系统管理员 改动有临时备份及提示功能，( 例如：入表示数，少于前表示数时， 程序应该拒绝执行。) ( 2 )各个分系统数据自动双向检测功能。例如大户电量结算 中，基础电量由线路系统汇总过来，自动双向检测。 ( 3 )增加用户、删除用户，修改基础数据一经确认后，不经 授权不允许再修改。 ( 4 )各分系统应建立关联关系。分系统更改数据，相关联数 据应随之变动。 2 5 电力结算系统数据仓库的设计 2 5 1 设计方法 由于原有的电力结算系统的数据库所存储和管理的主要是日常 业务处理数据，属于操作型数据库，而我们所要实现的目标是对在 一定粒度上汇总的数据进行复杂的分析处理，为领导提供决策支持， 这就可能会用到一些特殊的数据组织、存取方法和基于多维数据模 型的实现方法。如果在原有业务系统的数据库上直接进行这些复杂 的操作，势必会降低其性能，从而大大影响日常事务处理的速度， 所以我们将根据用户需求，围绕用户感兴趣的主题，从原有的操作 型关系数据库中抽取出所需的数据来构建专门用于支持数据分析的 数据仓库。为了以先期较少的投资来完成用户当前的需求，有效的 缩短见效周期，所以本系统采用“从底而上”的方法来建立电力结 算系统数据仓库：首先以现有的各个业务部门的操作型业务数据库 为基础，快速建立各个业务处理部门的数据仓库，以分别支持对各 业务部门数据的分析处理，满足各部门领导进行决策的需求。然后 再在各个业务部门的数据仓库和业务数据库的基础上搭建整个电力 结算系统的全局数据仓库，为更高层的总公司领导提供决策支持。 辽宁工程技术大学同等学力硕士学位论文 当然，在设计各个部门的数据仓库时应该有全局的观点，注意对同 类数据的定义和粒度的划分标准一致，以免在把这些数据仓库集成 为全局数据仓库时造成混乱。 2 5 2 数据仓库体系结构设计 根据对数据仓库技术理论的研究和对本电力结算系统项目实际 情况的分析，在这里，我们采用了如图2 3 仓库体系结构。 源数据 图2 3 数据仓库体系结构 在图2 3 数据仓库体系结构中，包括以下几个部分： 1 、 数据仓库设计 该部分为用户提供用于设计数据仓库的功能。所谓的数据仓库 设计功能，实际上就是为用户提供数据仓库逻辑建模，并最终把这 个逻辑模型映射到某个实际的关系数据库的物理存储结构模型的手 段。 2 、数据获取 辽宁工程技术大学同等学力硕士学位论文 1 7 数据仓库中的数据可能来自于多种业务数据源，这些数据源可能基 于不同的硬件平台和操作系统，并且数据以不同的格式存在于不同 的数据库中。如何从数据源中获取数据，并对其进行必要的处理， 如数据清理、数据集成、数据变换和数据规约等，并最终向数据仓 库中加载这些数量巨大、经过预处理的数据，已成为建立数据仓库 所面临的一个关键问题。而数据获取部分就是为了满足的这一需求 而建立的。 3 、元数据管理 用于管理数据仓库的元数据，它包括对本数据仓库元数据的管 理，及对外部元数据导入、导出的管理。对本数据仓库元数据的管 理指的是在元数据库中对元数据记录的增加、删除、修改和查询操 作，这些管理通常可以由系统在用户对数据仓库进行操作时自动完 成。因为在本项目中对电力结算数据仓库的采用“自底向上”的设 计方法，所以首先分别建立各个电力业务部门的数据仓库，而每个 数据仓库都有自己相应的元数据库。当要在各个数据仓库的基础上 建立综合的电力结算数据仓库时，就需要把这些数据仓库中的一些 数据经综合处理后装入电力结算数据仓库中，这时就会存在数据仓 库和数据仓库之间元数据导入、导出操作，所以系统的元数据管理 部分也要对这些操作进行管理。 ，4 、数据仓库元数据存储 该部分的功能是完成对本数据仓库的元数据进行存储，为企业 用户应用程序及数据仓库体系结构中的其他部分提供元数据使用支 持。 5 、数据仓库数据存储 该部分的功能是完成对本数据仓库的数据进行存储，为企业用 户应用程序提供数据支持。 6 、数据访问 该部分用于为企业的最终用户提供访问和分析数据仓库数据的 工具，包括o l a p 分析工具、数据挖掘工具等。通常，这些工具为 辽宁士程技术大学同等学力硕士学位论文 用户从不同的角度、不同的方式对数据仓库中的数据进行分析提供 支持，并最终以丰富的展示方式来报告分析结果，如报表方式、直 方图、曲线趋势图等。 7 、中间件 该部分为数据访问部分提供访问数据仓库中数据的方法。通常， 该部分在接受数据访问部分的数据请求后，在本数据仓库的元数据 库中自动查询相应的元数据，再通过元数据到数据仓库中获得所需 的用户请求数据，并把这些数据返回给数据访问部分中相应的数据 分析工具。 2 5 3 电力结算系统数据仓库组成 本电力结算系统的数据仓库实现主要由以下两个部分所组成： 数据存储、数据仓库管理，将在下一章对这两个部分做具体描述。 2 5 3 1 数据存储 数据存储由以下几个部分组成：各个部门数据仓库、及将来在 各个数据仓库的基础上组建的全局总公司数据仓库，对应各数据仓 库的本地元数据库，及对应全局数据仓库的全局元数据库。 ( 1 )部门数据仓库与全局数据仓库 本电力结算系统构建的数据仓库包括：购电数据仓库j 大户数 据仓库、中小户数据仓库、线损数据仓库、实抄数据仓库。 ( 2 ) 本地元数据库与全局元数据库 为了保证数据仓库的可用性，元数据是至关重要的。为了保证 元数据的安全性和可用性，它和数据仓库数据的存储应该是相互独 立的。 本地元数据库用于存放某个数据仓库的元数据，如购电数据仓库的 元数据；全局元数据库则用于存放全局数据仓库的元数据。 2 5 j 3 2 数据仓库管理 在本电力结算系统中，数据仓库管理实现以下两个功能：一个是 设计数据仓库的逻辑结构和物理存储结构，并在目的关系数据库 s q lse v e r2 0 0 0 中物理建立数据仓库；另一个就是根据用户决策分 辽宁工程技术大学同等学力硕士学位论文 析的需求，把源数据进行抽取、变换，并最终把这些经过预处理的 高质量数据加载到数据仓库中。 辽宁工程技术大学湖等学力硕士学位论文 第三章数据念库技术在电力结算系统中的威用 3 1 数据存储的设计与实现 在本毫力缝算系统孛采燃s q ls e r v e r2 0 0 0 来存箍实现数暴仓 霹，数据仓摩管理本质上是为用户提供了一个在s q ls e r v e r2 0 0 0 建立关系表及它们之间关系的工具。数据仓库管理员根据数据分析 需求设计好所需的主题模型，并在数据仓库管理工具的界筒内定义 出租应兹维表、事实表及其巾鹣各羼性字段。在逻辑建壤遐程串， 瘟蓄先定义该恚题豹各个维裘，蠢秀事实表将对应该主题瓣各个维 表的主键建波相应的外键，弗把这些外键缀合后作为自己的主键， 所以为了减少用户的工作量弗保证正确的维袭与关系表间的关系定 义，系统将囊动实现事实袭激键定义的过糕。在本电力结算系统中 麓数器仓疼模式静罄改是敬囊题壤秀基本蘩缘憨，毪藏一是说数据仓 库中的表都总是只属于某个童题域的。 当用户定义好了数据仓库的逻辑模型厢，就可以选择目标数据 蓐s q ls e r r e r2 0 0 0 豹物理参数，如该主鼷所要存入的表空间，各 个表懿存疆参数等，然螽本系统将按爨基宠义菇瓣该圭嚣戆逻辑模 型和物理模型，生成相应的s q l 语句，并谯连接s q lse l v e t2 0 0 0 数据库后运彳亍该语句，在数据库中物理生成该主题相关联的所有维 表、事实表和蜜化视图，并照把相关的元数据信息存入相威的元数 据表孛。当蠲户没毒选择数攥薄魏理参数辩，系统褥按爨竣省参数 设置进行处瑗。系统在物理嫩成数据库表的时候，会首先擞成维表， 再生成事实袭，最后生成实化视图。在这飘所使用的元数据表有： 数据仓库主题结构表，以存储备个主题中事实表与维表的对应关系； 数据仓痒表终秘表，疆存耱务令事实表霹缀袭孛戆字段名嚣、键字 定义情况、警段的数据类型及长度等。 。电力结冀系统的业务可以按照不同的象题域分为六类：犬户、 中小户、记账、审核、报表信息、结算。大户主题包含与火客户相 辽宁工程技术大学露等学力醭士攀整论文 2 l 关的基本信息，如大客户的电凝结算、电费结算铸相关属性。中小 户圭题中镪含了与中小客户槌关的信患，如中小低压结算用户的实 抄电量、台表电量、交损线路、线损失率及加量警等；记账主题中 包含电费账目管理和汇总科目余额表等情况：审核主题包含分别按 变毫颞、开关凄茳憨分盘电璧，期每个掰载爨鸯线鼹电量舍诗信崽、 汇总开关所的总受魄量信息、按变电所汇总销售电量，却所有认可 单中的总会计电量信息、各种损失率信。恩；报表志题包含对所有转 貘结算溺声遴霉甥缨汇憨形成瓣羁缀总袭、鼹爨露臻缨爰户接交毫 所和市政、局内分别汇总信息、按要求将购电和伪电汇成全市电量 周报表等：结算主题包含购入电业局、电厂计量点的各入口线路电 爨，鬏蠢器线电量苏标记汇总毽电堑嚣器交耄掰戆毫量情掇、应键 电费、形成的应付帐目的明细液等信息。对于主题的建模采用星型 结构，以豢实表或概要表如棚关维表构成。在建寂各个业务部门数 据仓库数据模型之麓，首先螫对该部门豹数据分耩任务、及决策支 持需求进行分析。由于在建立各个业务部门数据仓库所采用的设计 思想、方法、实现步骤大致棚阕，鼹以本文仅以大产系统数据仓库 数据模型的建立为倒做较详纲的说明。 3 1 1 数据仓库的设计模式 3 。l 。1 。1 关系型存德瓣星型模式 大户系统数据仓库应能够提供大户系统的各变电所、歼关所、 备线路的有功电量、无功电量、峰电量、谷电量、平电量、功率因 数及各颈魄费结算镰较隽综会瓣售意，必黎门领罨澍嚣邀力采魏诗 划、供应计划提供数据支持。根据所需的数据分析任务，我们在大 户系统数擐仓库中建立两个主题：电量拣算、电赞结算。 t 数器仓库静实现基于逻辑的多维数糖模型，褥存褚的