（电路与系统专业论文）可视化运行决策支持系统在PDA现场校表中的应用研究[电路与系统专业优秀论文].pdf

浙江大学硕士学位论文 摘要 电力系统运行监测管理是一项复杂的系统工程，同时又是一个典型的非结构 化问题。随着电力产业的快速发展和用电管理水平的不断提高，传统的电力信息 系统已经不能满足用户的要求，越来越多的场合开始采用决策支持系统来解决电 力资源管理问题。 本文分析了电力系统管理信息化以及决策支持系统的发展现状，针对现有电 能负荷预测算法互动性不足的弱点，提出了p d a 电能校验可视化运行决策支持 系统的研究课题。系统首先对大量历史电量负荷数据进行预处理，建立远程抄表 数据仓库。系统运行过程中，利用数据仓库和数据挖掘规则，实现用户日常电量 负荷数据的综合联机分析处理，测量点中长期和短期电量负荷预测，负荷实时监 控和预警报告，现有测量点电能质量的分析和建议，为管理者科学决策提供支持。 本文对整个系统的需求分析、功能设计和模块开发做了详细阐述，对系统性 能做了分析评估。测试结果表明，系统运行稳定，能顺利完成各项业务流程，响 应性能良好，达到了系统的设计需求，具有广阔的应用前景。 关键词： 决策支持，电力系统，数据仓库，负荷预测，三相不平衡 浙江大学硕士学位论文 a b s t r a c t n o w a d a y s ，t h es u p e r v i s i o na n dm a n a g e m e n to fe l e c t r i c p o w e rs y s t e m si sar e a l l y c o m p l i c a t e ds ys t e m a t i cw o r k m e a n t i m e ，i ti sat y p i c a le x a m p l eo fn o n s t r u c t u r e p r o b l e m w i mt h ed e v e l o p m e n to fp o w e ri n d u s t r ya n dt h ei m p r o v e m e n to fp o w e r m a n a g e m e n t ，t h et r a d i t i o n a le l e c t r i c p o w e rm a n a g e m e n ti n f o r m a t i o ns y s t e m ( m i s ) h a s b e e nn ol o n g e re f f i c i e n tf o rc u s t o m e r s m o r ea n dm o r ep e o p l ea leu s i n gd e c i s i o n s u p p o r ts y s t e m ( d s s ) t os o l v ep r o b l e m so fp o w e rm a n a g e m e n t i nt 1 1 i st h e s i s ，w ea n a l y z et h ec u r r e n ts t a t u so fe l e c t r i c p o w e rm a n a g e m e n t s y s t e m sa n dd s s i no r d e rt o s o l v et h e i n s u f f i c i e n c yo fi n t e r c o m m u n i c a t i o n i n t r a d i t i o n a lm e t h o d s ，w ed e s i g nt h i sv i s i b l ed s sr u n n i n gi np d a e l e c t r i c - p o w e rf i e l d c h e k o u ta r e a t h ee s t a b l i s h i n gs t e p sa r el i s t e db e l o w ：f i r s t l y , b u i l dad a t aw a r e h o u s e o fe l e c t r i ci n f o r m a t i o n ；s e c o n d l y , d ov a r i o u sc o m p l e xa n a l y s i so fe l e c t r i cd a t a ，s u c h a st h ec h a r g ef o r c a s t i n g ，b ym a k i n gu s eo fo n l i n ea n a l y t i c a lp r o c e s s i n g ( o l a p ) a n d d a t am i n i n g ；f i n a l l y , g i v es u g g e s t i o n so fi m p r o v i n gp o w e r q u a l i t yt od e c i s i o nm a k e r s a n df i e l du s e r s t h et h e s i sd e s c r i b e sr e q u i r e m e n t sa n a l y s i so ft h ee m i r es y s t e m ，f u n c t i o n d e s i g n i n ga n dm o d u l ed e v e l o p i n gt h o r o u g h l y t h ep e r f o r m a n c eo fo u rs y s t e mi s t e s t e da n de v a l u a t e d ，a n dt h er e s u l t si n d i c a t et h a to u rs y s t e mr u n sv e r yw e l l a tt h e s a m et i m e ，t h ep e r f o r m a n c ei ss a t i s f a c t o r y ，e v e r yr e q u i r e m e n to f t h es y s t e mi sr e a l i z e d i ns u m ，o u rd s si sao u t s t a n d i n gs y s t e mw h i c hh a saf a i r l yw i d ea p p l i c a t i o n f o r e g r o u n d k e y w o r d s ：d e c i s i o ns u p p o r t ，e l c t r i c p o w e rs y s t e m ，d a t aw a r e h o u s e ， c h a r g ef o r c a s t i n g ，i m b a l a n c eo ft h r e ep h a s e s 1 1 1 浙江大学硕士学位论文 1 1 课题研究背景 第一章绪论 1 1 1 电力系统信息管理的发展概况 现代社会中，电力与经济密不可分。随着社会的发展，人民生活水平的不 断提高，电力在工业、农业、国防、科研、人民生活，以及国民经济的其他各 个部门中，愈来愈广泛的被应用，大大提高了劳动生产率，改善了劳动条件。 与此同时，伴随着电力事业的快速发展，电力企业产生了正在以指数速度 增长的大量基础性数据，展现在运行人员和决策者面前的已经不是局限于本单 位、本部门和本行业的庞大数据库，而是浩瀚无垠的数据海洋。传统的管理信 息系统只能对数据库中的数据进行诸如录入、查询、统计等操作性处理，通过 这种处理所获得的信息仅仅是整个数据库所包含信息知识的一小部分，缺乏对 数据整体特征的描述及其发展趋势预测方面的知识，无法发现数据中存在的关 系和规则以及根据现有的数据预测未来的发展趋势，导致“数据爆炸和知识贫 乏”的现象。 信息技术的迅猛发展使越来越多的企业认识到，信息作为一种战略性资源， 能决定一个企业在国内和全球竞争中的命运。如何将这些操作型基础数据转变 为决策型信息，从这些历史数据中挖掘出“宝藏”，为企业发展提供辅助决策依 据，已经成为当前电力企业的当务之急。各级电力企业各具特色的管理信息系 统已经逐渐在全国范围内广泛应用。其中，负荷预测管理系统、电力客户服务 系统、远程自动抄表系统就是最典型的信息系统应用，标志着电力信息化的深 入。而这些信息化系统的应用也将有效地促进企业对外服务、提高内部工作效 率和为管理者提供最佳管理与决策方案服务，从而提高企业的经济效益、管理 水平【l 】o 目前电力管理系统的应用框架一般如图1 1 所示： 浙江大学硕士学位论文 1 1 2p d a 电能现场校验系统的发展概况 用电量的度量是由各个用电点的电能表来统计完成的。电能表是电力企业 与客户交易的结算依据，电能表的校验工作是电力营销管理的重要工作内容。 过去，校表人员先安排当天的校表任务，接着，带着校验仪去校表现场把校验 结果记录到本子上，然后将校验结果输入到计算机中。这样做不仅使得校表人 员疲于安排各种计划、记录各种数据、统计各类报表，而且随时都有可能发生 错误【2 】，【3 1 。 p d a ，即个人数字助理( p e r s o n a ld i g i t a la s s i s t a n t ) ，是一种比笔记本还要 小得多的手持式电脑，可以作为电子笔记本处理日常简单事务或传递电子信息 4 1 。利用p d a 可以在移动工作中把业务数据现场输入，实现数据采集过程的数 字化。基于p d a 的电能表现场智能校验系统能够规范校表工作程序，加强管理， 提高效率，实现电能表现场校验的无纸化，消除人为引起的错误，方便外勤人 员工作。 典型的p d a 电能现场校验系统是一个由p d a 检查终端和主站服务器以及 接口通讯部分组成的c s 模式系统，其拓扑结构如图1 2 所示。 浙江大学硕士学位论文 争一“ ；赫撑 r 。； ； 碍，州垮 ； j ，一一 图1 - 2 用电现场检查系统拓扑结构 主站管理部分可以智能生成校表任务、安排任务，保存和统计校表对象信 息及电能表校验数据等，方便地实现了对系统数据库中的各种数据的处理及维 护。手持p d a 现场校验部分主要用于校表现场，实现对电能表校表的自动数据 采集及和主站部分的通讯。接口通讯部分主要实现串口通讯( 可用任务下发、 校验结果的上传) 、g p r s 通讯( 主要用于现场校验时信息查询) 、与营销系统 的数据对接功能。 如图1 2 所示的用电现场检查系统实现了电能现场校验的“记录无纸化、 处理信息化、管理规范化”，大大提高了校表工作的工作效率。 1 2 课题研究目的和意义 课题的研究背景已经提到，目前电力系统的抄表校验工作已经逐渐采用 p d a 远程自动抄表系统实现。利用p d a 电能校验系统完成对测量数据的自动 采集和管理，可以替代低压用户抄表、重点用户抄表、变电站抄表等人工日常 抄表工作，达到提高工作效率，减少人为差错。但是决策支持系统的应用现状 并不理想，很多已经投入使用的系统其功能也非常有限，不少开发的系统仅为 简单的查询系统或报表系统，并不能给决策者提供需要的辅助决策信息，远远 达不到人们的期望。随着抄表校验系统运行时间的推移，数据量不断增长。如 浙江大学硕士学位论文 此大量数据的存储，管理、分析、利用，引发了系列亟待解决的问题【5 】1 6 。 例如： ( 1 ) 基于传统数据库的数据管理系统，随着数据量的增加，统计查询性能大 幅度下降。 ( 2 ) 入机交互能力不足。传统的电力决策支持系统采用模型操作数据，由系 统设计者定制预测模型，使用者和系统之间的互动能力较差。 ( 3 ) 预测模型的改进能力较差。传统系统使用的预测模型和各个模型参数在 实践中根据用电点现场情况更新的不多，不能充分发挥管理人员的长期一线经 验。 ( 4 ) 传统系统仅仅给用户提供了原始数据查询和固定格式的报表输出，用户 不能随意地利用这大量的数据，灵活方便、直观地进行统计分析。 ( 5 ) 一般系统只能给到用户现有数据的查询和统计，无法基于用户现有的用 电情况给出用电负荷和电能质量等方面的建议。 本课题是浙江省科技计划项目中的子课题。针对上述不足，希望建立一个 可视化决策支持系统，运用在电能现场校验工作中，探索用电监测和校表可视 化决策支持系统构架和实施的新途径。在系统运行过程中，利用数据仓库和数 据挖掘规则，实现日常电量负荷数据的综合联机分析处理，当前负荷分析与管 理，中长期负荷预测，现有测量点电能质量的分析和建议，实时监控和预警报 告，进一步为管理者提供决策支持。 1 3 课题研究内容和论文结构 本课题完成可视化运行决策支持系统在p d a 现场校表中的应用实现，具体 包括系统需求分析，系统架构，系统开发和运行环境的选择，各个功能模块的 设计，实现综合查询、负荷预测、监测预警、三相不平衡度分析等功能，帮助 决策者提高决策水平和决策质量。 本文以下各章节结构如下： 第二章，决策支持系统的研究。介绍决策支持系统的概念，以及数据仓库、 联机分析、数据挖掘等关键技术。 第三章，p d a 电能校验决策支持系统的设计。分析客户需求和系统功能， 4 浙江大学硕士学位论文 选择合适的系统开发和运行环境，完成系统拓扑结构设计和各个功能模块的系 统级划分。 第四章，系统关键模块的具体设计实现。完成数据仓库模块、负荷综合查 询分析模块、负荷预测模块、监测预警模块和三相不平衡分析模块等五个关键 模块的设计。其中负荷预测模块利用数据仓库的历史数据与预测算法，结合管 理人员的长期经验进行可视化互动，实现用电点的中长期和短期电量负荷预测。 第五章，系统测试结果和分析。对本文设计的系统进行预测准确性和运行 稳定性测试，分析测试结果，判断系统可行性和应用价值。 第六章，对本文的研究内容进行总结和展望。 浙江大学硕士学位论文 第二章决策支持系统 2 1 决策支持系统概述 2 1 1 决策支持系统的定义 决策支持系统( d e c i s i o ns u p p o r ts y s t e m ，简称d s s ) 是一种以计算机为工 具，应用决策科学及有关学科的理论与方法，以人机交互方式辅助决策者解决 半结构化和非结构化决策问题的信息系统。它是管理信息系统( m a n a g e m e n t i n f o r m a t i o ns y s t e m ，简称m i s ) 点j 更高一级发展而产生的先进信息管理系统，为 决策者提供分析问题、建立模型、模拟决策过程和方案的环境，调用各种信息 资源和分析工具，帮助决策者提高决策水平和质量1 7 j 。 2 1 2 决策支持系统的发展与应用 2 0 世纪6 0 年代末7 0 年代初出现的管理信息系统使企业的信息获得了系统 的开发和利用，将企业的管理水平提高到了一个新的层次。然而，面对一些半 结构化和非结构化的决策要求，管理信息系统无能为力。决策支持系统由此产 生。 7 0 年代中期，k e e n 和s c o t tm o r t o n 首次提出了“决策支持系统”( d e c i s i o n s u p p o r ts y s t e m ) - - 词，标志着利用计算机与信息支持决策的研究与应用进人了 一个新的阶段，并形成了决策支持系统新学科。一般认为d s s 是结合与利用计 算枫强大的信息处理能力和入的灵活判断能力，以交互方式支持决策者解决半 结构化和非结构化问题的系统。 8 0 年代初期，d s s 增加了知识库与方法库，构成了三库系统或四库系统。 知识库系统是有关规则、因果关系及经验等知识的获取、解释、表示、推理及 管理与维护的系统。方法库系统则是以程序方式管理和维护各种决策常用的方 法和算法的系统。 9 0 年代至今，人工神经元网络及机器学习等技术的研究与应用为知识的学 习与获取开辟了新的途径。专家系统与d s s 相结合，充分利用专家系统定性分 6 浙江大学硕士学位论文 析与d s s 定量分析的优点，形成了智能决策支持系统i d s s ，进一步提高了d s s 支持非结构化决策问题的能力译】。 决策支持系统基本结构主要由四个部分组成，即数据部分、模型部分、推 理部分和人机交互部分，其结构如图2 。l 所示1 9 1 。数据部分是一个数据库系统： 模型部分包括模型库及其管理系统；推理部分由知识库、知识库管理系统和推 理机组成；入机交互部分是决策支持系统的人机交互界面，用以接收和检验用 户请求，调用系统内部功能软件为决策服务，使模型运行、数据调用和知识推 理达到有机地统一，有效地解决决策问题。 照声 图2 - 1 决策支持系统基本结构 2 1 3 决策支持系统的功能 决策支持系统能实现以下功能l 】： ( 1 ) 管理并随时提供与决策问题有关的组织内部信息。 ( 2 ) 收集、管理并提供与决策问题有关的组织外部信息。 ( 3 ) 收集、管理并提供各项决策方案执行情况的反馈信息。 ( 4 ) 能以一定的方式存储和管理与决策问题有关的各种数学模型。 ( 5 ) 能够存储并提供常用的数学方法及算法。 ( 6 ) 上述数据、模型与方法能容易地修改和添加。 ( 7 ) 能灵活运用模型与方法对数据分析、预测，得出综合信息和预测信息。 ( 8 ) 具有方便的人机对话和图像输出功能，能满足随机的数据查询要求。 ( 9 ) 提供良好的数据通信功能，以保证及时数据和分析结果的传输。 ( 1 0 ) 具有使用者能忍受的加工速度与响应时间，不影响使用者的情绪。 浙江大学硕士学位论文 2 2 决策支持系统的关键技术 2 2 1 数据仓库 2 2 1 1 数据仓库的基本概念和特点 1 9 9 3 年，著名的数据仓库专家w h i n m o n 在其著作( ( b u i l d i n gt h ed a t a w a r e h o u s e ) ) 一书中给予如下描述【l l 】：数据仓库( d a t aw a r e h o u s e ) 是一个面向主 题的( s u b j e c to r i e n t e d ) 、集成的( i n t e g r a t e ) 、相对稳定的( n o n v o l a t i l e ) 、反映历史 变化( t i m ev a r i a n t ) 的数据集合，用于支持管理决策。 根据数据仓库概念的含义，数据仓库有以下四个特点： ( 1 ) 面向主题：操作型数据库的数据组织面向事务处理任务，各个业务系统 之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一 个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主 题通常与多个操作型信息系统相关； ( 2 ) 集成性：面向事务处理的操作型数据库通常与某些特定的应用相关，数 据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散 的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消 除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全 局信息； ( 3 ) 相对稳定性：操作型数据库中的数据通常实时更新，数据根据需要及时 发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要 是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也 就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要 定期的加载、刷新： ( 4 ) 反映时间变化：数据仓库的数据相对稳定是针对应用来说的，即数据仓 库的用户进行分析处理时不进行数据更新操作。但数据仓库并非永远不变的， 数据仓库的数据随时间不断变化。数据变化有三种方式： a 数据仓库随时间变化不断增加新的数据内容； b 数据仓库随时闻变化不断删去旧的数据内容； c 数据仓库要随时间变化不断对数据进行重新综合。 浙江大学硕士学位论文 由于数据仓库具有以上的四个基本特征，特别是数据仓库中数据的集成， 与d s s 数据库的数据析取是一致的，数据仓库技术构造了一种完全的分析处理 环境，因此在d s s 中利用数据仓库技术是不可避免的趋势。 2 2 1 2 数据仓库的结构 数据仓库中的数据分为四个级别【1 2 】：高度综合数据、轻度综合数据、当前 基本数据、历史基木数据。源数据经过综合，首先进入当前基本数据级，根据 具体需要进一步综合进入轻度综合级乃至高度综合级，老化的数据进入历史基 本数据级。这种不同的综合级别称为“粒度 。粒度指数据仓库中数据单元的详 细程度和级别。数据越详细，粒度越小级别就越低；数据综合度高，粒度越大 级别就越高。粒度越小细节程度越高，综合程度越低，回答查询的种类就越多， 但查询效率低；反之，粒度提高，则会提高查询效率。高度综合数据的粒度最 大，数据非常精练，是一种准决策数据。 数据仓库中的另类数据为“元数据”，元数据就是管理数据的数据，描述 了数据的结构、内容、码、索引等项内容。一种元数据是为从操作型环境向数 据仓库环境转换而建立的，另一种是为了与多维商业模型之间建立映射。利用 元数据，可以描述和管理从数据库到数据仓库的转换，并且管理数据仓库中的 数据。例如划分粒度层次、建立索引等都需要在元数据中描述和管理。 高度练合数据 高度练会数据 当前基本数撵 历史基本数撂 图2 - 2 数据仓库的数据分级示意图 2 2 1 。3 数据仓库与传统数据库的比较 传统的数据库是面向具体问题的，数据来源分散、系统环境分散；数据仓 库面向主题、面向决策。数据仓库是基于数据库建立起来的，但它不同于以往 9 浙江大学硕士学位论文 的数据库，主要区别如下表： 表2 - 1 数据仓库与传统数据库的区别 传统数据库数据仓库 数据类型细节性、操作性 综合性、分析性 数据稳定性数据更新频繁数据稳定、只读 数据保存期相对较短，3 6 个月 历史数据，2 年以上 数据容量相对较小，k b - - m b 级相对较大，g b - - t b 级 数据操作操作明确，单记录或少量记操作模糊，随机性大，大量 录的查询，数据操作量小记录的读取，数据操作量大 数据冗余度冗余度越小越好允许数据有冗余 用户需求需求明确 需求模糊，带随机性 投入成本相对较低相对高 使用工具以查询为主数据查询、分析、挖掘 交互式程度管理人员较少参与管理人员参与较多 目的 事务驱动，面向具体应用，分析驱动，面向主题，面向 支持日常的、实时的工作决策，支持长期的分析工作 2 2 2 联机分析 2 2 2 1 联机分析处理技术及相关概念 1 9 9 3 年，“关系数据库之父 e e c o d d 首次提出了联机分析( o l a p - - o n l i n e a n a l y s i sp r o c e s s ) 的概念，它专门设计用于支持复杂的分析操作，侧重对决策人 员和高层管理人员的决策支持，可以应分析人员要求快速、灵活地进行大数据 量的复杂查询处理，并且以一种直观易懂的形式将查询结果提供给决策人员， 以便他们准确掌握企业的经营情况，了解市场需求，制定正确方案，增加效益。 联机分析处理是针对特定问题的联机数据访问和分析，通过对信息进行快 速、稳定、一致和交互式的存取，对数据进行多层次、多阶段的分析处理，以 获得高度归纳的分析结果。 o l a p 的一个重要特点是多维数据分析，这与数据仓库的多维数据组织正 好相互结合、相互补充。o l a p 技术中比较典型的应用是对多维数据的切片和 切块、钻取、旋转等，它便于使用者从不同角度提取有关数据。联机分析处理 要求按多维方式组织企业的数据，传统的关系数据库难以胜任。维是人们观察 现实世界的角度，决策分析需要从不同的角度观察分析数据，以多维数据为核 心的多维数据分析是决策的主要内容【1 3 j 。 有关多维数据的相关概念如下： 1 0 浙江大学硕上学位论文 事实( f a c t s ) ：即所分析的目标对象。如潜在客户、潜力客户、售电量、电 费、增长率、客户电费贡献率等。 维( d i m e n s i o n ) ：维是决策者观察数据的特定角度。比如说随着时间变化、 技术和经济发展，及政策变动等产生的客户用电变化、能源结构变化。这是从 客户的角度来观察能源变化情况，这里客户就是一个客户维。 维的层次( l e v e l ) ：人们观察数据的某个角度一维，可以存在细节程度不同 的多个描述方面，称这些描述方面为维的层次。一个维往往具有多个层次，例 如描述时间维，可以从日、周、月、季、年等不同层次来描述，那么日、周、 月、季、年等就是时间维的层次。 维成员：维的一个取值称为该维的一个维成员。如果一个维是多层次的， 那么该维的维成员是在不同维层次取值的组合。例如，我们考虑时间维具有日、 月、年这三个层次，分别在日、月、年上各取一个值组合起来，就得到时间维 的个维成员，即“某年、某月、某曰”。但并不是在每一个维成员上都要取值。 多维数组：一个多维数组可以表示为：( 维1 ，维2 ，维n 变量) 。图2 3 所示的用户用电量是按时间、客户等级、供电地区组织起来的三维立方体，加 上变量“电费贡献”，组成了一个多维数组( 供电地区，客户等级，时间，电费 贡献) 。 图2 - 3 多维数据库示意图 2 2 2 2 维度确定和多维分析 多维数据库建立于数据仓库之上，是实现联机分析处理( o a l p ) 的数据引 擎，确定多维数据库中维的数目和维的内容，是多维数据库设计的关键。通过 一个复杂的多维数据库来反映所有决策需求是不可能的，因此，应建立多个多 浙江大学硕士学位论文 维数据库，反映不同的分析需求。 多维分析是指对以多维形式组织起来的数据采取切片、切块、旋转等各种 分析操作，以求剖析数据，使最终决策者能从多个角度、多侧面地观察数据库 中的数据，从而深入地了解包含在数据中的信息、内涵。 2 2 2 3 联机分析处理的实现技术 目前，联机分析处理的工具可分为两类，一类是基于多维数据库的，另一 类是基于关系数据库的。 基于多维数据库的o l a p ( m o l a p ) 是以多维数据库为核心的。多维数据 库是以多维方式组织数据，以多维方式来显示数据。多维数据库是“立方体” 或“超立方体”块一样的结构，是由许多经压缩的、类似于数组的对象构成， 这种对象通常带有高度压缩的索引及指针结构。每个对象由聚集成组的单元块 组成，每个单元块都按类似于多维数组的结构存储，并通过直接偏移计算进行 存取。 基于关系数据库的o l a p ( r o l a p ) 以关系数据库为核心，用二维表表达 多维概念。关系数据库将多维数据库中的多维结构划分为两类表：事实表和维 表。事实表存储事实的度量值及各个维的码值。维表存放维的合法值。事实表 和维表都是用二维关系表的方式存放的。事实表通过每个维的值和多个维表联 系在一起，此结构称为“星型模式”。通过维表主码，对事实表与每一个维表做 连结操作，一次查询即可得数据的值及对数据的多维描述。为了避免数据冗余， 对于维内层次复杂的维，可用多张表来描述一个复杂维。这种“星型模式”的 变体称为“雪花模式”。 两者比较而言，m o l a p 以多维数据库为核心，在数据存储和综合上具有 关系数据库不可比拟的优点，但它在技术方面还有待于进一步提高。r o l a p 在 技术及适应性上强于m o l a p ，但它的实现复杂，而且维护工作也较大【1 4 】。 2 2 3 数据挖掘 2 2 3 1 数据挖掘的定义 w j f r a w l e y 、g p i a t e t s k y 等人提出：数据挖掘( d a t am i n i n g ，简称d m ) 就 是从大型数据库的数据中提取人们感兴趣的知识。这些知识是隐含的、事先未 1 2 浙江大学硕士学位论文 知的潜在有用的信息，提取的知识表示为概念、规则、规律、模式等形式。这 种定义把数据开采的对象定义为数据库【1 5 l 。而更广义的说法是：数据挖掘意味 着在些事实或者观察数据的集合中寻找模式的决策支持过程。 数据挖掘的对象不仅是数据库，也可以是文件系统，或其他任何组织在一 起的数据集合。9 0 年代中期从人工智能、机器学习中发展起来的数据挖掘，是 从数据库、数据仓库中挖掘有用的知识，其知识的形式有产生式规则、决策树、 数据集、公式等。对知识的推理即形成智能模型，它是以定性分析方式进行决 策支持的。数据挖掘的方法和技术包括决策树方法、神经网络方法、覆盖正例 排斥反例方法、粗集方法、概念树方法、遗传算法、公式发现、统计分析方法、 模糊论方法、可视化技术。 2 2 3 2 数据挖掘的任务 数据挖掘主要有五项任务：相关分析、聚类、分类( 概念描述) 、偏差检测、 预测f 1 6 】，【1 7 】。 ( 1 ) 关联分析 若两个或多个变项的取值之间存在着某种规律性，则称这种规律性为“关 联”，例如简单关联、时序关联、因果关联等。数据库的数据之间是否存在精确 的关联函数，需要通过关联分析来得出。 ( 2 ) 聚类 数据库中的记录可以划分成一系列有意义的子集，即类。对这些子集( 类) 的识别，对用户有直接意义。它们常常为其它的规则抽取算法提供有用的信息。 ( 3 ) 概念描述 数据库中存放的是一个个记录，但有时人们需要的是数据的整体信息，即 数据量的抽象或内涵的描述，因此从大量数据中归纳抽象的信息就显得特别有 意义。概念描述就是指对一类对象的内涵进行描述，以概括这个类的有关特性。 ( 4 ) 偏差检测 偏差检测的基本方法是寻找观察结果与参照之间的差别。偏差检测的数据 模式有极值点、断点、拐点、零点和边界等不同的偏差对象。 ( 5 ) 预测 从现有的数据中找出规律性，建立模型，如建立回归方程或用神经网络学 浙江大学硕士学位论文 习等。用此模型来预测未知事例的种类、特性等。 2 2 3 2 数据挖掘操作的一般流程 ( 1 ) f 口- j 题定义：清晰地定义出业务问题，确定数据挖掘的目的。 ( 2 ) 数据准备：数据准备包括：选择数据在大型数据库和数据仓库目标 中提取数据挖掘的目标数据集；数据预处理进行数据再加工，包括检查数 据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。 ( 3 ) 数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净 化和转换过的数据集上进行数据挖掘。 ( 4 ) 结果分析应用：对数据挖掘的结果进行解释和评价，转换成为能够最终 被用户理解的知识；将分析所得到的知识集成到业务信息系统的组织结构中去。 1 4 浙江大学硕士学位论文 第三章p d a 电能校验决策支持系统设计 本文第二章分析了决策支持系统的特点及应用现状，结合第一章中关于电 力系统信息管理和电能现场校验的发展情况，我们提出设计一个应用于电力系 统电能校验领域的决策支持系统，用来提高操作者决策者的管理决策质量，提 升电能利用效率和使用水平。本章具体分析决策支持系统的用户功能需求，在 此基础上选择合适的系统开发和运行环境，并完成系统的总体设计和各个主要 功能模块的划分。 3 1 系统功能需求 目前各级电力监管单位所使用的电力管理信息系统，多是按照国家电网公 司“关于加快电力现代化建设指导意见”的要求设计，实现系统信息管理、重 点用户信息管理、报表统计分析、需求侧管理等具体功能1 1 8 】。本课题在现有p d a 现场抄表校验系统的基础之上，针对浙江电力市场电能现场抄表校验工作的具 体实际情况，充分利用浙江省电力局的远程自动抄表系统采集的大量历史数据， 设计建立一个决策支持系统，帮助决策者提高决策水平和决策质量。 除了系统信息管理( 包括终端数据采集、w e b 服务器、值班人员等情况监 测管理) 和权限日志管理( 包括用户管理、权限管理、操作日志管理) 之外， 系统实现以下决策支持功能： ( 1 ) 历史报表查询分析 各部门用电情况的汇总报表； 负荷管理日报、月报、季报、年报； 用户负荷情况及电量报表； 报表的时间、用户等不同维度之间的切换； ( 2 ) 需求侧管理 用户中长期负荷预测分析； 用户短期负荷预测分析； 平衡用电管理及监测预警报告； 浙江大学硕士学位论文 ( 3 ) 电能质量分析管理 用电现场三相不平衡度分析； 三相不平衡负载补偿建议； 加上决策支持系统后完整的p d a 电能校验系统如图3 - 1 所示。 一一一二二= = 一- ： h 钓材啤 r ”? 月角嚏擎 l 二一j 图3 - 1 完整的p i ) a 电能校验系统拓扑结构 3 2 系统开发和运行环境 可视化运行决策支持系统选用o r a c l e 8 1 关系数据库管理系统作为数据仓 库，前端开发工具采用d e l p h i 7 0 完成界面设计和计算。 o r a c l e 8 1 关系数据库管理系统作为网络计算体系结构n c a 的重要组件， 不仅能够处理传统的表结构信息，而且能够管理由c + + ，s m a l l t a l k 以及其它开 发工具生成的多媒体数据类型，如文本，视频，图形等1 9 1 ，1 2 0 】。它具有以下特点： 数据库服务器系统的动态可伸缩性；系统的可用性和易用性；系统的可管理和 数据安全功能；对多平台的支持与开放性；强大的并行执行能力：具备并行能 力的查询优化；透明的分布式事务处理等。 d e l p h i7 0 是b o r l a n d 公司推出的当今世界最流行的应用程序开发工具之 一。它基于真正面向对象语言o b j e c tp a s c a l 语言的可视化编程工具，在面向对 1 6 浙江大学硕士学位论文 象开发( o b j e c to r i e n t e dp r o g r a m m i n g ，o o p ) 方法上处于世界领先地位，能大大 提高编程效率。它具有高度可视化的集成开发环境i d e ，非常人性化，易于掌 握使用。在多级c s 系统的开发中使用d e l p h i 语言能使开发出的系统结构更合 理，更易于管理，用d e l p h i 7 0 开发的系统稳定、易维护f 2 l 】，f 2 2 1 。 3 3 系统总体设计 本课题要实现客户电力负荷的查询管理和预测分析，以及三相不平衡的分 析管理。设计的可视化运行决策支持系统主要包含数据仓库、联机分析( o l a p ) 和四个决策支持功能模块：综合查询模块、负荷预测模块、监测预警模块、三 相不平衡分析模块。系统拓扑结构设计框架如图3 2 所示： 图3 - 2 系统拓扑结构设计框架 数据仓库模块是整个决策支持系统的基础，完成从营销接口、抄表数据、 外部系统的数据导入和预处理，实现数据建仓、数据源连接选择工作，为后续 的联机分析和决策支持提供准确高效的底层数据支持。 查询分析模块为用户提供快速、方便的电量负荷综合查询分析服务，使用 户能从多角度、多层次地考察数据仓库内的历史负荷数据，从而加深用户对历 史数据的理解和对未来发展趋势的判断。 浙江大学硕士学位论文 负荷预测模块利用数据仓库内测量点丰富的历史电量负荷以及当前p d a 现场数据，将预测模型库内的多种负荷预测模型通过可视化的人机界面呈现在 现场人员面前，结合操作人员的丰富经验，计算得出预测未来中长期或短期内 该用电点的负荷值，对用电点的电表和馈线的适时升级等工作具有很强的指导 意义。 监测预警模块主要是根据测量点的负荷历史数据和预测结果，借助经济预 警理论，对电力供需情况进行科学合理的分析，并对各区域、各测量点电网的 电力供需形势发布监测报告和预警信号。 三相不平衡分析模块根据p d a 远程抄表系统获得的用电现场三相电压、三 相电流、各相电压电流夹角等数据，计算测量点现场的三相不平衡度，同时利 用对称分量法计算三相补偿电纳的大小，为用户改善负载不平衡提供决策支持。 如图3 2 所示，数据仓库和o l a p 为用户提供了一个带有普遍性的数据分 析模型，四个决策支持功能模块根据数据仓库内的历史数据，系统内的数据库、 规则库，独立、自动完成对上述各项功能的辅助决策支持。 1 8 浙江大学硕士学位论文 第四章系统关键模块设计 本文第三章提出了p d a 电能校验决策支持系统的系统架构，完成了系统的 功能模块划分。本章着眼于决策支持系统的五个关键模块( 即数据仓库模块、 负荷综合查询分析模块、负荷预测模块、监测预警模块、三相不平衡分析模块) 的实现，完成各个功能模块的具体设计。 4 1 数据仓库模块 数据仓库模块是整个决策支持系统的基础，具有面向主题、集成、不可更 新、时变等四个特征。该模块完成历史数据的预处理、数据建仓、数据源连接 选择工作，为后续的联机分析和决策支持提供准确的、高效的底层数据支持。 4 1 1p d a 电能校验的数据表结构 课题背景指出，现有的p d a 远程自动抄表系统不仅实现了电能测量数据的 全过程自动采集和管理，减少人为差错，同时，它积累的电表数据还可以用于 加强用户侧管理，从而实现从电量采集传输、统计查询、异常报警、用电分析、 预测、报表生成等一系列负荷远程监控管理工作的全面自动化工作【2 3 1 。为了实 现决策支持功能，本设计侧重对远程自动抄表系统采集的数据进行处理及分析。 采集服务器中的主要数据表结构如下图所示： 测量点编鹾i 数据接收时间量 ，露囱翁功繁曼象 獭i 蒸i 萄蒯先劫簿鬻 ：赁掏无功臻蒡； ，艘变姥誊澎 鞫陵比襞：j j 萋黪 露菘i 瓤毒l 莲器 测二壹蠊辫i 爱i ， - 鼻h ：* “_ v v ，一，j一 数据撩激蒸河 a 藏磋参菰黪一： 1 袅| ；二：茹鎏臻黪爱? 蠹鎏鹱隧豪蓼j 、獭妤 喜? 。t ， 竞。渤渤鬻薹黟? 嚣藿糕藜b t 凌疆蘸藏势j 瓷掌囊囊蘸攀， 口一萼一：。 | 鼍i 零瓣鬟霉：- 图4 1 抄表系统数据表结构 1 9 浙江大学硕士学位论文 4 1 2 抄表数据预处理 数据预处理是负责对挖掘的数据源作必要的准备，对来自关系数据库、多 维数据库、数据仓库或者文件系统的数据进行转化。对于大数据集，可以通过 数据采样减少处理的数据量，然后利用数据清理等手段清除脏数据，最终将数 据整合成能被采掘算法利用的数据，并存入数据采掘库。抄表系统的主要数据 表结构如图4 1 所示，由于采集过程中的偏差、统计不全、统计间隔不统一等 原因，存在着错误数据及数据遗失现象。因此需要对数据进行预处理，使得进 行决策支持和预测的历史数据尽可能的真实、可靠，这是一个非常重要的过程。 通过对数据的初步了解与分析，对数据的预处理过程具体如下所示： ( 1 ) 错误数据处理： 抄表数据是缓慢增加的，过高的数据是不符合实际情况的，因此采用限 定数据的取值范围的方法来过滤错误数据。 ( 2 ) 数据密度转换： 由于统计间隔不统一，抄表数据或每半小时一条，或每小时一条，或 一天采集七八条，不符合数据仓库对面向主题的分析型数据的要求。因此， 本文需要转换该原始数据密度，变为以天为单位，每天一条的抄表数据。 ( 3 ) 遗失数据处理： 由于抄表系统本身存在缺失数据现象，加上过滤错误数据过程中，也 会产生新的缺失数据，因此，为保持数据的完整性，本文采用了线性插值【1 8 】 的方法来解决这一问题。如： 已知n ，n + i 时刻的抄表数据，那么n + j 时刻的数据为 乙+ ，= 乙+ ( 瓦+ ，一瓦) 书i i ，0 歹 = 0 、l o o p s e l e c tc o u n t ( 幸) i n t oc n tf r o mt j _ d l x x 0 3w h e r ec l d b h = c ，c l d b ha n ds j l x = 2 0a n d k s s j - - - v _ k s s j ； i fc n t = ot h e n b e g i n g e t l a s t d a y d a t a ； 获取最近前一天的数据 g e t n e x t d a y d a t a ； 获取最近后一天的数据 k ：= ( v k s s j v _ q d s j ) ( v _ h d s j v _ q d s j ) ；计算增长率 i n s e r ti n t o t j _ d l x x 0 3 ( c l d b h ，k s s j ，z x z d l ) v a l u e s ( c c l d b h ，v k s s j ，v _ z x y g z _ q r + k * ( v _ _ z x y g z _ h r - v _ z x y g z q r ) ) ； 线性插值 c o m m i t ； e n d ； e n di , 矿k s s j ：= 、，s s j + l ； e n dl o o p ； e n d ； e n dl o o p ； e x c e p t i o nw h e n o t h e r st h e n r a i s e ； e n d p _ d l b q ； 4 1 3 抄表数据仓库的建仓 抄表数据仓库是决策支持系统的数据环境，也是联机分析及挖掘处理的基 础。因此，在完成数据预处理后，我们首先要建立的是基于主题的抄表数据仓 库。 在2 2 2 联机分析小节中，我们已经讨论过“星形模型 和“雪花模型”这 两种基于关系型数据表的存储方式【2 1 1 。本设计采用雪花模型。具体存储结构如 下图所示： 2 1 浙江大学硕士学位论文 图4 2 雪花模型多维数据存储结构方式 图4 2 中用电量统计表( y d l t j ) 是事实表，表中用电量( y d l ) 是度量 值；其他测量点信息表( c l d 泓) 、部门信息表( b 麟) 、客户信息表( k h - x x ) 和时间表( t i m e ) 是维度表，图4 2 中有三个维度，部门信息b m x x 、客户信 息 ) 。( 和时间t i m e 。 通过数据预处理、粒度转换、数据转换、数据存储等过程，我们完成了抄 表数据仓库的设计。该数据仓库的建立，实现了对决策主题数据的存储和综合。 完成数据源的连接选择后，系统即可根据已建立好的数据仓库分析环境，采用 o l a p 技术对多维数据进行初步的决策分析【捌。 4 1 4 数据源连接选择 本系统选择o r a c l e 8 1 关系数据库管理系统作为数据仓库，前端开发工具采 用b