（电气工程专业论文）变化数据捕捉在电力信息一体化系统中的应用.pdf

华中科技大学硕士学位论文 a b s t r a c t i nt h ep r o c e s so fi n f o r m a t i o ni n t e g r a t i o n , t h et r a d i t i o n a ld a t a - d e r i v i n gm e t h o dc a l ln o t c a p t u r et h ec h a n g ed a t ae f f e c t i v e l y ，a n di ti sh a r dt or e c o g n i z et h ec h a n g ed a t aw i t hi t t h u s o n l ye x t r a c t i n gt h ew h o l ed a t aa tat i m eo re x t r a c t i n gal a r g ea m o u n to f d a t ac o u l dm e e tt h e n e e df o rd a t ae x c h a n g e ，w h i c hm a yl e a dt ot h eh i 【g l lw a s t eo f t i m ea n dr e s o u r c e t h i sp a p e rp r e s e n t sh o wt ou s et h et r i g g e rt oc a p t u r et h ec h a n g ed a t at h r o u g hs t u d y i n g t h ev a r i o u sm e t h o d so fc h a n g ed a t ac a p t u r e t 1 1 i sa r t i c l ew i l ld i s c u s sa b o u ti t i nt h e f o l l o w i n ga s p e c t s ：m e t h o d so fc h a n g ed a t ac a p t u r e ，t h er e a l i z a t i o no fs o f t w a r ea n dt h e i r a p p l i c a t i o n si np o w e ri n f o r m a t i o ni n t e g r a t i o n i nt h e o r y ，t h ep a p e rs t u d i e st h em e t h o d sa n da p p l i c a t i o n so fc h a n g ed a t ac a p t u r e ，a n d p r e s e n t s t h e i d e a o f u s i n g t h e t r i g g e r t or e a l i z e t h er e c o r d o f i n f o r m a t i o n a b o u t t h ec h a n g i n g d a t ai nt h er e g i s t e rt a b l e i ta l s od e s c r i b e sh o wt oe x p r e s st h ec h a n g ed a t au s i n gc i m m o d e l s ，t h e ni l l u s t r a t e st h ep r i n c i p l eo fu s i n gx m li m p o r t i n ga n de x p o r t i n gm e c h a n i s mt o s y n c h r o n i z ew i t ht h ec h a n g ed a t a , a n df i n a l l yd i s c u s s e st h em e t h o do fd i s p l a y i n gt h e c h a n g ed a t ao rt h eu p d a t e dd a t aw i t ht h ew e br e l e a s i n gt 0 0 1 f r o mt h ea n g l eo f t h es o f t w a r ed e s i g n , t h ep a p e rd e s c r i b e st h em e t h o da n dt h ep r o c e s s o fh o wt oc a p t u r et h ec h a n g ed a t ai np o w e ri n f o r m a t i o ni n t e g r a t i o n , t h e np o i n t so u tt h e o p e r a t i n ge n v i r o n m e n ta n d t h ef u n c t i o nt h a tt h es y s t e ms h o u l dh a v e ，a n di ta l s op r e s e n t st h e d e s i g n i n gi d e ao f t h es o f t w a r ei n t e r f a c e ，s y s t e md a t as t r u c t u r ea n ds y s t e me x c e p t i o np r o c e s s b e s i d e s ，t h ep a p e rp r o v i d e st h ef u n c t i o nt h a te a c hm o d u l es h o u l dh a v ea n dt h ei n p u t , o u t p u t , a l g o r i t h ma n dt h ef l o wl o g i co f e a c hm o d e l f r o mt h ep o i n to fa p p l i c a t i o n , i ti n t r o d u c e st h ea p p l i c a t i o no ft h em e t h o do fc h a n g e d a t ac a p t u r ei nt h ep o w e ri n f o r m a t i o ni n t e g r a t i o n a n di tt a k e st h ed i s p a t c h i n ga u t o m a t i o n s y s t e mo fy i n h eg r o u pf y h 9 0 0 0 ) a sa ne x a m p l et od i s c u s st h ep r o c e s so fc a p t u r i n gt h e c h a n g ed a t aa n df o r m i n gt h ec h a n g ed a t am o d e l ，a n dt h e ni l l u s t r a t e st h ea p p l i c a t i o no f t h e s e c h a n g ed a t ai na n o t h e rs y s t e m d i s t r i b u t i o nm a n a g e m e n ts y s t e m ( a b bs p i d e r ) f i n a l l y ，t h i sp a p e ra n a l y s e st h ed i f f i c u l t i e sa n ds h o r t c o m i n g so f t h em e t h o do f c h a n g e d a t ac a p t u r ei nt h ep o w e ri n f o r m a t i o ni n t e g r a t i o n ，a n dp r o s p e c t st h ef u t u r ew o r k k e y w o r d s ：p o w e rs y s t e m ；i s l a n do f a u t o m a t i o n ；i n f o r m a t i o ni n t e g r a t i o n ； c h a n g ed a t ac a p t u r e ( c d c ) 1 1 独创性声明 本人声明所呈交的学位论文是我个人在导师的指导下进行的研究工 作及取得的研究成果。尽我所知，除文中已标明引用的内容外，本论文 不包含任何其他人或集体已经发表或撰写过的研究成果。对本文的研究 做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 学位论文作者签名：张小2 撕年j f 月2 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密口。 ( 请在以上方框内打“4 ”) 学位论文作者签名：张q 嗷 指导教师签名：野蠡l “年月上日2 一村5 年1 1 月j 日 华中科技大学硕士学位论文 1 1 引言 1 绪论 课题来源：北海银河高科技产业股份有限公司( 以下简称本单位) 系统类产品 ( y h 9 5 0 0 电力企业应用系统信息一体化集成平台e a i ，以下简称“信息一体化 系统”。 此“信息一体化系统”，为了解决电力企业的“自动化孤岛”现象i l 】，便于实现 与其他功能区域交换数据或在企业范围内实现信息的有效集成，并且能在不同厂家 的产品之间进行数据交换。下面是一个现场案例介绍。 现场案例功能实现流程图，如图1 1 所示。 图卜1 现场案例功能实现流程图 在系统运行过程中发现，源系统对数据的变化敏感度不高，特别是在处理大数 据量时，目标数据相对源数掘的一致性有严重滞后现象，比如1 0 分钟、2 0 分钟才一 致。 华中科技大学硕士学位论文 在“信息一体化系统”的运行中，数据的抽取按照一定的时间与频率对数据进 行抽取，或者一次性把所有数据抽取出来；或者按照设定的时间参数把变化部分的 数据抽取出束。数据需要导出、传输、转换加载到目标系统，即使把数据抽取的频 率提高，当面对数据量大的时候，也会消耗更多的时问和资源，这种方式不是很合 理。 而如果我们只提取和加载自上次提取之后发生变化的数据，那么效率就会大大 提高。 本课题变化数据捕捉( c h a n g ed a t ac a p t u r e ，c d c ) ，就是为了解决这种问题而 提出来的。 变化数据捕捉，除了能够简化识别自上次提取后发生变化的数据的过程之外， 还提供了易于使用的a p i 来设置c d c 环境供提取、转换和加载( e t l ) 环境，可包 含一个或多个源系统，并为多个目标系统提供数据，实现信息实时捕捉，更好实现数据 共享。 变化数据捕捉方法研究综述 1 2 1 变化数据捕捉研究现状 1 2 11o r a c l e 具有的c d c 功能 文献【2 】和文献【3 】中提到了o r a c l e 具有的变化数据捕捉功能以及其实现原理。 o r a c l e9 i ( 及更高版本) 数据库软件具有c d c 功能，是对数据仓库而言的。o r a c l e9 i 引进了新的“边装载边转换”的办法来取代那些过时的串行处理步骤：先转换然后 装载或者先装载然后转换。在这种新方法里，数据库参与了数据转换和装载的过 程，成为了e t l 过程的一个有机组成部分。而一些原来是必须的步骤则没有继续存 在的必要了，另一些则可以得到改进。o r a c l e9 i 提供以下功能来帮助这个转换、装 载步骤更加快速而高效。o r a c l ec h a n g ed a t ac a p t u r e ( o c d c ) f r a m e w o r k 可以用来 优化e t l 过程中的数据提取这个步骤，建立一个可重复使用的执行步骤。o c d c 能 够捕获o r a c l e 数掘库中变化的数据。使用对称复制技术和l o g m i n e r 技术，如果原始 华中科技大学硕士学位论文 数掘是来自o r a c l e 数掘库的话，那么o r a c l e 能够很容易实现几个数据库的改变了的 数据的同步化和异步化工作；对于非o r a c l e 数据库，o r a c l e 公司也提供了a p i ，帮助 第三方软件厂商开发工具，来实现非o r a c l e 数据库和o r a c l e 数据库的集成。下图为 变化数据捕捉的体系结构，如图1 2 所示。 图1 2 变化数据捕捉的体系结构 1 2 1 2 “基于s q l 重现法”中的数据捕捉思想 文献【4 】提到了“基于s q l 重现法”实现变化数据捕捉的基本原理与过程。“基 于s q l 重现法”复制技术的核心思想就是为源数据库中的复制对象( 源表或视图) 创建变更轨迹表，当源表发生变化时，变更轨迹表中记录了变更情况，再通过事后 从变更轨迹表中获取s q l 语句，将源表中的数据复制到目标表中。这种方法可以获 得复制对象的净变化，运行和传输效率很高，而且易于管理，弥补了解决复制冲突 的不足。这种方法适合于除同步复制之外的各种复制形式。 复制流程有两个环节：变化捕获( c h a n g ec a p t u r e ) 与数据分发( d a t ad i s t r i b u t e ) 。 ( 1 ) 变化捕获 变化捕获是捕获源表的变化序列的过程。“基于s q l 重现法”数据复制技术捕 获变化的核心思想是为多个相关源表( 极端的情况可能是一张源表或整个数据库的 所有表，在这罩称为一个“源集”) 创建一个变更轨迹表，其中包含发生变更的序 列号、变更时问以及还原后的s q l 语句等信息，当源表发生变化时，就立刻在变更 轨迹表中记录下源表的变化情况，此时变更轨迹表相当于基于日志法中的“日 志”，变更时间相当于基于时间戳法中的“时间戳”，但是这个过程不是由数据库 引擎本身实现的，因而需要依靠触发器来实现。也就是说，需要为每个源表建立触 发器，当源表发生修改、插入和删除操作时，触发器被启动，通过调用存储过程， 将源表发生的操作还原为s q l 语句，向该源表对应的变更轨迹表中插入变更时间和 还原后的s q l 语句，工作原理如图l - 3 所示。 华中科技大学硕士学位论文 图1 - 3 变化捕获工作原理图 ( 2 ) 数据分发 数据分发是指将源表的变化信息实施到相应的目标表中的过程。针对“基于 s q l 重现法”复制技术捕获变化的方法，数据分发是指根据变更轨迹表中的序号， 按顺序从变更轨迹表中获取对应的s q l 语句，然后通过实施程序在目标服务器上执 行此s q l 语句，将源表发生的变化应用于目标表，执行成功后删除变更轨迹表中对 应序号的记录。数据分发工作原理如图l - 4 所示。 图l - 4 数据分发工作原理图 4 华中科技大学硕士学位论文 1 2 1 3 其他方法： ( 1 ) 数据库镜像 方案概述：在源库和目标库( 一般指中心库) 间建立镜像连接，目标库通过镜 像保持和生产库数据的同步，如图1 5 所示。 图1 5 数据库镜像示意图 ( 2 ) 第三方接口 方案概述：源库的操作者在将数据库中数据更新的同时将被更新的数据写入一 个共享的缓冲区中，y h 一9 5 0 0 平台的导入工具监视该缓冲区并及时将变化数据导入中 心库，如图卜6 所示。 1 2 2 触发器 图l - 6 第三方接口示意图 本课题主要是借鉴了o r a c l e9 i 的c d c 理论、“基于s q l 重现法”中的数据捕 捉思想，自己设计的能够满足实际需要的变化数掘捕捉功能，具体内容请参考研究 内容。 华中科技大学硕士学位论文 文献【5 】和文献【6 】提到了触发器的基本理论知识。在需要提取数据的生产库的数 据库表上建立触发器和一张变化数据登记表。当生产库的数据被更新时，触发器立 即将被更新的记录的相关信息( 哪些表什么时刻发生了数据变化，主键为何值的记 录发生变化，若是更新需要记录更新前的主键值) 写入登记表中。定时导出服务 器，高频率扫描此登记表，一旦扫描到登记表中有记录，就将变化数据导出，形成 变化数掘模型，同时清除登记表中记录。然后通过t c p i p 协议或者s o a p 协议，将 变化数据文件传输到变化数掘使用端，也即导入客户端。变化数据使用端根据自身 需要，通过自身数据存放规则与变化数据规则的映射，将此变化数据导入中心数据 库，当然也可以将变化数据模型传输到其它使用到的目标系统中。 该应用功能流程图如图1 7 所示。 图1 7 应用功能流程图 1 2 - 3 变化数据捕捉方案比较与选取 o r a c l e 具有的c d c 功能和“基于s q l 重现法”这两种方法的缺点是：没有以一 种共享的数据模型或者一种公共信息模型表达变化数据，不方便与其他应用系统相 交换，仅仅做数据仓库使用。 采用数据库镜像实现变化数据捕捉方法存在的问题：因为中心库采用o r a c l e 数 据库系统，所以要求源系统数据库也是o r a c l e 数掘库系统，而源系统数据库不是我 们所能把握和左右的。另一方面，这种方式缺乏灵活性，基本不能融入c i m 模型， 导致和整个平台思想毫无关联。 采用第三方接口存在的问题：该方案是集控站及变电站运行管理系统y h 一9 0 1 0 系统成功实现的方案，其通过建立一个共享的内存区，高效率地同步了两个数据库 中的数据。不过该方案应用在y h 9 5 0 0 平台却存在着巨大的问题：一是生产库的应 6 华中科技大学硕士学位论文 用系统开发商不一定预留这个共享内存缓冲区接口，即使有预留，在工程实施过程 中对该接口数据定义等的熟悉和协调工作会消耗大量的时间、入力等资源。另一个 问题是还存在着在消耗大量的资源后发现此接口并不能满足集成需求的风险。 采用触发器的方式能够很好的将变化数据扩展形成变化数据模型，便于共享， 不会出现上述各方案出现的问题。采用触发器方式的缺点是，源表数据必须有主键 来标识，也就是说数据的唯一性要保证。 综合比较，采用触发器的方式实现变化数据捕捉功能是方便可行的。 1 3 本文的主要研究内容 第一章是绪论，第二章介绍电力系统中信息一体化的相关问题，信息一体化系 统研究现状、中国电力行业信息化建设发展经历三个发展阶段、电力信息化发展中 的问题、电力信息化建设将要面临的任务、国家电网公司信息化建设工程s g l 8 6 工 程。 第三章在此信息一体化系统背景下，介绍变化数据捕捉的方法与技术条件。第 四章介绍变化数据捕捉应用的软件实现、软件设计开发的过程，第五章介绍变化数 据捕捉在电力信息一体化系统中的应用，分别介绍变化数据捕捉在信息一体化系统 中的相关理论技术的应用方法，以及应用的实际案例。 为了更好的说明所要研究的问题，下面给出整个变化数据的数据流向图，如图 l 一8 所示。 图1 - 8 变化数据流图 由数据流向图，可以不难看出，论文需要重点解决以下问题： ( 1 ) 如何利用触发器记录数据变化信息。 ( 2 ) 导出器程序如何根据变化数据登记表中的相关变化数据信息，产生变化数 据模型的，变化数据模型又是什么样子的。 ! 2 墼堡塞鲑星逗过仕么左益笾捡型麴塑焦旦塑的! 华中科技大学硕士学位论文 ( 4 ) 变化数据使用端的导入程序，又是如何建立和变化数据模型文件的映射关 系并导入到数据库中的。 ( 5 ) 变化数据是如何发布的? 都有哪些发布形式。 在变化数据捕捉的方法与技术条件一章中从理论及方法上阐述实现上述功能， 在软件开发设计一章中阐述实现的过程及方法，最后在应用案例一章中阐述使用一 个案例，说明变化数据捕捉在电力信息一体化系统中的应用方法。 华中科技大学硕士学位论文 2 电力系统中信息一体化的相关问题 2 1 热点研究综述 文献【7 】【8 】【9 】主要是对信息系统建设提出基本的设计思想以及应用案例。文献 【1 0 】【1 1 】介绍了信息整合有四个误区( 重新建轻整合；重硬件轻软件：重管理轻服 务；重电子轻政务，轻政务系统模式的改造、流程的变化，还介绍了信息共享的难 点以及数据资源整合的关键。文献 1 2 1 1 3 1 阐述了数据标准化工作的概念及重要性对 数据标准化主要包括的业务建模、数据规范化、文档规范化三个阶段分别进行了详 细论述。 文献 1 4 1 围绕电子政务信息共享会成为老大难的问题展开，从以下方面：对目标 的反省、对信息共享成本的认识、信息共享的分寸控制、信息共享与政府信息公 开、信息共享与安全保密、信息共享与部门利益问题做了论述。 文献【1 5 】 1 6 】【1 7 】主要论述的内容有信息资源共享面i 临的问题，当前各个层面已 开展的一些工作信息资源交换与共享的一些模式、怎么样打造信息资源共享交换这 样一个交通枢纽。 文献 1 8 】【1 9 】针对供电企业信息化建设面临的“信息孤岛”问题，结合数据总 线、动态建模、工作流等国内外先进技术，对信息一体化集成平台与应用环境进行 了分析论证，提出了构建包括三大核心平台、五大主要业务系统和一个信息访问的 企业门户的信息一体化技术方案，并从三个方面对信息一体化平台功能作了详细阐 述，一是按照信息资源规划的模型构建供电企业统一的数据中心，二是在保证数据 稳定可靠传输的情况下实现异构系统之间数据格式的自动转换和智能路由，三是在 对数掘进行分析挖掘的基础上提供用于辅助决策的指标体系。菏泽供电公司通过实 施信息一体化工程，实现了各种系统和应用的高效集成，使信息资源得到充分挖掘 利用，消除了现存的一些问题，为建设“一强三优”现代公司提供了完善的信息支 持。 9 华中科技大学硕士学位论文 2 2 信息一体化系统研究现状 企业自动化系统孤岛现象目前普遍存在，也越来越受到用户的重视。解决这个 问题的技术目前整体上称作企业应用整合e a i 。目前，国内外市场上也有一些公司 提供通用的信息集成工具，例如：i b m 、o r a c l e ，国内的v i s d a 等等，这些公司的产 品针对的是所有的行业的用户他们提供直接对企业内部所有数据库的直接访问， 但缺乏对原始数据的预先统计处理，可能造成这部分数据的访问速度馒。另外，也 缺乏对电力行业互连的标准，如：i e c6 1 9 7 0 6 1 9 6 8 等的支持，无法为应用之间提供 快速数据访问的手段。 国际上一些大的公司有一些类似e a i 的产品，功能最丰富的是s i s c o 公司提供 的u i b 产品，其提供基于c i mr d f 的导入单元，u i b 是一个建立在企业应用集成产 品上的一个消息代理，它允许用户选择全部或者部分c i m 模型订阅发布信息，决定 c i m 模型的那一部分被u i b 组件发布到总线上，支持d a f 接口。但与国内同类产品 相比，服务性能价格比不占优势。 2 3 中国电力行业信息化建设发展经历三个发展阶段 在电力信息化建设的初始时期，主要应用在电力实验数字计算、工程设计科技 计算、发电厂自动监测、变电站所自动监测等方面。其目标主要是提高电厂和变电 站所生产过程的自动化程度，改进电力生产和输变电监测水平，提高工程设计计算 速度，缩短电力工程设计的周期等。 这一时期的电力行业信息化建设是计算机应用初期发展时期，计算机主体是国 产d j s 系列小型机，主要应用在科学计算和工程运算上。 电力信息化发展第二阶段，这一时期为专项业务应用阶段。计算机系统在电力 的广大业务领域得到应用，电力行业广泛使用计算机系统，如电网调度自动化、发 电厂生产自动化控制系统、电力负荷控制预测、计算机辅助设计、计算机电力仿真 系统等。同时企业丌始注意开发建设管理信息的单项应用系统。 电力信息化发展第三阶段，这一时期为电力系统信息化建设加速发展时期。随 着信息技术和网络技术日新月异，网络技术的发展特别是国际互联网的出现和发 展，电力行业( 包括国家电网公司) 信息化实现跨跃式发展。信息技术的应用的深 1 0 华中科技大学硕士学位论文 度和广度上达到前所未有的地步。有计划地开发建设企业管理信息系统，信息技术 的应用由操作层向管理层延伸，从单机、单项目向网络化、整体性、综合性应用发 展。 2 4 电力信息化发展中的问题 尽管信息化建设在国家电力公司已经取得很大的成绩，信息化水平有了很大的 提高，但应当看到，目前的信息化建设仅仅是开始。目前的许多应用系统在改革 后将不适于新的环境；各网省电力公司的m i s 建设率、o a 建设率、省公司的广 域网的覆盖率还不能满足电力市场化运行的需要：全公司信息系统没有统一的信 息平台，财务系统、人力资源系统、生产管理系统、电力营销系统、物质设备管理 系统、电力负荷管理系统、安全监督管理系统、计划统计和综合指标系统等业务系 统没有实现整合，形成很多数据孤岛，信息资源不能共享；企业管理还有待进一 步优化管理流程：进一步提高信息收集的完整性和准确性，以适应企业市场化运 作；信息网络的通道还不能满足日益增加的信息流量的需要。 2 5 电力信息化建设将要面临的任务 国电公司正在实行改革，组建了国家电网公司和南方电网公司以及几个发电公 司。国家电网公司作为国家控股公司，负责运营和管理国家电网的企业集团，承担 着负责各区域电网之间的电力交易和调度，建设和经营跨区域输变电和联网工程， 作为国家电力市场的骨干企业承担为发电企业和广大用户服务的任务。在未来市场 化的电力运行环境请下，要完成这样的任务，国家电网公司将要加强企业内部的产 业结构的优化重组，应用当代信息技术的发展成果，全面提高企业产业水平，以新 的姿态迎接环境变化的新挑战。为此电力公司在电力信息化建设方面将主要做以下 几项工程； ( 1 ) 开发建设符合电力企业需求的、实用的企业信息管理平台。 ( 2 ) 加快建设国家电网公司信息网络。特别是建成以光纤通信为主的现代化电 力通信传输干线网络。形成高速宽带数据传输网，构建电力高速数据通信网络平 台。 华中科技大学硕士学位论文 ( 3 ) 加快应用系统的开发建设，包括建设以企业财务为核心的企业资源规划 ( e r p ) 系统和办公自动化系统( o a ) 的全国联网运行。 ( 4 ) 加快企业信息标准建设。 ( 5 ) 加强企业信息网络安全建设，确保企业稳定安全发展。 ( 6 ) 加快电力企业资源规划系统建设，推进企业国际化。 ( 7 ) 建立电力企业数据处理和存储中心( 简称数据中心) 。 ( 8 ) 服务正在成为现代信息行业的核心业务和运营理念。同时i t 行业各公司 把i t 服务作为本公司的经济增长点。 2 6 国家电网公司信息化建设工程s g l 8 6 工程 电网企业的信息化起步于上世纪6 0 年代，几度潮起潮落，既有成绩，也有困 惑。 一方面是各种基础设施和应用软件在不断升级换代，另一方面随着建设水平不 断提升，一些单位和部门从各自的需求出发，建立了各自不同的信息管理系统，形 成了越来越多、大大小小的信息“孤岛”由于缺乏统一规划，造成各个信息系统 之间相互缺乏关联，信息资源难以共享。 为摆脱这一困境，专家认为，只有在把握企业信息化发展规律的基础上，加强 应用建设和资源整合，联通“孤岛”，搭建起统一高效的信息平台，才能更好地满 足企业现代管理的要求。 正是基于这样的认识，2 0 0 6 年4 月2 9 日，公司提出了在全系统实施“s g l 8 6 工 程”的规划。 依据国家电网公司“十一五”信息发展规划，国家电网公司决策实施国家电网 公司信息化建设工程( “s g l 8 6i 程”) ，即在国家电网公司构筑由信息网络、数 据交换，数据中心、应用集成、企业门户五个部分组成的一体化企业级信息集成平 台，建设由财务( 资金) 管理、营销管理、安全生产管理、协同办公、人力资源管 理、物资管理、项目管理和综合管理八大业务应用；建立健全信息化安全防护、标 准规范、管理调控、评价考核、技术研究、人才队伍六个保障体系。实施国网公司 信息化“s g l 8 6 工程”，重点建设“一个系统、二级中心、三层应用”。一个系统 就是构筑一体化企业级信息系统，实现信息纵向贯通、横向集成，支撑集团化运 1 2 华中科技大学硕士学位论文 作；二级中心就是建设总部、网省公司两级数据中心，共享数据资源，促进集约化 发展；三层应用就是部署总部、网省公司、地市县公司三层业务应用，优化业务流 程，实现精细化管理。 根据规划，“s g l 8 6 工程”将实现四大目标：一是建成“纵向贯通、横向集 成”的一体化企业级信息集成平台，实现公司上下信息畅通和数据共享；二是建成 适应公司管理需求的八大业务应用，提高公司各项业务的管理能力；三是建立健全 规范有效的六个信息化保障体系，推动信息化健康、快速、可持续发展；四是力争 到“十一五”末，公司的信息化水平达到国内领先、国际先进，初步建成数字化电 网、信息化企业。 2 7 本章小结 本章从信息一体化的相关热点问题的相关文献出发，了解到信息系统建设的基 本思想，以及信息整合容易走的四个误区，并进一步了解到信息资源数据的整合与 共享。然后，着重论述电力信息一体化系统的现状、电力行业信息化建设经历的阶 段以及建设所要面临的问题等。电力信息化建设也得到国家电网公司的高度重视， 今年，国家电网公司提出在“十一五”期间全系统实施s g l 8 6 工程，这一举措，不 管是对电力企业本身来讲，还是对电力系统供应商来讲都是很大的契机。 华中科技大学硕士学位论文 3 变化数据捕捉的方法与技术条件 3 1 利用触发器记录数据变化信息 本章节首先介绍触发器的基本知识，然后以s q ls e r v e r 为例，说明利用触发器 记录数掘变化信息的方法，并在附件中给出具体的脚本。 不同数据库类型，触发器的编写方法是不同的，但基本原理和思想是相同的， 在附件中同时给出了在o r a c l e ( 支持o r a c l e8 1 。7 和o r a c l e9 i ) 数据库和s q ls e r v e r 2 0 0 0 2 0 】 2 h 数据库上利用触发器记录数据变化信息的脚本。 3 1 1 触发器介绍 触发器是一种特殊类型的存储过程，由一组s q l 语句组成；它有助于更好地维护 数据库的完整性，它比数据库本身标准的功能有更精细和更复杂的数据控制能力。 触发器是依存于表的数据库对象，在表执行修改操作( 插入，更新，删除) 时自动执行， 即是通过事件进行触发而被执行的。 触发器功能： ( 1 ) 级联修改数据库中相关的表。 ( 2 ) 执行比检查约束更为复杂的约束操作。 ( 3 ) 拒绝或回滚违反引用完整性的操作。 ( 4 ) 比较表修改l j 后数据之间的差别，并根据差别采取相应的操作。 触发器类型： ( 1 ) a f t e r 触发器： 这种触发器将在数据变动( i n s e r t ，u p d a t e ，d e l e t e 操作) 完成以后才触发。对变动的 数掘进行检查，如果发现错误，则拒绝或回滚变动的数据。 ( 2 ) i n s t e a do f 触发器： 这种触发器将在数据变动以前被触发。并取代变动数据的操作( i n s e r t ，u p d a t e ， d e l e t e 操作) ，转而去执行触发器定义的操作。 1 4 华中科技大学硕士学位论文 在建立触发器时，还必须指定触发操作：i n s e r t 、u p d a t e 、d e l e t e 操作，至少指定 一种，也可指定多种。 3 1 2 建立触发器 建立变化数掘登记表，用来存放所关心的表的变化数据信息。所关心的表就是 指需要记录表的数据变化信息的那些表。这里以s q ls e r v e r 数据库的t b l c d c c a s e 表 为例来说明问题。 第一步：建立被研究的表和变化数据登记表。 被研究表t b l c d c c a s e 建立脚本： c r e a t et a b l e 【d b o 【t b i c d c c a s e 】( c o i l i n t n o tn u l l ， 【c 0 1 2 】【i n t 】n u l l ， 【c 0 1 3 】【n e h a r 】( 5 0 ) c o l i a t ec h i n e s e p r c c i a sn u l l ， c o n s t r a i n tp kt b l c d c c a s ep r i m a r yk e yc l u s t e r e d ( c o l 0 ) 变化数据登记表定义： c 戳；a t et a b l e 【d b o c d b o o k i n ( 【c d c t a b l e n a m e 】【c h a r ( 6 4 ) c o l l a t ec h i n e s e p r c c i a sn o tn u l l ， c d c n e w k e y 【c h a r ( 2 5 5 ) c o l l a t ec h i n e s e _ p r cc i a sn o t n u l l ， c d c c o l l n d e x 】 c h a r ( 2 5 5 ) c o l l a t ec h i n e s e p r c c i a sn u l l ， c d c o p e r a t i o n t y p e 】【i n t n o tn u l l ， 【c d c o l d k e y 】【c h a r ( 2 5 5 ) c o l l a t ec h i n e s e _ p r cc la sn u l l ， c d c f l a g 】 i n t ln u l l ， 【c d c b o o k i n t i m e 】【d a t e t i m e n u l l ) 表结构信息，如表3 1 所示。 华中科技大学硕士学位论文 表3 - 1 变化数据登记表 列名数据类型说明 c d c t a b l e n a m ec h a r 变化数据所在的表名 c d e n e w k e y c h a r 数据被操作后的主键串 c d c c o l l n d e x c h a r u p d a t e 数据的列索引 c d c o p e r a t i o n t y p e n u m b e r 数据操作方式( i n s e r t u p d a t e d e l e t e ) c d e o l d k e y c h a r 数掘被操作前的主键串 c d e f l a g i n t 扫描标志( 用于监视器) c d e b o o k i n t i m e d a t e t i m e 数据操作的时间戳 这罩重点说明下c d c f l a g 的作用： 被监视到的数据处理的过程中，变化登记表中有可能增加新的变化数据，而在 处理完一批变化数据之后，需要全部删除变化登记表中的这部分数据，e d c f l a g 就是 对此部分数据做标记而用的。 程序的处理过程为： ( 1 ) 查询处理前，把c d c f l a g 列置为y e s 。 ( 2 ) 变化登记表中，按照对应表排序，先查询出e d c f l a g 列值为y e s 的数据， 对应的类中一行行导出，形成数据文件、先导文件以及数据文件； 先导文件是导入端用来保证处理文件的先后顺序用的。具体方法步骤为：1 ) 导 出端在发送x m l 之前，先发送一个空文件( 名称为导出的x m l 文件名称并在后面 加“p r e ”( p r e c u r s o r ) 加标志、内容为空) 。2 ) 文件，去掉p r e 后缀) 。3 ) 根 据各类对应的去掉p r e 后缀的文件名称，去按顺序一一查找对应x m l 名称中是否 有这个文件，如果有就处理这个文件，如果没有立即停止处理。 ( 3 ) 删除c d c f l a g 列值为y e s 的所有数据，以后操作同( 1 ) 。 第二步：在t b l c d c c a s e 上分别建立增加、修改、删除数据所要用到的触发器， 用来完成记录变化数掘信息的工作，变化数据信息是存放在变化数据登记表中。 1 6 华中科技大学硕士学位论文 在同一个数据表中可以创建多个a f t e r 触发器，在表或视图上，每个i n s e r t 、 u p d a t e 、d e l e t e 语句最多可以定义一个i n s t e a d o f 触发器。 创建触发器应该考虑以下几个问题： ( 1 ) c r e a t et r i g g e r 语句必须是批处理中的第一个语句。 ( 2 ) 创建触发器的权限默认分配给表的所有者，且不能将该权限转给其他用 户。 ( 3 ) 触发器为数据库对象，其名称必须遵循标识符的命名规则。 ( 4 ) 虽然触发器可以引用当前数据库以外的对象，但只能在当前数据库中创建 触发器。 ( 5 ) 虽然不能在临时表或系统表上创建触发器，但是触发器可以引用临时表。 ( 6 ) 在为某数据表创建外键约束时，选中“级联删除相关字段”，不能定义 i n s t e a do fd e l e t e 触发器；选中“级联更新相关字段”，不能定义i n s t e a d o fu p d a t e 触发器。 当创建一个触发器时必须指定： ( 1 ) 名称： ( 2 ) 在其上定义触发器的表； ( 3 ) 触发器将何时激发； ( 4 ) 激活触发器的数掘修改语句。 建立增加数据用到的触发器： c r e a t e t r i g g e r 【c d c t r i l n s _ t b l c d c c a s e o nd b o t b l c d c c a s e f o ri n s e r t a s d e c l a r e v p r i n e w c o lv a r c h a r ( 2 5 5 ) d e c l a r ec 1c u r s o rf o r s e l e c tc o i lf r o mi n s e m d d e c l a r e d c d c b o o k i n t i m ed a t e t i m e s e t d c d c b o o k i n t i m e = ( s e l e c tg e t d a t e 0 ) 华中科技大学硕士学位论文 o p e n c l f e t c hn e x tf r o mc 1i n t o v p d n e w c o l w h i l e f e t c h s t a t u s2 0 b e g i n i n s e r ti n t oc d b o o k i n v a l u e s ( t b l c d c c a s e , c o l l 2 + v p r i n e w c o l + ”皿i l l ，l j l u l l ，n u l l ， d c d c b o o k i n t i m e ) f e t c hn e x tf r o mc ii n t o v p r i n e w c o l e n d c l o s e c l d e a l l o c a t ec 1 修改、删除数据用到的触发器见附件触发器相关脚本。触发器的相关脚本，见 附件触发器相关脚本，分别包含o r a c l e 和s q ls e r v e r 为数据库的脚本实例。 3 1 3 触发器配置工具 上述脚本的编写比较繁琐，如果借助原有的导出器配置工具提供的信息，自动 生成相应的触发器脚本，将很快捷方便的建立触发器。为此，需要一触发器配置工 具来灵活生成触发器脚本。 触发器配置工具，至少需要以下功能： ( 1 ) 建立2 个模版，一个s q ls e r 、，e r ，一个o r a c l e 。 ( 2 ) 通过解析导出配置文件得到需要添加触发器的表的名称以及需要的列名。 根掘触发器的脚本，不难看出，我们仅仅需要知道需要记录哪些表的哪些行的 哪些列发生变化是变化数掘信息所关心的，就可以写出其对应的触发器脚本。所 以，我们就围绕表名和列名，以及主键列名自动生成触发器脚本。 表名的确定方法：根据变化数据开关是否闭合以及类数据对应的s q l 语句确定 各变化数据表。 列名的确定步骤； ( 1 ) 确定类名。根据变化数据开关是否闭合以及变化数据表在此类中，确定出 哪个类是变化数掘类； ( 2 ) 确定列名。根据此变化数据类中，数据对应的s q l 语句中的各列确定此表 的各列，为列名。 华中科技大学硕士学位论文 补充事项：可以对表的名称、列名、主键列进行修正或者手工设置。 信息保存：。 ( 1 ) 生成触发器文件 确定触发器s q l 语句，判断数据库类型，生产s q l 语句( 保存) ，执行。 ( 2 ) 相关同志功能( 信息提示，异常信息) 。 ( 3 ) 触发器失效功能，取对应系统的配置文件中的触发器中的设置是否生效。 3 2 变化数据模型 3 2 1c i m 模型 3 2 1 1c i m 模型由来 电业部门使用电力系统模型以完成各种不同的任务。例如，在计划和安全分析 中电力系统的模拟就是必不可少的。电力系统模型同时也应用于实际的操作中，比 如它可以被能源管理系统( e n e r g ym a n a g e m e n ts y s t e m s ，e m s ) 用于能源控制中心中。 一个实际运作的电力系统模型可能由几千种信息类别组成。除了在内部使用这些模 型，电业部门为