（电力系统及其自动化专业论文）集群技术在ems实时数据库中的研究与应用.pdf

a b s t r a c t n o w a d a y s ，t h ea r c h i t e c t u r eb a s e do nc l u s t e rh a sb e g u nt ob e c o m eaf o c u so nc o m p u t e r a r c h i t e c t u r ea n dp a r a l l e lp r o c e s s i n gd u et oi t sc o s t - e f f e c t i v e n e s s , g o o ds c a l a b i l i t ya n dh i g h r e l i a b i l i t y w i t ht h er a p i dd e v e l o p m e n to ft h ep o w e rg r i ds c a l ea n dm u c hh i g h e rd i s p a t c h i n g r e q u e s t ，t h ep o w e rd i s p a t c h i n gs o f t w a r ei se v o l v i n gi nt h ed i r e c t i o no fh i g h - p e r f o r m a n c e ， m u l t i - f u n c t i o n a l , m o r er e a s o n a b l ea n dm o r ee f f i c i e n tu s eo fa v a i l a b l er e s o u r c e s t h ee x i s t i n g e m s ( e n e r g ym a n a g e m e n ts y s t e m ) a r c h i t e c t u r ei sf a c i n ge n o r m o u sc h a l l e n g e st os t a b i l i t y , c o m p u t i n gc a p a c i t ys c a l a b i l i t ya n df l e x i b i l i t y t h ea r c h i t e c t u r eb a s e do nc l u s t e ri sj u s ta l l e x c e l l e n tw a yt os o l v et h e s ep r o b l e m s b yd e e pr e s e a r c hi n t ot h ec l u s t e ra n dr e l a t e d t e c h n o l o g i e s ，t h ea u t h o rh a sb u i l tap r o t o t y p eo f r e a l - t i m ed a t a b a s es u b s y s t e mb a s e do nc l u s t e r a r c h i t e c t u r e ；t h i sm e a n sag r o u po fi n d e p e n d e n ts e r v e r sw o r kt o g e t h e rc l o s e l yt op r o v i d e h i g h e rr e l i a b i l i t y , h i g h e rp e r f o r m a n c e ，a n db e t t e rs e r v i c et oc l i e n ta n de n s u r i n gt h ed a t a c o n s i s t e n c ea m o n gs e r v e r s t h ep a p e rf i r s ti n t r o d u c e sr e l a t e dt e c h n o l o g yo fc l u s t e ra n dr e a l - t i m ed a t a b a s e ，w h i c hi s t h ef o u n d a t i o no fr e a l t i m es o f t w a r ea r c h i t e c t u r eb a s e do nc l u s t e r c o m m u n i c a t i o n m e c h a n i s mf o rr e a l - t i m ed a t a b a s ei n c l u d i n gc o r b aa n dm e s s a g eb u si sa l s od e s c r i b e d s i m p l y t h ee x i s t i n g o p e n 3 0 0 0r e a l t i m ed a t a b a s e s u b s y s t e ma n di t s l i m i t a t i o n sa r e f o l l o w i n gi n t r o d u c e db r i e f l y t h em a i np a r to ft h i sp a p e ri st h ea r c h i t e c t u r eo ft h er e a l t i m ed a t a b a s ep r o t o t y p eb a s e d o nc l u s t e ra n dt h ei m p l e m e n t a t i o nd e t a i l so f t h ep r o t o t y p es y s t e m , f l o wc h a r ta n do t h e rf i g u r e s a r ep r o v i d e dt oe n h a n c et h ed e s c r i p t i o n f o u rt e s tc a s e sa r ed e s i g n e dt ov e r i f yt h ee f f e c t so f t h ep r o t o t y p e t h et e s tr e s u l t si l l u m i n a t et h a t ，t h er e a l - t i m ed a t a b a s eb a s e do nc l u s t e r a r c h i t e c t u r ec a ne n h a n c e s y s t e mc o m p u t i n gc a p a c i t y , i m p r o v es y s t e mr e l i a b i l i t y , e n c a p s u l a t i n gd i f f e r e n ta p p l i c a t i o nb e t t e ra n do w n sg o o ds c a l a b i l i t yr e m a r k a b l y t h ec u r r e n tt r e n do fc l u s t e ri st oc o n s t i t u t et h er e l e v a n ts t a n d a r d ss u c ha ss e c u r i t y , i n t e l l i g e n t i z a t i o n ，r e l i a b i l i t y , m a n a g e a b i l i t 5s c a l a b i l i t y , e t c t h er e s e a r c ho fc l u s t e ri nt h e e m sr e a l - t i m ed a t a b a s ei sj u s tb e g i n n i n g ，a n dd e e p e rs t u d yo ft h e o r ya n di m p l e m e n t a t i o nw i l l f o l l o w t h et o p i co f c h s t e rh a sh i g ht h e o r e t i c a lv a l u ea n db r o a da p p l i e dp r o s p e c t s i i i k e yw o r d s ：c l u s t e r ；e m s ；r e a l - t i m ed a t a b a s e ；c o r b a ；m e s s a g eb u s ；d a t a s y n c h r o n i z a t i o n ；c o m p u t i n gc a p a c i t y ；di s t r i b u t e dc o m p u t i n g i v 国网电力科学研究院学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得国网电力科学研究院或其它教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名： 国网电力科学研究院学位论文使用授权声明 国网电力科学研究院、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论 文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论 文的全部或部分内容。论文的公布( 包括刊登) 授权国网电力科学研究院研究生院办理。 研究生签名：导师签名：日期： 第一章绪论 1 1课题研究背景和意义 经过数十年的高速发展，特别是伴随着特高压电网的建设和三华联网，我国的电力 系统已经成长为一个巨大的非线性系统【1 1 。同时为了实现节能发电调度和更大范嗣的资 源优化配置，对大电网的驾驭能力又提出了更高的要求。而能量管理系统( e m s ) 1 2 作 为电网生产运行的核心系统，必须以能够支持电网的安全经济稳定运行为前提。这就需 要采集更多的电网数据，为进一步的数据分析和数据挖掘做准备，相应的这也带来成倍 数据的存储和计算处理要求。实时数据库作为能量管理系统支持软件平台的一个关键组 成部分p , 4 1 ，它的架构及性能是e i d s 支撑平台的一个关键设计因素，直接影响e m s 系统的 稳定性、实时性、可靠性和可扩展性，这在很大程度上决定了能量管理系统能否有效地 为不断发展的大电网提供有力的支撑和服务。 在应用方面，新的应用不断增加，原有应用也有交叉、融合的趋势，监视的规模和 计算的规模都在成倍增加，这对e m s 系统的计算能力也提出了新的挑战。 对于地县调，变电站大量的改造成综合自动化变电站，每个站都要送来大量的保护 信号和其他软信号，这也对地县调实时数据的监视提出了更高的要求；同时，由于大量 无人站的使用，对e m s 系统的可靠性、稳定性和实时性提出了很高的要求。但传统意 义上的e m s 架构已越来越难以满足动态构成的各计算机节点之间对高性能计算、资源 共享等方面的需求。 怎样在有限的成本下满足越来越高的计算处理要求? 对于已投运系统，怎样在不升 级或者少升级硬件的基础上实现计算的可扩展性? 这些成为我们亟需解决的问题。 虽然目前计算机的硬件配置和计算性能已经有了长足的进步，而且具有高性能分布 式计算能力的商业化超级计算机也在不断发展，并达到了很高的水平，但是其价格昂贵， 可扩展性差。随着计算机技术的发展和硬件制造工艺水平的提高，各大厂商也同时推出 了低成本的服务器和工作站，具有很好的性价比。为了满足不断发展的应用需求，节约 硬件成本并达到与昂贵的高性能计算机相当的计算能力，越来越多的企事业单位采用由 多台低成本计算机构成的集群系统来构建自己的应用平台并取得了良好的效果。伴随着 集群系统的广泛应用，集群技术已逐渐成为高性能计算领域的研究热点和重要分支。 1 国网电力科学研究院硕士学位论文 在这种情况下，将基于廉价计算机的集群技术应用于能量管理系统的实时数据库方 面，不仅可以降低企业在硬件采购上的开销，而且满足了调度系统对实时性、易扩展性、 资源共享和高性能计算等方面的需求。所以集群技术在e m s 系统实时数据库方面的研 究和应用既具有很高的学术价值，也会带来现实的经济效益。 1 2国内外研究现状 1 2 1 实时系统基本概念及其特征 实时系统( r e a l - t i m es y s t e m , r t s ) 是其数据具有时间属性，或显式的时间约束的系 统。在实时系统中，任务处理的正确性不仅依赖于逻辑结果的正确性，而且依赖于逻辑 结果产生的时间是否满足相应的时间约束。和传统非实时系统相比，实时系统具有以下 特征： 在实时系统中，通常是按照预先设定的时间周期来采集被监控系统的实时数据；相 应地，控制系统必须周期性地处理数据和做出响应。这就是执行的周期性： 实时系统中的数据对象都有一个数据有效时间间隔，表示它在这个时间段内能够真 实地反映物理环境的当前状态。输入的数据随着时问的变化而发生改变。在一个时间周 期内输入的数据代表了被控系统当前的状态，即数据在时间上的一致性； 任何系统都本可能对被控系统实施时间绝对意义上的同步控制。事实上，从感知被 控系统的变化到对其进行分析、处理直到做出响应都需要时间，即从数据的接收到反馈 有一个时间延迟，但这个延迟必须在被控系统允许的范围之内； 任何与该数据对象有关的处理必须在有限的时间间隔内完成，也就是说，实时系统 中的数据处理时间具有可预测性。控制系统必须在接收到数据后一个限定的时间内做出 响应。超过时间做出响应，就达不到实时控制的目的，甚至发生严重后果。 电网调度自动化系统是一个对实时性要求很高的系统，每时每刻都要从前置设备中 接收大批的实时数据并进行大量的分析和计算。实时库是数据监视、分析、计算的基础， 为了更好地为e m s 系统下各个应用服务，需要更深层次地去挖掘实时库的潜能。 2 第一章绪论 1 2 2 实时数据库的发展 在计算机科学技术的发展进程中，对数据库理论和技术的研究一直没有停滞过。以 关系型数据库为代表的三大经典型数据库( 层次、网状、关系) 在传统的应用领域获得 了极大的成功，但面对时间关键型应用，它们的表现却难以令人满意，这也促使实时数 据库( r e a l - t i m ed a t a b a s e ，r t d b ) | 导以产生和发展【5 l 。 现在数据库的应用正在从传统领域向新的领域扩展，如电力调度系统、能量管理系 统、电子商务、工业监控系统等。这些应用有着与传统应用不同的特征：一方面，要维 护大量共享数据和控制数据：另一方面，其应用活动对效率有很高的要求，要求在一定 的时间内完成指定的任纠3 一。传统的数据库系统强调维护数据的完整性和一致性，其性 能目标是较大的数据容量，对数据处理用时要求的考虑相对较少，而目前这些应用所处 理的数据往往把效率作为一个重要的考量标准，譬如超过了一定的时间则有新的数据产 生，如果数据处理不及时，就会导致当前的计算结果或决策变得没有意义甚至出现错误， 所以传统的数据库管理系统( d b m s ) 不能满足这种实时应用的需求。传统的实时系统虽 然能满足任务的效率要求，但它主要面向的是结构与关系比较简单、稳定和可预知数据 量的数据，不涉及维护大量共享数据及它们的一致性。因此，只有将两者的概念、技术、 方法和机制“无缝集成”的实时数据库才能同时满足效率和一致性上的要求，也才能满 足目前实时应用的需要。正是由于这些需求的不断提出，实时数据库也在不断的向前发 展，近年来，实时数据库已发展成为现代数据库研究的主要方向之一，受到了数据库领 域和实时系统领域的极大关注。 在对实时数据库的研究方面，美国、英国、德国、瑞典等国起步较早，现已有许多 成功的实验系统，有的甚至已商品化，典型的有h i p a c ，z i pr t d b m s 等系纠5 1 。国内 的研究起步稍晚，基本上是在8 0 年代末、9 0 年代初才开始，但发展很快，目前在石油、 化工、市政建设、矿业等多个行业和领域都有比较广泛的应用。特别是在电力调度方面， 如国网电力科学研究院的r d 8 0 0 、s d 一6 0 0 0 、o p e n - 2 0 0 0 、o p e n 一3 0 0 0 等产品，均基于自 主研发的实时数据库。这些系统已经在网省级、地级等众多调度自动化项目中得到广泛 应用，系统中实时库的性能已经和国外的产品相差无几。 3 目电力科学研究貌颈l 。学位论立 1 2 3 集群技术的研究现状 随着汁算机制造技术的迅猛发展，硬件设备逐步实现商品化和标准化，p c 机和低 成奉丁作站的性能越来越高，价格越来越便宜，因此人们开始把注意力投向通过普通 p c 机或低成奉t 作站的集群来代替昂贵的超级| 十算机。 】9 9 4 年美国航空航天局( n a s a ) 的g o d d a r d 航天中心构建了第一台b e o w u l f 工七的计 算机集群w i g l a f 。由1 6 个6 6 m h z 的4 8 6 处理器p c 机组成，采用1 0 m b s 以太嘲集线 器，速度达到每秒7 2 0 0 万次浮点运算1 。 1 9 9 6 年，h y g l a c 和l o k i 在美国加州理 二学院和美国能源部l o s a i a m o s 国家实验室 采用1 6 个p e n t i u mp r o 处理器和1 0 0 m b s 卧太网交换机建成第一套速度首次超过每秒2 0 亿次浮点运算的集群系统。 1 9 9 8 年，采用u l t m s p a r c 芯片的工作站和m y r l n e t 交换机的n o w - 2 速度达到每秒 4 8 0 亿次浮点运算，成为第套进入世界超级计算机5 0 0 强的集群系统，排名1 1 3 位。 此后集群系统在高性能汁算机中扮演着越来越重要的角色。 3 图】i t o p s 0 0 中计算机体系结构的变化趋势 图l i 是j 9 9 3 年至2 0 0 7 年全球运算速度最快的5 0 0 台超级计算机所采州体系结构 一雏m 蕃；o n o 口nh o 昌 i ，09是 一誊霉-t 拿n f一o n 第一章绪论 的变化趋势。从图中可以看出，在2 0 0 7 年1 1 月公布的全球高性能计算机t o p 5 0 0 强排 行榜中，使用最广泛的体系架构是集群( c l u s t e r ) 架构，在5 0 0 套系统中，有4 0 6 套( 占 8 1 2 ) 都是集群，甚至在t o p l 0 中还有两套集群系统。在2 0 0 6 年6 月，有3 6 4 台采 用了集群体系，占据了约7 0 的份额，而在2 0 0 1 年这一数字仅仅为3 2 台。毫无疑问， 集群已经成为超级计算机的发展趋势【9 1 。 国内也有不少公司进行了集群系统的研究和开发工作。 联想公司在1 9 9 9 年9 月推出了用于分布式高性能计算的n s l 0 0 0 0 高性能集群服务 器，该系统是一个四节点的系统，主要基于联想万全4 5 0 0 r 服务器，以总体成本相对较 低的设备组合，足以替代传统r i s c 小型机和中型机的工作，而价格仅为市场上同等性 能小型机的1 2 1 4 。 2 0 0 4 年6 月安装在上海超级计算中心的曙光4 0 0 0 a 在超级计算机t o p 5 0 0 中排名 第十。该系统就是一套集群系统。 2 0 0 8 年1 1 月公布的全球高性能计算机t o p 5 0 0 强排行榜中，由曙光公司定型制造 的集群超级计算机曙光5 0 0 0 a 以峰值速度2 3 0 万亿次的成绩再次跻身世界超级计算机前 十i 虽然集群技术的发展非常迅猛，在工业控制、气象预报、医学和军事监测仪等领域 已有不少科研成果投入实际使用并取得不错的效果，但在电力系统领域，集群技术的应 用还处于初步探索之中，相关应用实例较少，目前已有的一些应用尝试有：利用集群技 术提高电能量计量系统的可靠性和基于集群技术构建电力系统高性能计算平台 1 0 a1 1 等。 1 3 集群的基本概念 集群( c l u s t e r ) 技术是近年来国际上兴起的一种重要信息技术。集群技术可如下定 义：一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。 此单一系统为客户工作站提供高可靠性的服务。 大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行 的服务可被所有的网络客户所使用。集群系统必须可以协调管理各分离的组件的错误和 失败，并可透明地向系统中加入组件。每台服务器的操作系统和应用程序文件存储在其 各自的本地储存空间上。系统内各节点服务器通过一内部局域网相互通讯。当一台节点 服务器发生故障时，这台服务器上所运行的应用程序将在另一节点服务器上被自动接 国网电力科学研究院硕士学位论文 管。当一个应用服务发生故障时，应用服务将被重新启动或被另一台服务器接管。当以 上的任一故障发生时，客户都将能很快连接到新的应用服务上。 1 4 本文主要任务 目前c s 模式下，实时数据库的做法是把所有的数据读取和数据修改集中在一台服 务器上，这对硬件设备的要求很高，随着数据量的增大会进一步导致系统成本的增加； 另外系统在运行一段时间后，往往会因为系统规模扩大而导致计算能力不足，传统的做 法是升级硬件，这么做势必会增加企业的运营成本，而且这样的系统可扩展性也不强。 文献【2 0 付旨出采用集群技术相对s m p ( 对称多处理) 和m p p ( 大规模分布式处理) 具有 更高的可扩展性、可靠性和易维护性，而且性价比高：相对于s m p ，m p p 类型的大型 主机而言，使用相同等级的集群，价格仅为大型主机的六分之一。基于此，本文的目标 是将集群技术与能量管理系统的平台子系统结合起来，根据实时库部分对效率、数据准 确、可靠等方面的要求，吸取集群技术的精髓，结合分布式、消息总线等新技术，搭建 新的实时库访问平台i 为集群技术在电力调度系统中的应用做出有意义的探索。本文通 过多台廉价服务器的协同工作来取代昂贵的高性能服务器，实现客户端对各应用下服务 器上实时库中数据的访问。这样做可以有效地降低系统成本，同时能够提供同等的计算 处理能力。原型系统中客户端和服务器端所采用的系统均为国电南瑞科技股份有限公司 的o p e n 3 0 0 0 调度自动化系统。鉴于以上目标，本文主要做了如下鼍望工作： 1 利用l i n u x 下的集群技术l v s 构建系统仿真环境； 2 在集群内部分成多个应用群的情况下，实现根据不同的应用请求通过不同的虚 拟i p 地址访问内部的若干台真实应用服务器； 3 为保证负载平衡器的可靠性，实现主备负载平衡器之间的自动切换； 4 对已有的负载平衡器调度算法进行了改进； 5 实现集群内数据同步机制，为分布式计算的数据同步提供基础； 6 验证工作( 通过验证程序证明所构建的平台具有优秀的计算性能、值得信赖的可 靠性和良好的可扩展性) 。 6 第二章o p e n 3 0 0 0 系统的实时数据库 2 - 1 实时库子系统概述 随着计算机技术、网络通信技术和电力系统应用的不断发展，新的技术不断涌现、 新的标准不断发布，原有的第三代调度自动化系统已经难以满足电力系统发展的需要。 国网电力科学研究院根据当前调度自动化系统发展趋势，并结合国内电力调度部门实际 要求，在原有的s d 6 0 0 0 、o p e n 2 0 0 0 能量管理系统开发和工程经验的基础上，开发出 一套基于新标准、采用新技术、满足新要求的第四代调度自动化系统o p e n 3 0 0 0 。 在新的调度自动化系统中，一方面需要处理和存储大量持久、稳定的数据，同时维 护数据的完整性和一致性( 如历史数据和模型数据) ；另一方面对时刻变化的动态数据， 也需要系统及时处理。所以在o p e n 3 0 0 0 系统中采用的是成熟的商用关系型数据库 ( o r a c l e ) 和高实时性的实时数据库相结合的模式。实时数据库作为平台子系统的一个 非常重要的组成部分，它从商用库下装数据并给平台上所有的应用以及图形报表等工具 提供数据访问服务。实时数据库实体仅在应用服务端部署，客户端没有实时库：为了满 足系统实时性的要求，它采用磁盘文件映射的内存管理机制，效率要远远高于商用库， 同时由于系统的重要性，不仅要求它提供的数据服务效率要高，更要求准确可靠1 1 2 】。另 外o p e n 3 0 0 0 的实时库子系统还提供各种访问接口，包括本地接口和网络接口，以便 于第三方程序对实时数据和历史数据进行访问，在保证数据可靠性的同时最大限度的优 化了服务的效率。 2 2 实时库的主要功能 在电力调度自动化系统中，设计实时数据库的目的就是在高速内存中存储电力系统 运行的实时数据，提高系统的响应速度和吞吐能力。同时，为了便于开发人员在实时库 之上构建应用，实时库必须提供简洁、方便、高效的本地和网络访问接口。为满足上述 需求，o p e n 3 0 0 0 实时数据库主要实现了如下功能： 1 数据存储。为了提高系统的响应速度和处理效率，要在实时数据库的内存缓冲 区保存系统的模型数据和实时数据。模型数据是电力系统运行中基本不变或缓慢变化的 7 国嘲电力科学研究院硕士学位论文 数据，例如：发电、变电、输电及其控制与量测配置设备和参数，般也称为电网模型 数据。实时数据是自动量测的数据，包括遥信、遥测和电量。 2 数据定义。电网模型数据包含的设备信息和参数基本是由用户人工输入与修改 的，必须给用户提供定义和修改这些数据的操作界面。在某些特定时刻，电力系统高级 软件的设计人员可能需要修改电网模型的定义，以从不同的视野和角度描述电网模型。 因而，必须提供用户输入、修改数据的界面。 3 数据验证。对用户定义的电网模型数据，能够检查数据结构和参数错误，建立 互相之间的关联，建立不同实时库实体之间对应物理量的映射关系。 4 模型同步。能够根据用户提供的电网模型生成一致的模型数据；当模型变化时， 能够保持模型数据的同步更改和维护完整性、一致性。 5 数据浏览。提供实时数据浏览的途径和方法，能够让用户方便地观察本机或其 他节点的任意实时数据库中的各种数据。 6 数据访问。提供一致的访问接口，让各种应用能够方便地实现对实时数据库的 操作，包括查询、增加、删除、修改；并且要提供按应用名( 号) 、表名( 号) 形式的 访问接口，以及s q l 形式的访问接口i 7 支持多应用。实时数据库的不同应用的支持体现在以下几个方面：不同的应用 可以从商用库中根据应用属性形成不同的电网模型；同一数据模式可以根据不同应用形 成多份数据库实体；电网模型相同的应用的数据实体可以进行复制。 8 支持多上下文。从数据库方面主要是支持同一资料模式多份数据库实体，不同 上下文的实体相互独立。 9 数据复制。能够将数据保存到文件中和从文件中读入数据；支持实时数据库主 库和副本库之间的复制。 2 3实时库在e m $ 系统中的地位 图2 1 是o p e n 3 0 0 0 系统体系结构图，从图中可以看出，o p e n 3 0 0 0 系统由硬件 层、操作系统层、支撑平台层和应用层组成。其中，支撑平台层在整个系统结构中处于 核心地位，其设计是否合理将直接关系到整个系统的结构、开放性和集成能力。位于支 撑平台层的实时库及实时库服务，依赖于从商用库下装数据，并通过通信总线提供同步 和对远方客户端的数据服务。而几乎所有的其他平台服务和应用系统层的应用都依赖于 8 第二章o p e n - 3 0 0 0 系统的实时数据库 通过实时库的本地接口或者实时库服务获取数据。实时库及实时库服务在支撑平台层以 及整个0 p e n - 3 0 0 0 体系结构中都处于一个非常核心的地位。 固固园固 困囤叵囡园 围园固固园 图2 1 o p e n 3 0 0 0 系统体系结构图 2 4实时库设计原, 贝, 1 j 1 3 , 1 4 1 混合数据模型：公用的数据库定义以公共信息模型( c o m m o ni n f o r m a t i o nm o d e l ，c l m ) 为基础进行扩展，各应用私有的数据库定义保持原来的数据模型； 实时数据库有关系、层次和面向对象三种数据模型。关系模型允许定义一组二维表， 二维表之间通过索引关联；层次模型允许定义有父子层次关系的二维表，层间通过层次 指针进行关联，目前许多运行的电力系统应用软件都是基于层次型实时库的；面向对象 模型允许定义对象类，类之间可定义继承和关联等关系，继承是隐式的，而关联是显式 的。目前面向对象模型使用的较少。 为了兼顾原来系统的应用软件的库模型要求、与商用关系库相结合的要求以及c i m 的要求，三种实时库模型同时存在。 选择c i m 中与网络分析应用有关的子集直接作为内部模型，对外提供符合标准的数 据访问，提供内外两套接口； 9 国网电力科学研究院硕： ：学位论文 数据库访问是指如何读写实时数据库实体中的数据，其与数据库定义和数据库实体 密切相关。实时库的访问接口如图2 - 2 所示。 图2 2实时库的访问接口示意图 图中，公用服务如数据库浏览、图模库一体化图形制作等通过关系型a p i 访问数据 库，关系型a p i 主要是对二维表中记录的读写，考虑到原来的s c a d a 系统是基于关系 模型的，高级应用软件是基于层次模型的，所以高级应用软件主要访问层次库，公共服 务和s c a d a 等应用主要访问关系库。 原始的数据模型存于商用库，实时库中的数据从商用库中下装； 由于商用数据库管理系统比实时数据库的管理功能强大，模型数据的实时性要求也 不高，模型数据可借助商用数据库进行管理，使得商用库与实时数据库进行有机结合， 保证模型数据的一致性和开放性。由于o p e n 3 0 0 0 的商用库只支持关系特性，层次模 型和对象模型只能根据商用库中的数据进行重新组织( 即数据下装) 。从商用库中下装关 系模型是比较容易的，而下装层次库和对象库存在数据模式的相关性，映射程序要随着 数据模式的变化而修改。 采用磁盘文件映射的内存管理机制实现； 文件映射方式是将二进制的磁盘文件映射成内存块作为数据库实体。文件映射方式 的磁盘文件与内存块的数据是可自动同步的，同步由操作系统完成。文件映射方式不因 为与磁盘文件的同步而影响实时库的效率，与共享内存的访问速度在同一数量级上，而 且能够对电力系统要求的黑启动提供良好的支持。 实时数据库实体仅在服务端分布，客户端没有实时库： 1 0 第二章o p e n - 3 0 0 0 系统的实时数据库 数据库的实体分布是指数据库实体在逻辑服务器和客户端的安排，如图2 - 3 所示。 r 1 关系模型 关系模型 ( 实时库副本) ( 实时库副本) 雪i 囱 图2 - 3 数据库实体分布 系统由数据服务器、应用服务器和应用客户端三类节点组成。数据服务器由商用库 和实时库来共同承担，系统启动时如果商用库中的模型没有变化，则实时库直接从磁盘 文件映射：如果商用库中的模型发生变化，实时库从商用库重新下装，正常运行时由模 型服务组件进行商用库与实时库的同步。实时库按应用、态和版本进行下载，不同的应 用或不同的态或不同的版本在数据服务器上有不同的实体，由于采用了磁盘文件映射的 机制，没有数据库操作时，是不占内存空间的( 只占磁盘空间) 。 应用服务器是应用程序运行的环境，开机时根据应用、态和版本从数据服务器拷贝 相应的数据库文件，然后再启动进程，正常运行时由数据服务器的模型服务组件对应用 服务器进行模型更新。应用客户端考虑异构的方便性，不运行实时数据库，所有的人机 接口通过网络与服务端的实时数据库连接。 国网电力科学研究院硕：t 学位论文 支持多应用、多态和多版本； 实时数据库对不同应用的支持体现在以下几个方面： 不同的应用可以从商用库中根据应用属性形成不同的电网模型； 夺 同一数据模式可以根据不同应用形成多份数据库实体； 电网模型中相同应用的数据实体之间可以进行复制； 不同的应用可采用关系、层次等不同的数据模型种类。 图2 4应用态示意图 另外，数据库支持平台根据不同的态提供了更精细的应用级容器：实时态是实时运 行组件的容器；研究态是研究方式下组件执行的容器；培训态是模拟培训环境下组件的 运行容器；备用态是用于运行为值班软件备用的组件容器。一个应用可以以不同进程的 方式同时运行于不同的容器，如图2 - 4 中调度员潮流可以同时运行于实时态容器和研究 态容器，培训态中的安全自动装置仿真可同时运行于实时态容器和研究态容器为安全分 析提供安全自动装置的影响。 提供各种访问接口。 2 5实时库的通信方式 o p e n 3 0 0 0 系统提供了两种数据通信方式：点对点数据通信和点对多点数据通信。 目前c o r b a 同步用于实现点对点数据通信，消息总线主要用于实现点对多点数据通信， 亦可用于点对点数据通剧1 4 1 。 1 2 第二章o p e n - 3 0 0 0 系统的实时数据库 2 5 1c o r b a 技术 为了解决分布式计算环境中不同硬件设备和软件系统的互联，增强网络间软件的互 操作性，解决传统分布式计算模式中的不足，对象管理组织( o m g ，o b j e c tm a n a g e m e n t g r o u p ) 提出了公共对象请求代理体系结构( c o r b a ，c o m m o no b j e c tr e q u e s tb r o k e r a r c h i t e c t u r e ) 。它的主要目标是解决面向对象的异构应用程序之间的互操作性问题，并 提供分布式计算所需要的一些服务，其核心是一套标准的语言、接口和协议，以支持异 构分布式应用程序间的互操作性及独立于平台和编程语言的对象重用【l5 1 。c o r b a 的最 大特点在于它是一个中立于各种不同平台、不同厂商和不同语言的架构，它建立在o m g 组织的对象管理体系结构( o m a ，o b j e c tm a n a g e m e n ta r c h i t e c t u r e ) 的框架之上，是o m g 所采纳的第一个标准，其核心部分是o r b 。o r b 的体系结构如下图所示： ( 客户方) (对象实现方 ) 孽羹驻嚣嚣嚣彗秆 o r bo r bi d l ，动态构动态i d l 接口接口构架架接口调用桩 l ：、：- l 对象适配器o a ：= = ： o r b 核心 困网电力科学研冗阮坝士学位论文 在调度自动化系统中也存在着接口不规范，异构系统间程序互操作性差的问题。所 以这就需要一套定义良好的标准化接口方式，这样才能保证系统各应用之间正确、高效 地交互以及第三方软件即插即用。为了实现o p e n 3 0 0 0 的开放性，并且为了彻底地支 持c i m c i s 标准，同时由于c o r b a 本身的功能全面、高效稳定，o p e n 3 0 0 0 的所有 服务，包括实时库服务，都基于c o r b a 实现。 2 5 2 消息总线0 1 8 l o p e n 3 0 0 0 中的消息总线基于可靠的t c p 协议，它向节点上所有进程提供可靠的 一点对多点数据传输的通信服务。具体来说，就是一个节点中的消息总线进程负责把本 节点中各进程的消息分发给分布在系统内其它节点( 可以包括本节点) 中的一组进程和接 收其它节点的进程发送给本节点中进程的消息。 各节点之间的消息流动示意图如下所示： 节点艄息总线1 节点艄膦2 进程1 进程2 ，艘m 进程1进程2 进程l 【 l 土- ? b 皂复栅陪 】i | i 皂：爱送接d 槲帅州 矮经 璃皂复纠h | 皂发送接d接州 接枝 啦引u f 堡疗匿 壤存基 l 疑避霎仔区lt r 鼍掐直嘧禅谁押 l 璃皂蝼牧谨程 o k 童复智i i 1r 一 i 璃皂爱送觏i靖皂接故谨程p 叫璃皂复考i l l| 毒l 0 s 网 各通信支持 0 s 硒络通信支持 l+ l 0 图2 - 6消息总线上消息流动示意图 从图中我们可以看到，在o p e n 3 0 0 0 的消息总线中涉及消息处理的主要有这几个 部分：通道管理，缓冲区管理和连接管理。 通道管理：通道管理是消息总线的基础。进程根据需要加入一个或多个通道。通道 中的进程可以分布在整个网络上，进程使用“加入通道 操作可以加入到特定通道中。 缓冲区管理：消息总线在每个节点上维护两个主要缓冲区：发送缓冲区和接收缓冲 1 4 第二章o p e n - 3 0 0 0 系统的实时数据库 区。发送缓冲区缓存本节点各进程需要发送给其它节点( 包括本节点) 进程的消息；接 收缓冲区缓存从其它节点( 包括本节点) 接收到的消息。缓冲区内消息的大小是可变的， 这使得缓冲区的管理变得复杂化。缓冲区管理采用可用缓存空间分配，可用空间回收， 连续可用空间合并等机制进行管理。 连接管理：在消息总线中两个进程之间的通信分为三个阶段：发送进程一一 本节 点消息总线进程，本节点消息总线进程一一 目的节点消息总线进程和目的节点消息总 线进程一一 目的接收进程。在通信的第一阶段中，消息总线的消息发送接口从本节点 进程接收消息，放入发送缓冲区中。消息发送进程从发送缓冲区中读取消息，根据消息 的日的通道信息负责发送消息。当发送不成功时，根据消息的日的通道信息对消息进行 复制，放入复制缓存区中。在通信的第三阶段中，消息总线的消息接收进程( 供其它节 点进程使用) 接收到消息后根据消息的目的通道，对消息进行复制，并且把复制后的消 息存放在接收缓冲区中，消息总线的消息接收接口( 供本地进程使用，可用s o c k e t 或 a p i 实现) 从接收缓冲区读取消息，并转发给本节点加入该通道的各个进程，从而保证 消息的不丢失。 消息总线使用简单，性能稳定，非常容易实现一对多的通信，而实时库里面的数据 同步正需要用到消息总线的这种特性。 2 6 现有实时库的不足 e m s 系统的一个重要特征是对可靠性要求极高，要求系统7x2 4 不间断连续运行。 实时数据库作为e m s 平台子系统的一个重要组成部分，其可靠性是通过多机冗余的机 制来保证的，当基于实时库的服务器发生故障时，系统仍然能够正常持续运行并提供可 靠的服务。基于o p e n 3 0 0 0 采用一主多备的方式保证调度系统的可靠性，各台应用服 务器( 逻辑) 上实时库中的数据都是从商用数据库中下装，并且只下装此服务器所需应 用的数据。但是传统实现方法还是存在如下一些不足之处： 1 主备机进行相同的计算操作，而相互之间没有协调资源的使用情况，导致在大 部分时间里( 主机没发生故障的情况下) 备机的资源没有得到充分合理的使用； 2 如果某一项任务计算量很大，则会占用较多的计算机资源和较长的计算时间， 从而影响其他任务的处理； 3 客户端对系统的访问几乎全部集中到主机，在实际运行的系统中往往会出现主 1 5 国网电力科学研究院硕士学位论文 机的负担较重而备机却非常空闲的现象； 4 当计算能力不足时，只能通过更换性能更好的服务器解决，费用很高；被替换 下来的机器往往闲置，浪费严重。 通过以上分析可以看出，目前系统采用的主备机方式虽然可以较好的保证系统的可 靠性，但随着计算量的不断增加系统的可扩展性较差，各台服务器负载不均衡，没有充 分挖掘所有服务器的潜力。而借鉴集群思想构造的实时库系统，在保证系统可靠性的同 时，大大增强了系统的性能和可扩展性，为更好的满足日益增长的应用需求和大数据量 处理提供了一个良好的解决方案。 1 6 第三章基于集群技术的实时库架构 3 1 基于集群技术的实时库总体框架 如前所述，目前的实时数据库子系统存在可扩展性差，对请求任务负载不均衡的问 题，使实时库的处理效率受到了影响。本文在已有实时库子系统的基础上结合集群的思 想构建新的实时库原型系统，所构建的新系统克服了原有系统的缺点：对于请求的每个 任务，先通过集群系统中的负载平衡器，根据负载平衡器的调度策略再将各任务分配给 系统内的某些服务器进行计算处理，使每个服务器节点都尽量做到“物尽其用；当 计算能力不足的时候，可以通过增加机器节点来解决问题，不需要更换更好的服务器， 但在以往已投运系统上，在计算规模或客户节点大量增加的情况下，都只能废弃原有硬 件设备，购置更加高性能的服务器。通过将集群技术的高性能、高可靠性和高可扩展性 等特性融入到现有的实时数据库系统中，可以从容应对将来系统监视规模不断扩大、应 用不断增加、计算要求不断提高的各种情况。 下图是鉴于集群思想构造的实时库原型系统示意图： 天 图3 - l 实时数据库原型系统总体架构 所构建的原型系统中各部分的功能如下： 1 用户 即客户端，只可见负载平衡器或者备份负载平衡器，将请求发送给活动的负载平衡 器并接收应答。 1 7 国网电力科学研究院硕士学位论文 2 负载平衡器 负载平衡器位于用户和内部节点之间，负载平衡器通过调度算法决定如何将来自客 户端的请求最好地在全部服务器节点之间进行分配。在整个系统中，基于用户对实时数 据库进行操作的事务就构成了来自客户端的请求。当用户建立到该系统的连接时，他们 基于一个负载平衡方案被分配给内部服务器节点进行相应处理。 3 服务器集合 在所构建的实时库原型系统中由若干台服务器构成整个系统的内部计算节点，在这 些节点上运行相同的基于实时库的应用程序( 他们对客户端计算机提供的是相同的服 务) 。为了保证在任何时刻，都有足够的计算力可供使用，满足电力系统对实时性要求 高的特点，将集群的动态可扩展性应用于服务器集合中，可以依需要动态地添加或删除 服务器节点。 在