（计算机应用技术专业论文）工控环境下实时数据库事务管理技术研究.pdf

摘要 随着计算机和数据通信技术以及网络的蓬勃兴起和迅速发展，信 息技术对传统工业控制领域产生越来越大的影响。通过将计算机技 术、控制技术、网络技术、管理技术等进行整合，提出了工业控制自 动化系统的概念。实时数据库系统作为工控自动化的基础数据平台， 为各类应用系统提供数据支撑，是工控系统建设的核心模块之一。 c s 结构的分布式实时数据库在工控领域得到了广泛的应用。用 户能够通过服务器集中管理地理上分散的实时数据库，实现数据库逻 辑上的统一。本文针对工控环境下c s 结构分布式实时数据库的事务 管理技术进行了较深入的研究，以保证事务处理的实时性以及并发 度。 针对事务的种类以及数量的不同，提出了定时调度策略结合“固 定优先级一最小空余时间优先”( t i m e & f i x e dp r i o r i t y l e a s t s p a r e t i m ef i r s t t & f p l s f ) 的调度算法。该算法使得服务器在收到大 量事务请求的情况下，能够根据事务的固定优先级来调度事务，以保 证硬实时事务全部满足截止期，且大部分软实时事务在截止期内完 成。实时数据库的并发控制机制也是事务管理技术的重要组成部分之 一。本文根据事务在执行阶段和提交阶段的特点，结合调度算法与 2 p c 提交协议来考虑，提出了分阶段的并发控制机制( g r a d i n g c o n c u r r e n c yc o n t r o lm e c h a n i s m ，g c c m ) 。分别给出了实时调度的主 要模块以及基于h a s h 索引技术的并发控制技术的实现方法。 最后通过在仿真测试平台s w - t e s t 上做的相关测试表明 t & f p l s f 结合分阶段的并发控制机制，能够使得系统有效减少事务 的错失率以及事务重启率。 关键词实时数据库，事务管理，调度算法，并发控制 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n i q u e ，d a t ac o m m u n i c a t i o n a n dn e t w o r k ，i n f o r m a t i o nt e c h n i q u eh a s g r e a ti m p a c t o l lt r a d i t i o n a l c o n t r o ld o m a i n i n d u s t r i a lc o n t r o la u t o m a t i o ns y s t e m ( i c a s ) w a s p r e s e n t e db a s e do nt h ei n t e g r a t i o no fc o m p u t e rt e c h n i q u e ，n e t w o r k t e c h n i q u ea n dm a n a g e m e n tt e c h n i q u ee t c r e a l - t i m ed a t a b a s ep l a y sak e y r o l ei nt h ea r c h i t e c t u r eo fi c a s ，p r o v i d e so t h e ra d v a n c e da p p l i c a t i o n s y s t e m sw i t hab a s i ci n t e g r a t e dd a t ap l a t f o n n d i s t r i b u t e dr e a l t i m ed a t a b a s es y s t e m ( d r t d b s ) b a s e do nc s s t r u c t u r ei sw i d e l yu s e di ni n d u s t r i a lc o n t r o ld o m a i n u s e r sc a nm a n a g e t h e s ed a t a b a s e sw h i c ha r ed i s t r i b u t e dp h y s i c a l l yb u ti n t e g r a t e dl o g i c a l l y t h r o u g h s e r v e r s t h i st h e s i sd o e ss o m er e s e a r c ho nt r a n s a c t i o n m a n a g e m e n tt e c h n o l o g yo fd i b sb a s e do nc ss t r u c t u r eu n d e rt h e i n d u s t r i a lc o n t r o le n v i r o n m e n tt om a k et r a n s a c t i o n sr e a l t i m ea n d c o n c u r r e n t f o rt h ea m o u n to fd i f f e r e n tk i n d so ft r a n s a c t i o ni sd i v e r s e t h i st h e s i s p r e s e n t st i m e & f i x e dp r i o r i t y l e a s ts p a r e - t i m ef i r s t ( t & f p - l s f ) ， t h r o u g hw h i c h as e r v e rc a ns c h e d u l el o t so ft r a n s a c t i o n st o w a r d st h e i r f i x e dp r i o r i t yt om a k es u r et h a ta l lt h eh a r dr e a l t i m et r a n s a c t i o n sa n d t h em o s to fs o f tr e a l t i m et r a n s a c t i o n ss a t i s f yt h e i rd e a d l i n e s t h e c o n c u r r e n c yc o n t r o lt e c h n o l o g yo fr t d b si sa l s oa ni m p o r t a n tp a r to f t r a n s a c t i o nm a n a g e m e n tt e c h n o l o g y b e c a u s eo fd i f f e r e n tt r a n s a c t i o n s t r a i t si nt h e i re x e c u t i n gp h a s ea n dc o m m i t t i n gp h a s e ，t h i st h e s i sp r e s e n t s t h e g r a d i n gc o n c u r r e n c yc o n t r o lm e c h a n i s m ( g c c m ) w i t ht h e c o n s i d e r a t i o no ft h es c h e d u l i n ga l g o r i t h ma n d2 p cc o m m i t t i n gp r o t o c o l ， a n dg i v e st h em o d u l e so fr e a l t i m es c h e d u l i n ga n dt h ew a y so fr e a l i z i n g g c c mb a s e do nh a s hi n d e xt e c h n o l o g y f i n a l l y , t h ec o r r e l a t i v et e s t s o nt h ee m u l a t o rp l a t f o n ns w - t e s t p r e s e n tt h a tt & f p l s fa n dg c c mc a nr e d u c et h em i s sr a t i oa n d r e s t a r tr a t i oo f t r a n s a c t i o n s k e yw o r d sr t d b s ，t r a n s a c t i o nm a n a g e m e n t ，s c h e d u l i n ga l g o r i t h m ， c o n c u r r e n c yc o n t r o l n 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特另, j j j n 以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：亟鳖! 亟日期：呈生年土月旦日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：塑堕塑 导师签名驻日期：上迦l 年土月且日 硕士学位论文第一章绪论 第一章绪论 实时数据库( r e a l t i m ed a t a b a s e ，r t d b s ) 是数据和事务都具有时间属性 或时间约束的数据库。实时数据库有着重要的实用价值，特别是c s 结构的分布 式实时数据库目前广泛应用于工业自动化控制领域。 本章着重介绍了课题研究的问题，论述了选择课题的背景和意义，以及课题 的研究任务。 1 1 研究意义 工业控制自动化系统是将先进的工艺装备技术、现代管理技术和以先进控制 与优化技术为代表的现代控制技术及信息技术相结合，将企业的生产过程控制、 优化、运行、计划与管理作为一个整体进行控制与管理，提供整体解决方案，以 实现企业的优化运行、优化控制与优化管理，从而成为提高企业竞争力的核心技 术【1 1 0 过去的十几年内工业控制自动化得到了巨大的发展，其中最重要的发展即是 通过将已经得到广泛应用的计算机控制技术，如集散控制系统d c s 、可编程逻 辑控制器p l c 以及现场总线控制系统f c s 等与新兴的信息管理技术相结合，实 现从底层向上层逐渐渗透的过程控制，形成集控制、优化、管理、经营于一体的 综合自动化新模式。信息交换沟通的领域正迅速覆盖从工厂的现场设备层到控 制、管理的各个层次，从工段、车间、工厂、企业到世界各地的市场。信息技术 的飞速发展，导致了自动化系统结构的变革，形成了以网络集成自动化系统为基 础的企业信息系统【2 】。 处于生产过程底层的基础自动化系统，由于采用一对一连线，用电压、电流 的模拟信号进行测量控制，或采用自封闭式的计算机系统，难以实现设备之间以 及系统与外界之间的信息交换。随着信息技术和计算机网络技术的发展，自动 化系统的“信息孤岛 问题日益凸显。解决这一问题的关键之一在于解决企业 底层过程控制网络与上层管理信息网络间的数据集成和应用集成问题。但是由于 技术发展的原因，控制网络上分布着不同厂商的不同种类的自动化系统，每个系 统只能采集和管理相应装置或设备在运行过程中产生的部分实时数据f 3 j 。因此迫 切需要一个统一的数据平台来集成各种控制系统的数据。 实时数据库系统r t d b s ( r e a l t i m ed a t a b a s es y s t e m ) 正是为实现此类需求 而产生的，近年来实时数据库系统的应用成功地实现了现场控制系统过程生产数 硕士学位论文 第一章绪论 据的集成，建立了企业管理系统与底层控制系统之间的数据通信，为全厂过程实 时信息的综合集成奠定了基础。 近年来国外一些先进的实时数据库系统已经在国内的一些大型工业企业中 得到了应用并取得了一定的效果，为此国家将实时数据库系统研究列入十五攻关 计划，开发具备自主知识产权的并且在性能上达到甚至超过国外同类产品的大型 实时数据库系统。 实时数据库( r e a l t i m ed a t a b a s er t d b ) 有别于传统数据库的地方在于，系统 的正确性不仅要满足逻辑约束，而且还要满足时间约束 4 1 。r t d b s 的资源分配 策略与任务调度机制要有利于保证紧急任务的及时完成，并追求事务定时限制的 满足，以及满足定时限制事务的比率最大的目标。r t d b 也有别于实时系统，它 要维护数据一致性，具有数据库系统能力，且实时事务的执行存在许多不可预测 因素( 如i 0 的延时、系统的负载程度、系统资源的共享冲突等) ，而实时系统没 有这些要求，它通常工作于可预测的资源需求以及数据需求环境，系统致力于所 有任务不违背时间约束。 随着计算机网络技术的飞速发展以及工作站、p c 机功能增强，越来越多的 数据库系统采用客户机服务器( c l i e n t s e r v e r ) 模式。客户机服务器结构将客户的 应用和数据库的管理合理地分布在客户机工作站和服务器上，使服务器专心地集 中处理数据库查询、存取控制、完整性和安全性检查，而由客户机工作站执行用 户的应用程序以及数据显示等工作，通过客户机和服务器的协作来完成任务。客 户机端和服务器端处于不平等地位，采用的是请求一回答方式。客户机工作站执 行各种应用程序，当需要操纵数据库时，向服务器发出数据库操纵命令。服务器 通过网络接收到请求后，交由实时数据库内核，经过优化、安全性和完整性检查 后将客户机需要的数据传回给客户机，并在客户机终端上显示。 与主从式实时数据库管理系统相比较，客户栅服务器结构是一种发展比较 成功的软件模型，它具有如下优点【5 】： ( 1 ) 稳定性和可靠性好。客户机服务器模型把任务进行分离，客户服务器 各尽其职，共同完成任务。功能强大的服务器运行数据库管理系统，可以充分发 挥主机的高性能，并保证数据库完整性、安全性和存取控制冗余度小。 ( 2 ) 工作站独力性高。用户不必局限于某种系统或平台，可以采用不同种类 的硬件平台和操作系统。并且得到应用程序的独力性，客户机工作站可以将多个 物理上分布的数据库视为一个单一数据库加以处理，而不管这些数据库是属于同 质或异质的数据库。 ( 3 ) 用户透明度高。用户操纵远地数据库和操纵本地数据库时完全一样。 ( 4 ) 软件可扩展性好。一个服务器可以为多个客户提供服务，客户也可以连 2 硕士学位论文第一章绪论 接到不同的服务器上，这种模型的连接非常灵活。 c s 结构的分布式实时数据库系统大大加强了实时数据库集中数据管理的 功能，同时节约了有限的资源，实现了数据资源的共享。由于其具有多客户机以 及多数据库的特点，一个应用可以涉及多个实时数据库上的数据，一个实时数据 库上的数据也可以被多个客户机访问。考虑到客户机有时候会要求访问多个实时 数据库( 如“查询当前所有数据库中的温度信息) ，每个数据库都要进行事务处 理的一部分。此时，客户机的请求可以看成是全局事件，每个数据库只执行相应 的子事务，这将引出许多与分布式实时数据库系统相同的问题。采用什么样的策 略才能使绝大部分时间紧迫的事务按时完成，怎么样才能提高数据库的事务处理 并发度就成了亟待解决的问题。为了满足事务的定时限制以及数据库的一致性， 全局事务和它的各个子事务之间需要通过网络交换许多信息，由于信息交换而导 致的通信延迟构成了实时事务响应时间的主要组成部分。因此，传统数据库系统 中采用的事务管理技术在c s 结构的分布式实时环境下变得不适用，需要改进和 创新，以满足新兴应用领域的需求。 1 2 国内外研究现状 实时数据库的研究起源于2 0 世纪8 0 年代中期。在工业控制等场合，由于数 据的实时限制和高流量，传统关系数据库难以得到好的效果。传统的数据库对商 务和事务型应用是有效的，但是它不适合实时应用。最关键的是它不考虑与数据 及其处理相联系的定时限制。为此需要提出一种具有高实时性、大数据容量和访 问量的新的数据库理论。 在1 9 8 8 年发表的a c ms i g m o dr e e o r d 实时数据库专刊，揭示了实时数据 库研究领域的诞生，1 9 8 8 年9 月r o b e r t k ，a b b o t t 和h e c t o rg a r c i a m o l i n a 在 1 4 届v l d b 会议上的一篇论文s c h e d u l i n gr e a l t i m et r a n s a c t i o n s ：ap e r f o r m a n c e e v a l u a t i o n 是r t d b 这一领域中重要论文。这篇论文提出了数据库系统中的事务 可以具有实时限制，并提出了与之相关的一系列的c p u 及f o 调度算法、并发 控制协议等等【6 l 。特别是1 9 9 6 年三月召开的第一届国际实时数据库系统的专题 讨论会以后，很多学者都对其进行了大量的研究，并发表了许多有价值的文章， r a m a r i t h a m 提出了r t d b 中的数据实时特性，指出事务执行必须满足严格的时 间约束，对r t d b 的发展起到了奠基的作用，之后l a m 评估了r t d b 的特性， 又提出了各种实时事务的正确性准则【_ ”。 国外对r t d b 的研究非常关注，在此方面的研究开展较早，尤其是美国、英 国、德国、瑞典等国，现已有许多成功的实验系统，并且推出了商业化的实时数 据库。被国外理论界认为严格满足实时要求的实时数据库产品有1 9 9 4 年d b x 公 硕士学位论文第一章绪论 司推出的z i pr t d b m s ! 引，该系统虽然能很好地满足硬实时事务和某些r t d b 的 特征，但是它具有一个明显的缺点，不支持动态实时调度和数据的时序一致【9 l 。 近年来，商业实时数据库层出不穷，其中在国际上比较著名的有美国h o n e y w e l l 公司的p h d ( p r o c e s sh i s t o r yd a t a b a s e ) 系统；美国a s p e nt e c h 公司的i n f o p l u s 系 统；美国的o s i 公司的p l a n ti n f o r m a t i o ns y s t e m ，简称p i 【引。 国内的实时数据库研究基本上是在8 0 年代末、9 0 年代初才开始，但发展很 快。目前国内也有多家公司从事相关产品的开发，譬如北京三维天地计算机技术 开发有限公司开发的面向流程行业的实时数据库s u p e r l n f o ，借鉴了国外优秀实 时数据库软件并结合了国内企业的应用特点。还有中国大庆金桥信息技术工程有 限公司的c o n r t d b 系统，中国北京石林电脑公司开发的s l r s 系统，中国北京 和利时系统工程股份有限公司的r e a l m i s 系统，中国科学院软件所的a g i l o r 以 及浙江中控软件技术有限公司开发的e s p i s y s 1 0 l 等。尽管这些产品同国外同类 产品相比还存在一定差距，但一直在不断改进，并且占据了国内实时数据库市场 越来越高的份额【l 。 实时数据库的事务管理技术主要包括了事务调度技术以及事务并发控制技 术；分布式实时数据库由于数据库地理上的分散性，还有一项提交协议。 事务的调度算法分类很多，传统的分类法包括：按照抢占策略分为可抢占调 度算法和不可抢占调度算法；按照优先级的指派方式分为静态调度算法和动态调 度算法；按照调度算法作用的实际分为在线调度算法和离线调度算法【1 2 】。实时 调度中使用最多的是基于优先级的调度算法，这种调度算法给事务分配一个优先 级，在每个调度时机总是优先调度具有最高优先级的事务执行。 r m 调度算法 1 3 , 1 4 】是一种典型的静态优先级调度算法，它根据事务执行周期 的长短来决定优先级，缺点是不能实现全部的处理器利用率i ”l 。动态优先级调 度算法根据事务的资源需求来动态地分配优先级，因此较静态优先级调度算法更 加灵活。e d f t l 6 , 1 7 】是使用最多的一种动态优先级调度算法，截止期最近的事务优 先级最高。在e d f 的基础上又有空余时间最短最优先( l s f , l e a s ts l a c kf i r s t ) 算法 i s , 1 9 ，该算法在事务估计运行时间的基础上，根据事务的空余时间分配事务的优 先级，空余时间最少的事务优先级最高。 实时数据库采用的并发控制技术基本沿袭关系型数据库，分为：基于锁的并 发控制、基于时间戳的并发控制、基于有效性检查的并发控制以及前面三种的混 合。分布式实时数据库还要加上乐观并发控制技术。大多数实时数据库采用的是 基于锁的并发控制。其中使用最广泛的是两阶段锁2 p l 以及其它的一些变种【2 0 1 。 在商用领域，基于锁的并发控制占绝对地位，而基于时间戳和有效性检查的并发 控制由于实现难度大，一般只作为理论研究。文献f 1 8 1 提到了优先级继承算法， 4 硕士学位论文 第一章绪论 该算法将持有锁的低优先级事务提升为请求事务的优先级水平，从而解决了优先 级倒置和死锁问题。但也对中等优先级事务满足截止期造成了影响【2 1 1 。文献【2 2 】 通过区分只读事务和更新事务，客户端构造一致数据库影子进行读操作，以保证 读事务请求不失败、不等待。文献【2 3 】提出了基于数据多映象的并发控制协议， 通过改变事务之间的依赖关系提高事务的并发度。 分布式实时数据库的提交协议基本上继承了传统的两阶段提交协议2 p c ，并 且许多研究人员对2 p c 进行了扩展。h a r i t s a l 提出了p r o m p t 协议【2 4 】，允许处 于决定状态的事务在一定条件下乐观地借出其占有的数据，提高了事务的并发 度。l a m 提出了d d c r 协议【2 引，该协议允许一个想进入决定阶段且其截止期临 近的事务通过颠倒事务之间的依赖关系来解除对另一个处于提交阶段事务的依 赖。在d d c r 中处于执行阶段的事务能够访问提交事务锁住的数据，因此并发 度较高。刘云生提出的双空间提交协议2 s c l 2 6 1 ，将分布式实时事务的提交处理分 别在结点的局部事务空间和系统的全局事务空间来处理。 c s 结构的分布式实时数据库目前广泛应用于轨道电力系统、发电厂监控系 统、智能建筑管理系统以及钢铁企业信息化建设当中。文献 2 7 】提出了轨道电力 监控系统的分布式实时数据库结构，即在地铁沿线每个变电站设置一个实时数据 库，将实时数据采集后传送到监控中心的实时数据库，以增加数据库节点的透明 性。提出了一种基于锁的优先级并发控制机制；文献 2 8 】针对湘钢分厂分散、控 制系统较多的特点以及分布式结构、多个数据库并存等要求，设计了分布式集群 实施方式，即各分厂单独运行实时数据库系统，并由总调度室服务器统一管理， 实现物理上分散、逻辑上统一，方便调度与决策。提出了基于优先级的事务排队 调度算法，使用线程池实现并发处理；文献【2 9 】设计的分层分布式综合自动化系 统的信息管理层也沿用了c s 的结构设计站级计算机，利用服务器和工作站形成 了站内计算机局域网。文中使用了影子索引和延迟提交的方法实现事务的并发控 制；文献【3 0 】设计了一个c s 结构的分布式实时数据处理系统，研究了服务器端 事务的调度算法，提出了固定优先级一最早截止期( f p e d f ) 优先的事务调度 策略，并设计了单边提交协议u c p 。 这些文献或者仅仅研究了服务器端事务的调度算法，或者对分布式实时数据 库的并发控制机制进行了改进，还有论文提出了更加简单的提交协议，但都是相 对独立地看待这些问题。对于c s 结构的分布式实时数据库来说，调度算法、并 发控制机制以及提交协议是相互影响的，如果能把这三者结合起来考虑，将对提 高实时数据库的整体性能有着很大的帮助。 5 硕士学位论文第一章绪论 1 3 论文研究内容及组织结构 本文针对工控环境下c s 结构的分布式实时数据库的事务管理技术进行了研 究。分布式实时数据库的事务管理包括并发控制机制、事务提交机制、死锁的避 免或解决方法和日志管理几部分。由于内存中非常容易丢失数据，所以实时数据 库的恢复处理一直是研究领域里的热点问题，日志管理就是系统恢复的策略之 一。鉴于篇幅原因，本文将不作探讨，而是将讨论重点放在实时数据库的调度算 法、并发控制以及提交机制上。 本文主要研究的内容包括： 实时事务的特点、分类以及数据结构； 工控环境下分布式实时数据库的c s 结构以及实时数据库的内核结构； 分布式实时事务管理中事务截止期的确定和事务优先级指派策略、并发 控制机制、提交处理机制； 实时数据库服务器调度算法的实现方法以及内存实时数据库基于索引技 术的并发控制机制的实现； 系统仿真测试平台的构建以及实验参数的选取。 本文的组织结构如下： 第一章绪论：简述了工控环境下分布式实时数据库的背景知识、研究现状， 介绍了本文研究的主要内容、组织结构以及创新点。 第二章实时数据库系统：首先介绍了实时数据库特征、事务的分类以及实 时数据库的性能指标。接着对工控环境下分布式实时数据库的c s 结构以及数据 库的内核结构进行了设计。 第三章实时数据库的事务管理技术研究：首先提出实时数据库事务管理的 概念与两个重要的组成部分：服务器的事务调度机制和实时数据库的并发控制机 制。接着介绍了实际操作中事务的种类及其数据结构，分析了事务的处理步骤。 在几种常见的事务调度算法的基础上，本文提出了“固定优先级一最小空余时间 优先算法( t i m e & f i x e dp r i o r i t y l e a s ts p a r e t i m ef i r s t ，t & f p l s f ) 来完成事务的 调度；对于实时数据库子事务的并发控制机制，本文将优先级继承严格两阶段锁 s 2 p l p i 结合2 p c 提交协议共同考虑，把事务的访问冲突划分为执行一执行冲突 以及执行一提交冲突，并提出分阶段并发控制算法。 第四章实时数据库事务管理技术的实现：这是本文的重点部分。首先结合 第三章提出的t & f p l s f 调度算法，给出了调度机制的实现方法；然后介绍了实 时数据库的索引机制，引出了基于h a s h 索引的并发控制机制，结合分阶段并发 控制算法对锁的实现进行了设计；最后通过构建仿真测试平台s w - t e s t 对提出的 6 硕士学位论文 第一章绪论 事务管理技术进行仿真测试，结果表明t & f p l s f 结合分阶段的并发控制算法在 降低事务错失率以及事务重启率方面有比较好的表现。 第五章结论与展望：总结了本文对c s 结构分布式实时数据库事务管理技 术的研究成果，本文对调度算法和并发控制机制都进行了较深入的研究，尤其在 并发控制方面，设计并实现了基于实时数据库索引结构的并发控制算法。在这些 研究的过程中我们发现了很多的问题需要我们做进一步的研究。 本文的创新性工作主要体现在以下几个方面： 在c s 结构的分布式实时数据库的基础上提出了事务的调度算法 t & f p l s f ，并给出了调度机制的实现方法； 针对该实时数据库的应用环境，对传统的并发控制协议和提交协议进行 改进，以解决两者共同工作后出现的新问题。提出了分阶段并发控制算法，把事 务的访问冲突划分为执行一执行冲突以及执行一提交冲突来处理： 实现了实时数据库的并发控制机制。利用h a s h 算法建立了一个静态分配 桶结合拉链的索引结构，并且就并发事务对索引的修改进行了并发控制的设计。 最后，对锁的实现进行了设计。 在实时数据库原型系统s w - r t d b s 的基础上构建了仿真测试平台 s w - t e s t ，并进行了相关仿真测试。 7 硕士学位论文第二章实时数据库系统 第二章实时数据库系统 同传统的关系型数据库不同，实时数据库有其自身的概念和理论体系，包括 实时事务的分类以及数据和事务的定时限制等，事务能否在截止期内完成称为评 价实时数据库性能优劣的重要参数。 基于c s 的分布式实时数据库在工控环境下应用得十分广泛。用户可以通过 监控中心集中管理地理上分散的实时数据库，实现逻辑上的统一。 2 1 相关概念 2 。1 1 实时数据库特征 实时数据库就是其数据和事务都有显式定时限制的数据库，系统的正确性不 仅依赖于事务的逻辑结果，而且依赖于该逻辑结果所产生的时间。实时数据库中， 一方面需要维护大量的共享数据，另一方面其动作的执行有很强的时间性，要求 在某个时间点上或一个时间限制内完成其活动，并按彼此问的联系存取相应的数 据。因此，实时数据库并不是数据库技术和实时系统两者的简单结合，而需要对 一系列的概念、理论、技术、方法和机制进行研究开发，如数据模型；数据库的 结构与组织；事务的模型与特性，尤其是截止时间及其软硬性；事务的优先级分 派、调度与算法等等，这些问题之间彼此高度相关。 实时数据的一个基本特征就是与时间相关性。因此，实时数据库的特征主要 表现在数据和事务的定时限制上： ( 1 ) r t d b 的数据特征 在r t d b 中，数据随外部环境状态的变化而快速变化，其值只在一定的时间 内是“流行 的，过时则无效了，故系统除了维护数据库内部状态( 数据值) 的 正确性、相容性外，还必须同时维护内部状态与外部环境实际状态的一致性，以 及数据用来决策或推导新数据时在时间上的相互一致性。r t d b 中的一个数据对 象d 由三个分量组成( 如d t p , d e v i 六它们分别为d 的当前值、采样时间、外部 有效期( 外部现实对象状态变化的时间间隔) ，有效期即自d t p 算起咖有效的时 间长度。对于r t d b 中的每一d ，有内部一致性、外部一致性和相互一致性特征。 内部一致：咖满足预先定义的数据库内部状态的完整性和一致性限制。这就 是传统意义下的数据正确性。 外部一致性：设t c 为当前或检测时间，当且仅当( t c - d t p ) d e v i ，则说d 是 8 硕士学位论文 第二章实时数据库系统 外部一致的，即咖和对应的外部现实对象的状态是一样的。 相互一致性：用来决策或导出新数据的一组相关数据称为一个相互一致集， 记为r 。其中的数据必须尽可能地在一个允许的公共时间期内被采取( 或导出) ， 这个公共时间期就称为r 的相互有效期，记为r m v i ，对于r 中的任两个数据d 和d ，有d t p - - d t p r m v i ，则说尺中的数据是相互一致的。 外部一致性和相互一致性都是关于时间的，故统称时间一致性。既是内部一 致又是时间一致的数据才是正确的。 ( 2 ) r t d b 的实时事务特征 事务是实时数据库系统的基本工作单元。为了保证数据的完整性，通常要求 数据库维护事务的a c i d 属性，包括： 原子性：事务的所有操作或者全部正确执行或者全部不执行。 一致性：事务执行之前数据库是一致的，而事务执行之后依然能够保证数据 库的一致性。 隔离性：并发执行的事务都感觉不到系统之有其它事务在执行，确保事务并 发执行后的系统状态与这些事务以某种次序一个个执行后的状态等价。 持久性：一个事务成功执行后，它对数据库的改变必须是永久的，即使系统 出现异常故障。 2 1 2 事务的分类 实时数据库系统的操作是以事务的形式出现。事务就是包含在 b e g i n c o m m l l a b o i 汀之间的操作序列。系统以事务为单位分配c p u 、数据 等资源，进行优先级的分配、调度处理等。 实时数据库一个非常重要的性质时事务有多种定时限制，其中最典型的是 事务截止期( d e a d l i n e ) 。实时事务按事务超截止期对系统带来的影响分为以下 几类： 硬实时事务：超截止期会导致恶果( f i r 值函数取负值) 。它对应于安全危 急性活动。 软实时事务：超截止期仍有一定的价值，但不断下降，直到某一时刻( 称 为最终有效时间) ，其价值降到零，此后保持为零( 不会为负) 。 固实时事务：一旦到达截止时间，其价值立即降为零，此后固定为零( 也 不会为负) ，显然，它是软实时事务在最终有效时间与截止时间重合情况的特例。 如图2 一l 中分别给出描绘硬、软、固实时事务的典型例子，其中 ，r 两坐标轴分别为价值函数与时间，d 为截止期( d e a d l i n e ) ，e 为“最终有效时间， ，为启动( r e l e a s e ) 时间。 9 硕士学位论文第二章实时数据库系统 硬实时事务软实时事务 固实时事务 图2 1 实时事务的关键性分类 2 1 3 性能指标 错失率( m r ：m i s sr a t i o ) 是任何实时数据库系统中的最重要的性能指标之 一【3 。假设t a r d y 与t i m e l y 分别表示所有实时事务中错失截止期与满足截止期的 事务个数，那么错失率表示为： m i s sr 口t o = 一! 生一1 0 0 ( 2 1 ) t a r d y + t i m e l y 硬实时事务要求绝对保证事务的截止期，因此系统期望硬实时事务的错失率 必须为o ；而对于软实时事务来说，允许少量的事务错失截止期，因此可以要求 一段时间内或者一组事务中的错失率小于一定的比例。这就是说，不同的事务要 求不同的服务质量( q o s ：q u a l i t yo fs e r v i c e ) ，因此不同的错失率需求是混合实 时事务的q o s 规范之一。例如，我们可以定义q o s m r = m p d q = o ； m r s ，4l fo ， 辽 掬 1 1 。1 。- 1 1 。1 。1 。1 。1 。1 。1 。1 。1 。一 翌竺兰竺一 ) 图2 3 实时数据库基于c s 的分布式体系结构 实时数据库采用基于子系统平等的方式集成，以降低开发成本和开发难度。 实时数据通过o p c 接口转换成统一的格式，存储在系统集成实时数据库中。各 实时数据库设监控设备，提供本地实时数据的访问功能；远程客户机同样可以通 过服务器集中管理所有的实时数据库。系统通过设置用户权限保证访问的安全 性。服务器利用集成管理网络，使用系统核心调度程序对各子系统实现统一管理、 监控及信息交换。通过分布式实施，各实时数据库并行运行，物理上分散，实现 整个工控数据库系统实时数据集群，实现采集、存储、管理与查询及归档管理， 同时通过服务器的管理，实时了解各实时数据库运行情况，实现了逻辑上的统一， 方便调度与决策。 2 2 2 实时数据库内核结构 本文采用模块化的“内核”设计思想对实时数据库核心结构进行设计。实时 数据库的内核就是把实时数据库中运行频率较高的模块，以及为许多模块所公用 的一些基本操作安排在靠近硬件的层次中，并使它们常驻内存，以提高实时数据 库的运行效率。内核为系统对事务进行控制和管理提供了良好的环境1 3 4 1 。 “内核”的主要功能是负责事务分发、调度处理及资源管理，系统可以通过 灵活可靠的方式挂接各种连接服务管理( 包括网络服务、资源服务等) 、主动机 制实现程序、分布式应用服务及配置工具等外围子系统或扩展应用软构件，他们 与健壮的r t d b 运行核心分离。这样r t d b 服务器可以为其他子系统和上层应 用提供不间断的、高效的实时数据库服务，同时针对不同应用结构提供极强的可 硕士学位论文第二章实时数据库系统 伸缩性和可扩展性。基于此，我们在r t d b 核心采取了“内核 结构【3 5 】。 实时数据库内核的主要任务是进行实时数据管理、实时事务调度、实时并发 控制、缓冲区管理及历史数据的管理，如图2 - 4 所示： 图2 4 实时数据库核心结构 我们对实时数据库内核进行模块化设计，建立实时事务管理模块、数据管理 模块和资源管理模块。每个模块又分别包含不同的子模块来处理相应的事务。 数据管理模块包括实时数据管理子模块和历史数据管理子模块。数据管理模 块建立个通用的实时数据库平台对来自不同控制系统的数据进行了整合，并且 将过时的实时数据用历史数据的形式保存下来。历史数据相当于飞机上的黑匣 子，反映了现实世界中实际情况的发生和发展过程，对系统应用人员是极其重要 的参考数据。 资源管理模块包括了时间管理子模块和缓冲区管理子模块，负责实时数据库 的时间管理，触发实时事务执行以及在内存中开辟历史数据缓冲区，使得实时数 据可以在缓冲区中积累到达一定量，再写入磁盘历史数据库文件中，避免了频繁 的写磁盘。 事务管理模块主要包括实时事务调度子模块以及事务并发控制子模块。 ( 1 ) 实时事务调度。实时数据库系统是用来处理具有定时限制的工作负载的 1 4 硕士学位论文 第二章实时数据库系统 事务处理系统，主要标准是满足事务的截止时间。事务调度包括事务的优先级指 派、事务对各种资源的调度，及对各个事务占用c p u 的调度，多个并发运行事 物之间的数据、i 0 和内存等资源的调度。事务调度算法应在最大程度上满足事 务的时间限制。 ( 2 ) 事务并发控制。与传统的数据库相同，实时数据库中的事务并发运行并 存取共享数据因此彼此潜在的存在相互干扰。并发控制机制就是要控制并发事物 之间的相互作用，使实时数据库的一致性和完整性不被破坏。 2 3 本章小结 本章首先介绍了实时数据库系统的相关概念，包括特征、事务的分类以及评 价实时数据库性能优劣的指标；接着，本文对工控环境下实时数据库的总体结构 进行了设计，包括基于c s 的分布式结构以及实时数据库的内核结构，引出了调 度算法以及并发控制机制在实时数据库系统研究中的重要地位。 硕士学位论文 第三章实时数据库的事务管理技术研究 第三章实时数据库的事务管理技术研究 c s 结构的分布式实时数据库的事务管理技术主要包括了事务调度算法、并 发控制机制以及提交协议。结合工控环境的具体操作情况，事务可以分为硬实时 事务、软实时事务以及非实时事务几类。由于硬实时事务很少，软实时和非实时 事务占大多数。为此，本文提出了定时调度策略结合“固定优先级一最小空余时 间优先 算法( t i m e f i x e dp r i o r i t y l e a s ts p a r e t i m ef i r s t ，t & f p l s f ) 来完成全局 事务的调度以保证全部硬实时事务在截止期内完成，并且使得绝大部分软实时事 务按时完成。 并发控制策略贯穿事务存在的两个阶段一执行阶段以及提交阶段，因此，可 以将事务的访问冲突分为执行一执行冲突以及执行一提交冲突。本文结合调度算 法以及提交协议提出了分阶段的并发控制算法，对于不同的冲突采用相应的并发 控制策略以求扬长避短，提高实时数据库的性能。 3 1 事务管理过程及数据结构 工业控制系统中的实时事务大体分为： 只读事务：室内温度、数据、曲线、电压棒图显示、限值报警等。 只写事务：数据录入、参数设置等。 更新事务：子系统下各设备状态变化的刷新值，通常是周期性事务，譬 如“每5 秒钟更新一次温度值 。 客户机可以通过服务器来集中访问所有实时数据库的数据，譬如“显示所有 数据库的电压值 。服务器通过指派请求事务的优先级，并按照一定的调度算法 来安排事务的执行次序。服务器的结构如图3 1 所示： 消息管理器 全局模式事务调事务处 管理器 度器理器 实时数据库访问控件 图3 1 服务器设计模型 1 6 硕士学位论文第三章实时数据库的事务管理技术研究 可以使用c o m + 组件技术来构造各个功能模块 3 6 1 。消息管理器用来接收客 户端的事务处理请求，并返回处理结果；事务调度器为所有客户端请求安排优先 级，并保证实时事务能在规定时间内完成；事务处理器将客户端请求转化为对数 据库的操作；全局模式管理器管理数据模式，储存实时数据库的i p 地址和参数 表，可增加或删除系统中的数据库或参数；数据库访问控件是访问实时数据库的 接口。 事务的处理步骤具体如下： 第一步，事务送交系统后，消息管理器对其做语法、词性以及安全性约束等 检查，然后交给事务调度器处理。事务调度器根据相关的调度策略为事务安排优 先级，选择优先级最高的事务投入运行；事务处理器创建协调者进程来负责事务 的执行和提交； 第二步，协调者发送开始工作消息给涉及被访问数据的各节点的事务管理 器，消息包含需要节点完成的任务。各节点事务管理器将创建参与者进程并传给 它消息内容，参与者在本地节点上进行实时数据库访问。当子事务要访问数据对 象时，调度器根据采用的并发控制策略和数据项的使用情况对数据进行加锁，并 对这些子事务做出延迟、执行或放弃的操作。完成一定的数据处理过程后，参与 者发送工作完成消息给协调者，事务执行阶段结束； 第三步，事务进入提交阶段：协调者通过提交协议来获得各个子事务的执行 情况，然后视情况决定全局事务的提交或天折：若事务处理完成，服务器向客户 端提交处理结果；发现有子事务夭折时，重启事务，进行超时管理。若事务超时， 则向客户端提示出错，否则将事务加入就绪队列； 第四步，如果事务处理时间超过了l m i n ，服务器中止该事务，并向客户端 提示出错。