（控制理论与控制工程专业论文）工控领域中实时数据库系统的设计与实现.pdf

摘要 实时数据库系统在企业信息系统中正在越来越多的被采用。目前国内流行 的实时数据库系统人部分都是国外产品，国内相对缺乏自主产品，凶此本文钊 埘工控领域中实时数据库所进行的研究对开发国产的实u i 数据库产d 具柏烃嬲 的现实意义。 基丁j 多现场总线和i n t e m e t 的自动化系统( m f i a s ) 是一个中科院自动化所 自主开发的企业综合自动化信息集成平台。本文以m f i a s 中实时数据阵 m f i a s k r d b 的研发为背景，从工控领域中实时数据库的特点、需求分析出发， 研究其设计和实现的一些关键问题，并结台实际工程项目讨论了基于实时数据 库的综合自动化系统工程化应用。 论文主要针对工控领域中实时数据库设计和开发过程中面临的一些共性问 题，试给出了解决策略和实现方法。本文的主要工作及创新之处体现在以下几 个方面： 1 ) 在阅读大量文献资料和广泛的产品调研基础上，回顾和总结了目前实时 数据库实现技术、产品发展现状； 2 1 分析了工控领域区别于其他领域中实时数据库的特点和功能需求，并在 研究其他国外相关产品的基础上，给出了用于工控领域的实时数据库 m f i a s r 1 d b 的系统设计； 3 ) 研究了m f i a s r 1 d b 实时数据库实现的关键问题，主要包括w i n d o w s n t 平台下的实对任务处理、实时数据压缩、o p c 接口开发等： 4 ) 以往实时数据库的理论研究和原型开发大多集中在实时操作系统上，本 文则针对、矾n d o w sn t 通用操作系统上的一些难点进行了研究和实现： 5 ) 结合工程项目，介绍了基于实时数据库的企业综合自动化系统的网络鎏 构、系统结构和信息集成方法，对同类行业中的基于实时数据库的企业 实时信息集成或综合自动化系统的工程化具有通用性。 关键词：工控，实时数据库。体系结构，实现技术，w i d o w sn t 平台 a b s t r a c t i nr e c e n ty e a r s ，t h ee n t e r p r i s ei l l 如n n a t i o ns y s t e r nb a s e do nt l l er c a l t i m ed a t a b a s es y s t e m ( r t d b s li sg c t t i n gi r ca t t e m i o n s h o w e v e r ，t h ef o 他i g nr t d b p r o d u c t sd o m 加a t et h ed o m e s t i cn l a r k e t p l a c e ，b e c a u s et k r ci sl a c ko fn 地i n d 印e n d e n t r 1 d bp r o d u c t si no u rc o u n t r yc o n s e q u e n t l y o u rr e s e a 托hw o r ki nt h i sp a p e rh a sa r e a l i s t i cm e a n i n g m u h 0 f i e l d b u sa n d e r i i e tb a s e da u t 0 瑚t j o ns y s t 啪( m f i a s ) i s 粕e n t e r p r i s e i n t e g f a t e d 越i t o m a t i o ni n 旬r m a t i o ni n t e g m t i o np l a t f o 阻w h i c hi si n d 印o n d e n t l yd e - v e l o p e db yi n s t i t u t eo fa u t o m 帕n ，c h i n e s ea c a d e m yo fs c i 咄e 8 u 硼髓船e a r c h b a c k g r o u n do fr & do fm f i a s r t d b ，s e v 啪la s p e c t sw h i c h 妣l u d e 岛咖潞，r e q u 砘m e m s ，m ek e yt e c h n i q u e so fd e s i g n 卸di m p l e m e n t a t 主蚴o ft l 把r 1 _ d bi nt h e i l l d u s m a lc o m m ld o r 豫i l la r ed i s c u s s e di nt h i sd i s s e n a l i o n t 0n 啪yc o m i n o np r o b l e 脚j l lr do ft h er t d bi nt l l ci r m s 缸乜lc o n t r o ld o m a 证，t h es o l u t i o na n di n p l e m t a t i d nm e 也o d sa r ed 恼c u s s 耐证t h ep a p e lo 惯r 争 s e a r c hw o r k sa r ec o t r 耳，o s e do f f ep a n sa sf o l l o w i n g 1 ) a c c o r d i n g t 0e x t e n s i v ea c q u a i n t a n c e o f o t h e r r e s e a r c h w o r k sa 耐p m m l c t s ，w e s y s t e r m t i c a l l yr c v i e wa n dg i v ea 蛐删m r yo f 峙r t d bt e c h n i q u e sa n dp r o d u c t s 2 ) b a s eo n 卸a l y s i so ff e a t u r e s 柚dm n c t i o lr e q u 的i n c n t so f t h ek r d b i nt h e i n d u s t 僦c o m r 0 1d o 凇i n ，t h ea r c l l i t e c t u r ea n ds y s t e r i ld e s i g no fm i f a s r t d ba r e p r o p o s e da n dd i s c u s s e d 3 ) m a n yk e yt e c h n i q u e so f t h e 盯d bi m p l c m e n t 舶n ，e s p c c i a l l yr e a lt i m t 8 s k s c h e d u l i n gi nw i n d o w sn to sa n dr e a l t i m ed a t ac o r 印r e s 8 i n g ，a r c 蚰l d i e da n dd i s - c u s s e d 4 ) m o r ea n 锄t i o n sa r ep l a c e do nt h er e a lt i m eo p e m t i n gs y s t e mi l lr t d br e s e a r c h w o r k i n m o s tc a s e i n t h e p a s t ，b u t ea 钍e n 幽粥a r ep a i d t o t h e 窘雠e r a l i i p u r p o s eo p e 糟t i n gs y s t e ms u c hw i n d o w sn ti nt h i sd i s s e r t a t i o n 5 ) t h en e t w o r ks t 兀l c t u r e s ，s y s t e ms t m c t u r c s ，拍di n f o r m a t i o ni 玳e g r a t i o no l i t h e e n t e r p r i s ei n t e g r a t e da u t o m a t i o ns y s t e mb a s e do nt h ei 玎d b ，a r ep r e s e n t e di nd e t a i l k e yw b r d s ：i n d u s t n a ic o n t m i ，r e a l - t i m ed a t a b a s e ，a r c h t e c t u m ，i m p l e m e n t a t i o n t e c h n i q u e s ，w i n d o w sn t o s 独创性声明 本人声明所成交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文 不包含其 他人已经发表或撰写过的研究成粜。与我一同工作的同志对本研究所做的任何 贡献均己在论文中作了明确地说明并表示了谢意。 签名： 玉2 趁丝日期：趔! 关于论文使用授权的说明 本人完全了解中国科学院自动化研究所有关保留、使用学位论文的规定， 即：中国科学院自动化研究所有权保留送交论文的复印件，允许论文被查阅和 借阅；可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段 保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：左4 堡丝导师签名： j盆豇 期：缸生上13l 第一章绪论 1 1 引言 第一章绪论 近几年来，工业过程的控制出现了许多新的变化：随着信息技术在自动化 领域得到广泛的应用，现在的控制系统已经由原来经典的p d 、d c s 、p l c 等， 向更智能化、网络化的现场总线控制系统( f c s ) 、基于e t h e m e t 的网络控制系 统( n c s ) 方向发展，逐渐形成了现场过程控制层( p c s ) 、管理执行层( m e s ) 和企业资源规划层( e r p ) 三层体系结构的企业综合自动化系统，使企业的自动 化水平从底层向上延伸到上层应用，从而极大方便了企业内部信息共享、管理， 真正实现管理控制的一体化。 目前像石化、焦化、电力等行业的很多大型企业不少都已经或部分的完成 了过程控制层的计算机控制化改造，很多已经采用d c s 、p l c 、f c s 、n c s 等 新型的控制系统。同时，由于生产和管理的需要，目前绝大多数企业都保存了 大量的数据，但这些数据往往分散在不同的计算机或控制系统上，不能统一的 存储、调用和管理，各个控制系统是互不相连的自动化孤岛，许多问题因无法 开采到足够的数据进行综合分析而难以得到合理快捷的解决办法。 过程控制系统的计算机或先进控制系统的改造姑且称之为企业信息化的第 一阶段。在此基础之上，进一步的工作应该放在数据信息的集成上。数据信息 的集成是工业企业的信息化的基石。只有把过程数据与生产、管理、销售相关 的数据有效的集成，从而才能有对企业数据的整合、分析和信息挖掘，才会使 企业的数据转变成价值，更好的指导企业的运作和管理。在这个方面，国外很 多大型企业已经走在我们的前头，如何提高企业的信息集成的水平显得更加迫 切。 虽然，绝大部分企业都有像o r a c l e 、s q ls e r v e r 这样的大型商业关系数据痒 管理系统，但大多只是被用来上层管理，过程控制系统的实时数据并没有实时 的传送到上层管理系统中从而无法被企业实时的利用来指导生产。在今天高 效率的运作和生产过程中，必须建立全企业统一的生产过程数据和管理数据集 成平台，使底层数据和上层数据进行充分的信息融合，底层数据能实时传送蓟 上层加以优化利用，再实时的再把相关指令传送到底层生产过程系统。在这洋 1 ：控领域中实时数据库系统的设计与实现 一个综合自动化系统中，需要在线对各种设备控制器及其环境变量进行保存、 访问或更新；对输入信号数据进行存储或分析形成控制决策；收集系统自身的 各种信息进行在线系统故障自诊断。那么究竟这样一个生产数据和管理数据平 台怎么建立，其核心是什么呢? 答案就是：实时数据库。实时数据库因为其强 大的实时数据采集、管理和丰富的开放接口，已被越来越多的研究和工程人员 所瞩目。 1 2 实时数据库概述 1 2 1 实时数据库的研究背景 在现实世界中，有许多应用包含了对数据的“定时”存取和对“短暂有效” 数据的存取，例如电话交换、电力或数据网络管理、空中交通管制、雷达跟踪、 工厂生产过程控制和c 蹦s 一证券交易等，这些应用需要维护大量荚享数据和控 制知识：另一方面，其应用活动有很强的时间性，要求在一确定的时刻或一定 的时间期限内，从外部环境采集数据、按彼此闯的联系存取并处理采集的数据， 再及时作出响应。 传统的数据库系统旨在处理永久性数据，其设计与开发主要强调维护数据 的完整性、一致性，提高系统的吞吐量和降低系统代价，根本不考虑与数据及 其处理相关联的定时限制，因而传统的商务和管理事务型d b m s 不能满足这种 实时应用的需求。雨传统的实时系统虽然支持数据及其处理的定时限制，但他 们一般针对具有简单数据结构与联系、有稳定且可预报数据( 资源) 要求的任 务，不涉及维护共享数据的完整性、一致性，因此只有将数据库与实时系统两 者的概念、技术、方法与机制集成起来，才能同时支持定时性和一致性要求， 于是形成了实时数据库系统。 实时数据库系统( r _ h ) b s ) 就是其事务和数据都可以有定时特性或显式的 定时限制的数据库系统。系统的正确性不仅依赖于逻辑结果，而且还依赖于逻 辑结果产生的时间。实时数据库最早出现在1 9 8 8 年3 月的a c ms i g m o d 胁o r d 的一期专刊中i l 引。随后，一个成熟的研究群体逐渐出现，这标志着实时系统领 域与数据库领域的融合，标志着实时数据库这个新兴研究领域的确立n i 。此后， 出现了大批有关实时数据库方面的论文和原型系统。实时数据库技术是实时系 第一章绪论 统和数据库技术相结合的产物，研究人员希望利用数据库技术来解决实时系统 中的数据管理问题，同时利用实时技术为实时数据库提供时间驱动调度和资源 分配算法。然而，实时数据库并非是两者在概念、结构和方法上的简单集成。 需要针对不同的应用需求和应用特点，对实时数据模型、实时事务调度与资源 分配策略、实时数据查询语言、实时数据通信等大量问题作深入的理论研究。 1 2 2 ，实时数据库与传统数据库系统的区别与联系 实时数据库系统也有传统数据库系统的基本功能：永久数据管理、有效的 数据存取、事务管理、存取控制、数据可靠性控制等，但是两者概念、原理、 结构、算法等方面存在着很大的差别，其最根本的区别在于数据与事务的定时 限制。在这里要指出的是，“实时”并非简单地意味着快，快固然需要，但对r t d b s 而言，“实时”指的是能施加和处理“显式”的定时限制，即使用“识时协议” ( t i m eg o 毋i z 鲫tp r 0 1 - o c 0 1 ) 来处理有关的截止时间或定期限制。 实时数据库管理系统的设计目标首先是对事务定时限制的满足，其基本原 则是：宁要部分正确而及时的信息，也不要绝对正确但过时的信息。系统性能 指标是满足定时限制的事务的比率，它要求必须确保硬实时事务的截止期，必 要时宁肯牺牲数据的准确性与一致性。软实时事务满足截止期的比率相对较高， 但要1 0 0 满足截止期很难或几乎不可能。因此，除了上述一般dbms 的功能 外，一个实时数据库管理系统还具有以下功能特性：( 1 ) 数据库状态的最新性， 即尽可能地保持数据库的状态是不断变化的现实世界当前最真实状态的映像； ( 2 ) 数据值的时间一致性，即确保事务读取的数据是时间一致的；( 3 ) 事务处 理的“识时”性，即确保事务的及时处理，使其定时限制尤其是执行的截止期 德以满足。 12 ，3 实时数据库的数据和事务特征 r t d b 的对数据和事务定时特性的特殊要求使得其数据和事务相对传统数 据库系统有着自己的特点： 1 、r t d b 的数据特征 r t d b 的数据特征包括数据对象定义及分类、时间限制、数据对象的致性。 工控领域中实时数据库系统的设计与实现 数据对象的定义：d ( v ，l p ，a v i ) ，其中分量d v 、如、d 州分别为d 的当前 状态或值：观测时标，即采样d 对应的现实世界对象的值的时间；外部( 绝对) 有效期，即自如算起d 、具有外部或绝对有效性的时间长度。 实时数据对象分为：映像对象、导出对象、不变对象。映像对象是传感设 备从外部采集回来的外部世界对象在数据库中的数据映射：导出对象是由映像 对象和其他数据对象计算而得；不变对象是一个相对时间不变的值。 时间限制，即数据、事件、活动都有与之相关联的时间，这些限制来自于 外部环境物理系统特性和设计者的统计决策。事件的时间限制，有两个事件间 的最大时差、最小时差和一个事件经历时间长度；数据的时间限制，实时应用 中的数据具有时间一致性，包括外部和相互一致性；活动的时间限制，归纳起 来有：外部环境行为所决定的时间限制、系统性能规定的时间限制、数据的时 间一致性所施加的时间限制和为使有关解决问题的方法成立而对系统内部行为 的限制。 数据的一致性：包括瞬时( 内部) 一致性、绝对( 外部) 一致性、相对一 致性。瞬时( 内部) 一致性是指环境的实际状态和数据库中的数据状态的一致 性：绝对( 外部) 一致性是指环境的状态和它在数据库中的映射之间。这是为 了保持系统对环境状态的观测要与其真实状态保持一致；相互一致性是指用来 导出新数据项的源数据项之间的一致。 在r ：m b s 中，数据只在一定时间内是“流行”的，其值随外部环境状态而 频繁地改变，所以人们不能只考虑数据库内部状态的一致性，还必须考虑外部 状态和内部状态之间的一致性；也不能认为使用数据时。简单地提供其最新值 就是最合适的，还必须考虑它与其他被使用数据间的“时间一致性”。当且仅当 一个数据同时是内部一致和时间一致时，它才有正确状态。而数据库有正确状 态则意味着其中每一数据都有正确状态。 2 、r t d b 的事务特征 定时性是r t d b 事务的根本特点，定时可以是绝对、相对或周期时间。它 一方面是由数据的时间一致性所引起的，这种定时性往往取定期或周期性限制 的形式，如“每5s 取样温度”、“每天7 ：0 0 启动机器人”、“每累计到点检周期 生成点捡表”等。引起事务定时性的另一根源是物理世界施加于控制系统的反 应时间要求，它典型地取施加于非定期事务的截止时间限制形式，如“若温度 4 第一章绪论 达到1 0 0 0 度，则在5s 内加冷却荆到反应堆”。 定时性包括了两方面的含义： ( 1 ) 定时限制：事务执行具有显式的时限，如期限、截止时间等。这是由丁 控制系统要不断跟踪被控系统而引起的，它要求r t d b s 必须要有时间处理机构。 时限还可有软硬之分。 ( 2 ) 定时正确性：事务能按合适的时间要求正确执行。这是由于要求数据对 于控制系统的各种决策活动随时有效而引起的。它要求权衡定时限制及数据。 致性等多方面因素，提供合适的调度算法。 另外对复杂的事务模型来说，事务还有结构复杂性、功能替代性、结果补 偿性、语义相关性和执行依赖性，在此不再赘述，详见文献【2 7 】【3 2 】。 根据操作的性质不同，可将事务分为只写事务( w r i t e 枷l yt r a l l s a c t i o n s ) 、更 新事务( u p d a t en 锄s a c t i o n 8 ) 和只读事务( r e a d o n l y 缸独s a c d o n s ) 。只写事务负 责获得外部环境的状态，并写入到数据库中；更新事务是导出新数据，并存入 数据库；只读事务从数据库中读数据，并发送到执行器。 根据实时事务完成的最后期限，事务有硬、软之分，具有硬截止时间韵事 务，称为硬实时事务，必须在其截止时间以前完成，否则将带来灾难性的后果， 故到达其截止时间还不能完成的硬实时事务必须夭折。具有软截止时间的事务 称为软实时事务，应该在其截止期完成，但超过其截止时间也还有一定意义( 尽 管不断下降) ，因此软实时事务到达其截止时间后不必立即夭折它。 1 3 现有实时数据库系统的分类 实时数据库的应用领域非常广泛，不同的应用对实时数据库的功能要求重 点也有差别，从而使实时数据库在实现上做专门考虑。我们对现有数据库系统 及应用进行研究，试图对其从以下角度进行划分，以突出不同实时数据库系统 的特色，以方便不同研究者针对不同类型应用的需求，进行专门的研究。主要 有以下五个方面： f 1 ) 功能的侧重 根据其功能的侧重不同，实时数据库可分为：更新型和查询型。更新型实 控领域中实时数据库系统的设计与实现 时数据库要求具有较快的实时数据更新能力，多用于实时数据采集和集成；查 询型实时数据库内部数据很少更新或更新频率相对查询频率有数量级上的差 别，着重强调快速查询响应能力，多用于银行、股票、电子商务网站等需要提 供快速响应的领域。 ( 2 1 数据是否与时间相关 根据数据是否与时间相关，数据是否“识时”来分，有快速数据库和“识 时”数据库之分。快速数据库只强调数据库的快速响应性能，数据是根本与时 间无关；“识时”数据库中的数据一般与对问相关，随时间不断变化。一般来说， 快速数据库同时是查询型数据库，“识时”数据库则是更新型数据库，当然很多 “识时”数据库也要求对查询的实时快速响应能力，更新和查询的性能都要求 比较高，之所以这样分类，是因为目前不论实时数据库的实现和应用都有这样 的侧重和区别。 ( 3 ) 数据规模大小 根据处理数据规模大小的不同，实时数据库还可分为中小型和大型。中小 型实时数据库用于数据量不大、不需要实时数据压缩等其他功能，有些甚至把 所有数据载入内存，作为一个高性能的实时内存数据库，多见于嵌入式系统中； 大型实时数据库则适应于大规模数据量和实时处理场合，具有较好的实时、历 史数据压缩能力。 ( 4 ) 内核 根据实时数据库的内核来划分，实时数据库可分成两类：采用专用内核的 实时数据库与采用关系数据库内核的实时数据库。对于采用专用内核的实时数 据库而言，由于它们是面向工业过程开发的产品，所阻系统的响应速度、可靠 性、容量及对面向过程应用的支持方面有极大的优势。对于采用关系数据库内 核的实时数据库而言，由于它们是在关系数据库的基础上增加了实时数据采集 和调用机制及面向过程的可视化界面的产品，使系统的开放性、通用性和与关 系数据库的互操作性比较强。前者的典型代表为a s p e i i t b c h 公司的i n f o p l u s 及 o i ls y s t e m 公司的p i ；后者的典型代表为w o n d e n a r e 公司的f a c t o r y s u i t c 2 0 0 0 、 i n d u s t a 】s o ls e e r 及h 0 n e y w e l l 公司的p h d 等实时数据库产品。它们不仅提 供了高速、可靠的实时数据管理功能，这些产品还提供了大量的集成管理工具 和针对流程行业的应用系统。 第一章绪论 ( 5 ) 两种定义内涵 这个角度严格说，不是一种分类，只是提出来，便于理清大家的思路。目 前在用的r t d b 的定义有两种内涵：广义定义和狭义定义。广义定义将数据定 义为时间的函数，即与时间有一一对应关系的数据称为实时数据，而相应存储 广义实时数据的数据库称为实时数据库；狭义定义将发生在现场的当时数据称 为实时数据，将业已过去的数据称为历史数据或非实时数据，因而狭义定义有 实时数据库和历史数据库之分。由于基本定义不同，对数据的存储与处理也将 有很大的不同，前者可能将实时数据和历史数据统一处理，后者将实时数据和 非实时数据严格区分，分别存储和处理。但不管如何，实时数据库对时间的响 应都有比较严格的要求。 1 4 工程实时数据库 目前市场上流行的实时数据库产品一般都是实用的工程实时数据库系统 【5 7 1 。 工程实时数据库有其显著的特点，主要是实用，能满足实际工程的需要。 工程实时数据库一般都是先明确要处理的现实世界的对象，针对具体耍解决的 某一类问题，提出功能指标和性能指标，在满足一定的功能指标和性能指标要 求下，实现工程需要的实时数据库系统。 工程实时数据库系统一般有明确的应用目标。采用的是面向问题的解决方 案。其目标如下： ( 1 ) 面向实时控制工程其实时数据库对实时响应速度要求比较严格，时间 要求常常达到毫秒级。这种实时数据库对实时系统功能方面的要求比较多。如 数据处理的常用算法、实时数据报警功能、历史数据处理等等： ( 2 1 面向实时数据应用“应用”指面向大型的实时数据应用系统，如先进 控制和优化控制。这种应用要求实时数据库能够管理大量的实时数据和历史数 据，给用户提供方便的实时数据访问接口，为实时数据应用系统提供一个灵活 的实时数据开发平台。用户使用这种实时数据库系统可以开发独立于过程控制 系统的应用程序，与过程控制系统的通信和实时数据管理由实时数据库系统处 坪。 控领域中实时数据库系统的设计与实现 ( 3 ) 面向管理类应用指在实时数据库的基础上丌发c h s 系统、生产调度 系统等各种管理类信息系统。这种类型的实时数据库要求与过程控制系统连接 方便。能将现场的实时数据迅速传送到信息系统中。实时数据库与关系数据库 有很好的接口，最好是用户能够使用关系数据库的方法访问实时数据库。 实际上，工程实时数据库系统并没有严格按上述方法分类，市场上流行的 工程实时数据库系统往往能够兼顾几方面的应用，但目标有所侧重时。其功能 和性能还是有区别的。 1 5 国内外实时数据库产品现状 国际上从2 0 世纪8 0 年代后期开始较系统地发表有关实时数据库的论文。 9 0 年代中期，爱尔兰的r h o d c 大学以及美国麻省理工学院开始重点研究实时 s o l 语言。在商品化的实时数据库产品开发上，澳大利亚的m o l e l w e l lh l f o r m a t i o ns y s t e m 公司于1 9 8 2 年较早地推出了m r o v i e w 产品，美国o s i 公司于 8 0 年代中期推出了p 1 8 1 1 th l f 0 n a t i o ns y s t e m ，简称p i 产品，另外还有美国a s p 钮 t e c h 公司的m f o p l l l s2 1 产品、美国h o n e y w e l l 公司的埘f o r m 锄c e ( p 瑚d ) 产品、 英国w b n d 盯w a r c 公司的u s 抽a ls o ls e r y e r 产品。上述产品一般归为工程类实 时数据库。而被国外理论界认为严格满足实时要求的实时数据库产品有1 9 9 4 年 d b x 公司发布的乃p r t d b m s 和1 9 9 5 年m a n 如m a r i e t t a 公司发布的e a g l e s p e e d r n ) b m s 。 从2 0 世纪7 0 年代末开始，国内开始引进d c s 技术和产品，到8 0 年代末期， 达到高峰。到9 0 年代初，随着国内工业界对d c s 的大量引进和应用，国内科技 教育界率先开始研究实时数据库理论，其中比较知名者有华中理工大学刘云生 教授的团队和中科院软件所，刘运生带领的课题组研制了取名为触盯s 一1 型实时 数据库系统的雏型，中科院软件所2 0 0 1 开发了a 鲥o r 实时数据库，已在进行工 程化和商品化。与此同时，国内相继孕育出了一批d c s 生产商和实时数据库开 发商。其中在实时数据库产品生产方面有代表性的是国家电力公司自动化研究 院于1 9 9 2 年开发的n s i s 石油化工生产实时数据库产品、大庆金桥信息技术工 程有限公司于1 9 9 3 年开发的c o n r t d b 实时数据库产品、三维天地计算机技术 开发有限公司开发的s u p e r l n f o 实时数据库产品、时林电脑公司开发的n s i s 实 第一章绪论 时数据库产品以及和利时系统工程股份有限公司开发的r e a l m i s 实时数据库j n 品等。 值得之处的是，目前实时数据库产品存在的一些问题：1 ) 和系统的其他部分 结合的太过密切，没有了组态软件的采集部分实时数据库无法独立工作；2 ) 缺少 了数据库的功能，为了追求实时，重新开发的实时数据库程序只是一个功能单 一的管理实时数据的程序；3 ) 在开发实时数据库时考虑的不通用，都是满足自家 组态软件的一个功能模块。这个功能模块里面掺杂了太多的非数据库的业务处 理，使之称为专用的了。 虽然目前的实时数据库存在这样的问题，但是从国内外的市场现状来看， 得到最广泛发展和应用的是在工业自动化中使用的工程实时数据库，如p i 、 i n f o p l u s 等，这些产品都针对面向的领域进行了专门的设计；其次是一些内存数 据库产品( 在第二章内存数据库部分详细介绍) 。国外很早出现的一些比较符合 理论意义的实时数据库的原型系统或产品，如e a g l es p e e d r t 衄、z i p r t d b 等， 并未得到很好的发展，很多原型系统也未成长成为长久的商业化的产品。出现 这样局面的原因，笔者认为是原来的理论模型片面追求理论的完美，忽略了具 体实际应用的需求，而工程实时数据库面向具体应用，注重解决领域突出的需 求，不考虑其他烦杂的理论概念，才得以成功。 1 6 项目背景和研究目的 本论文项目来源于国家计委自动化产业化重大专项：基于多现场总线和 i n t e m e t 的自动化系统( m i l l t i - f i e l d t 吣她dh 岫n e tb 勰e da u 妇a l i o ns 舛e l n ， m f 队s ) 。m f 队s 是中科院自动化所综合自动化技术工程中心从当前工业自动化 的需求出发，在完成多项国家“九五”重点科技攻关项目并取得成果以及多年 现场总线开发技术和工程应用的基础上，自行开发出的具有自主知识产权的一 套系统。由图l i 可以看出，实时数据库及管理系统是，从s 整个系统的核 心，它负责现场控制层的实时数据的采集、传输、存储和共享，其他的应用都 依赖于这个基础，它的实时性、可靠性、稳定性决定了 伍i a s 系统的整体性能， 因而它的研究和开发成为了m f i a s 系统的重中之重。 在前一阶段的研究和开发过程中，前面的工作人员着重完成了实时数捶采 控领域中实时数据库系统的设计与实现 圈卜1 实时数据库管理系统在肝i a s 系统中的地位 集模块、o p c 服务器客户端开发、组态工具、运行态工具的开发、网络分发工 具等系统的开发工作。这使m f 认s 已初步成为一个实时数据采集、监控的自动 化系统。在此基础上，m a s 也进行了产业化和工程化，取得了一定成绩。随 着产业化进展，我们逐渐发现对一个立足于提高工控行业综合自动化和管控一 体化水平的智能信息系统，仅仅具有一般组态或控制软件的数据采集和监控等 功能是不够的，必须在实时信息采集、管理的方面具有自己的特色。于是我们 从了解前人实时数据库理论研究出发，对现有产品实现方案进行了深入的调查 研究，结合m f i a s 综合自动化系统已有工作，设计和开发了m f 队s r t d b 实 时数据库系统。 本文的研究目的是通过m f n s r t d b 实时数据库的研究和开发中的关键问 题的讨论，试图描述和解决一般工控领域中实时数据库设计和开发所面临的一 般性问题，以便后续的研究能有一个较好的基础。现在象o s is o f t 、a s p c n t e c h 等国外大型的专业实时数据库厂商已把工作重点，从实时数据库的研究和实现， 转到了以实时数据库为核心的实时信息管理系统上来的。这样的实时信息管理 系统对企业有很高的附加值，能提供企业实时，历史数据分析、信息挖掘等智能 第一章绪论 化的数据处理功能，具有很大的前景。而我国现在还停留在第一个阶段，因为 形势紧迫，必须抓住本质，解决第一个阶段的关键问题，能早日进入第个二二 阶段。本文的工作立足于第一阶段，面向第二阶段，试图以实时数据库的研究 和实现为核心，提供方便的数掘开放接口，以提供第二阶段工作的基础。 1 7 论文的内容与组织 本文在m f m s 综合自动化系统的大框架下，从实时数据库理论研究、工控 领域中实时数据库的需求和特点出发，拟对m f 队s r t d b 实时数据库设计、关 键技术和工程化等问题进行论述，这些闯题具有一般性，可推广到整个工控领 域。各章的内容与组织如下： 第一章主要介绍了实时数据库的概念、分类、国内外的发展现状及本文的项 目来源和研究目的； 第二章从实时数据库核心技术和与之相关的其他交叉领域的技术两个方萄， 总结和论述目前实时数据库实现的主流技术； 第三章给出了用于工控领域的工程实时数据库m f i a s r t d b 的结构框架和 系统设计； 第四章研究了m f i a s r ) b 实时数据库研发过程中的一些的关键问题主 要包括n r 平台下的实时任务调度、实时数据压缩、0 p c 数据访问接口开发等： 第五章结合一个实际的工程项目，介绍了基于实时数据库的企业综合自动化 系统的网络结构、系统结构和信息集成方法： 第六章进行了总结和展望。 控领域中实时数据库系统的设计与实现 第二章现有实时数据库实现技术 本章从实时数据库相关技术和与之相关的其他技术两个方面，对目前实时 数据库系统研究和开发中用到的技术进行论述。实时数据库相关技术是实时数 据库研究领域核心的一些研究方面，与之相关的其他技术是指的与实时数据库 研究领域相交叉的一些技术。本节在内容上，将把经典的实时数据库技术与工 控领域中的具体情况结合起来进行表述。 2 1 实时数据库相关技术 实时数据库相关技术涉及的领域很多，本节将对几个重要的方面做一介绍； 数据存储、组织和索引机制、内存数据库技术、实时事务处理及接口技术等方 面。 2 1 1 数据存储、组织和索引机制 实时数据库必须能够高速、按时的存取和处理数据，必须尽量保证关键的 数据操作能够在规定的时间内完成。因而，为了提高数据操作的可预见性，实 时数据库在数据存储方式和索引方式上与传统的数据库有很大的不同1 5 ”。具体 特点有： 1 ) 为了避免不必要的磁盘操作和避免不可预测时间的动态资源分配，实时 数据库一般采用静态数据结构，使用大量缓冲和预分配内存。在数据点规模较 小和资源较大的情况下，可以将所有信息调入内存尤其当历史数据无需永久 保留的情况下，这时候实时数据库就相当于一个内存数据库；在数据点规模较 大情况下，为了保证处理速度不受影响，点表的存储分为常用点信息表和非常 用点信息表两部分，点表的完整信息存储在磁盘文件中。在处理中常用到的点 属性将和数据点的当前值一起被存储在内存当中。 2 1 实时数据的发生具有周期性和每次实时数据量的波动性，为了减少磁巍 操作，必须有效的组织数据缓冲，以平衡同步的操作。 3 1 在数据模型一般与其他数据库有着非常大的差别，在控制领域中的实时 2 第二章现有实时数据库技术 数据库无论其数据模型为对象模型还是关系模型，一般都以数据点作为数据的 组织单元。 4 ) 为了提高数据检索速度，般采用多级索引机制进行快速的数据定位。 实时数据库必须能够存储不同类型的数据，即每个数据项可能有不同的- 大 小，因此，系统中使用指针定位数据项。 工控领域中的实时数据库主要用于存储与获取时间序列的实时数据，大多 数来自于对各仪器或设备系统接口的数据采集。针对其中的数据的特点。数据 点( 一般代表工业现场中的“工位号”) 的组织和索引分为三级：设各、组、数 据点。数据点的类型包括：整型、浮点型、布尔型、字符串、枚举型与二进制 大对象。系统中的点表按照设备或者区域由不同的点表文件管理。 过程点的数量与处理方式是涉及到实时数据库规模和资源占用的一个重要 问题，“过程点的选择”就是确定需要集成进实时数据库的过程点数量：所谓“过 程点的处理方式”就是对过程点做合理的分类，以便有针对性地进行处理。过 程点的选择与分类实质上是功能需求与资源占用的折中考虑。下面以一个假想 方案作一说明： 根据参数的重要性及变化速率可将过程点分为以下几类： 1 ) 高监控频率的过程点：此类点包括生产装薰中的控制点、对产品质量有 重要影响的检测点、对安全生产有重要影响的点、与先进控制和过程优 化有关的点、大型机组和设备的状态报警点。 2 1 中等监控频率的过程点：此类点包括油品库区的控制点和检测装置中作 为辅助监控手段的点等。 3 、低监控频率的过程点：此类点包括各种产品和中间产品的计量点、用于 简单工艺计算的点等。 根据上述分类，可对不同类别的过程点给出相应的存储和处理策略： 1 1 高监控频率的过程点全部集成进实时数据库，历史数据的分钟值在线保 存几天，备份保存一年，并建立相应的报警和事件登录机制； 2 1 中等监控频率的过程点有选择的集成进实时数据库，历史数据的分钟值 在线保存1 5 天，备份保存一年，并建立相应的报警和事件登录： 3 1 低监控频率的过程点中、各种产品和中间产品的计量点集成进实时数据 控领域中实时数据库系统的设计与实现 库，历史数据的小时累积值或半累积值在线保存半年，备份保存一年 2 1 2 内存数据库技术 在实时数据库中，事务执行的确定性和可预测性一直都是一个研究的难点。 众所周知，由于没有频繁的磁盘i ，o 操作，内存中的操作具有良好的快速性和可 预测性，于是很多研究人员开始提出“内存数据库”的概念，并针对内存数据 库中的实时特性进行了充分的理论研究和软件实现。特别是现在的内存容量越 来越大，价格也越来越便宜，使建立大内存的实时主存数据库成为可能，从而 在减少了系统研究和实现的复杂牲。因而得到了众多数据库和实时系统的研究 人员的青睐，近十几年来，内存数据库已成为实时数据库研究领域的一个热点， 涌现出很多的原型系统，又不少已经得到很少的商业化运营，如缸m 髂t e l i 的 d a t a s e r 、，e r ，m c o b j e c t 的e x 讯釉e d b ，s y n 盯g y w b r k s 的e l i l p r 髓s ，b i r d 曲。p 的r d m s e r v e r ，俄罗斯的a 城b 船e 等，这是实时数据库研究领域中目前比较成功的一个 方面。尽管这些商业化的产品当中，采用的模型很多不尽相同，有些甚至没有 考虑实时事务调度的阎题，但是却很好的满足了实际的需要。 沿着这条研究思路，很多实时数据库的都采用这样的两层次的存储结构： 第一层为内存，即内存数据库，整个实时数据库系统的高性能要求就是以内存 数据库作为底层支持的，它是实时数据库系统的关键，用于程序运行和实时数 据的处理，它存取速度快，尽可能少的进行磁盘的f o 操作，因此最适合用于实 时数据的管理和操作；第二层为外存，通常采用一些永久存储设备，需要进行 读写o 操作，用于存储系统中的历史数据。 内存数据库是数据库的主拷贝或者频繁使用的数据存放在主存中，活动事 务只与实时内存数据库的内存拷贝打交道，支持实时事务的数据库。它要求较 大的内存量但并不要求任何时刻整个数据库都能存放在内存，一般选择具有 较短有效时间的数据和存取频率高的数据保存在内存，前者如变化较快的测量 量数据，后者如计算规则和参数配置等数据。内存数据库虽然也要处理i o ，但 它已不是传统磁盘数据库的概念，传统数据库适用的数据结构、事务处理算法 与优化、并发控制及恢复等技术对内存数据库不一定合适，需要进行专门的研 究。 4 第二章现有实时数据库技术 2 13实时事务处理 实时数据库系统的主要目标是满足事务的时限或截至时间，事务处理的三 ： 要工作都围绕着这个目标进行，这些工作主要包括针对多个事务的c p u 调度， 以及与之紧密相关的在多个并发运行事务之间的数据、i 0 及内存等资源的调度， 选择合适的调度算法，来调度这些资源的使用，对实时数据库系统的功能和性 能都有极大的影响。常用的调度大部分都是基于优先级的，一般包括优先级指 派、冲突解决、准入控制、并发控制、事务调度算法等方面，已有许多成熟的 算法。下面对事务调度中的优先级分派和并发控制进行简要介绍。 2 1 3 1 优先级分派 基本的优先级的分配策略有： ( 1 ) 最早放行最优先( e 盯l i e s tr e l e 勰ef i r s t ，e r f ) 最早放行时问优先实际上就是“先来先服务”( f c f s ) 策略。它虽然简单， 但是没有考虑截止期。因此，只适合于大多数事务具有同等价值函数，且事务 的放行时间到截止期的时间基本相等的事务集合。 ( 2 ) 截止期最早最优先( e a r l i c s td e a d l i i 玲f i r s l ，e d f ) 即使截止期最早的事务优先运行。这种调度燕路在任务集可被调度的情况 下工作的很好，但在高负载情况下，为了避免将己无法在截止期内完成的事务 赋予高优先级，并进入调度序列，必须加入了对事务运行时间的考虑。即一个 事务如果能在截止期之前完成，才放入命中的调度序列。这种改进的算法称为 “可达截止期最早优先”( e a r l i e s tf 唧沛l ed e 矗l i n ef i r s t ，e f d f ) ( 3 ) 空余时间最短虽优先( l c 邪ts l a c kf i r s t ，l s f ) 事务的空余时间s ；d 一( t + e - p ) ，这里t 为当前时间，d 、e 、y 分别为事务的 截止期、执行时间估算和执行时间。该策略使空闲时间最短的事务得到较高的 优先级，同时事务等待时间的增长，其优先级会动态上升，它避免了e d f 算法 中，长事务被短事务频繁抢占而产生的“饥饿”现象。 ( 4 ) 价值最高最优先( h i g h e s t 、r a l u ef i r s t ，h v f ) 控领域中实时数据库系统的设计与实现 事务价值函数的值最大者优先。但问题是如何合理的构造事务的价值函数。 试举一例： v ( r ) = c ( w i ( f f 。) w 2 d + w 3 p w