RTDB设计与实现.doc

监控软件中实时数据库系统的设计与实现李密生 （河北科技师范学院计算机系 秦皇岛 066004）摘要：因为监控软件对数据实时性的要求及其实时多任务的特点，在设计监控软件时对实时数据库的设计最为重要，也只有实时数据才能更加充分地表现出监控软件的长处。本文描述了实时数据库的特征、功能结构，并对实时数据库技术中的物理数据组织、数据库的访问方法、查询处理与优化等问题给出了一个基本解决方案。关键词：监控软件、实时数据库、数据结构1绪论监控软件作为用户可以定制功能的软件平台工具，是随着分布式控制系统(Distributed control system，DCS)及计算机控制技术的日趋成熟而发展起来的。监控软件作为个人计算机监控软件系统的重要组成部分，比PC监控的硬件系统具有更为广阔的发展空间。这是因为：第一，很多DCS和PLC厂家主动公开通信协议，加入“PC监控”的阵营。目前几乎所有的PLC和一半以上的DCS都使用PC作为操作站。第二，由于PC监控大大降低了系统成本，使得市场空间得以扩大，从无人值守的远程监视（如防盗报警、江河汛情监视、环境监控、电信线路监控、交通管制与监控、矿井报警等）、数据采集与计量（如居民水电气表的自动抄写、铁道信号采集与记录等）、数据分析（如汽车和机车自动测试、机组和设备参数测试、医疗化验仪表设备实时数据采集、虚拟仪器、生产线产品质量抽检等）到过程控制，几乎无处不用。第三，各类智能仪表、调节器和PCbased设备可与组态软件构筑完整的低成本自动化系统，具有广阔的市场空间。第四，各类嵌入式系统和现场总线的异军突起，把监控组态软件推到了自动化系统主力军的位置，监控组态软件越来越成为工业自动化系统中的灵魂。监控组态软件是面向监控与数据采集(supervisory control and data acquisition，SCADA)的软件平台工具，具有丰富的设置项目，使用方式灵活，功能强大。监控组态软件最早出现时，HMI(human machine interface)或MMI(man machine interface)是其主要内涵，即要解决人机图形界面问题。随着它的快速发展，实时数据库、实时控制、SCADA、通信及联网、开放数据接口、对IO设备的广泛支持已经成为他的主要内容。目前自动化产品呈现出智能化、小型化、网络化、PC化、低成本的发展趋势，并逐渐形成了各种标准的网络结构、硬件规范。这使的自动化系统的“水平”和“垂直”集成变得更加容易。监控软件已经成为其中的桥梁和纽带，是自动化系统中的重要组成部分。一般的监控软件都由下列组件组成：图形界面系统、实时数据库系统、第三方程序接口组件、控制功能组件。实时数据库系统是监控组态软件中最为重要的一个组件，因为PC的处理能力太强了，因此实时数据库更加充分的表现出了组态软件的长处。2实时数据库21数据与时间相关数据按照与之相关的时间的性质不同又可分为两类：一是数据本身就是时间即从“时间域”中取值，如“日期”，称为“用户定义的时间”，也就是用户自己知道，而系统并不知道它是时间，系统将毫无区别地把它像其他数据一样处理。二是数据的值随时间而变化，数据库中的数据是对其所服务的“现实世界”中对象状态的描述，对象状态发生变化则引起数据库中相应数据值的变化，因而与数据值变化相关联的时间可以是现实对象状态的实际时间，称为“真实”或“事件”时间（现实对象状态变化的事件发生时间），也可以是将现实对象变化的状态记录到数据库，即数据库中相应数据值变化的时间，称为“事务时间”（任何对数据库的操作都必须通过一个事务进行）。实时数据的导出数据也是实时数据，与之相联的时间自然是事务时间。22 实时数据库的特征实时数据库(RTDB)的特征主要表现在数据和事务的定时限制上，下面分别介绍。221 RTDB的数据特征在RTDB中，数据随外部环境状态的变化而快速变化，其值只在一定的时间内是“流行”的，过时则无效了，故系统除了维护数据库内部状态（数据值）的正确性、相容性外，还必须同时维护内部状态与外部环境实际状态的一致性，以及数据用来决策新数据时在时间上的相互一致性。RTDB中的一个数据对象d由三个分量组成(dv，dtp，devi)，它们分别为d的当前值、采样时间、外部有效期（外部现实对象状态变化的时间间隔），有效期即自dtp算起dV有效的时间长度。对于RTDB中的每一个d，有内部一致性、外部一致性和相互一致性特征。内部一致性dv满足预先定义的数据库内部状态的完整性和一致性限制。这就是传统意义下的数据正确性。外部一致性设tc为当前或检测时间，当且仅当(tcdtp)devi， 则说d是外部一致的，即dv和对应的外部现实对象的状态是一样的。相互一致性用来决策或导出新数据的一组相关数据称为一个相互一致集，记为R，其中的数据必须尽可能地在一个允许的公共时间期内被采取(或导出)，这个公共时间期就称为x的相互有效期，记为Rmvi，对于R中的任意两个数据d和d有|dtpdtp|Rmvi， 则说R中的数据是相互一致的。外部一致性和相互一致性都是关于时间的，故统称时间一致性。既是内部一致又是时间一致的数据才是正确的。222 RTDB的事务特征由于实时任务往往有内部结构和相互之间的联系，传统的“原子的、平淡的数据库操作序列”的事务概念及模型对实时事务不适合。RTDB事务表现出了许多不同的特征，其最具标识性的特征是定时性。定时可以是绝对、相对或周期时间。RTDB的定时性一方面由数据的时间一致性引起，此时它往往取周期或定期性限制的形式，如“每5秒取样一次”、“7：00启动机器人”等；定时性的另一根源是对现实世界施加于系统的反应时间的要求，这时它典型地取施加于非周期事务的截止时间限制的形式，如“若温度达到1000度，则在5秒内加冷却剂到反应堆”。23 实时数据库系统的主要技术实时数据库系统与传统的数据库系统有着根本性的不同。要实现一个实时数据库系统，除了一般数据库的问题外，还要研究一系列关键理论与技术问题。231 实时数据模型及其语言到目前为止，研究实时数据库的文献鲜有专门讨论数据建模问题的，大多数文献，尤其是关于实时事务处理的都假定其具有有变化颗粒的数据项的数据模型。但这种方法有局限性，因为它没有使用一般的及时间的语义知识，而这对系统满足事务截止时间是很有用的。一般RTDB都使用传统的数据模型，还没有引入时间维，而即使是引入了时间维的“时态数据模型”与“时态查询语言”也没有提供事务定时限制的说明机制。系统应该给用户提供事务定时限制说明语句，其格式可以为：事务事件IS时间说明事务事件为事务的“开始”、“提交”、“天折”等。时间说明指定一个绝对、相对或周期时间。232 实时事务的模型与特性前面己说过，传统的原子事务模型已不适用，必须使用复杂事务模型，即嵌套、分裂合并、合作、通信等事务模型。因此，实时事务的结构复杂，事务之间有多种交互行动和同步，存在结构、数据、行为、时间上的相关性以及在执行方面的依赖性，其具体表现特性有：定时性、语义相关性等。24 实时数据库的体系结构和系统结构从系统的体系结构来看，实时数据库与传统数据库的区别并不大。同样可以把数据库分成3个级别：内部级、概念级和外部级。这3个级别组成了数据库系统的数据体系机构。外部级最接近用户，这里所说的用户可以是图形界面系统、第三方应用程序等。概念级涉及所有用户的数据定义。内部级最接近于物理设备(如内存或磁盘)，涉及到实际数据存储方式。图一给出了主要功能部件及其主要组成。实时数据库是一个复杂的系统，它是采用了实时数据库技术的计算机系统。它的含义已经不仅仅是一组对数据进行处理的软件，也不只是一个数据。一个实时数据库系统是一个实际可运行的，按照数据方式存储、维护和向应用程序提供数据或信息支持的系统。它是存储介质、处理对象和管理系统的集合体，由数据库、硬件、软件三部分组成。在设计实时数据库中应考虑监控软件要实现的目标及其自身对数据实时性的要求，图二是笔者设计的一个实时数据库系统结构的实例。PC工作站或服务器作为整个系统的硬件基础为第一层，第三、四、五层描述了实时数据库的基本功能，应用层位于最高层是人机交流和与其他计算机系统交换数据的窗口。实时资源管理实时数据管理实时应用程序缓冲区管理实时事物管理“实时”并发控制CPU管理实时I/O调度日志管理数据操作“实时”调度恢复管理数据库图一 实时数据库的体系结构界面系统第三方应用程序数据库组态内部接口对外开放接口数据区管理I/O通信网络通信数据处理时间管理进程调度存储管理Windows 98Windows NTWindows 2000PC工作站，PC服务器第六层 应用层第五层 服务层第四层 核心层第三层 内 核第二层 操作系统第一层 硬 件图二 实时数据库系统结构3RTDB系统功能设计与实现RTDB是一个高性能、高速度、高吞吐能力、可靠性强、跨网络系统的实时数据库软件。其系统的功能结构如图三示。分布节点2分布节点n分布节点1RTDB实时数据库界面系统先进控制优化控制其他应用关系数据库Internet/Intranet应用控件编辑接口ODBC接口Web Server数据库内核I/O通信接口DCSPLC智能仪表板卡其他设备实时数据处理历史数据处理统计数据处理运算、控制其他功能网络通信报警处理冗余处理TCP/IP拨号网络等网络通信接口图三 RTDB系统总体功能结构示意图31 I/O设备的数据采集与回送I/O设备的数据采集与回送是RTDB的一个最基本的功能，因为在RTDB系统中所面对的监控对象最终还是要落实到具体的硬件设备的。数据库支持的硬件设备很多，包括DCS、可编程控制器（PLC）、智能模块、板卡、智能仪表、控制器、变频器等，另外还支持DDE和OPC接口。用户可以自己指定数据的采集周期，最小可至几毫秒。外部设备允许时，可同时启动多进程进行采集以提高各种数据的采集速度。还可通过各种协议连接网络上的外部设备。32 输入处理任何来源的数据在进入数据库前，均可先进行数据来源检查，上限、下限检查，并进行量程转换、简单过滤、开方等处理后再进入数据库。对于模拟量，其值用工程单位表示，既量程变换后的数值。经量程变换后的PV值计算公式为：PV=EULO+（PVRAW-PVRAWLO）*（EUHI-EULO）/（PVRAWHI-PVRAWLO）其中：参数PVRAW表示原始过程测量值；PVRAWHI表示原始过程测量值上限；PVRAWLO表示原始过程测量值下限；PVRAWHI和PVRAWLO的具体值与所接的I/O设备有关。33 输出处理输出处理用于在数据库让外部设备进行数据回送前，对发往现场的数据进行输出上限、下限检查和限值变化，并进行输出记录，同时允许用户自定义处理方法。34 数据累计处理对于需要进行累计的数据，可以将其组态设为“累计点”类型。正确设置变量的瞬间值量程和时基后，当实时数据库进入运行后立即开始累计。35 报警处理系统提供高报、高高报、低报、低低报、偏差、变化率、延时、坏PV、录入超时报警等功能，提供报警确认、报警汇总、报警历史查询等功能。36 统计当设置了自动统计功能时，数据库自动对PV值的变化进行累计运算，可提供小时、班、日、月、年的累计值，自动计算小时时间段内的平均值、最大值、最小值，并形成统计历史数据。37 运算与控制对于各类实时现场控制，其实时运算和控制调节能力是至关重要的。RTDB系统提供的运算点含有一个或多个输入，一个结果输出，可进行数学运算、关系运算和位操作。控制点具有各种常规的PID调节算法，包括位置式、增量式、微分限行算法等。38 事件管理与历史数据保存任何用户对数据库的访问均产生相应的事件，并可被记录。用户可以访问和查询这些记录。数据库可指定保存时间，中间可随时停止和恢复保存历史数据，先保存在内存缓冲区内，待缓冲区满的时候再一次性写入磁盘中；读历史数据时先读缓冲区数据，取不到时才从磁盘中调入，尽量减少I/O操作。39 网络通信与并发处理网络通信功能是构建分布式应用的基础，可通过TCP/IP通信功能与分布在Internet上的其他监控软件数据库系统进行通信。4 结束语本文通过对实时数据库实时、高效等特点的描述，从监控组态软件发展的需求出发，把实时数据库技术应用于监控软件，以满足其实时应用的需求，主要目标是研究建立实时数据库所要解决的关键技术及其与监控软件的相互结合，其中讨论子实时数据库的特征、数据结构、体系结构、数据的存储、管理等方面的问题，实时数据库系统应用于监控软件将提高所有监控系统的整体性能。实时数据库的主要核心技术还应当说是内存数据库，由于受内存特性的影响，特别是内存的易失性，故内存数据库的研究与实现涉及的技术问题还比较多，由于时间限制，本论文对监控软件实时数据的管理、实时数据在内存中的存取只做了初步的理论探讨，内存数据库技术等问题没有做更深入的研究，相信这些作为全新的信息管理技术领域的核心技术，将会在以后的研究、应用中不断挖掘、更新、完善。作者简介 李密生，男，（1963-），教授，研究方向：数据采集与处理、数据库技术、网络应用等。参考文献1 马国华， 监控组态软件 清华大学出版社， 2001年8月2 李建中、王珊，数据库系统原理，电子工业出版社，1999年4月3 杨行建， 面向对象技术与面向对象数据库，西北工业大学出版社，1996年1月4 单顺利，实时数据库系统的研究途径，计算机科学，1994年5 刘云生、李国徽、卢炎生，实时数据库系统结构，上海同济大学论坛Research real time database technology in the supervisory control softwareLi-misheng (Hebei Normal university of science technology computer Department Qinhuangdao 066004