实时数据库.doc

实 时 数 据 库一.实时数据库概述实时数据库可用于工厂过程的自动采集、存储和监视，可在线存储每个工艺过程点的多年数据，可以提供清晰、精确的操作情况画面，用户既可浏览工厂当前的生产情况，也可回顾过去的生产情况，可以说，实时数据库对于流程工厂来说就如同飞机上的“黑匣子”。实时数据库RTDB（Real-Time Data Base）是数据和事务都有定时特性或显示的定时限制的数据库。系统的正确性不仅依赖于逻辑结果，而且还依赖于逻辑结果产生的时间。RTDB的本质特征就是定时限制，定时限制可以归纳为两类：一类是与事务相联的定时限制，典型的就是“截止时间”；另一类为与数据相联的“时间一致性”。时间一致性则是作为过去的限制的一个时间窗口，它是由于要求数据库中数据的状态与外部环境中对应实体的实际状态要随时一致，以及由事务存取的各数据状态在时间上要一致而引起的。实时数据库是一个新的数据库研究领域，它在概念、方法和技术上都与传统的数据库有很大的不同，其核心问题是事物处理既要确保数据的一致性，又要保证事物的正确性，而它们都与定时限制相关联。实时数据库系统中最为典型的问题是利用数据库技术的特点和优点解决实时系统中的数据管理问题，为数据库系统提供时间调度和资源分配的算法，以及实时数据处理的各种方法。时间特性是实时数据库系统不同于其它关系数据库的特点之一。数据、事件、活动都有与之相联系的时间限制。设计实时数据库系统时一定要充分考虑时问特性，考虑外部环境所施加的时间限制、系统性能所决定的时间限制、数据的时间一致性所要求的时间限制以及其它的时间限制。另外，由于时间限制的存在，实时数据库中的数据还存在除数据逻辑一致性和事务逻辑一致性外的两种一致性约束条件:数据时态一致性、事务时态一致性。实时数据库系统可以看作是常规数据库管理系统与实时系统的结合体，像DBMS一样，它必须处理事务并保证ACID数据特性。此外还必须在实时环境下满足事务提交的时间约束。实时事务要求系统能比较准确地估计和控制或规定事务的运行时间，但对磁盘数据库而言，由于磁盘存取、内外存数据传递、缓冲区管理、排队等待等使得实时事务实际平均执行时间不易控制在一个较短的时间内。而如果将选定数据库的“主拷贝”或“工作版本”常驻内存，形成内存数据库，即活动事务只与实时数据库的内存拷贝打交道，每个事务在执行过程中实现I/O。那么系统就可以将事务的运行时间控制在一个较短的时间内。实时数据库理论的研究主要集中在如下几个方面：实时数据库模型实时事务调度：包括并发控制、冲突解决、死锁等内容数据压缩容错性与错误恢复访问准入控制内存组织与管理索引结构I/O与磁盘调度主内存数据库系统系统资源调度、恢复不精确计算问题放松的可串行化问题查询处理算法实时SQL数据和事务特性的语义及这种语义与一致性、正确性的关系实时事务的可预测性通信的协议与算法数据接口的标准化这些问题又彼此高度相关且与应用的性质紧密联系，在工程实时数据库系统中，同相关的工程背景结合，又产生了很多需要研究的问题。另外，实时数据库系统的研究中通常要借鉴其它各特种数据库和相关工程知识的理论研究结果。例如时态数据、内存数据库、面向对象数据库、主动数据库、工程数据建模等。二.各种实时数据库概述目前使用最广泛的国外品牌：OSI公司的PI( Plant Information System )Aspen公司的IP21( InfoPlus.21 )Honeywell公司的PHD( Process History Database )Instep公司的eDNA(enterprise Distributed Network Architecture)Wonderware公司的IndustrialSQL Server，简称INSQL；GE,Intellution公司的iHistorian；简介:PI在国内广泛应用于电力行业，它采用了旋转门压缩专利技术和独到的二次过滤技术，使进入到PI数据库的数据经过了最有效的压缩，极大地节省了硬盘空间；IP21和PI一样属于正宗的实时数据库软件，价格和PI差不多，比较昂贵，IP21在中石油、中石化内部得到了广泛使用；由于Honeywell占据了化工行业DCS大部分份额，因此PHD在化工行业使用得也比较广泛，PHD在内部使用了Oracle关系数据库；以上三种实时数据库均为二十世纪末推出来的传统实时数据库，由于在电力行业占垄断地位的PI价格居高不下，Instep eDNA凭借价格优势进入了电力行业，逐渐拥有了一定的客户，因此目前大型电力企业仍然偏爱OSI PI，不少中小电力企业则选择了eDNA。 OSI公司的PI：PI系统是由OSIsoft 公司开发的基于C/S 和B/S 结构的工厂实时数据集成、应用平台。PI 系统以数据原形的方式长期在线储存工厂所有的生产数据，并满足快速、高效地进行数据采集、存储和显示的要求。由于其功能卓越、性能可靠，在国内外电厂信息化建设中获得了广泛的应用，在电力行业实时/历史数据库产品应用中占据了领导性的地位。PI 系统是一个直观显示企业生产过程的虚拟窗口。基于可靠的生产信息，管理者可以监控整个企业的运转。PI 实时地获取各个实际数据源的原始生产数据，用户通过一组用户可配置的报表，从分布在整个企业的桌面计算机上，可看到当前和历史的生产运行状况。这些有价值的信息也可按其原有的精度在线存储数年以备将来使用，使用户随时了解每个单元、每台设备以及整个企业不同层面的运作状况。实现从数据到信息，从信息到生产力的转换可靠、准确、实时的信息，意味着可做出更好的业务决策。对企业或管理机构而言，OSIsoft 公司的PI 实时数据库系统的应用，则意味着企业或管理机构中每位成员都可根据工作需求实时获得关键的数据。利用PI 数据库系统，将数据转化为对业务有用的信息，该信息将辅助管理者和运行人员做出适当的决策，使企业不断的向前发展并获得增长性的赢利能力。PI 系统为管理层打开一扇虚拟的窗口，帮助其洞察生产过程或运行流程，使得在大量基于实际运行数据/信息基础上，实现对整个业务运作流程的控制与管理。PI 系统具有强大的实时数据采集功能，可实时地采集来自不同数据源的原始数据，并通过系统提供的用户可配置报表、分析工具和Web 软件工具等，在遍布企业或管理部门的台式计算机、便携式电脑或移动PDA 上，实时显示当前和历史的运行状况。对于运行管理有价值的数据信息，PI 系统可为其提供在线存储达数十年，并随时随地（每周7 天、每天24 小时）连续不断地为运行单元级、成套设施级、整个企业或管理机构级，提供实时数据与信息支持。PI 系统是企业及管理机构实时信息架构的核心部分，它帮助将实时数据转化为运行管理决策的关键信息，使其成为业务系统中整合的重要信息。目前，众多管理机构、组织或企业，包括世界500 强到中型规模企业，将该实时信息管理模式应用到生产能力、产品质量和可靠性方面后，而取得了持续的巨大成功。2. PI 数据库系统弥合了业务控制与业务管理间的信息缺口PI 系统为世界级的企业提供实时和历史的数据管理，使得该类企业在实时数据支持的管理过程中成功地获得了丰厚的投资回报，且避免了运营风险和决策失误。PI 系统已成为企业或管理机构的信息集成系统重要部分，直接应用于运行、维护和管理一体化。并为生产过程控制与业务运行和管理系统间的实时信息沟通架起了一道桥梁。PI 系统可直接采集，实时获取难度较高的各种运行过程中的实时数据（通常该类数据，封闭在各自成体系的自动化系统或人工数据源中），并将其转化为公共的、且对业务有效的信息。不论何种行业或管理部门，均可从这些关键的实时信息中获得收益，并能在动态业务领域中自由地驰骋，达到绩效目标。3. PI 数据库系统加速了用户的投资回报PI 系统的建设会迅速地产生实用效果，并在业务运作中帮助用户取得不断增长的效益。PI 系统提供的数据信息可靠、且清晰明了。同时，PI 系统的安装周期短，配置集成到用户的生产管理系统、业务监控/监管系统、辅助决策信息系统等过程中，也无需要更改用户原有系统。PI 系统通过一个可扩展的标准接口库，能够连接上百种不同运行模式的过程监控系统或自动操作系统等。同时，通过使用COM 连接技术，使得PI 能实现与用户原有或将来需要增加的数据库之间有效的融合。PI 系统功能强大的应用服务和客户端工具，也保证了客户使用过程中得心应手，且操作简便。PI 系统能向用户提供其业务需求的关键数据和实时信息。该类信息对用户在生产运行、系统设备维护、成本控制、质量管理及后续服务过程中，均是必不可少的。因此，采用PI 数据库系统，不仅可显著地提高工作效率，降低运行成本及资源损耗，从而也加快了用户投资的回报。4. PI 数据库系统的安全保障体系PI 系统整体架构设计中，已完整考虑并提供了一体化的安全保障机制，以确保用户数据信息使用中的万无一失。PI 系统的安全机制，已具备精细到对每个数据点的安全管理，其包括对数据库点的读取、写入或修改等。因此，任何想要访问PI 数据库系统中任何数据的用户，都必须首先获得其相应的访问权限确认。而该访问权限的配置与管理，只有系统核心管理员具备该权限，且其也受身份认证的管理。Aspen Infoplus.21 InfoPlus.21是实时数据库软件，是用于集成生产过程信息（如各种工艺参数）与高层次应用程序（如先进控制、优化、过程管理）的基础数据平台，它使用户可以访问和集成来自整个工厂范围内DCS及PLC的数据，它通过功能极强的分析工具、历史数据管理、图形化的用户介面和大量的过程接口来访问和集成数据。InfoPlus.21是一个智能化的实用化的信息管理系统，它可以提供给你最需要的东西：合适的实时应用支持、多线程、客户机/服务器结构。先进的过程数据服务器和历史数据管理在应用的任何地方都是可行的，特别是它的灵活的数据结构可以根据应用的需要重新定义以适合你自己的应用系统的需要，它对OLE、DDE、aglance以及ODBC查询访问的支持，使用户可以方便地在支持这些传输协议的应用软件及实时数据库之间交换数据，如Excel与实时数据库可以通过aglance交换数据，同时利用ODBC可以与对ODBC支持的关系数据库集成在一起。如ORACLE、SYBASE等集成。由于丰富的经验以及在实时数据库系统技术方面的领先地位，使得实时数据库可以与世界上大多数的DCS及PLC集成在一起，典型的有Honeywell的TDC2000,3000、Fisher Provox、Moore（HLL和LIL）Foxboro I/AS、Bailey Infi/network 90等PLC方面有AB、Modicon、SquareD、Texas Instruments（以上所列仅是一部分）等。InfoPlus.21的过程浏览器Explorer提供了强大的访问实时数据库的能力。它的Windows基础的图形用户介面使得用户可以方便地对流程图进行组态，而且也是浏览实时数据如趋势、报警、详细显示、报告编辑等的工具。该软件被广泛应用于炼油、金属冶炼、造纸业、石化企业、油田、制药、电厂等。Honeywell公司的PHD:可扩展性：PHD的分布式结构保证可以从不同的数据源采集数据并汇总到单一而一致的数据库中。PHD数据库初建规模可以很小，但随着应用需要可以很方便地扩展到处理数百个用户和数十万个位号的规模。安全性：PHD可以提供常用的防火墙配置支持，能够对历史数据进行保护，阻止未授权的访问。可靠性：PHD具有数据采集和历史记录恢复的功能，即使数据采集出现中断，也能保证数据记录的完整性。开放性：PHD具有开放的接口，可以与众多Honeywell及第三方数据源进行连接。Instep公司的eDNAeDNA实时数据库系统以服务目录为核心，以安全服务为外围，围绕各个服务建立起安全的网络。各个服务独立但相互协作地为客户服务，彼此不相互依附。eDNA系统分为服务器、客户端和接口三个方面，分别提供采集和存储现场实时数据、浏览和处理生产信息及数据库的通信等功能。同时， eDNA实时数据库系统采用的以哈夫曼编码为基础的无损数据压缩方法。随着电力体制改革的深入开展，厂网分开、竞价上网已成为发展的必然趋势。为实现发电企业全厂整体效益的提高，综合考虑管理信息系统和生产控制系统的集成，真正实现管控一体化成为关键。目前电厂中的分布式控制系统DCS(Distributed Control System)是为机组(车间)级自动化服务的，而数据分散在不同的计算机或控制系统上，不能统一地存储和使用。于是电厂监控信息系统SIS(Supervisory Information System)应运而生。它一方面建立了统一的数据平台，在DCS和MIS之间搭建起信息沟通的桥梁；另一方面为火电厂的经济安全运行提供了有力保障。 在SIS体系结构中，实时数据库是核心。作为大型实时数据库和历史数据库，eDNA (enterprise Distributed Network Architecture)数据库系统可在线存储每个工艺过程点的多年数据，并提供清晰、精确的操作情况画面，用户既可浏览电厂当前的生产情况，也可回顾过去的生产情况，可以说eDNA完全符合SIS系统数据库要求容量大、可靠性高和响应速度快的要求。 1 eDNA建构及组件构架 eDNA数据库是一种基于P2P（Peer to Peer），核心很小，可以灵活扩展的分布式实时数据库系统。 eDNA数据库系统在逻辑功能上分为服务器、客户端和接口。eDNA服务器服务包括目录服务、安全服务、BOSS服务、历史服务、应用服务、报警服务、PUSH服务、数据服务和通知服务等各组件，提供现场实时数据的采集和存储；eDNA客户端服务包括Alarm View、eDNA View、eLink、EzTrend和计算服务等组件，最大限度地浏览和处理生产信息；eDNA接口软件为和eDNA数据库的通信提供了有力支持。eDNA以目录服务为中心，以安全服务为外围，将eDNA各个组件服务包含在一个安全网络内，构成eDNA的安全网络。eDNA的管理员和一般用户都是经过eDNA安全服务的审核才能对eDNA数据库进行访问。 在物理上，所有的eDNA服务都是真正的分布式的，即其可以安装在一台或多台计算机上。eDNA各个组件服务可以分布在物理网络的任何一个地方，其各个组件服务之间互相通讯构成eDNA虚拟网络。因此，eDNA的服务端和客户端并不像其他数据库系统那样区分的十分明确，这样使得数据库的使用更加灵活。 图1 eDNA服务分布目录服务、安全服务及其他服务的逻辑关系如图1所示。从该图中可以看出，在整个eDNA系统中，各个服务在概念上讲是平等的，但在实际中由于各个服务所起的作用、功能不同，所以所在的物理位置也不一样。目录服务在逻辑上是处于中心位置的，也就是说，它是eDNA系统内所有服务中最核心的服务。在启动eDNA其他服务之前，必须首先启动目录服务，然后由目录服务产生一系列目录列表，用来引导各种类型的eDNA服务的数据请求。目录服务一旦建立，它将自动创建本地数据库文件Svcdir.db，将添加到系统的各项服务的信息（如服务名，描述，类型，创建日期等等）保存下来。对服务目录配置完成之后，管理员可以进行查看、修改、添加及删除服务条目的工作。服务目录可以在不同的计算机上创建，其应用灵活方便。 如果一个用户想查询某个点一段时间的数据，用户将先发请求给服务目录，服务目录通过里面包含的信息找到包含这些数据的服务的地址，然后返回给用户，用户因此得以与所需的服务通讯，获得想要的信息。其通讯架构如图2所示。 图2 通讯架构2 eDNA系统主要服务功能 2.1 eDNA服务端服务 eDNA系统除了包括目录服务，还包含了安全服务、BOSS服务、历史服务、配置管理服务、应用服务、报警服务、PUSH服务、数据服务、通知服务等九项实时服务。 a.目录服务：位于网络中，并通过网络向各种实时服务和管理服务发出响应的服务。每一个目录服务包括一系列的列表，用来引导各种类型的eDNA服务的数据请求。 b.安全服务：提供了一种控制和管理用户访问权限的手段的服务。该服务包含了按照不同访问权限排列的各个列表。它保证了eDNA的规范运行，杜绝了对eDNA的非法访问。 c.BOSS服务：实现远程网络管理和操作的网络管理工具，管理eDNA中所有的服务。它可以实现注册和反注册一个服务、创建和删除服务、开始和停止服务、浏览和控制服务、提供服务列表和事件等功能。 d.历史服务：提供长期的、在线的、实时的数据保存与恢复的服务。 e.配置管理服务：eDNA数据库中的每个站点的管理部门，任何一个站点的管理都必须经过配置管理服务。 f.应用服务：向eDNA应用程序提供二进制的对象或文件的文件服务器的服务。它可以管理各种各样的二进制对象，这包括图片、View工具、微软Word文档以及其他应用程序。 g.报警服务：管理一系列报警数据点，并且可以显示和操作数据的服务。 h.PUSH服务：可以使eDNA用户和应用程序将数据（各种设备产生的数据和手工制造的数据）添加到eDNA系统中，并可以通过标准的eDNA数据获取方法来得到当前的实时数据的服务。 i.数据服务：获取配置信息，并将数据发送至历史服务的服务。 j.通知服务：将系统目前的各种状态通过传呼机和电子邮件的方式通知给关键人物的服务。 2.2 eDNA客户端服务 eDNA客户端服务包含Alarm View、eDNA View、eLink、EzTrend、计算服务，为客户浏览和处理生产数据提供了方便快捷的方式。 a.Alarm View：系统用户可以通过该服务查看报警信息。 b.eDNA View：提供对标准办公产品如微软Word 和Excel以及报表工具例如水晶报表的快捷接口界面。 c.eLink：获取和使用eDNA系统的当前数据信息、历史信息和配置信息等等。 d.EzTrend：使用其通过eDNA分散网络结构和eDNA系统通讯或者在eDNA系统服务器上eDNA趋势以趋势和图表的形式显示eDNA历史数据。 e.计算服务：允许用户对来自eDNA其他实时服务点构成的组合式进行计算并提供了丰富的函数和高级方式来定义、添加和访问这些函数。 2.3 eDNA系统中各服务的关系 在eDNA系统中，服务目录作为系统的核心必须先启动，其它eDNA服务在eDNA系统中的地位是平等的，每个eDNA服务都可以不依赖其他eDNA服务而启动。但在实际情况中需要不同的eDNA服务一同参与，协同工作。例如在实际中，客户会要求从生产系统不停的把数据送到eDNA系统，并且将数据保存起来，以备后用，同时生产系统中各个测点的报警信息也需发布出来。 完成此功能必须要下面几个功能模块来完成： a) 采集生产系统数据并将数据送到eDNA系统的接口程序。 b) 接收处理生产系统数据的eDNA PUSH服务。 c) 管理实时服务中测点标签信息的eDNA配置管理服务。 d) 管理并保存生产系统数据的eDNA历史服务。 e) 接收发布生产系统测点报警的eDNA报警服务。 f) 联系这些功能模块并让它们之间互通的eDNA服务目录。 g) 保证任务安全可靠运行，杜绝非法管理，破坏的eDNA安全服务。 由上面的分析可知：完成此项任务需要启动接口程序、PUSH服务、配置管理服务、历史服务、报警服务。这些eDNA的功能模块相互协作，共同完成一项工作。 由此可知：eDNA各服务之间在个体上是独立的，不依赖于其他的eDNA服务，而在整体上是相互关联的。 2.4 eDNA接口软件 接口软件为现场和eDNA数据库的通信提供了有力的工具。接口分为三大类:定制接口为集散控制系统(DCS)和可编程逻辑控制器(PLC)等控制系统提供的专用接口；标准接口为提供支持工业标准的数据通信接口，如OPC,Modbus等；DNA-API(DNA-Application Programming Interface)为第三方软件与eDNA数据库通信提供的应用程序接口。 电厂SIS系统的应用是建立在分布式实时数据库平台之上，应用数据来自生产现场DCS,PLC和其他工程控制系统的PCS。eDNA实时数据库通过其服务端、客户端及各种数据采集接口的协作，以目录服务为核心，用高效和可靠的手段从现场收集大量的实时生产数据，并保存起来，同时通过通用接口从管理系统中获得管理数据以指导生产管理。 eDNA实时数据库作为整个SIS系统的核心，使得电力企业高层管理人士可以在最短的时间里获取企业生产状况的第一手资料，从而为企业的定价策略提供科学的决策依据。利用eDNA提供的历史数据，企业管理者能够审视企业发展过程中的不足之处，从而为企业的发展指明正确方向。 三.四大主流实时数据库的优缺点PI:优点: 在国内广泛应用于电力行业，是大型企业的首选,它采用了旋转门压缩专利技术和独到的二次过滤技术，使进入到PI数据库的数据经过了最有效的压缩，极大地节省了硬盘空间. PI提供API，SDK, PI ODBC & PI OLEDB二次开发工具实现从数据库读取数据或写入数据到实时数据库中。另外，PI的客户端ProceBook中内嵌了VBA，方便对ProceBook功能的扩充和客户化。OSI公司提供全球600多种DCS接口软件，同时可以支持OPC数据采集，使得PI数据库成为企业生产控制系统与管理信息系统连接的桥梁。缺点:价格高,接口收费,OPC接口收费.IP21:优点:支持很多DCS的接口,OPC接口不收费缺点:运行效率较低,非常占用系统资源,1台服务器只能给1个IP21使用.管理维护比较复杂.PHD:优点: HONEYWELL的DCS是它的主要产品.在石化行业的信息解决方案也非常棒,相对于其他产品,他的其他高级应用会更多.价格上,PHD经常是DCS的附带品,甚至可以免费使用.缺点: PHD在内部其实使用了Oracle关系数据库，因此购买PHD就必须先购买Oracle。因为 PHD内部使用Oracle简化了开发量 和 Oracle的性能限制比较严重，所以 PHD 的价格在这三种数据库最低，算不上正宗的实时数据库。但不要以为PHD内部使用Oracle就认为Oracle很强，如果直接使用Oracle，只要两三秒的时间，巨大的数据量就会令它崩溃.eDNA:优点:价格便宜,采用数据无损压缩,广泛应用于中小型电厂 eDNA实时数据库作为整个SIS系统的核心，使得企业高层管理可以在最短的时间里获取企业生产状况的第一手资料，从而为企业的定价策略提供科学的决策依据。缺点:一、PI实时数据库优点：（1）数据处理量大。在PI的高端产品服务器中可以处理每秒钟150万点的数据。在客户端软件ProcessBook上，可以在秒级时间内从2年或3年历史中取到1000点数据。（2）高效的数据存储压缩技术。PI采用了旋转门压缩专利技术和独到的二次过滤技术，使进入到PI数据库的数据经过了最有效的压缩，极大地节省了硬盘空间。据计算，每秒1万点数据存储一年，仅需要4G的空间，即一只普通硬盘也可存贮五到十年的数据。是效率最高，使用最简单，使用最广泛的实时数据库。缺点：（1）没有配套的关系数据库。PI将所有数据存于专有数据库中，是纯实时数据库，如果要实现企业更高级的应用还要配备关系型数据库。（2