当地监控技术集-02实时数据库.ppt

1、现场监控技术集-02实时数据库、Ver20150512v0.1、概述、数据库采用一系列先进的数据处理技术，收集、压缩、存储、检索大量的实时/历史数据，保证数据质量和访问速度。 系统提供的扩展模块还可以帮助用户处理、校正、分析和发布对数据，以实现大量数据的潜在价值。 数据库同时支持硬件集群和软件冗馀，是真正意义上的分布式数据仓库，系统可靠、运行稳定。 在一项服务中，数据库支持多达300万个测量点，并且支持500个用户同时连接和使用。 数据库支持多个标准接口，实现与分布式控制系统(DCS )、数据收集监视系统(SCADA )、关系数据库和主要业务应用系统等的数据交换。 应用程序支持软件提供实时监控

2、、数据报告和趋势分析等可视化工具，将B/S和C/S结合起来，使企业用户更加容易使用。 例如，系统支持实时/历史数据的网页编辑，从客户端模块到WEB浏览和Office嵌入，都能够实际看到。 摘要、实时数据库系统是开发实时控制系统、数据采集系统、CIMS系统等支持软件实时数据库的重要特性之一，是数据实时性和事务实时数据的实时实时数据库的数据源方式因行业而异。 总而言之，数据的主要来源是DCS控制系统、基于组态软件PLC的控制系统、数据采集系统(SCADA )、相关数据库系统、直接连接硬件设备和人机接口手动输入的数据。 收集方式的方法包括支持OPC协议的标准OPC方式、支持DDE协议的标准DDE通信

3、方式、支持MODBUS协议的标准MODBUS通信方式、通过ODBC协议的ODBC通信方式、以API写入的独自通信方式、写入设备的独自协议特征、大量的历史数据保存数据点数： 3000000点/服务器存储速度： 300000输入值/秒同时顾客： 500/服务器TB级历史数据存储数据压缩专利技术。 智能实时数据处理复杂条件查询丰富的监控报告可视化分析工具计算支持平台专利技术。 强大的二次开发支持B/S和C/S结构的灵活组合SDK API； 多数据类型(布尔型、整数型、浮点型、字符串)多个接口(ODBC、XML、OPC、ole自动化等)。 灵活的系统部署能力硬件集群镜像数据库技术(支持TCP、UDP、

4、RS232/485 )。 广泛的实时数据收集多种数据收集接口(SCADA/DCS/PLC系统GPRS、CDMA、SMS、WiFi、PSTN、ADSL、RS串行端口等)。 广域数据交换平台(GDXP )时间戳分辨率：毫秒。体系结构图、实时数据库和关系数据库的区别、实时数据库系统与通常的关系数据库(DBMS )进行通信、实时数据库系统的实时数据或历史关系有实现两者通信的方法。 一个是通过ODBCGATE转储程序，能够实现实时数据的周期性转储和历史数据向关系库的保存。 实时数据库的一个重要特性是实时性多种数据采集接口的强有力的二次开发支持，在工业监控领域，数据库应用特点、工业监控系统的定义非常大，需

5、要运行设备自动监控、控制的系统都可以定义为工业监控系统， 其中包括火力发电站水平监视系统(SIS )在内的数据库应用程序中，有多个新设300WM的火力发电站的SIS系统，应处理的测定点数超过10000点，这些测定点的变化周期通常在1秒以内，即超过10000点的数据存储容量大的实时数据库的核心是处理大量的实时信息，因为成年人疲劳的月份数据占用了大量的硬盘空间。 例如，在1万点的系统中，如果每秒保存一次，每点占用8字节，则10年保存的数据量为10000 *8* 10 * 365 * 86400=25228800000000字节，即23TGB。 用80GB的硬盘保管时，需要保管293台硬盘。时效性强

6、需要个别处理的测量点的值与时间相关，1秒后的数据和1秒前的数据可能不同，所以在保存测量点的值的同时，也用某种方法记述对应的时间、不选择关系数据库的理由、关系数据库难以处理产业控制领域的数据。 主要原因是插入速度慢的常用关系数据库基于事务，在处理无效后回滚作业。 所以，必须至少保管两处。 此机制会减慢速度使用现今的英特尔p4双至强处理器，插入2000点也花费了10s以上的时间。 产业监视系统面临的是数万点实时数据以秒为单位的间隔存储数据。 对于难以维护的业务数据库，为了确保完整性，通常将所有内容存储在一个文件中，这使得大量数据的保留和维护变得困难。 如果有200G数据库，完全备份可能需要一天时间

7、。 如果备份文件中存在错误，则200G备份文件可能无效，这是不实用的。 在不能满足实时应用的需要的数据库中存储实时数据和查询方式，作为实时应用的简单例子，假定以1秒间隔存储数据，每周有604800组数据，现在因此，工业监控领域和发电厂SIS应用领域必须寻找适合实时应用需求的实时数据库系统，对实时数据库的压缩算法、实时数据库系统的技术数据进行压缩，然后在硬盘上运行目前国内外实时数据库中使用的压缩算法通常分为可逆压缩和不可逆压缩两种。 4.1无损压缩的许多信息的表示存在一定的冗馀，通过采用一定的模型和编码方法，能降低该冗馀。 Huffman编码是无损压缩中非常有名的算法之一。 WinRar和Win

8、Zip等软件采用了霍夫曼编码这样的压缩方式。 这些压缩方法的共同特征是信息在压缩和解压缩过程中保持不变。 这些有损压缩技术也可以用于实时数据库，但在实现时，某些压缩算法的压缩效率非常高，但是解压缩的速度非常慢，不能用于实时数据库。 4.2对于有损压缩，有损压缩必须丢失一些信息，但是应当确保这些丢失信息不影响系统数据的精度。 JPG图像压缩是不可逆压缩，MP3声音压缩也是不可逆压缩等，在其他领域也发现了不可逆压缩的应用。 在实时数据库中，有损压缩主要有两种方法：死区压缩和趋势压缩。 实时数据库的压缩算法，实时数据库系统的技术核心是数据压缩。 必须先压缩数据，然后存储在硬盘上，如果需要数据，则必须

9、解压缩硬盘上的数据。 目前国内外实时数据库中使用的压缩算法通常分为可逆压缩和不可逆压缩两种。 4.1无损压缩的许多信息的表示存在一定的冗馀，通过采用一定的模型和编码方法，能降低该冗馀。 Huffman编码是无损压缩中非常有名的算法之一。 WinRar和WinZip等软件采用了霍夫曼编码这样的压缩方式。 这些压缩方法的共同特征是信息在压缩和解压缩过程中保持不变。这些有损压缩技术也可以用于实时数据库，但在实现时，某些压缩算法的压缩效率非常高，但是解压缩的速度非常慢，不能用于实时数据库。 4.2对于有损压缩，有损压缩必须丢失一些信息，但是应当确保这些丢失信息不影响系统数据的精度。 JPG图像压缩是不

10、可逆压缩，MP3声音压缩也是不可逆压缩等，在其他领域也发现了不可逆压缩的应用。 在实时数据库中，有损压缩主要有两种方法：死区压缩和趋势压缩。 实时数据库的访问方式，使用实时数据库提供的API的方式是最有效、最简单的。 大多数使用ODBC的实时数据库提供标准ODBC接口和SQL查询语言，用户可以使用实时数据库作为标准数据库。 但是，这种方法速度慢，不能表现实时数据的所有优点。 使用OPC方式(OLE for Process Control )是因为数据库和DCS使用独自的API方式访问数据，所以算法无法通用。 这是因为工业监视领域提出了标准的接入接口，即OPC。 现在有200家以上的财产经营者加

11、入OPC组织，有势头。 可供选择的实时数据库产品，目前进入国内市场比较成熟的实时数据库产品有：美国OSIsoft公司、PI美国Wonderware公司、IndustrialSQL Server、简称INSQL； 美国GE、英特尔lution公司、iHistorian； 美国InStep公司，eDNA； 美国HONEYWELL公司，流程历史数据库，简称PHD； 美国AspenTech公司，InfoPlus；实时库接口说明、CTableOp类接口说明CTableOp类的接口全部对本地实时数据库进行操作，打开表、按域获取表数据、修改表打开一个表： Open注意：在使用实时库的接口操作表之前，先打开此表int O