当地监控技术集-02实时数据库.ppt

当地监控技术集-02实时数据库,Ver20150512v0.1,简介,数据库采用了一系列先进的数据处理技术，可对海量实时/历史数据进行收集、压缩、存储、检索，并保证数据质量和存取速度。系统提供的扩充模块还能帮助用户对数据进行处理、计算、分析、发布，以挖掘海量数据的潜在价值。数据库同时支持硬件集群和软件冗余，是真正意义上的分布式数据仓库，系统的可靠性高、且运行稳定。在单个服务器上，数据库可以支持测点数量多达300万点，同时支持500个用户可同时连接和使用。数据库支持多个标准接口，同分散控制系统（DCS）、数据采集与监控系统(SCADA)以及关系型数据库或主要业务应用系统等实现数据交换。应用配套软件提供了如实时监视、数据报表、趋势分析等可视化工具，采用B/S和C/S结合的方式，方便企业用户使用。比如，系统支持实时/历史数据的WEB页面编辑，从Client模块到Web浏览再到Office嵌入，真正实现了所见即所得。,简介,实时数据库系统是开发实时控制系统、数据采集系统、CIMS系统等的支撑软件实时数据库的一个重要特性就是实时性，包括数据实时性和事务实时性。数据实时性是现场IO数据的更新周期，作为实时数据库，不能不考虑数据实时性。针对不同行业不同类型的企业，实时数据库的数据来源方式也各不相同。总的来说数据的主要来源有DCS控制系统、由组态软件+PLC建立的控制系统、数据采集系统（SCADA）、关系数据库系统、直接连接硬件设备和通过人机界面人工录入的数据。根据采集的方式方法可以分为：支持OPC协议的标准OPC方式、支持DDE协议的标准DDE通讯方式、支持MODBUS协议的标准MODBUS通信方式、通过ODBC协议的ODBC通信方式、通过API编写的专有通信方式、通过编写设备的专有协议驱动方式等等。,特点,海量的历史数据存储数据点数：3000000点/服务器；存储速度：300000输入值/秒；并发客户：500/服务器；TB级历史数据存储；数据压缩专利技术。智能的实时数据处理复杂条件查询；丰富的监视、报表、可视化分析工具；计算支持平台专利技术。强大的二次开发支持B/S和C/S结构的灵活组合；SDKAPI；多数据类型（布尔型、整型、浮点型、字符串）多种接口（ODBC、XML、OPC、OLEAutomation等）。灵活的系统部署能力硬件集群；镜像数据库技术（支持TCP、UDP、RS232/485）。广泛的实时数据采集多种数据采集接口（SCADA/DCS/PLC系统；GPRS、CDMA、SMS、WiFi、PSTN、ADSL、RS串口等）；广域数据交换平台（GDXP）；时间戳分辨率：毫秒。,架构图,实时数据库与关系数据库区别,实时数据库系统可以与普通关系数据库(DBMS)通讯，将实时数据库系统的实时数据或历史数据保存到关系数据库中；也可以将关系数据库中的数据导入到实时数据库系统。有方法实现两者通信，一是通过ODBCGATE转储程序，该程序可以实现实时数据的周期性转储或历史数据到关系库的存储。实时数据库的一个重要特性就是实时性多种数据采集接口强大的二次开发支持,在工业监控领域中，数据库应用的特点,工业监控系统的定义非常大，所有需要对运行设备进行自动化监视、控制的系统都可以定义为工业监控系统，这里面就包括火电厂厂级监控系统（SIS），在这类应用领域中，数据库应用有如下特点：测点数量多一个新建300WM的火电厂的SIS系统，需要处理的测点数超过了10000点，这些测点的变化周期通常在1秒钟之内，也就是说，需要将超过10000点的数据在1秒钟之内保存到数据库中。存储量大实时数据库的核心就是对大量的实时信息进行处理，由于成年累月的数据将占据大量的硬盘空间。例如对于1万点的系统，每1秒钟存储一次，每次单点占用8个字节，那么保存10年的数据量将有10000*8*10*365*86400=25228800000000字节，也就是23TGB。若用80GB的硬盘存放，需要存放293块硬盘！时效性强每个需要处理的测点的值都与时间相关，一秒钟之后的数据与一秒钟之前的数据可能就不一样了，因此，在保存测点值的同时，必须通过某种方法将其对应的时间也纪录起来。,不选择关系型数据库的理由,关系型数据库，较难处理工业控制领域的数据。主要原因是：插入速度慢一般关系型数据库是基于事务处理的，在处理失效后，还要回滚作业。所以至少要存放两处，该机制使速度较慢；既使用今日的IntelP4双至强类CPU，在对2000个测点进行插入时也用占用10s以上的时间。而工业监控系统需要面对的是数万点的实时数据以秒级的间隔存放数据。维护困难商用数据库为了保证完整性，所有的内容往往放在一个文件内，这对海量数据的存放维护发生困难。如果有一个200G的数据库，完全备份就可能要一天。备份文件中有一个错误就可能导致200G的备份文件失效，所以不实用。不能满足实时应用的需求用数据库存放实时数据据及查询方式不能满足实时应用的需要。一个简单的例子是假定以1秒为间隔存放好了数据，一周有数据604800组，但是现要以60秒为间隔取出其中10080组或者以等间隔原则取出8888组，标准SQL语法就较难实现。因此，工业监控领域以及电厂SIS应用领域，必须寻找适合实时应用需要的实时数据库系统,实时数据库的压缩算法,实时数据库系统的技术核心在于数据压缩。需要将数据经压缩后再存入硬盘，当需要用数据时再解压缩硬盘上的数据。目前用于国内外实时数据库上的压缩算法通常分为两类：无损压缩和有损压缩。4.1无损压缩大多数信息的表达都存在着一定的冗余度，通过采用一定的模型和编码方法，可以降低这种冗余度。Huffman编码是无损压缩中非常著名的算法之一。WinRar和WinZip等软件都采用了类似Huffman编码的压缩方式。这些压缩方法的共同特点是：压缩和解压过程中，信息不会发生变化。在实时数据库中，也可以采用这些无损压缩技术，但是在实现时，必须要考虑压缩和解压缩的效率，如果某个压缩算法的压缩比非常高，但是其解压的速度非常慢，则肯定不能用于实时数据库中，否则，人们在查询数据时，会等待得失去耐心。4.2有损压缩相对于无损压缩，有缩压缩肯定会丢失一些信息，但必须要保证这些丢失的信息不能影响系统数据的精度。大家在其它领域中也遇到过有损压缩的应用，比如：JPG图像压缩就是一种有损压缩，MP3声音压缩也是一种有损压缩。在实时数据库中，有损压缩主要有两种方法：死区压缩和趋势压缩。,实时数据库的压缩算法,实时数据库系统的技术核心在于数据压缩。需要将数据经压缩后再存入硬盘，当需要用数据时再解压缩硬盘上的数据。目前用于国内外实时数据库上的压缩算法通常分为两类：无损压缩和有损压缩。4.1无损压缩大多数信息的表达都存在着一定的冗余度，通过采用一定的模型和编码方法，可以降低这种冗余度。Huffman编码是无损压缩中非常著名的算法之一。WinRar和WinZip等软件都采用了类似Huffman编码的压缩方式。这些压缩方法的共同特点是：压缩和解压过程中，信息不会发生变化。在实时数据库中，也可以采用这些无损压缩技术，但是在实现时，必须要考虑压缩和解压缩的效率，如果某个压缩算法的压缩比非常高，但是其解压的速度非常慢，则肯定不能用于实时数据库中，否则，人们在查询数据时，会等待得失去耐心。4.2有损压缩相对于无损压缩，有缩压缩肯定会丢失一些信息，但必须要保证这些丢失的信息不能影响系统数据的精度。大家在其它领域中也遇到过有损压缩的应用，比如：JPG图像压缩就是一种有损压缩，MP3声音压缩也是一种有损压缩。在实时数据库中，有损压缩主要有两种方法：死区压缩和趋势压缩。,实时数据库的访问方式,使用实时数据库提供的API这种方式效率最高，也最简单。使用ODBC大部分实时数据库提供了标准的ODBC接口，也提供了SQL查询语言，通过这些方法，用户可以将实时数据库当作一个标准的数据库来使用。但这种方法速度较慢，且不能体现实时数据的全部优势。使用OPC方式（OLEforProcessControl）因为太多的数据库和DCS使用自己的API方式存取数据，无法做到算法的通用，因为工业监控领域提出了一个标准的存取接口，这就是OPC，如今有超过两百家产商加入到OPC组织中，声势浩大。,可供选择的实时数据库产品,目前进入国内市场比较成熟的实时数据库产品如下所列：美国OSIsoft公司，PI；美国Wonderware公司，IndustrialSQLServer，简称INSQL；美国GE,Intellution公司，iHistorian；美国InStep公司，eDNA；美国HONEYWELL公司，ProcessHistoryDatabase，简称PHD；美国AspenTech公司，InfoPlus；,实时库接口说明,一CTableOp类接口说明CTableOp类的接口都是对本地实时数据库做操作，包括打开一张表、按域取表数据、修改一张表、向表里写入数据、按关键字删除表的数据和清空一张表。1打开一张表：Open注：在使用实时库的接口对某张表操作之前必须先打开这张表intOpen(constintapp_no,constinttable_no