当地监控技术集-02实时数据库.ppt

当地监控技术集 -02实时数据库 Ver20150512v0.1 简介 数据库采用了一系列先进的数据处理技术，可对海量实时 /历史数据进行收集、压缩、存储、检索，并保证数据质 量和存取速度。系统提供的扩充模块还能帮助用户对数据 进行处理、计算、分析、发布，以挖掘海量数据的潜在价 值。 数据库同时支持硬件集群和软件冗余，是真正意义上的分 布式数据仓库，系统的可靠性高、且运行稳定。在单个服 务器上，数据库可以支持测点数量多达300万点，同时支 持500个用户可同时连接和使用。 数据库支持多个标准接口，同分散控制系统（DCS）、数 据采集与监控系统(SCADA)以及关系型数据库或主要业务 应用系统等实现数据交换。 应用配套软件提供了如实时监视、数据报表、趋势分析等 可视化工具，采用B/S 和C/S结合的方式，方便企业用户 使用。比如，系统支持实时/历史数据的WEB页面编辑， 从Client模块到Web浏览再到Office嵌入，真正实现了所见 即所得。 简介 实时数据库系统是开发实时控制系统、数据采集系统、 CIMS系统等的支撑软件 实时数据库的一个重要特性就是实时性，包括数据实时性 和事务实时性。数据实时性是现场IO数据的更新周期， 作为实时数据库，不能不考虑数据实时性。 针对不同行业不同类型的企业，实时数据库的数据来源方 式也各不相同。总的来说数据的主要来源有DCS控制系统 、由组态软件+PLC建立的控制系统、数据采集系统（ SCADA）、关系数据库系统、直接连接硬件设备和通过 人机界面人工录入的数据。根据采集的方式方法可以分为 ：支持OPC协议的标准OPC方式、支持DDE协议的标准 DDE通讯方式、支持MODBUS协议的标准MODBUS通信方 式、通过ODBC协议的ODBC通信方式、通过API编写的专 有通信方式、通过编写设备的专有协议驱动方式等等。 特点 海量的历史数据存储 数据点数：3 000 000点/服务器；存储速度：300 000输 入值/秒；并发客户：500/服务器；TB级历史数据存储； 数据压缩专利技术。 智能的实时数据处理 复杂条件查询；丰富的监视、报表、可视化分析工具；计 算支持平台专利技术。 强大的二次开发支持 B/S和C/S结构的灵活组合；SDK API；多数据类型（布尔 型、整型、浮点型、字符串）多种接口（ODBC、XML、 OPC、OLE Automation等）。 灵活的系统部署能力 硬件集群；镜像数据库技术（支持TCP、UDP、 RS232/485）。 广泛的实时数据采集 多种数据采集接口（SCADA/DCS/PLC系统；GPRS、 CDMA、SMS、WiFi、PSTN、ADSL、RS串口等）；广域 数据交换平台（GDXP）；时间戳分辨率：毫秒。 架构图 实时数据库与关系数据库区别 实时数据库系统可以与普通关系数据库(DBMS)通讯，将 实时数据库系统的实时数据或历史数据保存到关系数据库 中；也可以将关系数据库中的数据导入到实时数据库系统 。有方法实现两者通信，一是通过ODBCGATE转储程序， 该程序可以实现实时数据的周期性转储或历史数据到关系 库的存储。 实时数据库的一个重要特性就是实时性 多种数据采集接口 强大的二次开发支持 在工业监控领域中，数据库应用的 特点 工业监控系统的定义非常大，所有需要对运行设备进行自动化监视 、控制的系统都可以定义为工业监控系统，这里面就包括火电厂厂 级监控系统（SIS），在这类应用领域中，数据库应用有如下特点： 测点数量多 一个新建300WM的火电厂的SIS系统，需要处理的测点数超过了 10000点，这些测点的变化周期通常在1秒钟之内，也就是说，需要 将超过10000点的数据在1秒钟之内保存到数据库中。 存储量大 实时数据库的核心就是对大量的实时信息进行处理，由于成年累月 的数据将占据大量的硬盘空间。例如对于 1万点的系统，每 1秒钟存 储一次，每次单点占用 8个字节，那么保存 10年的数据量将有 10000*8*10*365*86400=25228800000000字节，也就是 23TGB。 若用 80GB的硬盘存放，需要存放 293块硬盘！ 时效性强 每个需要处理的测点的值都与时间相关，一秒钟之后的数据与一秒 钟之前的数据可能就不一样了，因此，在保存测点值的同时，必须 通过某种方法将其对应的时间也纪录起来。 不选择关系型数据库的理由 关系型数据库，较难处理工业控制领域的数据。主要原因是： 插入速度慢 一般关系型数据库是基于事务处理的，在处理失效后，还要回滚作业。 所以至少要存放两处，该机制使速度较慢；既使用今日的Intel P4 双至 强类CPU，在对2000 个测点进行插入时也用占用10s 以上的时间。而 工业监控系统需要面对的是数万点的实时数据以秒级的间隔存放数据。 维护困难 商用数据库为了保证完整性，所有的内容往往放在一个文件内，这对海 量数据的存放维护发生困难。如果有一个200G 的数据库，完全备份就 可能要一天。备份文件中有一个错误就可能导致200G 的备份文件失效 ，所以不实用。 不能满足实时应用的需求 用数据库存放实时数据据及查询方式不能满足实时应用的需要。一个简 单的例子是假定以1 秒为间隔存放好了数据，一周有数据604800 组， 但是现要以60 秒为间隔取出其中10080 组或者以等间隔原则取出8888 组，标准SQL 语法就较难实现。 因此，工业监控领域以及电厂SIS应用领域，必须寻找适合实时应用需 要的实时数据库系统 实时数据库的压缩算法 实时数据库系统的技术核心在于数据压缩。需要将数据经压缩后再存入 硬盘，当需要用数据时再解压缩硬盘上的数据。目前用于国内外实时数 据库上的压缩算法通常分为两类：无损压缩和有损压缩。 4.1 无损压缩 大多数信息的表达都存在着一定的冗余度，通过采用一定的模型和编码 方法，可以降低这种冗余度。Huffman编码是无损压缩中非常著名的算 法之一。WinRar和WinZip等软件都采用了类似Huffman编码的压缩方 式。这些压缩方法的共同特点是：压缩和解压过程中，信息不会发生变 化。 在实时数据库中，也可以采用这些无损压缩技术，但是在实现时，必须 要考虑压缩和解压缩的效率，如果某个压缩算法的压缩比非常高，但是 其解压的速度非常慢，则肯定不能用于实时数据库中，否则，人们在查 询数据时，会等待得失去耐心。 4.2 有损压缩 相对于无损压缩，有缩压缩肯定会丢失一些信息，但必须要保证这些丢 失的信息不能影响系统数据的精度。大家在其它领域中也遇到过有损压 缩的应用，比如：JPG图像压缩就是一种有损压缩，MP3声音压缩也是 一种有损压缩。 在实时数据库中，有损压缩主要有两种方法：死区压缩和趋势压缩。 实时数据库的压缩算法 实时数据库系统的技术核心在于数据压缩。需要将数据经压缩后再存入 硬盘，当需要用数据时再解压缩硬盘上的数据。目前用于国内外实时数 据库上的压缩算法通常分为两类：无损压缩和有损压缩。 4.1 无损压缩 大多数信息的表达都存在着一定的冗余度，通过采用一定的模型和编码 方法，可以降低这种冗余度。Huffman编码是无损压缩中非常著名的算 法之一。WinRar和WinZip等软件都采用了类似Huffman编码的压缩方 式。这些压缩方法的共同特点是：压缩和解压过程中，信息不会发生变 化。 在实时数据库中，也可以采用这些无损压缩技术，但是在实现时，必须 要考虑压缩和解压缩的效率，如果某个压缩算法的压缩比非常高，但是 其解压的速度非常慢，则肯定不能用于实时数据库中，否则，人们在查 询数据时，会等待得失去耐心。 4.2 有损压缩 相对于无损压缩，有缩压缩肯定会丢失一些信息，但必须要保证这些丢 失的信息不能影响系统数据的精度。大家在其它领域中也遇到过有损压 缩的应用，比如：JPG图像压缩就是一种有损压缩，MP3声音压缩也是 一种有损压缩。 在实时数据库中，有损压缩主要有两种方法：死区压缩和趋势压缩。 实时数据库的访问方式 使用实时数据库提供的API 这种方式效率最高，也最简单。 使用ODBC 大部分实时数据库提供了标准的ODBC接口，也提供了SQL查询语言， 通过这些方法，用户可以将实时数据库当作一个标准的数据库来使用。 但这种方法速度较慢，且不能体现实时数据的全部优势。 使用OPC方式（OLE for Process Control） 因为太多的数据库和DCS使用自己的API方式存取数据，无法做到算法 的通用，因为工业监控领域提出了一个标准的存取接口，这就是OPC， 如今有超过两百家产商加入到OPC组织中，声势浩大。 可供选择的实时数据库产品 目前进入国内市场比较成熟的实时数据库产品如下所列： 美国OSIsoft公司，PI； 美国Wonderware公司，IndustrialSQL Server，简称INSQL； 美国 GE,Intellution公司，iHistorian； 美国 InStep公司，eDNA； 美国HONEYWELL公司，Process History Database，简称PHD ； 美国AspenTech公司，InfoPlus； 实时库接口说明 一CTableOp类接口说明 CTableOp类的接口都是对本地实时数据库做操作，包括 打开一张表、按域取表数据、修改一张表、向表里写入数 据、按关键字删除表的数据和清空一张表。 1打开一张表：Open 注：在使用实时库的接口对某张表操作之前必须先打开这 张表 int Open(const int app_no, const int table_no,