T-31SIOT 001.5-2017 工业物联网应用开发组件规范 第5部分 实时数据存储与处理

登记号T/31337310115F0802017工业物联网应用开发组件规范第5部分：实时数据存储与处理Applicationdevelopmentcomponentcriterionofindustrialinternetofthi2017-08-20发布2017-10-15实施上海市物联网行业协会发布I 1范围 12规范性引用文件 1 14缩略语 25要求 25.1功能要求 25.2性能要求 55.3安全要求 5ⅢT/31SIOT001.5—2T/31SIOT001《工业物联网应用开发组件规范》拟分成部分出版，目前计划发布以下部分的中文版和英文版：——第1部分：模型和术语；——第2部分：系统间通信协议；——第3部分：设备接入与数据采集；——第4部分：监视与控制；——第5部分：实时数据存储与处理；——第6部分：信息管理与应用。本部分为T/31SIOT001的第5部分。本部分按照GB/T1.1—2009给出的规则起草。请注意本部分的某些内容可能涉及专利。本部分的发布机构不承担识别这些专利的责任。本部分由上海市物联网行业协会提出并归口。本部分起草单位：上海宝信软件股份有限公司、上海庆科信息技术有限公司、上海宝景信息技术发展有限公司、上海旋思科技有限公司、公安部第三研究所、上海市物联网行业协会、上海华谊信息技术有限公司、上海纳宇电气有限公司、上海挚极信息科技有限公司、上海国兴农现代农业发展股份有限公司、希姆通信息技术(上海)有限公司、励元科技(上海)有限公司。T/31SIOT001.5—2工业物联网是工业信息化发展中的一个新兴领域，也是未来智能制造的重要支撑技术，工业物联网应用开发组件是物联网技术与行业应用之间的桥梁和纽带，研究并制定《工业物联网应用开发组件规范》的目的是指导工业物联网行业在产业的协作应用，推动工业物联网市场的良性发展。《工业物联网应用开发组件规范第5部分：实时数据存储与处理》所规范或规定的实现工业物联网实时数据存储与处理的支撑开发平台技术和组件要求，为工业物联网实时数据与处理的分析、设计、开发、实施和运维过程提供具有指导价值的参考模型，以及应该遵循的原则性方法或要求。1工业物联网应用开发组件规范第5部分：实时数据存储与处理T/31SIOT001的本部分界定了一种物联网标准中实时数据存储与处理的术语和定义、符号和缩2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T11457—2006信息技术软件工程术语GA216.1—1999计算机信息系统安全产品部件第1部分：安全功能检测T/31SIOT001.1工业物联网应用开发组件规范第1部分：模型和术语3术语和定义GB/T11457—2006和T/31SIOT001.1界定的以及下列术语和定义适用于本文件。为了便于使用，以下重复列出了T/31SIOT001.1中的一些术语和定义。系统按照预先配置的规则检测到异常数据时产生的信息。为了便于管理报警点，将报警点分配至不同的报警组进行管理。用于配置报警检测规则并存储数据源数据异常时所生成的报警的数据点。数据源所有记录中除实时记录之外的其他记录。乱序数据disorderlydata不按发生时间顺序排列的数据。数据源所有记录中最近采集(时间值最大)的一条记录。T/31SIOT001.5—22按发生时间顺序排列的数据。数据采集与处理的基本逻辑单元，唯一对应实际工业设备中的一项可采集参数。用户管理权限与数据源管理权限的统称。IP地址到用户名的映射关系，信任生效后，该信任指定IP地址段内机器上的应用程序具有该信任指定用户名的所有权限。通过类似“搭积木”的简单方式完成需要的软件功能，自动执行特定的任务，而不需要编写计算机下列缩略语适用于本文件。SDK:多种语言形式的二次开发接口包(SoftwareDevelopmentKit)实时数据处理系统应包含核心数据处理服务、数据采集、开发接口、系统管理、电子表格组态展示、B/S发布。数据内核应具备下列功能：——数据存储，包括时序数据存储、乱序数据存储。——数据过滤及数据压缩。——防硬盘碎片，保证系统长期运行性能高效稳定。——关键点日志技术，保证系统断电或故障时数据无丢失。——支持多级数据缓存机制。3网络管理负责管控所有客户端与核心数据处理服务之间的数据通信，支持多路并发的方式转发大量客户端的操作请求。网络管理应支持客户端主动请求、服务端通知、服务端广播三种通信方式。授权控制应具备下列功能：——授权管理。将系统的各项操作权限授权给用户，包括用户与组管理、信任管理、数据源权限管理以及统一权限管理四部分；——身份认证。实现对连接用户的身份识别及操作权限判断，放行合法用户操作，阻断非法用户事件报警监测实时数据是否出现异常，在出现异常的情况下，产生报警记录并通知客户端。应包括以下部分：——报警组管理。以树状结构对报警点进行展示与管理，包括新增报警组、删除报警组、移动报警——报警记录的产生与通知。包括按照规则对数据进行检测，发现异常产生并存储报警，通知客——报警展示。以声音以及列表形式通知及展示报警记录。数据转储实现从实时数据处理系统向关系数据库转储数据，提供定时、定量的自动转储，并支持服务配置的动态更新。双机热备保证实时数据处理系统在单台服务器发生断电、断网、系统故障等突发情况时继续运行。日志管理实现收集及检索系统内各服务及采集器的运行日志，在一个终端即可查看分散在各处的运行日志。数据采集是实时数据处理系统与工控设备的接口层，实现从工控设备采集数据并将数据送至实时客户端缓存宜以独立进程的形式运行，为所有数据采集器提供数据缓存、断点续传、断点预压缩功能，保证采集器与服务器连接中断时数据不丢失，在连接中断时宜预先执行服务端的压缩算法，避免连接恢复时大量客户端对服务器造成的数据冲击。T/31SIOT001.5—245.1.3.2OPC协议采集器OPC协议采集器支持OPC标准协议的数据采集接口，应具备数据采集、OPC服务器连接监控、动态配置变更、动态负载均衡功能。Modbus协议采集器支持Modbus标准协议的数据采集接口，应具备数据采集、Modbus设备连接关系数据库采集器是面向通用关系数据库的采集接口，定期定量自动地完成从关系数据库到实时数据处理系统的数据转储，应具备数据采集、连接监开发接口是连接核心服务子系统与客户端应用的接口访问层，应以系统编程接口的方式提供，通过接口层使用核心数据处理服务提供的功能。开发接口宜采用以下两种类型：——API开发接口。C语言接口形式的跨平台函数库，提供所有针对服务子系统的访问接口，在所有对外接口中，功能上最为完备同时也最为高效；——SDK开发接口。面向多种开发语言的二次开发函数库，包括C++SDK、PythonSDK、系统管理实现系统运行参数配置，运行数据展示、运行日志展示，应具备下列功能：——系统管理工具。包括OPC采集器配置、关系数据库采集器配置、客户端缓存配置、关系数据库——采集器配置工具。包括采集器管理、设备管理及扫描组管理；——日志展示端。用于查看系统内各服务及采集器的运行日志。电子表格应具备下列功能：—数据管理。支持实时数据查询、历史数据原始值查询、历史数据插值查询，支持按时间区间查询和按记录数目查询两种模式；——数据源管理。支持数据源的新增、查询、修改及删除；——连接管理。支持连接多服务端，所有操作界面可随时切换连接的服务端；——数字量状态集。针对数字量类型对应状态集合的管理。组态展示应由组态Web发布、组态开发和组态运行构成。组态Web发布应具备下列功能：T/31SIOT001.5—2——在Web浏览器中浏览组态页面，进行页面间切换；——监视各种实时数值、实时报警，确认报警并进行远程控组态开发应具备下列功能：设置画面底色和网格。组态运行应具备下列功能：——组态页面间的切换、及权限控制；——监视各种实时数值、实时报警，确认报警及进行远程控制。5.1.8B/S发布B/S发布在浏览器中展示系统基本信息及运行数据，包括历史数据列表查询、历史趋势查询、实时性能要求包括：——服务器数据处理能力应不低于3000000记录/s;——应支持不低于1000个并发查询；——查询50000条实时记录不大于3s;——查询10000条历史记录不大于10s;——查询1000条年度记录不大于10s;——组态系统数据