蒂蒙技术物联网中台集成开发平台白皮书

速联万物.智控生活.业态联动.数字提升物联网中台集成开发平台【V6.0技术白皮书】【速联万物.智控生活.业态联动.数字提升】深圳市蒂蒙技术有限公司2023年07月

物联网中台概述物联网中台是物联网领域的核心枢纽，用于集成和管理物联网设备、数据和应用。它提供设备管理、数据处理、通信协议适配等功能，并具备数据安全、应用管理和智能分析能力。物联网中台的作用包括提升数据整合与共享、促进业务协同与优化、拓展创新应用、提升用户体验和保障数据安全与隐私保护。它是推动物联网产业发展和智能化应用的重要支撑。它充当物联网系统的核心枢纽，实现物联网设备和数据的互联互通，以及对物联网应用的统一管理和控制。深圳市蒂蒙技术开发的物联网数字化中台可定制化的开发平台主要完成的功能包括实现物联网能力平台、实现设备和协议的统一管控及接入；搭建行业应用的快速开发平台，实现数据监管和数据服务，开放Restful数据共享协议和实现数据ETL导入，实现统一共享的数据服务总线；利用数据预处理、数据计算规则引擎、2D/3D数字孪生可视化控制实现对简单业务逻辑、数据应用及数据简单处理逻辑的控制，达到快速的脊椎式响应和控制；利用WEB、移动端JS开发框架快速定义用户使用的门户界面，可见即可得，高效实现用户使用界面。硬件设备共性接入强大易扩展的物联网应用支撑平台：支持多种类型感知设备适配接入，兼容现有各类传输网络，提供灵活的应用服务部署和业务交互共享模式，并可根据用户需求在平台上动态添加新的设备协议及接入方式。为系统运行提供基础的前端感知、通信、网络、数据存储等硬件环境。包括网络系统、主机与存储系统、各种前端安全感知设备和数据采集终端中心配套设施。物联网数据服务集成现有的数据响应，建立统一的物联网数据中心，实现各系统之间的数据共享与服务，利用数据标签，建设主题数据库系统并根据管理业务需求，按照相关标准规范进行各系统间数据整合，为平台应用系统提供数据支撑。快速高效的逻辑控制通过实时数据库、组态工具、自动化控制建模，实现工艺控制流程的可视化，实现自动化控制及精准化控制;通过地理信息系统、大数据分析引擎，实现全局管控可视化，实现数据管控、精准决策、智控生活。可定制的物联网门户利用物联网快速开发工具，实现可定制的物联网应用门户，包括大屏幕、操作终端、LED屏、手机、PAD等，通过各种展示终端实现物联网数据的在线查看、在线操作、实时监管。产品特点开放性设备的开放接入，通过标准协议、DM101协议或适配的协议，即可完成设备及传感器的高效接入。对于非标协议，平台可通过配置模板实现接入，相关模板格式开放。数据的开放共享，数据通过Restful形式实现数据共享，可通过普通授权、证书授权或服务器IP授权实现第三方平台或应用的接入。可扩展的元数据管理机制，可在实现具体应用时，自定义元数据格式。应用的开放门户，可通过统一的JS开发框架快速实现针对屏幕、操作终端、LED屏、手机、PAD等应用。兼容性目前平台已经兼容了2017种设备的兼容，可采用标准协议、定制性协议进行，以下为兼容的清单序号协议名称适用场景支持厂家支持数量发布备注1DM101泛化交互拓源、舜通、中兴、泰豪35✓2ModbusTCP工业生产/自动化/通讯施耐德，西门子，深圳中联创新，北京阿尔泰等226✓实际应用过的支持数量3ModbusRTUOverTCP/IP工业生产/自动化/通讯施耐德，西门子，深圳中联创新，北京阿尔泰等58✓4ModbusRTU工业生产/自动化/通讯施耐德、拓源、舜通、中兴106✓5ModbusASCII工业生产/自动化/通讯施耐德、拓源、舜通、中兴32✓6DLT645-2007电表通信北京泰豪，青鸟通讯，南京苏源，深圳勇威，成都同飞等435✓07规约7DLT645-1997电表通信北京泰豪，华力仪表，广大远通等267✓97规约8IEC6870-5系列电力通信中兴，腾达，趋势，盛勇达等106✓9IEC6870-5系统电力通信中兴，腾达，趋势，盛勇达等32✓10IEC6870-101电力通信中兴，腾达，趋势，盛勇达等6✓11IEC6870-102电力通信中兴，腾达，趋势，盛勇达等26✓12IEC6870-103电力通信中兴，腾达，趋势，盛勇达等32✓13IEC6870-104电力通信中兴，腾达，趋势，盛勇达等154✓14GDW376.1-2009电力规约电力监测北京泰豪，青鸟通讯，南京苏源，深圳勇威，成都同飞等32✓15GDW376.1-2013电力规约电力监测北京泰豪，华力仪表，广大远通等95✓16水文监测数据通信规约SL651-2014水利监测广州博控，武汉雨正，朋利驰等16✓17MQTT协议智能型设备上海桑锐、中兴等20✓18COAP协议智能型设备上海桑锐、中兴等15✓19Http协议智能型设备上海桑锐、中兴等15✓20HJT212协议环保协议中兴仪器、聚光科技、宇星科技、西安长天等56✓21OPC-DA1.0工况协议西门子，施耐德，ABB、AB等10✓22OPC-DA2.0工况协议西门子，施耐德，ABB、AB等58✓23OPC-DA23.0工况协议西门子，施耐德，ABB、AB等58✓1西门子PPI协议西门子西门子1✓2S200S300系列PLC协议西门子西门子1✓3国标中心站GuoBiaoCenter项目定制无1✓4门禁上位机软件--PCsoftware项目定制无1✓5门禁主板--board项目定制无1✓6单烟尘系统SmokeSystem项目定制无1✓7CEMS系统CEMSSystem项目定制无1✓8广州南沙GuangZ_NanS广州南沙广州南沙1✓9佳木斯水务局JMSWaterCenter项目定制无1✓10河北利达科信HB_lidakexin河北利达科信河北利达科信1✓11SHW-视频累加SHW-2401项目定制无1✓12南山环保NanshanHB项目定制无1✓13天唯环保TianweiHB项目定制无1✓14广州力合中心站GZLHCenter项目定制无1✓15无锡大禹中心站WXDYCenter项目定制无1✓16威科姆视频叠加WKMVidio项目定制无1✓17宜兴采集留样器YiXinCYQ项目定制无1✓18哈尔滨老平台Ha'erbing项目定制无1✓19九波流量计JiuBo_FM项目定制无1✓20宇星CODcrYuXing_CODcr宇星宇星1✓21宇星CODcr-IIYuXing_CODcr-II宇星宇星1✓22宇星NH4YuXing_NH4宇星宇星1✓23宇星NH4-IIYuXing_NH4-II宇星宇星1✓24宇星流量计YuXing_FM宇星宇星1✓25宇星PH计YuXing_PH宇星宇星1✓26模拟量转串口板Ana2ScomInput项目定制无1✓27宇星CEMSYuXing_CEMS宇星宇星1✓28牡丹CEMSMuDan_CEMS项目定制无1✓29蓝盾空气站LanDun_AIR蓝盾蓝盾1✓30岛津CEMSDaoJin_CEMS项目定制无1✓31岛津CEMS镇江DJ_CEMS_ZJ项目定制无1✓32蓝盾CEMS青岛LanDun_CEMS_QD蓝盾蓝盾1✓33淄博饮水平台ZiBo_Water项目定制无1✓34DW智能电表.DW_MODBUS项目定制无1✓35C2000_MODBUSC2000_MODBUS项目定制无1✓36MODBUS现场仪器MODBUSSlaver项目定制无1✓37先河自研CODXianHeCOD先河先河1✓38西门子PPI协议SIEMENSPPI西门子西门子1✓39哈希设备HXSystem哈希哈希1✓40MODBUS_TCPMODBUS_TCP项目定制无1✓41贵阳MODBUSGuiyanModbus项目定制无1✓42LMAG流量计LMAG_FM项目定制无1✓43中绿CEMSZhongLv_CEMS项目定制无1✓44岛津总磷DaoJinTP项目定制无1✓45上海肯特流量计ShangHaiKT_FM上海肯特上海肯特1✓46MODBUS中心主机MODBUSMaster项目定制无1✓47金立流量仪表JinLi_FM金立金立1✓48锐泉CODRuiQuan_COD锐泉锐泉1✓49雷磁氨氮HuiCi_NH4雷磁雷磁1✓50盘古流量计PanGu_FM盘古盘古1✓51西克麦哈克烟气XikeYanqi西克麦哈克西克麦哈克1✓52岛津TOC-4100CNDaoJ_4100CN岛津岛津1✓53爱华噪声仪AWA_noise爱华爱华1✓54京口污水处理厂JingK_B01项目定制无1✓55H_ADCP流量计H_ADCP_FMH_ADCPH_ADCP1✓56镇江石城适配器Zhen_Jiang镇江石城镇江石城1✓57海阳环境流量计HYHJ_FM项目定制无1✓58宇星氧气分析仪0xygen_And宇星宇星1✓59镇江烟气ZhenJ_CEMS项目定制无1✓60镇江宏顺热电ZhenJ_HS项目定制无1✓61科隆流量计KROHNE_FM项目定制无1✓62内蒙平台NeiMengPingTai项目定制无1✓63内蒙设备NeiMengSheBei项目定制无1✓64青岛环科数采QDHuanKeShuCai项目定制无1✓65FV2000流量计FV2000_FMOmegaOmega1✓66宇星温压流YuXing_TPV宇星宇星1✓67福州大禹水位计FZDY_SWJ福州大禹福州大禹1✓68温室环境TempControl项目定制无1✓69西克麦哈克XKMHK项目定制无1✓70新疆化肥厂氨氮NH4项目定制无1✓71杭州cod监测HZcod项目定制无1✓72湖北标旗HBBQ项目定制无1✓73南京华彭烟气NJHB_CEMS项目定制无1✓74华电CEMSHUADIAN_CEMS华电华电1✓75小桥流水CODCOD_XQLS小桥流水小桥流水1✓76太仓创造PH计zjkphj太仓太仓1✓77太仓创造流量计TC_FM//lizhonghuatest太仓太仓1✓78南海流量计SQL150liuliang南海南海1✓79美国爱默生AmericanAISN美国爱默生美国爱默生1✓80MBmag流量计MBmag_FMMBmagMBmag1✓81恒大CODHD_COD恒大恒大1✓82大连长风流量计DLCF_FM大连长风大连长风1✓83先河CODXianHe_COD先河先河1✓84兰州连华CODLZLH_COD项目定制无1✓85河北环保HeiBeiHB项目定制无1✓86怡文CODYiWenCOD项目定制无1✓87北京环科流量计BjHuanKe_FM项目定制无1✓88北京环科CODBjHuanKe_COD项目定制无1✓89HoribaCODHoribaCODHoribaHoriba1✓90TresCon氨氮TresConNH4TresConTresCon1✓91怡文流量计YW_FM怡文怡文1✓92太仓流量计TC_FM太仓太仓1✓93德国拉尔CODLE_COD德国拉尔德国拉尔1✓94uMAC总铜uMACTC项目定制无1✓95崂山电子水质LSshuizhi项目定制无1✓96兰申L-mag流量计lanshenL-magFM兰申兰申1✓97华时捷485HSJ_485华时捷华时捷1✓98怡文氨氮YiWenNH3-N怡文怡文1✓99宜兴流量计YiXinFM项目定制无1✓100PPM氨氮PPMNH3-N项目定制无1✓101无锡大禹新烟气WXDaYuyanqi项目定制无1✓102河北亚太Hebei_Yatai项目定制无1✓103攀钢汇通Pangang_Huitong项目定制无1✓104无锡方天CEMSWXFanTianCEMS项目定制无1✓105德莱CODDeLaiCOD德莱德莱1✓106河北亚太设备HebeiYT河北亚太河北亚太1✓107博取PHBQ_PH博取博取1✓108重庆水文流量计ChongqingFM重庆水文重庆水文1✓109青岛佳明CODQDJM_COD项目定制无1✓110四川烟气Sichuan_Yanqi项目定制无1✓111哈希DS5XHX_DS5X项目定制无1✓112PH485协议PH_485项目定制无1✓113亿立能YLN亿立能亿立能1✓114无锡求信流量计WXQX_FM无锡求信无锡求信1✓115瑞士万通设备RSWT瑞士万通瑞士万通1✓116天泽环保CODTZHB_COD天泽环保天泽环保1✓117宇星新流量计YuXing_New_FM宇星宇星1✓118岛津TOC-4100EN.DJ_TOC4100EN岛津岛津1✓119绿叶环保LvYeHB项目定制无1✓120力合水质设备LiHe_water力合力合1✓121安徽蓝盾AN'HUILD蓝盾蓝盾1✓122牡丹联友MUDAN-LY项目定制无1✓123浮子水位计HZ_shuiweiji项目定制无1✓124积算仪ModbusJiSY_Modbus项目定制无1✓125东丽TOCDongLi_TOC东丽东丽1✓126江西环保字幕JXHB_ZM项目定制无1✓127科泽镍离子KeZe_NI水质分析科泽1✓合计2017共享性ETL，Extraction-Transformation-Loading，即负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。平台具备元数据管理能力，元数据格式可共享在不同实体间共享，从而为数据交换提供便利。高效性系统采用时序数据库、传统关系型数据库、NoSQL型数据库和图数据库相结合的方式，核心服务可弹性升缩并利用分布式运算提高算力。采用Kafka消息队列系统，使得用户的操作响应时间更短，数据反应更加高效。数据响应100ms-500ms，一般操作响应小于1秒；复杂查询响应小于3秒；分析评估报告生成小于5秒，特殊操作可适当延长。

系统总体框架图1-3系统总体框架物联网中台依托物联网基础框架，融合应用物联网、大数据、移动互联、BIM/GIS等现代信息技术，透彻感知物联网应用数据，智能管理安全风险及时感知、早期预测预警和高效处置应对的建设目的。平台基于多层构架，完全采用模块化设计，按照基础支撑、数据交换与共享、数据库系统、应用系统和展示终端的总体框架进行构建，包括了基础物联网、网络传输、数据交换、平台PAAS服务，基于接入本平台的环保设备、消防报警设备、视频监控设备、安防子系统等获取信息，通过网络系统实现信息的传输，汇集集团本部现有各系统共享的数据，开发、综合应用系统，并通过多种展示终端实现智能化数据综合监管。1、基础支撑（基础物联网、网络传输层）：为系统运行提供基础的前端感知、通信、网络、数据存储等硬件环境。包括网络系统、主机与存储系统、各种前端安全感知设备和数据采集终端及中心配套设施。2、数据交换与共享（数据交换总线）：集成现有的系统，并与安全综合监管平台进行整合；建立视频监控管理子平台，集成本项目承建的本部视频监控系统和现有的视频监控系统，并与安全综合监管平台进行整合；实现智能管理系统，采集相关数据，实现各系统之间的数据共享与服务。3、数据库系统（数据层、业务数据库）：建设平台数据库系统并根据安全管理业务需求，按照相关标准规范进行各系统间数据整合，为平台应用系统提供数据支撑。4、应用系统：包括综合业务管理、风险隐患监测监控管理、综合门户三个综合应用系统。5、展示终端：包括大屏幕、操作终端、LED屏、手机、PAD等，通过各种展示终端实现集团本部安全运行状态的在线查看、在线操作、实时监管。数据采集层数据采集设备分为非智能终端和智能终端。它们支持NB_IOT、GPRS、ZIGBEE、LORA等多种通讯方式。非智能终端没有运算能力或运算能力较差或者是传感器设备，用于传输单纯的数字量、采集量数据，如温度传感器、湿度传感器;智能终端可作为一个网关，它实现了网关的连接器、协议转换器两大功能，可连接多个传感器，且能解析特定的协议，将数据上报给系统。数据交换总线在实际的系统中，具有两种类型的互联网设备，一种是运算能力差、网络带宽受限的设备（简称弱设备）；另一种反之，通常作为一个网关，连接多个传感器或弱设备（简称数采仪）。为了使协议可以同时适用于两种设备，设计出DM101协议，可以同时支持TCP及UDP，为了减少加密开销，在密封网络安全性可以保证的情况下，可以以不加密方式传输。在系统中DM101协议用以支撑设备数据上报。RESTful是一种架构的规范与约束、原则，符合这种规范的架构就是RESTful架构。目前REST本身受Web技术的影响很深，我们在RESTful风格上基于https协议设计了一套数据共享的格式定义，用于快速访问需要的数据。系统通过DM101向内、REST向外的方式，达到数据交换总线。PASS服务层系统功能如下：物联网数字化集成开发平台主要提供系统配置、账号及权限管理、设备管理及协议配置、业务配置、自动控制及数据处理、服务监测及配置、设备监测及管理、数据监测及管理、系统日志及审计、数据授权及管理等功能。有了这个PASS平台的支撑，可提供各种分发应用的解决方案。SAAS服务层目前，系统已应用在城市物联、环保、园区管理、能源管理、安全生产、未来社区等领域。产品组件及服务系统结构图图2-1系统结构图（灰色部分不包含在物联网基础平台中）物联网数字化集成开发平台，可适配不同传感器、物联网设备、不同协议类型，利用快速接入协议极速接入，采用标签模版适配不同行业需求，达到随需而变，快速接入的目的；并通过实时数据库、组态工具、自动化控制建模，实现工艺控制流程的可视化，实现自动化控制及精准化控制;通过BIM/GIS地理信息系统、大数据分析引擎，实现全局管控可视化，达到数据管控、精准决策、智控生活。

系统核心组件 图2-3-1系统核心组件图中红框部分为平台的核心组件，主要包括：规则引擎、事件引擎、API网关、接入模板配置引擎、元数据管理引擎以及大屏支撑引擎。均以容器化方式部署。设备接入引擎设备接入引擎用于通过模板配置的方式，对不同协议的设备进行设备接入，达到采集数据、控制设备的能力。设备接入模板配置引擎可适应绪如TCP、UDP的网络协议，也可以适配基于此之上的标准协议，如modbus-tcp、mqtt、http等和非标协议。除了可以接入设备，也可以接入第三方的集成平台。平台通过实际的应用，已积累了大量可适配的协议。对于尚未适配的协议，平台提供模板可视化开发工具，可方便地进行模板开发。计算控制引擎支持类C语言的实时计算引擎：引擎支持类似于C语言的语法和运算符，以便用户可以编写高效且功能强大的规则。支持整数、浮点数、布尔值等基本数据类型，并允许用户自定义结构体或类。提供逻辑运算、算术运算、位运算等常见的计算操作。支持JavaScriptES5完整语法实现的实时计算、实时控制、历史计算及流程控制：引擎完整支持JavaScriptES5语法，允许用户编写灵活和高级的规则。支持条件语句（if-else）、循环语句（for、while）、函数定义等，以实现实时计算和流程控制逻辑。用户能够通过历史数据的关联计算来实现更复杂的规则逻辑。规则用于产生各类事件，通过对接收到的数据进行实时流计算、历史关联计算后，如满足触发条件，则产生相应的事件、控制事件；包括消息通知、设备反控制、流程执行行等：引擎允许用户定义规则，规则可以基于实时数据流进行计算，也可以通过历史数据进行关联计算。用户能够设置触发条件，当规则计算结果满足条件时，产生相应的事件。支持消息通知功能，可以通过消息通知触发外部系统或用户进行相应的处理。支持设备反控制功能，允许用户通过规则控制外部设备的状态。支持流程执行行为，可以在满足条件时执行特定的业务流程或操作。实时计算和实时控制：引擎能够在接收到数据时立即进行实时计算，并根据规则要求执行相应的实时控制操作。支持高性能计算，以确保实时计算和控制的低延迟和高可靠性。历史计算和历史关联计算：引擎支持对历史数据的查询和计算，以便用户可以基于历史数据进行复杂的规则推断和关联计算。支持时间窗口和滑动窗口等机制，用于对历史数据进行切片和分析。可扩展性：引擎具备良好的可扩展性，允许用户根据业务需求自定义新的函数、操作符或模块，并方便地集成到规则中。可视化编辑界面：可以考虑为引擎提供可视化的规则编辑界面，使非开发人员也能方便地创建和管理规则。安全性：引擎具备安全机制，防止恶意规则或错误规则的影响，确保系统的稳定和安全。事件引擎事件监听和触发：引擎能够监听各类事件源，包括传感器数据、用户行为、外部系统的消息等。当事件源发生特定事件时，引擎能即时触发相应的事件处理逻辑。事件过滤和处理：引擎支持根据预定义规则或用户自定义规则对事件进行过滤和分类。可对事件进行实时计算和处理，生成新的事件或执行相应的操作。事件路由和分发：引擎能根据事件的类型和属性进行智能路由和分发，将事件传递给对应的处理模块或目标系统。支持多种分发方式，如点对点传递、广播、发布-订阅模式等。实时数据流处理：引擎支持处理实时数据流，能按时间窗口或其他策略对数据进行流式计算和分析。允许用户实时查询和分析数据流，以便实时做出决策或触发相应的事件。历史事件管理：引擎支持对历史事件的存储和查询，以便用户回溯事件发生的历史记录。允许用户按时间范围、事件类型等条件查询历史事件数据。事件转换和适配：引擎能处理不同格式和协议的事件数据，支持事件数据的转换和适配，以便与不同系统进行集成和交互。可视化监控和管理界面：可以考虑为事件引擎提供可视化的监控和管理界面，方便用户查看系统状态、事件流程和统计信息。高性能和可靠性：引擎具备高性能和低延迟的特性，以确保在大规模事件处理场景下能稳定运行。需具备高可靠性，能应对异常情况和故障，并具备自动恢复和重试机制。API网关API网关是一个中心化的入口，连接客户端和后端微服务的枢纽。它集成所有微服务的API，提供统一的入口点，让客户端通过单一URL访问不同服务和资源。API网关通过协议适配，将客户端请求转换为后端支持的通信协议和数据格式，简化客户端交互。网关还能对请求进行流量管理，包括限流、配额和超载保护，确保后端微服务稳定运行。它支持API路由和转发，负载均衡和容错，提高系统性能和可靠性。访问控制和认证功能可限制API访问权限，支持用户认证和授权。网关可以缓存请求，减少重复访问后端服务，提高响应速度。监控功能记录请求日志，实时监控API调用情况和性能，快速发现异常。灰度发布和A/B测试功能帮助安全测试新功能和不同API版本的效果。安全机制保护免受恶意请求和攻击。综上，API网关简化了客户端与后端微服务的交互，确保系统稳定和可用。统一接入：API网关作为一个中心化的入口，充当了客户端和后端微服务之间的交互枢纽。它集成了所有微服务的API，并提供一个统一的入口点，使得客户端可以通过单一的URL来访问不同的服务和资源。这样，客户端不需要直接访问各个微服务，而是通过API网关来进行接入。协议适配：不同的客户端可能使用不同的通信协议和数据格式进行通信。API网关可以根据客户端的请求，将其转换为后端微服务所支持的通信协议和数据格式。这种协议适配功能使得客户端可以使用自己熟悉的方式与API网关交互，而不用考虑后端微服务的实际实现细节。流量管理：API网关能够对传入的请求进行流量管理，确保后端微服务不会被过多请求压垮。流量管理可以包含以下子功能：请求限流：API网关可以设置每个API接口或每个客户端的请求速率限制，防止过多请求导致服务不可用或性能下降。请求配额：API网关可以设置每个客户端的请求配额，限制其在一定时间内能够发送的请求总数。超载保护：当后端微服务负载过高或出现故障时，API网关可以对请求进行排队或者返回适当的错误响应，从而保护后端服务免受过多请求的影响。负载均衡：API网关可以对后端微服务进行负载均衡，将请求分发到多个实例，提高系统的可用性和性能。灰度发布：API网关支持灰度发布，允许部分用户访问新版本API，以便测试新功能和收集用户反馈。API路由和转发：网关能够根据API的URL路径和HTTP方法将请求路由到对应的微服务。支持请求的转发和代理，将客户端请求转发到后端的微服务进行处理。API版本控制：网关支持对不同版本的API进行管理和控制，以便支持旧版API的兼容和平滑升级。请求和响应转换：网关可以进行请求和响应的转换，将不同格式（如JSON、XML）的请求和响应进行转换和适配，以满足不同客户端的需求。访问控制和认证：网关具备访问控制和认证功能，可以限制访问特定API的权限。支持用户认证和授权，确保只有经过身份验证的用户能够访问受限资源。请求限流和速率限制：网关可以对API请求进行限流和速率限制，防止恶意请求或过载情况对后端服务造成影响。负载均衡和容错：网关支持对后端微服务进行负载均衡，将请求分发到多个实例，提高系统的可用性和性能。具备容错机制，当后端服务不可用时，能够自动切换到备用实例或返回适当的错误响应。缓存和数据预取：网关可以对常用的API请求进行缓存，减少对后端服务的重复请求，提高系统响应速度。支持数据预取，提前获取可能需要的数据，减少客户端请求次数和等待时间。日志和监控：网关能够记录API请求和响应的日志，便于系统故障排查和性能优化。具备监控功能，能够实时监控API的调用情况和性能指标，及时发现异常和瓶颈。灰度发布和A/B测试：网关支持灰度发布，允许部分用户访问新版本API，以便测试新功能和收集用户反馈。支持A/B测试，将部分请求随机分发到不同的API版本，比较不同版本的效果。API文档和在线测试：网关可以生成API文档，方便开发者查阅API的使用说明和参数。提供在线测试工具，允许开发者在不依赖客户端的情况下测试API调用和响应。数据层及治理组件 图2-4-1数据组件图中红框部分为平台的数据组件，主要包括：设备接入层、数据存储层、数据分析提取层。数据存储层数据库物联网系统的数据涉及的类型有多种，包括：关系型数据、文档型数据、对象数据、空间数据以及时序数据。针对不同的数据类型，系统采用不同的系统进行存储。关系型数据库选型关系型数据是以关系数学模型来表示的数据，关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。关系型数据库是目前技术水平最为成熟的数据库，本系统使用PostgreSQL存储关系型数据。空间数据库选型由于空间数据具有空间位置、非结构化、空间关系、分类编码、海量数据等特征，一般的商用数据库管理系统难以满足要求。“关系型数据库+空间数据引擎”通常是由GIS厂商研发的一种中间件解决方案。用户将自己的空间数据交给独立于数据库之外的空间数据引擎，有空间数据引擎来组织空间数据在关系型数据库中的存储;当用户需要访问数据的时候，再通知空间数据引擎，有引擎从关系型数据库中取出数据，并转化为客户可以使用的方式。PostGIS是对象关系型数据库系统PostgreSQL的一个扩展，PostGIS提供如下空间信息服务功能:空间对象、空间索引、空间操作函数和空间操作符。同时，PostGIS遵循OpenGIS的规范。本系统使用PostGis存储空间数据时序数据库选型时序数据库是一种专门用于存储和查询时间序列数据的数据库系统。在选择时序数据库时，需要考虑以下几个关键因素：数据量和数据频率：时序数据通常以时间为索引，数据量可能会非常庞大，而且数据频率可能很高。因此，选择时序数据库时要确保其能够处理大规模的数据，并且具备高吞吐量和低延迟的能力。数据结构：时序数据通常具有固定的时间戳和测量值。选择时序数据库时，需要确保它能够有效地存储和处理这种结构化的数据，并且支持高效的时间序列索引和查询。数据写入和读取性能：时序数据通常以时间顺序写入，而查询通常会根据时间范围或时间戳进行。因此，时序数据库的写入和读取性能是至关重要的。要选择具备高效的写入和读取性能的时序数据库。数据压缩和存储优化：时序数据的特点是随着时间的推移而增长，因此数据的压缩和存储优化非常重要。选择时序数据库时要考虑其支持的压缩算法和存储优化策略。数据保留策略：时序数据通常需要根据一定的保留策略进行数据清理和归档。选择时序数据库时要确保它能够满足业务需求的数据保留策略。数据一致性和可靠性：时序数据往往对数据的一致性和可靠性要求较高。选择时序数据库时要确保它能够提供数据的强一致性和高可靠性。数据安全性：时序数据可能涉及到敏感信息，选择时序数据库时要考虑其提供的数据安全机制，如访问控制、数据加密等。支持的查询语言和API：选择时序数据库时要考虑其是否支持常用的查询语言和API，以便开发人员能够方便地进行数据查询和分析。物联网所采集的大部分数据，都属于时序数据。本系统采用TDengineDB存储时序数据。文档数据库选型物联网系统中，一些未经过处理的原始数据，通常是非结构化的。这类数据具有数据量大，但格式不统一的特点。并且通常还会需要再次读出来进行结构化处理，因此这类数据写入后通常不需要修改。本系统采用MongoDB存储文档型数据。对象存储系统选型物联网相关的数据中，绪如图片、视频、音频、设备固件等类型的数据，属于对象数据。由于对象数据的大小差异很大，使用传统的关系数据库存储此类数据，会极大的影响数据库写入和查询的性能，因此需要专门的系统来存储对象，而仅在关系数据库中存储对象的元数据。本系统采用Minio作为私有化部署对象存储系统。对于云平台，系统提供第三方OSS服务接口。数据总线数据收集与传输：支持收集来自不同微服务的数据，包括数据库、消息队列、日志等。提供多种通信协议，如HTTP、gRPC、消息队列协议等，以便进行高效的数据传输。数据转换与适配：能够进行数据格式的转换和适配，将不同微服务产生的数据格式转换成目标微服务所需的格式。支持数据字段映射和数据清洗，确保数据的一致性和准确性。数据路由与分发：根据预定义规则或用户自定义规则对数据进行路由和分发，确保数据传递到正确的目标微服务。支持多种分发方式，如点对点传递、广播、发布-订阅模式等。实时数据传输：确保在数据产生后立即传输数据，保持数据的实时性和可靠性。支持高性能计算和传输，以确保实时数据的低延迟和高吞吐量。批量数据传输：支持批量数据传输，允许将大量数据进行批量传输，减少传输次数和网络负载。数据安全：具备数据传输过程中的数据加密，确保数据的安全性和隐私性。支持访问控制和身份认证，防止未经授权的访问和数据泄露。数据监控与日志：记录数据传输的日志，便于故障排查和性能优化。具备监控功能，实时监控数据传输情况，及时发现异常和瓶颈。数据质量管理：支持数据质量检测，确保传输的数据质量。提供数据质量报告和数据质量修复功能，帮助保障数据的准确性和完整性。数据备份与恢复：支持数据备份，确保数据的安全性和可靠性。提供数据恢复功能，在发生故障时可以快速恢复数据。服务注册与发现：集成服务注册与发现机制，确保数据总线能够动态感知和适配微服务的变化，保持数据传输的稳定性。数据安全系统针对不同的数据量要求，提供可伸缩的双机热备、主从模式、读写分离的部署方案。对于海量数据要求，平台可针对具体的业务需求，定制相应的数据水平或垂直分割方案。系统还提供定期备份、异地备份功能。对于超过保存期限的数据，提供自动转存、归档、压缩和清理功能。数据处理层数据收集与获取：负责从不同数据源获取数据，包括数据库、文件系统、传感器、日志、消息队列等。支持实时数据采集和批量数据导入，以满足不同场景的数据获取需求。数据清洗与预处理：对原始数据进行清洗和处理，去除重复、缺失或错误的数据，确保数据的质量和准确性。进行数据预处理，如数据归一化、特征提取等，为后续的数据分析和建模做准备。数据存储与管理：将处理后的数据存储到合适的数据存储介质中，如数据库、数据仓库、分布式文件系统等。提供数据管理功能，包括数据备份、恢复、迁移等，确保数据的安全性和可靠性。数据分析与挖掘：进行数据分析和挖掘，通过统计、机器学习、人工智能等技术提取有价值的信息和模式。支持数据可视化，以便更直观地展示分析结果和洞察数据关联性。实时数据处理与流处理：支持实时数据处理，能够及时响应并处理传入的实时数据，如实时计算、实时过滤等。提供流处理功能，对实时数据流进行处理和分析，以满足高吞吐量和低延迟的需求。批量数据处理与批处理：支持批量数据处理，能够对大量数据进行批量计算、转换和分析。提供批处理功能，对定期或周期性产生的数据进行处理，如每日报表生成、数据导出等。数据集成与交换：负责数据之间的集成和交换，将数据从一个系统传递到另一个系统，实现数据的共享和流通。支持数据格式转换、数据映射和数据路由，确保数据能够准确传递到目标系统。数据安全与隐私保护：提供数据安全功能，确保数据在传输和存储过程中的安全性，防止数据泄露和非法访问。支持数据隐私保护，对敏感数据进行脱敏和加密，保护用户隐私。数据监控与性能优化：提供数据处理过程的监控和性能优化，及时发现和解决数据处理过程中的问题和瓶颈。支持实时监控和日志记录，便于故障排查和系统性能优化。可扩展性与弹性伸缩：具备良好的可扩展性，能够适应数据量和数据处理需求的增长。支持弹性伸缩，根据负载情况动态调整资源以满足高并发和高吞吐量的要求。元数据管理元数据管理是对数据和资源的元数据进行收集、存储、维护和管理的过程。元数据包含了关于数据和资源的属性、结构、关系和意义等信息，有助于数据的理解、发现、共享和管理。其功能包括元数据的收集、存储、维护、关联和搜索，支持元数据共享、版本控制和导入导出，实现数据血缘分析，以确保数据的准确性、可靠性和价值。元数据管理是数据资产管理的关键环节，为数据驱动的决策和业务发展提供有力支持。元数据收集：支持从多种数据源和资源中收集元数据，包括数据库、文件系统、数据仓库、数据湖、应用程序等。提供多种采集方式，如自动化抽取、手动输入、数据扫描等，以适应不同数据来源的获取需求。元数据存储与索引：提供元数据存储库，用于持久化存储收集到的元数据。支持元数据的索引和搜索功能，以便用户能够快速查找和访问所需的元数据信息。元数据维护与更新：允许对元数据进行维护和更新，包括新增、修改、删除等操作。提供元数据版本管理功能，记录元数据的变更历史，方便回滚和审计。元数据查询与检索：提供灵活的查询和检索功能，支持按关键词、属性、标签等条件进行元数据搜索。支持高级查询，如模糊查询、范围查询等，以满足不同的查询需求。元数据关联与血缘分析：支持对不同数据和资源之间的元数据进行关联，建立数据之间的关系链。提供血缘分析功能，追踪数据的来源和去向，帮助用户了解数据的流转和使用过程。元数据共享与交换：允许元数据的共享和交换，使得不同团队或系统可以共享元数据，提高数据协作和整合的效率。支持元数据的导入和导出，方便在不同系统之间进行元数据的交换。元数据权限管理：提供细粒度的元数据权限管理，确保只有授权用户能够访问和修改元数据。支持角色-based的权限控制，以保护数据的安全性和隐私。元数据可视化：提供可视化界面，以图形化的方式展示元数据信息，方便用户直观地查看和分析元数据。支持数据图谱、关系图等可视化展示，帮助用户更好地理解数据资产。元数据质量管理：监控元数据的质量，包括数据准确性、完整性、一致性等方面。提供质量评估和修复功能，帮助用户及时发现并解决元数据质量问题。元数据文档化与标准化：支持为元数据添加文档、注释和标签，以提供更详细的数据描述和解释。提供元数据标准化功能，确保元数据的命名和定义符合统一的规范。元数据血统分析：提供元数据血统分析功能，可以追溯数据的历史变化和传递过程。帮助用户了解数据的来源、演化和传递路径，为数据治理和合规性提供支持。元数据与业务规则关联：允许将元数据与业务规则进行关联，帮助用户理解数据与业务之间的关系。支持在业务规则变更时，自动更新与之关联的元数据信息。数据清洗本系统采用数据预处理引擎，对原始的数据进行清洗。系统可配置数据清先策略。数据预处理引擎，支持对数据处理的批量处置，包括对数据范围中的规则表达式的描述，支持对规则表达式的解析、处理，并通过通知服务通知到对应的用户群组或用户。数据清洗是数据处理层中的重要功能，它指的是对原始数据进行处理和筛选，去除其中的错误、重复、不一致或无效数据，以提高数据质量和准确性。以下是数据清洗的详细功能描述：错误数据识别与处理：数据清洗功能首先会对数据进行分析，识别出可能存在的错误数据，如数据格式错误、异常值等。对于发现的错误数据，数据清洗会根据预定义的规则或算法进行处理，可以进行纠错、填充默认值或标记为无效数据。缺失数据处理：数据清洗能够检测数据中的缺失值，并根据策略进行处理。处理缺失数据的方法包括删除包含缺失值的记录、填充缺失值（如使用均值、中位数等），或进行插值操作。重复数据检测与去重：数据清洗可以检测数据中的重复记录，并进行去重处理。根据定义的唯一性标识，数据清洗可以保留第一次出现的重复记录或者保留最新的重复记录，去除其他重复项。数据格式转换与统一：数据清洗可以将数据转换为统一的格式，便于后续数据处理和分析。对于不同的数据源，数据清洗可以进行数据格式的转换，例如日期格式的统一、数值单位的转换等。数据一致性处理：数据清洗能够发现数据中的不一致性，例如大小写不统一、单位不统一等。对于数据的一致性问题，数据清洗可以进行规范化处理，使得数据在整个系统中保持一致性。异常数据检测与处理：数据清洗可以检测异常值和离群点，这些数据可能会影响后续的数据分析结果。对于异常数据，数据清洗可以进行处理，如剔除异常值或使用合适的方法进行修正。数据重编码与映射：数据清洗可以对数据进行重编码，将原始数据转换为更易于理解和处理的形式。数据重编码可以通过映射表或字典进行，将原始数据映射为新的编码值。数据去噪和平滑：数据清洗可以进行去噪处理，去除数据中的噪声，使得数据更加干净和可靠。数据平滑可以对数据进行平滑处理，减少数据中的波动和噪声，得到更加平稳的数据。数据规范化：数据清洗可以对数据进行规范化处理，使得数据符合一定的标准和规则。规范化可以包括单位换算、数据标准化、地址标准化等。数据转换和聚合：数据清洗可以进行数据转换和聚合，将原始数据转换为可用于分析的形式。转换和聚合可以根据业务需求进行，如将原始数据转换为时间序列数据、汇总数据等。数据清洗日志记录与追溯：数据清洗功能通常会记录数据清洗的操作过程和结果，便于后续的数据追溯和审计。清洗日志可以包含清洗前后数据的对比和清洗操作的时间戳。数据流计算本系统具备强大的流计算能力，支持在线配置数据源和数据目标组件，并实时编辑流计算策略。流计算提供总结聚合、滑动时间窗口计算和文本搜索过滤等功能。总结聚合能够统计和汇总连续产生的数据流，滑动时间窗口计算允许实时分析数据，在时间窗口内动态计算，文本搜索过滤则快速筛选关键数据。数据流计算具有低延迟、高吞吐量和实时性，可快速响应大规模实时数据处理需求，帮助用户从数据流中提取有价值信息。数据流接收与处理：数据流计算首先负责接收实时产生的数据流，可以从各种数据源获取数据，如传感器、日志、消息队列等。接收到数据流后，数据流计算对数据进行实时处理，可以进行过滤、聚合、转换等操作，以便后续的分析和决策。窗口化处理：数据流计算支持时间窗口和滑动窗口等机制，将数据流按照时间或数量进行切分和分析。窗口化处理可以对数据流进行分段处理，便于实时计算和统计，也可以应用于实时数据分析和预测。实时计算与模式匹配：数据流计算可以进行实时计算和模式匹配，通过定义规则和模式，对数据流进行实时检测和分析。实时计算和模式匹配可以用于异常检测、事件触发和实时监控等场景。数据流分析与挖掘：数据流计算能够应用数据挖掘和机器学习技术，对数据流进行实时分析和挖掘，挖掘其中的有价值信息和模式。数据流分析可以用于实时预测、趋势分析和实时决策支持。数据流输出与传递：数据流计算可以将实时处理后的数据输出到不同的目标，如数据库、消息队列、数据仓库等。通过数据流输出和传递，数据流计算可以与其他系统或服务进行集成，实现实时数据交换和共享。事件驱动和触发：数据流计算支持事件驱动和触发，当满足特定条件或规则时，可以触发相应的事件和动作。事件驱动和触发可以用于实现实时报警、自动化控制和业务流程触发。数据流监控与性能优化：数据流计算能够监控数据流处理的性能和状态，及时发现异常和瓶颈。通过监控和性能优化，数据流计算可以提高实时处理的效率和稳定性。容错与高可用：数据流计算具备容错机制，当发生故障或错误时，能够自动恢复并保持数据流的连续性。通过高可用的设计，数据流计算可以保证系统的稳定性和可用性。数据聚合数据聚合是数据处理层中重要的功能，将多个数据项合并为单个数据项，以便进行统计、分析和计算。系统具备联机和脱机数据聚合能力，能够实时处理数据流并在批量数据处理中高效地进行聚合。用户可以选择不同的聚合函数和分组方式，对数据进行多维度的汇总和统计。通过优化的算法和策略，系统能够处理大规模数据并输出准确的聚合结果，为后续数据分析和决策提供有价值的信息。数据项选择：数据聚合首先从数据源中选择需要进行聚合的数据项，可以是数据库表、数据集合或数据流中的字段。用户可以指定聚合的条件和范围，例如选择特定时间段内的数据或特定类别的数据。聚合函数选择：在数据聚合过程中，用户可以选择不同的聚合函数，如求和、计数、平均值、最大值、最小值等。聚合函数用于对选择的数据项进行计算和统计，得出聚合结果。分组聚合：数据聚合支持根据指定的字段对数据进行分组，然后在每个组内进行聚合。分组聚合可以实现按照不同维度对数据进行汇总和统计，如按照时间、地区、产品类别等进行分组聚合。数据过滤：在进行数据聚合前，用户可以对数据进行过滤，去除不需要的数据，只保留符合条件的数据。数据过滤可以用于排除异常数据或只关注特定范围内的数据。时间窗口聚合：数据聚合可以在时间窗口内进行，即只聚合特定时间段内的数据。时间窗口聚合适用于实时数据流处理，可以对实时数据进行滚动聚合，得到实时的统计结果。聚合结果输出：聚合后的结果可以输出到不同的目标，如数据库表、数据仓库、实时数据流等。用户可以选择将聚合结果保存以供后续分析，或实时输出给其他系统或服务。分级聚合：数据聚合可以进行多级别的层次聚合，先进行粗粒度的聚合，然后再在粗粒度的结果上进行细粒度的聚合。分级聚合可以实现多维度的数据分析，得到更全面的统计结果。实时聚合与批量聚合：数据聚合可以实时进行，对实时数据流进行实时的聚合计算。同时，数据聚合也可以批量进行，对批量数据进行离线的聚合分析。数据聚合优化：数据聚合功能需要具备高效的算法和优化策略，以确保在大规模数据情况下仍能高效处理。聚合结果的准确性和性能是数据聚合的关键考量因素。联机聚合时间序列数据通常增长很快。将数据聚合成有用的摘要时，大数据量可能会变得很慢，此时在需要联机查询的场合中，往往无法实时得到聚合结果，并且频繁的查询还可能导致计算资源的崩溃。本系统采用连续实时聚合方式，对时序数据进行增量刷新。连续聚合从原始超表中获取原始数据，对其进行聚合，并将中间状态存储在物化超表中。脱机聚合利用系统的数据提取能力，从数据湖中指定的数据源中提取数据，通过api网关提供给应用层，为应用模块或其它第三方系统提供聚合使用的数据源。设备接入层设备接入层可将已适配的设备协议模板具化为可运行的系统服务，与设备或第三方集成平台进行交互，实现设备管理、数据采集、远程控制能力。通过对设备的产品类型、型号、厂家、固件版本等属性的管理，可根据设备的基本属性快速匹配到所对应的通信协议，完成设备接入。对于未适配的协议，可通过设备协议模板开发工具在平台上进行在线开发，设备协议模板可适配基于TCP、UDP基础网络协议的大部分通信协议，包括使用二进制或文本格式封装的协议。本平台设备接入服务已可适配数千种物联网设备协议，主要适配的协议类型包括但不限于以下几种。DM101协议设备接入服务模块中自带了DM101服务协议，内嵌了DM-101服务。智能物联协议，DM101协议用于解决物联网设备的接入、数据采集分析、远程控制、大数据应用等问题。DM101是本公司自主研发的通信协议，具有安全性高，传输高效，资源消耗小等特点，适合有低功耗要求的物联网设备使用。HJ/T212协议HJ/T212协议，被应用于国内环保领域中的污染源在线，污染物在线自动监控(监测)系统数据传输标准，最新发布的版本为《污染物在线自动监控(监测)系统数据传输标准》(HJ212-2017)。HJ/T212协议适用于污染源在线自动监控（监测）系统自动监控设备和监控中心之间的数据交换传输。HJ212协议规定了数据传输的过程及系统对参数命令、交互命令、数据命令和控制命令的数据格式和代码定义，不限制系统扩展其他的信息内容。OPC-UA协议OPCUA用于现场工业控制中，OPC通信标准的核心是互通性(Interoperability)和标准化(Standardization)问题。传统的OPC技术在控制级别很好地解决了硬件设备间的互通性问题，在企业层面的通信标准化是同样需要的。OPCUA之前的访问规范都是基于微软的COM/DCOM技术，这会给新增层面的通信带来不可根除的弱点。加上传统OPC技术不够灵活、平台局限等问题的逐渐凸显，OPC基金会(OPCFoundation)发布了最新的数据通讯统一方法—OPC统一架构(OPCUA)，涵盖了OPC实时数据访问规范(OPCDA)、OPC历史数据访问规范(OPCHDA)、OPC报警事件访问规范(OPCA&E)和OPC安全协议(OPCSecurity)的不同方面，但在其基础之上进行了功能扩展。OPC-DA协议OPCDA用于现场工业控制中，OPC数据访问（DataAccess，DA)规范是指简化不同总线标准间的数据访问机制，为不同总线标准提供了通过标准接口访问现场数据的基本方法。OPCDA服务器屏蔽了不同总线通信协议之间的差异，为上层应用程序提供统一的访问接口，可以很容易的在应用程序层实现对不同总线协议的设备进行互操作。在现场控制网络中，OPCDA规范实现了现场数据在控制网络中的纵向传输。OPC服务器作为现场总线体系结构的中间层、提供了到现场数据源的一个“窗口”。它通过硬件驱动程序访问网络适配器（位于监控计算机中，负责与现场设备进行数据交换。）并将这些数据用OPCDA接口形式进行组织，上层应用程序则通过OPC接口与OPC服务器进行数据交互，间接获取现场信息访问现场总线设备中的数据信息。因此，上层应用程序只需开发一个OPCDA访问接口程序，就可以访问任何一种总线所提供的OPCDA服务器。当硬件升级或修改时只需改动服务器程序中硬件接口部分即可，不会影响上层应用程序。这种方式也支持网络分布式应用程序之间的通信，这样就可以将监控计算机通过以太网与其他计算机连接，分布在其他计算机中的客户程序可以与监控计算机OPC服务器进行通信，实现现场信息的共享。Modbus协议Modbus是一种串行通信协议，是Modicon公司（现在的施耐德电气SchneiderElectric）于1979年为使用可编程逻辑控制器（PLC）通信而发表。Modbus已经成为工业领域通信协议的业界标准（Defacto），并且现在是工业电子设备之间常用的连接方式。Modbus比其他通信协议使用的更广泛的主要原因有：公开发表并且无版权要求，易于部署和维护，对供应商来说，修改移动本地的比特或字节没有很多限制。Modbus允许多个(大约240个)设备连接在同一个网络上进行通信，举个例子，一个由测量温度和湿度的装置，并且将结果发送给计算机。在数据采集与监视控制系统（SCADA）中，Modbus通常用来连接监控计算机和远程终端控制系统（RTU）。MQTT服务MQTT服务引擎内嵌于系统，提供：接受来自客户的网络连接；接受客户发布的应用信息；处理来自客户端的订阅和退订请求；向订阅的客户转发应用程序消息。MQTT（MessageQueuingTelemetryTransport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联网、小型设备、移动应用等方面有较广泛的应用。CoAP协议CoAP（ConstrainedApplicationProtocol）是一种在物联网世界的类web协议，它的详细规范定义在RFC7252。COAP名字翻译来就是“受限应用协议”，顾名思义，使用在资源受限的物联网设备上，它基于Rest架构。应用层本系统的核心在于数据，数