工业互联网网络运维 课件 项目六 工业互联网平台管理

工业互联网网络运维IoT平台特点IoT平台紧跟业界物联网、大数据先进技术，基于企业内部多年工业制造与经营管理实践，形成了适合于大型行业接入、可靠、稳定的物联网平台，轻松管理百万级设备、可方便快捷处理复杂数据。强劲的数据接入与处理分布式时序数据存储计算与智能分析能力图形化开发与管理项目六工业互联网平台管理项目六工业互联网平台管理IoT平台特点IoT平台支持物联网协议MQTT的数据采集方式，分布式MQTT消息集群，满足千万级设备接入、每台MQ服务器支持最高20万点MQTT消息接入能力，解决各边缘端消息发送和接收的IT技术问题。项目六工业互联网平台管理项目六工业互联网平台管理IoT平台特点接入协议：支持MQTT、TCP协议，并提供更为专业、可靠、稳定的接入SDK；消息发布与订阅：支持消息的订阅、发布，以及在海量设备下的高并发响应；管理配置：提供在线的消息队列topic管理，以及消息的查询检索；数据缓存：支持消息队列内存及本地文件缓存及短周期备份。项目六工业互联网平台管理项目六工业互联网平台管理任务描述

本任务针对实训设备，抽取出其中包含的价值数据点汇集起来生成模板对象，这个模板对象称作产品。产品作为一个虚拟数据集合，通过具体的设备完成实例化，实现数据的实时呈现。通过平台数据流功能实现数据采集及数据处理过程，并实现数据的持久化存储及应用分析。任务1IoT平台数据管理任务1IoT平台数据管理任务实现1——IoT平台产品管理将物理世界的实体对象构建为一个模板对象，主要功能包括模板列表、创建产品、产品详情、编辑和删除功能。任务1IoT平台数据管理任务1IoT平台数据管理产品列表采用卡片式视图展示，可以清晰地查看产品的名称、产品属性，按照更新时间顺序排列。任务实现1——IoT平台产品管理任务1IoT平台数据管理任务1IoT平台数据管理产品登记的信息包括：产品名称、产品图片、产品描述、更新时间、产品属性。产品属性即设备或实训台的数据点，产品属性的内容包括：属性名称、显示名称、数据类型、属性类型、默认值、单位。产品属性的定义须与设备或实训台数据点保持一致。任务实现1——IoT平台产品管理任务1IoT平台数据管理任务1IoT平台数据管理产品属性描述属性名称属性名称与IoT网关定义的数据代码保持一致显示名称属性对应的数据点具体含义，如：环境温度、环境湿度属性类型属性类型包含三种：状态型（State）、流型（Stream）、描述型（Description）数据类型数据类型包含五种：字符型（String）、布尔型（Boolean）、数值型（Number）、对象型（Object）、数组型（Array）。默认值设置属性的默认值单位数据单位产品属性定义：任务实现1——IoT平台产品管理任务1IoT平台数据管理任务1IoT平台数据管理感谢聆听敬请指导工业互联网网络运维任务实现2——IoT平台设备管理设备继承产品，将其实例化，对应物理世界真实的设备数据，拥有产品的所有属性。设备管理的主要功能有设备列表、创建设备、设备详情查看等。设备依附于工厂存在，在创建设备之前，需要构建工厂。在区域组织架构目录树中新建工厂，工厂信息表如下表所示。属性描述请选择省从中国省份区划中选择设备所属省份请选择市从关联省份中选择地级市工厂名称新建工厂命名工厂坐标通过全国地图，通过搜索关键字方式，定位工厂的实际区域，在地图中点选自动获取工厂位置坐标。如：120.123395;36.066495任务1IoT平台数据管理任务1IoT平台数据管理构建工厂操作如下图。任务实现2——IoT平台设备管理任务1IoT平台数据管理任务1IoT平台数据管理新建设备需要关联已构建的产品，并配置所属区域组织。任务实现2——IoT平台设备管理任务1IoT平台数据管理任务1IoT平台数据管理创建设备时，需填写设备信息如下表。设备属性描述选择组织结构从区域组织架构目录树中，选择设备所属的工厂设备名称定义设备的名称设备描述设备结构、功能性描述所属产品配置设备对应的产品任务实现2——IoT平台设备管理任务1IoT平台数据管理任务1IoT平台数据管理设备配置完毕后，呈现设备数字孪生界面，实现设备数据的实时展示。任务实现2——IoT平台设备管理任务1IoT平台数据管理任务1IoT平台数据管理感谢聆听敬请指导工业互联网网络运维

平台数据流主要包含新建/导出数据流、数据流列表展示、数据流定义/启停三项功能。通过拖拉拽的可视化配置工具，构建数据处理流程引擎，实现数据的采集、加工、转发、存储等功能。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

平台数据流提供布局环境以及丰富的组件库，组件库包括4种类型：Origins、Processors、Destinations、Executors。Origins：数据源组件

对接IOT网关等物联网设备。配置数据源的相关属性，完成数据的同步接收。支持文件数据源、http数据源、OPCUA、Restful、Udp、WebSocket等数据源，实现了数据接口的广泛适配性。注意：一个工作流只能存在一个origin组件。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理Processors：数据处理组件

支持消息的订阅、发布，以及在海量设备下的高并发响应。支持脚本语言的二次开发，数据流中的数据节点在线清洗、加工，再次数据打包传输。数据处理组件丰富，包含：数据转码处理、数据解析器、数据延迟处理、数据特征、正则表达式、数据孪生、数据扁平化处理等组件。可以根据不同的业务场景，进行数据处理组件的逻辑组合，搭建新的业务流程引擎。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理Destinations：目标阶段

表示管道的目标，可以在管道中使用一个或多个目标，可以根据管道的执行模式使用不同的目的地，包括：Trash

：垃圾桶组件，用于将数据丢弃HTTPClient：HTTP客户端，将数据写入到支持HTTP协议的数据服务端WebSocketClient：WebSocket客户端，通过该组件将数据发送到WebSocket服务端任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理Destinations：目标阶段MQTTPublisher：将数据输出到MQTT消息队列中Redis：将数据输出到RedisSendResponsetoOrigin：用在微服务工作流中，将数据返回到用户端ToError//将数据流发送到管道错误处任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理Executors：Executor类组件主要在收到事件时会触发任务。包括：Email:在收到事件后向配置的收件人发送自定义电子邮件JDBCQuery:收到事件记录后运行用户定义的SQL查MapReduce:收到事件记录后启动指定的MapReduce作业Shell:在接收到事件记录执行shell脚本PipelineFinisher:收到事件记录后停止并将管道转换为Finished状态任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

以数据采集—数据处理—数据转发—数据销毁/转发流程为例，系统平台常用的组件介绍如下。“MQTTSubscriber”组件

“MQTTSubscriber”组件为源数据组件，负责实现与现场IoT硬件网关设备的数据对接。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

首先点击界面右上角的“状态库”按钮，会出现各类组件的下拉列表。下拉框中选择“Origins”，然后在下方搜索栏中输入：MQTT，在出现的列表清单中，点击“MQTTSubscriber”组件，该组件就出现在左侧的编辑区域中。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

选中“MQTTSubscriber1”的组件下方区域显示点的详细属性信息，可进行填写及编辑操作。分类属性信息配置详情MQTT服务器鉴权信息BrokerURLtcp://:9993ClientIDXXXXXX（IoT平台提供）UseCredentials勾选UsernameXXXXXX（IoT平台提供）PasswordXXXXXXXX（IoT平台提供）数据信息TopicFilter为TOPIC订阅主题，订阅主题的格式为：CompayID/IoT网关数据转发名称/updateDataFormat下拉列表中选择JSON任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理“MQTTSubscriber1”配置界面任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理“JythonEvaluator”组件

“JythonEvaluator”组件为数据处理组件，用以对接收到的数据进行数据运算处理。如：对部分数据做除10处理。通过此组件处理后的数据继续输出到后续组件节点。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

首先点击界面右上角的“状态库”按钮，会出现各类组件的下拉列表。下拉框中选择“Processors”，然后在下方搜索栏中输入：jython，在出现的列表清单中，点击“JythonEvaluator”组件，该组件就出现在左侧的编辑区域中。

选中“JythonEvaluator1”组件，点击配置——Jython，进行数据处理脚本的编写工作，主要的编写区域为“Script”区域，这儿为关键的数据处理脚本。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理“Script”脚本区域编写代码示例：importjson,timeimportsysreload(sys)sys.setdefaultencoding('utf-8')debug=Falseforrecordinrecords:try:mydata1=record.value

resultData={}dealTime=int((time.time())*1000)resultData["profileVersion"]=1resultData["timestamp"]=dealTimeresultData["reported"]=mydata1["reported"]resultData["deviceId"]="plc"resultData["type"]=""resultData["dtName"]="运维平台测试".decode("utf-8")record.value=resultDataoutput.write(record)

exceptExceptionase:

error.write(record,str(e))其中resultData["dtName"]="运维平台测试".decode("utf-8")里的"dtName"需要配置成和新建设备时所取名称一致，数据流才指向该设备，并做数据显示。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理“DigitalTwinHaierProcessor”组件“DigitalTwinHaierProcessor”组件为数据处理组件，用以对接收到的数据进行分发，转到到“设备管理”功能模块，进行设备实时数据的展示，形成数据应用的闭环。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

首先点击界面右上角的“状态库”按钮，会出现各类组件的下拉列表。下拉框中选择“Processors”，然后在下方搜索栏中输入：Digital，在出现的列表清单中，点击“DigitalTwinHaierProcessor”组件，该组件就出现在左侧的编辑区域中。

选中“DigitalTwinHaierProcessor1”组件，点击配置——DigitalTwinHaier，主要配置“DigitalTwinAPIURL”，此处输入目标对象APIURL地址，实现数据的网络传递。此处配置为:20011，URL地址和端口号由平台统一下发。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理“Trash”组件

如果在数据处理完毕之后，无后续数据推送或者再次处理的步骤，可以在流程最后执行销毁操作。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

在“状态库”下拉框中选择“Destinations”，然后在下方搜索栏中输入：Trash，从右侧展示列表中点击“Trash”组件，该组件就出现在左侧的编辑区域中。

该组件为数据销毁不做处理，无设置内容。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理“HTTPClient”组件

如果数据在处理完毕后，数据需推送至平台时序数据库存储，则可在“状态库”下拉框中选择“Destinations”，然后在下方搜索栏中输入：http，从右侧展示列表中点击“HTTPClient”组件，该组件就出现在左侧区域。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

选中“HTTPClient1”组件，点击配置——HTTP，主要配置“ResourceURL”，此处输入目标对象ResourceURL地址，实现数据的网络传递。此处配置为:20010/api/put，URL地址和端口号由平台统一下发。点击配置——DataFormat，从下拉列表中选择Text格式。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

流程引擎中各个组件之间通过箭头流程关联，箭头流程提供了众多的处理器功能供选择调用。各组件功能配置完成后，使用箭头将各组件进行连接，以关联流程。连接过程鼠标左键点击组个的旁边的小圆圈，并拖动至另一个组件的小圆圈，可以看见箭头连接完成。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

全部组件配置好后，可以看到仍有报错信息，选中报错指示符号“叹号”，点击配置——ErrorRecords，修改ErrorRecords，从下拉列表中选择Discard(Library:Basic)，修改过程如下图所示。修改完成后报错指示符号消失。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理

全部组件配置好后，点击右上角“启动”来使整个数据流运行，数据流运行后，可将MQTT服务器数据传送至设备管理。任务1

IoT平台数据管理任务1

IoT平台数据管理任务实现3——IoT平台数据流管理（1）请在工业互联网网络运维系统IoT平台上，创建产品，产品属性中需添加实训台上的PLC数据，并在此产品下创建设备。（2）请在工业互联网网络运维系统IoT平台上，配置平台数据流，实现数据从MQTT服务器接收，并与设备关联，最终存入时序数据库。（3）请在实训台上配置网关，实现PLC数据采集，并上传至IoT云平台，实现与（1）题创建的设备对接，实时显示设备数据。任务1

IoT平台数据管理任务1

IoT平台数据管理任务训练感谢聆听敬请指导工业互联网网络运维任务描述本任务要求：能从时序库中查询数据，并可设置仪表盘进行数据展示。任务1IoT平台数据分析任务1IoT平台数据分析任务实现1——时序数据查询

根据选定的数据指标，设置数据过滤条件，指定数据源及查询的时间段维度，进行数据查询及趋势展现。任务1IoT平台数据分析任务1IoT平台数据分析

时序数据查询模块提供了自定义配置功能，可进行指标、轴线、图例及显示的个性设置。

趋势图支持区域放大、区域缩小、图形还原、图片下载等功能。个性化项目配置内容指标时间选择：可定义开始、结束时间、界面刷新频率、时间段标签等指标：指标列表选择；聚合函数：根据业务需求选择聚合函数类