数字孪生车间：数据管理要求

1数字孪生车间第4部分：数据管理要求预处理要求、数据存储要求、数据接口要求和数本文件主要适用于数字孪生车间运行中的数据管理的获取、传输、预处理、存储、接口、GB/T32630-2016非结构化数据管理GB/T38637.2-2020物联网感知控制设备接入第2部分：数GB/T38667-2020信息技术大数据数3.1利用计算机硬件和软件技术对数据进行获取、传输、预处理、存储、接口、更新的过3.2控制系统数据controlsystemdata3.3辅助系统数据auxiliarysystemdata3.423.53.6数据异构转换heterogeneousdataco3.73.83.93.10在尽可能保持数据原貌的前提下，最大限度地精简数据量的3.113.12数据特征提取datafeatureext最大限度地从原始数据中提取特征以供算法和模型使3.133将传感器在空间和时间上的互补与冗余信息依据某种优化准则或算法组合，来产生对观测对象的3.14分布式文件存储distributed3.15有固定结构的数据.3.163.17半结构化数据semi-structure4缩略语A/D：模数转换（AnalogtoDigitaAMQP：高级消息队列协议（AdvancedMessageQueuingProtocol）API：应用程序编程接口（ApplicationProgrammingInterfacCNC：计算机数字控制器（ComputerizedNumericalConCoAP：受限应用协议（ConstrainedApplicationPDCL：数据控制语言（DataControlLanguagDCS：分布式控制系统（DistributedControlSysDDL：数据定义语言（DataDefinitionLanguagDML：数据操作语言（DataManipulationLanguage）DQL：数据查询语言（DataQueryLangua4ERP：企业资源计划（EnterpriseResourcePlanninGUI：图形用户界面（GraphicalUserIntHART：高速通道可定址远程转换器通信协议（HighwayAddressableRemoteTransduceHDFS：分布式文件系统（HadoopDistrIPV：网际协议版本（InternetProtocolveJSON：Java脚本对象简谱（JavaScriptObjectNotatMES：生产制造过程执行系统（ManufacturingMQTT：消息队列遥测传输（MessageQueuingTelemetryTransporOLAP：联机分析处理（OnlineAnalyticalProceOPC：对象链接与嵌入的过程控制（ObjectLinkingandEmbeddingforProcessContrPLC:可编程逻辑控制器（ProgrammableLogicControlRELP：可靠日志消息传输协议（ReliableEventLoggingProtocol）REST：表述性状态转移（RepresentationalStateTransfer）RFID：射频识别技术（RadioFrequencyIdentificaRPL：低功耗有损网络的路由协议（RoutingProtocolforLowPowerandLossyNetworkSQL：结构化查询语言（StructuredQuerTCP/IP：传输控制协议/互联网协议（TransmissionControlProtocol/InternetProtoUDP：用户数据报协议（UserDatagramProtocol）Wi-Fi：无线通信技术（WirelessFidelitXMPP：可扩展通讯和表示协议（ExtensibleMessagingandPresenceProtocol）5通用要求5.1.1数字孪生车间的数据管理应包括数据获取、数据传输、数据预处理、数据存储、数据更新和数5.1.2数据获取应通过车间内的控制系统、辅助系统、人工输5.1.3数据传输应通过数据传输协议和加密保证数据传输的完整性、可用性。5.1.4数据预处理应通过数据异构转换、数据抽取等手段对数据进行预处理。5.1.5数据存储应通过数据分布式存储5.1.6数据接口对数据接口及类型进行了规范。55.2数据管理的流程5.2.1数字孪生车间数据管理的流程应按照数字孪生车间的实际需求选择上述数据管理流程，详细各环节的要求请查阅正文内容所规6.1概述66.2数据获取质量要求a)完整性要求：应包含数据规则要求的数据的必要元素；b)准确性要求：应真实反映数据所描述实体的特征；c)一致性要求；应保证数据与其他特定上下文中使用的数据无矛盾；d)时效性要求：应保证数据发生变化后及时被e)可访问性要求：应保证数据在需要时能被安全访f)可追溯性要求：应保证数据的历史、应用情况或所处位置可被追溯。6.3控制系统的数据获取要求a)从控制系统中获取的数据应通过通信总线进行传输；6.4辅助系统的数据获取要求b)应可通过数据接口获取到JSON格式日志数据，再以后台形式写入数据号与数字量信号，对模拟量信号可采用A/D采样芯片进6.5人工输入的数据获取要求a)设备属性、生产计划等可通过人工输入获取，采集系统应c)辅助系统数据应至少保证完整性、准确性、时6.6中间数据的获取要求a)边缘设备运算数据应通过中间数据的形式获取；b)中间数据应与输入数据保持相同的数据类型；c)部分数据应以日志数据形式与外界7d)中间数据应至少保证完整性、准确性和时效性要求。7.1基本要求7.2数据传输完整性要求）；b)应具有通信延时和中断处理功能，配合终端进行完整性保证；c)完整性应具有超时重传功能，超时时间的判定以毫秒d)无线传输设置信道应避免与其他设备重合，如无线局域网内部或几个无线局域网内的控制系7.3数据传输可用性要求b)准确性：应在数据存在可接受的误差时，建立容错机制保7.4数据传输协议要求a)本地传输根据数据获取的应用场景可采用有线传输或无线传输；e)远程传输中，传输层可使用MQTT、AMQP、WebSocket、注3：Wi-Fi802.11b/g/n用于150m左右的业务数据、图像数据和语音数据传输，频段为2.4GHz7.5数据传输加密要求a)对于重要数据、鉴别信息和重要业务数据应采用有一定强度的加密算法或其他有效措施对信c)必要时采用采用专用传输协议或安全传输协议服务，避免来自基于协议的攻击破坏保密性。8b)应支持解析控制系统、辅助系统、中间数据等数据；d)应支持通过协议转换模块进行数据结构转换，实现车间生产资8.2数据抽取要求c)应支持数据抽取格式和流程的自定义配置；8.3数据检索要求a)应支持对结构化、非结构化、半结构化数据的检索；b)应支持数据检索格式和流程的自定义配置；c)应支持顺序检索、对分检索、索引检索等检索模式；d)应支持数据排序、数据筛选等检索8.4数据清洗要求8.5数据规约要求9c)数据规约的时间不应超过或“抵消”在规约后的数据上挖掘节省的时间；d)应支持对结构化、非结构化、半结构化数据的规约。8.6数据分类要求a)应支持几何数据、物理数据、行为数据、规则数据等数据类别；b)应支持定类数据、定序数据、定距数据、定比数据等计量层次；c)应支持对原始数据、二次加工数据等来源的数据进行分类；d)应支持对时间序列数据、截面型数据等时间状况数据进行分类；8.7数据特征提取要求c)频域特征提取应支持幅度、直流分量、功率谱等特征提取方法；8.8数据融合要求a)应支持对不同类传感器、系统采集到的数据进行各维度的互补；c)应支持数据层融合、特征层融合、决策层融合；注1：数据规约针对单一维度进行的数据约简，数据融合则是针对不同维度之间9数据存储要求9.1基本要求9.2数据存储基本要求f)应支持向量、矩阵、关联等数据类型；9.3数据分布式文件存储要求数据分布式文件存储应遵循以下要求:a)应提供文件的上传、下载、读写、复制、移动、删除和访问等功能；e)应提供存储数据的压缩和加解密功9.4数据分布式结构化存储要求数据分布式结构化存储应遵循以下要求:b)应提供API接口实现数据的各类查询操作；9.5数据分布式列式存储要求数据分布式列式存储应遵循以下要求:c)应提供按照用户需要对数据库中的数据进行列加密的功9.6数据分布式图存储要求数据分布式图存储应遵循以下要求:b)应提供图查询、图遍历及图分析功能；e)应支持最短路径和最优路径遍历搜9.7数据存储备份要求数据存储备份应遵循以下要求:c)应支持镜像备份和冗余备份等方式提高数据存储的可靠性；10.1数据接口通用要求d)分布式列式存储接口：对分布式列式数据进行交互，应支持实时查询和分析等操作；数据接口应遵循以下要求:a)应支持业界常用接口，兼容主流开源接口，支持系统集成；h)应支持海量全文检索，提供结构化、非结构化文本的多条件检索、统计和报表生成；m)应支持关系型数据库的事务操作，包括但不限于事务开启、提交11.1基本要求数字孪生车间数据更新要求包括周期性的数据更新要求、事件触发的数据更新要求和历史数据的A.1概述A.1.1本附录根据本标准中提出的数据获取、数据传输、数据预处理、数据存储、数据接口及数据更新等要求，以数字孪生车间智能产线为例，给出了DTS智能产线数据管理A.2数字孪生车间智能产线数据管理示例A.2.1在DTS智能产线数据管理示例中，边缘客户端通过数据接口和数据传输实现对DTS智能产线的数据获取、数据预处理和数据存储和数据更新，云客户端通过数据传输实现数据存储和数据5G终端接入装置对获取的数据向设备数据交互模块进b)设备数据交互模块按照8.1、8d)产线数据存储模块按照9.2、9.3f)车间数字孪生服务模块为车间内的多条DTS智能产线提B.1.1本附录根据本标准中提出的数据获取、数据传输、数据预处理、数据存储、数据接口以及数据其中自动化测试系统主要包括七轴机械臂、传感器、电机、数据采集装置、测试样品、检测装置和OPCB.2.1在数字孪生自动化测试系统数据管理示例中，通过数据获取模块采集自动化测试系统数据，将获取到的数据通过预先定义好的数据接口传输至边缘服务器，在边缘服务器上进行数据预处理和数据c)遵循本文件第8章要求，对自动化测试系统测试数据、设备状态数据进行异构转换d)边缘服务器按照9.3、9.4要求使用分布式架统监测和测试计划管理，