TCPUMT 022-2024 工业互联网平台 工业大数据技术要求

ICS35.240.50CCSL77团 体 标 准T/CPUMT022—2024工业互联网平台工业大数据通用技术要求IndustrialInternetPlatform—Generaltechnicalrequirementsforindustrialbigdata2024-10-21发布 2024-10-21实施中国和利用技术协会 发布T/CPUMT022-2024T/CPUMT022-2024II目 次前言 III引言 IV162范引文件 63语定义 64略语 85业数平总构 96据集术求 96.1概述 96.2功性 96.3性效率 106.4可性 106.5易性 106.6扩性 106.7兼性 107据储术求 107.1概述 107.2功性 107.3性效率 117.4可性 117.5易性 117.6维性 127.7可展性 127.8兼性 128据理术求 128.1概述 12实流计算 12大据处理 14宽数库求 169据析术求 179.1概述 179.2交式析 179.3图析 189.4数搜索 209.5AI2110据用术求 22T/CPUMT022-2024T/CPUMT022-2024IIII10.1概述 2210.2功性 2210.3性效率 2210.4可性 2210.5易性 2210.6兼性 2211台维术求 2311.1概述 2311.2监告警 2311.3健检查 2311.4日管理 2412据全术求 2512.1概述 25数采安性 25分式储全性 25实流计安性 25大据处安性 25宽数库全性 25交式析全性 26图析全性 26数搜安性 26AI模安性 26据用全性 26控警全性 27康查全性 27志理全性 27参考献 28T/CPUMT022-2024T/CPUMT022-2024PAGE\*ROMANPAGE\*ROMANIII前 言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。T/CPUMT022T/CPUMT020T/CPUMTT/CPUMT《工业互联网平台工业APPT/CPUMT025T/CPUMT026本文件由中国和平利用军工技术协会提出并归口。（（（本文件为首次发布。引 言1PaaS图1 工业联体框架本文件是《工业互联网平台》系列标准之一，本系列文件结构如下：——T/CPUMT020工业互联网平台总体技术要求——T/CPUMT021工业互联网平台边缘层通用技术要求——T/CPUMT022工业互联网平台工业大数据通用技术要求——T/CPUMT023工业互联网平台工业模型及其组件研发与服务通用技术要求——T/CPUMT024工业互联网平台工业APP开发与服务技术要求——T/CPUMT025工业互联网平台服务通用要求——T/CPUMT026工业互联网平台开发及运行环境通用技术要求T/CPUMT022-2024T/CPUMT022-2024PAGEPAGE6工业互联网平台工业大数据通用技术要求范围（GB/T25069信息安全技术术语GB/T35295信息技术大数据术语GB/T41778信息技术工业大数据术语T/CPUMT020工业互联网平台总体技术要求GB/T25069、GB/T35295、GB/T41778、T/CPUMT020界定的以及下列术语和定义适用于本文件。3.1 工业大数据industrialbigdata注：一般分成三类,即企业信息化数据、工业物联网数据,以及外部跨界数据。其中,企业信息化和工业物联网中机器产生的海量时间序列数据是工业数据规模变大的主要来源。[来源：GB/T41778—2022，3.21]3.2 数据服务dataservice[来源：GB/T41778—2022，3.8]3.3 批处理batchprocessing[来源：GB/T41778—2022，3.1]3.4 实时计算real-timecomputing在规定时间内对数据进行处理及运算的操作。注：在工业场景下的实时计算时间要求一般为秒级及以下，且主要包括数据的实时采集与存储、数据的实时处理与分析等两部分。[来源：GB/T41778—2022，3.43]T/CPUMT022-20243.5 T/CPUMT022-20243.5 PAGEPAGE7流式计算streamcomputing能够对流式数据进行实时处理的计算方式。注：工业大数据相关的流式计算通常应用于工业生产活动中的实时监控、实时预警等场景。[来源：GB/T41778—2022，3.48]3.6 数据data信息的可再解释的形式化表示，以适用于通信、解释或处理。注：可以通过人工或自动手段处理数据。[来源：GB/T41778—2022，3.4]3.7 结构化数据structureddata[来源：GB/T41778—2022，3.50]3.8 半结构化数据semi-structureddata[来源:GB/T38637.2—2020,3.5]3.9 unstructureddataGB/T41778—2022，3.54]3.10 垂直扩展verticalscalingGB/T35295—2017，2.1.16]3.11 水平扩展horizontalscalingGB/T35295—2017，2.1.17]3.12 分布式文件系统distributedfilesystem多个结构化数据集分布在一个或多个服务器集群的各个计算节点的文件系统。注：此类系统中，数据可能分布在文件和/或数据集层，更为普遍的是在数据块这个层级分布，同时支持集群中多个节点与大型文件和/或数据集的不同部分交互。[来源：GB/T35295—2017，2.1.21]3.13 分布式计算distributedcomputing注：分布式计算结果通常加载到分析环境。MapReduceGB/T35295—2017，2.1.22]3.14 集群管理clustermanagementGB/T35295—2017，2.1.59]T/CPUMT022-2024T/CPUMT022-2024PAGEPAGE163.15 元数据metadata（[来源：GB/T35295—2017，2.2.7]3.16 数据挖掘datamining从大量的数据中通过算法搜索隐藏于其中信息的过程。注：一般通过包括统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等方法来实现。[来源：GB/T35295—2017，2.2.9]3.17 冷数据colddata访问频率较低的数据，通常存储在成本较低的存储介质上，如磁带、光盘等。3.18 热数据heatdata访问频率较高的数据，通常存储在高速磁盘上，如SSD。3.19 温数据warmdata介于冷数据和热数据之间的数据，访问频率适中，通常存储在性价比相对较高的磁盘上。3.20 宽表widetable字段比较多的数据库表，通常是指业务主题相关的指标、维度、属性关联在一起的一张数据库表。缩略语下列缩略语适用于本文件。AI：人工智能（ArtificialIntelligence）API：应用程序编程接口（ApplicationProgramInterface）Avro：数据序列化系统（ApacheAvro™）CPU：中央处理器（CentralProcessingUnit）CSV：逗号分隔值（Comma-SeparatedValues）DDL：数据库模式定义语言（DataDefinitionLanguage）DML：数据操纵语言（DataManipulationLanguage）HTTP：超文本传输协议（HypertextTransferProtocol）IP：网际互连协议（InternetProtocol）JDBC：Java数据库连接（JavaDatabaseConnectivity）JSON：JS对象表示法（JavaScriptObjectNotation）JWT：RFC7519标准定义的一种可以安全传输的JSON对象（JSONWebTokens）MFA：多重身份验证（MultifactorAuthentication）oAuth（OpenAuthorization）ODBC（OpenDatabaseConnectivity）OIDCOAuth2.0（OpenIDConnect）OTP（OneTimePassword）RPC（RemoteProcedureCall）RPO（RecoveryPointObject）SDK（SoftwareDevelopmentKit）SQL（StructuredQueryLanguage）SSL（SecureSocketLayer）TLS：传输层安全协议（TransportLayerSecurity）TPC-DS：交易处理性能委员会的评估决策支持系统的基准测试（TransactionProcessingPerformanceCouncil-DecisionSupport）)TTL：生存时间值（TimeToLive）TXT：文本文档（Text）UDF：用户自定义函数（User-DefinedFunction）Web：全球广域网（WorldWideWeb）XML：可扩展标记语言（ExtensibleMarkupLanguage）7。图2 工业数平总架构概述功能性数据采集功能性应符合下列要求：DDL；当工业大数据平台对数据采集性能效率存在相关指标时，符合下列要求：100001000110000，CPU70%-8060%-70可靠性数据采集可靠性符合下列要求：0.01%；99.999%；5易用性数据采集易用性符合下列要求：扩展性数据采集可扩展性应符合下列要求：兼容性数据采集兼容性应符合下列要求：概述功能性分布式存储功能性符合下列要求：（）3JDBCCPU当工业大数据平台对分布式存储性能效率存在相关指标时，符合下列要求：1000PB10PB）；5050%；，CPU70%-8060%-70可靠性分布式存储可靠性符合下列要求。CPU/（I/O））（故障监测、自动切换、副本自动补齐）。易用性分布式存储易用性应符合下列要求：维护性分布式存储维护性应符合下列要求：分布式存储可扩展性应符合下列要求：兼容性分布式存储兼容性应符合下列要求：CPUHTTP（HTTPs）Java、C/C++、Python概述功能性实时流式计算功能性应符合下列要求。流数据源：支持常见流数据源，如传输控制协议（TCP）、用户数据报协议（UDP）、HTTP、Kafka，RocketMQJDBC、ODBCCSVJSON、Avro、XMLSQL当工业大数据平台对数据处理的实时流式计算性能效率存在相关指标时，符合下列要求。5000050005000012500025可靠性实时流式计算可靠性应符合下列要求。72495%。易用性实时流式计算易用性应符合下列要求。d）易浏览性：3e）易操作性：）维护性实时流式计算维护性应符合下列要求。实时流式计算可扩展性应符合下列要求。兼容性实时流式计算兼容性应符合下列要求。功能性大数据批处理功能性应符合下列要求。数据取数源持源异 TXT、CSV、JSON数据取程持种入方 SQL（REST）（FTP）数据换程持元作 数据换程持据洗策 SQL（shell）java批处过支图化面设 数据分析集成相应的机器学习算法：支持常见的机器学习模型训练（。REST当工业大数据平台对大数据批处理性能效率存在相关指标时，符合下列要求。1T101T101w)(100w1000w)200151010500TB。500099.98.761000可靠性大数据批处理可靠性应符合下列要求。724易用性大数据批处理易用性应符合下列要求：维护性大数据批处理维护性应符合下列要求：大数据批处理可扩展性应符合下列要求。兼容性大数据批处理兼容性应符合下列要求。功能性宽表数据库功能性应符合下列要求：DDLcreate、alter、describe、disable、drop、listDMLputget、scandeleteappendalter_namespace,create_namespace,describe_namespace,drop_namespace,list_namespace支持列簇级别生命周期配置，根据生命周期定期清理数据。支持表的列簇设置TTLTTLPREFIXDIFFFAST_DIFFROW_INDEX_V1；GZIPsnappy、zstd宽表数据库应支持数据批量入库，数据量200GB规模情况下，加载速率不应低于30MB/Node/Sec。可靠性宽表数据库可靠性符合下列要求。724备份RPO易用性宽表数据库易用性应符合下列要求：CPURPC//SDKShell（RestfulAPI）宽表数据库可扩展性应符合下列要求：50016兼容性宽表数据库兼容性应符合下列要求。CPU概述AI功能性交互式分析功能性应符合下列要求：SQLINTBIGINTBOOLEANFLOATDOUBLE、STRING、VARBINARY、TIMESTAMP、INTERVALDECIMAL、NUMERIC、DATE、VARCHAR、CHAR）、mapstructUDFCREATE/DROP/SHOWFUNCTIONINSERTINTO/OVERWRITETABLESQLINSERTINTO1,23,VALUES1,值2,值3,支持SQL查询语句，如SELECTWHEREGROUPBYHAVINGSORTBYLIMITJOIN（LEFT/RIGHT/FULL)、SEMIJOIN、CROSSJOIN、INTERSECT、EXCEPT；支持定义LocalUDF（javaUDF）；RemoteUDFUDF；Bzip、Lz4Deflate、SnappyGzip（OLAP）当工业大数据平台对交互式分析性能效率存在相关指标时，应符合下列要求。300s1T，TPC-DSQ7050(s)：数据量1T，TPC-DSQ8850(s)：数据量1T，TPC-DSQ6230(s1T，TPC-DSQ5030(s)：数据量1T，TPC-DSQ8810(s)：数据量1T，TPC-DSQ9150可靠性交互式分析可靠性符合下列要求：724RPO易用性交互式分析易用性应符合下列要求：CPUJDBCShellRestfulAPI（交互式分析可扩展性应符合下列要求：400兼容性交互式分析的兼容性应符合下列要求。CPU图分析功能性图存储图存储功能性应符合下列要求。///decimalCSV删除（Schema）Schema图遍历图遍历功能性应符合下列要求。kDDL、DML（DQL）图计算图计算功能性应符合下列要求。Pagerank、BetweennessClosenessLPAWCCSCDijkstraSingleSourceShortestPathAllPairsShortestPath等常见图的路径发现类算法。JaccardSimilarityCosineSimilarity图展示图展示功能性应符合下列要求。CSV可靠性图分析可靠性应符合下列要求。维护性图分析维护性符合下列要求：CPU兼容性图分析兼容性应符合下列要求。（RDF）JDBCODBCrestfulAPI功能性数据搜索功能性应符合下列要求。＝）。支持误空录 （）可靠性数据搜索可靠性应符合下列要求。241:1:1:1//易用性数据搜索易用性应符合下列要求：，CPUSQLSQLSQLJavaAPI数据搜索的可扩展性应符合下列要求：兼容性数据搜索兼容性应符合下列要求。AI功能性AI模型功能性应符合下列要求：Web可靠性AI模型可靠性应符合下列要求：（Cross-validation）（DataAugmentation）易用性AI模型易用性应符合下列要求：WebAPISDK具有自动化训练功能，使用户能快速构建和训练模型，支持自动超参数调优（AutoML）AI模型可扩展性应符合下列要求：兼容性AI模型的兼容性应符合下列要求。概述API功能性数据应用能力功能性应符合下列要求：RESTful、API、RPC数据应用能力性能效率符合下列要求：2100MB/s；5000可靠性数据应用能力可靠性应符合下列要求：0.1%；99.9易用性数据应用能力易用性应符合下列要求：兼容性数据应用能力兼容性应符合下列要求。概述平台运维能力在工业大数据平台主要是监控告警、健康检查及日志管理，其性能要求包括功能性、性能效率、可靠性、易用性、兼容性等要求。功能性监控告警功能性应符合下列要求：监控告警性能效率符合下列要求：153500MB可靠性监控告警可靠性应符合下列要求：99.98.7630100易用性监控告警易用性应符合下列要求：兼容性监控告警兼容性应符合下列要求：功能性健康检查功能性应符合下列要求：健康检查性能效率应符合下列要求：CPU1%；100MB；100%99%可靠性健康检查可靠性应符合下列要求：99