《工业互联网平台应用》课件-工业互联网平台数据管理与分析技术

工业互联网平台数据管理与分析工业互联网平台应用工业互联网平台数据管理与分析5MIE分析法工业互联网平台应用0102030405数据预处理时序数据数据处理数据可视化工业机器学习与智能认知工业互联网平台数据管理与分析5MIE分析法工业互联网平台应用人（Man）的分析工业互联网平台工业数据管理实时流分析人工智能应用数据可视化工具正从依赖开源工具迈向成熟商业解决方案，各平台聚焦工业特定需求，开展定制化开发以增强管理能力。工业现场对实时性的迫切需求促使平台加强实时流分析能力。人工智能的应用拓展了解决工业问题的广度和深度平台还丰富可视化工具，催生工业数据PaaS，降低分析门槛。数据预处理5MIE分析法工业互联网平台应用工业大数据特点因噪声大呈现“低质”“高频”特征，包含噪声、缺失和异常数据。数据预处理方法流预处理方法有降噪、补全和纠错处理。时序数据预处理方法按时间索引，需专门预处理方案。工业场景中的时序数据工业场景中产生的数据均有时序性，来源于传感器或监控系统，并实时采集反馈系统或作业状态。主流时序数据预处理方法分统计、约束和机器学习三类。数据预处理5MIE分析法工业互联网平台应用时序数据库定义01时序数据库是专门用于管理时序数据的数据库，应当具备写入和查询操作功能。02时序数据库分类时序数据库可分为内存型时序数据库、基于关系数据库的时序数据库、基于KV存储的时序数据库和原生时序数据库。03内存型时序数据库使用内存作为存储介质，具有高写入吞吐量和低访问延迟，适用于热数据访问频次高的场景。时序数据5MIE分析法工业互联网平台应用基于关系数据库的扩展，适用于依赖SQL功能且要求数据一致性的场景，能优化时序数据存储；关系数据库的扩展基于KV存储的扩展，虽扩展性高，但部署与运维难度大；NoSQL数据库的扩展原生时序数据库则是全新研发，专为时序数据存储设计。原生时序数据库数据处理5MIE分析法工业互联网平台应用大数据计算模式大数据计算代表产品有：批处理：大规模数据的批量处理有MapReduce、Spark等，流计算：流数据的实时计算有Flink、Storm、S4、Flume、Streams、Puma、DStream、SuperMario等，图计算：大规模图结构数据的处理有Pregel、GraphX、Giraph、PowerGraph等，查询分析计算：大规模数据的存储管理和查询分析Dremel、Hive、Cassandra、Impala等。数据处理5MIE分析法工业互联网平台应用批处理计算主要应对大规模数据的批量处理需求，这是日常数据分析工作中非常常见的一类数据处理需求，MapReduce是最具代表性和影响力的大数据批处理技术，可用于并行执行大规模数据处理任务，用于大规模数据集（大于1TB）的并行计算。数据处理5MIE分析法工业互联网平台应用Spark针对超大规模数据集的低延迟集群分布式计算系统。相较于MapReduce，它采用内存分布式数据集，支持交互式查询并优化迭代工作负载，凭借内存存储中间结果，大幅提升了处理速度。数据处理5MIE分析法工业互联网平台应用流计算流计算面对的流数据，是动态无限的数据集合，其价值随时间递减，需实时计算给出秒级响应，以满足大数据分析中对这类数据的处理需求。数据可视化5MIE分析法工业互联网平台应用数据可视化数据可视化技术数据可视化特点数据可视化主要方面数据可视化类型将数据概要呈现并可视化解释的科学技术。需新颖、充实、高效且具美感，能以新视角观察数据、传递信息并明确目标。主要涵盖数据空间、开发和分析三方面，分别负责收集、计算和剖析数据。分为低维数据、高维数据、时态数据、层次数据和网络关系数据，各有对应可视化技术。工业机器学习与智能认知5MIE分析法工业互联网平台应用工业机器学习与智能认知将机器学习等人工智能技术应用于工业场景，以赋予工业主体一定的认知能力，提升工业认知能力。工业机器学习技术应用针对不同形式的工业数据和具体需求场景，通常会采用不同的技术来实现工业机器学习与智能认知学习。迁移学习用迁移技术将原环境中的知识迁移到新环境中，以实现跨领域的智能认知，在如跨域的故障诊断等工业应用中发挥作用。工业机器学习与智能认知5MIE分析法工业互联网平台应用工业主体智能认知与决策需要了解自身的运行