工业互联系统分析与设计 课件 第五章 工业大数据（1、2课时）

工业互联网Industrial

Internet0第四章

工业网络通信——上节回顾□工业互联网通信传输架构回顾产品位置；机器人位置；

人的位置；设备音频；设备辐射；.….机器触感；机器温度；订单信息；客户需求变更；信息感知红外传感器视觉传感器(摄像头)温度传感器烟雾传感器压力传感器数据处理数据融合机器学习数据挖掘大数据人工智能数据传输有线通信蓝牙通信蜂窝通信卫星通信以太网平台层决策应用服务安全管理□随堂小测1.(

多选)广义

的通信过程包括

OA.

细胞收发激素B.

语言C.“烽火狼烟”

D.

凝望夜空2.常见的无线通信方式不包括

OA.Wi-FiB.

蓝牙

C.以太网

D.5G第四章

工业网络通信——上节回顾2□随堂小测

1.

(多选)广义的通信过程包括

A.细胞收发激素

B.语言

C.

“烽火狼烟”

D.

凝望夜空

2.常见的无线通信方式不包括

oA.Wi-Fi

B.

蓝牙

C.以太网

D.5G第四章

工业网络通信——上节回顾3□本章课时任务时间270分钟(6课时)主要学习内容工业大数据背景(0.5

课时);

数据采集(

0.5课时)

;数据分析与挖掘(1课时);数据可视化(1课时);数据中台(1课时);工业大数据案例分析(2课时)。本课时主要目标了解工业大数据的背景与发展历程；了解工业数据采集、分析与挖掘基本流程。第五章

工业大数据——课时安排4第五章

工业大数据——背景□工业从数据到大数据当前，全球主要国家掀起了新一轮以“信息技术与制造业融合”为共同特征的工业革命，加速发展新一代信息技术，并推动其与全球工业

系统的深入融合，以期抢占新一轮产业竞争的制高点。无论是欧美老牌

国家制造业的重振，还是中国制造业的转型提升，工业大数据都将发挥

不可替代的作用。文档

图纸工业大数据模型

视频工业信息化数据地理

环境产业链跨界数据机器设备数据5□工业大数据是什么?工业大数据是由工业设备高速产生的大量数据，对应不同时间下的设备状态，是物联网中的讯息。企业信息化数据工业物联网数据外部跨界数据包括产品研发数据、生产性数据、经营性数据、

客户信息数据、物流供应链数据以及环境数据工业设备和产品快速产生的且存在时间序列差异的数据，它也是新的、增长最快的数据来源企业外部互联网来源的数据，如环境法规、宏观社会经济数据服务型制造智能装备跨行业融合设备监测、故障诊断、异常报警等工艺优化、能耗优化、质量分析和改善等协同设计与协同制造第五章

工业大数据

背景工业大数

据来源工业大数

据技术工业大数

据应用工业大数据技术包括数据采集、预处理、数

据存储、数据分析、可视化及智能控制等广义工业

大数据6第五章

工业大数据——背景□工业大数据的定义与边界工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需

求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。主要分为：企业运营管理相关的业务数据是制造过程数据企业外部数据计

算分析决策服务系统统工业

大数据智

能时序性●

工业数据类型复杂●

数据种类多样、结构复杂多模态多样(V

ariety)快速(Velocity)价值密度低(Value)第五章

工业大数据

背景●

研发、制造、市场等生命周期数据关联●

产品不同零部件、工况、设备状态等□工业大数据特点●

产品生命周期数据闭环●

数据采集、处理、分析闭

环●

工业数据来源可靠，真实性高●

工业数据完整性更高●

工业大数据有较强时序性，如设备状态/订单/物流闭环性

准确性强关联□工业大数据与工业互联网的关系与智能制造的场景有所区别，工业互联网更为关注制造业企业如何以工业为本，通过“智能+”打通、整合、协同产业链，催生个性化定

制、网络化协同、服务化延伸等新模式，从而提升企业、整体行业价值

链或是区域产业集群的效率。与智能制造相似的，工业互联网既是工业大数据的重要来源，也是工业大数据重要的应用场景。消

费

者

供

应

链

协作企业开

发

者应用层没备状态分析工业微服务组件库(工业知识组件、算法组件、原理模型组件)工业数据建模和分析(机理建模、机器学习、可视化)平台层工业大数据系统(工业数据清洗、管理、分析、可视化等)通用PaaS平台资源部署和管理资源管理

运维管理

故障恢复云基础设施(服务器、存储、网络、虚拟化)边缘数据处理第五章

工业大数据

背景应用开发(开发工具、微服务框架)工业安全防护能耗分设计APP供应链服

务

APP协议解析设备接入设备管理边缘层生产9第五章

工业大数据——背景□工业大数据在工业互联网中的应用工业大数据在工业互联网中的应用首先体现在对于工业互联网个性化定制、网络化协同、服务化延伸等工业互联网新模式场景的支撑。除了在

工业互联网新模式场景中的应用，从集中化平台的角度来看，工业互联网

平台还承载了通过工业大数据的分析利用从而实现知识积累的重任。推修备件

设备帅保

能原管理设备大教据融合挖据生产渣程信息设计加工信息

备件库存信息：设备维护费用节约30-50%

意外停机次数减少50%正常检修工期减少47%维保服务1000万元/年带动检维修及备件1亿元/年现场诊断预警H91健康监控一体化工业服若服务业务记录视架表，Dos,PL能源动力装备融合挖报

现

场

应

用

数

据

接

入服务商收益IPMC现场数控管理10口智能化设计案例

一

西

门子西门子在数字环境下构建基于模型和仿真的研发设计，有效提升了

设计质量、节约研发成本。日生产计划制造运行系统MOM产执行状态

世拟任务虚拟工厂(VR)

与虚拟生产Plast

Simulalion第五章

工业大数据

背景工厂仿真与计划仿真

Plant

&muation初单设备状态

Mird

Connect热号边缘端硬件Mendix

Dashboard个性化数少平生关键数据高级计划与排程APS尺寸规划验

证DPV产品与工艺TC8

Tecno客户订单Daa

Hub11第五章

工业大数据——背景口智能化设计案例二——玛莎拉蒂玛莎拉蒂通过数字化工具加速产品设计，实现开发效率提高30%。12解决方案流程示意图蒸汽出口给煤机A旋风分离器-左给煤机B二次风机给煤机C一次风机体检报告

三次风机口智能化设计案例三——阿里巴巴阿里巴巴基于燃烧机理与锅炉运行数据，深度分析识别锅炉燃烧过程中的关键因子，找到了最优的锅炉操作参数，使燃煤效率提升了4.1%,大大降低了能源消耗。第五章

工业大数据——背景旋风分离器-左烟

道

出

口

E体检报告炉膛风室气泡烟囱13第五章

工业大数据——背景□工业大数据特点工业大数据面向复杂工业过程，通过实现工业建模、预测、控制、决策、优化、故障诊断等一系列应用来解决工业生产全生命周期各环节

面临的实际问题，提高生产效率。医疗系统效率提高1%630

亿美元市场规模工业大数据市场年增长

15%左右，2025年将达639

亿美元电力节约1%的燃料600

亿美

元石油天然气资本支出降低1%9

0

0

亿美元航空节约1%的燃料3

0

0

亿美元运输系统效率提高1%2

7

0

亿

美

元1%

的咸力工业界任何微小的改变都会给企业带来巨大的优势14第五章

工业大数据——背景□工业大数据技术实施策略需求牵引，技术驱动，人才支撑个性化定制、智能化生产、网络化协同、服务化延伸乘法构建产业生态，与供应商进行更有效的

协同除法聚焦专业化目标，实现更

轻资产的运营加法提质增效

客户定制

业务延伸减法降低成本

降低次品降低能耗15共性问题①

数据的隐私性与机密性：生产工艺可以从数据中表征出来②

数据不完备：前瞻性不足未采集足够表征生产模型的数据量③

样本不均衡：实际生产中负样本量较少④

数据质量差：人工采集导致数据缺失、无经验性填补⑤

模态不统一：数据存在多源异构、多模态、多类型第五章

工业大数据

背景□工业大数据共性问题相关需求如何解决?

机器学习①③④16需求工业生产数据隐私保护：如何设计具有高效高质的数据隐私保护策略框架全过程的模型：如何面向工业流程全过程设计模型高质量的数据：如何保证输入数据的质量高性能的算法：如何保证算法在多种数据输入下的性能高质量的结果：如何得到在工业流程中准确且有效的结果挑战数据隐私泄露I多样化模型高质量数据高性能算法高质量结果缺点工艺数据共享数据不完备数据质量差数据不均衡模态不统一第五章

工业大数据——背景□工业大数据挑战及需求17解决方案完备分析：使分析结果支持工业全过程质量保障：保证数据的质量，降低分析的误差数据安全：在云计算等平台应用中，对数据进行安全保护高效实时：实现算法的高效、准确运行，达到基本目标InstanceRandomForest挑战多样化模型数据隐私泄露

高质量数据高性能算法高质量结果第五章

工业大数据

背景□工业大数据挑战及研究方向线性分类

深度网络

集成学习

图网络

统计学习Class-BChacaMajority-Voting-Fimal-Classinputlayer18第五章

工业大数据INDUSTRY4.05.1数据采集Big

DataCloud

computing□数据来源与收集在数据分析的基础步骤中，数据来源与收集是核心环节。高质量的

数据来源，包括内部数据库、公共数据集及第三方数据服务，是确保分

析有效性的前提。合理选择数据收集方法，不仅影响数据的准确性，还

决定了分析的可靠性。了解和应用适宜的技术，对于转化这些数据为有

价值的信息至关重要。内部数据库数据来源公共数据集第三方数据服务数据集外部跨界数据2005-

工业物联网数据+

哪

一第五章

工业大数据——1.数据采集工业大数据工业数据的总称，包括企业信息化数据、工业物联网数据，以及外部跨界数据。企业信息化数据20第五章

工业大数据——1.数据采集□数据采集—

物联网技术数据采集方面，以传感器为主要采集工具，结合

RFID

、条码扫描器、生产和监测设备、PDA

、人机交互、智能终端等手段采集制造领域

多源、异构数据信息，并通过互联网或现场总线等技术实现原始数据的

实时准确传输。展示层总控大屏系统

3D可视化系统移动端应用应用层

数据处理分析

数据实时展示

数据历史追溯

数据分析报表处理层

统一数据接口数据并发处理

数据存储服务数据优化数据实时推送采集层

通讯协议

通讯协议

通讯协议

通讯协议注

塑

机对刀仪设备层桁架机器人三坐标测量仪白动装配生产线

钣金加工单元水处理系统工程装备物联网音频采集器音频采集器视领采集器视须采集器互联网应用软忤层空气传感器互联问操作系统层水系传感器土

传办公设备

互联回板心手机上产设备家用设备移动互联网

22□数据采集—

物联网技术物联网通过传感器、RFID等技术收集庞大量级的数据，涵盖广泛的节点从小型设备到超级计算机。有效的数据治理和统一的标识解析体系

对于物联网的成功至关重要，不仅支持数据的互联和共享，而且使产品

追溯成为可能。通过工业互联网标识，每个产品和部件都拥有独一无二的身份，保证了数据的精确追踪和高效管理。第五章

工业大数据——1.数据采集传统互联网大数据互联网信息层(数据海洋)云计算虚拟视觉系统虚拟感觉葬统感器虚拟运动系统互联网

软件层笔记本台式机台式机硬件层口检测仪表检测仪表是一种能够确定所感受的被测变量大小的仪表，它可以是

对各种物理参数(如压力、温度、流量、物位等)进行测量的工具。检

测仪表通常由传感器、变送器和显示装置组成，它们共同构成了一个完

整的测量系统。第

五

章

工业大数据——1.数据采集压力传感器热电偶23口检测仪表传感器负责接收被测信息，并将信息转换成相应的输出变量；变送器则将这些输出变量转换成标准信号，以便于传输和处理；最后，显示

装置将这些信号转换成易于理解的数值或图形显示出来。第

五

章

工业大数据——1.数据采集温度表

电动阀门24元件和测量电路和电源组成，如下图所示。转换元件它是直接感受被测量，并输

出与被测量构成有确定关系、更

易于转换的某一物理量的元件。电量

测量电路把转换元件输出的电信号变换为便于处理、显示，记录、控制和传输的可用电信

号口检测仪表

传感技术传感技术是检测仪表的基础，它涉及到将被测量的物理参数(如温

度、压力、流量等)转换为电信号的过程。这些电信号随后可以被读取、

处理和分析。传感器是传感技术的核心设备，传感器由敏感元件，转换第

五

章

工业大数据——1.数据采集传感技术说明图

25将敏感元

件感受或响应

的被测量转换

成适于传输或

测量的电信号敏感元件

转换元件敏感

元件电源维口检测仪表

信号处理技术信号处理技术涉及对传感器产生的原始电信号进行放大、滤波、转

换和数字化处理，以便于后续的显示、存储和分析。典型的信号处理系

统主要由传感器、信号形式变换电路)、信号调理电路、模数转换、数字

信号处理系统、数模转换或数字输出、信号调理电路、信号形式变换电

路等组成，如下图所示。声、光、位移、速度数模转换模数转换还原数字量输

出与显示第

五

章

工业大数据——1.数据采集信号处理技术说明图数字信号

处理系统声、光、位移、速度传感器信号

调理信号

变换信号

变换信号调理信号处理信息获取26第五章

工业大数据——1.数据采集□检测仪表——数据采集技术数据采集技术指的是将处理后的信号转换为数字形式，并通过计算机系统进行进一步的分析和处理。这包括了模数转换、数据采集卡的设

计和使用，以及相应的数据处理软件。在数据采集系统中，外部信号在

通过数据采集接口，经过模拟和数字电路的转换后得到数字信号，与PC

机通讯并进行数据处理与分析，如下图所示。数据采集系统电

源数据采集技术说明图外

部

信

号接

口模拟电路数字电路通

讯27PC扰动放大环节执行机构反馈环节反馈环节口检测仪表

自动化控制技术自动化控制技术是指利用计算机和其他电子设备来自动执行检测仪表的任务，如自动调节、数据采集和远程监控等。自动化控制技术基本

结构主要包括输入装置，输出装置，控制器和被控制对象，如下图所示。第

五

章

工业大数据——1.数据采集校正环节控制器自动化控制技术说明图r(t)

e(t)!控制对象扰动c(t)28口检测仪表

温度检测工业生产中往往需要控制和监测物体的温度，以确保生产过程稳定

和产品质量。温度检测仪表如温度传感器、红外线温度计等被广泛用于

炉温控制、加热系统监测、冷却过程控制等，其应用场景如下图所示。第

五

章

工业大数据——1.数据采集温度监测场景29口检测仪表

压力监测在管道、容器、设备等各种工业场合中，压力监测仪表如压力传感

器、压力表等被用于监测介质的压力变化，以确保设备的安全运行和生

产过程的稳定性，其应用场景如下图所示。第

五

章

工业大数据——1.数据采集压力监测场景30口检测仪表

流量测量在液体、气体等介质的输送和流动过程中，流量测量仪表如流量计

被用于准确测量流体的流速和流量，以确保生产过程的控制和流程优化，

其应用场景如下图所示。第

五

章

工业大数据——1.数据采集流量测量场景31□检测仪表——液位监测工业生产中常涉及到液体或固体物料的储存和输送，液位检测仪表如液位计、浮球液位计等用于监测储罐、容器中的液位变化，以确保生

产过程的安全和稳定，如下图所示。第五章

工业大数据——1.数据采集液位监测场景32口检测仪表

物位监测在粉体、颗粒状物料的储存和输送过程中，物位监测仪表如物位开

关、激光物位计等被用于监测物料的填充情况和堆积高度，以确保生产

过程的顺利进行，其应用场景如下图所示。第

五

章

工业大数据——1.数据采集物位监测场景33□检测仪表——质量监测工业生产中常需要对产品的质量进行监测和控制，质量检测仪表如称重传感器、显微镜、光谱仪等被用于检测产品的物理性质、化学成分

和表面质量，以确保产品符合标准和客户要求，其应用场景如下图所示。第五章

工业大数据——1.数据采集质量监测场景34应用层

显示界面

数据服务器

设备控制试验管理TCP/IP(OPC

UA)口远程I/O数据采集远程I/O

数据采集是指通过远程I/O

模块实时采集现场数据，并将这

些数据传输到控制中心或监控中心进行处理和分析的过程。这种数据采

集方式允许远程监测和控制现场设备，而无需直接接触到设备本身，从

而提高了生产过程的灵活性和效率。第五章

工业大数据——1.数据采集EtherCATEtherCAT实时设备层EtherCAT35第五章

工业大数据——1.数据采集口远程I/O数据采集远程IO的使用带来了多方面的优势。远程IO模块可以安装在现场设备附近，减少了长距离电缆的使用，降低了成本和潜在的故障风险。此

外，远程IO模块通常支持多种通信协议，如Modbus

、Profibus

等，这

使得它们可以与多种设备和系统兼容，便于系统的维护和扩展。OPCUA

耦合器TO

EtherCAT转CAN

EtherCAT转RS485+IO

EtherCAT

转脉冲+方向EtherCAT

Pofiunet边缘计算控制器现场设备

CAN白

P36I/O

模块(Input/Output

Module)是用于连接和控制输入/输出设备的重要组件，它通常用于各种自动化系统中，包括工业控制系统、

建筑自动化系统、智能家居系统等。I/O

模块负责接收外部传感器的输

入信号，并将其转换为数字或模拟信号，同时可以向执行器发送控制信

号，实现对外部设备的监测和控制。电桥测量编码器/脉冲触发压力测量温度测量37第五章

工业大数据——1.数据采集耦合器EtherCATProfinetProfibusModbusTCP数字量输入(NPN)数字量输入(PNP)数字量输出(NPN)数字量输出(PNP)电压输入电流输入电压输出电流输出□IO模块IO模块第五章

工业大数据INDUSTRY4.05.2

数据分析Big

DataCloud

computing□工业大数据分析框架工业大数据分析框架分为六个阶段：业务理解、数据理解、数据准

备、建模、验证与评估以及实施与运行。这一模型特别强调过程的迭代

性，特别是在业务与数据理解、数据准备与建模间的循环。第五章

工业大数据——2.数据分析数据准备数据建模业务理解

数据理解实施与

运营验证与评估39数据数据准备Dataschema理解业务场景

分析数据来源理解(业务与采集技术)算法尝试第五章

工业大数据

2.数据分析□数据分析三要素数据分布概览数据质量(业务场景还原)数据质量(统计)数据质量

处理措施统计特征

领域特征数据变换特征选择数据清洗特征提取技术要点质量指标模型的业务

语义解读数据理解模型建立算法检验40第五章

工业大数据——2.数据分析□工业数据理解——认识工业对象业务理解和数据理解的目的，是在工作的前期，认识业务相关对

象以及目标要求、条件约束。在此基础上选择合适的数据分析问题，

以避免工作过程中出现方向性错误，进而减少无效和低效的劳动。输入：控制命令、物质、能量高炉系统系统内部状态：工艺参数、设备状态生产铁水生产煤气

生产高炉渣输出：系统的最终

产品工业系统的抽象化有用功能：提高效率负面功能：增加能耗工业系统的功能描述41第五章

工业大数据——2.数据分析□工业数据理解——描述性统计运用制表和分类、图形以及计算概括性数据来描述数据特征变量线性相关关系平均数集中趋势分析

中位数分位数离散程度分析方差标准差变异系数平均绝对误差

均方根误差偏度峰度分布形态相关系数协方差众数42运用图形数据来描述数据特征97.9%数据图像展示93.03%691.08%8.63%6比较相关分类、顺序变量

数值变量

分类、顺序变量

数值变量(al)(d2)条形图

饼状图直方图

盒须图茎叶图Side-by-side条形图第五章

工业大数据

2.数据分析□工业数据理解

描述性统计堆叠条形图

散点图趋势图数据分析accuracy94.99%43□工业数据理解——推断统计利用概率决定某两组(或若干组)数据之间存在某种关系的可能性，并由样本特征来推断总体特征的统计方法第五章

工业大数据——2.数据分析总体数据集模型参数涉及：概率分布、参数估计、假设检验样本统计量采样推断44对称数据是否聚集在中心值是离群值分布

形态非对称离群值位置全部大部分为正数

为正数离散是否能估计出结果或概率是

否估计概率分布

对称或非对称第五章

工业大数据

2.数据分析□工业数据理解

概率分布对称数据是否聚集在中心值非对称离群值是正或负数据离散或连续对称或非对称仅

正负二项分布负超几何分布很少

离散点正态分布是二项分布均匀分布/多模态分布否均匀

分布sticCauchyLognormalGamma大部分为负数MinimumExtreme几何分布指数分布三分布少离散点无离散点连续45否均值小样本正态总体σ²已知

正态总体σ²未知Z

分布

t分布第五章

工业大数据——2.数据分析□工业数据理解

参数估计比例大样本Z分布大样本Z

分布方差x²

分布待估参数46参数检验

非参数检验单样本

双样本或多样本

单样本

双样本或多样本独立样本

配对样本

独立样本

配对样本·

x²

检验·Mann-Whitney·

Mood's

Median·

K-S检验□工业数据理解

假设检验假设检验第五章

工业大数据

2.数据分析·

sign

检验·Wilcoxon

检验·McNemar检验·

x²

检验·

x²

检验·K-S检验·游程检验·二项分布检验·双样本t

检验·配对t检验

Z检验·

t

检验·Z检验47□工业数据准备——数据预处理工业过程中产生的数据由于传感器故障、人为操作因素、系统误

差、多异构数据源、网络传输乱序等因素极易出现噪声、缺失值、数据不一致的情况，直接用于数据分析会对模型的精度和可靠性产生严重的负面影响。在工业数据分析建模前，需要采用一定数据预处理技术，对数据进行预处理，来消除数据中的噪声、纠正数据的不一致、识别和删除离群数据，来提高模型鲁棒性，防止模型过拟合。在实际数

据分析工作中涉及到数据预处理技术主要有数据的异常值处理、数据的缺失值处理、数据的归约处理等。工业数据预处理阶段包含：数据清洗、数据变换、特征选择、特征提取第五章

工业大数据——2.数据分析48第五章

工业大数据——2.数据分析□工业数据准备——数据清洗对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。1.格式内容清洗：清楚在格式和内容上存在问题的数据。2.逻辑错误清洗：去掉一些使用简单逻辑推理就可以直接发现问题的数据，例如数据的上下界。2000上3.非需求数据清洗：删除不必要的数据。15004.关联性验证：对多来源数据进行关系清洗。020Wind

Speed(m/s)power(kw)349K-meansDBSCAN

◆

建立模型据此来判断是否异常GMM红色曲线为真实分布

1500蓝色区域为保留样本橙色为原始带噪样本第五章

工业大数据

2.数据分析□工业数据准备

数据清洗◆

根据实际系统的异常与数据的分布之间的关系来区别异常

根据实际系统逐步进行数据清洗回归贝叶斯随机森林决策树◆

根据密度或者距离来判断异常10Wind

speed(m/s)

50数据清洗常用方法Power(kW)1000500第五章

工业大数据——2.数据分析□工业数据准备——数据清洗

噪声填补与检测●异常值填补法：k-邻近替换法、局部

加权替换法、有序邻近替换法、均值法、最常见值回归填补、多重填补●距离检测法：k-邻近法●统计方法：3σ²探测法●分布异常值检测：Grubbs

检测、Dixon

检测、3t分布检测51□工业数据准备——数据降噪将数据中的噪声和冗余剔除，减弱或消除噪声对结果的干扰·

均值滤波：将N个周期的采样值计算平均值，去除尖锐噪声，平滑数据。·

小波分析：对空间或时间与频率的局部变换，能有效地从信号中提取信息。originalf%(t)f()wW

Js₂()MWAoyyMyh

S;(①)·

奇异值分解：通过矩阵降维分解，发现数据中的潜在信息。A=UEVT·

经验小波分解：利用带通滤波器，保留低频主成信号，去除高频噪声信号第五章

工业大数据——2.数据分析·

深度学习reconstucional

sig(t)msig(1)-original+noisedecompositionreconstructionsig(1)52第五章

工业大数据——2.数据分析□工业数据准备——数据异常处理异常检测，也称为偏差检测或例外挖掘，关注识别不符合预期行为

的数据点，这些被称为离群点。异常可以是单个点、语境相关或集体性的。处理方法多样，包括基于统计、基于模型、基于密度和基于聚类的技术，旨在有效识别并处理这些异常。每种方法适应不同的数据环境和

需求，帮助揭示数据中的不规则模式，对于预防欺诈、故障检测等应用至关重要。异常数据检测53第五章

工业大数据——2.数据分析□工业数据准备——数据缺失处理现实世界中，数据经常不完整，特别是工业大数据。数据缺失可能

由多种因素造成，如设置问题、数据脱密、网络问题等。处理数据缺失

方法多样，选择策略取决于数据本身的特性和缺失程度。对于小比例的

随机缺失，可直接删除这些数据；而连续缺失则可通过平滑方法如线性插值、拉格朗日插值等进行填补。此外，还可以使用多元插值和sinc内

插值方法根据数据的上下文进行恢复，确保数据完整性和分析的准确性。54第五章

工业大数据——2.数据分析□工业数据准备——数据归约处理工业大数据面临数据量庞大但价值密度低的挑战，数据归约技术是

解决这一问题的关键策略。数据归约通过数据降维、数量归约和数据压

缩等方法，在不损失关键信息的前提下减少数据量。数据降维如PCA和

T-SNE,帮助将数据从高维空间有效转换到低维空间。数量归约通过模

型估计或聚类减少数据项数量。数据压缩则通过算法压缩数据，实现高

效存储和传输。这些技术不仅简化数据处理过程，还加速分析速度，提

高数据分析的可行性和效率。C流形学习降维551.多元统计分析·

主成分分析降维(PCA)·

多元异常检测·

马氏距离第五章

工业大数据——2.数据分析□工业数据准备

特征选择、提取2.人工神经网络·

自动编码器·

多层感知机·

卷积神经网络等等3.小样本情况·

迁移学习·

元学习HidenLayercodepe(xz)decodeq.(:x)eicodke56数据检验示例行业：工艺品分析场景：市场销售分析分析手段：统计分析数据洞察示例行业：个人医疗康复分析场景：用户行为分析分析手段：时空模式挖掘、知识图谱第五章

工业大数据——2.数据分析□工业数据分析建模数据辅助示例行业：水力发电机分析场景：天气预报、调度优化分析手段：天气数据+分析后处理、

最优化方法数据驱动示例行业：风力发电机分析场景：可靠性、发电量增加、能

源互联网分析手段：时间序列深度学习、动力

学模型+统计方法+最优化专家知识示例行业：鼓风机分析场景：故障远程诊断分析手段：知识库专家支持示例行业：生物制药分析场景：发酵参数优化、染菌异

常预警分析手段：生物过程模型+统计模型简单机理产品

复杂机理产品少量定制化产品

大量相似产品产品机理复杂度无机理产品产品相似度57设计生产采购销售工艺优化流程优化能效优化质量监控能效监控故障预测库存优化成本优化产量预测配送优化故障管理与预警产品运行状态监控制造过程中的生产参数优化确定所需工序，进行处理与控制通过历史信息改进生产参数找到中间参数与结果的关联根据历史能耗数据进行生产调整根据历史数据快速定位识别故障控制原料与产品库存量对采购成本进行预测预测产品产量生产参数优化分析潜在故障和隐蔽故障预测产品故障概率OLS,CART,AdaBoost,XGBoost关联规则Apriori,FP-growth方法聚类K-Means,GMM,DBSCAN分类SVM,,

逻辑回归，kNN,LDA预测CNN,RNN,MLP

,

深度学习58第五章

工业大数据——2.数据分析□工业数据分析建模一般工业数据建模分析回归数据分析目标概括：状态监测、目标预测、数据安全领域规则相似度匹配(

迁移学习、指纹库)异常模式匹配时序统计匹配：时序分割、时序再表征、异常检测、时序分类、时序分解、序列模式、时序聚类、时序预测状态监测统计指标变化(均值、方差)基于局部加权回归的周期性趋势分解(STL)异常趋势识别奇异谱分析(SSA)经验模态分解(EMD)小波变换、小波包变换(WP)经验小波分解(EWT)第五章

工业大数据

2.数据分析□工业数据分析建模

工业状态监测模型结构变化：ARIMA时序模式分解方法：高速轴齿轮点状腐蚀中间轴齿轮磨损高速轴

齿轮磨损59□工业数据分析建模——工业状态预测分析状态预测是根据已有的数据，利用已经掌握的知识和手段，预先推知和判断事物在未来的发展状况。·ANN、DNN

等神经网络可以对包含隐含关系的数据进行拟合预测·

Attention机制可以使各个不同的特征对结果输出有着不同的影响权重，提升预测的准确度·

RNN、LSTM

等考虑到时滞性的神经网络，保留有效的历史信息，可用于有滞后的时序数据的拟合和预测·

Transformer

等网络将Attention

、LSTM等思路结合，同时考虑到注意力权重与历史信息的重要性，可用于生成更佳的预测模型污水预测(LSTM、Attention、1D-CNN)NHx

Predictionon

Train

Settruevaluepredictvalue1660

1680170017201740光伏预测(在线迁移融合、自编码增强)idealcunveacualaurve第五章

工业大数据——2.数据分析