【《基于深度置信网络模型的故障诊断方法探究》19000字】

-[4]。基于解析模型的方法，需要在掌握研究对象的机理来实现建模，比如建立观测器[5]、等价空间方程[6]等方法，预测系统的输出并构建残差信号以实现故障诊断的目的。但是现代机械设备机理的复杂化和数据关系的复杂化，使得系统的数学模型难以构建，逐渐不适合大数据时代的工业。目前基于模型的研究方向主要围绕提高其在非线性过程的检测率和鲁棒性。文献[7]提出了一种扰动解耦的粒子滤波算法，增加了等价空间法的鲁棒性。基于知识的方法，也依赖于系统的机理与先验知识，从系统的初始状态出发，利用逻辑推理，完成故障的检测和分离。图论[8]的方法建模方法简单，但它在联系复杂的系统过程检测正确率不高，文献[9]将图论和贝叶斯网络相结合，提出了解决复杂关联关系的故障诊断能力的方法，文献[10]介绍了同高效双向推理引擎建立符号定向图深层知识模型的方法。基于专家系统的方法[11]，受专家经验影响大，虽然也不用建立数学模型，但是获取知识的过程比较困难。基于数据驱动的方法是最适合当前科技发展趋势的方法，该方法避免了前两种方法对机理和先验知识的依赖，直接依托建立网络模型对数据的处理实现特征的提取。最早发展起来的是基于统计分析的方法，包括主成分分析法、局部判别分析、高斯混合模型，然后不断研究拓展至适用于更多非线性工业过程。将近年来，深度学习的发展为数据驱动在故障诊断方面的发展提供更多方法，本文主要研究深度学习中的深度置信网络在故障诊断方面的有效性。基于数据驱动的故障诊断基于数据驱动的故障诊断，不用确定系统的解析模型，对运行过中采集到的数据进行分析处理，从数据中挖掘故障有关信息，是目前经常用的方法。通过对采集的大量离线数据进行相关模型训练，分析故障相关信息，这种方法不需要具体的机理和先验知识，在现代工业过程中研究与应用越来越多。一般将数据驱动的诊断方法大致分为信号处理、多元分析、机器学习[2]等。本节主要对其中的两种，基于多元统计分析的和深度学习的方法做主要概述。基于多元统计分析的故障诊断概述基于多元分析[12]是数据驱动的故障诊断中研究与应用中，发展最早的方法，通过对高维数据向低维映射，然后通过对低维特征空间的分析实现故障信息提取。传统的方法有主元分析（PrincipalComponentAnalysis，PCA）、费舍尔判别（FisherDiscriminantAnalysis，FDA）[13]、独立元分析(IndependentComponentAnalysis，ICA)、偏最小二乘(PartialLeastSquares，PLS)。现代多元分析的方法，主要是对传统方法的改进和与其它方法的优势组合，以实现更适合非线性、联系复杂的实际采集数据的目标。PCA能够在实现数据降维的同时，分解出原始数的主元空间，以它来表示这个样本的主要特征。离线过程数据用来建立主元空间，在线监测数据在此模型的基础上投影，建立和统计指标，以判断是否有效实现故障检测，并通过定义贡献度函数，用贡献图法[14]判断引起故障的最大变量。但是传统PCA方法只是利用线性变换，对实际工况中很多非线性数据不能有效应用，因此经过改进，发展出很多方法以实现非线性问题中对数据的有效检测，Muhammad等[15]提出基于多尺度主成分分析、累计和的多尺度故障检测方法，建立新的和指标方法，提高了鲁棒性。核主成分分析（KernalPCA，KPCA）[16]对坐标轴做非线性变换，数据所映射的新基不再是直线，而是一条曲线或者曲面，这一方法的提出，提高了非线性过程的检测性能。如针对传统PCA只考虑了静态线性关系的问题，发展出动态PCA[17]，考虑数据变量间的自相关性，适合动态多变量问题。FDA[18]的主要原理与PCA相似，通过正交向量对训练数据进行投影，但不同的是，FDA考虑了数据之间的关联性，可以通过定义分散矩阵实现数据分类，但若是在样本数据均值变化不大的情况下，FDA的方法会因为投影空间产生交叠而影响故障检测效果。文献[19]介绍了一种半监督学习结合FDA模型的方法，以自适应形式来实现故障分类的方法，通过这种方法大大提高了鲁棒性和故障诊断能力。PLS[20]同时分析了信号的自变量和因变量，结合了数据的降维和回归，因此还可以实现故障的分类，适用于处理样本少但是变量多相关性复杂的数据关系。文献[21]对比了PCA和PLS方法在热连轧过程的检测结果，验证了PLS比传统PCA有更好的检测效果。ICA比PCA有更多方面的优势。ICA[22]通过比较随机微分熵，将数据分解成多个没有相关性的变量组合，这种分解在非高斯正态分布输入信号下唯一确定，因此与PCA和PLS相比，ICA可以用在源信号为非高斯的情况下，具有更为广阔的应用场景。文献[23]介绍了ICA在工业过程监控和故障诊断中的建立方法，并验证其在化工过程的应用。基于深度学习的故障诊断概述人工智能、大数据的发展让机器学习不断拓展发展。传统的机器学习，通过历史数据训练模型，来实现对在线数据的监控，但是在特征的选择上，往往没有很好的效果，而深度学习模拟生物神经元的信号传递方法，加深了网络层数，而多层的深度学习网络能够更好的表现出数据和设备状况的映射，在故障诊断方面成为近几年十分受欢迎的研究方向[24]，随着新用途和设计的提出，深度学习呈结构越来越复杂的趋势。卷积神经网络（ConvolutionalNeuralNetwork，CNN）[25]可以提取抽象的数据特征。其在底层网络部分通过卷积和子采样两种形式轮流更迭训练数据，中间的卷积和池化层堆叠建立，顶层部分是普通多层神经网络的结构。文献[26]介绍了深度卷积网络的构建方法，并用使用傅里叶变换将信号转化为频谱图，提出了一种改进的Dropout结合CNN的方法，提高了故障特征的自适应提取能力。深层架构的CNN有更好的特征提取和复杂映射能力。Fan[28]等人提出了CNN结合传递学习的故障诊断方法，解决了强噪声影响下故障图像诊断的问题，堆叠自动编码机（StakerAutoencoder，SAE）[29]是一种自监督模型，由自编码器堆叠而来，这种方法更加适用于对低维数据进行处理。它由两部分构成，其中编码器负责提取，解码器负责重构，重构输出数据和原始数据同一维度，当输出和原始数据的误差值足够小时，其低维数据的输出便可以当做被提取的特征。文献[30]将批量标准化引入SAE，提出了改进的SAE模型，使误差更小。为了增强SAE的鲁棒性，降噪自动编码器在原始数据加入噪声，使退化的特征也能得到学习。Li[31]等人提出了用叠加去噪SAE的聚合层的方法，消除了网络深层的梯度消失现象，将表层节点的表达与深层节点的表达混合，避免了深层节点表达能力的不足等问题。递归神经网络（RecurrentNeuralNetwork，RNN）[32]是一种考虑了样本之间关联性的网络，即某时刻的输出还受上一时刻隐含层的输出影响，这种方法可以处理有时间序列存在的数据，但是在信息传播的过程中容易出现梯度消失的问题。为了解决这个问题，可以对状态进行判断处理的长短记忆网络出现，文献[33]提出一种长短记忆网络和RNN结合的方法，用长短记忆网络提取时间维度的相关性，有效提高了在时间相关性强的工况中的问题。Liang[34]等人提出了一种CNN和RNN结合的卷积循环神经网络，实现了特征提取和学习振动信号前后数据相关性相结合的诊断方法，大大提高了诊断能力。深度置信网络DBN是由玻尔兹曼机发展而来的，玻尔兹曼机是基于能量的函数，其定义类比于物理模型，即系统越稳定网络蕴含的能量最小。相比于传统方法，与浅层网络相比，DBN模型有效解决了维数灾难、诊断精度低等问题；与RNN、CNN等其他深度学习模型相比，DBN算法简单，易于训练，并且拓展方便。其优势还在于，它对时域频域没有要求，不需要其他对信号的处理技术，独立完成对大量数据的特征提取。目前对DBN在故障诊断的研究还处于上升研究阶段，展现出了很多方面的应用提升目标。近些年越来越多的研究对传统DBN进行改善，以增强其诊断能力和性能，目前DBN在故障诊断领域，主要用于特征提取和分类。文献[35]提出了改进的DBN诊断方法，将正则项引入训练过程，将传统RBM改成稀疏RBM，并用拉普拉斯函数规范DBN的稀疏状态。文献[36]提出了结合DBN和随机森林算法，进行降维和提高分类率的分类方法，该方法在处理航天器电信号数据的精度、计算效率和稳定性等方面都有很好的表现。论文的主要内容本文针对故障诊断展开研究，从介绍传统故障诊断技术开始，提出了本文主要研究重点，基于深度置信网络的故障诊断方法，通过构建DBN网络模型完成故障检测、辨识与分类。在第二章中，对基于数据驱动故障诊断进行概述，然后介绍了其中的分支，深度学习在故障诊断中的概述，引出本文中研究所用的主要方法深度置信网络。在第三章中，对基于传统故障检测、辨识、分类方法的介绍。首先介绍了基于PCA的故障检测、辨识方法，建立检测指标和，并描述根据两个统计量指标建立故障变量贡献图，然后介绍用于分类的传统的BP算法。在第四章中，介绍了本文主要的研究对象DBN在故障诊断方面的建立方法。首先介绍DBN的原理，从单个受限玻尔兹曼机的架构训练，到整个DBN网络的建立和训练方法。其次，在DBN网络模型的基础上，介绍了DBN实现故障检测指标建立方法，在此基础上，通过链式偏导完成故障辨识。最后研究DBN与Softmax层相结和实现故障分类的方法。在第五章中，对工业带钢热连轧进行过程描述，并通过MATLAB编写程序仿真，用带钢热连轧案例数据集，根据第四章所描述的方法，用DBN模型实现故障的检测、辨识、分类，并将结果与第三章中所提的传统方法做对比，验证DBN在故障诊断方面的有效性。基本数据驱动故障诊断方法故障诊断技术发展至今，方向和方法众多。其中PCA主元分析方法最基本的方法之一，以其用较少综合变量保留尽可能多的原始信息、建立过程简单、无参数限制等优点广泛应用于工业故障检测中。BP神经网络也是应用最广的神经网络，其发展理论和扩展应用都已经比较成熟。本章介绍传统PCA的故障检测方法和BP网络用于分类的方法。基于PCA的故障检测主成分分析是最常用的无监督数据降维方法之一，它根据数据特征进行正交变换，在降低维度的同时，将数据的主要特征信息保留下来，达到最大化原数据方差的作用，使数据在不同正交方向上没有相关性。假设检测数据的样本矩阵为，为维矩阵，为单个变量的样本数，为输入变量的数目。PCA模型可以分解如下形式：（3-1）其中为得分，其中，得分向量表示在上的映射，也表示每个主成分的权重。，为负载矩阵。各之间和各之间都是正交的。首先计算矩阵的协方差：（3-2）然后对进行特征分解，将得到的特征值按排列，对应的向量分别为。具体求解公式如下：（3-3）其中，，为主元负载部分正交矩阵，由前个主元的特征向量组成，为残差负载的正交矩阵。因此可以求得下式：（3-4）式中为降维后的主元模型，为主元得分，且，为残差矩阵。这里用累计方差贡献率（CPV）来计算，一般认为当CPV的值大于时，可以用选取的数据信息作为主元。的计算方法如下式：（3-5）故障检测需要根据主成分和残差矩阵建立和检测统计量，表示样本在残差空间中投影的变化，衡量了对主元的偏离程度。衡量样本在主元空间内的变化，新样本向量在训练集样本中建立的主元空间映射如下式：（3-6）和实现公式为：（3-7）统计量的阈值和的建立方法如下所示：（3-8）式中，是显著性水平为的上分位数，相关系数和的计算方法如下所示：（3-9）PCA的故障检测标准可根据统计量值和阈值的比较了来判断，如下式：（3-10）综上，基于PCA的故障检测，具体实现的步骤如下：用历史正常数据离线训练建模，首先对历史样本用零均值单位方差的方法预处理。将标准化后的正常数据，用式（3-2）、（3-3）、（3-4）进行PCA分解，通过式（3-5）的方法确定主元个数。用式（3-8）计算和的控制限。对在线监测数据按训练数据同样的方法进行的标准化预处理。根据步骤（2）中所述方法对在线测试数据进行处理。用式（3-7）所述方法建立和统计指标。绘制和图形，根据是否超过控制限，判断在线监测过程是否发生故障。基于PCA的故障辨识完成PCA的故障检测后，和统计量仅反映了是否发生故障，没有直观的描述某个采样点故障的主要影响变量，还需进一步判断造成故障发生的具体变量，对故障进行定位。基于传统PCA的方法通过贡献图法，用直方图的形式，直观的判断每个变量对采样点的贡献值，贡献值大的几个值对应的变量，即可确定为故障发生位置，便于故障排查。第个变量在第个时刻的贡献值是个主元变量贡献值的累加，贡献值定义如下式：（3-11）第个变量在第个时刻的贡献值是残差变量的平方，贡献值定义如下式：（3-12）基本分类方法传统的BP算法分为前向传播和误差反向传播两步。前向传播通过权值和阈值计算原始数据的输出；在反向传播中，网络输出值与期望值进行比较，将误差利用梯度下降等方法优化参数，直至训练集的最终误差小于设定值。BP神经网络由输入层、隐含层、输出层组成，它的基本结构如图所3-1所示图3-1BP基本结构BP神经网络的建立，首先随机初始化BP的层间权值和每个神经元的阈值，输入数据的实际维度确定BP的输入层个数，输出层个数由最终的分类目标数确定，隐层的数目可根据公式3-11来确定。（3-11）、分别代表输入输出层神经元数，选取1-10内的常数。设样本数据集输入为，为输入数据，为对应的标签。隐层和输出层之间的激活函数，这里选用，即函数。表示第三层和中间层权值，隐层第个节点的输出为：（3-12）表示隐含层与输出层权值，输出层结果可计算为：（3-13）若每个节点的期望输出为，可定义损失函数输出：（3-14）采用梯度下降法更新权重，使误差逐渐达到最小，给定学习率，反向传播的权值更新公式为：（3-15）根据以上原理，BP网络实现分类过程可以总结为：1）首先划分数据集，每类选取一部分作为训练集训练BP网络，一部分为测试集，验证最终BP网络的分类能力。给数据加标签，如有五类故障数据，则每类故障对应标签。2）构造输出矩阵，将一维类别标签训练集和测试集标签转换为故障类数的维度，如表示改样本属于第一类，表示该样本属于第三类。3）初始化参数。随机更新权重和阈值，设置输入层数为变量个数，输出层设置为要划分的类别数，隐层个数按式（3-11）计算，。4）开始训练，按式（3-12）、（3-13）计算隐层和输出层输出，然后根据（3-14）计算误差，不断更新各层权重和阈值，直到误差小于一定值。5）开始测试，将测试数据归一化，输入网络测试分类能力。最后输出矩阵中，包含属于每一类的可能值，按最大值的划分类别，然后将测试结果转化为实际标签进行绘图显示。本章小结本章介绍了传统的故障诊断PCA在故障检测与故障根源辨识方面的建立方法，对输入数据预处理后求解协方差矩阵，并通过对协方差分解，建立主成分和残差成分，测试集数据在此基础上构建故障检测指标，在检测指标的基础上在构建变量贡献图。以及介绍传统BP神经网络在分类问题的应用。本章介绍的内容将用于与后面DBN进行故障诊断的结果进行对比。基于DBN的故障诊断方法本章从DBN介绍原理出发，构建DBN算法模型，实现相应功能模型构建，通过和两个指标完成故障检测；然后通过求连续偏导数大致计算每个变量对统计量中故障指标的贡献率；最后介绍如何建立有监督DBN模型的方法，实现对故障数据的分类。DBN的基本原理DBN是深度学习的一种模型。既可以类似于一个自编码机，通过无监督过程实现对数据的降维与特征提取；也可以在监督学习中，在顶层输出数据上加softmax层，作为分类器来使用。受限玻尔兹曼机玻尔兹曼机（BoltzmannMachine，BM）[37]可以抽象描述变量之间的相互作用，由力学定义演变而来，可以模拟数据的概率分布。它由两层网络构成，层内各神经节点全连接，这种结构下，使BM在实际使用中计算量过大，模型的连接过于复杂，难以模拟到所有分布。在此基础上，为了使BM更具实用性，优化得到了受限玻尔兹曼机。（1）RBM能量模型受限玻尔兹曼机（RestrictedBoltzmanMachine，RBM）由显层和隐层构成，层与层间继承了BM的全连接形式，层内各神经元之间则互不相关。如图4-1是RBM的基本结构。以二值RBM为例，它有随机可见单元，随机隐藏单元，神经元状态取“0”和“1”代表未激活和激活两种状态，表示连接权重，D和F代表可见单元和隐藏单元的数量。能量函数的定义为：（4-1）图4-1RBM模型的基本结构其中是模型参数，是可见单元的偏置，是隐藏单元的偏置，是和之间的连接权重。能量函数为RBM的训练提供了目标函数与目标解，两层网络间的联合分布，也可以称为似然函数，被定义为：（4-2）（4-3）式中Z是系统的分配函数。因RBM节点的连接仅存于层间，层内各神经元条件独立，当显层确定时，可以推导隐层被激活的概率如式4-4。当隐层的状态确定时，可以定义显层的激活概率如式4-5。RBM激活函数定义如式4-6。（4-4）（4-5）（4-6）（2）RBM训练算法RBM网络的训练目标是，经过重构的数据与原始数据间的误差最小，使符合给定数据输入样本分布的概率最大，此时输出数据和原始数据的拟合度最高，整个网络的能量也达到最低。将训练集数据标准化后赋值给可见层，通过求可见层的极大对数似然函数来训练参数，使式4-7的概率p(v)的值能达到最大。每个参数的最佳值可使用以下目标函数找到：（4-7）（4-8）训练向量对数概率的偏导数的计算方法如下：（4-9）（4-10）（4-11）其中代表训练数据的期望；代表模型定义的期望。这些样本可以通过吉布斯采样（AlternatingGibbsSampling,AGS）[7]，也被称为马尔科夫链蒙特罗法（MCMC）计算出最大似然函数，而需要花费无穷多步吉布斯采样，存在训练时间过长、求解缓慢等问题。为解决此类问题，Hinton等学者提出了对比散度（ContrastiveDivergence，CD）算法，也称算法，当时，即只经过一次吉布斯采样，就可以实现很好的训练效果，已成为一种标准方法训练RBMs。如图4-2所示的步采样过程。图4-2交替吉布斯采样过程利用对比散度算法，可以得到权值和偏置的更新如式4-12，式中为学习率，和为显层和隐层的重构数据。具体算法见算法4-1。（4-12）算法4-1CD-1算法输入：可视向量v，隐藏层单元个数，学习效率输出：权值W、可见层偏置、隐层偏置第一步：初始化连接权值矩阵W、偏置、偏置第二步：对所有隐藏层的节点根据式（4-5）计算隐藏层神经元激活的概率，并随机抽取0-1间的概率值，大于此值激活小于此值则不激活。第三步：根据上一步隐藏层的状态和式（4-6）计算下一可见神经元激活的概率，随机二值化，确定可见神经元的状态。第四步：按照式（4-12）更新参数值。第五步：判断当前迭代次数是否到最大值，小于则回到第二步，大于则结束。高斯RBM在二值RBM的生成过程中，重构后神经元状态取0或1，这种RBM也称为伯努利-伯努利（Bernoulli-Bernoulli）RBM，但是若最终输出需要连续性的实值，如本文DBN用于建立故障检测指标，可见层为实值输出，跟据隐藏层求取可见层不能是根据的大小，随机二值化。需要引入高斯-伯努利（Gaussian-Bernoulli）RBM，对二值RBM做出一些修改，高斯过程并不需要精确的范围，而是取正态分布的连续特征，在可视层中引入连续数值型高斯噪声，高斯RBM的能量函数如式4-15。（4-15）其中是高斯RBM的模型参数，高斯RBM与二值RBM主要有两个地方不同，一是对能量函数的定义不同，另一个是从隐层到可见层的传递过程中，高斯RBM变为用高斯分布函数为激活函数。如式4-16、4-17中和可见单元和隐藏单元的概率分布定义被重新定义为：（4-16）（4-17）其中一般为输入单元的方差。深度置信网络深度置信网络DBN是一种深度概率模型。DBN的最底层接收经过标准化的数据向量，成为第一个RBM的可见层数据，经过RBM转换传递数据至隐层，即高层RBM的输入来自上一层RBM的输出。然而对以堆叠RBM训练数据的过程，仅仅是对原始数据的特征提取，要实现DBN的分类能力，还需将顶层RBM提取的特征数据引入分类器，如softmax分类器，分类器需跟整个DBN一起训练，以拟合用于分类任务的标签值，此时DBN由无监督结构变为有监督结构，可以实现回归分类。图4-3两个RBM构成的DBN如图4-3是由两个RBM堆叠而成的DBN。以两层网络为例，网络的联合概率分布可表示为：（4-18）其中表示因子化的条件分布由式4-19计算得到，表示第隐藏层和第隐藏层的连接权重。：（4-19）整个DBN网络的训练由两部分构成，预训练和微调，如图4-4表示DBN的预训练和微调过程。预训练即对连续的RBM进行单独训练，使RBM单层最优，但并不能使全局DBN网络特征输出最优，通常在最后一层叠加反向传播算法（Backpropagation，BP），对权重进行微调。特征生成过程和重构过程可以看做是是DBN的编码和解码过程。在给定输入数据的情况下，数据自下而上传输的过程为提取系统特征，从生产的特征数据自上而下的过程可以实现对原始数据的重构。因此在逐层预训练后，结合前向传递过程和逆重构过程，然后在整个网络中使用BP算法对权重进行微调。训练完成后判断每个RBM的参数是否是最合适值，此时不会计算模型的能量来判断系统能量是否最小而达到最稳定的结构，而是采用近似的方法，一般用重构误差，重构误差是指，对原始的训练样本进行一次吉布斯采样，返回与初始状态一个维度的数值，每个数值与原始数据之间的累计误差。图4-4DBN训练方法基于DBN的故障检测通过无监督的方法训练DBN网络，提取正常历史数据的特征来建立用于判断设备状态的指标，整个过程分为离线建模和在线检测。用正常工况下的历史数据训练完成DBN模型，完成离线建模过程，在线检测部分实时输入各传感器采集到的数据，以正常历史数据为标准判定正常运行或故障发生。给定一个由个测量变量组成的个样本的过程，首先对训练数据集进行预处理，消除物理量纲不同的影响，常用的归一化方法如表4-1所示。表4-1常用归一化方法方法原理值域线性归一化[0,1]平移缩放归一化[0,1]标准化归一化[-1,1]峰值归一化[-1,1]和值归一化[-1,1]这里使用的标准化方法为零均值和单位方差，测试数据在历史训练数据的基础上进行标准化，标准化后数据表示为：（4-20）输入和输出的特征的数据类型要求为实值，输入数据通过零均值单位方差近似化为高斯单位，输出数据通过顶层高斯RBM提取特征输出高斯单位，中间隐藏单位类型为二进制。为了从测量变量中充分提取有用的特征信息，防止噪声信号过拟合，需要根据实际数据特征维数确定特征层的大小。第一层RBM神经元个数应适当大于输入维数以充分提取特征，随着RBM层数加深适当减少神经元个数以降维提取特征。当尺寸太小时，DBN不合适。层数太多容易使DBN是过度拟合。训练将特征层大小从1到m的DBNs，分别计算均方误差（meansquarederror，MSE）。将最小均方误差快变和慢变的拐点设定为特征层的大小。当网络结构确定后，在给定归一化数据X的情况下，采用CD算法从下到上逐层迭代更新权值。然后以输入数据和重构数据之间的MSE作为评价此DBN模型指标，通过BP反向传播完成DBN的微调。在线检测数据通过DBN多层非线性网络将m维输入测量变量变换到n维特征子空间中，得到特征变量，并由相同的网络从特征变量中导出重构变量。因此，DBN可以将输入变量分解为与正态系统相关的重构变量和与噪声相关的残差变量。残差变量表示为：（4-21）重构变量可以用特征变量非线性表示，故障信息可以在特征变量和残差变量上出现。统计量是由霍特林提出的，在多变量生产中检测过程状况。反映了实时数据在变化趋势和幅值上偏离模型的程度；统计量是输入变量的重构值对样本数据的欧式距离，描述传感器采集到实时数据的偏离程度，是对模型外部变化的一种度量和检验统计量通过特征变量和残差变量来检测过程的异常变化。检验统计量表示为：（4-22）协方差矩阵可近似为：（4-23）其中表示历史数据通过DBN网络提取的的个特征的个样本变量。SPE测试统计数据表示为：（4-24）故障检测的阈值均建立在正常训练数据上，可以用给定的置信水平分别确定，如下所示：（4-25）（4-26）其中,表示具有个自由度的卡方分布，表示用户指定的显著性水平。和分别由和确定，其中表示的平均值，表示检验统计量的方差。因此，检测逻辑是：（4-27）检测指标控制限确定后，计算故障检测相关指标，故障检测率（Faultdetectionrate，FDR）和故障误报率（Falsealarmrate，FAR）定义如下：（4-28）（4-29）基于DBN的故障根源辨识检测出有故障后，还需要确定是那些变量引起异常波动，从而完成故障的定位。在建立基于DBN的故障检测模型后，得到和两个统计量检测指标，本文主要用贡献图法，根据统计量来完成故障辨识。基于指标，通过求每层网络函数对相应变量的链式连续偏导数，求解特征变量对统计量的非线性映射，来衡量特征变量对故障数据的重要性，最终识别在非线性数据下的故障变量。假设用于故障检测的DBN模型由两层RBM构成，实时检测数据由构成。DBN中统计量由式4-确定。则中第个征变量对的贡献率可由式4-28确定。（4-28）式中表示第二层RBM数据转换后的输出，表示第一层RBM数据转换后的输出。根据DBN在故障检测建立的模型，可以确定两层RBM的输出如式4-29、4-30所示。（4-29）（4-30）式4-29中和分别表示第一个RBM的训练完成的由显层计算隐含层的权重值和偏置值。式4-30中和分别表示第二个RBM训练完成的由显层计算隐含层的权重值和偏置值。和表示两个RBM的激活层函数，激活函根据输出数据格式来选择，若输出为二值RBM的概率数据，则激活函数选择sigmoid函数。若输出数据为高斯单位，则选择线性单元作为激活函数。求出每个变量在某时刻的贡献值后，绘制贡献图，通过直方图直观对比显示每个变量贡献大小，根据贡献值大的确定引起故障的主要部分，完成故障定位辨识。DBN无监督下的检测和辨识模型流程图如图4-5所示。图4-5DBN的故障检测、辨识流程图基于DBN的故障分类方法DBN通过堆叠RBM实现特征的提取是个无监督过程，模型建立过程与DBN故障检测过程类似，要实现分类问题，需要在顶层RBM输出数据加Softmax分类层，实现DBN的有监督分类。Softmax属于线性分类器，其分类器模型如图4-6所示，其函数如式4-31所示,式中，表示输入分类器数值数据组成的向量（4-31）图4-6Softmax分类器结构图中为顶层RBM输出的维特征数据，是一个由在范围内的概率值组成的向量，为类别标签，对类故障数据集进行训练，Softmax层训练数据集为：。则Softmax假设函数如下：（4-32）其中为模型参数，样本属于第类的概率值为：（4-33）RBM的损失函数是MSE，而Softmax的损失函数一般为交叉熵，其损失函数定义为：（4-34）Softmax将输出非线性放大到，扩大了数值之间的差距，降低了分类的训练难度。与其它分类器如SVM、BP分类器不同的是，Softmax最终得到一个概率值，不需要再进行比较分类，输出直接可以为分类的概率。训练DBN用于分类，首先需要对数据进行预处理，这里使用的预处理方法为线性归一化将输入数据映射到[0,1]内。如图4-7所示一个三层DBN分类的结构。RBM由底层开始训练，顶层RBM与Softmax分类回归层相连接，分类层与RBM一起进行预训练。为了提升整个模型的分类能力，还须采用BP算法来提升分类效果。BP包括前向传播和误差反向调节过程，在反向调节过程中根据测试集实际类别标签与预测输出之间的差值，根据softmax的损失函数通过梯度下降的方法来更新参数。DBN的连接结构和分类器训练过程如4-7所示。故障准确率的计算公式为：（4-35）图4-7DBN分类基本结构本章小结本章主要介绍DBN模型的原理，并介绍了将DBN模型用于故障检测、辨识、分类的具体方法。CD-1算法通过一次交替吉布斯采样实现对单个RBM的训练，堆叠后反向微调，实现整个网络的架构建立。DBN的故障检测指标在正常训练数据的基础上建立，用正常数据训练网络后，用测试数据建立和两个统计指标。DBN的分类模型，不同于特征提取的无监督过程，则需在检测模型的基础上加Softmax回归层，加入标签后分类器和网络一起训练，并通过BP梯度下降法根据误差，调节权重与偏置，建立DBN的有监督分类模型。热连轧过程应用本章根据第四章的原理与方法，构建DBN网络模型实现在故障检测与分类，并实际数据上进行验证。本章首先对带钢热连轧过程进行描述，并将所提的DBN方法应用于带钢热连轧过程案例仿真验证；其次根据检测结果完成对故障的根源辨识验证。最后将DBN方法的分类情况与传统BP神经网络分类结果进行对比，以验证DBN与传统方法相比具有有效性和优越性。带钢热连轧过程描述带钢热连轧过程作为钢铁生产的重要环节，有设备结构复杂，控制回路和过程变量众多的特点，并且在极端环境下连续生产,一些大功率、大负荷设备容易因设备老化、制造工艺或软件等原因出现故障,导致生产效率低或者生产质量不好。这些变量和回路之间互相影响，会影响最终的产品质量，热连轧过程故障在实际过程中具有动态性非线性等特性，相比一般工业，其故障诊断要更加困难，无法按照传统方法进行生产过程和设备的故障诊断，因此通过更加有效智能的方法保障生产过程安全可靠的运行是亟待解决的问题。图5-1热连轧机组原理图带钢热连轧可分为如图5-1所示六个子过程：加热炉的加热质量对带钢质量影响很大，加热后进入粗轧机，将热板坯加工成适合于精轧机的轧制的中间带坯，在经过飞剪除鳞等工序后进入轧钢的核心部分精轧机组，产品的性能主要取决于精轧机终轧温度和卷曲温度，精轧后经过层流冷却再经卷曲成最终钢卷。精轧机组一般由七个机架构成，每个机架两侧有支撑辊，中间有一对工作辊。为保证带钢出口温度、厚度、板型等达到质量要求，轧机系统一般配置系统自动厚度控制系统、自动版型控制系统和温度控制系统，使得成品带钢的宽度、厚度、温度和表面质量等产品参数满足生产要求。精轧机组后一般装配有各类仪表和传感器，以获得实时质量检测数据来确定各个环节变量的工作情况。本以1700mm带钢热连轧生产线采集的数据为例。如表5-1所示，选取七个机架的辊缝、轧制力和弯辊力以及厚度，共二十个过程变量与一个与厚度有关的质量变量来验证本文所使用的基于DBN的故障诊断算法的有效性。表5-1精轧过程检测变量选取变量类型描述单位G1~G7过程变量机架的平均辊缝，mmTF1~TF7过程变量机架的总轧制力，MNB2~B7过程变量机架的弯辊力，MNy质量精轧出口厚度mm故障检测验证本节使用正常样本数据训练DBN网络，选择六组故障数据作为测试数据，来验证模型的检测效果，故障描述如表5-2所示。表5-2带钢热连轧精轧过程故障故障编号故障描述故障开始的采样点1第5机架弯辊力传感器故障10012第2和3机架间冷却水阀的执行器故障10013第4机架辊缝控制失败20014第2和3机架间冷却水阀的执行器故障40015第3号机架辊缝控制失败20016第4和5机架间辊缝控制失败2001在Matlab搭建DBN网络模型过程验证中，发现两层RBM就有不错的数据特征提取和网络训练收敛效果，且训练速度也较快，于是选择两层RBM构成的DBN来建立故障检测模型。设置的节点个数分别为30-10，即输入21维的样本，最终提取10维的特征数据。两个RBM训练次数都是300次。两层RBM的部分参数如表5-3所示。将设定的样本分成20批训练，单个RBM训练次数设置为300次，学习率设置为0.001，过程检测置信度设置为95%。表5-3两层RBM部分参数设置层数迭代次数输出层激活函数学习率第一个RBM30300Sigmoid0.001第二个RBM10300liner0.0011）对故障1的检测故障1是机架弯辊力故障。即第机架弯辊力的传感器测量值突变，进而引起后面两个机架的弯辊力受影响发生跳变。图5-3展示了DBN和PCA对故障1的检测结果，故障发生在第1001个样本点，基于DBN的和两个指标都能较好的检测到故障，能在第1001个样本点及时检测到故障发生，PCA的统计量的的检测率仅为为8.3%，不能有效的检测故障。（a）DBN（b）PCA图5-2故障1检测结果（a）DBN(b)PCA2）对故障2的检测故障2是第2、3个机架间冷却水阀执行器故障，该故障会使第2、3个机架的平均辊缝发生变化，引起变量和在第1001个样本点发生突变。如图5-3展示了DBN和PCA对故障2的检测结果，故障发生在第1001个样本点，基于DBN和PCA的方法都能够及时检测到故障，但是统计量均出现了不同程度的延时，未能在第1001个样本点处及时检测到故障，PCA的方法延时比DBN方法的延时稍长，所以DBN的方法FDR要大于基于PCA的方法，DBN的FDR为83%，而PCA的FDR为63.6%，DBN的检测效果更好。（a）DBN（b）PCA图5-3故障2检测结果（a）DBN(b)PCA对故障3的检测故障3是机架液压压下辊缝控制失效，相当于变量在第2001个样本点引入故障，进而影响了变量。图5-4展示了DBN和PCA对故障3的检测结果，故障发生在第2001个样本点，基于DBN和PCA的方法都能够及时检测到故障，且检测效果都比较好。（a）DBN（b）PCA图5-4故障3检测结果（a）DBN(b)PCA对故障4的检测故障4为冷却水阀执行器故障，故障在第4001个采样点引入，因为运行初数值波动太大，使两个统计量的初始值计算结果太大，影响对两个统计量的观测，因此从第1001个采样点开始绘制统计量图，如图5-5是DBN和PCA对故障4的检测结果，基于DBN的方法可以及时两种统计量均可以及时监测到故障的发生，而PCA的方法统计量监测完全失效。DBNPCA图5-5故障4检测结果（a）DBN(b)PCA对故障5的检测故障5是第3号机架辊缝控制失败故障，故障在第2001个采样点引入，如图5-5是DBN和PCA对故障5的检测结果，基于DBN的方法统计量值稍有延时，检测率FDA值为90.4%，两个监测指标效果都比较好，而PCA方法的统计量检测率只有41.4%，可以判定为检测失效。DBN（b）PCA图5-6故障5检测结果（a）DBN(b)PCA对故障6的检测第六个故障是第4和5机架间辊缝控制失败，故障在第2001个样本点引入，如图5-7是DBN和PCA对故障6的检测结果，DBN方法的和统计量都有不错的效果，而PCA方法的统计量检测率只有67.2%，没有很好的检测出故障，判定为失效。DBN（b）PCA图5-7故障6检测结果（a）DBN(b)PC将两种方法的六组故障情况的故障检测率FDR和误报率FAR列在表5-3中，进行对比。表5-3六组故障数据故障检测的FDR和FAR（）DBNPCAFDR1991009.3100285.510063.6100345610097.790.497.7100100100100100041.467.210010097.197.8FAR13.02.63.53.225.93.65.56.3345614.65.413.213.44.06.11.83.914.22.35.44.24.55.57.14.6从表5-3中可以看出，将DBN和PCA的方法对比，可以发现，对于三种故障，基于DBN的方法均能有效检测出故障，而对于故障类型1、2基于PCA的统计量方法不能有效检测出故障，通过对比DBN的方法的故障检测效果好于基于PCA的方法，验证了基于DBN方法的有效性。故障根源辨识验证根据第四章所介绍的方法，在用DBN实现故障检测的基础上，利用统计量，逐层推导原始变量数据的贡献值，并用贡献图的形式表现出来。1）对故障1的辨识结果故障1是机架弯辊力传感器故障，机架对应变量值会突然上升，进而后面两个机架相应变量和变量都会受到影响。在第1001个采样点引入故障。计算贡献值后，将结果归一化处理，如图5-8表示故障1数据集中第1500个样本点的贡献图，由图可以看出变量有较大的贡献度，而也被识别成故障相关变量，而第一个机架的总轧制力并不会被此故障影响，可能会出现故障定位错误的结果。图5-5展示了全过程辨识结果，颜色越接近黄色表示故障贡献率越大，可以看出变量、、颜色都比较深，被判断为故障相关变量，但是存在某些变量被误判的情况。图5-8故障1第1500个样本点贡献图图5-9故障1全过程故障辨识图2）对故障2的辨识结果故障2为冷却水阀的执行器故障，故障在第1001个采样点引入，该故障首先会使值发生跳变，进而影响后一个机架的辊缝。如图5-10所示为第1800个样本点各变量对的贡献值，由图可以看出的贡献值最大，的贡献值较大，可以被辨识出来，而的值略小，并没有被辨识出来，其他被判定为较大贡献值的如和，并没有被故障2所影响，会出现误判的情况。图5-10故障2第1800个采样点贡献值2）对故障3的辨识结果故障3是机架液压压下辊缝控制失效，该故障会引起为在第2001个样本点数值异常增长，如图5-11所示为第1800个样本点中各变量对的贡献值，该图显示可被辨识为故障的四个变量分别为、、、，故障主要点可以被辨识出来，但是不受影响的变量也存在被误判为故障的情况。图5-11故障3第1800个采样点贡献值通过结果可知，通过DBN方法对统计量层层求偏导，计算每个变量在某个采样的贡献值，通过绘制贡献图观察某时刻采样点的贡献值，由于故障的扩散效应，只能初步判断定位故障，不能很准确的指出主要变量，还需要过程变量的机理知识分析，来实现更为精确的故障定位。故障分类验证本节利用第四章节方法用MATLAB编写代码，分别建立由2、3、4层RBM组成的DBN模型用于故障分类，测试DBN的分类情况。并与二章节基于BP神经网络的分类结果进行对比。选取的热连轧工艺流程中五类故障数据与一类正常数据作为分类对象，正常数据选取第一类故障对应的钢种在正常情况下轧制情况的采集样本。首先制作数据集，选取每类故障数据故障部分中的的500-600组样本作为测试数据，1000的故障样本用于训练模型，组成最终训练集的6000个样本，测试集3000组样本，数据样本集，给五类故障数据加标签分别标{0,1,2,3,4}，正常数据对应标签为5。1）两层RBM构成的DBN分类设置两层RBM用于特征提取，第一个RBM隐含层层数设置为30，第二个为6，学习率设置为0.1。如图5-12所示是两层RBM进行分类的结果，第二类故障末尾一些数据被错误的划分到了第三类故障中，第四类故障有几个样本点被错误的划分到第五类故障中，但是总体分类效果还是比较好。经过多次验证，分类准确率在97%左右，由此可见，两层RBM进行分类测试，可以充分提取特征信息并进行分类，且整个网络的训练时间比较快。图5-12两层RBM构成DBN分类结果（2）三层RBM构成的DBN训练三层RBM进行分类，由底层至输出层，隐含层层数分别设置为40、20、6，学习率设置为0.1。如图5-13所示是两层RBM进行分类的结果，第二类故障一些数据被错误的划分到了第三类故障中，第四类故障有几个样本点被错误的划分到第五类故障中。经过多次验证，分类准确率均在98%左右，由此可见，三层RBM进行分类的效果比较好，且训练时间也比较短。图5-13三层RBM构成DBN分类结果（3）四层RBM构成的DBN训练建立四层RBM进行分类，由底层至输出层，隐含层层数分别设置为50、30、20、6。分类结果如图5-14所示，有第四类故障中有较多样本点被划分在第五类故障中。经过多次测试结果验证，准确率均稳定在94%左右，可以看出四层神经网络的分类能力较两层和三层出现了下降，训练时间也相对较长，所以四层RBM网络组成的DBN在此数据集中不是最佳层数选择。图5-14四层RBM构成DBN分类结果(4)BP分类情况通过第二章介绍的BP神经网络分类方法，建立BP神经网络，并用与DBN分类同样的故障数据集训练网络，然后用测试集验证网络的分类能力，网络的层数分别设置为21、12、6。其分类结果如图5-15所示，第三类故障有较多样本点未被与第二类故障分离，多次训练后准确率均在91%左右。图5-15BP神经网络分类结果将DBN三种层数的分类结果与BP神经网络分别经过10次测量，将分类的准确率平均值结果列在表5-4中，四种情况下的分类准确率，均达到了90%，且三层RBM的准确率最高，训练时间也比较短，验证了DBN方法对故障分类的有效性。表5-4不同参数DBN与BP分类准确率对比（%）两层RBM三层RBM四层RBMBP分类准确率97.298.194.091.4本章小结本章是前几章所述方法的验证。首先介绍了钢铁生产的重要环节带钢热连轧过程，设备结构复杂，过程变量众多，在实际过程中具有动态性、非线性等特性。并对热连轧工况中常出现的六组故障，用热连轧过程中的数据集分别验证DBN进行故障检测、辨识，并进一步划分故障种类数据集，将五类故障数据与一类正常数据进行分类测试，验证DBN模型对故障种类判断的能力。实验结果表明，本文所用的方法DBN可以有效实现对故障的检测分类，且均优于传统方法。在故障辨识方面虽然可以定位到引起故障发生的变量，但是可能会误判断与故障无关的变量，需借助故障机理等来实现更精确的定位。在分类方面，以三层RBM构成的DBN分类效果最佳，三层RBM相比于两层，可以更充分的提取数据特征，相比于四层，可以缩短训练时间。结论故障检测与诊断技术对现代机械设备正常运行具有重要意义，而基于数据驱动的方法，以其对数据的强大处理能力被广泛研究应用，其分支众多，在科技与大数据发展的推动下，越来越多的方法被研究用来解决复杂过程、高维复杂数据的问题。本文主要用深度学习领域中的DBN，实现非线性过程故障诊断。DBN由玻尔兹曼机发展而来，高斯RBM的引入使它可以应用于获得连续实值的情况下，且其可以用于无监督和有监督过程的性能，使它容易拓展功能。本文工作主要如下：（1）重点介绍了DBN模型，DBN是由玻尔兹曼机发展而来的概率模型，在了解DBN实现诊断的原理和算法基础上，通过Matlab编写代码实现DBN模型架构。包含通过CD-1算法，用一次吉布斯采样训练单个RBM，RBM堆叠逐层预训练整个DBN网络，最终经过反向微调权值，实现特征提取。（2）用DBN实现故障检测、辨识、分类。此过程将DBN的模型拓展为两个功能，一是自编码器用于特征提取，而是分类器实现分类。用和两个指标实现故障检测，的实现是基于最后一层输出的特征，的实现是将数据进行编码又解码，回归和原始数据一个维度的重构结果。故障辨识是从结果链式求偏导，其基本思想是DBN网络每层特征传递非线性映射。然后通过加Softmax分类层，将无监督的特征提取模型，变为有监督的分类模型。最后用在带钢热连轧实际工况中的数据进行验证，用正常数据训练整个网络，再用故障数据检测性能，与传统PCA故障检测、BP方法对比证明DBN在故障诊断方面有更高的有效性。DBN在特征提取与模式识别方面具有独特的优势，但也存在一些不足，本文的不足一是在于，由于缺乏有力的理论支持，模型的参数如层数、每个RBM的迭代次数，在选择时主观性较强，需要自己调试才能确定合适的值。二是在辨识方面，由于二值RBM随机激活，可能对辨识结果有影响，以至于不能准确的定位故障。因此我对DBN的了解还需要加深，比如如何引入稀疏RBM、加入正则化，来提升DBN的特征提取性能。-PAGE49-参考文献吴今培.智能故障诊断技术的发展和展望[J].振动.测试与诊断,1999(02):1-8+69.李晗,萧德云.基于数据驱动的故障诊断方法综述[J].控制与决策,2011,26(1):1-9.张妮,车立志,吴小进.基于数据驱动的故障诊断技术研究现状及展望[J].计算机科学,2017,44(z1):37-42.KaiZhong,MinHan,BingHan.Data-DrivenBasedFaultPrognosisforIndustrialSystems:AConciseOverview[J].IEEE/CAAJournalofAutomaticaSinica,2020,7(02):330-345.郑英,胡修林,方华京,王辉.基于观测器的网络化控制系统故障诊断方法[J].系统工程与电子技术,2005(06):1069-1072.任章,李清东,董磊,潘宇雄,孙艳兵.基于案例推理和等价空间的定性/定量混合故障诊断方法[J].南京航空航天大学学报,2011,43(S1):87-90.王旭,沈艳霞,吴定会.一类非线性系统的故障重构与容错控制[J].测控技术,2018,37(10):148-152.刘鹏鹏,左洪福,苏艳,孙见忠.基于图论模型的故障诊断方法研究进展综述[J].中国机械工程,2013,24(05):696-703.Sreejith,P.,Kumar,H.S.,Jameel,Muhammed,Ayoob,Fahmil,Vishnu,B..FaultDiagnosisofRollingElementBearingThroughVibrationSignalsUsingNaïveBayesClassifier[J].AdvancedScience,EngineeringandMedicine,2018,10(3):203-210.吴重光,夏涛,张贝克.基于符号定向图(SDG)深层知识模型的定性仿真[J].系统仿真学报,2003(10):1351-1355.卞玉涛,李志华.基于专家系统的故障诊断方法的研究与改进[J].电子设计工程,2013,21(16):83-86+89.赵立杰,柴天佑,王纲.多元统计性能监视和故障诊断技术研究进展[J].信息与控制,2004(02):197-201.于春梅,潘泉,程咏梅,张洪才.基于核正则化Fisher判据的故障诊断[J].计算机工程,2010,36(23):1-3.李钢,秦洒钊,吉吟东,周东华.基干T-PL5贡献图方法的故障诊断技术(英文)[J].自动化学报,2009,35(06):