【《基于DBN的故障诊断方法探析案例》4700字】

基于DBN的故障诊断方法分析案例目录TOC\o"1-3"\h\u6394基于DBN的故障诊断方法分析案例 164631.1DBN的基本原理 1134281.1.1受限玻尔兹曼机 15631.1.2高斯RBM 483341.1.3深度置信网络 5157841.2基于DBN的故障检测 643611.3基于DBN的故障根源辨识 974961.4基于DBN的故障分类方法 10从DBN介绍原理出发，构建DBN算法模型，实现相应功能模型构建，通过和两个指标完成故障检测；然后通过求连续偏导数大致计算每个变量对统计量中故障指标的贡献率；最后介绍如何建立有监督DBN模型的方法，实现对故障数据的分类。DBN的基本原理DBN是深度学习的一种模型。既可以类似于一个自编码机，通过无监督过程实现对数据的降维与特征提取；也可以在监督学习中，在顶层输出数据上加softmax层，作为分类器来使用。受限玻尔兹曼机玻尔兹曼机（BoltzmannMachine，BM）[37]可以抽象描述变量之间的相互作用，由力学定义演变而来，可以模拟数据的概率分布。它由两层网络构成，层内各神经节点全连接，这种结构下，使BM在实际使用中计算量过大，模型的连接过于复杂，难以模拟到所有分布。在此基础上，为了使BM更具实用性，优化得到了受限玻尔兹曼机。（1）RBM能量模型受限玻尔兹曼机（RestrictedBoltzmanMachine，RBM）由显层和隐层构成，层与层间继承了BM的全连接形式，层内各神经元之间则互不相关。如图4-1是RBM的基本结构。以二值RBM为例，它有随机可见单元，随机隐藏单元，神经元状态取“0”和“1”代表未激活和激活两种状态，表示连接权重，D和F代表可见单元和隐藏单元的数量。能量函数的定义为：（4-1）图4-1RBM模型的基本结构其中是模型参数，是可见单元的偏置，是隐藏单元的偏置，是和之间的连接权重。能量函数为RBM的训练提供了目标函数与目标解，两层网络间的联合分布，也可以称为似然函数，被定义为：（4-2）（4-3）式中Z是系统的分配函数。因RBM节点的连接仅存于层间，层内各神经元条件独立，当显层确定时，可以推导隐层被激活的概率如式4-4。当隐层的状态确定时，可以定义显层的激活概率如式4-5。RBM激活函数定义如式4-6。（4-4）（4-5）（4-6）（2）RBM训练算法RBM网络的训练目标是，经过重构的数据与原始数据间的误差最小，使符合给定数据输入样本分布的概率最大，此时输出数据和原始数据的拟合度最高，整个网络的能量也达到最低。将训练集数据标准化后赋值给可见层，通过求可见层的极大对数似然函数来训练参数，使式4-7的概率p(v)的值能达到最大。每个参数的最佳值可使用以下目标函数找到：（4-7）（4-8）训练向量对数概率的偏导数的计算方法如下：（4-9）（4-10）（4-11）其中代表训练数据的期望；代表模型定义的期望。这些样本可以通过吉布斯采样（AlternatingGibbsSampling,AGS）[7]，也被称为马尔科夫链蒙特罗法（MCMC）计算出最大似然函数，而需要花费无穷多步吉布斯采样，存在训练时间过长、求解缓慢等问题。为解决此类问题，Hinton等学者提出了对比散度（ContrastiveDivergence，CD）算法，也称算法，当时，即只经过一次吉布斯采样，就可以实现很好的训练效果，已成为一种标准方法训练RBMs。如图4-2所示的步采样过程。图4-2交替吉布斯采样过程利用对比散度算法，可以得到权值和偏置的更新如式4-12，式中为学习率，和为显层和隐层的重构数据。具体算法见算法4-1。（4-12）算法4-1CD-1算法输入：可视向量v，隐藏层单元个数，学习效率输出：权值W、可见层偏置、隐层偏置第一步：初始化连接权值矩阵W、偏置、偏置第二步：对所有隐藏层的节点根据式（4-5）计算隐藏层神经元激活的概率，并随机抽取0-1间的概率值，大于此值激活小于此值则不激活。第三步：根据上一步隐藏层的状态和式（4-6）计算下一可见神经元激活的概率，随机二值化，确定可见神经元的状态。第四步：按照式（4-12）更新参数值。第五步：判断当前迭代次数是否到最大值，小于则回到第二步，大于则结束。高斯RBM在二值RBM的生成过程中，重构后神经元状态取0或1，这种RBM也称为伯努利-伯努利（Bernoulli-Bernoulli）RBM，但是若最终输出需要连续性的实值，如本文DBN用于建立故障检测指标，可见层为实值输出，跟据隐藏层求取可见层不能是根据的大小，随机二值化。需要引入高斯-伯努利（Gaussian-Bernoulli）RBM，对二值RBM做出一些修改，高斯过程并不需要精确的范围，而是取正态分布的连续特征，在可视层中引入连续数值型高斯噪声，高斯RBM的能量函数如式4-15。（4-15）其中是高斯RBM的模型参数，高斯RBM与二值RBM主要有两个地方不同，一是对能量函数的定义不同，另一个是从隐层到可见层的传递过程中，高斯RBM变为用高斯分布函数为激活函数。如式4-16、4-17中和可见单元和隐藏单元的概率分布定义被重新定义为：（4-16）（4-17）其中一般为输入单元的方差。深度置信网络深度置信网络DBN是一种深度概率模型。DBN的最底层接收经过标准化的数据向量，成为第一个RBM的可见层数据，经过RBM转换传递数据至隐层，即高层RBM的输入来自上一层RBM的输出。然而对以堆叠RBM训练数据的过程，仅仅是对原始数据的特征提取，要实现DBN的分类能力，还需将顶层RBM提取的特征数据引入分类器，如softmax分类器，分类器需跟整个DBN一起训练，以拟合用于分类任务的标签值，此时DBN由无监督结构变为有监督结构，可以实现回归分类。图4-3两个RBM构成的DBN如图4-3是由两个RBM堆叠而成的DBN。以两层网络为例，网络的联合概率分布可表示为：（4-18）其中表示因子化的条件分布由式4-19计算得到，表示第隐藏层和第隐藏层的连接权重。：（4-19）整个DBN网络的训练由两部分构成，预训练和微调，如图4-4表示DBN的预训练和微调过程。预训练即对连续的RBM进行单独训练，使RBM单层最优，但并不能使全局DBN网络特征输出最优，通常在最后一层叠加反向传播算法（Backpropagation，BP），对权重进行微调。特征生成过程和重构过程可以看做是是DBN的编码和解码过程。在给定输入数据的情况下，数据自下而上传输的过程为提取系统特征，从生产的特征数据自上而下的过程可以实现对原始数据的重构。因此在逐层预训练后，结合前向传递过程和逆重构过程，然后在整个网络中使用BP算法对权重进行微调。训练完成后判断每个RBM的参数是否是最合适值，此时不会计算模型的能量来判断系统能量是否最小而达到最稳定的结构，而是采用近似的方法，一般用重构误差，重构误差是指，对原始的训练样本进行一次吉布斯采样，返回与初始状态一个维度的数值，每个数值与原始数据之间的累计误差。图4-4DBN训练方法基于DBN的故障检测通过无监督的方法训练DBN网络，提取正常历史数据的特征来建立用于判断设备状态的指标，整个过程分为离线建模和在线检测。用正常工况下的历史数据训练完成DBN模型，完成离线建模过程，在线检测部分实时输入各传感器采集到的数据，以正常历史数据为标准判定正常运行或故障发生。给定一个由个测量变量组成的个样本的过程，首先对训练数据集进行预处理，消除物理量纲不同的影响，常用的归一化方法如表4-1所示。表4-1常用归一化方法方法原理值域线性归一化[0,1]平移缩放归一化[0,1]标准化归一化[-1,1]峰值归一化[-1,1]和值归一化[-1,1]这里使用的标准化方法为零均值和单位方差，测试数据在历史训练数据的基础上进行标准化，标准化后数据表示为：（4-20）输入和输出的特征的数据类型要求为实值，输入数据通过零均值单位方差近似化为高斯单位，输出数据通过顶层高斯RBM提取特征输出高斯单位，中间隐藏单位类型为二进制。为了从测量变量中充分提取有用的特征信息，防止噪声信号过拟合，需要根据实际数据特征维数确定特征层的大小。第一层RBM神经元个数应适当大于输入维数以充分提取特征，随着RBM层数加深适当减少神经元个数以降维提取特征。当尺寸太小时，DBN不合适。层数太多容易使DBN是过度拟合。训练将特征层大小从1到m的DBNs，分别计算均方误差（meansquarederror，MSE）。将最小均方误差快变和慢变的拐点设定为特征层的大小。当网络结构确定后，在给定归一化数据X的情况下，采用CD算法从下到上逐层迭代更新权值。然后以输入数据和重构数据之间的MSE作为评价此DBN模型指标，通过BP反向传播完成DBN的微调。在线检测数据通过DBN多层非线性网络将m维输入测量变量变换到n维特征子空间中，得到特征变量，并由相同的网络从特征变量中导出重构变量。因此，DBN可以将输入变量分解为与正态系统相关的重构变量和与噪声相关的残差变量。残差变量表示为：（4-21）重构变量可以用特征变量非线性表示，故障信息可以在特征变量和残差变量上出现。统计量是由霍特林提出的，在多变量生产中检测过程状况。反映了实时数据在变化趋势和幅值上偏离模型的程度；统计量是输入变量的重构值对样本数据的欧式距离，描述传感器采集到实时数据的偏离程度，是对模型外部变化的一种度量和检验统计量通过特征变量和残差变量来检测过程的异常变化。检验统计量表示为：（4-22）协方差矩阵可近似为：（4-23）其中表示历史数据通过DBN网络提取的的个特征的个样本变量。SPE测试统计数据表示为：（4-24）故障检测的阈值均建立在正常训练数据上，可以用给定的置信水平分别确定，如下所示：（4-25）（4-26）其中,表示具有个自由度的卡方分布，表示用户指定的显著性水平。和分别由和确定，其中表示的平均值，表示检验统计量的方差。因此，检测逻辑是：（4-27）检测指标控制限确定后，计算故障检测相关指标，故障检测率（Faultdetectionrate，FDR）和故障误报率（Falsealarmrate，FAR）定义如下：（4-28）（4-29）基于DBN的故障根源辨识检测出有故障后，还需要确定是那些变量引起异常波动，从而完成故障的定位。在建立基于DBN的故障检测模型后，得到和两个统计量检测指标，本文主要用贡献图法，根据统计量来完成故障辨识。基于指标，通过求每层网络函数对相应变量的链式连续偏导数，求解特征变量对统计量的非线性映射，来衡量特征变量对故障数据的重要性，最终识别在非线性数据下的故障变量。假设用于故障检测的DBN模型由两层RBM构成，实时检测数据由构成。DBN中统计量由式4-确定。则中第个征变量对的贡献率可由式4-28确定。（4-28）式中表示第二层RBM数据转换后的输出，表示第一层RBM数据转换后的输出。根据DBN在故障检测建立的模型，可以确定两层RBM的输出如式4-29、4-30所示。（4-29）（4-30）式4-29中和分别表示第一个RBM的训练完成的由显层计算隐含层的权重值和偏置值。式4-30中和分别表示第二个RBM训练完成的由显层计算隐含层的权重值和偏置值。和表示两个RBM的激活层函数，激活函根据输出数据格式来选择，若输出为二值RBM的概率数据，则激活函数选择sigmoid函数。若输出数据为高斯单位，则选择线性单元作为激活函数。求出每个变量在某时刻的贡献值后，绘制贡献图，通过直方图直观对比显示每个变量贡献大小，根据贡献值大的确定引起故障的主要部分，完成故障定位辨识。DBN无监督下的检测和辨识模型流程图如图4-5所示。图4-5DBN的故障检测、辨识流程图基于DBN的故障分类方法DBN通过堆叠RBM实现特征的提取是个无监督过程，模型建立过程与DBN故障检测过程类似，要实现分类问题，需要在顶层RBM输出数据加Softmax分类层，实现DBN的有监督分类。Softmax属于线性分类器，其分类器模型如图4-6所示，其函数如式4-31所示,式中，表示输入分类器数值数据组成的向量