【基于一维卷积神经网络的轴承故障诊断算法分析案例4200字】

PAGE25基于一维卷积神经网络的轴承故障诊断算法分析案例目录TOC\o"1-3"\h\u4378基于一维卷积神经网络的轴承故障诊断算法分析案例 1233321.1引言 167091.2一维卷积神经网络结构 1204521.2.1卷积层 2140541.2.2激活层 219551.2.3池化层 3272161.2.4全连接层 4207481.2.5损失函数 521121.2.6基于经典LeNet-5的故障分类神经网络结构 564881.3参数学习 659271.3.1全连接层的误差项计算 6191761.3.2反向传播的误差项计算 799271.3.3权重和偏差的梯度计算 7291131.3.4Adam优化器 8269801.4轴承故障分类实验 8236311.4.1数据预处理 829441.4.2故障分类结果 101.1引言本章将详细介绍一维卷积神经网络的结构、误差反向传播和参数优化算法、以凯斯西储大学滚动轴承的标准故障数据集为例，基于python的keras[38]深度学习框架进行验证，最终将端到端的一维卷积神经网络故障分类结果和小波-CNN模型分类结果进行对比。1.2一维卷积神经网络结构针对一维的轴承故障振动信号，采用常用于信号处理的一维卷积神经网络。其多级神经网络结构包含提取规律特征和识别分类功能，一般由卷积层、激活层、池化层、全连接层和分类层构成，采用经典的卷积神经网络模型LetNet-5[39]，通过反向传播算法更新权重参数。本节将对各部分进行详细介绍。1.2.1卷积层由于全连接前馈神经网络需要庞大的权重参数，训练效率低，为了降低参数量，基于局部连接和权重共享两个特征使用卷积核对输入信号进行运算并提取相应特征。卷积层中的每一个神经元都只能感知前一层中的局部窗口内的神经元，每一卷积核捕捉对应特征以相同权重、固定步长（stride）平移滑动遍历输入数据。计算卷积时，以互相关运算代替卷积运算[39]，避免卷积核翻转，其结果不影响特征的提取能力。卷积层的运算公式如式(1.1)所示： 如图1.1所示，输入的一维数据大小为长度M×1×深度D，卷积核大小为尺寸K×1×深度D，卷积核数量与特征映射数量一致，也决定了提取的局部特征数，每个卷积核遍历输入信号，通过卷积、求和、偏置后得到的神经元矩阵即为对应的一个特征映射（featuremap）。图1.1卷积层运算示意图1.2.2激活层激活函数主要对卷积层的输出进行一个非线性映射，将线性不可分的多组特征映射到非线性空间，增加了特征的可分性。常用的激活函数有Sigmoid函数和ReLU线性修正单元。Sigmoid函数一般为Logistic函数和Tanh函数，表达式如式(1.2)与(1.3)所示： Logistic函数和Tanh函数形状如图1.2所示，Logistic函数非零中心化的输出会造成下一层神经元的输入位置偏移，降低梯度下降收敛速度，同时，当输入值过大时，Sigmoid函数导数为0，误差反向传播更新权重过程造成梯度弥散，无法传递误差值。图1.2Logistic函数和Tanh函数本文采用的是深度学习神经网络中常用的激活函数ReLU，该函数能够减少梯度消失情况，提高梯度下降收敛速度，其表达如式(1.4)所示： 1.2.3池化层卷积层虽然能够降低了权重参数量，但是特征映射中的神经元数量没有减少，下一层的输入维数依然过高，参数过多易造成过拟合现象。池化层的作用是将特征映射划分多个区域，对每个区域下采样处理，常用的池化函数为最大池化和均值池化。1）最大池化（MaxPooling）：对于特征映射d的区域Rm，选择该区域神经元xi的最大值输出，表达式为式( 2）均值池化（AveragePooling）：对于特征映射d的区域Rm，选择该区域神经元xi的平均值输出，表达式为式( 池化层可以使神经元感知效率提高，本文采用最大值池化方法。1.2.4全连接层全连接层起到分类器的作用，将池化层的输出作为全连接层的输入，全连接层的每个神经元与前一层所有神经元进行全连接，整合池化层中提取的局部特征，全连接层的激活函数采用ReLU线性修正单元，最后利用Softmax逻辑回归函数计算多分类任务的概率分布，全连接层示意图如图1.3所示。图1.3全连接层运算示意图Softmax函数表达式如式(1.7)所示，其中，pi是对应分类输出节点的预测概率，zl(i)为第i 1.2.5损失函数损失函数用于表征实际输出节点的softmax值与真实样本标签的偏离程度，样本标签采用one-hot编码类型，即正确类别为yj=1，其余类别为yj=0。利用交叉熵函数作为分类器的损失函数，其数学表达可视为softmax的负对数似然估计，如式( 当softmax值越靠近1，则损失函数L趋向于0，反之，损失函数L则随着正确类别的预测概率的降低而非线性增长，满足实际表征偏离程度的需求。1.2.6基于经典LeNet-5的故障分类神经网络结构本文使用的神经网络结构基于经典的LeNet-5，整个神经网络包含7层，分别是输入的原始一维振动信号，两个卷积层，两个池化层和一个两层的全连接网络，故障分类的结构示意图如图1.4所示。C1卷积层采用16个64×1的大卷积核，增强信号泛化特征的学习能力，保证模型的运算速度,经过BatchNormalization[40]处理后利用ReLU线性修正单元激活，得到一组特征映射。S2池化层采用2×1区域的最大池化。C3卷积层采用32个3×1的小卷积核，能够提取小范围的损伤信息，并再次经过BN处理、ReLU激活。S4池化层采用2×1区域的最大池化，其结果作为全连接网络的输入进行全连接运算，整合局部特征至全连接隐含层，经过ReLU激活后输入Softmax层进行多任务分类。图1.4故障分类神经网络结构示意图1.3参数学习在1.2节中已经详细介绍了神经网络的前向传播过程（feedforword），而参数的学习需要通过误差反向传播算法实现，利用链式法则反向逐层传递误差和梯度，使损失函数达到最小值。1.3.1全连接层的误差项计算定义误差项ε为损失函数L关于全连接层的输出值z(L)的偏导数如式(1. 式中：aknL由softmax函数表达式(1.7)可求得输出值z(L)关于softmax激活值的偏导数，如式(1.10)所示。由损失函数表达式(1.8)较易求得∂L 最终代入误差表达式求得结果如式(1.11)所示。 1.3.2反向传播的误差项计算卷积层和池化层的误差项和全连接层误差项有所不同，对于层数l(l<L)的情况，卷积层使用的激活函数是ReLU，其误差项可以在全连接层误差的基础上求得，按链式法则可得卷积层误差项表达式如式(1.12)所示： 其中，∂L∂zj 其中，δ'(zj(l))表示第l卷积层输入值的ReLU激活值的导数，最终代入误差表达式并用向量描述一般性结果如式( 池化层没有权重和偏差，所以只用计算关于输入神经元的导数。由于采用最大池化，前向传播时需要记录池化区域最大值位置，反向传播时将梯度传递给相应的神经元，其他神经元不参与传递，梯度为0。1.3.3权重和偏差的梯度计算在求得各层误差项的基础上，计算损失函数L关于权重和偏差的梯度，两者的计算思路相似，首先利用链式法则得到式(1.15)： 误差项∂L∂zj(l)已知，且权重wjk(l)关于输入神经元 代入梯度公式可以得到权重梯度的表达式(1.17)： 同理，偏差梯度的表达式如式(1.18)所示： 1.3.4Adam优化器误差反向传播算法得到了参数的梯度，接下来利用优化算法来进行参数的更新。常见的优化算法如SGD（随机梯度下降）对所有的参数使用相同的学习率，当参数过多时容易陷入局部最优的情况。本文采用的Adam优化算法[41]是一种学习率自适应算法，能够利用梯度的一阶矩估计和二阶矩估计动态调整学习率，每一次迭代学习率都有确定范围，具体的流程如式(1.19)(1.20)所示： 式中：μ,υ——矩估计指数衰减率，默认分别为0.9和0.999mtgt公式(1.19)(1.20)可以根据梯度动态调整一阶矩估计和二阶矩估计，接下来分别对一阶矩和二阶矩估计进行偏置校正，如式(1.21)(1.22)所示： 最终更新各参数值θ，规定数值稳定常数为ϵ=10−8，初始学习率为η=0.001，如式( 1.4轴承故障分类实验1.4.1数据预处理为了验证故障分类算法的有效性，实验数据选取凯斯西储大学（CWEU）滚动轴承数据中心提供的滚动轴承故障标准数据集，采用第三方标准数据库有助于客观评价算法的优越性，以此来比较小波-CNN模型和改进的一维卷积神经网络故障诊断算法。选取数据集的采样频率为12kHz的驱动端故障数据，轴承的故障分别发生在滚子、内滚道和外滚道，故障直径分别为0.007，0.014和0.021英寸，不附加外载荷，测试轴承的故障通过电火花加工人为制造。为了避免样本过少造成过拟合，增加模型的泛化能力，采用数据增强技术进行样本扩充。针对一维振动信号，数据增强通过重叠采样来实现，即对于S个数据点的信号，训练样本长度为M，滑动取样的步长为L，则样本量N的表达式为式(1.24)： 数据集每个状态的数据长度S约为120000，训练样本M取2048个点，滑动步长L取28，则样本量可取4213个，从中抽取1000个样本，按7：2：1划分为训练集、验证集和测试集，划分后的数据集如表1.1所示。对样本进行小波包能量特征提取，所得的8个能量特征向量作为小波-CNN模型的输入向量，而未经处理的一维时域信号2048点长度样本作为端到端的一维卷积神经网络的输入向量。表1.1滚动轴承故障数据集标签故障类型损伤直径/inch训练集验证集测试集0正常07002001001滚子损伤0.00770020010020.01470020010030.0217002001004内滚道损伤0.00770020010050.01470020010060.0217002001007外滚道损伤0.00770020010080.01470020010090.0217002001001.4.2故障分类结果本文的小波-CNN模型和一维卷积神经网络故障诊断模型基于python的keras深度学习框架搭建，计算机的配置为：显卡NVIDIAGTX1650，CPUi7-9750H，8GB内存。通过预处理的训练集对模型进行训练，1）小波-CNN分类结果训练次数为20次，由于小波包能量特征提取算法将样本输入特征量从2048减少至8，因此训练时去除1.2.6节神经网络结构中的C1卷积层和S2池化层，训练集和验证集的识别精确率对比结果如图1.5所示，损失函数值对比结果如图1.6所示，混淆矩阵如图1.7所示。图1.5训练集和验证集精确率对比图图1.6训练集和验证集损失函数值对比图图1.7混淆矩阵测试集样本的识别精确率高达98.9%，损失函数值仅为0.058，模型的收敛速度快，诊断精度高。通过图1.7的混淆矩阵可以看出，损伤直径为0.014inch的滚子损伤中有9%被错误识别为正常，0.021inch的滚子损伤中有2%被错误识别为0.014inch的内圈损伤，另外8种故障类别均能够被100%识别，验证了该模型能够对轴承的健康状态进行监测。一维卷积神经网络故障诊断算法分类结果训练次数为20次，输入数据为2048个数据点的时域信号，采用1.2.6节的神经网络结构，训练集和验证集的识别精确率对比结果如图1.8所示，损失函数值对比结果如图1.9所示，混淆矩阵如图1.10所示。图1.8训练集和验证集精确率对比图图1.9训练集和验证集损失函数值对比图图1.10混淆