【基于深度学习的滚动轴承剩余使用寿命（RUL）研究5700字】

基于深度学习的滚动轴承剩余使用寿命（RUL）研究目录TOC\o"1-3"\h\u19480基于深度学习的滚动轴承剩余使用寿命（RUL）研究 144101.1引言 140391.2基于数据驱动的RUL预测基本流程 2165661.3BP神经网络 394271.4卷积神经网络 4239821.4.1传统卷积神经网络 4260361.4.2全卷积层神经网络 9202991.4.3全局池化卷积神经网络 101.1引言展开滚动轴承RUL预测使用到的深度学习模型的研究工作。通常，基于数据驱动的RUL预测方法通过对机械系统或者部件的不同时期的检测数据、传感器历史数据等进行数据融合与状态特征提取，将其退化信息特征映射为系统设备的RUL[50]。因此，基于数据驱动的方法不需要依据系统的物理特性或者经验知识等[51]，直接使用传感器采集到的数据进行挖掘、处理、分析，得到数据中的退化信息从而进行RUL预测[52]。作为基于数据驱动方法的热点分支，深度学习神经网络算法常常被用来建立适当的RUL预测模型[53]，深度学习是通过挖掘、学习样本数据中的隐含规律和特征信息[54]，使用分类、回归等算法来完成各种各样的分类或者是预测任务，从而达到让机器表现得像人类一样具有一定的思维能力，能够识别声音、文本、图像等数据信息。深度神经网络在许多领域都取得了良好的应用效果，例如图像处理[55]、自然语言处理[56]、RUL预测[57]、故障诊断[58]、健康检测[59]等，俨然已经成为了当今的研究热点。由于深度学习实现了在不需要先验知识的情况下对样本数据的自动提取特征，因此是目前具有人工智能理念的方法。 因此，本章对本文所提的基于时频分析与深度学习的滚动轴承RUL预测模型中的第二部分，即人工神经网络部分进行了研究阐述。本章剩余部分的内容如下进行了安排。1.2节阐述了基于数据驱动深度学习算法的滚动轴承RUL的技术路线与流程环节。1.3节研究阐述了深度学习中应用非常广泛的误差反向传播（backpropagation，BP）神经网络。1.4节研究阐述了卷积神经网络，包括传统卷积神经网络、全卷积神经网网络、全局池化卷积神经网络。1.5节是对本章的总结。1.2基于数据驱动的RUL预测基本流程其预测方法的关键性流程可以总结为以下几个步骤：①获取数据：第一步为获取有效的设备、系统退化数据，因此需要对设备进行长时间的监测来获取其数据，包括但不限于振动信号、噪声、温度变化、物理变形、功耗等可以一定程度表征设备的状态特征的数据信息。现在对机械设备进行状态的监测使用最广泛、最有效的检测设备是多种类型的传感器[60]。例如，进行滚动轴承的RUL预测可以采用加速度传感器来采集到其振动信号，获取到数据后可以作为寿命预测模型的训练数据。②建立寿命预测模型：建立起合适的深度学习神经网络模型来进行特征提取和预测等工作。③数据预处理与网络训练：对步骤①中获取到的原始数据进行预处理，主要是为了适应神经网络模型的输入、去除信号中的干扰噪声、或者是增强退化数据特征以取得更高的预测精度。数据预处理完成后，用该训练数据对寿命预测模型进行训练，期间神经网络会不断的自动调整网络参数，直至达到设定的误差范围之内，迭代训练结束，至此便得到了相应设备的剩余使用寿命预测模型。④设备信息采集：利用传感器采集需要进行RUL预测的设备的数据。注意这里的数据是用于输入寿命预测模型的数据，应当与步骤①中的数据属于同一类型数据。⑤剩余使用寿命预测：将步骤④中采集到的数据进行同样的预处理后输入到步骤②中训练完成的RUL预测模型，开始预测任务，最终输出相应的RUL预测值。⑥制定维修计划：根据⑤中得到的剩余使用寿命预测结果提前制定相应的维修计划，根据设备系统情况提前进行维护保养、更换可能出现故障的部件等，从而尽量避免发生安全事故。以上即为基于数据驱动的RUL预测模型的基本流程步骤，其中最关键的一步为步骤②，即建立一个高效的剩余使用寿命预测模型来对设备系统退化信息数据进行处理，从而达到RUL预测的目的。基于数据驱动的RUL预测方法在工业大数据时代表现出了巨大的潜力，该类型的方法目前已经成为了工业、科研界的一大共同的研究热点[61]。本章接下来研究阐述了几种用于本文实验的深度学习神经网络模型。1.3BP神经网络1986年，科学家McClelland和Rumelhart提出了BP神经网络[62]，全称为误差反向传播神经网络，是一种应用领域极其广泛的人工神经网络。该网络通常包含多层的神经元，其输入信号从输入层逐渐传递到最后的输出层，因此是一种前馈性质的神经网络模型。BP神经网络的主要特点就是输入从前先后传递，误差损失从后往前的反向进行传递，在损失反向传播的过程中根据BP算法来对各个网络层的神经元参数譬如权重与偏移量进行增大或者减小，在经过一定次数的迭代训练后损失函数达到收敛停止训练，此时的输出即是损失函数达到最小情况下的最接近期望值的输出，至此，BP神经网络便完整的形成了某个复杂函数的映射关系，从而解决了简单的感知机所无法解决的异或等问题[63]。只含一个隐含层的BP神经网络的模型结构如下图3-1所示。该网络的训练可以分为两个过程：①首先是输入信号进入网络，即信号从前向后进行传播最终到输出层的过程。②第二个过程即BP算法执行的过程，即神经网络的损失误差从后向前传播的过程，网络参数调整也属于这个过程。图3-13层BP神经网络即第一个过程中得到的输出结果与所期望的结果值相差超过一定程度，则会进入第二阶段，即开始进行误差的反向传播。误差的反向传播原理为将之前的输出值与期望值的差作为结果误差损失进行逆向传递，从隐含层到输入层逐层传递，其中误差信号会被均摊给每层的各个神经元，各个神经元调整权值根据的就是每层获得的误差信号，通过BP算法调整权重、偏移量等网络参数，使得误差沿着梯度方向不断的降低，经过不断的迭代训练学习，即可确定最佳的神经网络参数（对应于最小误差），至此网络参数调优过程结束。之后，类似输入信号的数据输入到完成训练的神经网络，该神经网络即可生成最小误差的输出信息[64]。更加具体的BP算法可参考相关书籍文献，本节不再详细展开。1.4卷积神经网络1.4.1传统卷积神经网络在上个世纪六十年代，感受野的概念首次被提出，经过二十年左右的发展，真正的卷积神经网络（ConvolutionalNeuralNetworks,CNN）是在1998年被提出的[65],其应用领域非常广泛,现在已成为了深度学习的代表算法之一[66,67]而感受野这个概念可以理解为在卷积神经网络中，进行特征提取分析以及映射的时候，输入的某片区域映射为输出特征图的某个点，该片区域即称为感受野。卷积神经网络由于其几个关键操作即稀疏连接、权值共享等特性，相比与之前出现的神经网络，该模型减少了网络训练的参数量，使得模型结构变的相对简单，同时增强了网络的抗过拟合性，具有强大的性能。传统卷积神经网络的结构包括输入层、卷积层、池化层、全连接层、输出层等[68，69]，如下图3-2所示。图3-2传统CNN示意图卷积神经网络的整体架构如下所述。该神经网络模型属于有监督学习，即输入除了样本还需要对应的样本标签来进行学习训练。其中，卷积层负责对输入特征眼本进行卷积操作，具体的卷积运算在下文中进行了研究阐述。卷积层会输出一定的特征图，此时一般会对接一层池化层，又叫下采样层，该层的作用是进行特征图的降维，即在保证尽量不损失特征图中有效信息的同时又减少了后续网络训练的数据量，池化通常分为最大与平均池化。上述两层是CNN的核心结构，经过池化后的特征图可以连接全连接层，卷积神经网络的输出层可以使用分类器，即最终处理线性或者非线性的回归分类问题。卷积层卷积可以大致的理解为向量的内积。卷积运算主要包含两种：①离散卷积运算，定义公式如下式3-1[70]。 (3-1)②连续卷积运算，定义公式如下式3-2[70]。 (3-2)其中，、为输入，、为输出，、为卷积核。除此之外，在卷积层中一般还要在提取特征之后增加一个偏移量，同时，由于卷积神经网络中的卷积、池化和全连接层都属于线性运算，因此最后得到的模型将会是一个只能拟合线性情况的线性模型，在非线性情况下便无能为力了，因此为了使得神经网络能够学习非线性情况的映射，弥补线性模型的缺点，卷积神经网络加入了非线性激活函数[71]，增强了神经网络的分类、回归等能力。最终，卷积层进行的运算如式3-3所示[72]：(3-3)其中：表示卷积操作，和分别代表在卷积过程中的层的第个输入特征图和层的第个输出特征图。为卷积核，为偏移量，为非线性激活函数。激活函数（activationfunction）是对输入进行非线性映射或者筛选的函数，由于卷积层进行的都是线性运算，最终输出也是对于输入的线性映射，因此往往需要引入激活函数对网络中的神经元进行“激活”，增强了模型对于非线性关系的表达能力，提高模型的泛化性。以下列举几种常常用到的激活函数。①sigmoid函数该函数的公式如式3-4所示： (3-4)函数图像如下图3-3所示。由函数表达式分析便可知，该激活函数具有单调递增的性质，其值域为(0,1)，即经过此激活函数的所有输入都将被映射到0到1之间，可以用在需要做归一化处理的神经网络层。从函数图像上可以得知，该激活函数达到收敛的定义域范围较广，意味着其达到收敛的速度缓慢，这个特性将会导致神经网络的参数更新较慢，降低了其训练效率。且在函数表达式中出现了指数运算，意味着加重了神经网络在训练过程中的运算负担，当涉及函数求导的时候还会进行除法运算这种对于计算机来说较为复杂的运算，因此sigmoid激活函数在具有一定的优点的同时也存在一些难以避免的缺点。在选用激活函数时应该根据神经网络模型应用的场景来作出相应判断，根据需求来选择激活函数才能使得效率最大化。图3-3sigmoid函数图像②tanh函数该函数也成为双曲线正切函数，其公式如式3-5： (3-5)该激活函数图像如下图3-4所示。该函数对于输入信息的映射值域为（-1,1），且具有函数收敛速度快的优点，从而神经网络参数更新速度快，并且其对称中心是坐标轴远点，缺点在于输入过大或者过小的时候函数梯度很小，这一点会对网络权重的调整产生不利影响。图3-4tanh函数图像③ReLU函数该激活函数定义如式3-6所示。(3-6)从表达数可以看出该激活函数较为简单，仅为在0与输入之间求最大值作为输出。因此该激活函数的计算速度相比与之前两种是最快的，且求导快捷简便，不存在因输入过大而导致的梯度消失这一问题。因此，该函数在神经网络中的使用非常广泛。除此之外，CNN常用的增强方案还有Dropout。该方法的基本原理是以设置好的概率来保留一部分神经元，而未保留的神经元在本次训练过程中视为丢弃状态，这些丢弃状态的神经元不会进行参数的调整更新，相当于神经网络忽略了对其的运算。下一次训练时，之前处于丢弃状态的神经元可能会重新被激活参与正常运算，同时又有新的一批神经元被丢弃。该方法很大程度上可以减弱神经元之前的联动，增强其抗拟合性，使得神经网络能够更加有效的处理大规模数据，从而适应更多的需求。（2）池化层在池化层中，使用最大池化操作的运算如下式3-7。(3-7)式中：为 层的第个输入特征图，为层的第个输出特征图。为池化核的尺寸大小。CNN具有三个关键操作分别是局部连接、权值共享、池化。其中局部连接的示意图如下图3-5所示。相比于全连接，在局部连接中当前层的神经元节点只和上一层的某几个而并非全部的神经元相连，这样做的目的是为了减少神经网络的训练参数，可以在一定程度上减小过拟合，对应的理论基础在于一个特征图上的图像联系是相邻的，意味着当前层的神经元没有必要知道上一层每一个神经元的信息，只需要提取分析某些特定的神经元特性信息，即采用局部感受野，也叫做稀疏连接。权值共享的示意图如下图3-6所示，对于一个特征图来说，使用相同的卷积核对其进行卷积运算来提取特征，卷积核在特征图上会以一定的步长进行滑动卷积，卷积完成后得到相应的卷积输出，即对于特征图来说，图上不同区域的特征共享了一个卷积核的参数。最大池化操作的示意图如下图3-7所示，池化操作主要目的是为了减少网络训练的特征数据量，简化网络参数，使神经网络变的轻盈灵巧，池化即对特征图进行降维，设置好一定大小的池化核，图中所示为2x2大小的池化核，并以一定步长在特征图上滑动进行池化，最大池化为选择池化核对应区域的最大值作为输出，这一操作可以保留原始特征图中的最明显特征，同时有可以减少神经网络的数据运算量，对于减小模型过拟合起到了良好的作用。图3-5局部连接示意图图3-6权值共享示意图图3-7最大池化示意图1.4.2全卷积层神经网络传统CNN一般会在最后一个卷积层进行后再接两到三个全连接层，目的是增加神经网络的非线性表征能力。但是全连接层的加入也会带来一些问题，首先会导致神经网络模型的产生大量的参数，增加存储开销，滑动窗口较大，而且每个窗口都需要一定的存储空间来保存对应的特征和判别类别，使用全连接结构会使得最后几层的存储递增达到指数级的递增，因此增加大量的无效计算，计算效率降低；使用全连接层只能约束局部特征；全连接层不会学习过滤，它会给每个连接分权重切不会改变连接关系，卷积则是会学习有用的关系，没用到的关系会进行弱化或者直接舍弃，因此卷积可以共用一套权重，减少重复计算，还降低了神经网络模