【改进型循环神经网络的轴承故障诊断准确率提升研究16000字（论文）】

改进型循环神经网络的轴承故障诊断准确率提升研究摘要本文调研了循环神经网络在故障诊断分类领域中的实际应用现状及其研究背景，学习了循环神经网络现有的各种改进方法及其应用方法。在LSTM循环神经网络原理的基础上，采用对额外门控运算进行改进的方法对循环神经网络的模型进行改进。其次，选用基于python语言的Tensorflow深度学习数据库，利用Pycharm编译器进行循环神经网络的建模与编程实现。通过运用Mnist数据集的分类案例初步验证了对循环神经网络进行改进额外门控运算部分的改进效果。第三，通过编程将原始的CWRU轴承数据集进行了二维方阵化处理，实现改进前后循环神经网络模型的训练和故障数据的诊断。最后，将改进前后循环神经网络的故障诊断效果进行对比，结果显示，改进模型后网络的故障诊断效果优于原神经网络。关键词：深度学习技术，故障诊断分类，循环神经网络RNN，额外门控运算第页目录1绪论 11.1论文研究背景及目的 11.1.1论文背景 11.1.2目的 21.2国内外研究状况 21.2.1深度学习技术 21.2.2循环神经网络发展简述 31.2.3故障诊断方法 41.3论文研究方法 51.4论文构成及研究内容 51.4.1循环神经网络的实现 61.4.2循环神经网络改进研究 61.4.3故障诊断技术的实现 62.循环神经网络算法的实现 82.1循环神经网络简介 82.1.1SimpleRNN网络结构模型及原理 82.1.2LSTM网络结构模型及原理 92.1.3GRU网络结构模型及原理 122.2额外门控运算简介 132.3循环神经网络的实现 143.循环神经网络改进研究 183.1基于额外门控运算的算法改进 183.2数据来源 243.3判断指标 243.3.1分类准确率 243.3.2函数损失值 253.4改进循环神经网络效果对比分析 254.改进的循环神经网络故障诊断应用研究 284.1故障诊断流程 284.2数据来源 284.3数据的选取与处理 304.4改进循环神经网络轴承故障诊断应用研究 314.4.1已有循环神经网络进行训练和测试 314.4.2改进LSTM循环神经网络训练和测试 354.5不同循环神经网络故障诊断效果对比分析 36结论与展望 39参考文献 41附录 451绪论故障诊断的精准时设备能够及时维修的根本保证，因此首先需要根据故障诊断结果判断工业设备的运行状况后，才能更加迅速的发现工业运行过程中设备的故障，才能对其进行早期的维修来避免故障的发生。只有保证硬件水平维持在高层次，才能对设备的状态进行实时的数据提取，这清楚地揭示了真相同时对这些由硬件设备提取到的实时数据进行高效的利用，才能对复杂设备进行保护，使其能够有效高速的运行。随着人工智能技术发展，国内外学出提出了许多故障诊断方法，其中包括以下三种方法：人工神经网络（ArtificialNeuralNetwork）、支持向量机（SupportVectorMachine）和极限学习机（ExtremeLearningMachine）等（李华东,王志宏,2022)。但是这三种故障诊断方法在实际应用中都有极大的缺陷，其中人工神经网络具有收敛速度较慢和不稳定易发生震荡的缺点。而支持向量机在对处理算法分类进行互补和对模型进行预测训练时呈现出了较好的效果，但在面对数据出现不平衡问题时，支持向量机无法很好的对其进行处理，且该方法的训练需要采用含有标签的大量样本，同时又因为其高成本的原因，从这些规则中看出无法很好地利用在工业生产中。极限学习机和人工神经网络有同样的问题，即不稳定(张文博,刘玉婷,2023)。这三种方法都是较为浅层的机器学习方法，有限的学习能力很难支撑工业生产中的故障诊断。因此，在这个大背景下，深度学习的出现为这一问题的解决提供了新的思路和途径(陈凯琳,王俊杰,2021)。深度学习在训练时采用无监督机器学习的方法，避开了人工干预和专家经验容易导致的错误诊断，而且因着其优良的学习能力，引发了研究学者对其在故障诊断领域中应用的思考。其中因着循环神经网络的缺点——梯度爆炸问题，该算法在一段时间以来都处于研究停滞状态(林晓东,赵瑶慧,2021)。然而目前已有部分文献提出改进思路，并且循环神经网络可以利用大量不含标签的样本来对模型的进行训练，通过模型参数进行优化从而提高模型对轴承故障数据进行诊断分类的准确度，以及它有特有的时间相关性，目前已经能够较好的应用于故障诊断领域中(高雨晨,苏逸凡,2020)。在故障诊断这一领域，基于循环神经网络的故障诊断方法，在对大量复杂时序数据进行处理时所取得的成效已经远远超过了传统手段。这在一部分程度上揭示了而本次毕业设计正是考虑到循环神经网络的系统性研究在故障诊断领域较少，从而对循环神经网络进行模型改进与故障诊断分类识别研究，使其与故障诊断更相适应。2.循环神经网络算法的实现2.1循环神经网络简介2.1.1SimpleRNN网络结构模型及原理随着发展，循环神经网络的强大处理和预测序列数据能力被不断重视，它解决了传统机器学习对输入输出数据的限制问题，并被应用于多个领域之中。同时因为RNN在实际应用中的各种问题，经过许多研究者对RNN的结构改进工作，许多RNN的变体模型也陆续出现(孙佳怡,胡建国,2020)。最简单的SimpleRNN结构上主要分为三部分：输入层、隐藏层及全连接层。SimpleRNN可以看做是深度FNN，这在某种程度上表征但在FNN基础上SimpleRNN在各隐藏层之间进行了权重共享，它通过模型内部各个隐藏层之间的回路进行连接，将个隐藏层前一时刻状态保存下来并传递给当前网络状态，即拥有参数共享性(杨昊宇,许心怡,2020)。通过时间序列，RNN先前向计算，然后再使用BPTT算法对模型网络中的各个参数进行更新。因而相比于FNN，RNN没有输入序列和输出序列的长度限制(郑瑞宇,陈思思,2023)。图2.1SimpleRNN结构图 从图2.1的SimpleRNN结构图可以看出，如果把W这一循环去掉，SimpleRNN就变成了最为普通的全连接网络。X是代表输入层值的向量，s则是代表一个状态下隐藏层值的向量(赵子铭,孙天宇,2022)。U和V都是一个矩阵，从这些资料中可看出分别代表着输入层到对应隐藏层的权重与对应隐藏层到输出层的权重，o代表的则是最终输出层值的向量，而W代表的就是前一状态的隐藏层值作为当前状态的输入所占权重。这些资料的选择基于其权威性、时效性和代表性，以确保能够从多个角度全面地反映研究主题发展的真实情况。因此，隐藏层s向量的值，既与当前状态的输入有关，还受上一状态隐藏层的值影响。用公式表示如下(李梓萱,高宇翔,2022)：OtSt2.1.2LSTM网络结构模型及原理在实际应用中，SimpleRNN会出现许多训练方面的难题，当模型深度不断增加时，RNN会出现长距离依赖问题，从而导致梯度爆炸的现象，同时也会影响神经网络的鲁棒性导致学习能力下降(王泽洋,朱玉洁,2020)。为了解决这个问题，经过大量的研究工作，学者专门设计并提出了SimpleRNN的变体模型——长短期记忆人工神经网络（LSTM）。在长距离依赖的训练过程中，它能有效解决SimpleRNN在故障诊断分类中存在的各种问题，并且能精确对存在长短期依赖的数据进行建模(张宇和,刘丹萱,2022)。递归神经网络模块所采用的链式形式，存在于所有的循环神经网络结构中。在标准的SimpleRNN中，在此特定环境中审视不难看出其本质这种模块的结构不仅唯一且较为简易。虽然LSTM也包含这一结构，但是其中所包含的模块形式不同于单一的SimpleRNN循环神经网络层，LSTM拥有四层结构，且在结构之间以一种较为特别的方法进行交互(黄志杰,李芷萱,2022)。图2.2LSTM结构图门结构是能选择性地让有价值的信息通过，即对信息进行筛选，它由Sigmoid层和点乘法运算两者组成(田雪婷,吴俊宇,2023)。LSTM中一共有三个门：遗忘门、更新门和输出门，用于控制和维持循环神经网络层的状态。LSTM循环神经网络中的第一步是选择性地从循环神经网络细胞状态中删除（遗忘）信息。这段文字的创新之处主要在于其视角的独特性，特别是在对研究问题的新颖切入点。本研究摆脱了传统研究中相对有限的视角，从宏观和微观两个层次进行探讨，既关注整体模式也注重个体特征，为理解复杂现象提供了新的思考路径。从这个角度来看我们认识到该选择由Sigmoid层实现，被称为遗忘门。遗忘门查看前一个输出和当前输出，并将单元格状态中的每一个数字映射到0到1之间的一个值进行输出。遗忘门对数据处理为(吕思远,蔡佳琪,2022)：ft图2.3而第二步，由命名为输入层的Sigmoid对需要在循环神经网络隐藏层状态中更新的值进行修改(陈小林,杨诗慧,2021)。这不仅有助于缩短项目周期，还能降低培训成本和用户适应新系统的时间，从而更快地实现投资回报。在这之后，这在一定水平上揭露由一个tanh层创建向量Ct,并将该向量同样被输入到隐藏层状态中，且在之后将利用这两个向量创建更新值。第二步处理输入数据，创建更新值公式为(郭铭哲,魏若晨,2022)itCt=图2.4在之后，开始将上一个状态值Ct−1更新为Ct。先将上一状态值乘以ft,以此表示这部分期望忘记，之后将得到的值加上it∙C图2.5最后，在此类环境中由输出门基于细胞状态决定最终的输出结果。首先通过一个Sigmoid层，决定要输出的神经网络隐藏层状态部分(高泽林,周馨儿,2023)。然后通过tanh函数将单元格状态与该层门结构的输出通过算法进行处理，最终输出决定的部分。运算算法为：otℎt图2.62.1.3GRU网络结构模型及原理为了满足一些实际应用，研究者在LSTM的基础上进行改动，从而引伸出了很多变体，其中调整较大的是门控循环单元神经网络（GatedRecurrentUnit）。该网络模型在长短期记忆人工神经网络的基础上，实现了输入门和遗忘门相结合，精简了LSTM的模型，并将其结合后的门结构命名为更新门(张瑞阳,邓秋婷,2022)。通过详细分析，本研究不仅完全涵盖了所设定的研究问题和目标，而且在逻辑体系内对观察到的现象和数据进行了合理的说明。因为是LSTM的变体，在这特定状态时因而同样包含其拥有的细胞状态和隐藏状态，但在LSTM的基础上减少了门结构从而将模型参数减少了1/3，使得神经网络不容易发生过拟合，能极大的提高计算效率(李建华,赵梦婷,2022)。GRU的输入输出与其他循环神经网络在结构上一样(朱一鸣,李丹萍,2021)。有一个当前输入xt，和前一时刻传递的隐状态ℎt−1，将当前输入和前一时刻的隐状态结合，GRU通过运算得到一个新的节点输出yt图2.7如图所示，其中r代表重置门，z代表更新门。GRU通过上一个节点传输下来的状态ℎt−1和当前节点的输入xz=σ(xr=σ(x在得到门控状态后，网络首先利用重置门来得到重置之后的数据ℎt−1，再将ℎt−1与xt进行处理，通过一个tanh激活函数对数据进行映射，放缩至-1到1的范围内，得到ℎ'ℎ'最后神经网络利用更新门同时进行遗忘与记忆两个步骤，计算所得到的h并将该向量保留并传递到下一个单元中。更新门在这个过程中决定了当前记忆内容h和前一节点ℎt−1ℎt2.2额外门控运算简介神经模型在自然语言处理领域的主导地位仅受到以下因素的阻碍:有限的泛化能力和可疑的样本复杂性、糟糕的语法理解能力，以及无法将输入序列分割成意义单元。虽然对后者的直接改进是可能的，以此情况为依据但在本文中采用了一种与语言无关的方法来改进循环神经网络，它不仅能在语言建模、语义解析、机器翻译等方面带来了许多进步，同时也使网络能更好地应用在非自然语言处理，尤其是轴承的故障诊断检测(黄博文,刘子晨,2021)。本研究成功地将理论与现实相交融，为所探讨的议题给出了扎实的答案，并为后续研究开辟了新的研究领域和思考方向。许多神经模型都是由RNN建立的，包括端到端可训练神经网络。因此。RNN架构中的创新倾向于从语言建模到许多其他任务的滴漏效应，在许多研究者的努力下极大地加强了这一趋势，它们促进了从架构蓝图到预先训练的构建模块的模型(彭志华,王雪梅,2021)。为了提高循环神经网络模型的泛化能力，本文对LSTM进行了扩展，其中LSTM的输入x是受上一步ℎprev输出的门控条件限制的。接下来，额外门控运算以类似的方式使用门控输入对前一个时间步长的输出进行门控。经过几轮这种相互门通之后，最后更新的输入x和节点状态ℎprev被提供给LSTM。基于这一发现，本文可以更有信心地推进后续研究，探索新的假设、设计更精细的分析，以期在该领域取得更加突破性的进展。在这条件下通过引入这些额外的门操作，在某种意义上，改进后的模型加入了随着Elman网络的发明而出现的一长串具有不同复杂性的门结构的循环架构2.3循环神经网络的实现在进行循环神经网络建模中，可以从此看出出于对语言泛用性和深度学习库函数调用方面考虑，在分析了当前深度学习中所使用的的主流语言，最终选择了使用Python语言，并采用了与之相对应的Pycharm编译器来改进循环神经网络。在本文中，在对循环神经网络时选用使用Adam优化的随机梯度下降法。基于这些初步的研究成果，本文能够构想出更多富有前瞻性的研究设想与探索领域，促进该领域的知识边界不断延伸。通过这些可以看出优化器目的是指引损失函数的各个参数往正确的方式更新合适的大小，并使得更新后的各个参数让损失函数的值不断毕竟全局最小(胡宇凡,邱婷婷,2020)。而随机梯度下降法的优点在于，该方法每次只使用一个样本更新模型参数，因此其训练速度快。而且该方法有利于促使优化的方向不断向较好的局部极小值进行跳跃，最后收敛于一个较为合适的局部极值点(郑佳怡,史文丽,2020)。具体来说，研究发现关键变量间的关联性和走向与模型预测相吻合，这不仅提升了理论架构的可信程度，也为深入探究该领域的复杂关系奠定了实证基础。下面是用于实现LSTM模型的主要Python代码：importosos.environ['TF_CPP_MIN_LOG_LEVEL']='2'importnumpyasnpimporttensorflowastfimportgruimportlstmimportdatadefsingle_layer_static_lstm(input_x,n_steps,n_hidden):#把输入input_x按列拆分，并返回一个有n_steps个张量组成的list如batch_sizex28x28的输入拆成[(batch_size,28),((batch_size,28))]#如果是调用的是静态rnn函数，需要这一步处理即相当于把序列作为第一维度input_x1=tf.unstack(input_x,num=n_steps,axis=1)#可以看做隐藏层lstm_cell=tf.contrib.rnn.BasicLSTMCell(num_units=n_hidden,forget_bias=1.0)#静态rnn函数传入的是一个张量list每一个元素都是一个(batch_size,n_input)大小的张量hiddens,states=tf.contrib.rnn.static_rnn(cell=lstm_cell,inputs=input_x1,dtype=tf.float32)returnhiddens,statesdefmnist_rnn_classfication(flag):#导入数据集tf.reset_default_graph()fromtensorflow.examples.tutorials.mnistimportinput_datamnist=input_data.read_data_sets('MNIST-data',one_hot=True)print(type(mnist))print('Trainingdatashape:',mnist.train.images.shape)#输出训练数据特征信息(55000,784)print('Testdatashape:',mnist.test.images.shape)#输出测试数据特征信息print('Validationdatashape:',mnist.validation.images.shape)#输出验证数据特征信息(5000,784)print('Traininglabelshape:',mnist.train.labels.shape)#输出训练标签数据特征信息(55000,10)#定义参数，以及网络结构n_input=20#LSTM单元输入节点的个数n_steps=20#序列长度n_hidden=100#LSTM单元输出节点个数(即隐藏层个数)n_classes=10#类别batch_size=100#小批量大小training_step=3001#迭代次数display_step=500#显示步数learning_rate=0.0001#学习率BATCH_INDEX=0#定义占位符#batch_size：这在一定程度上显露表示一次的批次样本数量batch_sizen_steps：表示时间序列总数n_input：表示一个时序具体的数据长度即一共28个时序，一个时序送入28个数据进入LSTM网络(陈俊杰,王映雪,2022)input_x=tf.placeholder(dtype=tf.float32,shape=[None,n_steps,n_input])input_y=tf.placeholder(dtype=tf.float32,shape=[None,n_classes])hiddens,states=single_layer_static_lstm(input_x,n_steps,n_hidden)print('hidden:',hiddens[-1].shape)#(128,128)output=tf.contrib.layers.fully_connected(inputs=hiddens[-1],num_outputs=n_classes,activation_fn=tf.nn.softmax)#设置对数似然损失函数#代价函数J=-(Σy.logaL)/n.表示逐元素乘cost=tf.reduce_mean(-tf.reduce_sum(input_y*tf.log(output),axis=1))#求解train=tf.train.AdamOptimizer(learning_rate).minimize(cost)#预测结果评估#返回一个数组表示统计预测正确或者错误correct=tf.equal(tf.argmax(output,1),tf.argmax(input_y,1))#求准确率accuracy=tf.reduce_mean(tf.cast(correct,tf.float32))#创建list保存每一迭代的结果test_accuracy_list=[]test_cost_list=[]withtf.Session()assess:#使用会话执行图sess.run(tf.global_variables_initializer())#初始化变量#开始迭代并使用Adam优化的随机梯度下降法foriinrange(training_step):x_batch,y_batch=mnist.train.next_batch(batch_size=batch_size)x_batch=x_batch.reshape([-1,n_steps,n_input])#开始训练train.run(feed_dict={input_x:x_batch,input_y:y_batch})if(i+1)%display_step==0:#输出训练集准确率training_accuracy,training_cost=sess.run([accuracy,cost],feed_dict={input_x:x_batch,input_y:y_batch})print('Step{0}:Trainingsetaccuracy{1},cost{2}.'.format(i+1,training_accuracy,training_cost))3.循环神经网络改进研究3.1基于额外门控运算的算法改进LSTM与GRU虽然已经在很大程度上解决了梯度消失爆炸问题，但是传统的RNN在故障检测上的精确度依然有所不足，而在改进额外门控运算之后，对输入进行处理有利于训练精度的提升(李梦婷,蒋志鹏,2022)。这在一定水平上揭露但传统的LSTM一般用于自然语言处理，因此为了使其更适合应用在故障上将LSTM中门控运算中的Sigmoid函数更改为tanh激活函数，加快模型的收敛速度，以及更进一步减少梯度消失爆炸问题.这一验证步骤也为后续研究提供了思路，即在已验证的理论架构下，可以更加深入地探讨未被充分研究的因素，或把模型应用于更广泛的情境中进行验证和优化。同时，由于传统的LSTM循环神经网络只将输入x和状态ℎt在网络内部进行运算处理，在这之前并没有任何处理，因此很容易致使在训练学习过程中信息的丢失。为此，本论文在LSTM循环神经网络模中改进了额外门控运算，在对LSTM本身的结构不进行改动基础上，让输入x和状态ℎp先通过门结构进行运算处理，然后通过运算处理提高模型的上下文关联交互能力(李明杰,张晓文,2022)。图2.7额外门控循环结构图这在一定层面上证实了如上图所示，可以明显看出该改进并未对原始的LSTM的计算步骤及本身结构进行调整，仅仅将输入到神经网络模型中的输入x和模型状态信息ℎprev改变了。可以如图2.7中所示，这无疑地揭示了本质在x和h输入到神经网络模型之前，先对两者进行了数轮的交互运算，其中x−1就是输入x，而ℎ0即ℎprev，r则为两者经过的交互运算轮数，若r=0，即将x和xi=2σℎprevi−1如上图公式所示，先根据公式（3.1），将x−1和ℎ0计算得到x1,然后根据公式（3.2），通过x1和ℎ0计算得到改进后额外门控运算的LSTM模型部分代码如下：from__future__importabsolute_importfrom__future__importdivisionfrom__future__importprint_functionimporttiled_linearimportutilsimportsiximporttensorflowastfclassTiledLSTMCell(tf.contrib.rnn.RNNCell):"""AnLSTMcellwithtiledconnections.Supportsvariousconnectivitypatternssuchasthevanilla,denseTiledLinear,andalsoSparseTiledLinear,LayerNormedTiledLinear."""def__init__(self,num_units,use_peepholes=False,cell_clip=None,initializer=None,num_proj=None,feature_mask_rounds=0,feature_mask_rank=0,tie_gates=False,cap_input_gate=True,layer_norm=False,activation=tf.tanh,input_transform=None,state_transform=None,update_transform=None,tiled_linear_class=None,tiled_linear_var_init_params=None):assertnotuse_peepholes,'PeepholesarenotimplementedinLSTMCell.'self._num_units=num_unitsself._use_peepholes=use_peepholesself._cell_clip=cell_clipself._initializer=initializerself._num_proj=num_projself._feature_mask_rounds=feature_mask_roundsself._feature_mask_rank=feature_mask_rankself._tie_gates=tie_gatesself._cap_input_gate=cap_input_gateself._layer_norm=layer_normself._activation=activationself._input_transform=input_transformself._state_transform=state_transformself._update_transform=update_transformiftiled_linear_classisNone:iflayer_norm:tiled_linear_class=tiled_linear.LayerNormedTiledLinearelse:tiled_linear_class=tiled_linear.TiledLinearself._tiled_linear_class=tiled_linear_classself._tiled_linear_var_init_params=tiled_linear_var_init_paramsself._tiled_linear_mod=Noneifnum_proj:self._output_size=num_projelse:self._output_size=num_unitsself._state_size=tf.nn.rnn_cell.LSTMStateTuple(num_units,self._output_size)@propertydefstate_size(self):returnself._state_size@propertydefoutput_size(self):returnself._output_size@staticmethoddef_do_feature_masking(x,y,num_x,num_y,rounds,rank):forround_insix.moves.range(rounds):transforming_x=(round_%2==0)fm_name='fm_'+str(round_)ifrank==0:#fullrankcaseiftransforming_x:x*=2*tf.sigmoid(utils.linear(y,num_x,bias=True,scope=fm_name))else:y*=2*tf.sigmoid(utils.linear(x,num_y,bias=True,scope=fm_name))else:#low-rankfactorizationcaseiftransforming_x:shape=[num_y,num_x]else:shape=[num_x,num_y]a,b=utils.low_rank_factorization(fm_name+'_weight',shape,rank)bias=tf.get_variable(fm_name+'_bias',shape[1],initializer=tf.zeros_initializer())iftransforming_x:x*=2*tf.sigmoid(tf.matmul(tf.matmul(y,a),b)+bias)else:y*=2*tf.sigmoid(tf.matmul(tf.matmul(x,a),b)+bias)returnx,ydef__call__(self,input_,state,scope=None):num_units=self._num_unitsnum_proj=num_unitsifself._num_projisNoneelseself._num_projnum_inputs=input_.get_shape().with_rank(2)[1]defmaybe_transform(transform,x):iftransformisNone:returnxelse:returntransform(x)withtf.variable_scope(scopeortype(self).__name__,initializer=self._initializer):transformed_input=maybe_transform(self._input_transform,input_)transformed_state=maybe_transform(self._state_transform,state.h)transformed_input,transformed_state=self._do_feature_masking(transformed_input,transformed_state,num_inputs,num_units,self._feature_mask_rounds,self._feature_mask_rank)inputs=[transformed_input,transformed_state]input_name_and_sizes=[('x',num_inputs),('h',num_proj)]output_name_and_sizes=[('j',num_units),('o',num_units),('f',num_units)]ifnotself._tie_gates:output_name_and_sizes.append(('i',num_units))ifself._tiled_linear_modisNone:self._tiled_linear_mod=self._tiled_linear_class(input_name_and_sizes,output_name_and_sizes,self._tiled_linear_var_init_params)ifself._tie_gates:j_pre,o_pre,f_pre=self._tiled_linear_mod(inputs)else:j_pre,o_pre,f_pre,i_pre=self._tiled_linear_mod(inputs)#Computethecellstatec.f=tf.sigmoid(f_pre)j=self._activation(j_pre)j=maybe_transform(self._update_transform,j)o=tf.tanh(o_pre)ifself._tie_gates:c=f*state.c+(1-f)*jelse:i=tf.tanh(i_pre)ifself._cap_input_gate:c=f*state.c+tf.minimum(1-f,i)*jelse:c=f*state.c+i*jifself._layer_norm:c2=utils.layer_norm(c,[1],scope='ln_c')else:c2=cifself._cell_clipisnotNone:#pylint:disable=invalid-unary-operand-typec=tf.clip_by_value(c,-self._cell_clip,self._cell_clip)#pylint:enable=invalid-unary-operand-typeh=o*self._activation(c2)ifself._num_projisnotNone:h=utils.linear(h,self._num_proj,bias=False,scope='projection')returnh,tf.contrib.rnn.LSTMStateTuple(c,h)3.2训练数据来源Tensorflow中的Mnist数据集由美国国家标准与技术研究所发起整理并开源发布。本文利用该数据集对改进额外门控运算循环神经网络进行训练学习验证，初步推断改进方法的正确性(吴宇航,赵玉兰,2022)。这在一定水平上揭露该数据集包含用于训练循环神经网络的数据有六万个，而用于测试循环神经网络的数据多达一万个。在设计优化工作中，本文特别注重经济性与方案的可扩展性，与最初设计相比，在多个方面进行了细致的调整与优化。该数据集统计了两百多个人手写生成的数字图片集，且该数据集都经过尺寸标准化处理，是众多深度学习算法模型测试的标准数据集之一(周思琪,孙志强,2022)。3.3判断指标如此能够看出在对各种循环神经网络模型进行训练验证时，有许多用来评判的指标，包括准确度（Accuracy）、精确度（Precision）、召回率（Recall）、F1score(F1-measure值)等。而在本文中将准确度以及函数损失值设为判断网络模型的重要指标，因为这两个指标在深度学习神经网络模型中最为广泛应用且重要(刘嘉琪,李锦程,2022)。在此基础上，本文进一步采用了多种实证方法对研究结论进行了检验，以确保结果的稳健性和可靠性。3.3.1分类准确率单标签分类任务中的每个样本都有一个确定的类别，预测到该类别就是分类正确，反之则是错误，因此准确度是最为直观的指标，也就是准确率。accuracy=TP+TN上述公式表示的为所有样本都正确分类的概率。3.3.2损失函数值损失函数表示一个循环神经网络模型对相应数据集进行训练学习后的拟合程度。总体上来说，模型的损失函数值越小，则表示该循环神经网络模型对数据的拟合程度越高，模型的鲁棒性能较好。同时也希望，当损失函数值较大时，神经网络模型拥有较大的梯度有利于在梯度下降过程中加快更新速度。常用的损失函数值有：MSE损失函数、log损失函数、CrossEntropy、交叉熵等(黄志涛,王晓云,2019)。从这些规则中看出本文选用了对数似然损失函数。其公式如下：Loss=y.logal3.4改进循环神经网络效果对比分析根据额外门控运算理论推导，先利用Mnist数据集对搭建好的各种循环神经网络模型（LSTM、GRU、改进后的LSTM）进行训练，初步验证改进后的效果。对比各个模型对Minst数据集训练后的损失函数值和测试精度，来判断各个模型的优劣。一般而言小的损失函数值和高的测试精度，代表较高的网络模型学习能力(郑子墨,赵宇和,2020)。在数据搜集阶段，本文运用了多种数据渠道，以实现数据的相互支持和验证，同时应用规范化流程来减少数据采集的主观影响。根据下述图表，显然可以看出改进额外门控运算后的LSTM对数据的适应性更好。表3.1LSTM模型的函数误差及准确率值训练次数2004006008001000120014001600Accuracy0.58590.82030.78910.84380.85940.92970.92190.9219loss1.43970.69860.60270.48570.46600.25930.32890.2060表3.2GRU模型的函数误差及准确率值训练次数2004006008001000120014001600Accuracy0.53130.64840.77340.84380.89840.90630.89060.9219loss1.51681.13390.66730.59030.36840.32720.33700.3402表3.3改进后的LSTM函数误差及准确率值训练次数2004006008001000120014001600Accuracy0.14840.16410.34380.66410.8750.8750.90630.9531loss2.30232.30081.64601.06450.53980.39770.32620.1800图3.3不同循环神经网络模型准确率对比图图3.4不同激活函数损失值对比图由Minst数据集训练模型验证可见，改进的额外门控运算LSTM神经网络模型在迭代1600次后的损失函数值为0.18左右，这在一部分程度上揭示了精确度在0.95左右，相比与原有的LSTM神经网络模型和GRU神经网络模型，不仅在精确度上有所提高，在损失值上也有所降低。因此，可得出结论改进的额外门控运算可以提高神经网络的学习性能。但是由于引入了额外门控运算，这在某种程度上表征神经网络模型在学习速率上明显有所下降，网络需要更多的迭代次数才能达到优于原有网络的精确度与损失函数值(胡雨婷,张泽宇,2022)。本文还对研究过程中潜在的误差进行了敏感性分析，进一步增强了研究结果的稳定性。创新点在于观察角度的转换，尤其是针对研究目标的新颖解读。4.改进的循环神经网络故障诊断应用研究4.1故障诊断流程基于循环神经网络的故障诊断框架主要分为五个阶段：定义状态阶段，对故障状态进行定义(许怡然,刘文静,2022)。数据预处理阶段，将数据进行清理、分割、重构、归一化、去噪等处理，并将数据集分为训练集和测试集。训练阶段，构建整体网络模型，训练分类模型，最后进行微调。测试阶段，利用测试集测试训练好的模型。诊断结果评估阶段，确定故障类型，并对诊断结果进行评估。图4.1故障诊断基本框架4.2数据来源通过查阅故障数据相关文献，最终选择了美国凯斯西储大学(CaseWesternReserveUniversity，CWRU)开源提供的轴承故障数据集。本文中所用的部分数据集文件如图4.2所示。因为该数据文件中包含了处于当前状态下轴承相应振动信号的时序数据，因此有利于循环神经网络的故障诊断研究展开(范志伟,王凯旋,2021)。该段内容的创新点在于其视角的革新，尤其在于对研究对象的深度审视。传统研究习惯于聚焦于对象的核心特征和直接联系，而本文则深入挖掘了那些不太受关注的边缘属性和隐蔽的联系。图4.2部分数据集图该数据集中一共采集了轴承主要发生的三类故障，包括内圈（InnerRace）、外圈（OuterRace）以及滚动体（Ball）。从这些资料中可看出图4.2中文件采用了英文的头文字进行简写，同时007、014以及021代表不同的故障轻重程度，也就是故障直径为7密耳、14密耳和21密耳(蒋梓萱,陈宇彤,2022)。由于轴承一些故障的产生可能需要许多年时间的累积，因此该数据集采集时采用了人工注入故障的方法——利用电火花技术，将单点故障引入到轴承的适当位置上。如图4.3所示，模拟实验台由四部分组成，除去图中所示仪器，还包括一个电子控制器对图中器件进行操作控制。为保障研究结果的可靠性和可信度，本文最初广泛收集国内外相关领域的文献资料，系统梳理了当前研究的前沿发展和理论依据。实验中，在此特定环境中审视不难看出其本质加速度传感器通过磁性底座安装在电机壳体的驱动端和风扇端12点钟位置的机壳上，并将其利用来采集振动信号。由于外圈故障相对来说比较固定，这在一定水平上揭露其损伤点一般就是它的载荷位置，因此实验时正在外圈3点钟、6点钟以及12点钟位置设置损伤点，数据集文件中的OuterRace12就是12点钟方向的故障(高欣怡,李星宇,2021)。在研究设计阶段，本文精心设计科学合理的研究框架，确保研究问题明确且有价值，研究假设合理且有依据。图4.3滚动轴承故障模拟实验台实物图图4.4深沟球轴承图其中振动信号的获取，是利用DAT记录仪保存的，该仪器为16通道。数字信号的采样频率包括12khz和48khz，而驱动端轴承故障数据则以48khz的速率进行采集，并在采集完成后通过MATLAB进行处理。在此类环境中因此，数据集的文件格式最终为mat。数据集文件中所含英文变量，含义如下表4.1数据集文件变量含义注释表DE-driveendaccelerometerdata驱动端的加速度数据FE-fanendaccelerometerdata风扇端的加速度数据BA-baseaccelerometerdata基础的加速度数据time-timeseriesdata时间序列数据RPM-rpmduringtesting测试时转速4.3数据的选取与处理确定实验使用的数据集为CWRU轴承数据集后，需要对数据文件中的参数进行详细分析，进而才可以理解每种数据实际所代表的含义以及获取诊断所需数据，才可以选择合适的能进行故障诊断分类的数据(朱晓东,王子鸣,2022)。在这般的框架下以本次选用的数据文件IR021_0为例说明文件参数含义，IR代表故障发生在驱动端内圈故障，12KDE和48KDE代表采集这个数据时所用的采集频率，021代表该故障轴承的直径为21,0则代表实验时电机转速为1797RPM。本文采用最新数据来识别数据中的潜在模式，或利用决策树模型来预测未来动向。这些前沿方法为深刻剖析复杂现象提供了强大助力，并有助于揭示隐藏在海量数据中的深层联系。循环神经网络训练所需要的数据从不同轴承数据集中选取，一共选用了10中状态数据，包括一种正常状态下的数据，从这些条件可以体会到和三种直径不同且在三个不同的位置发生，3*3排列组合成9种故障状态的数据。所采用的数据都是从驱动端DE进行采集。要进行分类的轴承故障数据包含的十种状态如表4.2所示。各个状态数据采用的都是振动信号，从这些方法中看出且各状态数据为时间序列数据，在实验过程中按时间顺序在各种时间点进行采集，可以反映出采样点的振动信号随着时间的推移而逐步变化，当采样点的故障状态和频率不同时，在这种模式下其相应的振动信号数据也会随之变化，数据之间的差异反映了这一点(徐昊天,王丽萍,2020)。尽管本研究已取得一些初步成果，但要对所有结论进行全面且细致的核实，还需更长时间的跟踪研究和反复实验。因为该数据集的时间序列性，充分满足了循环神经网络模型的训练学习，所以选用该数据集进行训练验证测试。表4.2轴承数据种类示意图分类识别选择的十种轴承状态轴承正常轴承外圈+故障直径0.007英寸轴承外圈+故障直径0.014英寸轴承外圈+故障直径0.021英寸轴承滚动体+故障直径0.007英寸轴承滚动体+故障直径0.014英寸轴承滚动体+故障直径0.021英寸轴承滚动体+故障直径0.007英寸轴承滚动体+故障直径0.014英寸轴承滚动体+故障直径0.021英寸在这等环境下利用MATLAB访问文件内容可以发现，该数据集的时间故障序列数据中每个都有122571个故障数据，而为了方便模型的训练学习要将数据处理为向量矩阵，因此从每个数据集中选用120000个相同时间点所采集的数据，并对其进行归一化处理。首先将每种故障类型的120000个数据分为300个样本，在这种场景中并将每个样本中的400个数据排列由最初的[400,1]处理成[20,20]的矩阵形式，并将样本集和矩阵内部数据进行打乱重新排列，最后按9:1将子图片集分为270个训练集和30个测试集(郭鹏飞,刘静雅,2022)在数据代码调用过程中，本文利用scipy函数库来对mat格式的数据文件进行读取，B是指驱动端滚动体故障，IR是指驱动端内圈故障，021是指轴承直径为21。数据处理代码见附录1。4.4改进循环神经网络轴承故障诊断应用研究4.4.1已有循环神经网络进行训练和测试使用循环神经网络网络对之前已经处理完毕的CWRU轴承故障数据集的驱动端采样数据进行故障诊断及分类，从这些反馈中感知到其中训练集和测试集按9：1分为108000个和12000个，而目前已有的涉及到门结构的循环神经网络模型有LSTM循环神经网络和GRU循环神经网络。框架模型的一个关键特点是它具备出色的灵活性和扩展性。考虑到研究环境和目标的多样性，本文在设计时强调了各组件的模块化，让使用者可以根据需要灵活地对某些部分进行调整或替代，而不影响整体架构的稳健性和效率。考虑到实验电脑的性能以及训练时间长度，每次实验让构建好的循环神经网络模型利用轴承故障训练集进行3000次训练，在此特定状态下事情的发展显而易见每进行500次训练，利用测试集对训练完成的各种循环神经网络模型开展验证测试，输出相应的损失函数值和测试准确率(彭志华,王雪梅,2021)。(1)LSTM循环神经网络首先利用LSTM循环神经网络对处理好的轴承故障数据集进行故障诊断，下表是每进行500次训练，利用测试集验证后输出的损失函数值及测试准确率。表4.3LSTM故障诊断分类结果表训练次数损失函数值测试准确率5001.43120.079910001.22110.400115001.18830.430020001.13090.479925001.20690.569930001.29270.6000图4.5LSTM损失函数值变化图图4.6LSTM测试准确率变化图分析上述图标可以得出，利用LSTM进行故障诊断分类的损失函数值约为1.2，测试准确率约为0.60。同时可以明显看出，在前1500步训练中，模型的训练效果不佳，致使测试效果并不理想，这清楚地揭示了真相但随着训练的继续进行，测试准确率总体呈现随之上升的趋势，最后保持在0.6的准确率，而函数损失值一直维持在1.2左右水平(孙梓萱,高宇翔,2022)。通过深入分析研究对象的内在结构和运作机制，本研究不仅吸收了章教授提出的多层次、多角度审视问题的方法论，还进一步将这些理念应用于具体实践中以确保研究结果的全面性和准确性。(2)GRU循环神经网络接着利用GRU循环神经网络对处理好的轴承故障数据集进行故障诊断，下表是每进行500次训练，利用测试集验证后输出的损失函数值及测试准确率。表4.4Tanh故障诊断分类结果表训练次数损失函数值测试准确率5001.70120.059910001.43330.270015001.42540.340020001.46140.379925001.49550.389930001.46990.4099图4.7GRU损失函数值变化图图4.8GRU测试准确率变化图从上图可以看出，虽然GRU的准确度总体随着神经网络训练的进行，在不断平稳上升，但最终只有仅仅0.4的测试准确率，同时函数损失值平均维持在1.5，也略微高于LSTM神经网络。从这些对话中看出因此可以得出，GRU对门结构的调整减少了信息处理，虽然加快了收敛学习速度，但不适合循环神经网络对轴承故障进行诊断分类(邓宇晴,罗振东,2022)。该结果与本文最初预计的研究成果一致，表明了研究方向的准确性。这种一致性说明了本文在研究设计初期设定的目标和假设是基于坚实的理论基础。对比两种神经网络，可以明显看出LSTM循环神经网络对轴承故障诊断分类的训练效果更好，在3000步的时候网络测试准确度已经达到0.6且仍保持上升趋势，因此可以推断随着训练的继续进行，最终能达到0.7的测试准确度。同时可以发现，随着训练的进行，从这些信息中可以看出每种网络的故障诊断准确度都呈现上升趋势，而函数损失值则在一定范围内不断波动，可以看出训练过程中或多或少会产生一些不可避免的扰动(蔡紫薇,马腾飞,2023)。4.4.2改进LSTM循环神经网络训练和测试改进的LSTM循环神经网络模型是在LSTM的模型结构上进行调整，改进了LSTM前的额外门控循环，并将门控运算中的Sigmoid函数调整为tanh函数，使额外门控运算能更好的的处理轴承故障数据，减少梯度爆炸现象产生。下表是该模型测试的损失函数值和准确度(徐博文,王欣怡,2022)。表4.6改进后LSTM故障诊断分类结果表训练次数损失函数值测试准确率5001.44480.469910001.18610.759915001.27960.759920001.45470.769925001.56960.769930001.48710.7699图4.9改进后LSTM损失函数值变化图图4.10改进后LSTM测试准确率变化图4.5不同循环神经网络故障诊断效果对比分析随着循环神经网络的发展，已经能较好地应用在轴承故障数据诊断分类领域中，循环神经网络中的隐藏层是互相有连接的，这明显地揭示了意图致使前后输出相关联，并且存在共享特性。同时，由于循环神经网络特殊的时间结构共享性，因此在对拥有长时间序列性的数据进行处理时，使得神经网络能更加自由且动态地获取输出信息，因此在对拥有时间序列的轴承故障数据进行诊断分类时，运用循环神经网络具有很大的优势。因此，本文能够更快捷地准备好用于分析的数据集合，同时降低了由于复杂步骤导致的错误发生概率。综合函数损失值和准确度，对上述不同循环神经网络模型的故障诊断分类效果进行考虑分析，如图4.11所示，LSTM、GRU和改进的LSTM三者的函数损失值，都相差无几。LSTM和GRU的函数损失值基本稳定在一定范围内上下波动，而改进后的LSTM由于添加了改进的额外门控运算后，在此可以看出致使输入经过一定的运算致使输入的信息有些许损失，最终造成函数损失的波动范围较大(林晓东,赵瑶慧,2021)。图4.11不同循环神经网络函数损失值比较图图4.12不同循环神经网络测试准确率比较图对比LSTM和GRU的准确度可以看出，GRU将更新门和遗忘门结合在一起，减少了参数量，从而减少了过拟合的风险，从图中可以看出GRU的准确度增长较为稳定，程平滑的曲线缓慢上升，这在一定范围内体现了但也正是因为减少了参数，从而导致特征采集不充分致使GRU的故障诊断分类准确率较低。而相比之下，LSTM虽然曲线上身比较波动，但是却拥有较高的准确率，且提升训练收敛速率要远远快于GRU。从整个测试实验结果来看，在改进额外门控运算后LSTM对故障诊断分类的准确度相比于LSTM和GRU循环神经网络有了极大的提升。利用现有的理论框架对一些理论成果进行了验证，结果显示出这些理论不仅在概念层面上有强解释力，在实际应用中也表现出良好的适应性和有效性。改进的额外门控运算的目的是为了显著地加强上下文的信息关联，这也是原始的LSTM循环神经网络模型所存在的问题，因为上下文信息的缺少，这在某种程度上暗示了导致LSTM无法对有效特征进行很好地训练学习，而额外门控运算在很大程度上降低了分类的难度，从而加快了模型的学习速度及收敛速度，不仅能在短时间达到较高准确度，且具有较好的鲁棒性(高雨晨,苏逸凡,2020)。在本文研究中，由于采用的数据是具有时间序列性的轴承故障数据集，因此，循环神经网络在对其进行故障诊断分析时具有更大的优势，同时，改进的额外门控运算LSTM网络，对输入进行了一定的提取压缩处理，这在一部分程度上揭示了对准确度和收敛速度的提高起了至关重要的作用。因此在对时序轴承故障数据进行诊断分类时，改进的门控额外运算LSTM循环神经网络模型会有着极其显著的效果。结论与展望本文以循环神经网络的轴承故障诊断研究问题为方向，深入研究了循环神经网络的重要改进方法即门结构的引入，并基于前人的想法由此对循环神经网络进行门结构改进。在对网络模型进行改进后，基于改进的网络模型对轴承故障数据进行诊断分类技术研究，并分析对比了原有循环神经网络LSTM和GRU网络与改进后的LSTM网络的故障诊断分类效果，为循环神经网络在故障诊断领域中的应用提供了新的思路。本文具体有以下几点研究成果：（1）面对日益复杂的工业设备，传统技术无法高效获取并处理故障信息，故障诊断的精确度无法在满足日益发展的工业，这在一定程度上预示针对这些问题，本文通过循环神经网络对故障数据进行诊断与分类，并通过CWRU轴承故障数据集来进行测试故障诊断的实际应用效果。（2）通过对深度学习的了解，查阅大量文献后，根据门结构对循环神经网络的改进，提出在LSTM循环神经网络中改进其外部的额外门控循环，弥补精确度较低的不足，并利用MINST数据集进行改进有效性验证。（3）通过搭建好的各种循环神经网络模型对轴承数据的9种故障状态数据进行诊断及分类，并通过函数损失值和测试准确度两个判断指标对比各种循环神经网络在故障诊断领域之中的应用效果，并对循环神经网络在故障领域中的应用提出建议。在现代工业系统可靠性与安全性中，深度学习已经成为了未来发展研究的主流，并且在故障诊断领域取得了大量成果。正如本文所述，循环神经网络在故障诊断的应用上有极大的优势，但同时也仍然面领着许多问题，这在某种意义上表明了精确度的提高以及函数损失值的降低仍然是重中之重。本文的研究内容因为时间有限也还存在不足之处，后续的研究可以从以下三个方面开展：(1)在故障诊断领域中，拥有时间序列的数据仍然很少，因此需要对数据进行获取，在故障数据采集中引入时间序列，以此利于循环神经网络在故障诊断领域中的发展。(2)GRU循环神经网络在故障领域中的学习能力较弱，可以利用改进LSTM的方法在GRU神经网络模型中引入额外门控运算，提高GRU的训练学习能力和收敛速度。(3)使用更多种类的故障诊断数据集来对神经网络模型进行训练，从而提高神经网络模型的泛化能力，使改进后的循环神经网络模型可以在故障诊断领域中通用。参考文献[1]蒋强，沈林，张伟，何旭.基于深度学习的故障诊断方法研究[J].计算机仿真,2018,7(1):409-413.[2]李华东,王志宏.基于深度学习在故障诊断方法综述[J].电子与信息学报,2020,42(1):234-248.[3]张文博,刘玉婷.基于深度学习的故障诊断技术研究[D].哈尔滨工业大学,2018.[4]LecunY，BengioY，HintonG．Deeplearning[J]．Nature，2015，521(7553):436-444．[5]陈凯琳,王俊杰.基于深度学习的故障诊断方法研究综述[J].电子测试,2020,(18):43-47.[6]林晓东,赵瑶慧.深度学习在故障诊断中的研究综述[J].新型工业化,2017,7(4):45-48.[7]高雨晨,苏逸凡.基于改进堆叠式循环神经网络的轴承故障诊断[J].同济大学学报,2019,47（10）1500-1507.[8]孙佳怡,胡建国.卷积神经网络多变量过程特征学习与故障诊断[J].哈尔滨工业大学学报,2020,52（7）：59-67.[9]杨昊宇,许心怡.基于深度置信网络的炼化空压机故障诊断方法[J].化工学报,201970（2）：757-763.[10]郑瑞宇,陈思思基于栈式自编码器的变压器机械故障诊断[J].高压电器,2020,56（9）：46-53，59.[11]赵子铭,孙天宇.栈式降噪自编码网络在变压器故障诊断中的应用[J].电测与仪表,2018,55(17):62-67.[12]李梓萱,高宇翔.基于LSTM循环神经网络的盾构机故障预测系统设计[J].现代机械,2018,（5）：35-40.[13]王泽洋,朱玉洁.ConvolutionalNeuralNetwork-AidedTree-BasedBit-FlippingFrameworkforPolarDecoderUsingImitationLearning[J].I(高雨晨,苏逸凡,2020)TransactionsonSignalProcessingI(高雨晨,苏逸凡,2020)Trans.SignalProcess.SignalProcessing,I(高雨晨,苏逸凡,2020)Transactionson.69:300-313202.[14]张宇和,刘丹萱g.Arecurrentneuralnetworkbasedhealthindicatorforremainingusefullifepredictionofbearings[J].Neurocomputing,2017,240:98-109.[15]JingweiQiu,WeiLiang,LaibinZhang,etal.Theearly-warningmodelofequipmentchainingaspipelinebasedonDNN-HMM[J].JofNaturalGasScienceandEngineering,2015,27:1710-1722.[16]LiaoK,ZhaoY,GuJ,ZhangY,ZhongY.SequentialConvolutionalRecurrentNeuralNetworksforFastAutomaticModulationClassification[J].I(高雨晨,苏逸凡,2020)AccessAccess,I(高雨晨,苏逸凡,2020).9:27182-271882021[17]黄志杰,李芷萱基于改进卷积神经网络的滚动轴承智能故障诊断研究[J].振动工程学报，2020，33（2）:400-413.[18]田雪婷,吴俊宇.基于深度学习的轴承故障诊断研究[D].内蒙古科技大学,2020.[19]吕思远,蔡佳琪.基于循环神经网络和蝙蝠算法的变压器故障诊断[J].电工技术，2018,（20）:38-41[20]QinN,LiangK,HuangD,MaL,KempA.H.MultipleConvolutionalRecurrentNeuralNetworksforFaultIdentificationandPerformanceDegradationEvaluationofHigh-SpeedTrainBogie[J].I(高雨晨,苏逸凡,2020)TransactionsonNeuralNetworksandLearning高泽林,周馨儿temsI(高雨晨,苏逸凡,2020)Trans.NeuralNetw.Learning高泽林,周馨儿t.NeuralNetworksandLearning高泽林,周馨儿tems,I(高雨晨,苏逸凡,2020)Transactionson.31(12):5363-5376Dec,2020.[21]ZhangC,LimP,QinAK,etal.Multiobjectivedeepbeliefnetworksensembleforremainingusefullifeestimationinprognostics[J].I(高雨晨,苏逸凡,2020)TransactionsonNeuralNetworksandLearning高泽林,周馨儿tems,2016,28(10):2306-2318.[22]TalebiHA,KhorasaniK,TafazoliS,etal.Arecurrentneural-network-basedsensorandactuatorfaultdetectionandisolationfornonlinear高泽林,周馨儿temswithapplicationtothesatellite’sattitudecontrolsub高泽林,周馨儿tem[J].I(高雨晨,苏逸凡,2020)TransonNeuralNetwork,2009,20(1):45-60.[23]陈小林,杨诗慧.基于改进EEMD的卷积神经网络滚动轴承故障诊断[J].重庆大学学报,2020,43(1):82-89.[24]NasserTalebi,MohammadAliSadrnia,AhmadDarabi.Robustfaultdetectionofwingenergyconversion高泽林,周馨儿temsbasedondynamicneu