【《基于LSTM的橡胶密封圈疲劳寿命预测应用分析案例》5300字】

基于LSTM的橡胶密封圈疲劳寿命预测应用分析案例目录TOC\o"1-3"\h\u31563基于LSTM的橡胶密封圈疲劳寿命预测应用分析案例 147241.1长短时记忆神经网络模型 182001.2LSTM模型优化 2212051.2.1Dropout 2270771.2.2正则化 343781.2.3提前终止 3102661.2.4Adam优化算法 419961.3疲劳寿命预测模型的搭建 4224151.4超参数对照试验 6176451.5模型泛化能力验证 111.1长短时记忆神经网络模型长短时记忆神经网络的控制流程与RNN相似，不同之处是加入了门控结构和细胞状态的概念，使得LSTM具有了选择性保存信息与遗忘信息的功能，可以对于时间序列中间隔较长的情况进行预测。LSTM的门控结构包括遗忘门、输入门和输出门三部分。遗忘门的功能是决定保留或者丢弃哪些信息。来自前一个隐藏单元的信息和当前输入的信息一同传递到sigmoid函数中，经过激活函数的处理，输出的值域范围在0和1之间，然后与前一阶段的细胞状态按元素相乘，若遗忘门的输出值为0，则任何与之相乘的向量结果都为0，代表任何信息都无法通过；若遗忘门的输出值为1，则任何与之相乘的向量结果都是其本身，代表所有信息都可以通过。这就意味着结果越接近0则就越应该遗忘掉这部分的信息，结果越接近1则越应该将信息保留。输入门的功能是控制当前输入值与上一时刻隐藏状态中有多少信息会传入到当前记忆单元。此刻的单元状态等于上一时刻的单元状态按元素乘以遗忘门，与此刻的细胞状态按元素乘以输入门之和。这样就把之前的记忆与当前的记忆结合了起来，由于遗忘门的存在，可以保留很久以前的记忆状态，且由于输入门的存在，可以让无关紧要的信息保留在当前的记忆之外。输出门的功能则是用来确定当前的记忆状态中有多少信息会输出到下一阶段单元中。三种门函数可分别表达如下： (1.1) (1.2) (1.3)其中、、分别代表遗忘门、输入门和输出门，表示输入层与隐藏层之间的权重，表示隐藏层与输出层之间的权重，为偏置量。输入单元状态为： (1.4)记忆单元状态为： (1.5)隐藏单元状态： (1.6)一般的LSTM单元结构如图1.1所示。图1.1简单LSTM结构Fig.1.1SimpleLSTMstructure1.2LSTM模型优化1.2.1Dropout在深度学习模型中，如果模型的参数太多而训练样本的数量太少，训练出来的模型很容易产生过拟合现象，具体表现为模型在训练样本数据上的损失函数较小，预测的准确率较高，而在测试样本数据上的损失函数较大，预测效果不佳。过拟合是深度学习中经常存在的一种现象，一旦发生过拟合，模型将没有任何使用价值，为了解决这个问题，Hinton在2012年发表的论文《Improvingneuralnetworksbypreventingco-adaptationoffeaturedetectors》中提出了Dropout的方法[81]。所谓Dropout，就是在网络前向传播的过程中，以一定的概率p让某些神经元的激活值为零，这样可以减少隐藏层节点之间的相互作用，不至于过于依赖某些局部特征，从而增强了模型的泛化能力。使用Dropout后的网络结构示意图如图1.2所示(p=0.4)。(a)标准神经网络(b)应用Dropout后图1.2是否应用Dropout对比Fig.1.2WhethertouseDropoutcomparison1.2.2正则化正则化是一种回归的形式，它的目的是在学习过程中降低模型的复杂度和不稳定程度，从而避免出现过拟合现象，增强模型的泛化能力。一个模型好坏的评估，不仅仅是模型在训练完成后损失函数精度有多高，更重要的是模型在实际应用中是否能达到好的预测效果。正则化是在模型训练样本的时候，将样本中不是共有的必要特征进行限制学习，从而让模型更好的提取并学习更加重要与泛化的数据特征，进而提升模型的鲁棒性。机器学习中常用的正则化方法有L1正则化和L2正则化[82]。L1正则化（Lasso回归）： (1.7)L2正则化（Ridge回归）： (1.8)1.2.3提前终止在神经网络中，随着训练的不断迭代进行，模型能力逐步提升，误差在训练集上越来越小。但随着训练的进行，验证集上的误差在达到最小值后又逐渐上升，产生过拟合现象。为了解决这一问题，每当验证集上损失函数的值下降一次，就把这个值记录下来，然后继续训练，直到发现在某个最小值后给定的迭代次数里没有更小的值，则停止训练，也叫提前终止(Earlystopping)。1.2.4Adam优化算法为了使损失函数以一种更高效更准确的方法达到其最小值，我们通常会选择合适的优化算法作为辅助工具。常见的优化算法有梯度下降法(GradientDescent)、随机梯度下降法(StochasticGradientDescent)、Momentum优化算法、Adagrad优化算法和Adam优化算法(Adaptivemoments)等[83]。对于简单的BP神经网络和浅层神经网络来说，一般采用随机梯度下降法就可以收敛到全局最优点，但是对于较为复杂的深度学习网络来说，参数和超参数较多，如果没有选择合适的超参数，容易导致收敛到局部最优点。因此，本文选用了一种应用较多，能够对学习率进行自适应的Adam优化算法。它的原理是通过梯度的一阶矩与二阶矩估计来动态调整各参数的学习率，主要优点是在偏置校正后，从原点初始化的一阶矩（动量项）估计和二阶矩（非中心的）估计得到校正，每一次迭代后的学习率有了一个确定的范围。Adam优化算法的计算公式如下： (1.9) (1.10)式中：表示梯度一阶矩估计；表示梯度二阶矩估计；表示初始网络权值；表示矩估计指数衰减率，一般取0.9；表示矩估计指数衰减率，一般取0.999。1.3疲劳寿命预测模型的搭建预测模型的基本结构为LSTM循环神经网络加上一个全连接的神经网络，其中LSTM的输入维度为18，即为样本数据的特征数量，输出维度为8。取LSTM最后一步的输出作为全连接神经网络的输入，这样可以进一步增加网络的非线性表达能力，而全连接神经网络的输出即为橡胶密封圈疲劳寿命的预测值。模型结构图如图1.3所示。图1.3长短时记忆网络模型结构Fig.1.3Longandshort-termmemorynetworkmodelstructure算法包含了训练和测试两部分，训练部分将所有训练样本数据输入到网络，并根据已知的疲劳寿命数值作为标签来指导神经网络进行有监督式学习与模型参数权重的更新。测试阶段则是将测试集的数据输入到已经训练好的神经网络中，得到一个根据网络计算出的预测值，再将其与真实值进行比较，根据计算与分析预测值和真实值之间的误差输出损失值来判断模型的好坏，并且不断进行反向梯度更新，如此反复进行训练，直至误差值达到所需的精度要求为止。本文选取数据集中70%的数据作为训练集，30%的数据作为测试集。算法流程框图如图1.4所示。图1.4长短时记忆网络算法框架Fig.1.4Longandshort-termmemorynetworkalgorithmframework1.4超参数对照试验模型训练的目的就是使损失函数足够的小，获得合适的权重值，最终满足我们所需要的预测精度。进行超参数优化实验可以帮助我们在控制变量的前提下寻找不同超参数的最优解，从而帮助模型更好更快的寻找到最适合的权重值，达到最终的训练预测目标。因此，本文重点对几个影响模型效果较大的超参数（隐藏层数、隐藏层单元数、时间步长、学习率、丢弃率）进行对照试验。（1）不同隐藏层数下的实验分析对于一般的神经网络结构来说，隐藏层数越多，复杂的非线性表达能力越强，整体的计算误差越小，因此我们选取了从1到10不等的隐藏层数进行了十组对比实验，结果如图1.5所示。图1.5不同隐藏层数对模型精确度的影响Fig.1.5Theeffectofdifferenthiddenlayersonmodelaccuracy从实验结果可以看出，模型的损失和平均绝对误差均随着隐藏层层数的增加呈先减小后震荡上升的趋势，当层数选为6时有较好的拟合效果，对应精度为loss：0.0011；MAE：0.01732，过大过小都会导致损失和误差值的上升。但是6层隐藏层数会大大增加运算量和运算时间，还极有可能造成过拟合现象。通常，我们把神经网络模型的隐藏层设为1或者2，只要隐藏单元数足够多，还是可以较出色的完成拟合非线性函数的任务。由于n=2比n=1实验得到的误差低近一倍，故当模型的隐藏层数取2时效果较好。（2）不同隐藏单元数下的实验分析隐藏单元数影响着模型能够提取识别特征的复杂程度。目前还没有一套详细的理论和公式确定隐藏层单元的个数，只能根据经验确定一个大致可以选择的范围，通过进行重复多次对照试验进行分析确定。但是所确定的单元个数必须符合以下两个条件：隐藏单元数(表示训练样本的数量)，否则平均下来每个单元控制不到一个训练样本，LSTM的系统误差将与训练样本特性无关趋向于零，模型不具有泛化能力；训练样本的数量要大于神经网络的连接权数，否则训练样本将被分成几个部分，然后通过轮流训练的方法来获得可靠的模型。隐藏单元数越多，隐藏层能够提取到的样本特征就越丰富，反之则无法获得足够的信息进行训练，导致拟合能力低下，无法达到需要的学习精度。但是不是隐藏单元数越多越好，过多的隐藏单元会造成运算量翻倍与计算时间的增长，同时还可能造成过拟合现象，所以选择合适的隐藏层单元数至关重要。如图1.6所示为不同隐藏单元数条件下模型效果的对比实验结果。图1.6不同隐藏单元数对模型精确度的影响Fig.1.6Theeffectofthenumberofdifferenthiddenunitsontheaccuracyofthemodel从图中可以看出，模型的损失和平均绝对误差呈现先快速下降，短暂出现波动上升后再次下降，随后再逐步上升的趋势，在隐藏单元数选择8的时候整体最优，对应精度为loss：0.0028；MAE：0.02987，过大或过小的单元数都会导致预测性能的下降。（3）不同时间步长下的实验分析循环神经网络是处理与时间序列相关的数据的网络，这种与时间相关联的特性可以由时间步长来显现出来。时间步长体现在神经网络结构中就是循环单元的个数，各个循环单元间通过遗忘与记忆等功能互相传递前后时刻的信息，而其中某个时刻的信息可能是由多部份不同时间的信息综合而来的。如果时间步长为1的话则失去了使用循环神经网络的意义，各部分的信息之间没有关联性。但是时间步长太长也会降低循环神经网络的学习能力，进而影响预测精度。如图1.7所示为不同时间步长条件下模型效果的对比实验结果。从图中可以看出，模型的损失值和平均绝对误差都呈先减小后增大的趋势，在时间步长为3时误差值和损失值最小，对应精度为loss：0.0032；MAE：0.02678，模型效果达到最佳。图1.7不同时间步长对模型精确度的影响Fig.1.7Theeffectofdifferenttimestepsonmodelaccuracy（4）不同丢弃率下的实验分析不同的丢弃率(DropoutRate)也会给模型的训练效果带来一定影响。如果选择过大的丢弃率，大多数神经元被丢弃，许多有用的信息随之丢弃，可能会造成欠拟合现象，模型无法得到足够的有效样本进行训练。过小的丢弃率可能会没有起到缓解过拟合现象的作用，而适当的选择丢弃率进行训练会显著提升模型的效果。如图1.8所示为不同丢弃率下模型效果的对比实验结果。从图中可以看出，模型的损失值和平均绝对误差都呈现先快速减小后又迅速增大的趋势，在丢弃率等于0.3时误差值和损失值显著低于其他点，对应精度为loss：0.0025；MAE：0.02517，模型效果达到最佳。图1.8不同Dropout率对模型精确度的影响Fig.1.8Theeffectofdifferentdropoutratesonmodelaccuracy（5）不同学习率下的实验分析学习率是监督学习中重要的超参数，其决定着模型在训练迭代过程中的学习速度。如果学习率选择的比较大，前期可以有较大的前进步长，梯度下降的速度比较快，但在后期可能摇摆幅度过大，很难寻找到最优点。而如果选择的学习率较小则学习速度过慢，大大增加了工作量。选择合适的学习率可以让模型的目标函数在合适的时间内收敛到局部最小值。通常，学习率在刚开始训练时一般设置为0.01-0.001之间。如图1.9所示为不同学习率下模型效果的对比实验结果。图1.9不同学习率对模型精确度的影响Fig.1.9Theeffectofdifferentlearningratesonmodelaccuracy由图中的实验结果比较可知，在0.01~0.001的范围内，模型的损失值与平均绝对误差值基本呈现出单调函数的态势，这里直接取最小值0.001，对应的精度为loss：0.0003；MAE：0.00476。综上实验所述，不同的超参数设置会对预测模型的建立与性能好坏产生不同程度的影响，其中隐藏层数设为2，隐藏单元数设为8，时间步长设为3，丢弃率设为0.3，学习率设为0.001时模型效果在解决预测相同或相近工况下橡胶密封圈的疲劳寿命时最佳。在实际应用中，可以根据实际情况、实际需求与经验对超参数的设置进行微调，以达到更好的预期效果。如图1.10所示为训练集中的样本数据与经过训练后的模型所输出的寿命预测值之间的拟合情况，可以看出绝大部分的数据拟合情况良好，没有偏离较大的样本点，与图4.9相比拟合度有了显著的提升。如图1.11所示为从测试集中随机抽取的100组样本数据与预测模型输出的预测值的拟合情况，可以直观地看出二者之间基本完全贴合，且较图4.10中所示的RNN预测模型的输出结果有较大提升，对应精度为loss：0.0027；MAE：0.01914。同样将第三章中基于断裂力学方法进行疲劳寿命预测时所使用的节点1325的相关数据带入到LSTM预测模型中，预测的疲劳寿命为，，与传统方法的计算值32055h相比，误差为0.51%。图1.10训练样本和预测值的拟合情况Fig.1.10Thefitoftrainingsamplesandpredictedvalues图1.11LSTM模型预测结果与测试集拟合情况Fig.1.11ThefitoftheLSTMmodelpredictionresultsandthetestsetdata1.5模型泛化能力验证泛化能力指的是一个经过已知数据集训练好的模型对于未知数据进行预测的能力。泛化能力差的模型仅对参与过训练的数据有较好的分析能