【《基于Mogrifier LSTM电池SOC估算分析案例》2000字】

附录－PAGE1－基于MogrifierLSTM电池SOC估算分析案例目录TOC\o"1-3"\h\u33基于MogrifierLSTM电池SOC估算分析案例 1286091.1改进LSTM原理 1225391.2网络超参数优化 3166671.2基于改进LSTM电池SOC预测过程 51.1改进LSTM原理在2020年ICLR(InternationalConferenceonLearningRepresentations)国际学习表征会议上，英国牛津大学GaborMelis，TomasKocisky[79]等人发表了MogrifierLSTM深度学习算法，改进算法对原有LSTM算法进行了扩展，在原有算法基础上增加两个门控单元，增强了网络输入和输出的交互能力，提高了网络的动态逼近能力。改进后的LSTM如图3-23所示。图3-23MogrifierLSTM网络单元Mogrifier1LSTM在LSTM基础上进行扩展，输入x(t)和前一时刻输出h(t-1)在进入传统LSTM单元之前以交替方式相互控制。图3-24虚线框内显示了输入和输出的交互过程，x(t)经过sigmoid门限单元转换后，得到控制状态u(t)。sigmoid函数使得u(t)中各元素值介于[0,1]之间，将u(t)和h(t-1)进行点乘处理，使得h(t-1)中各元素得到不同程度转换，若u(t)对应h(t-1)中的某元素值为1，则使得h(t-1)中对应元素按照原数值流入网络，若u(t)对应h(t-1)中的某元素值为0.5，则使得h(t-1)中对应元素减半后流入神经网络。u(t)中各元素数值由x(t)流过该层权重得出，该权重在网络的训练过程中不断更新，以降低网络损失值。图3-24交互过程1图3-24中u(t)和h(t-1)’的更新过程如下所示：(3-16)(3-17)式中Wu为输入x(t)对h(t-1)通过性进行控制的权重，bu为其偏置矩阵。h(t-1)经过u(t)的转换变为h(t-1)’。在循环神经网络中网络最后的输出从c(t)中获取，在网络训练过程中，网络利用时间序列对c(t)进行更新，若输入时间序列中某元素变化较为剧烈，网络应学会如何对进行处理。为解决以上问题，MogrifierLSTM增加h(t-1)’对x(t)控制的门限单元。如图3-25所示：h(t-1)’经过sigmoid门限结构处理得到控制状态v(t)，利用v(t)实现对x(t)中各元素转换，网络利用转换后得到的损失值对该层的权重进行微调，实现梯度更新。v(t)和x(t-1)’更新过程如下所示：(3-18)(3-19)式中Wv为输入h(t-1)’对x(t)通过性控制的权重，bv为其偏置矩阵。x(t)经过v(t)转换变为x(t)’。图3-25交互过程2在此之后，数据的流动与图1.2.1节中LSTM保持一致。通过以上分析可知，在LSTM单元基础上加入控制状态u(t)和v(t)，可在输入和输出之间建立一个更加丰富的交互空间，充分利用输入和输出的内在联系，提高网络的动态逼近能力。1.2网络超参数优化1.2.2节对LSTM神经网络超参数进行优化，本节对改进后的神经网络超参数进行优化，具体如下所示：（1）批处理数量批处理数量与LSTM数量一致，均为128。（2）损失函数损失函数与LSTM损失函数一致，均选用均方误差计算损失值。（3）优化器优化器与LSTM优化器一致，均为带动量随机梯度下降。（4）训练周期图3-26为MogrifierLSTM神经网络在恒流放电工况不同迭代周期电池SOC预测结果。从图3-26可以看出，随着迭代次数的增加，网络损失值MSE呈下降趋势。网络前100次迭代在训练集和验证集上MSE下降较快，在验证集上的损失值略低于在训练集上的损失值。网络在100~300迭代过程中，MSE下降较为缓慢，网络在训练集上的MSE略低于相同迭代次数下验证集MSE。经过多次反复测试，确定不同数据集下迭代次数如表3-12所示，从表中可以看出不MogrifierLSTM达到最佳训练图3-26恒流放电工况不同迭代次数表3-12迭代次数测试测试项目网络类型恒流数据集脉冲数据集NASA数据集迭代次数LSTM300350500Mogrifier200250350训练时间/sLSTM45016211895Mogrifier40015301435从表3-12可以看出，改进算法较原有LSTM相比，单次迭代所需的时间增加，但改进算法达到最佳预测性能所需的训练周期较少，从表中训练时间可以看出，改进算法达到最佳预测效果所需的训练时间与LSTM算法基本一致。（5）隐含层节点数目通过1.2.2节LSTM隐含层节点数量测试可知，过少的隐含层节点会导致网络容量不足，而过多的隐含层节点会导致网络过拟合，节点数量存在一个最优值。经过多次反复试验，MogrifierLSTM神经网络在各工况验证集上预测性能如下所示：表3-12隐含层节点数量测试项目网络类型隐含层节点/个MAE(%)MSE(%)恒流LSTM300350500Mogrifier200250350脉冲LSTM45016211895Mogrifier40015301435NASALSTMMogrifier从表3-12中可以看出，改进算法达到最佳预测性能所需的隐含层节点数量较LSTM相比略有降低。造成以上现象的原因在于，改进算法增加的门控单元提升了模型节点数量，导致改进算法隐含层节点数量降低后仍能保证模型容量。（6）交互次数改进算法在LSTM神经网络基础上增加了2个门控单元以增强输入和输出的交互空间，其中x(t)和h(t-1)的交互次数对网络的预测性能具有较大影响。表3-13为恒流放电数据集下采用不同交互次数网路预测性能，从表中可以看出，最佳交互次数为5次。经过多次测试，确定脉冲和NASA随机使用数据集上MogrifierLSTM交互次数分别为5次和8次。图3-27交互次数示意图表3-13交互次数对网络性能影响交互次数253035404550556065验证集MAE/%29.544.431.931.812.181.721.831.872.741.2基于改进LSTM电池SOC预测过程Step1：实验数据划分：本节实验数据划分与1.2.3节一致；Step2：数据预处理：数据预处理与1.2.3节一致，均采用离差标归一化处理；Step3：网络参数设置：按照1.2节超参数搭建MogrifierLSTM，选择损失函数和优化方法，设置MogrifierLSTM神经网络迭代次数和学习率等参数，设置输入输出交互次数，并初始化