《时间序列分析》 课件 第七章第三节 长短期记忆神经网络

自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity第三节长短期记忆神经网络

随着海量数据的获得和计算机性能的大幅提高，机器学习开始盛行，其中一些机器学习方法可以用于非线性时间序列的研究，主要有循环神经网络模型等。循环神经网络具有短期记忆功能，它的神经元不但接受其它神经元的信息，也接受自身的信息，形成环路。但是，当输入的时间序列较长时，循环神经网络会出现长程依赖问题。于是，随后出现许多改进的循环神经网络方法，其中长短期记忆神经网络（LongShort-TermMemoryNetwork，LSTM）等，通过引入门控机制，较好地解决了长程依赖问题，已经成功地应用在语音识别、自然语言处理等许多任务上。自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity7.3.1长短期记忆神经网络

神经网络是将多个神经元连接而成的模型，不同的神经元内部构造和连接方式，得到不同的神经网络。1989年，Cybenko、Hornik等给出通用近似定理，该定理说明恰当构造的神经网络可以以任意的精度逼近任何一个给定的连续函数。

循环神经网络将时间序列数据作为输入，当前时刻的神经元的输出是与它相连的下一时刻的神经元的一个输入，形成环路。这里的时间序列一般没有要求平稳性，循环神经网络的参数学习是按照时间逆向的误差反向传播算法进行，参数调整时使用梯度下降法等实现。但当输入的时间序列较长时，循环神经网络会出现梯度爆炸或者梯度消失的问题，即所谓长程依赖问题，使得模型无法对长时间间隔状态之间的依赖关系进行捕捉。长短期记忆神经网络（LSTM）通过引入门控机制，来改进循环神经网络。LSTM模型选择性地加入新的信息，同时又选择性地遗忘之前的信息，从而有效地解决长程依赖问题。自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

图7.3.1LSTM网络的循环单元结构自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity表7.3.1和表7.3.2分别展示了数据x和数据z中的前五条数据和后五条数据。表7.3.1部分原始数据日期x2017/1/10:00:005052017/1/11:00:004852017/1/12:00:004662017/1/13:00:004352017/1/14:00:00405......2017/6/3019:00:00512017/6/3020:00:00682017/6/3021:00:00612017/6/3022:00:00492017/6/3023:00:0055[4344rowsx1columns]

表7.3.2部分归一化数据日期z2017/1/10:00:000.7379212017/1/11:00:000.7086382017/1/12:00:000.680822017/1/13:00:000.6354322017/1/14:00:000.591508......2017/6/3019:00:000.049782017/6/3020:00:000.0600292017/6/3021:00:000.0717422017/6/3022:00:000.0512452017/6/3023:00:000.058565[4344rowsx1columns]

自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

接着，取出数据z中前4320行数据建模，留24行数据做最后的测试。建模需要根据前面若干小时的PM2.5浓度数据预测下一小时的PM2.5浓度值。为此，将整个的时间序列数据，截取成固定长度的序列。固定的长度定义了预测下一个值需要回溯多少步，长度值称为训练窗口，而要预测的值的数量称为预测窗口。这里将训练窗口设置为167，预测窗口为1。将固定长度的序列和它的预测值标签构成的实验数据，按照7：3的比例划分为训练集和验证集。本次实验的实验环境配置如表7.3.3所示。表7.3.3实验环境配置名称具体配置操作系统Windows11处理器13thGenIntel(R)Core(TM)i5-1340P1.90GHz内存16GB硬盘1T深度学习框架PyTorch编程语言Python3.8开发工具VSCode自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

本次实验使用了一个单独的LSTM层，设置了2个可以调优的参数：每个隐藏层的神经元数量以及LSTM层之后隐藏全连接层数目，这里它们分别为24和2。使用的优化器为AdamW，全称为AdamwithWeightDecay，它是一个结合了Adam优化器和权重衰减的优化器。损失函数为均方误差损失函数。对模型进行epoch=30轮的训练，学习率为0.001。图7.3.2展示了训练过程中训练集上损失函数值（实线）和验证集上损失函数值（虚线）的变化。从图中可以看到，训练集和验证集上的损失函数在第10轮训练时都已经大幅下降，在第30轮时下降到0.002以下。图7.3.2损失函数变化图自强不息厚德载物TsinghuaUniversityofChina知行合一、经世致用CentralSouthUniversity

选择经过30轮训练得到的模型拟合真实数据，得到