CN110647980A 一种基于gru神经网络的时间序列预测方法 （成都理工大学）

一种基于GRU神经网络的时间序列预测方法，所述基于GRU神经网络的时间序列预测方法包括：升维处理；利用GRU神经网络对输入数据进行训练，得到训练后的时序预测模型并保存；使用GRU-SES模型进行时间序列数据的预测，得到初数平滑处理得到最终预测数据值；输出预测结2步骤七，将得到的初步预测数据进行二次指数据清洗：将原始数据中的噪声数据进行消除首先确定数据列中的中心值，通过计算每个公式(3)表示需要计算数列的标准差，将数列中的数据Xi先减去平均值后再进行平3中的gru_cell为GRU神经网络中的神经元，其中又在训练gates和candidate中的权重值和1)所述GRU神经网络具体为TensorFlow中的GRU神经网络模块；所述GRU神经网络隐藏2)利用GRU神经网络对输入数据进行训练时，利用损失函数评估神经网络目标和实际3)使用TensorFlow中的优化器采1)利用二次指数平滑公式计算时序数列和其中的时序数列中的和一般选取原始数据列中的第一个数据；计算时，使用t时刻的输入值xt和t一1时刻的的值；44)将经过GRU神经网络计算出的预测值和经过二次平滑指数计算出的预测值进行算术经由式(10)计算的算术平均值即为经过使用GRU-SES模型预测出的最终的预测数据使用进行数据标准化的公式，进行逆运算来还xin=xn*s+x(11)式(11)中的xiT为符合原始数据类型的预测数据，XiT为经过GRU-5[0001]本发明属于网络信息预测技术领域，尤其涉及一种基于GRU神经网络的时间序列[0003]时间序列是在时间维度上观察统计得到的数列值，是随机过程的一种特殊往往得不到较好的结果。现在大量的研究也表明使用人工神经网络在复杂的系统中有着6[0007]现有的时间序列的预测研究现阶段主要分为三种大体方向，1、传统概率统计模模型、指数平滑模型(exponentialsmoothing，ES)、自回归滑动平移模型(autoES模型(无趋势无季节模式)、Holt-Winter非季节模型(加法趋势无季节模式)和Holt-[0012]2、人工智能模型是在近几年随着大数据挖掘与机器学习的兴起而得到飞速发展是通过计算机模拟自然现象或人类智慧来解决复杂的系统。人工智能模型的参数估计是型的人工智能模型主要有决策树(decisiontree)、贝叶斯(Bayes)网络、支持向量机[0013]决策树是利用信息论中信息增益的方法去找到输入数据中具有最大信息量的变数据之间的关系，贝叶斯网络通过不断调整概率测度权重来确定各个数据间的关系和存[0016]人工神经网络是模仿生物神经网络中的神经元之间的连接而形成的计算机7人工神经网络的学习过程实际上是通过不断调整各个神经元之间的阈值和激活函数，连[0020](1)现有采用传统概率统计的预测模型中使用的函数形式较为固定，对于实际中[0022]解决上述技术问题的意义：时间序列预测是时间序列研究方向中的一项重要研[0023]针对现有技术存在的问题，本发明提供了一种基于GRU神经网络的时间序列预测8列中的每个数据和确定的中心值进行绝对距离的加权平均，再将各个数据与中心值的差[0050]1)所述GRU神经网络具体为TensorFlow中的GRU神经网络模块；所述GRU神经网络[0053]2)利用GRU神经网络对输入数据进行训练时，利用损失函数评估神经网络目标和9法的学习率为0.003，进行每次优化训练[0059]1)利用二次指数平滑公式计算时序数列s"和s",其中的时序数列中的s"和s"使用公式(9)计算经二次平滑指数处理后的预[0067]4)将经过GRU神经网络计算出的预测值和经过二次平滑指数计算出的预测值进行[0069]经由式(10)计算的算术平均值即为经过使用GRU-SES模型预测出的最终的预测数[0071]使用进行数据标准化的公式，进行逆运算来还原出符合原始数据类型的预测数[0077]本发明采用TensorFlow的GRU神经网络模块作为神经网络对数据进行训练，不仅[0078]本发明采用Adam算法对损失函数进行优化，不仅对学习率进行使用梯度的一阶矩估计和二阶矩估计动态地调整每个参数的学习率；同时Adam算法经过Adam算法对损失函数进行优化不仅能处理稀疏梯度和非平稳目标；对不同的参数可以计[0080]本发明通过对GRU神经网络预测后的结果进行二阶指数平滑处理，得到准确率更[0110]S105，利用TensorFlow搭建时序预测模型，利用GRU神经网络对输入数据进行训[0115]本发明将采用循环神经网络的优化结构GRU(GatedRecurrentUnit)神经网络对依赖和梯度消失等传统循环神经网络的弊端。GRU神经网络又是对LSTM神经网络的一种结[0132]因果预测法中的回归法是利用数理统计的原理，首先是对原始数据进行数学处从而根据其中的关系建立出一个较为完善的回归方程，使用该回归方程进行未来数据的地对时间序列中的数据进行计算平均数，从而能够得到一个经过平均的平均数的时间序数列的第一项开始按指定的项数进行计算平均时序，然后向后移动得到一个移动平均后列可以观察到时序数列发展的长期趋势。移动平均数列需要确定时间间隔长度的参数k，[0141]b.周期数列参数选取周期数或整数倍数，如当数列是一个具[0143]加权移动平均法可以看作是移动平均法的推广，需要确定时间间隔长度的参数k本期的预测值来共同构建下一期的预测值的一种加权平均方法。指数平滑法对与数列中较早期的数据的系数是按照指数的规律进行递减的，越早期的数据，则给予的权重值越杂性的时间序列数据可以使用人工智能算法来替代传统的预测方法来进行时序预测。传结果。同样人工智能模型中的可以选取的函数形式也比传统的模型中的函数形式要多变[0155]决策树(Decisiontree)算法是根据树的分支结构来进行分类的，其本质原理是通过if-then规则对特征变量进行一步步的判断决策来实现模型。在模型的循环迭代中，[0156]随机森林(RandomForest)也就是由多个决策树组成的，组成的这些决策树都是概率表中的存储的每个数据元素都是在有向无环图中的一一对应的节点，存储的节点和和构建贝叶斯网络是十分复杂的。贝叶斯网络的是优点是可以不必指明某些输入的变量，的情况下，赋予计算机学习能力的一个研究领域。”随后在1998年，TomMitchell在序在T上以P衡量的性能随着经验E而自我完善，那么称这个计算机程序在从经验E学习。”这是一个简短的形式体系，它表明要怎么收集或收集什么样的数据(E)，然后要做出什么分输入数据会对应输出数据，即部分x()-y()。半监督学习使用部分有标记的输入数据[0175]归纳(induction)阶段，该阶段是观察神经网络的局部从而推演出整体的神经网[0179]其中神经元k的w0k又被称为门槛值(threshold)。作为与生物神经网络相同的仿[0181]其中的函数f为激活函数，激活函数可以是线性或非线性函数来转换netk输出神[0188]也正是人工神经网络具有这些特性，解决了传统人工智能的对[0190]循环神经网络(RecurrentNeuralNetworks，RNNs)是不同与传统的前向反馈神隐藏层中的各个节点都是存在连接的，同时隐藏层的输入包括当前时刻的输入值和前一}；输出单元(outputunits)，其中将输出数据集标记为{y0，t+1tt+1[0202]y=p(w-x+w-yr-1+b)(19)[0205]但是传统的循环神经网络也存在很大的不足，其中最主要的就[0210]对上式的公式进行变形这里的yt表示t时刻的原始的正确数据，表示t时刻的预测出的数据。整个训练过程是将每一个输入数据作为一[0215]根据公式可以看出这里的s3=tanh(u,+w)则s3是是需要依赖与s2，同理可知[0217]上式是将每个时刻得到的梯度值都进行相加，W是在每一次的计算中都进行了使行累加求和。而随时间的方向传播算法(BPTT)是在循环神经网络上的标准反向传播算法[0223]由图13可以清晰的看出tanh和sigmoid的函数在图像两端的导数值，也就是梯度[0227]因为梯度爆炸问题是比较容易解决的，而梯度消失问题有时候出现的并不是明是改变循环神经网络的结构，例如现在常采用的长短型记忆(LongShort-TermMemory，[0229]门限循环单元(GatedRecurrentUnit，GRU)神经网络是由长短型记忆(Long神经网络是循环神经网络的一种变形模型，最为引人注目的成就就是很好的克服循环神[0230]和传统的循环神经网络一样，GRU神经网络也是由一个个神经单元模块重复在组t是由上一个神经元的输出ht-1和本次神经元的输入xt相加后乘以更新门权重[0237]然后GRU神经网络中的重置门(ResetGate)模型如图18所示。根据图18和公式r[0239]最后GRU神经网络中的输出值模型如图20所示。根据图20和公式(30)中ht表示本[0240]由上述的GRU神经网络中的公式和各个分解图可以看出每个神经元都在决策每次[0244]GRU-SES模型是根据GRU神经网络的优化而来，对GRU神经网络产生的预测数据再次进行二阶指数平滑处理，使得经过GRU-SES模型处理后的预测数据比直接使用GRU神经将这些数据转化为无量纲的纯数值，是为了使其不同单位不同量级的数据指标能够进行为-∞~+∞,采用Z得分法处理后的数据均值为0，方差为1。在统计分析中Z得分法是被广[0272]极差标准化变换法是将数列中所有数据的中心值(一般选为均[0275]本发明中的数据标准化处理将采用Z得分法，经过标准化后的数据将作为神经网[0279]本模型将对时间序列数据进行升维处理，使用代码实现升维数据序列形式原时序数列形式如：[x1x2x3…xn]，进行是由GoogleBrain团队开发的机器学习系统，可以用来实现机器学习和深度神经网络方后采用数据流图的方式进行数据的计算，也就是张量(tensor)从流图的一端流动到另一[0289]本发明中的GRU神经网络，其中的隐藏单元的数量(hidden_num_un的方差也就是损失函数的损失值。损失函数是用来评估神经网络目标和实际输出差距的[0295]最后使用梯度下降法优化目标函数，这是需要定义梯度下降法的学习率发明直接使用TensorFlow中的优化器进行损失函数的优化，采用的优化器是较小时，Adagrad算法定义的约束项较大，这样就可以放大梯度；当后期梯度较大时，[0298]Adam算法本质上是对Adagrad算法的优化，Ada