【《经济发展预测模型分析》9700字】

经济发展预测模型分析目录TOC\o"1-3"\h\u23307经济发展预测模型分析 137231.1ARIMA时间序列模型 1140391.1.1ARIMA模型理论介绍 156251.1.2ARIMA模型建模预测 4202681.2LSTM模型 8173401.2.1LSTM模型理论介绍 8229821.2.2单变量LSTM模型建模预测 10327461.2.3多变量LSTM模型建模预测 12190491.3XGBoost模型 1348901.1.1XGBoost模型理论介绍 13255131.1.2单变量XGBoost模型建模预测 15185631.1.3多变量XGBoost模型建模预测 16212641.4ARIMA-LSTMs-XGBoosts模型 1746201.4.1相关理论介绍 17233911.4.2组合模型构建思路 21179201.4.3组合模型建模预测 21261131.5小结 231.1ARIMA时间序列模型1.1.1ARIMA模型理论介绍现实生活中大多数时间序列数据都呈非平稳且表现形式众多。一般经过恰当的差分处理后包含随机趋势的非平稳时间序列会转换为平稳序列，此时这个非平稳时间序列即为差分平稳序列[REF_Ref28697\n\h50]。在这种情况下可以通过求和自回归移动平均模型(autoregressiveintegratedmovingaverage,ARIMA)来对差分平稳序列进行拟合。ARIMA模型建模主要包含以下步骤：1.序列的平稳性检验。检验序列的平稳性可以采取不同角度与方法，其中图示法和单位根检验法目前使用较广。图示法即绘制给定的时间序列数据随时间变化的趋势图，通过经验主观判断该序列是否存在某种趋势；单位根检验法(augmentedDickey-Fuller,ADF)的特点为假设时间序列是由一个阶自回归过程生成的，接下来通过建立估计模型得到估计参数，并进行单位根检验[REF_Ref28837\n\h51]。若检验结果为具有单位根，则说明该序列不是平稳的；反之为平稳序列。当序列不平稳时，我们需要进行平稳化处理。主要包括三种类型：(1)对数化对数化即对原始数据进行对数变换。通过对数化处理，可以将一些诸如具有指数趋势的非平稳时间序列化为具有线性趋势的序列，从而减少其中非线性因素的影响。(2)数据的分解与平滑具备趋势特征是非平稳时间序列的典型特点，主要分为确定性趋势和随机性趋势。序列平稳化的方法之一就是通过对序列进行分解，提取其中的确定性趋势。提取确定性趋势的方法众多，例如：线性拟合法、移动平均法、指数平滑法等等。我们可以通过将这部分确定性趋势从原始序列去除，得到一个平稳序列。(3)差分法差分法即通过有限阶的差分运算将趋势信息提取，但要慎重选择差分阶数，否则可能过出现过差分的状况。特别地，若一时间序列具备指数趋势，可以考虑将对数化与差分法相结合，先通过对数变换降低指数趋势，在通过差分运算实现序列的平稳化。2.ARMA模型的识别与定阶。ARMA(p,q)模型的初步识别，可以通过样本观察值计算出样本自相关函数和偏自相关函数，按照ARMA(p,q)模型的定阶原则得到。ARMA(p,q)模型的定阶原则如下表1.1所示。表1.1ARMA(p,q)模型定阶原则模型AR(p)MA(q)ARMA(p,q)p阶拖尾截尾p阶拖尾截尾q阶拖尾q阶拖尾但在实践中这个定阶原则相对困难。因为样本具有随机性，所以样本的相关系数并不会出现理论上的完全截尾情况，本该是截尾的系数可能会呈现小幅度震荡的拖尾。此外该方法还存在着一定的主观性，因此使用信息准则方法来对模型进行定阶可以弥补一部分不足。目前常用的信息准则方法是准则和准则，准则是由Kullback-Leibler信息量导出的，其一般形式为： 式中，是极大似然函数，为待估参数的个数。值越小，代表选择该模型效果更好。准则是在基础上的改进，它把样本个数考虑在内，可以有效防止因当样本数量过多、模型精度过高而导致的模型复杂度过高，其一般形式为： 式中，是极大似然函数，为待估参数的个数，为样本个数。同样，以值更小作为选择模型的准则。1.ARMA模型的参数估计。模型识别后，即自回归阶数和移动平均阶数已将确定，接下来应估计ARMA(p,q)模型中的未知参数，，，。估计方法主要包括矩估计法、最小二乘法和极大似然估计法等。4.ARMA模型的检验。理论上来说，经模型识别与参数估计后，建立的模型应将原始数据中包含的信息全部提取，所得到的残差序列应为白噪声序列，故只需对残差序列进行白噪声检验即可判别所建立的模型能否有效提取原始数据的信息。白噪声检验的假设条件分别为：原假设：备择假设：至少存在某个检验统计量取为： 3-(5)此处的是残差序列的自相关函数，为样本自相关函数。通常情况下，取显著性水平为0.05，当检验的值高于0.05时，认为无法拒绝原假设，即有理由相信残差序列为白噪声序列；反之应拒绝原假设，认为备择假设成立，即序列为非白噪声序列，此时就要重新进行模型识别提取信息。ARIMA模型的整体构建流程如图1.1所示：图1.1ARIMA建模流程1.1.2ARIMA模型建模预测本节ARIMA模型建模预测使用R1.6.3和python实现。建模步骤如下：1.数据平稳化。首先，绘制1978-2018年的人均GDP(PGDP)趋势图如图1.2：图1.21978-2018年人均GDP趋势图直观来看，数据表随时间推移表现出明显的指数型增长趋势，并非平稳序列。以1978-2015年的数据作为训练集，2016、2017、2018年的数据作为测试集对原始数据进行划分。使用上述ADF方法得到训练集数据平稳性检验结果的值为0.9990，远大于显著性水平0.05，因此无法拒绝原假设，即该序列为非平稳序列。由于人均GDP呈指数趋势增长，故我们采取了对数变换法，去除指数趋势，此时的ADF检验值为0.5966，仍不平稳。对对数化后的序列做一阶差分运算，再次进行平稳性检验，此时，差分后的序列图如下图1.3所示，可以观察到，序列围绕一条水平线波动，大致为平稳序列。为避免主观因素的影响，对序列进行单位根检验大致，得到值为0.0025，显著小于0.05，因此可以拒绝原假设，认为该序列已经平稳。图1.3一阶对数差分序列趋势图模型平稳后，我们应检验平稳序列是否为白噪声序列，若序列为白噪声，则该序列中不存在值得提取的信息，分析结束。经检验，值为0.000035，远小于显著性水平0.05，故可以拒绝原假设，该序列并非白噪声序列，可以对该平稳序列进行建模。2.模型识别与定阶。对训练集平稳后的时间序列绘制自相关函数与偏自相关函数图如下：图1.4自相关与偏相关函数图根据图1.4，在1阶延迟后，自相关函数围绕零值呈小范围波动，其取值都在二倍标准差范围中。而偏自相关函数图的拖尾截尾性质难以准确判定，故我们利用、准则法来确定阶数。通过将、的最高滞后阶数设置为5，对训练集反复建立模型，得到的最佳滞后阶数为：，，即对训练集建立ARIMA(0,1,2)模型，效果相对最好。此时，值为-127.82，值为-121.38。1.对模型参数进行估计，结果见表1.2。表1.2参数估计结果系数标准误const0.12880.0161MA.L11.23410.2529MA.L20.42020.23294.模型检验。使用ARIMA(0,1,2)模型拟合训练集数据，对得到的残差序列进行白噪声检验，检验结果显示值为0.6342，大于0.05，说明在5%的显著性水平下，不能拒绝原假设，即该残差序列可认为是白噪声序列，这说明我们的模型对数据拟合良好，信息提取充分。5.模型评估。为更为清晰的展示模型的拟合情况，使用python中matplotlib包，绘制训练集的ARIMA(0,1,2)模型拟合曲线见图1.5。图1.5ARIMA(0,1,2)模型训练集拟合图图中，曲线为训练集预测值，真实值以点表示，可见模型拟合效果较好，真实值大多落在拟合曲线上。使用所建立的ARIMA(0,1,2)模型对测试集进行验证，得到的结果如表1.3(结果保留两位小数)：表1.3测试集验证结果真实值预测值绝对误差相对误差平均相对误差2016年5413955201.961064.961.97%4.48%2017年6001462391.102379.11.96%2018年6600670966.274960.277.51%通过计算得到测试集的绝对误差、相对误差以及平均相对误差。三者的值均较小，说明用ARIMA(0,1,2)模型来对我国人均GDP进行建模预测较为有效。但随着年份的增加，预测值的精度逐渐降低，相对误差逐渐变大，且预测值相对于真实值偏大。1.2LSTM模型1.2.1LSTM模型理论介绍传统神经网络能够实现对物体的分类与标注，但并不适用于处理有前后依赖信息的预测问题，而该类问题的本质取决于传统神经网络的结构，因此一种新的网络结构被提出，其输出不仅依赖当前的输入还需要与前一时刻或后一时刻的输入结合作为参考，属于反馈型神经网络类型[REF_Ref28964\n\h52]。反馈型神经网络中处理时序相关反馈的典型代表网络是循环神经网络(currentNeuralNetwork,RNN)，它是一个包含时间循环结构的网络，它允许信息被持久化，适用于序列化的特征数据，常被用于对时间序列进行预测[REF_Ref29020\n\h53]。循环神经网络的训练算法为反向传播算法(BackPropagationThroughTime,BPTT)，该算法主要针对循环层进行训练。主要包括三个步骤：前向计算出每个神经元的输出值；反向计算得到各神经元误差项；计算得到每个权值的梯度[REF_Ref29020\n\h53]。尽管RNN算法能够有效处理时间序列数据，但仍旧存在因梯度爆炸、梯度消失情况导致无法训练长期依赖信息的问题[REF_Ref31039\n\h54]。针对这一问题，LSTM(Longshort-TermMemory,LSTM)算法被提出，它既能对长期依赖进行训练，又能对短期依赖进行训练。LSTM算法是对RNN算法的改进，其核心思想为在内部增加一个状态来记忆长期信息以解决梯度消失问题，这个新引入的状态被称为单元状态(CellState)[REF_Ref31127\n\h55]现按照时间将LSTM的神经元结构进行展开，如图1.6，图1.6LSTM网络结构图由图可知，输入特征、时刻的输出与单元状态构成了当前时刻的神经元输入部分；其输出是此时的输出。其中，、、均为向量形式。LSTM与传统的循环神经网络的区别是具备了单元状态，其优势为不仅能获取上次输入的信息，还能在内部与相连，此外还能传递当前状态给下一神经元。传统的RNN中，每个神经元内部仅有一个单一的层，如图1.7，而LSTM包含了三个，一个共四个相互作用的层[REF_Ref31868\n\h56]，如图1.8，LSTM与RNN相比，最大的差别即经过到的水平线，如图1.8中上方水平线所示，是实现长期记忆保留的关键所在。图1.7传统RNN神经元结构图图1.8LSTM神经元结构图LSTM网络主要是通过引入门结构：遗忘门、输入门和输出门，对信息进行有效的保护和控制[REF_Ref31946\n\h57]。(1)遗忘门遗忘门是对于是否保留上一时刻的、到当前时刻的状态中做出选择。具体来说，是利用Sigmoid函数对上一时刻的输出与当前时刻的输入作出计算，其输出范围是[0,1]。0代表全部遗忘，1代表完全保留。计算公式如下： 3-(6)(2)输入门输入门的作用是判断要留下多少当前的输入信息。实现这项工作需要两个层。第一个层由sigmoid层判断需要更新的输入，其计算公式为： 第二个层由tanh层创建可以更新到当前状态的候选信息，其计算公式为： 根据遗忘门和输出门两个门结构的计算，我们能够获得单元状态的更新值： 3-(7)其中，“”代表按照元素进行逐项相乘。通过元素逐项相乘遗忘想要舍弃的信息，通过元素逐项相乘选择当前的部分信息输入当前状态，最终二者相加得到的更新值。(3)输出门前面两个门结构实现了信息的遗忘与更新，最后就是信息的输出。输出门的主要功能就是选择中可以输出到的部分。该单元通过sigmoid层实现对信息的选择处理，得到中间变量，再将当前时刻的单元状态经tanh层处理后与进行计算得到，而获得的经过判断，部分会输入到下一时刻的时间单元，剩余部分会对外输出。其计算公式如下： 3-(8)LSTM的训练算法和RNN相同，均为反向传播算法(BPTT)，结合LSTM算法，主要包括三个步骤：前向计算出每个神经元的输出值；反向计算得到各神经元误差项；计算得到每个权值的梯度并进行更新。1.2.2单变量LSTM模型建模预测本小节的实证部分基于python中后台为Tensorflow的Keras深度学习框架完成。首先对数据进行归一化处理，将原始数据映射到0到1区间内。由于LSTM处理单变量时间序列时是以前几期的数据作为特征变量来预测下一期的，因此我们要对原始数据进行转换，使非监督学习转化为监督学习问题。本文数据量较少，故令步长等于3生成输入矩阵，即使用、、来预测，、、来预测，，依次滑动直至结束。本节所用数据集为1978-2018年共41个样本，经转化后，可对1981-2018年预测，样本数为38。取后三年为测试集，之前为训练集，故训练集的输入为一个的矩阵，测试集的输入为，然后使用训练集建立模型。本文构建了单一隐藏层，隐藏层节点数为3的LSTM模型。使用MSE作为损失函数，tanh作为激活函数，以Adam算法作为优化器，banchsize为1，迭代次数为100次，对训练集进行训练。对得到的训练集预测值进行反归一化以得到1981-2018年真正的预测数据，绘制训练集的拟合情况如图1.9所示，圆点表示真实值，实线表示预测值，可见大部分数据在拟合曲线上，能够描述数据的增长趋势，但其拟合效果不如ARIMA模型。图1.9单变量LSTM模型训练集拟合图用测试集对训练集拟合的模型进行验证，结果见下表1.4：表1.4测试集验证结果真实值预测值绝对误差相对误差平均相对误差2016年5413952787.79-1351.212.49%7.38%2017年6001455284.93-4729.077.88%2018年6600658230.04-7775.9611.78%结果显示，LSTM的预测值与实际值相比偏低，且误差逐渐变大。由此可见，虽然LSTM在处理非线性时间序列上有着独特的优势，但对于结构相对简单的数据集进行短期预测时，其优势并不明显，相比之下ARIMA的预测效果更好[REF_Ref32044\n\h58,REF_Ref32048\n\h59,REF_Ref32054\n\h60]。1.2.3多变量LSTM模型建模预测参考多变量时间序列的LSTM建模方式[REF_Ref27678\n\hREF_Ref29722\n\h61,REF_Ref29725\n\h62]，本节将第二章得到的七个影响因素引入，建立多变量的LSTM模型对人均GDP进行预测。与单变量时间序列类似，在对多变量的时间序列建立LSTM模型时同样采取滑动窗口法对数据进行转换，滑动窗口数的设置是关键。经试验，我们将滑动窗口数定为1，即采用了滞后一期的宏观经济指标和滞后一期的人均GDP预测当期人均GDP。隐藏层神经元数取2，使用MSE(均方误差)作为损失函数，tanh作为激活函数，以Adam算法作为优化器，banchsize为1，迭代次数为100次，对归一化后的训练集进行建立单层的LSTM模型。得到训练集的拟合情况如下所示：图1.10多变量LSTM模型训练集拟合图可见模型基本拟合，使用测试集进行验证，得到结果如表1.5：表1.5测试集验证结果真实值预测值绝对误差相对误差平均相对误差2016年5413953795.88-341.120.63%5.65%2017年6001456347.32-3666.686.11%2018年6600659251.32-6754.6810.23%相比单变量LSTM模型，引入了影响因素的LSTM模型的预测效果明显提升，平均相对误差从7.38%降为5.65%。1.3XGBoost模型1.1.1XGBoost模型理论介绍极端梯度提升(ExtremeGradientBoosting,XGBoost)模型是一种分布式高效梯度提升算法，它是一种有监督学习算法，可解决分类、回归等机器学习问题，分为树模型和线性模型两种[REF_Ref30333\n\h63]。XGBoost树模型是以多棵CART决策树作为子模型，采用GradientTreeBoosting算法对多棵CART决策树进行集成学习，每棵决策树预测真实值与之前全部决策树预测值之和的残差，最终结果为全部决策树的预测值累加之和[REF_Ref26561\n\h24]。树模型的定义如下： 3-(9)其中，代表第棵决策树，样本特征通过决策树映射到该决策树的叶子节点上，该叶子节点上的分数为，样本在所有树的得分(预测值)之和即为其最终预测值。模型的目标函数包含损失函数和正则化项两部分： 3-(10)其中，，为叶子节点的个数。若正则项为0，则目标函数即为传统的GradientTreeBoosting。为找到一个最优的使得目标函数达到最优，首先将式3-(13)改写为： 3-(11)其中，为第次训练的样本的预测值，为第次训练的树模型。为对目标函数进行近似和简化处理，将目标函数进行泰勒展开，并去掉不对优化结果产生影响的常数项，得到： 3-(12)其中，，，分别为损失函数的一阶梯度和二阶梯度。将和定义为： 在树结构固定的条件下，可通过求解上述目标函数方程可得到叶子节点的最优和最优目标函数值为： 3-(13) 3-(14)目标函数的值越小，CART的结构越好。XGBoost应用贪婪算法遍历所有切分点，最终选择分裂后目标函数值最小的切分点[REF_Ref30760\n\h64]。一个节点分裂前后的两棵树的目标函数之差为式3-(18)中的，通过计算，选出所有特征及其切分点中的最大值，即可确定最优特征和最优切分点。 3-(15)XGBoost模型不仅可以实现树模型，还可以实现线性模型，XGBoost线性模型是以ElasticNet和并行坐标下降为基础的[REF_Ref26561\n\h24]。其目标函数同样由损失函数项和正则化项构成，其定义如下： 3-(16)其中，。、分别为L2、L1化正则项的系数，为L2正则项对偏置项的系数。同样，可对XGBoost线性模型公式作泰勒展开并去掉常数项，为简化问题，暂时将L1正则项移除，只考虑L2正则项，将目标函数式近似为： 3-(17)对公式求最值，可得到的最优解为： 3-(18)再重新将L1正则项引入，通过判断与0的大小关系得到最终的梯度。同理，求得偏置项的最终梯度为： 3-(19)1.1.2单变量XGBoost模型建模预测本小节基于Anaconda3中的scikitlearn库实现。与LSTM模型预测方法相似，使用XGBoost模型预测单变量时间序列问题也要根据过去的数据预测未来。对原始数据进行归一化处理后，同样地将移动窗口数设置为3，通过滑动窗口法将无监督问题转化为有监督数据。对于本文所用的1978-2018年人均GDP数据，经转化后共获得38条样本。全部数据集划分成前35年样本作为训练集，后3年即2016-2018年样本作为测试集，并对数据进行归一化处理。经试验比较，XGBoost模型中n_estimators参数为400，booster提升器为gblinear，learning_rate为0.2，objective为reg:squarederror，对训练集建模，得到1981-2018年数据的拟合情况如下：图1.11单变量XGBoost模型训练集拟合图如图1.11所示，模型在部分时段拟合存在一定误差，但整体拟合趋势较好。用测试集对训练集拟合的模型进行验证，并对得到的预测结果进行反归一化处理，结果见下表：表1.6测试集验证结果真实值预测值绝对误差相对误差平均相对误差2016年5413957651.173514.1686.49%2.69%2017年6001460926.45912.44531.52%2018年6600666041.3237.3203120.06%如表1.6所示，XGBoost模型的预测效果较好，相比于LSTM模型，XGBoost模型的平均相对误差提高了约4.7%，同时也优于传统的ARIMA模型。1.1.3多变量XGBoost模型建模预测我们在单变量XGBoost模型的基础上，将宏观经济指标引入XGBoost模型，即XGBoost预测模型共有8个输入变量。考虑到当期的宏观经济指标以及滞后期的人均GDP对当期的人均GDP解释力较强，因此引入了t时刻的影响因素指标和t-1时刻的人均GDP指标作为输入特征。经试验比较，设置多变量的XGBoost参数分别为：n_estimators=400，learningrate=0.04，booster=gblinear，objective=reg:squarederror，其余为默认参数，对预测值进行反归一化后，得到模型的拟合情况如下：图1.12多变量XGBoost模型训练集拟合图利用建立的多变量XGBoost模型对测试集进行验证，得到结果如表1.7。相比单变量XGBoost模型，平均相对误差降低近1%，此外，与多变量LSTM模型相比，该模型的预测精度更高。表1.7测试集验证结果真实值预测值绝对误差相对误差平均相对误差2016年5413955721.291582.292.92%1.84%2017年6001459839.09-174.910.29%2018年6600664481.17-1524.832.31%1.4ARIMA-LSTMs-XGBoosts模型1.4.1相关理论介绍1.支持向量机回归针对小样本问题，Vapnik等根据统计学习理论提出了支持向量机(SupportVectorMachin,SVM)模型。虽然支持向量机模型常用于分类预测问题，但是通过引入损失函数的概念支持向量机也可以拓展到函数回归问题上，形成支持向量机回归(SupportVectorRegression,SVR)模型[REF_Ref32165\n\h65]。支持向量回归的基本原理为将输入样本空间通过适当的核函数映射到高维特征空间，然后在此新空间中构造一个回归估计函数[REF_Ref32328\n\h66]。SVR函数的具体形式为： 3-(20)其中，代表预测值，为映射函数，、为参数。定义SVR模型的不敏感损失函数为： 3-(21)其中，为不敏感系数，可以对模型的拟合精度进行调节。那么，为估计参数和，要使最小化SVR的正则风险函数，即： 3-(22)式中，为正则化常数。考虑到允许误差拟合存在的情况，引入松弛变量和，则问题变为： 3-(23)再利用对偶原理，将优化问题转化为： 3-(24)式中，，是拉格朗日乘子，是核函数。最终的函数可表示成： 3-(25)在SVR函数模型中，正则化常数和不敏感损失函数是SVR模型的主要参数，主要用于确定和控制模型的复杂性，它们的准确选择可以提高模型的性能[REF_Ref32400\n\h67]。此外核函数的选择直接影响SVR模型的性能，因此为了适应不同的数据类型应搜索不同的内核函数并适当调整其参数，常用核函数的具体函数式为[REF_Ref32423\n\h68]：(1)Linear (2)Polynomial (3)RadioBasisFunction 2.Stacking集成学习集成学习(Ensemblelearning)的本质就是针对同一问题，通过采用某种策略整合数个有差异的个体学习器学习得到的结果，从而获得一个优于单个个体学习器预测性能的集成模型[REF_Ref31525\n\h69]。集成学习模型可以分为同质集成和异质集成。典型的同质集成模型包括Bagging和Boosting等，Stacking集成学习方法则属于异质集成模型[REF_Ref32165\n\h65]。随着近年来集成学习算法的研究愈发深入，Stacking集成学习方法开始被广泛使用。与Bagging和Boosting算法不同的是，Stacking是对不同的学习模型进行组合，并且采用了元学习模型代替了投票法。元学习模型的输入即个体学习器，也就是层模型的输出，元学习模型的输入特征数即所使用的层模型的个数[REF_Ref31525\r\h69]。Stacking算法其实就是通过建立多个层模型得到不同模型的预测结果，然后将其作为输入信息输入到下一层的学习器(元学习模型)中，使得该层的学习器能够对上一层学习器的成果充分学习，进而得到更高的预测精度，其流程图如下图1.13所示。需要注意的是，Stacking在对个体学习器进行选择时，应尽量选择预测效果好且异质性较强的模型，这样通过元学习模型的集成学习才容易取得更好的预测成果。图1.13集成学习流程图1.贝叶斯优化算法在模型拟合时，选择合适的参数以实现高精度并非总是容易的，既可能出现拟合过度，也可能出现拟合不足，不同的参数设置可能会导致模型性能上的显著差异。贝叶斯优化算法正是为了寻找最优的参数组合而提出的，近年来，它在机器学习超参数调优方面得到了广泛的应用[REF_Ref31720\n\h70]。贝叶斯优化框架主要包含两部分：第一个组成部分是一个概率代理模型，它由一个先验分布和一个观察模型组成，先验分布是对未知的目标函数状态的假设，观察模型描述了数据的生成机制。第二个组成部分是通过已知数据的后验分布构成的采集函数，以采集函数最大化最为下一“最佳”评估点的选择标准。在观察目标每次的搜索输出之后，先验函数被更新以在目标函数的空间上产生更具信息量的后验分布。与网格搜索和随机搜索优化算法相比，贝叶斯优化算法能找到最优的超参数集，使得全局最优具有更高的搜索效率[REF_Ref32459\n\h71]，对非凸问题进行调参的结果仍然是稳健的；同时，它能在开采和勘探之间找到一个平衡点来避免算法陷入局部最优，使得模型的性能达到全局最优[REF_Ref32498\n\h72]。基于python软件的hyperopt模块实现贝叶斯优化算法主要包含以下四个部分：(1)定义目标函数。目标函数即为我们想要使其达到最小化的对象，一般使用当前参数下的数据集的损失函数。(2)设定参数搜索空间。在目标函数确定后，应对参数的搜索范围和分布进行设定，使算法在该区间下寻找是定义的目标函数达到最小的参数最优组合。(3)优化算法的选择。优化算法的作用为在构造替代函数后选择下一组超参数组合，基于目标函数进行评估，主要包括：随机搜索，模拟退火以及TPE算法等。(4)结果的历史数据。在此部分中，能够记录并存储历史选择的超参数组合和所定义的目标函数值，也就是我们想要最小化的函数值。1.4.2组合模型构建思路由第三章所构建的ARIMA模型、多变量的XGBoost模型以及多变量的LSTM模型的预测结果可以发现，ARIMA预测值对于单变量时间序列拟合较好且预测值偏高，加入影响因素进行预测的LSTM模型和XGBoost模型预测精度提升但相对真实值偏低，且影响因素作为经济指标具有时间性，无法获取未来值预测未来的人均GDP，故考虑构建一种组合模型在提升精度的同时能够实现样本外的人均GDP预测。具体思路为：使用ARIMA模型分别预测各影响因素，将预测值作为影响因素建立多变量的LSTM模型和多变量XGBoost模型，与ARIMA模型构成三个个体学习器，通过Stacking集成学习建立ARIMA-LSTMs-XGBoosts组合模型，即将三者的预测值输入到元学习模型中，输出最终的预测值，并采用贝叶斯优化法对模型调参获得最终的组合模型。1.4.3组合模型建模预测组合模型的建模预测步骤如下：(1)首先，由于ARIMA模型对于单变量的拟合程度较高并可以进行样本外预测得到未来期的预测值，故根据第三章ARIMA模型的建模步骤，对各指标分别建模，得到各影响因素的预测值。(2)以第三章对单变量时间序列人均GDP所建立的ARIMA模型作为个体学习器1；(3)以ARIMA模型对各影响因素的预测值作为输入特征，建立多变量的LSTM模型。经试验比较，设置滑动窗口数为1，隐藏层神经元个数为2，使用MSE作为损失函数，tanh作为激活函数，以Adam算法作为优化器，banchsize为1，迭代次数为80次，构建了单层的多变量LSTM模型作为个体学习器2；(4)同样，以ARIMA模型对各影响因素的预测值以及滞后一期的人均GDP预测值作为XGBoost模型的输入部分，经试验，objective参数选择reg:squarederror，参数n_estimators为440，learning_rate为0.03，booster设置为gbliner，建立了多变量的XGBoost模型作为个体学习器3；(5)最后，将适合小样本的非线性拟合的S