【《XGBoost模型理论概述》1600字】

XGBoost模型理论概述目录TOC\o"1-3"\h\u4309XGBoost模型理论概述 1299061.1XGBoost模型理论介绍 1260331.2单变量XGBoost模型建模预测 3313611.3多变量XGBoost模型建模预测 41.1XGBoost模型理论介绍极端梯度提升(ExtremeGradientBoosting,XGBoost)模型是一种分布式高效梯度提升算法，它是一种有监督学习算法，可解决分类、回归等机器学习问题，分为树模型和线性模型两种[REF_Ref30333\n\h63]。XGBoost树模型是以多棵CART决策树作为子模型，采用GradientTreeBoosting算法对多棵CART决策树进行集成学习，每棵决策树预测真实值与之前全部决策树预测值之和的残差，最终结果为全部决策树的预测值累加之和[REF_Ref26561\n\h24]。树模型的定义如下： 3-(9)其中，代表第棵决策树，样本特征通过决策树映射到该决策树的叶子节点上，该叶子节点上的分数为，样本在所有树的得分(预测值)之和即为其最终预测值。模型的目标函数包含损失函数和正则化项两部分： 3-(10)其中，，为叶子节点的个数。若正则项为0，则目标函数即为传统的GradientTreeBoosting。为找到一个最优的使得目标函数达到最优，首先将式3-(13)改写为： 3-(11)其中，为第次训练的样本的预测值，为第次训练的树模型。为对目标函数进行近似和简化处理，将目标函数进行泰勒展开，并去掉不对优化结果产生影响的常数项，得到： 3-(12)其中，，，分别为损失函数的一阶梯度和二阶梯度。将和定义为： 在树结构固定的条件下，可通过求解上述目标函数方程可得到叶子节点的最优和最优目标函数值为： 3-(13) 3-(14)目标函数的值越小，CART的结构越好。XGBoost应用贪婪算法遍历所有切分点，最终选择分裂后目标函数值最小的切分点[REF_Ref30760\n\h64]。一个节点分裂前后的两棵树的目标函数之差为式3-(18)中的，通过计算，选出所有特征及其切分点中的最大值，即可确定最优特征和最优切分点。 3-(15)XGBoost模型不仅可以实现树模型，还可以实现线性模型，XGBoost线性模型是以ElasticNet和并行坐标下降为基础的[REF_Ref26561\n\h24]。其目标函数同样由损失函数项和正则化项构成，其定义如下： 3-(16)其中，。、分别为L2、L1化正则项的系数，为L2正则项对偏置项的系数。同样，可对XGBoost线性模型公式作泰勒展开并去掉常数项，为简化问题，暂时将L1正则项移除，只考虑L2正则项，将目标函数式近似为： 3-(17)对公式求最值，可得到的最优解为： 3-(18)再重新将L1正则项引入，通过判断与0的大小关系得到最终的梯度。同理，求得偏置项的最终梯度为： 3-(19)1.2单变量XGBoost模型建模预测本小节基于Anaconda3中的scikitlearn库实现。与LSTM模型预测方法相似，使用XGBoost模型预测单变量时间序列问题也要根据过去的数据预测未来。对原始数据进行归一化处理后，同样地将移动窗口数设置为3，通过滑动窗口法将无监督问题转化为有监督数据。对于本文所用的1978-2018年人均GDP数据，经转化后共获得38条样本。全部数据集划分成前35年样本作为训练集，后3年即2016-2018年样本作为测试集，并对数据进行归一化处理。经试验比较，XGBoost模型中n_estimators参数为400，booster提升器为gblinear，learning_rate为0.2，objective为reg:squarederror，对训练集建模，得到1981-2018年数据的拟合情况如下：图1.11单变量XGBoost模型训练集拟合图如图1.11所示，模型在部分时段拟合存在一定误差，但整体拟合趋势较好。用测试集对训练集拟合的模型进行验证，并对得到的预测结果进行反归一化处理，结果见下表：表1.6测试集验证结果真实值预测值绝对误差相对误差平均相对误差2016年5413957651.173514.1686.49%2.69%2017年6001460926.45912.44531.52%2018年6600666041.3237.3203120.06%如表1.6所示，XGBoost模型的预测效果较好，相比于LSTM模型，XGBoost模型的平均相对误差提高了约4.7%，同时也优于传统的ARIMA模型。1.3多变量XGBoost模型建模预测我们在单变量XGBoost模型的基础上，将宏观经济指标引入XGBoost模型，即XGBoost预测模型共有8个输入变量。考虑到当期的宏观经济指标以及滞后期的人均GDP对当期的人均GDP解释力较强，因此引入了t时刻的影响因素指标和t-1时刻的人均GDP指标作为输入特征。经试验比较，设置多变量的XGBoost参数分别为：n_estimators=400，learningrate=0.04，booster=gblinear，objective=reg:squarederror，其余为默认参数，对预测值进行反归一化后，得到模型的拟合情况如下：图1.12多变量XGBoost模型训练集拟合图利用建立的多变量XGBoost模型对测试集进行验证，得到结果如表1.7。相比单变量XGBoost模型，平均相对误差降低近1%，此外，与多变量LSTM模型相比，该模型的预测精度更高。表1.7