机器学习方法与实践 课件XGBoost

集成学习：极端梯度提升(XGBoost)EnsembleLearning:ExtremeGradientBoosting主讲：耿阳李敖计算机与信息技术学院视觉智能实验室（VisInt）BeijingJiaotong

University集成学习的引入集成学习归属于机器学习，是一种「训练思路」，而非具体的算法或模型。集成学习会挑选一些简单的基础模型进行组合构成更强的模型，组合这些基础模型的思路主要有2种：bagging（bootstrapaggregating的缩写，也称作“套袋法”）Boosting基本概念集成学习的引入XGBoost属于Boosting的方法。Boosting的核心思路是——挑选精英。Boosting基于训练数据与目标函数不断挑选出「精英」，然后给精英更多的投票权，表现不好的基础模型则给较少的投票权，然后综合所有模型的投票得到最终结果。大部分情况下，经过boosting得到的结果偏差（bias）更小。Boosting方法经典Boosting：提升树用多个弱决策树构建一个强决策树。基本思想大致流程建立多棵决策树进行集成，再将所有树的输出结果进行累加得出最终预测数学表达式

提升树GBDT的核心思想是利用损失函数的负梯度值作为当前学习器的拟合目标。进一步，梯度可以看做是对损失函数进行一阶泰勒展开。GBDT回顾损失函数使用一阶泰勒展开公式

其中对于平方或交叉熵损失函数，可以证明其即为通常意义上的残差。对于其他损失函数，残差是导数的近似值。极端梯度提升XGBoost（eXtremeGradientBoosting）极端梯度提升：是基于GBDT的一种改进。基本概念极端梯度提升优化

XGBoost的基本思想和GBDT相同，但XGBoost进行许多优化。利用二阶泰勒公式展开优化损失函数，提高计算精确度。利用正则项防止过拟合，提升泛化性。采用BLOCKS存储结构可以并行计算。极端梯度提升

目标函数推导极端梯度提升

目标函数推导极端梯度提升

目标函数推导极端梯度提升

目标函数推导极端梯度提升

定义树的复杂度极端梯度提升目标函数

极端梯度提升目标函数解

极端梯度提升目标函数解

极端梯度提升实现XGBoost库XGBoost库是XGBoost算法的一种实现。XGBoost是一个优化的分布式梯度提升库，被设计为高效、灵活和轻便。GitHub：/tqchen/xgboostXGBoost可以解决超过十亿样本的问题。极端梯度提升底层优化优化XGBoost系统设计如下：ColumnBlockforParallelLearning分块并行Block中的数据以稀疏格式CSC进行存储，对Block中的特征进行排序Cache-awareAccess缓存优化缓存预取(cache-awareprefetching)BlocksforOut-of-coreComputation核外Block计算Block压缩(BlockCompression)、Block拆分(BlockSharding)扩展阅读TianqiChen，IntroductiontoBoostedTrees（PPT），2014.10.TianqiChenandCarlosGuestrin.XGBoost:AScalableTreeBoostingSystem.In22ndSIGKDDConferenceonKnowledgeDiscoveryandDataMining,2016Johnson,R.,&Zhang,T.(2013).Learningnonlinearfunctionsusingregularizedgreedyforest.IEEEtransactionsonpatternanalysisandmachineintelligence,36(5),942-