机器学习基础与应用 课件 第十二章 智慧风控：基于多模型融合实现电信客户流失预警

第十二章智慧风控：基于多模型融合实现电信客户流失预警目

录XGBoost算法概述XGBoost算法原理XGBoost算法的优缺点010203XGBoost算法概述01XGBoost算法概述XGBoost（extremegradientboosting，XGBoost）算法又叫极度梯度提升树，是集成学习中Boosting算法中的一种实现方式。该算法是基于GBDT算法的一种高效实现，能够在大规模数据集上运行，并具有很强的泛化能力。XGBoost算法被广泛应用于数据挖掘、自然语言处理、计算机视觉和推荐系统等领域，成为许多数据科学家和机器学习工程师的首选算法之一。01XGBoost算法概述XGBoost算法由华盛顿大学的陈天奇博士提出，最开始是分布式机器学习研究社区小组的研究项目之一，后来在希格斯机器学习挑战赛（HiggsBosonMachineLearningChallenge，一个由Kaggle组织举办的机器学习竞赛）中大放异彩，被业界所熟知并广泛使用。在工业界，目前，一些主流的互联网公司如腾讯、阿里巴巴等都已将XGBoost算法应用到其业务中；在各种数据科学竞赛中，XGBoost算法也成为参赛选手的首选模型之一，帮助了许多竞赛者在赛场上取得优异的成绩。01XGBoost算法原理02XGBoost算法原理XGBoost算法是一个开源框架，是在GBDT算法的基础上对Boosting算法进行的改进。在GBDT算法中，模型学习的是损失函数的梯度；在XGBoost算法中，模型学习的则是损失函数的二阶泰勒展开的差值；XGBoost算法在代价函数里加入了正则项，用于控制模型的复杂度，这样在保证高精度的同时又保证了极快的速度。02XGBoost算法原理XGBoost算法的核心思想：02通过不断添加决策树，不断进行特征分裂来生长一棵树，每次添加一棵决策树，其实是学习一个新函数，去拟合上次预测的残差。当训练完成得到k棵决策树后，要预测一个样本的分数，就是根据该样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数。最后将每棵树对应的分数进行相加，从而得到该样本的预测值。123XGBoost算法原理XGBoost模型训练的主要流程：确定模型形式、设定目标函数、模型优化。02（1）首先是确定模型形式。假设有一个n条样本、m个特征的原始数据集D={(x1,y1),(x2,

y2),…,(xi,yi)}，其中，xi为第i个特征向量，yi为第i个样本的真实值；而XGBoost模型是由多个基模型组成的一个加法模型，如果该模型进行了t次迭代后建立了t颗决策树，则最终的模型可以表现为t为决策树的数量；ft(xi)表示第t颗决策树对样本xi的预测值；ŷi(t)为XGBoost模型迭代i次后输出的预测值。XGBoost算法原理XGBoost模型训练的主要流程：确定模型形式、设定目标函数、模型优化。02（2）接着是设定目标函数。XGBoost模型的目标函数是由损失函数和正则化项两部分组成：损失函数是用于衡量模型预测值和真实值差异的一种指标，常用的损失函数有均方误差、均方根误差、对数损失误差等。其中均方误差的式子如下。n为样本的总数；yi为真实值；ŷi为预测值XGBoost算法原理XGBoost模型训练的主要流程：确定模型形式、设定目标函数、模型优化。02正则化项是为了控制模型的复杂度，防止过拟合。常见的正则化有L1、L2正则化。其中L2正则化的式子如下。γT项用于控制决策树的复杂度，γ越大表示惩罚叶子节点数量的力度越大，T越大代表决策树越复杂；1/2λ‖w‖2项则用于控制叶子节点的分数大小，λ越大表示惩罚叶子节点分数的大小。所以目标函数可以表示为：XGBoost算法原理XGBoost模型训练的主要流程：确定模型形式、设定目标函数、模型优化。02XGBoost模型在训练过程中根据当前模型损失函数的负梯度信息来训练新加入的弱分类器，然后将训练好的弱分类器以累加的形式结合到现有模型中，迭代过程可以表示为：ŷi(t)为第t轮迭代训练后模型对样本i的预测值；f(xi)为建立的第t棵树即第t个基模型，是以拟合前t-1棵树的残差为目标而生成的，且在训练第t棵树时，前t-1棵树的结构复杂度均已知。则目标函数可以表示为XGBoost算法原理XGBoost模型训练的主要流程：确定模型形式、设定目标函数、模型优化。02（3）最后则是模型优化，需要最小化目标函数，从而实现每一次对新加入模型的最优设定，使总体模型达到最优效果。XGBoost模型在优化时对损失函数进行了二阶泰勒展开，同时用到了损失函数的一阶导以及二阶导。XGBoost算法的优缺点03XGBoost算法的优缺点XGBoost算法目前已经在行为预测、搜索排序、数据预测、分类、回归等问题上得了良好结果，应用前景广阔。03XGBoost算法的优点XGBoost算法的缺点（1）加入正则化项，降低了模型的方差，使学习出来的模型更加简单，有助于防止过拟合；（2）支持列抽样，不仅能降低过拟合，还能减少计算；（3）适合处理结构化数据；（4）对于中低维