机器学习基础与应用 课件 第十一章 智慧电商：基于多模型融合实现商品销量预测

第十一章智慧电商：基于多模型融合实现商品销量预测目

录Stacking算法概述Stacking算法流程GBDT算法概述GBDT算法原理01020304Stacking算法概述01Stacking算法概述集成学习是一种结合多个模型的预测结果，以得到比任何一个模型都更优、效果更好的预测结果的方法，作为集成学习三大类中的Stacking算法，通常基于多个不同的基学习器进行集成，因此又被称为异质集成方法。Stacking算法被广泛应用于各种领域，如金融、医疗、推荐系统等。在这些领域，Stacking算法已经成为一个强有力的工具，能够提高预测准确性和稳定性。01Stacking算法概述Stacking算法是由Wolpert于1992年提出的一种分层模型的集成框架。其基本思想是先使用第一层初级学习器在原始数据上进行训练，接着根据每个初级学习器的输出结果来创建一个新的数据集，最后将新的数据集输入元学习器中进行训练，并将其输出作为集成学习后的最终预测结果。01Stacking算法流程02Stacking算法流程对于一个问题来说，通常可以采用不同类型的学习器，如线性回归、逻辑回归、支持向量机等算法构建的学习器，来解决学习问题。这些学习器通常能够学习到问题的一部分，但并不能学习到问题全部。Stacking集成方法的思想可以概括为：如果某个初级学习器错误地学习了特征空间的某个区域，那么元学习器通过结合其他初级学习器的学习行为，可以适当纠正这种错误。02Stacking算法流程Stacking集成方法的基本算法流程：02假设原始数据集D={(x1,y1),(x2,y2),…,(xn,yn)}，将原始数据集D分为原始训练集Dtrain和原始测试集Dtest两部分，其中原始训练集Dtrain用于训练初级学习器，原始测试集Dtest用于测试元学习器。（1）选择并构建多个初级学习器，例如构建逻辑回归、支持向量机、KNN学习器等。（2）对于初级学习器1，利用K折交叉验证的方法，在K-1折上训练初级学习器，并在第K折上进行验证，最终得到K个预测结果，将其组合为集合P1，作为初级学习器1的最终预测结果。（3）Stacking算法流程Stacking集成方法的基本算法流程：02对于初级学习器{2,3,…,m}，重复步骤（2）的操作，得到预测结果集合P2,…,Pm。（4）将m个初级学习器的预测结果拼接为新数据集P={P1,P2,…,Pm}，作为元学习器的训练集数据并进行训练，从而得到Stacking的最终模型。（5）最后将测试集Dtest输入Stacking模型中进行测试与评估。（6）Stacking算法流程02（1）集成强学习器的优势，以达到较高的分类准确率；（2）不需要太多的参数调整和特征筛选工作；（3）利于工程实践、数学理论知识较少、容易理解、模型可扩展性高、对训练数据利用更充分。优点（1）需要构建多个初级学习器模型，计算量往往较大、模型容易过拟合；（2）类似黑箱模型的特性，模型的可解释性较弱。缺点GBDT算法概述03GBDT算法概述GBDT算法是gradientboostingdecisiontree（梯度提升决策树）的缩写，最早由Friedman于2001年提出，属于有监督学习中的一种算法。GBDT算法是一种迭代的决策树算法，是集成学习中Boosting方法的成员之一。03GBDT算法概述Boosting方法在训练基学习器时采用的是串行的方式，其基本思路是将基学习器进行层层叠加，其中每一层基学习器在训练的时候，会对前一层基学习器分错的样本，根据其学习误差调整训练集的权重，给予更高的权重，最后根据各层学习器结果的加权得到最终模型。03GBDT算法原理04GBDT算法原理GBDT算法是一种不断进行迭代的决策树算法，既可以用于解决分类问题也可以用于解决回归问题，采用决策树作为基学习器。GBDT算法的主要流程：04初始化第一个基学习器，该基学习器是一个只有根节点的决策树建立M个基学习器，计算出损失函数的负梯度在当前模型的值，将它们作为残差的估计创建一颗回归树CART来拟合这个残差在拟合后的树的叶子节点找到一个尽可能的减小损失的值并更新学习器GBDT算法原理例：假设有一组数据集为编号、年龄、体重、身高4列。其中，年龄、体重作为特征（输入变量），身高作为目标变量特征，即需要预测的值。04编号年龄/岁体重/kg身高/m15201.127301.3321701.7430601.852565？GBDT算法原理GBDT算法步骤：04（1）初始化损失函数式子如下。其中，式子中的yi为目标变量。损失函数选择为平方损失函数，然后直接对式子进行求导并另导数等于零，求c的值，即c的值为编号1～编号4的身高均值。身高初始化学习器的结果如下。GBDT算法原理GBDT算法步骤：04（2）建立M颗分类回归树，m=1，2，3，…，M，进行迭代训练。a.计算负梯度，由于选择的损失函数为平方损失函数，所以负梯度就是残差，其式子如下：编号年龄/岁体重/kg身高/m1520-0.3752730-0.175321700.225430600.3251520-0.375表格为使用身高-初始化学习器的结果c得出的结果构成新的数据集GBDT算法原理GBDT算法步骤：04（2）建立M颗分类回归树，m=1，2，3，…，M，进行迭代训练。b.对于i=1，2，3，…，N利用CART拟合数据（xi，rm,i），得到第m棵回归树，其对应的叶子节点区域为Rm,j，其中j=1，2，3，…，Jm，且Jm为第m棵回归树叶子节点的个数。c.对于Jm个叶子节点区域，j=1，2，3，