《机器学习》课件-第8章集成学习

第8章：集成学习内容提纲28.3集成策略8.1引言8.2集成学习基本原理8.4集成学习主要算法8.5应用案例8.6本章小结引言3

图8­1为完成任务的集成学习思路示意图！。引言集成学习是目前非常流行的先进机器方法之一。智慧人们运用集成学习策略的实践在日常生活中非常普遍。

对病情复杂患者的“专家会诊”对实施方案进行决策投票等等集成学习其先产生一组“个体学习器”，再用某种集成策略将它们组合起来解决一个问题，完成最终的学习任务。4

引言集成学习的基本概念和基本原理。讨论个体学习器间如何被训练、如何被集成结合的方法。重点介绍集成学习的集成策略、基本原理及相应的典型算法Bagging、Boosting和Stacking；结合应用案例，介绍集成学习的工程实现。

5

内容提纲68.3集成策略8.1引言8.4集成学习主要算法8.5应用案例8.6本章小结8.2集成学习基本原理8.2.1集成学习的结构

集成学习先学习生成一组"个体学习器"(individuallearner)，再用某种集成结合策略将它们集成起来。“个体学习器”通常由一个现有的学习算法从训练数据产生，如决策树算法、神经网络算法等。7图8­2

集成学习一般结构示意图8.2.1集成学习的结构8图8­3集成学习范式结构示意图集成学习--范式结构88.2.2集成学习优点的理论分析与措施从“基于简单投票机制的集成模型”例子分析集成学习的特性和优点9若个体学习器性能好，且各自具备差异性，个体学习器数量也较多，那么集成学习的性能就更好。两个不同个体学习器模型错误的相关性因此，为得到更好集成效果，集成学习中的个体学习器应性能较好、具备一定的差异性；当个体学习器数量增多，其错误率也会下降。8.2.2.2从学习理论来分析集成学习的特性和优点1.从统计、计算和表示方面来分析10图8­4Dieterich从统计、计算和表示方面总结集成方法优点8.2.2.2从学习理论来分析集成学习的特性和优点2.从“偏差-方差分解”来分析11若能减小偏差和方差，且个体学习器存在一定差异，则可以降低集成学习的期望误差。由本理论分析可指导如何构建好的集成方法。集成方法Bagging能够提高弱分类器性能的原因是减少基分类器方差。基于boosting的集成学习模型能够提升弱分类器性能的原因是会减少偏差和方差。8.2.2.2从学习理论来分析集成学习的特性和优点3.多样性12由上，集成学习器的误差等于个体学习器的误差均值减去集成分歧，即个体学习器准确性越高（个体学习器的误差越低）、多样性越大（分歧较大），则集成学习性能越好。（1）误差-分歧分解（error-ambiguitydecomposition）表示个体学习器泛化误差的加权均值表示个体学习器的加权分歧值集成学习取得成功一个主要原因是增加了个体学习器的多样性。8.2.2.2从学习理论来分析集成学习的特性和优点3.多样性13（2）多样性增强方法常见个体学习器多样性的增强方法有：对数据样本扰动：将初始数据集产生不同子集输入属性扰动：采用不同特征属性子集训练出不同个体学习器输出表示扰动：对输出表示进行操纵以增强多样性算法参数扰动：对基学习算法随机设置不同的参数混合扰动

将上述不同的多样性增强方法在集成学习方法中同时使用。8.2.3集成学习的类型14表13-1常见集成学习类型（1）集成策略（2）个体学习器间的依赖关系（3）“同质集成”与“异质集成”“同质集成”与“异质集成”15图8­5

同质和异质两类集成的框架结构示意图“同质”指个体学习器属同一种类型。困难是如何从相同基学习算法产生多样性。异质集成中的个体学习器由不同的学习算法生成。每个基学习器可以基于相同的数据。内容提纲168.4集成学习主要算法8.2集成学习基本原理8.5应用案例8.6本章小结8.1引言8.3集成策略8.3集成策略1.平均法17对于个体学习器性能相差较大的情况时，使用加权平均法；对于个体学习器性能相近时用简单平均法。在平均法中，集成学习用求均值方式集成融合个体学习器的结果。8.3集成策略182.投票法投票法常用于分类问题预测的任务。比如在引言中的“多专家会诊”学习，可以采用投票方式，少数服从多数，达成最终会诊结果。这就是常见的集成结合策略——投票法(Voting)。（1）多数投票法（2）加权投票法（3）硬投票(hardvoting)

与软投票(softvoting)1）“硬投票”是直接使用类标记投票的方式。2）“软投票”是使用类概率的投票方式。在投票法中，集成学习用投票方式集成融合个体学习器的结果。8.3集成策略193.学习法图8­6

学习法的典型代表Stacking集成学习框架示意图学习法：利用个体学习器的预测结果组成新的学习样本，然后在新学习样本集上通过另一个学习器产生一个假设（元学习MetaLearning），从而完成集成学习。在学习法，集成学习是用另一个学习器学习集成融合个体学习器的结果。内容提纲208.3集成策略8.2集成学习基本原理8.5应用案例8.6本章小结8.1引言8.4集成学习主要算法8.4集成学习主要算法8.4.1Bagging类方法21Bagging（BootstrapAggregating）类方法：通过随机构造训练样本、随机选择特征等方法来提高个体学习器的多样性。代表性方法有Bagging和随机森林等。核心思想：通过自助采样构建多个训练子集，并行训练基模型，通过投票或平均集成结果。主要特点：（1）方差降低：适合高方差模型（如决策树），通过平均减少过拟合风险；（2）并行训练：基模型相互独立，可分布式加速；（3）样本扰动：采用Bootstrap抽样（有放回采样约63%样本）；典型算法：随机森林（额外加入特征随机性）；适用场景：高方差低偏差模型，噪声数据较多时表现稳定。8.4.1Bagging类方法Bagging方法22图8­7

Bagging类集成学习方法示意图图8­8

随机采样的方法：自助采样法（Bootstrap）Bagging方法个体学习器间不存在强依赖关系，可并行化方法生成个体学习器，通过有放回采样的自助采样法产生多个子训练集、增强个体学习器的多样性。Bagging采用有放回采样法。8.4.1Bagging类方法有放回取样和不放回取样23图8­8

随机采样的方法：自助采样法（Bootstrap）为得到好的集成学习，个体学习器要有多样性。前面章节分析已知，可通过从原始样本数据集中取样部分数据、产生多个不同训练样本子集，以模拟数据中的随机性，从而提高多样性。取样操作有两种方式：每次放回取样和不放回取样。在统计学中，Bootstrapping是直接以有放回采样法（Bootstrapsampling）为基础，随机采样的自助采样法（Bootstrap）。Bagging采用有放回采样法，这种采样方式让其极易并行化处理，提高多样性。8.4.1Bagging类方法包外（Out-of-Bag，OOB）估计讨论24在放回取样过程中，有些样本可能被多次采样，而有些样本可能根本没有被采样。未被采样的样本（平均约有36.8%样本），被称为包外（Out-of-Bag，OOB）样本。该采样过程优点：剩下约36.8%样本可作为验证集，对泛化性能进行“包外估计”。包外样本还有其它用途，如对决策树类型的基学习器辅助实现剪枝，对神经网络类型的基学习器辅助实现早期停止等正则处理等。图8­9

OOB样本数据集图示Bagging采用有放回采样法。8.4.1.1Bagging方法

（3）Bagging算法基本流程25训练一个Bagging集成与直接使用基学习算法训练学习器的复杂度同阶，可见Bagging是一个很高效的集成学习算法。8.4.1.2随机森林26随机森林是Bagging的扩展，它在Bagging（以决策树为基学习器构建）的基础上，进一步在决策树的训练过程中引入了随机特征选择，提高基模型间多样性。随机森林方法同时使用了数据样本扰动和输入属性扰动，对数据集和特征都随机取样，实现个体学习器的多样性增强。在随机的特征子集上寻找最优划分特征。随机森林算法27随机森林方法同时使用数据样本扰动和输入属性扰动，对数据集和特征都随机取样，实现个体学习器多样性增强。采用Bootstrapping自助采样法实现随机选择样本。随机选择特征指：每个节点在分裂过程中都是随机选择特征（区别与每棵树随机选择一批特征），在随机特征子集上寻找最优划分特征。这种随机性导致偏差会有稍微的增加（相比于单棵不随机树），但由于其“平均”特性，会使得方差减小，且方差减小补偿了偏差的增大，因此总体而言是更好的模型。8.4.1.2随机森林---RF与决策树相比，改进与优势28随机森林（RandomForest）主要通过集成学习和随机性机制提升性能。通过集成和随机性机制，随机森林在保持决策树直观性的同时，显著提升了模型的鲁棒性和泛化能力。图

RF与决策树的对比总结8.4.1.2随机森林29随机森林分类器在实践中展现了强大的性能：（1）RF输入数据从整个训练样本随机且有放回地选取，且在每棵决策树构建中所需要的特征是从整个特征集中随机选取出来，可有效地避免过拟合现象发生；（2）其有效处理高维特征的输入样本，不需要单独对样本的特征进行选择和降维；（3）在训练分类器的过程中，随机森林可给出特征之间的相互作用和影响；（4）相对于Boosting系列的Adaboost，随机森林易实现、计算开销小；（5）训练速度较快、实施较简单及泛化能力较强，可对数据进行并行化处理，因此其能够处理大规模的样本数据集。但是，其在噪声较大的数据集上容易陷入过拟合，且容易忽略数据样本间的相关性；在各类别的样本数量不同时，决策树的信息增益结果可能更偏向于具有更多数值的特征一边。8.4集成学习主要算法8.4.2Boosting类方法30Boosting类方法是一族可将弱学习器提升为强学习器的算法。只要基模型的准确率比随机猜测好，就可以通过集成方法来显著地提高集成模型的准确率。核心思想：迭代训练基模型，后续模型修正前序模型的错误，加权组合结果。Boosting方法用序列化方法串行生成个体学习器、在每一轮训练中调整训练数据的样本分布，其个体学习器间存在强依赖关系。8.4集成学习主要算法8.4.2Boosting类方法31其工作机制是：按照一定的顺序来先后训练不同的基模型，每个模型都针对前序模型的错误进行专门训练；根据前序模型的结果，调整训练样本权重，从而增加不同基模型之间的差异性；之后采用集成策略对最终的个体学习器进行集成结合。主要特点：（1）偏差降低：通过逐步优化提升模型精度；（2）序列依赖：模型训练顺序进行，前序结果影响后续样本权重；（3）样本加权：自动调整错误样本权重（如AdaBoost）；（4）易过拟合：需谨慎控制迭代次数（如早停法）。典型算法：AdaBoost等。适用场景：低方差高偏差模型，复杂模式挖掘。8.4集成学习主要算法8.4.2Boosting类方法32图8-10Boosting集成学习方法示意图AdaBoost（AdaptiveBoosting）算法33Boosting类代表性方法：AdaBoost。为提高集成的效果，应尽量使得每个弱分类器的差异尽可能大。AdaBoost算法用迭代式的训练算法，按照一定的顺序依次训练每个弱分类器。在学习了第

个弱分类器后，增加其分错样本的权重，使得第

个弱分类器“更关注”于前面弱分类器分错的样本。这样增加每个弱分类器的差异，最终提升的集成分类器的准确率。图8-11AdaBoost集成学习方法示意图AdaBoost（AdaptiveBoosting）算法34算法过程：1）初始化训练样本的权值分布（样本有相同权重）；2）训练弱分类器，若样本分类正确，则在构造下一个训练集中，权值降低；反之提高。用更新过的样本集去训练下一个分类器；3）将所有弱分类组合成强分类器，训练结束后，加大分类误差率小的弱分类器权重，降低分类误差率大的弱分类器的权重。4）后一个模型的训练在前一个模型的基础上完成。因此，每个模型都在尝试增强整体的效果。图8-11AdaBoost集成学习方法示意图AdaBoost（AdaptiveBoosting）算法35AdaptiveBoosting自适应在于：前一个基分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。图8-11AdaBoost集成学习方法示意图AdaBoost（AdaptiveBoosting）算法36AdaBoost算法是前向分布算法的特例。结合机器学习三个基本要素和基于“加性模型”最小化任务，来论述AdaBoost的实现流程。集成模型目标是学习一个加性模型。学习准则：这里学习准则采用最小化指数损失函数。集成分类器的权重系数更新公式8.4.3

Stacking（堆叠法）37Stacking是将预测模型信息组合起来生成新模型(元学习模型)的集成学习方法。Stacking体系结构由初级和次级两层串联。初级模型中个体学习器学习到（概率值或类标签），生成新数据集；次级模型(元学习模型)中，学习最优组合个体学习器的预测结果。初级个体学习器选复杂度高、学习能力强学习器，而次级学习器选可解释性强、较为简单的学习器，如决策树、线性回归、逻辑回归等。初级的个体分类器建立原始数据与标签之间的假设；次级元学习器融合个体学习器的假设结果、并最终输出集成学习模型的结果。图8­6

学习法的典型代表Stacking集成学习框架示意图8.4.3

Stacking（堆叠法）38核心思想：分层架构，个体学习器模型输出作为元模型的输入特征进行二次训练。关键特点：（1）异构集成：个体学习器模型需多样化（如SVM+决策树+神经网络）；（2）防信息泄露：通过交叉验证生成元特征（如5折交叉训练）；（3）高阶组合：元模型（如线性回归）学习最优组合策略；（4）计算代价高：需训练多层模型，数据量需求较大；适用场景：模型精度竞赛，需最大化利用不同模型优势。13.4.3

Stacking（堆叠法）

39Stacking将多个预测模型的信息组合起来生成新模型(元学习模型)的模型集成学习方法。次级学习器的输入属性表示和次级学习算法对Stacking集成泛化性能有很大影响。模型叠加主要问题是过度拟合。多层叠加对数据来说成本高(需训练大量数据)、耗时长(每层添加多个模型)。因而实现堆叠的难点在：开始设计堆叠集成时要确定适当数量的可依赖的基线模型，以能生成更好的预测。堆叠方法可以使用并行集成技术，其中基线学习器因为没有数据依赖所以可以同时生成，而其融合方法则取决于元学习方法。Stacking---个体学习器和元学习器作用、如何选择？40个体学习器提供多样性预测，元学习器负责优化组合策略。个体学习器选择需兼顾多样性与性能，元学习器选择需平衡复杂度与泛化能力。最终效果取决于两者的协同作用，需通过实验验证最佳组合。1.个体学习器

作用：初级模型，对原始数据提供多样化的预测；输出：预测结果（如分类概率或回归值）会被拼接成新的特征矩阵，作为元学习器的输入。2.元学习器作用：位于次级，通过学习基学习器预测结果之间的组合关系，优化预测。弥补单一模型不足。输入：个体学习器的预测结果，有时可结合原始特征。如何选择基学习器与元学习器？(1)基学习器的选择原则多样性优先、性能均衡、控制数量、数据扰动。(2)元学习器的选择原则复杂度适中、优先选择简单模型、非线性能力（按需）、避免过拟合（使用交叉验证训练元学习器，限制模型复杂度）。内容提纲418.3集成策略8.5应用案例8.2集成学习基本原理8.4集成学习主要算法8.6本章小结8.1引言8.5应用案例胸部CT影像中肺结节良恶性识别案例42对源自肺部图像数据库联盟LIDC中CT胸部图像的肺结节，采用集成学习算法进行良恶性识别。在LIDC-IDRI数据集中，恶性度被量化为五个等级，将等级为1、2的结节作为良性样本，将等级为4、5的结节作为恶性样本；并作为分类标签。随机选取若干肺结节样本，包括相当的良性和恶性结节，构建训练集、验证集和测试集。基于Python程序环境，分别采用随机森林（Bagging方法）、决策树（AdaBoost方法）和Stacking方法（个体学习器包括决策树、多层感知器神经网络和SVM）进行实践练习。内容提纲498.3集成策略8.6本章小结8.2集成学习基本原理8.4集成学习主要算法8.1引言8.5应用案例本章小结本章首先介绍了集成学习的基本原理；接着分析影响集成学习性能的因素（包括学习模型的结构、个体学习器的类型、个体学习器多样性与增强和个体学习器的集成融合方法），并给出个体学习器间如何被训练、如何被集成结合的方法；进而介绍集成学习的集成策略、基本原理及相应的典型算法Bagging、Boosting和Stacking；最后通过应用案例介绍集成学习的实现过程。50本章小结集成学习是一种机器学习方法，通过在数据上构建具有多样性的个体学习器，并将这些个体学习器集成结合成一个综合的结果，构成一个更强大的学习模型，以提升整体模型的泛化能力和鲁棒性。降低过拟合风险：多个模型的平均或投票可减少对噪声数据的敏感度。提高泛化性能：综合不同模型的优