机器学习及其应用课件 第5章-集成学习

5.1集成学习基本知识5.2Bagging集成学习第五章集成学习5.3

Boosting集成学习5.4

集成学习应用1本章导读本章节作为机器学习课程的核心部分，将深⼊探讨集成学习的理论基础、核心思想与关键技术。内容涵盖从基本概念、两大主流策略（Bagging与Boosting），到具体的算法实现如随机森林等，旨在帮助学⽣系统掌握如何组合多个模型以获得更优越的泛化性能。核心思想通过组合多个性能⼀般的普通模型（弱学习器），构建⼀个性能优良的集成模型（强学习器），以提升整体的泛化能力。第5章集成学习机器学习课程2核心思想是“众人拾柴火焰高”，即通过特定策略组合多个普通模型，以构建一个泛化能力更强的集成模型背景与挑战现实问题通常较复杂单一高性能模型往往难以直接构建单模型容易受到数据、噪声和模型能力的限制而集成多个普通模型则被证明是一种更有效、且普适性极强的方法论，能够较好地应对单一模型的局限性。概念与本质集成学习（EnsembleLearning）是一种模型组合方法它通过集成多个普通模型的输出，得到更优结果其核心目标是提升模型的泛化能力与稳定性核心实现路径：多个普通模型→集成策略→更优模型引言：什么是集成学习？3本章内容概览5.1集成学习基本知识5.2Bagging集成学习5.3Boosting

集成学习5.4集成学习应用45.1集成学习基本知识核心导读进入第一节，我们将系统学习集成学习的基本原理和理论框架5.1集成学习基本知识5集成学习的基本思想是通过集成多个普通模型来获得一个优良的集成模型。为实现这一目标，其核心任务是有效解决以下两个根本性问题：本节提要/本节将围绕上述两个基本问题，构建一个完备的集成学习知识框架，深入介绍集成学习的基本概念、范式和泛化策略。01如何产生多个性能一般的普通模型？·

这些模型需要具备⼀定的基础性能。·同时、个体模型之间应存在显著的差异性（多样性）02如何将多个普通模型有效“集成”起来？需要设计有效的组合与协同策略。将各个个体学习器的决策融合成最终的、性能更优的全局决策集成学习的核心任务65.1.1集成学习基本概念本节，我们将学习集成学习领域的一系列基础术语和核心概念7俗话说：三个臭皮匠，顶个诸葛亮。集成学习的理念源于生活常识：综合多个个体的意见往往能形成比单一专家更合理的决策。即通过集成多个性能一般的个体学习器，来形成一个性能优良的集成模型。个体学习器(IndividualLearner)集成模型中的每⼀个普通模型被称为“个体学习器”。集成过程(EnsembleProcess)首先通过某种训练方法构建若干有差异的

个体学习器，然后通过某种组合策略将它们有效地集成起来，形成⼀个性能更优的集成模型。基本思想：三个臭皮匠，顶个诸葛亮集成学习正是基于这一思想：8核心思想：根据个体学习器的类型是否相同，集成模型可分为同质集成和异质集成。个体学习器(IndividualLearner)构成集成模型的每⼀个独⽴的学习模型。同质集成(HomogeneousEnsemble)定义：所有个体学习器都属于同一种类型的模型（例如，所有个体学习器都是决策树，或都是神经网络）基学习器(BaseLearner)：在同质集成中，这些同类型的个体学习器被称为“基学习器”。异质集成

(HeterogeneousEnsemble)定义：个体学习器属于不同类型的模型（例如，一个集成模型中既包含决策树，也包含支持向量机和逻辑回归等不同的算法）个体学习器与集成类型9集成学习理论根基核心思想：集成学习的理论根基在于PAC（概率近似正确）学习理论，它证明了将多个弱学习器组合起来可以生成一个强学习器强可学习

(StronglyLearnable)如果一个学习问题能被某个学习器以高精度地学习，称该问题是强可学习的，对应的学习器称为强学习器(StrongLearner)。弱可学习

(WeaklyLearnable)如果一个学习问题仅能被某个学习器以低精度地学习（比随机猜测好一点），称该问题是弱可学习的，对应的学习器称为弱学习器(WeakLearner)。PAC理论的深刻证明结论对于一个强可学习问题，如果直接构造其强学习器很困难，可以通过构造一组弱学习器，然后将它们集成为一个强学习器。这正是集成学习的理论基础：通过Boosting等方法，将多个弱学习器组合/提升为强学习器；PAC框架下弱可学习与强可学习存在重要联系。强学习器与弱学习器10核心思想：个体学习器必须具备两个基本条件：性能要优于随机猜测，且学习器之间必须存在差异性。要让三个臭皮匠能顶个诸葛亮，这些皮匠必须满足两个条件：▼

个体性能不能太差:每个弱学习器的性能必须比随机猜测要好。如果个体学习器泛化性能过弱，集成后的效果可能更差。如下图5-1所示，三个正确率仅为1/3的分类器，通过少数服从多数集成后，正确率降为0。▼

个体之间必须有差异:学习器之间应该“各有所长”。如果所有弱学习器完全相同，集成后不会有任何性能提升。当三个学习器在不同样本上犯错时，集成后可以达到完美分类的效果。结论：好的集成=“好而不同”的个体学习器集成学习成功的前提：好而不同115.1.2

集成学习基本范式本节，我们将学习集成学习模型的通用构建流程和基本范式12集成学习的两大基本范式13核心理念：并行构造通过对原始数据集进行随机采样生成多个独立的训练子集，然后基于这些子集并行地训练出多个个体学习器。1数据采样从给定的样本数据集D中，通过某种随机采样方式（如有放回采样）生成多个具有一定差异的训练子集D₁,D₂,...,Dₘ。2并行训练优点训练过程可以并行化，效率高，大大缩短了模型构建时间。缺点忽略了学习器之间的潜在联系，例如，无法让后一个学习器关注前一个学习器犯错的样本。生成学习器：并行构造方式并行构造流程由于各个训练子集相互独立，可以同时在这些子集上分别训练出个体学习器L₁,L₂,...,Lₘ。14核心思想串行构造逐个生成个体学习器，后一个学习器的训练会根据前一个学习器的表现进行调整，以重点关注之前被错误分类的样本。通过迭代地修正错误来逐步提升整体性能。串行构造的目标是生成相互依赖、能够逐步修正错误的个体学习器。本页详细解释了其原理和流程，虽然其能够集中解决“难分类样本”，但也导致了无法并行的效率问题。1初始化:基于原始数据集D训练第一个学习器L₁。2迭代调整:根据学习器Lᵢ的表现（如分类错误情况），调整训练数据的样本分布，生成新的训练子集Dᵢ₊₁。通常会增加被Lᵢ错误分类样本的权重。3串行训练:在调整后的Dᵢ₊₁上训练下一个学习器Lᵢ₊₁。4重复:重复步骤2和3，直至生成所有m个学习器。优点:

学习器之间存在关联，可以集中力量解决“难啃的骨头”（难分类样本），理论上能够达到更高的精度。缺点:训练过程是串行的，无法并行化，训练效率较低。生成学习器：串行构造方式构造流程15简单平均法

(SimpleAveraging)思想计算公式/FORMULA特点简单直接，但忽略了不同弱回归器可能存在的性能差异1每个弱回归器Li(X)的权重都相同。加权平均法

(WeightedAveraging)思想计算公式/FORMULA挑战权重的确定本身就是一个学习问题，在样本不足时容易过拟合2为性能更好、更重要的弱回归器分配更大的权重ωi其中∑ωi=1对于输出为连续实数值的回归任务，通常使用平均法来组合多个弱回归器的预测结果。组合策略(回归)：平均法16对于输出为离散类别标签的分类任务，通常使用投票法(Voting)来组合多个弱分类器的预测结果。1相对多数投票法PLURALITYVOTING思想“少数服从多数”。选择得票最多的那个类别作为最终预测结果。问题:可能出现多个类别票数相同的情况；在票数分散时，最高票数也可能很低，导致结果不稳定。2绝对多数投票法MAJORITYVOTING思想在相对多数投票法的基础上增加一个“门槛”。只有当某个类别的票数超过总票数的一半时才输出预测，否则拒绝预测。3加权投票法WEIGHTEDVOTING思想为性能更好的弱分类器赋予更高的投票权重，使其意见更具影响力。核⼼公式:组合策略(分类)：投票法175.1.3

集成学习泛化策略本节，我们将从数学上分析集成学习为什么能提升性能，并探讨其泛化策略18核心洞察：集成模型的误差可以分解为个体学习器的平均误差减去个体学习器的差异度，这一关键公式从理论上解释了集成学习为什么能提升泛化性能，并揭示了提升集成性能的两个基本方向。公式参数解析Q(L,X)集成模型L的泛化误差所有个体学习器的差异度(Diversity)或多样性。结论与启示为降低集成模型的整体误差

Q(L,X)，有两个基本路径1降低个体学习器的平均误差提升模型本⾝性能，即让每个个体学习器本⾝尽可能准确。2提⾼个体学习器的差异度提升模型间多样性，即让每个个体学习器之间尽可能“不同”。Q(Li,X)aveD所有个体学习器Li的平均泛化误差。理论分析：集成学习为何有效？191.提升个体性能2.增加个体多样性改变训练样本：对原始数据进行采样（如

Bagging），让每个学习器在不同数据子集上训练。改变训练参数：对模型参数进行随机化设置（如神经网络的初始权重，决策树的特征选择）目标：增大差异度aveD。3.增加学习器数量理论基础：在个体学习器具有一定准确率且误差相关性较低时，增加学习器数量通常有助于降低集成误差。

应用建议：在计算资源允许的情况下，增加个体学习器的数量通常能带来稳定且显著的性能提升。提升集成模型泛化性能主要有三种策略：提升个体学习器性能、增加个体学习器多样性以及增加个体学习器的数量根据Q(L,X)=Q(Li,X)-aveD

的结论，我们可以总结出以下三大泛化策略：方法：使用更强的模型、正则化（如范数惩罚）、扩充样本。目标：降低个体误差Q(Li,X)。三大泛化策略205.2

Bagging集成学习核心导读进入第二节，我们将学习并行化集成方法Bagging，随机森林的基本原理5.2

Bagging集成学习215.2.1Bagging集成策略本节，我们将介绍Bagging集成学习的基本策略，并探讨其如何通过自助采样与并行集成提升模型的泛化性能。22核心思想Bagging是一种通过自助采样法（Bootstrap）并行构造个体学习器，并用简单组合策略（Aggregating）进行集成的并行化集成学习方法。各学习器之间相互独立，可并行训练，因此训练效率较高。Bagging是并行式集成学习的典型代表Bootstrap自助采样这是产生多样性个体学习器的关键。它通过对原始数据集进行有放回的随机采样来生成多个不同的训练子集。1Aggregating聚合/集成将在不同子集上训练出的多个弱学习器进行组合。通常，回归任务使用简单平均法，分类任务使用相对多数投票法。2Bagging(BootstrapAggregating)简介23核心技术：自助采样法与袋外估计24核心思想：Bagging的基本流程是：通过多次自助采样生成多个训练子集，在每个子集上并行训练一个弱学习器，最后将所有弱学习器进行聚合得到最终的集成模型1自助采样(Bootstrap)：对原始数据集D进行m次自助采样，生成m个独立的训练样本子集2并行训练(ParallelTraining)：以m个训练⼦集为基础，并⾏地训练出m个弱学习器3聚合(Aggregating)：对于分类任务，使⽤相对多数投票法将m个弱分类器的结果组合起来。对于回归任务，使⽤简单平均法将m个弱回归器的结果组合起来。Bagging的基本流程Bagging集成学习的基本流程如下：最终得到集成模型L251 集成模型的偏差(Bias)假设我们有m个弱回归器，它们的偏差均为μ。集成模型的偏差是所有弱回归器偏差的平均值。bias(L)=bias(1⁄m∑Li)=1⁄m∑bias(Li)=1⁄m·mμ=μ结论

Bagging不降低模型的偏差。2 集成模型的方差

(Variance)假设弱回归器之间不相关，⽅差均为σ2。集成模型的⽅差是弱回归器⽅差的1⁄m。var(L)=var(1⁄m∑Li)=1⁄m2∑var(Li)=1⁄m2·mσ2=σ2⁄m结论

Bagging显著降低了模型的方差。Bagging的作用：降低方差Bagging策略通过平均多个模型的预测，可以显著降低集成模型的方差，但通常不会改变偏差。本页通过一个简化的数学分析，揭示了Bagging集成策略的核心作用：它主要通过降低模型的方差来提升泛化性能，而对偏差没有明显改善。Bagging策略为何有效？我们可以通过偏差-方差分解来理解。核心作用：降低方差(VarianceReduction)Bagging主要是一种降低方差的技术。因此，它对于那些本身低偏差但高方差的模型（如完全生长的决策树）效果尤为显著。265.2.2

随机森林模型结构本节，我们将介绍随机森林的模型结构，并分析其如何通过多棵决策树的组合提升模型的泛化能力。271森林(Forest)：由大量的决策树模型组成的。2 什么是随机森林？随机森林(RandomForest,RF)

是一种将决策树作为弱学习器（基学习器）的Bagging集成模型，它在Bagging的基础上引入了特征随机化，进一步增强了模型的多样性。为什么叫“随机森林”？随机(Random):

其随机性体现在两个方面：①样本随机性:

继承自Bagging，通过自助采样（Bootstrap）获得不同的训练样本子集，使得每棵树的训练数据不同。②特征随机性:

随机森林对Bagging的扩展。在构建每棵树的节点时，先随机选择一个特征子集，再从中选择最优划分属性。结论：这种“双重随机性”使得森林中的每棵树都具有很大差异，极大地提升了泛化性能。28特征随机性：具体过程1假设当前节点可用的完整特征集合为A，包含m个特征。2随机选择:从A中随机选择一个包含s个特征的子集A'。3选择最优:从子集

A'

中，按照常规决策树算法（如计算信息增益或基尼指数）选择一个最优属性作为该节点的分裂属性。参数s的影响随机森林的关键：双重随机性核心思想随机森林通过在决策树构建过程中引入特征子集的随机选择，进一步增加了基学习器（决策树）之间的差异性，这是其相比普通Bagging性能更优的关键。s过小s过大单个决策树的性能会较差，因为每次分裂都只有很少的特征可选。集成效果可能不理想。弱学习器之间的差异性会减小。如果

s=m，则随机森林就退化为了普通的Bagging+决策树。29随机森林的优点305.2.3

随机森林训练算法本节，我们将介绍随机森林的训练过程，重点说明自助采样、特征随机选择以及决策树生成的基本步骤。31随机森林训练总览核心理论推导公式随机森林=Bootstrap样本随机性+节点特征随机性+多棵CART决策树集成核心思想(CoreIdea)随机森林通过引入“样本随机性”和“特征随机性”，构建并集成多棵决策树，以提升模型的泛化能力。

在Bagging的基础上，为每棵决策树的节点分裂过程进一步引入“特征随机性”，从而极大增加基学习器（决策树）之间的差异度。集成方式(EnsembleMethod)不同任务的集成策略具有差异性，最终将所有弱学习器集成为一个强学习器：

•对于分类任务，通常采用投票法(多数/相对多数投票)。

•对于回归任务，则采用平均法(Averaging)。通过流程图展示随机森林的构建全过程（以分类任务的投票法为例）32L1,L2,L3为独⽴并⾏⽣成的CART决策树例题5.4：构造感冒诊断随机森林任务说明输入数据：感冒诊断样本数据集，包含16个样本。▸特征：体温、流鼻涕、肌肉疼、头疼(m=4)

▸标签：是否感冒目标：构造一个由三棵CART决策树(L1,L2,L3)组成的随机森林模型。节点划分规则：若当前节点有m个候选特征，则随机选择s=log₂m个特征参与该节点的基尼指数计算与划分。体温流鼻涕肌肉疼头疼是否感冒较高是是否是非常高否否否否正常是是是是正常否否是否任务目标:构造流程33▶D1={1,1,3,4,5,6,8,9,9,10,11,12,12,13,14,16}▶D2={1,2,2,3,4,5,6,7,7,7,8,13,13,14,14,16}▶D3={3,4,4,4,5,7,7,8,9,10,11,11,12,13,13,14}模型训练架构流原始DBootstrap子集D1训练L1决策树L1原始DBootstrap子集D2训练L2决策树L2原始DBootstrap子集D3训练L3决策树L3*此独⽴抽样过程确保了基分类器的多样性。第一步：Bootstrap生成D1,D2,D3核心思想：通过有放回的随机采样，从原始数据集中生成三个大小相同但内容各异的训练子集，为构建不同的决策树奠定基础。内容概述：本页展示随机森林的第一步——样本随机性。通过对原始数据集D进行Bootstrap（自助法）采样，我们得到了三个可包含重复样本的训练子集D1,D2,D3。这些子集间的差异是后续决策树多样性的来源。Bootstrap有放回随机采样结果对包含16个样本的原始数据集D，进行三次独立的有放回采样，每次采样16个样本，生成三个训练子集：注意:

每个子集都可能包含重复样本（如D1中的样本1和9），且不同子集间的构成也不同，这保证了后续训练出的决策树具有差异性。3423第二步：随机特征+基尼指数选择根节点核心思想：在节点划分时，先随机选择部分特征，再从这些特征中通过计算基尼指数(Gini)选出最优划分，这是随机森林“特征随机性”的体现。概览：本页以训练子集D1构造决策树L1的根节点为例，详细解释了随机森林的第二个核心步骤。我们没有在全部4个特征中选择，而是随机抽取2个特征，再通过计算Gini选出最优划分。以训练L1根节点为例24候选特征：共有4个候选特征(m=4)：{体温,流鼻涕,肌肉疼,头疼}。随机选择特征子集：根据规则

s=log₂m=log₂4=2，随机选择2个特征参与本轮划分。例题中随机抽到

{体温,头疼}。计算加权Gini：分别计算基于“体温”和“头疼”进行划分的加权基尼指数，选择使Gini最小的划分。

Gini(D)=1-Σpk²

Gini(D,A)=(|D1|/|D|)·Gini(D1)+(|D2|/|D|)·Gini(D2)1选择最优划分：例题计算结果表明，在“体温”和“头疼”中，选择“体温”作为划分属性，并采用“体温=正常/体温≠正常”的二元划分方式时，加权Gini最小。35第三步：递归构树并投票集成核心思想与概述通过递归地重复“随机选特征、计算Gini、分裂”的过程构建三棵独立的决策树，最后通过投票法将它们的预测结果集成为最终输出。递归构树:

对每个子节点，继续重复“随机选择特征子集→计算Gini→选择最优划分”的步骤，直到满足停止条件（如节点纯度足够高、样本数过少等）。获得基学习器:

分别为D1,D2,D3训练出三棵结构各异的CART决策树L1,L2,L3。投票集成:

对于一个新的分类任务，三棵树独立预测，然后通过投票决定最终结果（少数服从多数）。注:

随机森林通常不进行剪枝，单棵树的高方差会通过森林的集成机制得到有效缓解。365.3

Boosting集成学习核心导读进入第三节，我们将学习串行化集成方法Boosting、AdaBoost的核心思想5.3Boosting集成学习37123Boosting思想：从错误中学习Boosting的核心思想是通过迭代关注被先前学习器误分类的样本，从而提升整体模型性能。核心思想(CoreIdea)与Bagging集成学习中各个弱学习器并行训练、相互独立不同，Boosting更关注弱学习器之间的关联性，旨在获得泛化性能更好的模型。核心思想类比：背英语单词第二遍：主要针对第一遍记错的单词进行重点记忆。第三遍：继续关注上一轮还未记住的单词。第一遍：记住了一部分容易的单词。Boosting正是基于这种“从错误中学习”的思想，它在每一轮训练中都特别注重那些被前一个弱学习器错误预测的样本，不断提升模型性能。这种方法衍生出了如AdaBoost和GBDT等著名算法。38Boosting集成学习流程概述Boosting通过串行方式训练一系列相互关联的弱学习器，并最终加权组合。Boosting集成学习，又名提升式集成学习方法，主要通过集成各个弱学习器的成功经验和失败教训实现对模型性能的提升。基本流程初始化：从原始数据集D开始。迭代训练：串行地训练一系列弱学习器(L1,L2,...,Ln)。每一轮训练都基于前一轮的结果，调整训练样本的分布或权重。集成：将所有训练好的弱学习器通过加权平均或加权投票的方式组合，形成一个强学习器。能有效降低集成模型的预测偏差。优点缺点弱学习器需串行训练，耗时较长。395.3.1

Boosting集成策略本节，我们将学习Boosting的样本权重调整策略4012核心策略：调整训练样本的数据分布核心思想Boosting通过调整训练样本的数据分布，使得后续的学习器更加关注先前被误分类的样本。俗话说“不会被同一块石头绊倒两次”，Boosting集成学习正是基于这种思想。其关键在于：前一个弱学习器

Lt

的预测效果，决定了用于训练后一个弱学习器

Lt+1

的方式，使得

Lt+1

能够修正

Lt

的错误，实现互补。调整样本权重重采样(Resampling)不改变训练集，而是提高被错误预测样本的权重，降低被正确预测样本的权重。改变当前训练样本集，例如，将被错误预测的样本复制多份，加入到新的训练集中。41数据分布⽰意策略一：调整样本权重核心思想通过调整权重，让模型在下一轮训练中“更关心”之前做错的题目。基本思想提高当前训练样本集中被错误预测样本的权重，同时降低已被正确预测样本的权重。具体操作假设初始时，n个样本的训练集T中，每个样本的权重均为

1/n经过一轮学习后，所有被错误预测的样本组成的集合Q，其整体权重等于预测错误率

ε。为了让后续学习器“重视”这些错误样本，规定一个目标（如将集合Q的整体权重提升到

1/2）权重更新机制：错误样本权重乘

放大因子，总权重从ε变为1/2。正确样本权重乘

缩小因子，确保总权重之和仍为1425.3.2

AdaBoost学习算法本节，我们将学习AdaBoost的完整算法流程43123AdaBoost：自适应增强算法AdaBoost能自动调整样本权重和学习器权重，实现自适应学习。算法简介AdaBoost是

AdaptiveBoosting

的缩写，意为

自适应增强。AdaBoost基本遵从Boosting思想，通过迭代更新样本权重来获得一组性能互补的弱学习器，然后通过加权投票的方式将它们集成为一个性能优越的强学习器。自适应性体现在：自动提升权重自动提升被前一轮弱学习器错误预测样本的权重。自动减少权重自动减少被前一轮弱学习器正确预测样本的权重。自动计算组合自动计算每个弱学习器的组合权重，表现好的学习器话语权更大。44以二分类任务为例，介绍AdaBoost构造集成模型的具体步骤。1AdaBoost算法核心步骤(1/7)核心思想与概览初始化训练样本的权重分布，所有样本权重均等。

本幻灯片开始分步讲解AdaBoost算法流程。第一步是初始化，为训练集中的每个样本赋予相等的初始权重。第一步：初始化样本权重设定弱学习器的总数m。对于包含n个样本的训练集

使用均匀分布初始化样本权重。第1轮的权重向量

为：4512核心思想(CoreIdea)使用当前加权的训练样本集训练一个弱学习器。算法流程的第二步：基于当前轮次的样本权重分布，训练得到一个弱学习器。第二步：训练弱学习器在第

i

轮迭代中，使用当前权重分布为

wi

的训练样本集

Di

来学习，得到第

i

个弱学习器

Li。这里的弱学习器（或称基学习器）可以是一个简单的模型，例如决策树桩（只有一个分裂节点的决策树）。AdaBoost算法核心步骤(2/7)46AdaBoost算法核心步骤(3/7)

核心思想：计算当前弱学习器在加权训练集上的分类错误率。第三步：计算弱学习器的错误率

47123AdaBoost算法核心步骤(4/7)核心思想

第四步：确定弱学习器的组合权重

48AdaBoost算法核心步骤(5/7)-更新权重核心思想更新训练样本的权重，为下一轮学习做准备。算法流程的第五步，也是AdaBoost的核心：根据当前学习器的表现来更新每个样本的权重，以便下一轮学习器能更关注被分错的样本。第五步：更新样本权重依据弱学习器

Li

的表现，更新训练样本的权重，用于下一轮（第i+1轮）学习。更新公式为：49AdaBoost算法核心步骤(5/7)-权重更新解读核心思想分对的样本权重被降低，分错的样本权重被放大。本页对权重更新公式进行解读，揭示了其本质：对分类正确和错误的样本，权重调整的方式是截然相反的。50若i<m若i=mAdaBoost算法核心步骤(6/7)核心思想循环迭代，直到训练出指定数量的弱学习器。算法流程的第六步：检查是否已达到预设的弱学习器数量

m。如果未达到，则返回第二步继续迭代；否则，进入最后一步。第六步：迭代检查当前迭代次数

i

是否小于预设的弱学习器总数

m。517AdaBoost算法核心步骤(7/7)核心思想将所有弱学习器通过加权投票的方式组合成最终的强分类器。7组合弱学习器52序号12345678910X12345678910y1-111-1-1-1-1-11计算示例:【例题5.6】准备工作训练样本数据：【例题5.6】试以表5-9所示数据集为训练样本，使用

AdaBoost

集成学习算法构建一个包含三个弱学习器的集成模型，并通过所求集成模型预测

X=7.5

所对应类别。53计算示例：第一轮迭代(m=1)54计算示例：更新权重(准备第二轮)551计算示例：第二轮迭代(m=2)56计算示例：第三轮迭代(m=3)57结论：预测X=7.5

对应的类别为负类(-1)计算示例：模型组合与预测585.4

集成学习应用核心导读进入第四节，我们将学习集成学习在实际任务中的应用方法与基本流程5.4集成学习应用59随机森林房价预测与AdaBoost人脸检测核心思想本节将通过两个实际案例——房价预测和人脸检测，展示集成学习在解决复杂回归与检测问题中的强大应用。课程描述本节课程将聚焦于集成学习的实际应用，通过两个经典的案例：随机森林在房价预测中的应用和AdaBoost在人脸检测中的应用，深入讲解如何将理论模型应用于解决真实世界的问题。我们将采用案例驱动的教学方式，从问题定义、数据处理、模型构建到结果解释，完整地走完一个机器学习项目的全流程。第5.4节集成学习应用60输⼊⽬标输⼊⽬标“本节要解决的两个实际问题问题1：如何精确预测房价？一套房屋的多种属性（如面积、位置、房龄、车库数量等）基于这些属性，给出一个尽可能准确的房屋销售价格预测值。一张任意的数字图像。在图像中自动找出所有的人脸，并用方框标出它们的准确位置。核心思路：

我们不是为了讲算法而讲算法，而是要看强大的集成学习模型如何一步步拆解并解决这两个具有挑战性的现实任务。问题2：如何自动定位图片中的人脸？61两个案例的解题路线总览核心思想：房价预测遵循“数据-处理-建模-评估”的回归流程，而人脸检测则采用“特征-筛选-级联”的检测流程。625.4.1

随机森林房价预测本节以房屋交易数据为例，学习随机森林如何完成数据预处理、模型构建与房价预测。63案例一：房价预测任务说明核心思路CoreIdea利用房屋的79个属性，通过随机森林回归模型，预测其最终销售价格。已知条件INPUT房屋的多种详细属性，例如：地理位置房屋面积建造年份车库状况等共79个特征预测目标OUTPUT一个连续的数值：房屋最终销售价格SalePrice任务与方法METHOD任务类型回归预测任务核心方法(Regression)随机森林回归(RandomForestRegressor)64数据集类型描述包含SalePrice标签？是(1460条)否(1459条)房价预测第一步：读取与划分数据我们将使用带房价标签的数据训练模型，然后用模型去预测无标签数据的房价。第一步：读取数据并明确训练对象模型训练始于数据。我们需要两种数据集：训练数据(train.csv)测试数据(test.csv)用于教会模型如何根据房屋属性判断价格。模型训练完毕后，需要为其预测价格的数据。输入特征

(X)房屋的

79

个属性(Id除外)。输出标签

(y)(仅存在于训练数据中)SalePrice65房价预测第二步：观察房价分布在开始建模之前，先理解我们要预测的目标——房价，是非常重要的一步。这属于探索性数据分析(EDA)。为什么要看分布？了解价格范围：知道房价大致在哪个区间内波动。观察样本集中度：大多数房屋的价格集中在什么水平。发现数据偏态：房价分布是否对称，是否存在大量极高或极低的异常价格，这可能影响模型性能。从右侧图示中我们可以看到：大部分房价集中在

10万到20万美元

之间。分布呈现

右偏（正偏态），意味着存在少数价格远高于平均水平的豪宅。66房价预测第三步：缺失值处理真实世界的数据很少是完美的，缺失值是常见问题。直接使用含缺失值的数据会导致模型训练失败或性能下降。