机器学习实践教程 教案 第09章 集成学习

教案：集成学习原理教学目标理解集成学习的基本概念和原理。掌握提升法（Boosting）和装袋法（Bagging）的基本思想和工作原理。了解集成学习中基学习器的组合策略，如均值法和投票法。能够区分提升法和装袋法的特点和适用场景。教学重点集成学习的概念和原理。提升法和装袋法的基本原理和流程。集成学习中基学习器的组合策略。教学难点理解提升法中样本权重调整的过程。区分提升法和装袋法的区别和应用场景。教学流程一、引入（5分钟）简要介绍集成学习的概念和重要性。举例说明单一学习器可能存在的局限性，引出集成学习的必要性。二、集成学习原理（10分钟）定义集成学习，解释集成学习的主要目的是通过结合多个学习器来提高模型的泛化能力。介绍集成学习的常用架构，如图9-1所示，并解释其工作原理。阐述基学习器在集成学习中的角色，即作为弱学习器被集成以形成强学习器。三、提升法（Boosting）（15分钟）详细介绍提升法的基本思想和工作原理。讲解如何通过改变训练数据的分布来训练出不同的弱学习器。演示提升法中样本权重调整的过程，以及如何通过串行方式组合基学习器。讨论提升法的优点和局限性。四、装袋法（Bagging）（15分钟）引入装袋法的概念，解释其来源于BootstrapAGGregating。讲解装袋法通过自助采样生成不同基学习器的方法。阐述装袋法通过并行方式组合基学习器的优势，以及如何利用多核CPU的性能。介绍装袋法中包外样本的概念和用途，用于评估基学习器的好坏。讨论装袋法的优点和局限性。五、集成方法（10分钟）介绍集成学习中常用的组合策略，包括均值法和投票法。详细说明均值法中的简单平均法和加权平均法。解释投票法中的绝对多数投票法和相对多数投票法，并举例说明其应用。讨论不同集成方法在不同场景下的适用性和效果。六、课堂练习（10分钟）提供一个简单的数据集，要求学生应用集成学习（如Boosting或Bagging）进行实践。指导学生使用sklearn库中的相关类（如AdaBoostClassifier、BaggingClassifier等）进行实验。让学生讨论和分析实验结果，并比较不同集成方法的效果。七、课堂小结（5分钟）总结集成学习的基本原理和常用方法。强调提升法和装袋法的区别和适用场景。回顾集成学习中基学习器的组合策略及其重要性。课后作业要求学生自行选择或构建一个数据集，应用集成学习（包括Boosting和Bagging）进行实践，并比较不同集成方法的效果。要求学生撰写一份实验报告，包括数据集介绍、实验步骤、结果分析和结论等部分。鼓励学生进一步探索集成学习的其他方法和技巧，如随机森林、梯度提升机等。

教案：随机森林-RandomForestRegressor教学目标理解随机森林（RandomForest）的基本原理及其在回归问题中的应用。掌握使用sklearn库中的RandomForestRegressor类进行模型训练与评估的方法。学会使用分层抽样（StratifiedSampling）进行数据集的划分。理解并解释随机森林中特征重要性的概念及其计算方法。教学重点随机森林的原理及其在回归问题中的应用。使用RandomForestRegressor进行模型训练与评估。分层抽样的概念与实现。教学难点随机森林中特征重要性的解释与可视化。教学流程一、引入（5分钟）简要介绍集成学习的概念及其重要性。引出随机森林作为集成学习中的一种重要方法，并介绍其相对于其他集成方法的优势。二、随机森林基本原理（10分钟）讲解随机森林的原理，包括决策树的构建、属性随机化和数据随机化。强调随机森林既可以解决回归问题，也可以解决分类问题。三、糖尿病数据集介绍（5分钟）介绍sklearn自带的糖尿病数据集，并解释数据集中各个特征的含义。展示如何加载数据集并获取特征名称。四、分层抽样（10分钟）讲解分层抽样的概念及其在数据集划分中的重要性。演示如何使用numpy和sklearn的train_test_split函数进行分层抽样，确保测试集中y值的分布与原始数据集一致。五、RandomForestRegressor用法演示（15分钟）展示如何使用RandomForestRegressor类进行模型训练。演示如何评估模型的性能，并计算预测的平均绝对误差。强调参数调整对模型性能的影响，并鼓励学生尝试调整参数以改善模型性能。六、特征重要性（10分钟）讲解随机森林中特征重要性的概念及其计算方法。演示如何查看RandomForestRegressor对象中各个特征的重要性。展示如何使用matplotlib库绘制特征重要性的直方图，并解释结果。七、课堂练习（15分钟）提供练习数据集，要求学生自行使用RandomForestRegressor进行建模。指导学生进行分层抽样、模型训练和评估。要求学生计算并解释特征重要性。八、课堂小结（5分钟）总结随机森林的基本原理及其在回归问题中的应用。强调分层抽样和特征重要性在随机森林中的重要性。鼓励学生继续探索随机森林的其他参数和应用场景。课后作业要求学生选择一个实际数据集，应用随机森林进行建模，并进行参数调整和性能评估。要求学生绘制特征重要性的直方图，并解释结果。鼓励学生尝试使用不同的集成方法（如AdaBoost、GradientBoosting等）进行比较分析。

教案：BaggingRegressor教学目标理解BaggingRegressor的基本概念和原理。掌握BaggingRegressor的基本用法和参数调整。学会使用RandomizedSearchCV搜索BaggingRegressor的最佳参数。分析最佳参数对模型性能的影响。教学重点BaggingRegressor的原理和使用方法。RandomizedSearchCV的使用和参数搜索技巧。教学难点理解BaggingRegressor中参数的意义和调整方法。使用RandomizedSearchCV进行参数搜索。教学流程一、引入（5分钟）简要回顾集成学习的概念和重要性。引出BaggingRegressor作为集成学习中的一种重要方法。二、BaggingRegressor介绍（10分钟）定义BaggingRegressor，解释其使用并行方式聚合多个基学习器的特点。展示BaggingRegressor的基本用法，包括基预估器的选择和实例化。三、BaggingRegressor参数说明（10分钟）详细介绍BaggingRegressor的主要参数及其意义。强调参数调整对模型性能的重要性。四、BaggingRegressor基本用法演示（10分钟）演示如何使用BaggingRegressor对糖尿病数据集进行建模。展示如何设置基预估器和其他参数。五、搜索最佳参数（15分钟）介绍RandomizedSearchCV类及其作用。演示如何使用RandomizedSearchCV对BaggingRegressor的参数进行搜索。强调参数搜索中需要注意的命名规则和参数范围。六、最佳参数效果分析（10分钟）展示最佳参数的搜索结果。分析最佳参数对模型性能的影响。演示如何使用最佳参数重新构建模型并进行训练。七、课堂练习（10分钟）提供练习数据集，要求学生自行使用BaggingRegressor进行建模。指导学生进行参数搜索和最佳参数设置。要求学生分析最佳参数对模型性能的影响。八、课堂小结（5分钟）总结BaggingRegressor的基本原理和使用方法。强调参数搜索对模型性能的重要性。鼓励学生继续探索集成学习的其他方法和技术。课后作业要求学生选择一个实际数据集，应用BaggingRegressor进行建模，并进行参数搜索和优化。要求学生撰写实验报告，包括数据集介绍、实验步骤、参数搜索过程、结果分析和结论等部分。鼓励学生尝试使用不同的基预估器和集成策略，比较不同方法的性能。

教案：梯度提升决策树（GradientBoostingDecisionTree）教学目标理解梯度提升决策树（GradientBoostingDecisionTree）的基本原理和其在回归问题中的应用。掌握如何使用sklearn库中的GradientBoostingRegressor类进行模型训练和参数调整。学会使用分层抽样（StratifiedSampling）进行数据集的划分。掌握如何使用RandomizedSearchCV进行模型参数的随机搜索和优化。教学重点梯度提升决策树的基本原理。GradientBoostingRegressor的使用和参数调整。分层抽样的概念与实现。RandomizedSearchCV的参数搜索和优化方法。教学难点梯度提升决策树中参数对模型性能的影响及其调整方法。RandomizedSearchCV的使用与结果解读。教学流程一、引入（5分钟）简要介绍集成学习的概念及其重要性。引出梯度提升决策树作为集成学习中的一种重要方法，并介绍其相对于其他集成方法的优势。二、梯度提升决策树基本原理（10分钟）讲解梯度提升决策树的基本原理，包括如何使用上一次的梯度信息来构造决策树。强调梯度提升决策树在各类问题上的表现都很优异，是机器学习中用得较多的通用模型之一。三、房价数据集介绍（5分钟）介绍加利福尼亚州房价数据集，并解释数据集中各个特征的含义。展示如何加载数据集并获取特征和目标值。四、数据集划分与分层抽样（10分钟）讲解在分割训练集与测试集时需要注意分层抽样的原因和方法。演示如何使用sklearn的train_test_split函数进行分层抽样，确保测试集中目标值的分布与原始数据集一致。五、初始参数集与模型训练（15分钟）介绍GradientBoostingRegressor类的主要参数及其作用。展示如何定义初始参数集，并使用GradientBoostingRegressor进行模型训练。强调参数调整对模型性能的影响，并鼓励学生尝试调整参数以改善模型性能。六、最佳参数搜索（15分钟）引入RandomizedSearchCV类，并解释其工作原理。演示如何使用RandomizedSearchCV进行模型参数的随机搜索和优化。强调参数搜索的重要性，并指导学生如何解读搜索结果。七、课堂练习（20分钟）提供练习数据集，要求学生自行使用GradientBoostingRegressor和RandomizedSearchCV进行建模和参数搜索。指导学生如何根据搜索结果调整参数并重新训练模型