机器学习原理与应用电子教案 5.11.2集成学习基础

备课日期：年月日授课时间课时（理论+实验）周次星期:节次:授课课题集成学习[基础]教学目标1.理解集成学习的基本原理（弱学习器、集成策略）。2.掌握集成学习基础方法（投票法、平均法）。教学重点1.弱学习器；2.集成策略（投票法与平均法）。教学准备PPT、点名册等。教学方法指导阅读、案例法。教学过程设计备注课题引入【思考】1.单个机器学习算法易出现过拟合问题，如何解决？2.“三个臭皮匠，顶个诸葛亮”的内在含义。【关键】“集思广议”的作用。【时间】分钟。教学步骤及主要内容【主板】§15.集成学习[基础]一、基本原理【主板】基本原理1.弱学习算法与强学习算法。2.集成学习基本框架。3.集成学习的关键。【强化与拓展】（1）个体学习器：基学习器、同质与异质、组件学习器；（2）集成策略（举例：好而不同）。〖PPT〗基本原理。【时间】分钟。【提问】。二、基本集成方法【主板书】基本集成方法1.投票法【强化与拓展】硬投票与软投票。（1）绝对多数投票法：投票最高者。（2）相对多数投票法：投票相对最高者。（3）加权投票法：为个体分类器分配不同的权重。2.平均法（1）简单平均法。（2）加权平均法。〖PPT〗基本集成方法。【时间】分钟。【提问】。三、编程实现【主板书】编程实现1.Scikit-learn库导入：fromsklearn.ensembleimportVotingClassifier。2.主函数：class

sklearn.ensemble.VotingClassifier(estimators,

voting=’hard’,

weights=None)。（1）Estimators：多个个体学习器的集成。【强化与拓展】格式：[(‘标示1’，模型1)，…,(‘标示n’，模型n)]。（2）Voting:投票方式。（3）Weights:权重。（4）常用方法：fit()、predict()与score()。〖PPT〗编程实现过程。---------------------------------------------------------------------------例1：硬投票与软投票方式对预测精度的影响。1.引入库：集成学习、Logitic回归、支持向量机、决策树。2.构建个体学习器。3.预测精度的保存。4.个体学习器的集成与预测精度的保存。5.结果对比。例2：平均法与加权平均法的预测精度差别。与例1步骤类似。【强化与拓展】计算预测精度函数的编写。预测结果为N行2列矩阵，第1列为预测为类别1的概率、第2列为预测为类别2的概率。求取预测精度的函数为：defcompute_accuracy(prob,gt):labels=np.zeros([prob.shape[0],1])labels[prob[:,1]>=0.5,:]=1labels=labels.ravel()accuracy=1-np.sum(np.abs(gt-labels))/prob.shape[0]returnaccuracy〖PPT〗编程实现过程。【时间】分钟。【提问】。课堂练习其他无小结与作业课堂小结集成学习本身不是一个单独的机器学习算法，而是通过构建并结合多个个体学习器完成学习任务的策略（即常说的“博采众长”）。集成学习可以用于分类问题集成、回归问题集成、特征选取集成、异常点检测集成等等，应用非常广泛。本课作业利用Scikit-learn库生成make_blobs数据并将数据划分为训练数据与测试数据两部分。fromsklearn.datasets.samples_generatorimportmake_blobsX,y=make_blobs(n_samples=500,n_features=2,centers=[[1,1],[2,2]],cluster_std=[0.6,0.6])请完成以下实验：（1）集成Logistic回归、支持向量机、决策树、神经网络等算法，采用硬投票与软投票等方法对测试数据进行预测并画出相应的柱状图（包括个体学习器与集成后的结果）。（2）集成Logistic回归、支持向量机、决策树、神经网络等算