《机器学习Python实战》电子教案 09-2-项目7 决策树与随机森林预测建模

武汉软件工程职业学院教案（理论教学首页）（第1页）教案（理实一体化课）武汉软件工程职业学院教案（附页）（第NUMPAGES4页）课程名称机器学习授课内容项目7判断西瓜的好坏—决策树与随机森林7.1项目知识准备 7.1.1决策树的基本原理和构造 7.1.2随机森林的基本原理和构造授课安排授课时数2授课对象人工智能技术应用专业大二学生授课方法讲授、问题式教学法授课教具Python3.7及后续版本、Anaconda、Jupyter教学目标思政目标：大家在学习的时候一定要弄清楚原理，还要注意每种方法的优点和不足，结合实际情况看选择哪种方法。知识目标：理解决策树与随机森林的原理和构造能力目标：掌握决策树与随机森林的原理和使用教学重点决策树与随机森林的原理和构造教学难点决策树与随机森林的优势和不足【课前安排】（1）教师对学生们的疑问进行统一答疑。（2）回顾总结上节课内容，继续介绍本课时的内容。上机课介绍了贝努利、高斯、多项式朴素贝叶斯模型的基本原理与用法，本节课介绍决策树与随机森林的原理和构造。【导入新课】决策树易于理解和实现，人们在在学习过程中不需要使用者了解很多的背景知识，这同时是它的能够直接体现数据的特点，只要通过解释后都有能力去理解决策树所表达的意义。通过具体实例的演示，学生既可以掌握相关技能，也能培育职业精神与职业素养。（3）明确学习目标。决策树与随机森林的原理和构造决策树与随机森林的优势和不足【讲授新课】教师根据课件，介绍决策树的基本原理。分类决策树是一种描述对象分类的树形结构。树中的节点为了两类：内部节点和叶节点，内部节点表示了一个特征，叶节点表示了最后输出的类标志。有趣的是，与其他分类模型算法不同的是，决策树既不是寻找超平面对其进行逼近，也不是使用先验后验概率对其进行预测，决策树在分类的过程中所使用的是最大化样本子集特征纯度的策略进行分类，这样就不需要任何领域知识/参数设定。当然决策树模型也会有欠拟合或过拟合的担忧，那么我们其实在决策树模型中就将关注点放在了以下几点：策略：最优化目标函数/目标值是什么？策略：如何避免过拟合？算法：我们依据最优化目标采取的算法是什么？算法：我们如何生成一个决策树，并防止其过拟合？1.决策树生成过程是一个递归的过程2.在递归过程中会导致递归返回的情形有三种：-2.1当前节点包含的样本子集都是同一类，无需划分，直接以当前类作为叶节点的决策结果。-2.2当前节点属性级为空集，或所有样本在所有属性上都取值相同，无法划分，直接按照少数服从多数来作为当前叶节点的决策结果，这是利用当前节点的后验分布。-2.3当前节点的样本子集为空集，无法划分，只能以其父节点中的样本子集中的样本最多类来表示。把父节点的样本分布当作当前节点的先验分布。教师根据课件，讲解随机森林的构造方法。随机森林是集成学习的一个子类，它依靠于决策树的投票选择来决定最后的分类结果。随机森林中有许多的分类树。我们要将一个输入样本进行分类，我们需要将输入样本输入到每棵树中进行分类。打个形象的比喻：森林中召开会议，讨论某个动物到底是老鼠还是松鼠，每棵树都要独立地发表自己对这个问题的看法，也就是每棵树都要投票。该动物到底是老鼠还是松鼠，要依据投票情况来确定，获得票数最多的类别就是森林的分类结果。随机森林是一个可做能够回归和分类。它具备处理大数据的特性，而且它有助于估计或变量是非常重要的基础数据建模。参数说明：最主要的两个参数是n_estimators和max_features。n_estimators：表示森林里树的个数。理论上是越大越好。但是伴随着就是计算时间的增长。但是并不是取得越大就会越好，预测效果最好的将会出现在合理的树个数。max_features：随机选择特征集合的子集合，并用来分割节点。子集合的个数越少，方差就会减少的越快，但同时偏差就会增加的越快。根据较好的实践经验。如果是回归问题则：max_features＝n_features，如果是分类问题则max_features＝sqrt(n_features)。如果想获取较好的结果，必须将max_depth＝None,同时min_sample_split=1。同时还要记得进行cross_validated（交叉验证），除此之外记得在randomforest中，bootstrap=True。但在extra-trees中，bootstrap=False。（3）教师根据课件，演示信用卡审批系统的决策树。【课堂小结】回顾上课前的学习目标，对本节课知