《机器学习项目案例开发》课件 13.1集成算法-随机森林

人工智能技术与应用13.集成算法概述课程概况—基本情况PART01集成算法什么是集成算法常用的集成算法集成算法的对比集成算法的概念集成算法(ensemblelearning)：集成学习:集成学习是通过构建并结合多个学习器来完成学习任务，如右图所示，其过程是：先产生一组“个体学习器”，再用某种策略将它们结合起来。个体学习器:决策树，神经网络等。同质和异质同质，个体学习器全是同一类型，这时个体学习器又称“基学习器”；异质是指个体学习器包含不同类型得学习算法。一般我们常用的都是同质的，即个体学习器都是同一类型的参考：https:///u012328159/article/details/89740430

集成算法的概念Bagging模型Bagging模型(bootstrapaggregation)：原理：并行训练多个分类器，相互独立的随机的建立多个模型典型应用：随机森林随机：特征随机采样、数据随机采样关注点：从偏差-方差分解的角度，关注降低方差Bagging模型(bootstrapaggregation)：原理：并行训练多个分类器，相互独立的随机的建立多个模型自助采样(bootstrapsampling)：对数据集D做随机采样，每一个样本每次被抽样的概率相同，且每次抽完之后放回。包括随机选择数据和特征。

Bagging

Bagging基于自助采样法，通过多次自助采样得到不同的训练集，并基于训练集得到基学习器，最后再将这些基学习器的预测结果结合，得到最终的学习器的预测。一般在分类问题中，采用简单投票法结合预测结果，在回归问题中则采用简单平均法。关注点：从偏差-方差分解的角度，关注降低方差Bagging模型Bagging实现步骤：实现步骤：输入：数据集D，训练轮数T输出：最终预测模型G(1)迭代训练基学习器：a.从数据集D中自助采样得到训练集D'b.通过训练集D'训练得到基学习器C(2)组合预测结果：Bagging模型Random

Forest随机森林(Random

Forest)：随机森林：随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。Treee：单个的决策树绝对多数投票法Majorityvoting就是将样本X,训练出不同的模型,然后进行测试,进行投票,得票最多的模型则被被认为是最好.随机森林(RandomForest)：数据的随机抽样：从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。第二，利用子数据集来构建子决策树，将这个数据放到每个子决策树中，每个子决策树输出一个结果。如图3，假设随机森林中有3棵子决策树，2棵子树的分类结果是A类，1棵子树的分类结果是B类，那么随机森林的分类结果就是A类。Random

Forest随机森林(RandomForest)：特征的随机抽样：与数据集的随机选取类似，随机森林中的子树的每一个分裂过程并未用到所有的待选特征，而是从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的特征。这样能够使得随机森林中的决策树都能够彼此不同，提升系统的多样性，从而提升分类性能。Random

Fores