机器学习ppt.pptx

1、,集,成,算,法,用,延迟符,专业：计算机科学与技术 讲解者：,目 录,CATALOG,集成算法简介,回归算法,随机森林,集成算法,延迟符,总结,延迟符,集成算法简介,延迟符,集成学习是用多个弱分类器构成一个强分类器，一般的弱分类器可以由决策树，神经网络，贝叶斯分类器，K-近邻等构成,集成学习算法,概念,目的,让机器学习效果更好，单个不行，群殴走起,结合策略,延迟符,集成学习算法类型,bagging模型,Bagging的算法原理和 boosting不同，它的弱学习器之间没有依赖关系，可以并行生成，我们可以用一张图做一个概括如下：,m个样本训练集,m个样本训练集t,m个样本训练集2,m个样本采样

2、集1,随机采样,训练,训练,训练,结合策略,典型代表：AdaBoost,Xgboost，GDBT,Boosting模型,Adaboost会根据前一次的分类效果调整数据权重 解释：如果某一个数据在这次分错了，那么在下一次给出更大的权重 最终的结果：每个分类器根据吱声的准确性来确定各自的权重，再合体,m个样本训练集,权重D(1),权重D(2),权重D(3),带权重D（1） 训练集,带权重D(T) 训练集,带权重D（1） 训练集,弱学习器2 基于学习误差率e2更新权重系数a2,弱学习器T 基于学习误差率eT更新权重系数aT,训练,训练,训练,结合策略,根据a1更新样本权重D（2）,根据a2更新样本权

3、重D（3）,应用：神经网络,堆叠：很暴力，拿来一堆直接说（各种分类器都来了），可以 堆叠各种各样的分类器（KNN，SVM,RF.） 分阶段：第一阶段得出各自结果，第二阶段再用前一阶段结果 训练,Stacking模型,结合策略,平均法,投票法,学习法,对于数值类的回归预测问题，通常使用的结合策略是平均法，也就是说，对于若干和弱学习器的输出进行平均得到最终的预测输出。,对于分类问题的预测，我们通常使用的是投票法。假设我们的预测类别是c1,c2,.cK,对于任意一个预测样本x，我们的T个弱学习器的预测结果分别是(h1(x),h2(x).hT(x)。,对于学习法，代表方法是stacking，当使用st

4、acking的结合策略时， 我们不是对弱学习器的结果做简单的逻辑处理，而是再加上一层学习器，也就是说，我们将训练集弱学习器的学习结果作为输入，将训练集的输出作为输出，重新训练一个学习器来得到最终结果。,（1）本算法中数据共891个，用的是python jupyter(便于演示) （2）处理缺失值 （3）处理字符型数据（转化为数字，便于处理）,数据处理,延迟符,回归算法,延迟符,线性回归,线性回归,逻辑回归,逻辑回归,延迟符,随机森林,延迟符,用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。,概述,1.它能够处理很高维度（feature很多）的数据，

5、并且不用做特征选择,2.能够评估各个特征在分类问题上的重要性（黑箱操作）,3.容易做成并行化方法,随机森林,特点,随机性,1.数据的随机性选取,2.待选特征的随机选取,由于二重随机性，使得每个树基本上都不会一样，最终的结果也会不一样 （随机是要保证泛化能力）,随机森林,结果,那么对于一个输入样本，N棵树会有N个分类结果。而随机森林集成了所有的 分类投票结果，将投票次数最多的类别指定为最终的输出，这就是一种最简单的 Bagging 思想。,随机森林,以上两者的区别在于参数的不同,特征选取,延迟符,Gradient Boost,延迟符,Gradient Boost,Gradient Boost其实是一个框架，里面可以套入很多不同的算法,延迟符,总结,延迟符,优点,缺点,集成学