集成学习_boosting与bagging-PPT课件

1、Boosting and bagging算法1 Boosting 算法Boosting 算法是近十年最有效的算法之一，其主要代表算法有Adaboost算法和 AdaBoost算法改进等。（记单词）AdaBoost算法基本思想： 对同一个训练集使用不同的特征训练出不同的弱分类器 ， 然后将这些弱分类器组合起来 ， 提升为一个分类能力更强的强分类器 。 算法是通过数据分布的改变来实现的，根据每次弱分类器训练集中每个样本的分类正确与否，及上次总体分类的准确率，对每个样本的权值进行调整，降低弱分类器中分类正确的样本的权值，提高弱分类器分类错误的样本的权值。修改过权值的新数据表集作为下层分类器的训练集，

2、经过多次迭代得到相应的弱分类器，对训练得到的这些弱分类器进行融合 ， 得到最终的强分类器 。 1.1 AdaBoost系列应用AdaBoost系列主要解决了：两类问题、多类单标签问题、多类多标签问题、大类单标签问题，回归问题。它用全部的训练样本进行学习。注：一般无特别说明，boosting都是指AdaBoost算法The AdaBoost算法图像正样本 =1 负样本=-1Step 1: 训练集Step 2: 初始化权值For t = 1, , T 1. 归一化权值, 2. 对于第j个特征,在给定权值条件下训练弱分类器 hj ，弱分类器的分类错误率为： 3. 更新权值: End最终的强分类器：

3、AdaBoost 人脸检测原始图像特征提取Haar Basis FunctionsHaar Basis FunctionsHaar Basis Functions特征计算 Ada Boost 训练特征选择大量的特征小部分特征训练级联结构AdaBoost 学习算法 用于特征选择AdaBoost 应用于分类学习处理特征集训练集+1 正样本-1 负样本各种各样的特征人脸非人脸最终的强分类器大约有180,000 个矩形特征2424若分类器 1若分类器 2若分类器3最终的强分类器弱分类器训练图示说明X (训练集) ex脸部图像非脸部图像如果 fj(x) X 是脸部图像 False positiveFal

4、se negative训练集弱分类器训练 图示说明特征每幅图像大约有180,000 个特征误差归一化权重 错误正确正确错误更新权值级联 AdaBoostAdaBoost特征集Feature Select & Classifier1FalseAdaBoost 2TFalse AdaBoostnTFalse 非人脸100% Detection Rate50% False Positive离散AdaBoost-AdaBoost.M1AdaBoost.M1 和 AdaBoost.M2 是用来解决多分类单标签问题AdaBoost.M1算法Step 1: 训练集Step 2: 初始化权值For t = 1

5、, , T 1. 归一化权值, 2. 对于第j个特征,在给定权值条件下训练若分类器 hj ，若分类器的分类错误率为： 3. 更新权值: End最终的强分类器： Floatboost 算法向前增加一个弱分类器之后，就需要向后回馈r。r的取值取决于当前分类性能的稳定性。这种弱分类器选择的方法相对于前向搜索来说具有更大的灵活性，因此，增加弱分类器组合的多样性，相比AdaBoost中的单调搜索有更优的解集合。The AdaBoost算法图像正样本 =1 负样本=-1Step 1: 训练集Step 2: 初始化权值For t = 1, , T 1. 每个弱分类器h,在权值下进行训练，得到预测函数 ht

6、. 2. 计算误判率，选取参数at： 3. 更新权值: 4. 最终的预测函数： Step 3: 弱分类器训练2 bagging算法Bagging算法的主要思想：给定训练集 和弱学习算法，对该学习算法进行T次调用，每次调用时只使用训练集S中的某个子集作为当前训练集，每一个训练例在某轮训练集中可以多次或根本不出现。经过T次调用后，可得到T个不同的分类器啊，当对于一个测试实例工进行分类时，分别调用这T个分类器，得到T个分类结果。最后对分类问题把这T个分类结果中出现次数多的类赋予测试实例x。Bagging算法Step 1: 训练Step 2: 初始化权值For t = 1, , T 1. S 为从给定训练集S中，随机抽样（有放回）. 2. 在S 上训练弱学习器，得到第t 轮的预测函数 ht . 3. t = t + 1 .End最终输出： 对未知样本X分类时，每个模型 ht 得到一个分类器，得票最高的未知样本x 的分类Bagging 和 AdaBoost 区别Bagging的训练集是随机的，各训练集是独的，而Boosting训练集的选择不是独立的，每一次选择的训练集都依赖于上一次学习的结果。Bagging的每个预测函数(即弱假设)没有权重，而Boosti