计算机模式识别 文献阅读课件

课程：计算机模式识别课题：集成学习与Adaboost算法

学院：

学号：

学生姓名：

上课老师：学期：春2015集成学习理论Adaboost算法原理论文分析[1].TheHumanFaceDetectionAlgorithmsBasedonAdaBoost[2].FaceDetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm

目录：1.0集成学习术语

强分类器:如果一个学习算法通过一组样本的学习后，能够达到理想的识别率。弱分类器:如果一个学习算法的识别率仅好于随机的猜测。§1集成学习理论集成学习，就是一种把输入送入多个学习器，再通过某种办法把学习的结果集成起来的办法。1.2集成学习概念

ClassifierensembleΣαihi(x)hn(x)h2(x)h1(x)InputvectorClassifier1Classifier2……ClassifierNCombineClassifiersOutputx弱分类器1.3集成学习构造

我们一般选定加权平均的方法来构造集成学习的最终学习器。但是里面的每一个Classifieri怎样做呢？有一些研究，针对每个学习器都不同构的情况。比如识别一个人，一个学习器考虑脸，另一个考虑步态，另一个考虑指纹，这种研究通常称为InformationFusion。另一种方法是用同样的学习算法来构造不同的弱学习器的方法。1.3集成学习构造

改变训练集：根据训练集的不同，会给出不同的学习器。这时就可以通过改变训练集来构造不同的学习器。然后再把它们集成起来。【办法】随机采样：在原来的训练集上随机采样，可以得到新的训练集。【手段】加权采样：通过给训练数据赋以不同的权，实际上使得每个学习器关注训练集中的某一部分，这也符合我们最初民主投票的想法。期望结果个体1(精度33.3%)个体2(精度33.3%)个体3(精度33.3%)集成(精度33.3%)投票个体必须有差异期望结果个体1(精度33.3%)个体2(精度33.3%)个体3(精度33.3%)集成(精度0%)投票个体精度不能太低1.3集成学习构造

【集成学习对个体有要求么？】1.3集成学习构造

【个体越多越好吗？】既然多个个体的集成比单个个体更好，那么是不是个体越多越好?更多的个体意味着：

（1）在预测时需要更大的计算开销，因为要计算更多的个体预。（2）更大的存储开销，因为有更多的个体需要保存个体的增加将使得个体间的差异越来越难以获得1.3集成学习构造

【总结】集成学习实际上代表了一种与传统不同的思维理念。传统的机器学习一般都自认为是单模型的，对于模型的分析总是在整体上完成，如：BP和SVM等。但是，所有这些模型其实都可以看作是一种加权平均的多模型。所以，当然应该考虑研究一般的多模型。在算法上，集成学习的典型代表AdaBoost算法，已经成为与SVM并立的方法。而且，集成学习比SVM更为一般，可能可以有更广阔的前景。2.2AdaBoost算法主要思想针对同一个训练集训练不同的分类器（弱分类器），然后将这些弱分类器集合起来构成一个更强的最终分类器（强分类器）。初始化的时候对每一个训练样本都赋予相同的权重，然后用该学习算法对训练集训练T轮，每次训练后，对训练失败的训练样本赋予较大的权重，在训练过程中会生成的一个预测函数hj，其中hj也有一定的权重，预测效果好的预测函数权重大。最终预测函数H用加权多数投票的方法产生。2.3AdaBoost算法描述

输入：一组训练集：，其中为样本描述，为样本标识，；其中0，1分别表示正例子和反例。在人脸检测中，可以定义0为非人脸，1为人脸。初始化：初始样本权值设为。对，循环执行下面的步骤：

（1）归一化权重：

（2）对每个特征f，训练一个弱分类器；计算所有特征的弱分类器的加权错误率

（3）选取最佳弱分类器，按最小错误率。

（4）按照这个最佳弱分类器，调整权重：，其中表示被正确分类，表示被错误分类。2.3AdaBoost算法描述2.3AdaBoost算法描述例如在下图中，需要一些线段把红色的球和深蓝色的球分开，然如仅果仅用一条线的话，是分不开的。调整权重调整权重调整权重弱分类器一弱分类器二弱分类器三最终强分类器2.3AdaBoost算法描述3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost§3论文分析讲解作为人脸信息处理中的一项关键技术，人脸检测的应用背景已经远远超过了人脸人脸识别的范畴，在身份验证、基于内容的图像检索、数字视频处理、视觉监控等方面有着重要的应用价值。近年来出现大量的人脸检测算法，其中Viola和Jone2001年提出的Adaboost算法是第一个实时的人脸检测算法。【背景】Adaboost人脸检测算法是一种基于积分图、级联检测器和Adaboost算法的方法。通过将大量分类能力一般的弱分类器通过一定的方法叠加起来，构成一个分类能力强的强分类器；再将若干个强分类器串联成为分级分类器来完成人脸的搜索检测。【算法思想】3.1.1Haar-like特征Haar-like特征：是用一种类似Haar小波的方法来形成人脸特征的。典型的矩阵特征由2到4个矩形组成，分别对应于边界、细线/棒或者对角线特征，见下图。对应的矩形特征的特征值定义为白色矩形内的像素和减去黑色矩形内的像素和。在基于Adaboost的人脸检测系统中，每个弱分类器都是对图像一个特征值的判断，常用的特征是Haar-like特征。3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost积分图是一种快速计算矩形特征（Haar-like）的方法。在一张积分图上，点i(x,y)的积分值ii(x,y)是原图像上该点的上方和左方所有点的亮度值的和。即：其中ii(x,y)为积分图，i(x,y)为原始图像，如下图所示。3.1.2积分图3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost当采用下面两式，只需对原图像扫描一次即可计算出积分图：

其中，，是对这一行及其以前行的像素值求和，并且有：

3.1.2积分图3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost

有了积分图，矩形特征值就可以通过很少的计算量得到。任意一个矩形内的像素和可以由积分图上对应的四点得到。由此可见，矩形特征的特征值的计算，只与此特征的端点的积分图有关，而与图像的坐标值无关。所以积分图的引入，大大提高了检测速度。将强分类器串联在一起形成级联检测器，每层的强分类器经过阈值调整，使得每一层都能让几乎全部的人脸样本通过，而拒绝很大部分非人脸样本。3.1.4级联检测器进行人脸检测

3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost由于前面的层使用的矩形特征数据很少，计算非常快，越往后匹配的图片越少。尽管随着级数的增多矩形特征数量在增加，但计算量却在减少，检测速度在加快，具有实时性。3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost在确定了特征形式后，Harr-like特征的数量就取决于训练样本图像矩阵的大小。当人脸样本图像和非人脸样本图像的矩阵大小为24×24时(一般人脸检测的训练样本为24×24大小)，原始Harr-like特征库的四种特征的总数量就为162336个，见下表。【实验过程】Adaboost算法通过从大量的haar特征中挑选出最优的特征，并将其转换成对应的弱分类器进行分类使用，从而达到对目标进行分类的目的。3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost将haar特征这种反映图像中灰度分布特点的特性引入人脸检测问题当中，问题就转换成如何找到较好的haar特征对人脸图像灰度分布的特点进行描述。下图中的3个特征就能很好的描述图像中人脸的眼部的灰度的分布特点。【实验过程】3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm为了解决单一AdaBoost人脸检测算法没有考虑人脸皮肤颜色和文理特点的缺点，本文提出一种基于皮肤颜色分割技术和AdaBoost的人脸检测算法。【背景】【算法原理】首先，采用皮肤颜色分割技术检测人的皮肤，以获取人脸待选区域，然后采用基于AdaBoost算法的级联检测器（上篇文献）检测这些待选区域，最终获取更加精确人脸检测结果。【算法创新】采用扩展Haar-like特征作为人脸特征。

采用皮肤颜色分割技术选择人脸待选区，减少了级联检测器的数据量，速度更快，精度更高。本文将扩展的Haar-like特征（下图所示）作为人脸特质，每个特征由2~3个矩形组成，分别检测边界、细线、中心特征等。3.2.1扩展Haar-like特征3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm3.2.2皮肤颜色分割技术3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm相对于几何特征，皮肤颜色是彩色图像非常有效的特性，它不会随图像的大小和形状改变而改变。因此，皮肤颜色分割方法具有相对稳定和计算速率高的优点。调查显示：皮肤颜色的不同主要是由亮度决定，不受色度影响。通常颜色空间包括RGB、规范RGB、HVS和YCbCr等。YCbCr能够将亮度和色度信息进行分离，再单独处理，故本文采用YCbCr空间作为颜色分布匹配空间。在YCbCr模型中，Y表示颜色的亮度信息；Cb表示色度的蓝色；Cr表示色度的红色。其和RGB的转换关系如下：其中：皮肤的Cb和Cr都在一定的范围：3.2.2皮肤颜色分割技术3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm3.2.2皮肤颜色分割技术3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm扫描图像的每一个像素，如果像素的Cr和Cb值在上述范围内，则表示标定为皮肤；否则将其像素设置为黑色。然后我们采用中值滤波来去除噪声，最后我们将获得人脸待选区域（用于后续AdaBoost人脸识别）3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm【实验结果】如右图所示，为图像经过皮肤颜色分割算法检测后的结果，其能将人脸、手等皮肤区域检测出来。3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm【实验结果】如右图所示，为图像经过皮肤颜色分割算法检测后，再经过AdaBoost算法后的检测结果，其能很好地将人脸从人脸待选区域中提取出来。3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm【总结】本文提出基于皮肤颜色分割技术和AdaBoost算法的人脸检测技术，该算法具有具有较高的检测速率和鲁棒性。3.3总结集成学习：把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。“三个臭皮匠，顶个诸葛亮”。AdaBoost算法：初始化的时候对每一个训练样本都赋予相同的权重，然后用该学习算法对训练集训练T轮，每次训练后，对训练失败的训练样本赋予较大的权重，在训练过程中会生成的一个预测函数hj，其中hj也有一定的权重，预测效果好的预测函数权重大。基于AdaBoost算法的人脸检测：【1】人脸特征选择---Haar-like特征【2】人脸特征计算---积分图【3】分类函数学习【4】级联检测器进行人脸检测3.3总结基于皮肤颜色分割技术和AdaBoost算法的人脸检测：【1】采用扩展Haar-like特征作为人脸特征。

【2】采用皮肤颜色分割技术选择人脸待选区，减少了级联检测器的数据量，速度更快，精度更高。[1]郭磊,王秋光.Adaboost人脸检测算法研究OpenCV实现[J].哈尔滨理工大学学报,2009.10,14(5):123-126.[2]RobertE.Schapire.ABriefIntroductiontoBoosting[C].ProceedingsoftheSixteenthInternationalJointConferenceonArtificialIntelligence,1999:1401-1406.

[3]LiYinyan.TheHumanFaceDetectionAlgorithmsBasedonAdaBoost[C].Proceedingsof2007InternationalSymposiumonComputerScienceandTechnology,2007:962-965[4]LiKaiandGaoHongtao.SelectiveClassifierEnsembleLearningAlgorithmbasedonSubgraphStrategy[J].ComputerEngineeringandApplications,2011,47(34):78-80.[5]ShiChunleiandJinLongxu.FaceDetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm[C].Proceedingsof20113rdIEEEInternationalConferenceonInformationManagementandEngineering,2011:213-216[6]WangJiangboandLiShaowen.StudiesonFaceDetectionBasedonImprovedAdaBoostAlgorithm[C].Proceedingsof2011InternationalConferenceonIntelligentComputingandIntegratedSystems,2011:235-238[7]ZhangJiangfengandLiJun.TheResearchofFaceDetectionBasedonDoubleSkinModelandAdaboostAlgorithm[C].Proceedingsof2011InternationalConferenceonIntelligentComputingandIntegratedSystems,2011:204-207[8]FuZhongliangandZhaoXianghui.EnsembleLearningAlgorithms:GeneralizationofAdaBoost[J].JournalofSiChuangUniversity(EngineeringScienceEdition),vol.42,no.6,November2010.[9]FuZhongliangandZhaoXianghui.EnsembleLearningAlgorithms:GeneralizationofAdaBoost[J].JournalofSiChuangUniversity(EngineeringScienceEdition),vol.42,no.6,November2010.参考文献[10]LanRushiandJiangYong.AutomatedflarepredictionusingtheAdaBoostalgorithm[J].ResearchinAstronandAstrophysics,vol.12,no.9,June2012.[11]XuChengshenandDiaoLili.TheTypicalAlgorithmofAdaBoostSeriesinBoostingFamily[J].Computer

Science,vol.30,no