（信号与信息处理专业论文）基于boosting算法和lbp特征的人脸检测.pdf

摘 要 摘要 人脸检测研究是当前模式识别和计算机视觉领域的重要研究热点之一。人脸 检测是自动人脸识别系统的关键环节，人脸检测的准确性和实时性直接影响自动 人脸识别系统的性能，因此人脸检测具有重要的研究价值和应用价值。目前，人 脸检检测已作为一个独立的研究课题发展起来，人脸检测的研究必将对图像处 理、模式识别、计算机视觉、人工智能、机器学习等学科的发展具有重要的推进 作用。准确性和实时性是衡量人脸检测系统的两个重要指标，它们是人脸检测研 究的核心。 针对人脸检测的准确性和实时性这两个关键指标，在分析国内外研究的基础 上，本文提出一种新的人脸检测算法f l o a t f f s 。这种算法是对传统b o o s t i n g 算法 和前向特征选取( f o r w a r df e a t u r es e l e c t i o n , f f s ) 算法并进行改进。传统的b o o s t i n g 算法虽然准确率高，但是在多次的弱学习过程需要用大量的时间。f f s 算法虽然 能快速提取特征，但是准确率偏低。本文的f l o a t f f s 算法只需要一次的弱学习就 把所有的特征提取出来，从而在整个分类器训练程中节省大量的时间；f l o a t f f s 采用回溯查找的方法来进行特征的筛选，把在整体分类性能没贡献的特征从强分 类器组合中删除，以求达到高的检测率。实验结果表明在检测性能上改进后的算 法要比传统b o o s t i n g 算法和f f s 算法有所提高。 同时人脸特征表达是人脸检测中的最重要的环节之一。本文阐述了h a a r 特 征和分析l b p ( 1 0 c a lb i n a r yp a t t e r n s ) 特征的结构。l b p 特征具有多种不同的计算模 式，它采用分块统计l b p 直方图的思想，成功地应用人脸识别中。 关键词：b o o s t i n g 算法、a d a b o o s t 、矩形特征、积分图、l b p 、f l o a t f f s a b s t r a c t a b s t r a c t f a c ed e t e c t i o ni so n eo ft h ei m p o r t a n tr e s e a r c hf o c u s e si nt h ef i e l d so fp a t t e m r e c o g n i t i o na n dc o m p m e rv i s i o n f a c ed e t e c t i o ni sak e yp o i n ti na u t o m a t i c f a c e r e c o g n i t i o ns y s t e m ，w h i c ha f f e c t sal o to nt h ep e r f o r m a n c eo ft h ef a c er e c o g n i t i o n s y s t e m a sar e s u l ti th a si m p o r t a n tv l a u ei nt h et h e o r ya n da p p l i c a t i o n f a c ed e t e c t i o n h a sd e v e l o p e da sa ni n d e p e n d e n tr e s e a r c hs u b j e c t i t sd e v e l o p m e n tw i l lp r o m o t et h e s u b j e c t s o fi m a g e p r o c e s s i n g ，p a t t e mr e c o g n i t i o n ，c o m p m e r v i s i o n , a r t i f i c i a l i n t e l l i g e n c e ，m a c h i n el e a r n i n g ，e t c t h ed e t e c t i o na c c u r a c ya n dt h ee f f i c i e n c ya r et h e k e yp o i n t s i na na p p l i c a t i o ns y s t e m ，w h i c ha r et h em e a s u r ei n d i c a t o r so ff a c e d e t e c t i o n b a s e do na n a l y s i so nt h es t a t eo ft h ea r to fr e s e a r c ho nt w ok e yp o i n t s a f o r e m e n t i o n e d ，t h i st h e s i sp r o p o s e san e wb o o s t i n ga l g o r i t h mf o rf a c ed e t e c t i o n ， w h i c hi m p r o v e sf a c ed e t e c t i o na l g o r i t h mb a s e do nt r a d i t i o n a lb o o s t i n ga n df o r w a r d f e a t u r es e l e c t i o n ( f f s ) t h et r a d i t i o nb o o s t i n ga l g o r i t mi sh i g ha c c u r a c y , b u tt a k e sl o t s o ft ot r a i n i n gc l a s s i f i e r s f f si sf a s tt ot r a i nt h ec l a s s i f i e r sw h i l ei t sa c c u r a c yi sp o o r o u ra l g o r i t h mt a k e so n l yo n c ew e a kl e a r n i n g ，s oi tt a k e sl e s st i m et ol e a r n i n g a n do u r a l g o r i t h mu s e st h eb a c k t r a c ki d e at od e l e t et h e s ef e a t u r e sf r o mt h es t r o n g e rc l a s s i f e r w h i c ha let h o u g h h e l p l e s s i nt h ew h o l ep e r f o r m a n c eo fc l a s s i f i c a t i o n t h e e x p e r i m e n t ss h o wt h a to u ra l g o r i t h mh a sb e t t e rp e r f o r m a n c et h a nt h ea l g o r i t h m so f t r a d i t i o n a lb o o s t i n ga n df f s f a c ee x p r e s s i o ni so n eo ft h em o s ti m p o r t a n tp a r t si nf a c ed e t e c t i o n i n0 1 1 1 t h e s i s w ed e t a i lr e c t a n g l ef e a t u r e sa n dl b p ( 1 0 c a lb i n a r yp a t t e m s ) f e a t u r e s l b pf e a t u r e s h a v em a n yp a t t e r n s ，a n dh a v es u c c e s s f u l l ya p p l i e di nf a c er e c o g n i t i o nb yt h ei d e ao f h i s t o g r a mi ns u b s p a c eo ff a c e k e yw o r d s ：b o o s t i n ga l g o r i t h m ，a d a b o o s t , r e c t a n g l ef e a t u r e ，i n t e g r a li m a g e ，l b p 独创性声明 独创性声明 秉承学校严谨的学风与优良的科学道德，本人声明所呈交的论文是我个人在 导师的指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以 标注和致谢的地方外，论文中不包括其他人已经发表或撰写过的研究成果，不包 含本人或其他用途使用过得成果。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的声明，并表示了谢意。 本学位论文成果是本人在广东工业大学读书期间在导师的指导下取得的，论 文成果归广东工业大学所有。 申请学位论文与资料若有不实之处，本人承担一切相关责任，特此声明。 文作者签字： 刷獬：两寸乡蟛 2 0 0 9 年5 月归 4 9 第一章绪论 1 1 人脸检测背景意义 第一章绪论 人脸检测指对给定的一幅图片进行人脸检测，如果存在人脸则确定人脸的位 置和个数。人脸检测己成为模式识别和计算机视觉领域中的一个倍受关注的研究 课题。 最初的人脸研究主要集中在人脸识别领域，而人脸检测问题来源于人脸识 别。早期的人脸识别都是在已经得到一个正面人脸的前提下进行的，主要针对的 是具有较强约束条件的人脸图像( 如无背景的图像) ，往往假设人脸位置己知或 者容易获得。后来人们要求人脸自动识别系统的实际应用对一般环境图像或视频 具有一定的适应能力，简单人脸检测方法已经无法应用于复杂背景下人脸自动识 别系统，这就迫切需要提高人脸检测系统对环境的适应能力。人脸检测这才开始 作为独立的课题发展起来。 人脸检测的研究涉及到图像处理、模式识别、计算机视觉、人工智能、机器 学习等多f - j q ：科，人们对人脸检测的研究必将对这些学科的发展具有重要的推进 作用。同时，人脸所包含的信息在图像理解中占有很大的比重，准确的定位人脸 对图像理解有极大的意义。从信息论的角度看，人类自身的信息量在信息总量中 占有很高的比重，而且人是信息的最终受体。人脸检测是智能人机接口技术研究 的基本内容，它的研究与实现，对于多功能感知系统的研究具有重要的意义，目 前它在智能监控、虚拟现实、人机交互、人脸跟踪、表情分析等领域的应用表现 出重要的应用价值。 1 2 人脸检测难点 人脸检测是一个复杂的具有挑战性的模式检测问题，这是由于人脸模式的可 变性和复杂性，以及被检测的对象的随意性和对象周围环境的复杂性。其主要的 难点有两方面。一方面是由于人脸内在的变化所引起：( 1 ) 脸部表情和肤色。人 脸是一个非刚性物体，人脸的表情变化会直接影响脸部的特征的变化。不同的外 貌如脸形、肤色等也影响脸部特征的变化。( 2 ) 人脸的遮挡，如眼镜、头发和头 广东工业大学硕士学位论文 部饰物以及其它外部物体等。另一方面是由于外在条件变化所引起：( 1 ) 由于成 像角度的不同造成人脸的多姿态，如俯仰、摇摆和倾斜等。( 2 ) 光照的影响，如 图像中的亮度、对比度的变化和阴影等。( 3 ) 图像的成像条件，如摄像设备的焦 距、成像距离、图像获得途径等。解决这些难题将为其它类似的复杂模式目标自 动检测问题提供重要的启示。 1 3 国内外研究情况 对人脸检测的研究最初可以追溯到2 0 世纪7 0 年代，人脸检测早期的研究主 要致力于模板匹配、子空间方法，变形模板匹配掣h 1 。早期人脸检测方法往往针 对简单无变化背景下的正面人脸检测，所以使这些方法在很大程度上显得很呆 板，而且那时人们更重视人脸识别的研究。直到2 0 世纪9 0 年代，这种情况才有 所改变，并且人脸检测的研究取得了较多的成果，这一阶段的研究更多的是以检 测精度的提高和各种视角的人脸检测为主要内容。经过十多年的发展，使得人脸 检测的精度有了大幅度的提高，检测率可以达到9 0 以上。 目前国外对人脸检测问题研究的很多，比较著名的机构是m i t ，c m u 等。国 内的清华大学、北京工业大学、中国科学院计算技术研究所和中国科学院自动化 研究所等都有从事人脸检测的相关研究。而且，m p e g 7 标准组织已经建立了人 脸识别草案小组，人脸检测算法也是一项征集的内容。随着人脸检测研究的深入， 国际上发表的论文数量也大幅度的增长，如i e e ef g ( i e e ei n t e r n a t i o n a l c o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ) 、i c i p ( i n t e r n a t i o n a l c o n f e r e n c eo ni m a g ep r o c e s s i n g ) 、c v p r ( c o n f e r e n c eo nc o m p u t e rv i s i o na n d p a t t e r nr e c o g n i t i o n ) 等重要国际会议上每年都有大量关于人脸检测的论文，占有 关人脸研究论文的近1 3 之多h 卯。 1 4 人脸检测方法 随着研究人员对人脸检测问题的深入，人们提出很多优秀的人脸检测方法。 总体可以分为两类，一类是基于知识的方法，一类是基于统计理论的方法。 基于知识的方法一般先提取各种基本特征，如几何形状、灰度、纹理等，然 后根据一些知识规则确认图像中是否包含人脸。这些规则可以通过人的先验知识 2 第一章绪论 获得，也可从较多样本中总结出来。一般比较容易提出简单的规则来描述人脸特 征和它们的相互关系。这种基于知识的人脸检测方法主要有：基于先验知识的方 法嘲、基于模板的方法p 1 、基于肤色模型的方法隅1 。 基于统计理论的方法将人脸检测转化为模式识别的二类分类问题，其利用统 计分析与机器学习的方法来寻找出人脸样本和非人脸样本各自的统计特征，继而 构建分类器，通过分类器来判断图像中所有可能区域属于哪类来实现人脸的检 测。目前，基于统计理论的方法的研究越来越受到人们的重视。被广泛应用于人 脸检测的统计方法主要有：基于线性子空间方法p 1 、基于神经网络方法、基于 支持向量机方法”1 1 和基于b o o s t i n g 方法n 2 1 3 1 。 由文献 1 3 1 6 n - i 知人们开始利用多种人脸表达特征及多种分类算法相互正 联合的方法来实现高检测率的人脸检测。多种特征和算法联合的人脸检测方法， 虽然在检测的准确率上有很大的提高，但是在训练时间和检测的时间上比单一的 方法所用的时间更多。人脸检测要走向实际应用，检测速度是关键的问题。因此， 在检测精度提高的同时，检测速度也越来越受到研究者们的重视。 1 5 本文主要工作及内容组织结构 1 5 1 本文的主要工作 从上文可以看出，人脸检测的准确率和检测速度是人脸检测系统的两个关键 指标。针对这两个算法关键指标，本文研究分析b o o s t i n g 算法及f f s 算法在人脸 检测应用中的优缺点，并提出本文的人脸检测算法。本文的f l o a t f f s 算法只需 要一次的弱学习就把所有的特征提取出来，从而在整个分类器训练程中节省大量 的时间；f l o a t f f s 采用回溯查找的方法来进行特征的筛选，来达到高的检测率。 通过分析由实验得出的r o c 曲线及实验数据，来证明本文的f l o a t f f s 的优越性。 本文还分析h a m 特征及l b p 特征，及分析块状l b p 特征与矩形特征在人脸检测 中结合应用的可行性。 1 5 2 本文内容组织结构 论文的内容组织如下： 3 广东工业大学硕士学位论文 第一章介绍人脸检测的研究背景和现状。 第二章阐述b o o s t i n g 算法的原理和级联分类器的机制。在这些理论的基础， 提出本文的f l o a t f f s 算法。 第三章研究h a a r 1 i k e 特征和l b p 特征。研究矩形特征与l b p 特征在人脸检 测中应用的有效性。 第四章介绍人脸检测的人脸样本图像的收集，预处理图像归一化片，以及人 脸检测的后处理。 最后对全文做出总结，并对进一步的工作做出展望。 4 第二章分类算法 2 1b o o s t i n g 算法 第二章分类算法 b o o s t i n g 算法是一种机器学习方法，不同于找到单一的、高准确率的预测规 则，其是基于观测并容易地找出一系列的粗糙的分类规则2 1 。在b o o s t i n g 算法中 称这种寻找粗糙规则的方法为弱学习或基学习算法3 1 。b o o s t i n g 算法每次都通过 填充训练子集来进行训练达到更好的检测。每次的弱学习都会产生一个新的弱检 测规则，并进行多次的弱学习以后，b o o s t i n g 算法一定结合弱规则成为一个检测 规则而且它会比其它单一的弱规则都要准确得多。 这种算法的关健在于分布概率，其思想是放置最多的权重在那里被这些弱规 则错分类最频繁的样本上，迫使在下次的基学习集中注意在这些被认为难分类的 样本上。然后通过投票的方法来联合这些弱规则使得检测更有效。 上个世纪8 0 年代，k e a r n s 和v a r i a n t 7 1 最先指出，在p a c ( p o s s i b l y a p p r o x i m a t e l yc o l l r e a ) 学习模型中，是否存在一种弱学习方法其性能仅仅比随机 猜测的分类稍好，而且能提升增强成一个果断的准确性高的强学习算法。1 9 8 9 年，s c h a p i r e 首次提出可证明的多项式时间b o o s t i n g 算法。一年之后，f r e u d l 4 j 发展一个效率更高的b o o s t i n g 算法，开创这一算法的广阔领域。a c l a b o o s t ( a d a p t i v eb o o s t i n g ) 算法最早由f r e u n d 和s c h a p i r e 町在1 9 9 5 年提出，与以 前的b o o s t i n g 算法的最大区别是：a d a b o o s t 算法不需要预先知道假设的错误率 下限，而是根据反馈不停的自适应调整假设的错误率。 2 1 1a d a b o o s t 算法 v i o l a 和j o n e s 【1 蚓1 于2 0 0 1 年首先把b o o s t i n g 算法运用到人脸检测上，她们通 过综合a d a b o o s t 和c a s c a d e 算法实现实时的人脸检测系统，使得人脸检测从真 正意义上走向实用。把b o o s t i n g 算法运用到人脸检测中的思想影响非常大，后来 相继出现r e a l b o o s t 、f l o a t b o o s t 等b o o s t i n g 算法在人脸检测中的运用。而v i o l a 和j o n e s ”u 的主要贡献不只引进a d a b o o s t 算法还有其它两个方面： 1 提出积分图( i n t e g r a t e di m a g e ) 的概念 广东工业大学硕士学位论文 2 级联结构( c a s c a d e ) 的采用 2 1 1 1a d a b o o s t 算法描述 a d a b o o s t 算法是b o o s t i n g 家族的代表算法，在这里我将对a d a b o o s t 算法做 简单的介绍。假定x 是样本空间及t x ，f _ 1 ，2 ，n 。每个样本誓对应着一个 标签 - 1 ，+ 1 ) ；对于两类问题，这些标签是二值的而且约束在 一1 ，+ 1 ) 。 对于每个样本a d a b o o s t 都分配一个权值，每一次迭代我们对每一个样本五符 一个权重值口( ) 。用a d a b o o s t 的弱学习方法根据权重的分布产生的一个基分 类器忍，对于每一个基分类器红都会选取一个实值a ，它是依据训练出来的分 类器忽的分类误差。然后经过这一次迭代以后，样本的权重将会调整并进入下一 较的弱学习。如果迭代的次数没有达到之前设定的次数丁，那么继续下一次的弱 学习。最后，用这些训练出来的弱分类器联合成一个强分类。a d a b o o s t 算法的 描述如下。 1 初始化样本权重：d l ( f ) = 1 2 力，t = 1 ，r ： ( 1 ) 调用弱分类器学习算法，计算加权分类误差，通过最小化加权分类误 差选取一个弱分类器h ( x ，f ，p ，0 ) ，其中 其分类误差为： 讹胁胪 二：絮p 亿， 铲曲加。军争加刊 ( 2 2 ) ( 2 ) 定义曩= h ( x ，f ，p ，p ) ，这里z ，b ，q 为上式中，的最小化因子。 ( 3 ) 取a ，口 ( 4 ) 更新权重 6 第二章分类算法 其中z f 是归一化因子。 d t + l ( f ) = 盟掣 4 输出最终的强分类器 日( x ) = s g n ( - a ，曩( 石) ) ( 2 3 ) ( 2 4 ) 这里，a ，是第t 轮训练后产生的弱分类器 ) 的性能评价因子，由h t ) 作用于样 本集产生的分类错误的样本权重之和s ，来决定，a ，是s ，的减函数，s ，越小，则a ， 越大，h tg ) 的重要性越大。 需要注意的是，当分类错误s ，1 2 时，算法会删除本轮生成的弱分类器， 并且算法中止。因为此时，样本权重更新过程中，“困难”样本的权重变小，“容 易”样本权重增加，权重更新机制失效。当s ，= 0 时，即训练集样本都分类正确， 此时所有样本权重为零，样本权重不再有意义。 2 1 1 2 训练错误分析 s c h p i r e ，s i n g e r 和f r e u n d n 2 1 首先从理论上推导最终分类器的训练误差。定义 厂( x ) = ，a ，啊( x ) ，则在厅 ) = s g l l ( ( x ) ) ，进而推导出训练误差的边界为 s = 扣盹) 圳r ；e x p ( - 朋删= n ，z , ( 2 5 ) 从2 5 式我们可以看出，通过选取每一轮的口，和曩来最小化z f ，使得训练误差迅 速减小。在二值的情况下，这种想法直接导出口，的选取， 铲三h 降 仁6 ， 并且给出训练误差的一个上界 7 广东工业大学硕士学位论文 s y 1 2 4 e , ( 1 - s , ) = 甲厢e x p ( 一2 e y , 2 ) ， ( 2 7 ) 其中q ：三一弘 从2 7 式可以看出，训练误差随着训练轮数的增大而呈指数下降。如果每个 弱分类器比随机猜测稍微好一些的话，n 将偏离0 ，从而训练误差呈指数形式快 速下降。 下面我们给出上述论断的详细证明。 i t t _ 明：当日( 薯) 只时，y , f ( x j ) 0 ，则e x p ( - y , f ( x , ) ) 1 从而有 s = 扣地) 只i i 丢军e x p ( - 朋删。 ( 2 8 ) 又由更新规则w 扎，：兰! 坚孑丝丛业及，：三，我们很容易得到 么甩 1e x p ( 一只厂( t ) ) = = 一一 刀 兀互 f 结合2 8 式和2 9 式，并注意到w r “，= 1 ，我们可得 ， ( 2 9 ) s = 扣：h ( 而) 只1 1 l x e x p ( - m 厂( 删= 兀孑。 ( 2 1 0 ) 在二值情况下，通过最小化z f 来求口，使得训练误差最小。 z ，= 渺e - a ：黧臻 = w ，p 吨+ w ，p q ( 2 11 ) = p 1 w ，托q w r ， 为使z ，最小，取使上式的导数为零的点，就可得到a ，= 互1h 1 l l - s ，e , 1 ，此时 z ：= p q ( 1 - - e t ) + p q = 2 暑而= 厢e x p ( 一2 y ? ) ，( 2 1 2 ) 型 ，一眼 掣 第二章分类算法 即得到 占= 孕z ，= 乎2 丽= r j 乒研e x p ( 一2 z l 2 ) 。 ( 2 1 3 ) 2 1 2f l o a t b o o s t 算法 f l o a t b o o s t 口2 2 3 1 算法通过把浮动搜索并入a d a b o o s t 算法中，连接普通b o o s t i n g 算法的学习最大极限目标与应用最小错误率的目标之间的桥梁。这种把浮动搜索 的回溯机制口卅并入b o o s t i n g 算法学习的方法，使得其能在一系列的分类器中删除 一些低效的分类器。依据错误率来进行回溯删除，以至于保证分类的正确率。这 样使得由更少的分类器来组成一个更好的强分类器。 回溯查找方法的思想最初出自于文献 2 4 】中的浮动搜索，这种算法的目的是 在于处理非单调性的连续特征选择的问题。这种通过一步一步地加入或减少一个 特征来提高整个分类性能，使得非线性变成线性。 一般的b o o s t i n g 算法，每次学习以后得到分类器，然后调整权重进入下一次 的弱学习。f l o a t b o o s t 算法则在得到分类器，它并没有马上调整权重进入下一轮， 而是把当前所挑选到的分类器进行筛选，与前一轮同等分类器数量的性能比较。 如果性能比上一轮的要好，那么把这些分类器替代上一轮的分类器，并把余下那 个分类器删除出左，认为其在强分类器组合上的作用小，并调整轮数。这个过程 一直进行，直到性能上比不上前一轮的。然后再进行权重的调整，进行下一轮的 弱学习。由a d a b o o s t 算法，与f l o a t b o o s t 算法，对比可知f l o a t b o o s t 算法多浮动 搜索的思想，其追求用最小的分类器组合来达到是最好的分类效果。但是其的训 练所用的时间不一定比a d a b o o s t 少，因为其进行的弱学习次数可能比较多，虽 然其最后保存的弱分类较少。 2 2 级联 2 2 1 联检测器结构 v i o l a 和j o n e s ”u 于2 0 0 1 年提出级联a d a b o o s t 人脸检测方法实现快速的人 脸检测。在级联的思想中，在前面的级中能快速地把背景图像和类人脸的图像区 9 广东工业大学硕士学位论文 别开来，把类人脸部分图与人脸图推向后面的级。越往后，能进入候选的人脸图 就会越少，能最后通过所有的级的图就是我们所要检测的人脸图。 图2 - 1 级联分类器 f i g 2 - 1t h ec a s c a d ec l a s s i f i e r 级联分类器的构成方式图2 1 所示，从整体上看，这样的一个多层结构事 实上就是一个退化的决策树。这是一个触发的二叉树，每一级就像有一个阈门， 通过的就会进入一棵树，不能通过的就会给抛弃以后都不作考虑。这样如果检测 窗口通过所有层的分类器，就确认其为我们所要检测的人脸窗口；如果当前被检 测的子窗口在某一层没有通过则被判断为非人脸窗口，然后抛弃该子窗口，重新 开始检测下一个候选子窗口。 2 2 2 级联分类器训练 在这个级联结构中，每一层都是这个强分类器，如v i o l a 和j o n e s 有人脸检 测器中，这个强分类器就是a d a b o o s t 算法训练得到的，而因为每一层的分类效 果是独立的，并且是在级联中串联起来的，所以各个层的检测率的相乘组成整个 级联结构的检测率。同时，我们知道误检率与检测率是相互的，在考虑到整体的 检测率以及级联中的分类器的个数，设置每一层的合适误检率与检测率对整个检 测器是非常重要的。通常在级联中最初的几层强分类器较为简单，通常一层仅由 - n 两个弱分类器所组成，即只涉及一两个矩形特征。但这些简单的强分类器却 有非常高的检测率，因为这时的人脸与非人脸的差异很大，往往几个特征就能把 它们区分开来，而那些误检的非人脸图、与人脸图相近的将进入下一层的训练样 本集中并进下一级的训练。由此我们可以看到在级联的训练中，分类器一层比一 1 0 第二章分类算法 层复杂，虽然前几层的强分类器远不能满足人脸检测的要求，但至少它可以在早 期利用其自身简单的特点，快速的筛选掉那些显然不是人脸的子窗口，从而大大 减少需要后续处理的子窗口数量，以便后面的分类器训练。 级联分类训练器的训练算法如下： 1 设定每一层分类器的误检率f ，检测率d ，级联的整个误检率b 2 初始化f o = 1 ，s t a g e = 1 3 w h i l ee 弓 ( 1 ) 训练每一层的分类器，并调整强分类器的阈值p ，使得误检率f d 。符合条件就跳到下一步。 ( 2 ) f o = f ox f ，s t a g e 2 s t a g e + 1 ； ( 3 ) 补充训练子集与初始层的训练子集大小一样。 4 级联分类器训练结束。 结合下图更好地说明训练的过程： ( 分类出来的负样本 、， 图2 2 级联训练分类 f i g 2 - 3t r a i n i n go fc a s c a d ec l a s s i f i e r 级联分类器将若干个强分类器分级串联在一起，强分类器一级比一级复杂， 一级比一级严格。检测中非人脸图像会在前端被排除掉，只有人脸图像才能通过 各级强分类器的检测。此外，由于非人脸图像会被级联分类器的前几级迅速排除 掉，从而加快a d a b o o s t 算法的检测速度。 广东工业大学硕士学位论文 2 3 本文改进算法 2 3 1f f s 算法 前向特征选择口5 2 司算法是用来训练瀑布式检测器中每一个节点所用的训练方 法，就相当于a d a b o o s t t j l 练中强分类器的训练。通过此种方法来进行训练可以有 效的提高训练的速度，并且训练所得到的检测器的正确检测率并没有降低、错误 接受率也并没有提高，相反经过试验数据显示，正确检测率有一定的提高。其缩 短训练时间的主要原因是在a d a b o o s t i j l 练中完成一次最优弱分类器提取后，样本 的权重更新，相当于训练样本概率分布完全变化，因此再次训练弱分类器时，则 所有的弱分类器必须完全重新训练。而用f f s 算法进行训练，每次对瀑布式检测 器中每个节点的训练时，只是训练一次所有的弱分类器。这样就大大地提高速度、 缩短训练时间。 训练所有的弱分类器 选取最佳的弱分类， 加入强分器组合中 调整强分类阈值以 达到分类预设目标 a 。a d a b o o s t 流程图 训练所有的弱分类器 选取最佳的弱分类， 加入强分器组合中 调整强分类阈值以 达到分类预设目标 b ，f f s 流程图 图2 3a d a b o o s t 与f f s 的流程图对比 f i g 2 - 3c o m p a r i s o nt h ef o w c h a r to f a d a b o o s ta n df f s 原始的a d a b o o s t 算法，在每选一个最佳的弱分类器的时候，都要调整权重， 然后进行一次弱学习。如果我们要得到一个由丁个分类器组成的强分类器组合， 那么就意味着，至少要进行调整权重丁次及实行弱学习r 次。而在f f s 的操作 中，我们只实行过一次的弱学习。我们知道弱学习过程是非常花费时间的，对于 a d a b o o s t 来说，它的训练时间总共至少为o ( n m t ) ，而f f s ，即只为d 例m + o ( n m ) 。其中为总的样本数量，m 为总的特征数。 1 2 第二章分类算法 2 3 2f l o a t f f s 算法 前向特征选取法，在分类器整合上速度是非常快的，文献4 1 中指出f f s 要比 a d a b o o s t 要快得多。f f s 算法的弱学习过程并没有调整权重，它在开始时就把 所有的特征分类器都选取出来；同时f f s 在整合分类器时，只是利用简单的反 馈信息来进行分类器组合选择，这种单一的组合方式就会使得其选取出来的分类 器组合存在着缺陷5 1 。本文提出的f l o a t f f s 算法，就是针对f f s 中的缺陷而进 行改进。 2 3 2 1 算法的训练步骤 1 给定一个训练样本集 t ，y i ) 墨l ，其中代表的是训练样本个数，代表训练 样本，而相对应的y j y 一1 ，1 ) ，蕾代表的是每个样本的标签，当样本是人脸图 像时只为1 ，而当非人脸图像时只为一1 。 2 训练得到所有特征 绣) 竺。，其中m 表示样本的特征总数。 3 得到一个特征集合，并确保他们的错误接受率是0 5 s 就表示为被选定的特征 集。 4 加ri = lt om d 0 5 为矩形特征曩挑选相应恰当的阈值，从而使曩在所有的训练集中具有最小的 误差。 6 e n d f o r ，此过程( 4 6 ) 就是弱分类器的训练。 7 显示一张巧，其中巧= 囊( _ ) ，l i m ，1 i n 。 8 s 卜0 ，v 卜o 。，其中0 。n 是指内部值都为。的行向量。s 户设为无穷大， ( f o rt = l ，丁) 9 f o ，t = lt ot d o ，其中t 是每个节点上所要训练的弱分类器个数，这是训练前已 经确定的。 1 q 。 加ri = 1t omd 0 1 1 ( 1 ) s 。卜sub , ，v 卜v + ，其中形代表的意思是y 中的第f 行向量。 广东工业大学硕士学位论文 1 3 1 4 1 5 1 6 1 7 1 8 ( 2 ) 这样与s 所相联系的分类器就是日( x ) = s g n ( 膦乃( x ) 一9 ) ，并且 可以表示成圩( x ) = s g n ( v i _ p ) 。 ( 3 ) 找到恰当的a ，使得日对所有样本集具有最小的误差率。 ( 4 ) s ，就是挑选出来的日所对应的日的误差率。 e n d f o ， 从所有的误差率中挑选出最小的那个，k 卜a r g m i n 。s ，鲥q 。 然后将所对应的弱分类器加入到s 集合中，并将第k 行向量加入到y 向量集中，s 卜s u 魂，v 卜v + v k 。 e 卜s ，计算出联合分类器q 的误差率s ( q ) ，如果s 产 2d o 2 0 ( 1 ) h = a r g r a i n 脚，s ( e - h ) 2 1 ( 2 ) 如果g ( q - h 3 s 户，然后，等= ( 目一办) ，t = t - 1 s = s ， h ) ，h = h ， 办。 2 2 e n d f o ， 2 3 这样就得到相应节点的分类器日( x ) = s g n ( 描乃( x ) 一p ) 。 2 4 然后就是调整阈值p ，使得日对有效样本集具有5 0 的错误接受率。 2 3 2 2 算法分析 f l o a t f f s 算法在进行分类器训练时，只通过一次的弱学习过程就把所有的特 征分类器选取出来并储存起来，在接下来工作只是进行分类组合工作。因为没有 重复的弱学习过程，所以f o a t f f s 比a d a b o o s t 算法要快速，在2 3 1 节也进行 了分析。在分类器的选取组合上，f l o a t f f s 算法用了回溯查找删除的思想。该思 想是从分类性能的整体上考虑的，其认为在已挑选的分类器组合中可能存在无用 功的分类器。如果有这种分类器存在就把它删除，以提分类器组合的整体分类性 能。 在的分类器整合过程中，以错误率作为标准来衡量选取分类组合投票结果表 1 4 第二章分类算法 明的，同时阈值日必定是在 1 ，2 ，f ) 中的个数，以及与上一个阈值密切相关的， k 就是表示前面已选的分类器与第几个分类器的结果最好，把这些己选取的分类 器存在一个独立的矩阵s 中。然而条件剔除基本上就是分类器整合的逆过程，但 是这个过程只进行t 一1 次因为第t 个分类器，被剔除是没有意义的。在保留这个 的同时进行浮动搜索剔除一个分类器使得余下的，一1 分类器的整合投票的与上 次的卜1 分类器投票组合来做比较，若其错误率最小则保留这次的分类器整合来 代替之前t 一1 次的整合，并修改t ，把剔除的分类器从s 中删除。 2 4 实验对比分析 2 4 1 单个分类器对比 本文用m i t 图像库中的训练集做训练实验。训练集中共有人脸样本图像 2 4 2 9 个，非人脸样本图像4 5 4 8 个。样本图像的尺寸大小为2 0 x 2 0 ，每幅图像有 5 3 1 3 0 个特征。在样本训练中，一共做选取2 0 0 个特征分类器。 图2 - 4 分类曲线对比图 f i g 2 4c l a s s i f i c a t i o nc u r v e s 从图2 4 中我们看出在整体上，f f s 实验效果是最差的。而图2 4 中显示， 在前2 0 个分类器的组合中，本文的算法是最好的，但是在2 0 个分类器以后它就 要略差于a d a b o o s t 算法。随着后面的分类器的组合越多，f l o a t f f s 和a d a b o o s t 这两种算法的分类效果就越接近。 表2 - 1 同等分类器下错误分类对比 t a b l e1c o m p a r i s o no ff f sa n df l o a t f f s 拌w c1 05 01 0 0 1 5 02 0 0 f f s3 0 05 22 61 71 0 f l o a t f f s2 4 0 18 432 表2 1 中的w c ( w e a kc l a s s i f i e r s ) 表示弱分器，f c ( f a s l ec l a s s i f i e r e d ) 表示错误 分类数。从表2 1 中清楚地看到，当用1 0 个分器整合时，在这一共6 7 9 9 幅样本 图像的训练集中就有3 0 0 幅图像被f f s 算法错误分类，而被f l o a t f f s 错误分类 的只有2 5 0 幅图像；同时表2 1 反映出，在f f s 算法中却要用1 5 0 个分类器组合 达到的分类效果，而f l o a t f f s 算法只需用5 0 个分类器组合就可以达到。在5 0 个分类器组合下f l o a t f f s 基本上就能将6 7 9 9 幅图像完全分类。 2 4 2 级联检测器 在这一部分，通过对比a d a b o o s t ，f f s 和f l o a t f f s 的这三个级联分类器的 实验，来分析这三个分类器在6 个节点上分类性能。系统是用p e n t i u m ( r ) c p uo f 3 0g h z 的电脑。 表2 - 2 对比a d a b o o s t , f f sa n df l o a t f f s 等的级联分类器 t a b l e2 - 2c o m p a r i s o no fc a s c a d e so f a d a b o o s t , f f sa n df l o a t f f sc 1 雒s i f i e r s a d a b o o s t s t a g e 123456 w c 7153 03 05 05 0 d r0 9 9 2 2 0 9 8 2 30 9 7 2 50 9 6 2 70 9 5 3 10 9 4 3 6 f ao 2 1 0 6 0 1 1 0 40 0 9 8 80 1 7 4 80 0 7 6 0o 1 6 6 2 o v e r a l lf a0 2 1 0 6 0 0 2 3 80 0 0 2 40 0 0 0 43 o e 45 o e 5 f f s d r0 9 9 6 40 9 9 2 40 9 8 6 00 9 7 9 60 9 7 1 1 0 9 6 2 4 f a0 3 5 9 60 2 6 3 40 2 5 7 60 1 7 8 20 2 7 7 0 0 2 7 7 0 o v e r a l lf a0 3 5 9 60 0 9 4 70 0 2 4 40 0 0 4 3 0 0 0 1 23 3 e 4 f l o a t f f s d r0 9 9 6 40 9 9 3 2 0 9 8 6 70 9 8 0 3 0 9 7 3 90 9 6 4 2 f a0 3 5 9 60 2 5 4 4o 1 4 8 00 2 8 6 00 2 6 1 2 o 1 7 0 0 o v e r a l lf a0 3 5 9 60 0 9 1 4 50 0 1 3 50 0 0 3 90 0 0 1 0 1 7 e 4 1 6 第二章分类算法 级联训练初始的训练集含有5 0 0 0 幅人脸图像和5 0 0 0 幅非人脸图像，每张图 像的尺寸为2 0 x 2 0 及每幅图中有5 3 1 3 0 个矩形特征。同时有4 7 1 2 图片( 不含有 人脸图像) 能提供约2 0 亿幅非人脸图像通道来补充每一个节点非人脸训练集。 表2 2 比较三个级联分类器在每一个节点上的检测率( d e t e c t i o nr a t e ，d r ) 、错 误警报( f a l s ea l a r m ，f a ) 、以及整个错误率( o v e r a l lf a l s ea l a r m ，o v e r a l lf a ) 。每个节 点中，弱分类器总数是给定的，检测率设定最低为9 9