（应用数学专业论文）基于adaboost的人脸检测改进算法.pdf

基于a d a b o o s t 的人脸检测改进算法 专业：应用数学 姓名：刘畅 指导老师：赖剑煌 摘要 作为人脸识别系统的第一个环节，人脸检测是为了从复杂背景中有效地定位并提取 出人脸区域，由于其在安全访问控制、视觉监测、基于内容的检索和新一代智能人机界 面等众多领域具有重要的应用价值，近年来人脸检测开始被作为一个独立的课题受到研 究者们的普遍重视。2 1 世纪初v i o l a 基于a d a b o o s t 算法的人脸检测器的发表，从实质 上提高了人脸检测的效率和精度，它是在提出的一系列h a a r l i k e 特征的基础上，通过 a d a b o o s t 算法学习得到一系列弱分类器，再组合成一个强分类器，然后再级联一系列这 样的强分类器组成人脸检测器。但在实际应用中，虽然由单一h a a r l i k e 特征组成的弱 分类器具有很大的检测速度优势，但是难以保证较理想的检测精度，并且当检测的图片 分辨率较大、人脸数目较多、背景较复杂时，由于检测子窗口搜索范围和搜索步长的限 制，检测速度和精度往往会受到一定的影响。 本文的创新点在于以下四个方面： ( 1 ) 鉴于目前还没有针对于a d a b o o s t 算法在人脸检测中的应用综述，本文对近年 来比较成熟的a d a b o o s t 人脸检测算法做了较为详细的综述并比较。 ( 2 ) 在a d a b o o s t 算法的前期引入肤色分割步骤，并利用得到的肤色区域自适应地 调整检测窗口的位置和移动策略，将大部分非人脸样本在早期排除，让a d a b o o s t 算法 集中于判别有可能是人脸的区域，并在后期结合肤色区域来做最终判决，解决了原算法 所产生的重复检测问题。 ( 3 ) 在a d a b o o s t 算法的后期引入了具有线形相位的双正交小波，避免了由于单一 h a a r - l i k e 特征过于简单所造成信息损失问题。 ( 4 ) 对原a d a b o o s t 算法中强分类器的固定阈值进行改进，根据强分类器在训练集 上的性能而自适应地设定其阈值，在保证检测系统性能的同时，极大地减小了所需要级 联的强分类器的数量。 本文共采用了来自i n t e r n e t 和现实生活中的4 0 0 张彩色人脸图片，背景各异，人 脸姿态方面存在一定的平面内旋转和平面外旋转，另外有一定的光照影响。试验结果表 明，本文改进的a d a b o o s t 人脸检测算法能达到9 0 以上的检测率，而且对各种图片的 自适应性得到了提高。 关键词：人脸检测，肤色分割，a d a b o o s t ，小波变换 i l f a c ed e t e c t i o nb a s e do ni m p r o v e da d a b o o s t a l g o r i t h m m a j o r ：a p p l i e dm a t h e m a t i c s n a m e ：l i uc h a n g s u p e r v i s o r ：l a ij i a n - h u a n g a b s t r a c t f a c ed e t e c t i o ni san e c e s s a r yf i r s t s t e pi nf a c er e c o g n i t i o ns y s t e m s ，w i t ht h ep u r p o s eo f l o c a l i z i n ga n de x t r a c t i n gt h ef a c er e g i o n sf r o mt h ec o m p l e xb a c k g r o u n d b e c a u s e o fi t sg r e a t a p p l i c a t i o nv a l u ei ns u r v e i l l a n c es y s t e m s ，c o n t e n t b a s e di m a g ed e t e c t i o ns y s t e m s ，i n t e l l i g e n t h u m a n c o m p u t e ri n t e r f a c e sa n ds oo n ，i th a sb e e na p p r o v e dt ob ea ni n d e p e n d e n ts u b j e c ta n d r e c e i v e dw i d ea t t e n t i o nf r o mag r e a tm a n yo fr e s e a r c h e r si nt h e s ey e a r s i n2 0 0 1 ，v i o l aa n d j o n e si n t r o d u c e daf r a m e w o r kt oe l e g a n t l yc o m b i n ea d a b o o s tw i t hac a s c a d es c h e m et o d e t e c tf a c e si nr e a lt i m e b u tt h e r ea l es o m ep r o b l e m sw h e nw eu s et h ed e t e c t o rg e n e r a t e db y a d a b o o s t ，b e c a u s et h ec o m p u t a t i o nc o m p l e x i t yw i l lb eg r e a t l yi n f l u e n c e db yt h ec h o i c eo f s e a r c h i n ga r e a sa n dm o v i n gs t e p so ft h er e c t a n g l ew i n d o w , a n da l s ob y t h er e s o l u t i o no ft h e i m a g e t h i sp a p e rm a i n l ya i m sa ti m p r o v i n gt h ef l e x i b i l i t yo fa d a b o o s ta l g o r i t h mi nf a c e d e t e c t i o n ，a n dm a k et h i sf a c ed e t e c t o rw o r km o r ee f f i c i e n t l ya n da c c u r a t e l y t h e r ea r ef o u r m a i no r i g i n a li d e a si nt h i sp a p e r ： ( 1 ) ad e t a i l e ds u r v e yo na d a b o o s tf a c ed e t e c t i o na l g o r i t h m sa n dc o m p a r a t i o n a m o n gd i f f e r e n ti m p r o v e d a d a b o o s ta l g o r i t h m s ( 2 ) an e wm e t h o do fs k i nc o l o rs e g m e n t a t i o ni si n t r o d u c e db e f o r et h ea d a b o o s t c a s c a d es t r u c t u r e ，w h i c hg r e a t l yr e d u c e sn e g a t i v es a m p l e st h a tc a s c a d es t m c t u r e w i l lf a c e ，a n da l s ow o r kf o r t h es u b - w i n d o wl o c a t i o n , m o v es t r a t e g ya n d c o m b i n a t i o np r o c e s s ( 3 )b i - o r t h o g o n a lw a v e l e th i g hf r e q u e n c y f e a t u r e sa r ei n t r o d u c e da f t e rt h e a d a b o o s tc a s c a d es t r u c t u r e ，w h i c hc a na v o i di n f o r m a t i o nl o s tp r o b l e m st h a tt h e i s i m p l eh a a p l i k ef e a t u r e sh a v e ( 4 ) an e ws t r a t e g yo ft h es t r o n gc l a s s i f i e rt h r e s h o l dg e n e r a t i o np r o c e s s ，t h e t h r e s h o l di ss e ta c c o r d i n gt ot h ee l l - o rr a t e so fs t r o n gc l a s s i f i e r so nt r a i n i n gd a t a s e t ，w h i c hw i l lr e d u c et h en u m b e ro fs t r o n gc l a s s i f i e r s i nt h ef i n a ls y s t e m w i t h o u tl o w e rd o w no ft h es y s t e m so v e r a l lp e r f o r m a n c e w eu s eo v e r4 0 0c o l o rf a c e i m a g e s f r o mt h ei n t e r n e t ，m o s tw i t hv a r i o u s b a c k g r o u n d s ；f a c e sa r cw i t hi n - p l a n er o t a t i o na n do u t o f - p l a n er o t a t i o n ，a n dm o d e r a t e i l l u m i n a t i o n e x p e r i m e n tr e s u l t ss h o wt h a to u ri m p r o v e da d a b o o s tf a c ed e t e c t i o n s y s t e mc a na c h i e v em o r et h a n9 0 f a c ed e t e c t i o nr a t eo nv a d o u sk i n d so ff a c ei m a g e s k e y w o r d s ： f a c ed e t e c t i o n ，s k i nc o l o rs e g m e n t a t i o n ，a d a b o o s t ，w a v e l e tt r a n s f o r m a t i o n i v 第一章引言 1 1 论文选题的背景 第一章引言 针对于人脸的研究，主要包括人脸识别技术和人脸检测技术。最初人脸研究主要 集中在人脸识别领域，而且早期的人脸识别算法都是在认为已经得到了一个正面人脸或 者人脸很容易获得的前提下进行的。但是随着人脸应用范围的不断扩大和开发实际系统 需求的不断提高，这种假设下的研究不再能满足需求，人脸检测开始作为独立的研究内 容发展起来并开始广泛应用到全新人机界面、基于内容的检索、数字视频处理、视觉监 测等许多领域。 人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其 中是否含有人脸，如果是则返回人脸的位置 1 ，2 ，3 。它是一个复杂的具有挑战性的模 式检测问题，其主要的难点有两方面，一方面是由于人脸内在的变化所引起：( 1 ) 人脸 具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭 等；( 2 ) 人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等。另一方面由于外 在条件变化所引起：( 1 ) 由于成像角度的不同造成人脸的多姿态，如平面内旋转、平面 外旋转以及上下旋转，其中平面外旋转影响较大；( 2 ) 光照的影响，如图像中的亮度、 对比度的变化和阴影等。( 3 ) 图像的成像条件，如摄像设备的焦距、成像距离，图像获 得的途径等等。这些困难都为解决人脸检测问题造成了难度。如果能够找到一些相关算 法并能在应用过程中达到实时，将为成功构造出具有实际应用价值的人脸检测与跟踪系 统提供保证。 由此，p a u lv i o l a 和m i c h a e lj j o n e s 在 4 中使用了一种用a d a b o o s t 方法训练 得到的基于多特征的分层人脸特征检测系统。与此前提出的人脸检测算法相比，他们的 系统具有极高的运行速度，在没有引入其他辅助信息( 如相邻帧之间的差异等) 的情况 下，检测准确率和错误接受率都能达到现有算法中最好的水平，因此，该算法在人脸分 析领域引起了广泛的关注，并且在此之后，基于a d a b o o s t 的人脸检测算法有了飞速的 发展 3 z - 3 9 。 第1 页 中山大学硕士学位论文：基于a d a b o o s t 的人脸检测改进算法 1 2 人脸检测技术回顾 目前对人脸检测的研究，主要集中在静态的彩色或灰度图像的单张或多张人脸的 检测。尽管现在有多种人脸检测方法，但主要可以归为以下几类： ( 1 ) 基于知识与特征的方法 这类方法使用了人们关于人脸的先验信息，详细地分析人脸的各个组成部分及其组 合特征，以及肤色、纹理等因素。有时还结合考虑视角与光照等外在环境因素。通常， 这些方法还能够结合分析人脸的表情等。通常主旨在于人脸定位。文献 1 6 1 使用了三 个层次的等级搜索方法的进行人脸检测。他们首先使用基于两个不同的镶嵌图对不同 分辨率的人脸进行高层检测。然后进行基于改进的边缘算法进行低层检测。高层检测着 重人脸粗略定位，而低层检测则依赖与人脸的个个细节特征。他们首先把图像分别降低 到不同的分辨率。在最低的图像( 第一层) 先筛选出可能的候选区域，然后在较好分辨 率的图像( 第二层) 进行直方图均衡化与边缘检测，最后于第三层针对眼睛和嘴巴等小 细节进行人脸判断与定位。 ( 2 ) 模板匹配 采用某个函数来预先定义或参数化表示一类标准人脸模式，对于输入图像中的候选 人脸，计算它与标准模式之间的相关性，若相关性值超过了预先设定好的阈值，就判断 该候选人脸为人脸。该方法操作简单，但使用固定的模板来描述千差万别的非刚性人脸 是很困难的。为此人们提出了多尺寸模板( m u l t i s c a l et e m p l a t e ) ，子模板( s u b t e m p l a t e ) ， 变形模板( d e f o r m a b l et e m p l a t e ) 等解决办法，在一定程度上克服了固定模板的缺陷， 但是这些方法仍只能检测到正面( 或允许少许偏向) 的人脸，对于噪声和遮挡也很敏感 【5 ，6 】。 ( 3 ) 基于统计和学习 这类方法需要给出一些样本作为训练对象，通过对这些样本的统计分析或机器学习 来发现人脸和非人脸图像的相关特性，并形成分布模型或者判别函数，用来检测图像中 的人脸。归纳起来，这类方法包括：特征脸法( e i g e n f a c e s ) 【7 】，基于分布的方法 ( d i s t r i b u t i o n b a s e dm e t h o d s ) 【8 】，神经网络( n e u r a ln e t w o r k s ) 【9 ，1 0 1 ，遗传算法( g e n e t i c 第2 页 第一章引言 a l g o r i t h m ) 【1 1 ，隐马尔可夫模型( h i d d e nm a r k o vm o d e l ) 1 2 ，信息理论方法( i n f o r m a t i o n t h e o r e t i c a la p p r o a c h ) 【1 3 1 ，归纳学习( i n d u c t i v el e a r n i n g ) 【1 4 j 和a d a b o o s t 算法【4 ，1 5 】 等。基于统计的方法有很高的检测率，但需要事先训练检测系统，训练时间较长，如何 选择合适的训练样本和训练策略也是一个难题。 本文采用的a d a b o o s t 方法属于基于统计和学习方法，基于此类算法的系统在效率方 面具有很大的优越性，它是在提出的一系y u h a a r - l i k e 特征的基础上，通过b o o s t i n g 算法 学习得到一系列弱分类器，再组合成一个强分器。然后通过级联一系列这样的强分类器 来进一步提高检测精度。这样得到的基于a d a b o o s t 算法的人脸检测系统会同时具有速度 和精度两方面优势。 1 3 本文的主要工作 v i o l a 基于a d a b o o s t 算法的人脸检测器 4 的发表从实质上提高了人脸检测的效率 和精度，而当其在实际应用中检测的图片分辨率较大、人脸数日较多时，由于搜索范围 和搜索步长的限制，往往会对检测速度产生一定的影响。本文主要致力于对a d a b o o s t 算法用于人脸检测中适应性的改进，使其在面对各种分辨率不同，人脸姿态、数目各异 的图片都能达至高效率，高精度的检测结果，改进的方法一般可以分为两种：通过在 a d a b o o s t 算法的外部加入其他类型的信息判别方法，同a d a b o o s t 算法组合在一起进而 提高系统的性能；通过改进a d a b o o s t 算法的分类器性能。本文在这两方面分别通过在 a d a b o o s t 方法前期加入肤色分割，后期加入小波高频信息判决和改进强分类器的生成 策略达到对人脸检测系统性能的提高。具体来说分为一下三个方面： ( 1 ) 在a d a b o o s t 算法的前期引入肤色分割步骤，并利用得到的肤色区域自适应地 调整检测窗口的位置和移动策略，将大部分非人脸样本在早期排除，让a d a b o o s t 算法 集中于判别有可能是人脸的区域，并在后期结合肤色区域来做最终判决，解决了原算法 所产生的重复捡测问题。 ( 2 ) 在a d a b o o s t 算法的后期引入了具有线形相位的双正交小波，避免了由于单一 h a a r - l i k e 特征过于简单所造成信息损失问题。 ( 3 ) 对原a d a b o o s t 算法中强分类器的固定阈值进行改进，根据强分类器在训练集 第3 页 中山大学硕士学位论文：基于a d a b o o s t 的人脸检测改进算法 上的性能而自适应地设定其阈值，在保证检测系统性能的同时，极大地减小了所需要级 联的强分类器的数量。 本文的组织如下：第二章讨论a d a b o o s t 算法原理，并综述近年来a d a b o o s t 算法应 用于人脸检测的一些比较突出的工作并加以比较；第三章具体介绍本文对a d a b o o s t 的 改进算法的原理分析；第四章给出改进算法的试验结果和比较；第五章总结了本文的方 法和今后的工作方向。 第4 页 第二毒基于a d a b o o s t 的人脸检测 第二章基于a d a b o o s t 的人脸检测 2 1a d a b o o s t 方法概述 2 1 1 b o o s t i n g b o o s t i n g 方法源于p a c ( p r o b a b l ya p p r o x i m a t e l yc o r r e c t ，概率近似正确) 学习模 型的理论分析 1 9 。1 9 8 8 年，k e a r n s 和v a l i a n t 提出了强可学习和弱可学习的概念 2 0 。在p a c 学习模型中，若存在一个多项式学习算法来识别一组概念，并且识别正 确率很高，那么这组概念是强可学习的；而如果学习算法识别一组概念的正确率仅比随 机猜测略好，那么这组概念是弱可学习的；k e a r n s 和v a l i a n t 提出了弱学习算法与强 学习算法的等价性问题，即是否可以将弱学习算法提升成强学习算法。如果两者等价， 那么在学习概念时，我们只需要找到一个比随机猜想略好的方法就可以将它提升为强学 习算法。 1 9 9 0 年，s c h a p i r e 发表了第一个b o o s t i n g 方法 2 1 。f r e u n d 随后对其做了改进 提出了更鲁棒的方法b b m ( b o o s t - b y m a j o r i t y ) 方法 2 2 。b o o s t i n g 方法在训练中先 后产生一系列学习机，各个学习机所使用的训练集都是从总训练集提出来的一个子集， 各个样本是否出现在该子集中取决于此前产生过的学习机的表现，已有学习机判断出错 的样本将以较大的概率出现在新的训练子集中。这使得其后产生的学习机更加专注于处 理对已有学习机来说较为困难的样本区分问题。 b o o s t i n g 方法可以增强给定算法的泛化能力，但是还存在两个缺点：该方法需要 知道弱学习机学习正确率的下限，而这在实际问题中是很难做到的；其次，这一方法可 能导致后来的学习机过分集中于少数特别困难的样本，导致表现不稳定。 2 1 2a d a b o o s t 方法概述 1 9 9 5 年f r e l l n di f ：0 s c b a p i r e 发表了具有自适应的b o o s t i i i g 方法，称作a d a b o o s t 【2 3 1 ( a d a p t i v eb o o s t i n g , 自适应的b o o s t i n g 方法) ，它不再需要预先知道弱学习机的训练错误 率，而是通过动态调节各个子学习机的权值来对基本算法的训练错误率自动适应，目而 第5 页 中山大学硕士学位论文：基于a d a b o o s t 的人脸检测改进算法 引起了广泛的关注。 a d a b o o s t 算法的主要思想是给定一个训练集( x ，y 1 ) ，( ，y ) ，其中x ；属于某 个域或者实例空间x ，y ， - 1 ，+ 1 初始化时a d a b o o s t 指定训练集上的分布为1 m ，并按 照该分布调用弱学习器对训练集进行训练每次训练后，根据训练结果更新训练集上的 分布，并按照新的样本分布进行训练反复迭代t 轮，最终得到一个估计序列h 。，h ， 每个估计都具有一定的权重，最终的估计h 是采用有权重的投票方式获得a d a b o o s t 算法 的伪代码如图2 - 1 所示，详细的算法说明参见文献 2 3 和文献 2 4 3 图2 一la d a b o o s t 算法 与前面的b o o s t i n g 类似，a d a b o o s t 方法通过既有分类器对总训练集中的各个样本的 分类情况来调整各个样本出现在新训练子集中的概率。不同的是，a d a b o o s t 不需要预先 知道弱学习机预测准确率的范围，而是自动根据弱学习机的预测准确率设定相应的权值。 在使用a d a b o o s t 训练的时候，训练错误率上限是一个单调下降的函数，这样，只要基本 第6 页 第二章基于a d a b o o s t 的人脸检测 的学习机的性能能够稳定的超过随机猜想，并且循环足够长时间，就能使经验错误率降 至任意低的水平，并有可能保证推广错误率也低于一个近似的上限。实验结果显示，它 的效率与 2 3 1 相近，但它对弱学习机随机测准率的自适应性大大增强了其实用性。 上面给出的算法是针对于两分类问题的，关于如何将b o o s t i n g 算法应用到多分类问 题研究者提出了多种不同的方法。最直接的应用于多分类问题的方法就是f r e u n d 和 s c h a p i r e 在文献 2 3 中提出的a d a b o o s t m 1 算法，但是这种方法常常会因为弱学习器不能 达到5 0 的精度而失败针对这种情况研究者又提出了不同的方法，这些方法通常是将多 类问题转化成一个大的两类问题在文献 2 4 中所采取的方法a d a b o o s t 姗是将一个多类 问题转化为一系列两分类问题，即对每个样本点x 都判断它是否属于某个类别y 。在文献 2 3 中所提到的算法a d a b o o s t m 2 也是基于类似的思想，只是它总是判断样本点x 的正确 类别是y 还是y 。另外还有一些其它的方法，例如借助于偏差校正输出代码方法 2 5 来识 别多分类问题，也能达到与a d a b o o s t m h 相同的效果 2 6 2 1 3a d a b o o s t 的理论分析 f r e u n d 和s c h a p i r e 2 3 以a d a b o o s t 为代表，对b o o s t i n g 进行了分析，并证明 该方法产生的最终预测函数h 的训练误差满足： h = 兀【2 ：而】= 兀麻se x p ( 一2 y ；) ( 2 - 1 ) 其中t 为预测函数h 。的训练误差，y 。= 1 2 一，。从上式上可以看出，只要学习算 法略好于随机猜想，训练误差将随t 以指数下降。 在文献 2 4 中s c h a p i r e 和s i n g e r 对a d a b o o s t 算法进行修改，将原算法中估计h 。的值 域从 1 ，+ 1 扩展为 一1 ，+ 1 ，即用实数函数替代原来的二值函数，并讨论了在这种情况 下如何选择q 。和h 。的问题。对于这种情况，我们把h 。的符号看作是h 。预测的类别，绝对值 看作是h 。预测的置信度这种改进的算法又称作实a d a b o o s t 算法，到目前为止大多数应 用都是采用这种算法 3 8 ，3 9 ，4 1 。 大量的试验 2 7 3 1 表t ) g b o o s t i n g 算法不但可以提高学习精度，而且不易过配如图 2 2 所示为文献 3 0 中b o o s t i n gc 4 5 x 寸u c i 中的样本“l e t t e r 进行分类，得到的相对于迭 第7 页 中山大学硕士学位论文：基于a d a b o o s t 的人脸检测改进算法 代次数t 的误差曲线和类间距分布图图中上面一根曲线表示泛化误差，下面一根曲线表 示训练误差 2 0 误5 差 q 5 0 1 0 样本数目 1 0 0 图2 - 2b o o s t i n gc 4 5 对数据库“l e t t e r ， 进行分类的误差曲线 3 0 从图中可以看到，当训练误差达到零后b o o s t i n g 仍然会继续降低泛化误差，并没 有因为迭代次数的增多出现泛化性能恶化的情景。这个现象似乎与机器学习中通常所遵 循的“o c c a m sr a z o r ”原则相违背( 从模型对数据泛化的角度来看，最简单的假设是 最好的) 。为了解释这一现象，s c h a p i r e 等 3 0 从类间距( m a r g i n ) 角度对泛化误差进 行了解释。定义样本点( x ，y ) 的类间距： m a r g i n t ( x , y ) 丽y f ( x ) ：紫 z ， 它的值属于 一1 ，+ 1 之间，只有当h 对样本正确分类时类间距的值才会大于0 类 间距的值可被看作是对h 预测结果的置信度，值越大则预测出来的结果越可 信s c h a p i r e 等推导出训练集的类间距与泛化误差间的关系，即泛化误差最大为： p f 【眦蟛n ( x y ) 圳+ b 石 ( 2 3 ) 其中d 表示弱学习算法的v c 维，为讯训练实例个数公式中给出的泛化误差上界 与t 无关，即表示迭代次数增多不会影响泛化误差，这与图中曲线相吻合从试验中可 以观测到b o o s t i n g 对类间距的影响，当$ 1 1 1 练误差降为0 后，b o o s t i n g 仍然继续提高训 练样本的类间距，因此使泛化误差能够继续下降公式( 2 3 ) 给出a d a b o o s t 算法成功的 第8 页 第二章基于a d a b o o s t 的人脸检测 原因是由于对最小类间距实现最大化 鉴于a d a b o o s t 在实践中取得的良好效果，该方法仍然引起了广泛的关注。下面将 比较详细地介绍a d a b o o s t 方法在人脸检测中的应用。 2 2a d a b o o s t 人脸检测综述 自本世纪9 0 年代以来，人脸检测的精度已经得到了大幅度的提高，许多学习算法 被应用到其中，并取得了令人十分满意的结果，比如基于支持向量机，神经元网络，多 层感知器和f i s h e r 线性判别的算法等等。然而，对于人脸检测效率提高的研究则进展 相对缓慢，直到2 l 世纪v i o l a 基于a d a b o o s t 算法的人脸检测器的发表 4 ，效率才得 到了实质性的提高并为将来的飞速发展打下了基础。 2 21 基于a d a b o o s t 的人脸检测系统的原理 p v i o l a 的文章 4 的发表是人脸检测效率提高的一个转折点，他本人也在人脸检测 的效率提高方面做出了突出贡献。他通过综合a d a b o o s t 和c a s c a d e 算法实现了实时的人脸 检测系统，使得人脸检测从真正意义上走向实用。 该文主要有以下几点贡献： ( 1 ) 第一次引入了“积分图”的概念。这使得检测器中特征的计算非常快。如图2 - 3 所示，坐标点( 与力的积分图定义为其所对应的图中左上角的像素值之和 i ( x ，y ) = 罗i ( x ，y 1 ) ( 2 4 ) z 岛5 7 其中i ( x ，y ) 表示像素点( x ，y ) 的积分图，i ( x ，y ) 表示原始图像。i ( x ，y ) 通过下式迭代 进行计算：s ( x ，y ) = s ( x ，y - 1 ) + i ( x ，y ) ，i ( x ，y ) = i ( x 一1 ，y ) + s ( x ，y ) ，其中s ( x ，y ) 表示行的积分和，且s ( x ，一1 ) = 0 ，i ( - 1 ，y ) = 0 。求一幅图像的积分和，只需遍历一次图像 即可。借助于图7 中使用的四个矩形，可以使用积分图计算任何矩形中所有像素的值之和。 如图2 4 所示，是他提出的四个h a a r l i k e 特征。很明显，图2 - 4 中由两个矩形构成的特征， 其像素和之差可通过六个参考矩形求得：由三个矩形构成的特征可以通过八个参考矩形 第9 页 中山大学硕士学位论文：基于a d a b o o s t 的人脸检测改进算法 求得；由四个矩形构成的特征可以通过九个参考矩形求得。 图2 - 3 积分图 图2 - 4 检测窗内的矩形特征例子 ( 2 ) 基于a d a b o o s t 的学习算法( 如图2 1 ) 。它能从一个很大的特征集中选择很小的 一部分关键的特征，从而产生一个极其有效的分类器。最初的a d a b o o s t 学习算法可用于 提高一个简单的分类器( 有时又称为弱分类器) 的性能，它最终形成的强分类器的训练 错误率接近于零，而且具有很好的推广性。v i o l a 共定义y 1 8 0 ，0 0 0 种矩形特征，这个数 远大于图像中像素的数目。每个特征都能很快计算出来，再通过试验选出一小部分作为 特征以形成一个有效的分类器。要得到最终的强分类器，最重要的是如何找到这些特征。 为此起见，每个弱分类器的设计都是从能对正例和反例进行正确分类的所有弱分类器的 集合中选择错误率最小的一个。对每个特征而言，弱学习器决定弱分类器的最佳的门限 值，使其具有最小的误分样本数。因此一个弱分类器 j o ) 由一个特征，一个门限值日， 和一个指示不等式方向的校验器p ，构成： kk 、f 1i fp j f j ( x ) p j o j h j ( x ) 5 忆o t h e r w 。i s e ( 2 5 ) ( 3 ) 在级联的检测器中不断增加更多的强分类器。这可以很快排除背景区域，从而 节约出时间用于对那些更像人脸的区域进行计算。该级联的分类器可视为一个智能的具 有能集中注意力的机构，而不像以前的那些算法那样通过统计来保证去掉的那些区域不 第1 0 页 第二章基于a d a b o o s t 的人脸检测 包括感兴趣的区域。该级联的检测器的结构如图2 5 所示。在每个子窗口中都采用一系 列的分类器进行计算。分级分类器中的第一级可以只使用非常少的计算量，去除大量的 非人脸窗口。接下来的一些子分类器层进一步去除剩余部分中的非人脸窗口，但是需要 更多的计算量。经过几级分类器的处理，候选人脸的子窗口数量急剧下降。进一步的处 理可以使用任何的形式，比如其它增加分级分类器的级数或者用其他的检测系统替代。 该系统的检测率可以和当时最好的算法匹敌，但是检测速度却高达1 5 帧秒。 图2 5 分级分类器检测过程的示意图 2 2 2 a d a b o o s t 改迸方法 在p v i o l a 提出将a d a b o o s t 算法用于人脸检测并取得了成功之后，更多的学者开始 将注意力集h 吲b o o s t i n g 算法上来，使得在提高人脸检测精度的同时也大幅度地提高了 检测效率。 r a i n e rl i e n h a r t 在v i o l a 的基础上又提出了一些新的旋转h a a r l i k e 特征，如图2 6 所示 3 2 。他通过学习得到的系统能够用于旋转人脸的快速检测，同时也能使平均的误 检率降低10 9 6 。此夕 他还研究了一些其他的b o o s t i n g 算法，如：离散的( d i s c r e t e a d a b o o s t ) ，实值的( r e a lh d a b o o s t ) 和平缓的( g e n t l eh d a b o o s t ) ，通过比较得出基于平 缓的( g e n t l ea d a b o o s t ) 效果较好。 第1 1 页 中山大学硕士学位论文：基于a d a b o o s t 的人脸检测改进算法 口口 叩册日目 l 地缘特征匹d g cf e a t u r e s )2 、线性特挺( l i n ef e a z e s ) 回 1 0 0 r e g i o n s h 。c o l o r e l l 0 r g 7 0 ( 3 1 ) i 一1 0 g b o 是尺度因子，b 为定位参数，函数j o ) 称为小波或母小波，t ，a 与b 都是连续变量，故上述变换称为连续小波变换，简记为c w t 。 第2 2 页 第三章基于肤色分割和小波变换的a d a b o o s t 人脸检测改进算法 c w t 的物理意义为，尺度因子a 越大，则妒( 与越宽，该函数的时间分辨率越低。 也即小波变换具有多尺度( m u l t i s c a l e ) 的特点，可以由粗到细地逐步观察信号，这也 是小波分析的一个主要优点。 定义3 - 2 一维离散小波变换是对连续小波变换的尺度和位移按照2 的幂次进行离 散化得到的，又称二进制小波变换。一维离散小波变换的定义由下式给出： 啪，2 击伊( 半) = a o r 2 q ，( o ”t - b o ) c 3 卅 相应的离散小波变换定义为： = 口i ”7 t 弛玩，( t ) d t = 口i ”7 z ，o ) 妒( 。0 “f n b o ) d t 3 2 2 多分辨率分析 在小波变换理论中，多分辨率分析( m u l t i r e s o l u t i o n a n a l y s i s ) 有举足轻重的地位， 它是由s m a l l a t 与y m e y e r 于1 9 8 6 年左右共同引入的，这是构造小波基和理解小波 变换的一种有效途径。它是在l 2 ( r ) 函数空间内，将函数描述为一系列近似函数的极限， 每一个近似函数都是函数f 的平滑逼近，而且具有越来越精细的近似函数。这些近似都 是从不同尺度中得到的。 定义3 3 空间2 伍) 的多分辨分析是指构造该空间内一个子空间列以j 。，使其具有 以下性质： ( 1 ) 单调性( 包容性) c c 巧c c c 2 c 逼近性：叫少 彩胁。 0 ( 3 ) 伸缩性： 以) 一庐协) 一， 第2 3 页 中山大学硕士学位论文：基于a d a b o o s t 的人脸检测改进算法 ( 4 ) 平移不变性； 矿( f ) 一妒g 一2 j 一1 七) ，v 七z ( 5 ) r i e s z 基存在性：存在矿( f ) ，使得协( 2 一j t 一七k 构成吩的r i e s z 基。 在定义3 3 中，巧对应于2 一分辨率，帆 。是r 伍) 空间的一个多分辨分析，则 存在一个唯一的函数庐( f ) r 扭) 使得驴肚；2 - j 2 ( 2 一j r 一七l 七z 必定是内的一个 标准正交基，其中妒o ) 称为尺度函数。 式中的系数2 - 2 是为了使似的l 2 范数为1 。引入尺度函数的目的是为了构造正交 小波基， 若妒g ) 生成一个多分辨分析，那么妒也属于f 。，并且因为札， ：七z j 是p - 的 - - 5 r i e s z 基，所以存在唯一的f 2 序列协 ) ，它描述尺度函数妒的两尺度关系： 妒o ) 。堙伍如协一七) ( 3 _ 5 ) 由性质( 1 ) 可知。巧，z ，所以 哆= 一“o + ，( 3 - - 6 ) 反复应用式( 3 - 6 ) ，得 r 伍) ；o 诈z 同样，象妒t ) 生成一样，存在一个函数妒( f ) 生成闭子空间， 双尺度方程 ( 3 7 ) 且有与式( 3 - 5 ) 类似的 妒o ) 。曙忙如陋一七) ( 3 _ 8 ) 式( 3 8 ) 称为小波函数双尺度方程。由式( 3 5 ) 、( 3 8 ) 可知，尺度函数与小波函数的构造归 结为系数 j l ) ) ，备 ) ) 的设计，著令日砉警e 埘肺) = 砉辔州，则把尺 第2 4 页 第三章基于肤色分割和小波变换的a d a b o o s t 人脸检测改进算法 度函数和小波函数的设计可以归结为滤波器日b l g b ) 的设计。构造正交小波对滤波器 h 白) 与g ) 必须满足以下三个条件： p 1 2 + 旧+ 玎j 2 = l ( 3 9 ) j g 白1 2 + l g + 筇) 2 = 1 ( 3 1 0 ) 日0 ) g 0 ) + 日) g + 石) = 0 ( 3 1 1 ) 联合求解式( 3 - 1 0 ) 和( 3 - 1 1 ) 可得 g ( 甜) = e 。h + 石) 由式( 3 1 2 ) 立刻可得 占似) ；( 一1 ) 1 。h + ( 1 一七l 七z 所以，要设计正交小波，只需要设计滤波器h ) 。 ( 3 1 2 ) ( 3 1 3 ) 另外，在图像处理中经常希望所用滤波器具有线性相位，c o h e n 、d a u b e c h i e s 等人 放弃了小波、尺度函数的正交性，给出了构造具有对称性的双正交基的方法，这时对应 的滤波器具有线性相位。 取代小波函数、尺度函数的正交性的是所谓的双正交条件： 和肚，西。) = 6 任一h ) ( 3 1 4 ) 扣妒死，) = d ( j - m ) j ( k n ) ( 3 1 5 ) 此时相应的多分辨分析子空间的嵌套序列分为两种： 肇c ! c 肇c ：- c ：z ( 3 - - 1 6 ) 屹c k c v o c c p 2 在双正交的条件下，子空间与不是正交补空间，但是若令 嘭= d o s e 万卅：，后z 则有以下正交补的关系： 上呒，e 上 ( 3 1 7 ) 相应的双尺度方程为： 第2 5 页 中山大学硕士学位论文：基于a d a b o o s t 的人脸检测改进算法 以) = 压任知( 丑一七) ，砰) 。压2 磊n - 1 | i l 忙弦( 各一七) 妒( f ) = 压忙( 丑一七) ，矾) ；压2 荟n - i 融万( 丑一七) ( 3 - - 1 8 )f = 6岗 依据式( 3 1 7 ) 得 黠f = 荽籀：矧h ( 3 - - 1 9 ) 3 2 3 双正交小波变换的应用 对图像进行小波变换，提取概貌和细节部分，能够很好地反映人脸的特征。h a a r 小波变换用于图像处理具有速度快、处理方便、图像特征保持性好等优点，但由于它的 不连续性，如图3 6 为h a a r 小波的尺度函数，图3 7 为其小波函数，h a a r 小波处理图 像时就必然会造成定的信息损失。 图3 6h a a r 尺度函数 图3 7h a a r 小波函数 由于人脸图像具有很好的相位特性，故本文在后期采用具有线形相位的双正交小 波，即对图像作一维正交小波变换，再对结果进行判决，这样可以弥补h a a t 小波在连 续性上的不足。图3 8 ，3 -