（计算机软件与理论专业论文）人脸检测方法研究.pdf

硕士论文人脸检测方法研究 摘要 人脸检测问题最初作为自动人脸识别系统的定位环节被提出，近年来由于其在安 全访问控制、视觉检测、基于内容的检索和新一代人机界面等领域的应用价值，开始 作为一个独立的课题受到研究者的普遍重视。到目前为止，人脸检测问题由于自身的 复杂性，仍旧未能得到彻底解决。最新的进展是v i o l a 等人的基于积分图像的a d a b o o s t 方法，其层叠分类器在人脸检测方面速度快且性能与r o w l e y 的a n n 方法基本相同， 在此基础上所构建的检测系统是第一个真正实时的人脸检测系统。但是作为一种新兴 技术，a d a b o o s t 方法在人脸检测领域的研究还有待探索和完善。例如：弱分类器的选 择、训练算法的完善、多尺度检测计算量大、缺乏和先验知识的整合能力等等。本文 作者结合研究生阶段所参加的科研项目，对人脸检测问题作了一些探讨，对基于积分 图像的a d a b o o s t 人脸检测方法存在的部分问题分别进行了研究，并给出了相应的解 决方案。本文工作包括： ( 1 ) a d a b o o s t 学习算法的改进 基于积分图像的a d a b o o s t 方法采用一种称为“积分图像”的图像表示方法，快 速计算出弱分类器用到的特征。然后基于a d a b o o s t 学习算法，从一个较大的特征集 中选择少量的关键的视觉特征，产生一个高效的强分类器。再用级联的方式将单个的 强分类器合成为一个更加复杂的层叠分类器，使图像的背景区域快速地丢弃，而在有 i j 能存在目标( 人脸) 的区域花费更多的计算，其在人脸检测方面速度相当快。本文 在对a d a b o o s t 学习特点的深入分析基础上，在构成弱分类器用到的特征选取方面作 了定改进，提高了分类器的性能，并提出种有效的方法来完善学习算法。实验结 果表明，新的人脸检测器检测效果有所提高，构造效率则显著提高。 ( 2 ) 基于肤色的人脸检测方法研究 本文选择目前广泛使用的y c b c r 色彩模型来进行肤色分割和人脸验证，最终构 建了一个纯粹利用肤色来检测人脸的检测系统。本文采用了一种光照校正算法部分消 除光照对颜色影响，提高了检测算法的适应能力，并对肤色区域分割和肤色区域合并 算法进行了一定研究。实验结果表明，这种人脸检测方法对于不同姿态、不同表情的 人脸均有较好适用性。 ( 3 ) 提出一种基于肤色区域分割预处理与多层叠分类器验证相结合的人脸检测 方法 基于积分图像的a d a b o o s t 方法构造的多层叠分类器用于人脸检测虽然取得了极 大成功，但同样因为要对输入图像穷举扫描，在很大程度上影响了检测效率，这限制 了它在一些实时性要求的较高的大幅图像人脸检测应用中的使用。本文在多层叠分类 硕士论文人脸检测方法研究 器基础上，通过肤色区域分割预处理产生候选人脸区域。并在候选区域上采用多层叠 分类器通过受限窗口扫描进行入脸检测，由此减少传统多尺度穷举扫描检测方法的计 算代价。而且通过候选区域扫描限制了人脸误识情况的发生，从而提高系统的总体性 能。实验结果表明，新的人脸检测器计算速度有很大提高( 大幅彩色图像中) ，同时 保持了多层叠分类器人脸检测的稳定性。 关键词：人脸检测、a d a b o o s t 、肤色分割、y c b c r 色彩空间，层叠分类器 i i 硕士论文人脸检测方法研究 a b s t r a c t i m a g e sc o n t a i n i n gf a c e s a r ee s s e n t i a lt o i n t e l l i g e n t v i s i o n b a s e dh u m a nc o m p u t e r i n t e r a c t i o n ，a n dr e s e a r c he f f o r t si nf a c ep r o c e s s i n gi n c l u d ef a c er e c o g n i t i o n ，f a c et r a c k i n g ， p o s ee s t i m a t i o n ，a n de x p r e s s i o nr e c o g n i t i o n h o w e v e r , a l lo f t h e s er e s e a r c h i n gd i r e c t i o n s i n v o l v ei no n ep r o b l e m f a c ed e t e c t i o na n dl o c a t i o n i no t h e rw o r d s b e f o r et h i sf a c e p r o c e s s i n g ，w em u s t k n o wf a c e s l o c a t i o n sa n d s c a l e s c o n s e q u e n t l nt ob u i l da na u t o m a t e d f a c ep r o c e s s i n gs y s t e mw h i c ha n a l y z e st h ei n f o r m a t i o nc o n t a i n e di nf a c ei m a g e s ，r o b u s t a n de f f i c i e n tf a c ed e t e c t i o na l g o r i t h m sa r er e q u i r e d t h er e s e a r c ho nf a c ed e t e c t i o nh a s l a s t e df o rm o r et h a nt w e n t yy e a r s b u t ，u pt on o w ，d u et ot h ec o m p l e x i t yo ft h ep u r p o s e s u c ha st h e d i v e r s i t y o ff a c e p a t t e r n s ，v a r i a b l el i g h t i n g c o n d i t i o na n ds oo n ，m a n y r e s e a r c h e sc a nn o tr e s o l v et h ep r o b l e mc o m p l e t e l ye v e ni ft h e yh a v es t u d i e di tf o rl o n g t i m e i nt h i st h e s i s ，t h ea u t h o rh a sd o n es o m ew o r ko nt h ef a c ed e t e c t i o n t h ew o r ki n c l u d e s ： ( 1 ) t h ei m p r o v e m e n t o f a d a b o o s t l e a r n i n ga l g o r i t h m u s i n g a t r a i n i n gs e to fp o s i t i v ea n dn e g a t i v ei m a g e ，p a u lv i o l ah a su s e da d a b o o s t t o b u i l dar o b u s ts c a l e i n v a r i a n ti m a g ec l a s s i f i e rf o rf a c ed e t e c t i o n b a s e do nt h ed e e p l y a n a l y s i so fa d a b o o s tl e a r n i n g ，t h i sp a p e ri m p r o v e st h ec l a s s i c a lt r a i n i n gm e t h o d si nt w o w a y s ：f i r s t l y , t h eb a s i ca n do v e r - c o m p l e t es e to f f e a t u r ei se x t e n d e db ya l ls e to fr o t a t e d f e a t u r e s ，w h i c ha d da d d i t i o n a ld o m a i n k n o w l e d g et ot h el e a r n i n gf r a m e w o r ka n dw h i c h i s o t h e r w i s eh a r dt ol e a r n s e c o n d l y , t h i sp a p e rd e r i v e san e wm e t h o dt oo p t i m i z et h el e a r n i n g p r o c e d u r e ，w h i c hc o m p u t e t h ef e a t u r e so n l yt w i c ea n du s em o r el e s ss p a c ei nm e m o r y ( 2 ) f a c e d e t e c t i o nb a s e do ns k i nc o l o r a m o n gm a n y c o l o rs p a c e s ，t h i sp a p e ru s e dy c b c r c o m p o n e n t s s i n c ei nt h ey c b c r c o l o rs p a c e ，t h el u m i n a n c ei n f o r m a t i o ni sc o n t a i n e di ny c o m p o n e n t ；a n dt h ec h r o m i n a n c e i n f o r m a t i o ni si nc ba n d c r t h e r e f o r e ，t h e l u m i n a n c ei n f o r m a t i o nc a nb e e a s i l y d e e m b e d d e d t h i sp a p e rp r o p o s e saf a c ed e t e c t i o na l g o r i t h mf o rc o l o ri m a g e si nt h e p r e s e n c eo fv a r y i n gl i g h t i n gc o n d i t i o n sa sw e l lc o m p l e xb a c k g r o u n d s b a s e do nan o v e l l i g h t i n gc o m p e n s a t i o n ，0 1 1 1 m e t h o dd e t e c t ss k i nr e g i o n so v e rt h ee n t i r ei m a g e ，a n dt h e n g e n e r a t e sf a c ec a n d i d a t e sb a s e do nt h es p a t i a la r r a n g e m e n to ft h e s es k i np a t c h e s t h e a l g o r i t h mc o n s t r u c t se y ea n dm o u t hm a p sf o rv e r i f y i n ge a c hf a c ec a n d i d a t e e x p e r i m e n t a l r e s u l t sd e m o n s t r a t es u c c e s s f u lf a c ed e t e c t i o no v e rar a n g eo ff a c i a lv a r i a t i o n si nc o l o r , p o s i t i o n ，s c a l ea n de x p r e s s i o ni nc o l o ri m a g e s 1 1 1 硕十论文人脸检测方法研究 ( 3 ) af a c ed e t e c t o rb a s e do ns k i n c o l o rs e g m e n t i n gp r e p r o c e s s i n ga n dm u l t i p l e c a s c a d eo fc l a s s i f i e r sb a s e do na d a b o o s tv a l i d a t i o n m u l t i p l ec a s c a d e so fc l a s s i f i e r sb a s e do na d a b o o s ts t a t i s t i c a ll e a r n i n gm e t h o dh a v e b e e na p p l i e ds u c c e s s f u l l yi nf a c ed e t e c t i o np r o b l e m t h ea d v a n t a g eo fu s i n gm u l t i p l e c a s c a d e sf o rf a c ed e t e c t i o ni st h ef e a s i b i l i t yo ft r a i n i n gas y s t e mt o c a p t u r et h ec o m p l e x c l a s sc o n d i t i o n a ld e n s i t yo ff a c ep a t t e m s h o w e v e qo n ed r a w b a c ki st h a ti tn e e da p p l ya n e x h a u s t i v ew i n d o ws c a n n i n gt e c h n i q u et oi n p u ti m a g ef o rp o s s i b l ef a c el o c a t i o n sa ta l l s c a l e s t h i sr e d u c e st h ee x e c u t i n ge f f i c i e n c yo ft h ed e t e c t o ri ng r e a te x t e n ta n dr e s t r i c t si t t oa p p l yt os o m cr e a l t i m ef a c ed e t e c t i o na p p l i c a t i o n t h er e s u l t so f e x p e r i m e n t ss h o w t h e n e wf a c ed e t e c t o ra c h i e v e sah i g h c re x e c u t i n ge f f i c i e n c ya n df e w e rf a l s ed e t e c tt h a n t r a d i t i o n a lm u l t i p l ec a s c a d e sd e t e c t o r k e y w o r d s ：f a c ed e t e c t i o n ，a d a b o o s t ，c a s c a d e ，s k i nc o l o rs e g m e n t ，y c b c rc o l o r s p a c e s 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：篡速，和彳年j 月7 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名： ：阳玎年，月7 t 7 日 硕士论文 人脸榆测方法研究 1 1 背景 第一章绪论 人脸作为图像与视频中最重要的视觉图像( v i s u a lo b j e c t ) 之一，在计算机视觉、 模式识别、多媒体技术研究中占有重要的地位。可视化分析和目标识别研究中最具有 挑战性的任务之一就是理解人们如何处理和识别彼此的相貌并进行相应的计算机建 模最终完成人脸的自动识别。人脸识别的研究可以追溯到2 0 世纪6 0 7 0 年代，因为 它在计算机视觉通讯和门禁控制系统中有很多潜在的应用，关于它的研究急剧地扩 展，经过几十年的曲折发展已日趋成熟。 一个自动人脸识别系统通常包括一系列相关的人脸处理过程，如人脸检测，视频 流中的人脸跟踪，人脸验证，人脸识别。人脸检测通常通过对人脸和非人脸静态模型 的学习来对图像进行人脸与非人脸的二类分类。人脸跟踪是根据人脸先前的运动轨迹 来推测当前和未来人脸位置。人脸验证主要是根据要求对输入人脸图像进行核实，而 人脸识 j i j n 集中于从己知的人脸数据库中识别出人脸的身份。人脸识别一般框架图 1 1 所示。 本文源于南京理工大学计算机系6 0 3 研究室与公安部合作的预研项目“人脸识别 与视觉误差判定方法研究”( 以下简称公安部项目) 。项目的目标是建立一个完整的人 脸检测识别原型系统，作为以后进一步的实验和研究乃至投入实际应用的基础。具体 来说就是：在外界环境与创建人脸库时的条件相当的情况下，实现对来人行进，有短 暂停留情况下实时的正面人脸检测识别。能够从视频流中检测到人脸，然后与本地库 中的人脸相匹配，确定该人身份，并达到一定的识别率( 确切的识别率据进一步实验 的具体情况而定) 。本文主要研究人脸检测方法及其应用。 人脸检n ( f a c ed e t e c t i o n ) 是人脸识别的前期阶段，是指在输入图像中确定所有人 脸( 如果存在) 的位置、尺度和位姿的过程。人脸检测作为人脸信息处理中的一项关 键技术，近年来成为模式识别与计算机视觉领域内一项受到普遍重视、研究十分活跃 的课题。 然而，由于人脸模式的可变性，使人脸检测具有一定的难度。例如人脸的姿态变 化( 正面、非正面) ，遮挡，方向性，光照条件和表情变化等。人脸是一类具有相当 复杂的细节变化的自然结构目标，此类目标的检测问题的挑战性在于： ( 1 ) 人脸由于外貌、表情、肤色等不同，具有模式的可变性： ( 2 ) 一般意义下的人脸上，可能存在眼镜、胡须等附属物； ( 3 ) 作为三维物体的人脸的影像不可避免地受由光照产生的阴影的影响。 硕士论文人脸检测方法研究 因此，如果能够找到解决这些问题的方法，成功构造出人脸检测与跟踪系统，将 为解决其它类似的复杂模式检测问题提供重要的启示。这也使得人脸检测研究具有了 重要的学术价值。 由于人脸这一特定模式本身的复杂性，使得即使是建立一个公认的、权威的、能 够基本上涵盖可能人脸情形的人脸检测测试图像库，以评价人脸检测方法优劣都是比 较困难的。 1 2 人脸检测研究进展 图1 1 人脸识别的一般流程 对人脸检测的研究最初可以追溯到2 0 世纪7 0 年代，人脸检测早期的研究主要致 力于模板匹配、子空间方法，变形模板匹配等【6 2 、6 3 】。早期人脸检测综述参见文献 6 4 、 6 5 1 。那些方法往往针对简单无变化背景下的正面人脸检测，所以使这些方法在很大 程度上显得很呆板。基于这些方法构建的检测系统，任何图像条件的改变，即使不用 完全重新设计整个系统，也要对系统的参数进行精细的调整。那时人们更重视对人脸 识别的研究，直到9 0 年代，随着实际的人脸识别和视频编码系统开始成为现实，这 种情况才有所改变。在过去的十多年里，对人脸检测的极大兴趣开始从几个方面展开。 研究者提出了多种分割方法，特别是那些利用运动、肤色和一般信息的方法。统计和 硕士论文人脸检测方法研究 神经网络方法的使用也使在复杂背景和多分辨率的人脸检测成为可能。另外，在能够 精确定位的跟踪面部特征的特征提取方法的设计( 例如弹性模板和活动轮廓) 方面也 取得了很大的进展。近期人脸检测的研究主要集中在基于数据驱动的学习方法，如统 计模型方法6 6 j ，神经网络学习方法t 5 6 一，统计知识理论和s v m 方法【7 】基于马尔科 夫随机域的方法【6 7 1 ，以及基于颜色的人脸检测【6 8 】。相关综述参见文献 1 ，6 9 ，7 0 。 目前，国外对人脸检测问题的研究很多，比较著名的有m i t ，c m u 等；国内的 清华大学、北京工业大学、中国科学院计算技术研究所和中国科学院自动化研究所等 都有人员从事人险检测相关的研究而且，m p e g7 标准组织已经建立了人脸识别草 案小组，人脸检测算法也是一项征集的内容随着人脸检测研究的深入，国际上发表 的有关论文数量也大幅度增长，如i e e e 的p g ( i e e ei n t e r n a t i o n a l c o n f e r e n c eo h a u t o m a t i cf a c ea n dg e s t u r e r e c o g n i t i o n ) 、i c i p ( i n t e r n a t i o n a i c o n f e r e n c eo ni m a g e p r o c e s s i n g ) 、c v p r ( c o n f e r e n c e o n c o m p u t e r v i s i o n a n d p a t t e r n r e c o g n i t i o n ) 等重要国际 会议上每年都有大量关于人脸检测的论文，占到有关人脸研究论文的近l 3 之多然 而，即便如此，由于人脸这一特定模式本身具有复杂性，使得即使是建立一个公认的、 权威的、能够基本上涵盖可能人脸情形的评价人脸检测方法优劣的人脸检测测试图像 库都是比较困难的。 1 3 人脸检测方法及分类 最近几年来，人脸检测研究吸引了众多研究人员注意力，各种各样的检测方法也 层出不穷，所包含的内容十分广泛，从不同角度有多种不同的分类方法【1 】。本文根据 人脸检测时图像的处理方式和人脸判定的方式将人脸检测方法大致分为两类： 第一类方法可称为自上而下的演绎方法，这些方法中先根据先验知识对图像从整 体上确定人脸范围，不断将人脸范围缩小，逐步求精，直到最终达到一定精度停止， 整个过程人脸的一开始就被定义，不断的被精确。如基于肤色的方法【5 8 1 ，基于面部几 何特征的方法 3 0 , 3 1 等，这类方法的特点是计算量小，速度快。 第二类则称为自下而上的归纳方法，这类方法通常是基于像素或图像块运算，这 些方法先将图像分解成很多的子图像，对于每个子图像使用一系列的规则，直到最后 满足条件的子图像才被定义为人脸。例如模版匹配【2 】，神经网络方法m ，5 6 一、s v m 方 法川、s n o w 方法【9 0 1 、a d a b o o s t 1 1 1 2 1 方法，b d f v l 】方法等。由于往往在分解图像时 使用多尺度分解，运算量相当大。 目前典型人脸检测方法及分类的大致分类如图1 2 示。 硕士论文人脸检测方法研究 图1 2 主要的人脸检测方法及分类 1 3 1 自上而下的人脸检测方法 这类方法基于这样一个视觉事实：人脸可以在不同的姿态、不同的光照条件下毫 不费力地将人脸与其它物体区分开来，这就意味人脸或人脸的部件可能具有在各种条 件下都不会改变的特征。于是许多研究者提出先在图像中检测是否有人脸部件( 如： 眉毛、眼睛、头发、嘴巴) ，最终确认是否存在人脸。 这类方法可进一步分为两个领域。1 低级分析：给定一个在复杂环境下定位人 脸的典型的人脸检测问题，低级分析首先考虑利用像素特性( 例如灰度值或颜色) 分 割视觉特征。2 中高级特征分析：由于低级分析得到的低级特性是不明确的，在特 4 硕士论文人脸检测方法研究 征分析中，利用人脸的几何信息把视觉特征组织成人脸和面部特征的更全局的概念。 通过特征分析，降低了特征的不确定性，就可以确定人脸和面部特征的定位。由于人 脸部件的提取通常都借助于边缘算子，因此，这类方法对图像质量要求较高，因为光 照、噪音、阴影都极有可能破坏人脸部件的边缘，从而影响算法的有效性。 l 、低级特征分析 低级别特征包括人脸部件或脸型边缘、灰度信息、肤色、运动等。其中，边缘特 征作为计算机视觉中的原始特征，在最早的人脸检测研究中就得到了应用，如s a k a i 等 1 3 通过分析图像中人脸或人脸部件的边缘，从而实现人脸或人脸部件定位。 肤色特征指的是人脸皮肤具有与周围环境不同的颜色特性。肤色特征的前提是待 测图像必须为彩色图像，这种方法的优点在于计算速度相当快，在周围环境较为单调 或者与肤色相差较为明显的情况下，这种方法是非常有效的：它的缺点在于很难建立 一个较为准确的、能够将人脸在任何情况下都很好地区分人脸区域与环境的颜色模 型。目前用得较多的几个颜色模型包括有：y i q l 4 , t m ) 、h s v 1 6 , 1 7 , 1 8 , 1 9 、y e s f 2 0 i 、 y c r c b l 2 1 , 2 2 , 2 3 , 2 5 , 2 6 、y u v 【2 7 2 哪等等。对于复杂背景的情形下，通常可以将颜色特征提 取作为前期处理工作。 总的来说，早期的完全基于低级别特征方法虽然取得了一定的效果，但不能完全 解决复杂的、不对环境进行约束的人脸检测问题。目前，研究者通常将这些低级别特 征的提取作为人脸检测系统前期处理部分。 2 、中高级特征分析 由于低级分析得到的低级特性和特征很可能是不明确的、不足以精确找到人脸或 人脸部件，例如，在用肤色模型定位面部区域时，相似颜色的背景目标也可能被检测 到。这就需要通过高级的特征分析来解决。这类人脸检测技术，通常利用人脸中固有 的几何特性来描绘和进一步校验各种特征。目前的研究成果中提到的人脸几何特征的 应用有两种方法：特征搜索与星座( c o n s t e l l a t i o n s ) 分析。 特征搜索指的是在检测到的显著的人脸特征的基础上，在其相关位置上进行连续 的特征搜索的策略。一个特征的存在可以通过检测到附近的特征而得到确认。由d e s i l v a 等【3 0 1 提出的面部特征提取算法是特征查找的一个很好的例子。j e n g 3 ”等人提出 一种在预处理以及二值化后的图像中，首先标识出所有可能的眼睛位鼍，然后针对每 个候选眼睛位置，根据人脸部件之间的几何关系搜索相应的鼻子、嘴、眉毛，在判决 图像区域是否有人脸时使用了一个如式( 1 - 1 ) 所示的评价函数，在对控制了光照等 外部条件采集的图像进行实验时，也得到了较为理想的效果。 e = o 5 e 纠日+ o 2 e 卅。腑+ 0 1 e t e 妒6 m w + o 1 e ，增 f 6 w + o 1 e 。 ( 1 1 ) 星座分析则是利用各种人脸模型把检测到的特征分成一些灵活的星座，在文献 硕士论文 人脸检测方法研究 3 2 ，3 3 ，3 4 ，3 5 ，3 6 ，3 7 ，3 8 ，3 9 ，4 0 】中提出了多种人脸星座，b u r l 等【3 3 , 4 1 】利用统i - # f 形理论 ( s t a t i s t i c a ls h a p e t h e o r y ) 从一个派生的多尺度高斯滤波器进行特征检测，取得了一定 的成功。 总之，在特征分析中，利用人脸的几何信息把视觉特征组织成人脸和面部特征的 更全局的概念。通过特征分析，降低了特征的不确定性，就可以确定人脸和面部特征 的定位。 活动轮廓模型描述了实际的物体和特征的高级外观。一旦在一个靠近一个特征的 封闭的范围内部使用，活动轮廓将与局部图像特征( 边缘、亮度) 交互并逐渐变形到 这个特征的轮廓上。在目前的人脸特征提取研究中主要有三种类型的活动轮廓模型 ( a c t i v ec o m o l l rm o d e l ) 。 第一类使用普通的活动轮廓，称为s n a k e ，最早由k a s s 等在1 9 8 7 4 2 1 年提出。s n a k e 是一条封闭或不封闭的弹性曲线，由若干个受控点组成的集合表示。一般用来定位头 或嘴唇的边界f 4 3 - “4 翳。第二类叫做变形模板，由y u i l l e 等f 4 6 】提出，是利用面部特征的 先验知识来改进s n a k e s 的性能。后来c o o t e sf 4 7 4 8 l 等提出利用一种一般的弹性模型， 叫做s m a r ts n a k e s 或p d m ，可以对人脸进行高效的判读( i n t e r p r e t a t i o n ) 。c o o t e s 等 的模型是基于一组加标记的点，这些点按照训练过程只允许变化到一个确定的轮廓。 这些方法是针对像眼球这样的复杂和非剐性的特征提取以及嘴唇跟踪等目的提出的。 1 3 2 自下而上的人脸检测方法 前面的讨论已经显示了通过明确地对面部特征建模的人脸检测方法已经被不可 预知的面部表情和环境条件的变化所困扰。尽管最近的一些基于特征的方法试图改进 应付这种不可预知性的能力，很多方法依然限制于检测正面图像或准正面图像。因此 仍然需要一些能在复杂背景下检测多人脸的技术。这种需求激发了一个把人脸检测作 为一个模式识别问题的新的研究领域。通过实例学习的方法获取模型的参数，避免了 应用特殊的人脸先验知识和参数模型。这消除了由于不完全或不准确的人脸知识带来 的潜在的建模错误。 模板匹配 最简单的方法是模板匹配 4 9 5 0 1 。该方法将人脸看作一个整体的模式，即二维 的像素矩阵。通过使用窗口扫描技术在各种比例上遍历搜索输入图像，然后将窗口图 像块与预先定义的人脸模板计算相似度，根据相似度量来判断人脸是否存在。基于模 板的人脸检测方法使用的模板都是预先由手工制作或定义的，在更加复杂的基于图像 块的人脸检测方法中同样涉及类似于“模板”的图像块，不同的是这些“模板”是通 过大量的人脸图像样本学习得来的。通常来说，基于图像块的人脸检测方法的效率依 硕士论文人脸检测方法研究 赖于统计数据的分析以及机器学习，从而使得图像块能够很好地区分人脸和非人脸区 域。 b d f 7 1 】 许多基于像素的人脸检测方法被划到概率论范畴。如果将待测图像块或其特征向 量视作一个随即变量x ，则待测图像块是人脸或非人脸的条件概率密度函数可以表示 为p ( x 1 人脸) 或p ( x h 人脸) ，于是可以使用贝叶斯估计或者最大可能性来判定待 测图像块是否为人脸。但是，这样处理出现了一个难题，即由于随即变量x 的维数 太高以及无法精确确定p ( x 1 人脸) 或p ( x 俳人脸) 中的参数，所以很难直接使用 贝叶斯估计。在实际的工作中，研究人员利用经验来大致确定p 0 ，w ，h 0 ，a e ( 0 ，4 5 ) ，如图2 4 所示。 h 图2 4 矩形定义 并定义矩形r 中的像素和定义为r e c s u m ( r ) 。那么图像中所有的特征可以定义为如下 形式： f e a t u r e 【= e w jxr e c s u m ( r 。)( 2 1 ) 其中w ，为比重。例如假设图2 3 中矩形特征2 a 的高为1 ，宽为6 ，在图像中的位置为 ( 1 0 ，2 0 ) ，那么其特征可以按如下方式计算： f e a t u r e = 一l r e c s u m ( 1 0 ，2 0 ，6 ，1 ，0 ) + 3 r e c s u m ( 1 2 ，2 0 ，2 ，1 ，0 ) 每种基本特征原型派生( 位置变化，大小变化，如图2 5 所示) 出的基本特征非 常多，特征的个数随着类型的不同以及图像大小的变化而变化，但可以按如下公式计 算： x = w w ， 为取整运算符 y = h h x 表示在宽度方向上的放大倍数，y 表示在高度方向上的放大倍数。w x h 对于原始大 小为w h 的正直特征原型，其派生后的基本特征个数为： x y ( w + i w ( x + i ) - - 2 ) ( h + i h ( y + i ) 2 )( 2 2 ) 硕士论文人脸检测方法研究 图2 5 同一矩形原形所派生出的三种不同位置不同大小矩形特征 表2 1 列出了图2 3 中的十四种特征原型分别在大小为1 9 1 9 和2 4 2 4 的图像上所 产生的基本特征总数。 表2 1 矩形特征个数 特征原型w ，h不同图像大小特征的个数 2 4 2 42 0 2 41 9 1 9 l a ；l bl ，2 ：2 ，i4 3 2 0 03 0 0 0 01 7 1 0 0 l c ：l d l ，2 ：2 ，11 2 6 5 08 4 4 54 8 4 5 2 a ；2 b1 ，3 ；3 ，1 2 7 6 0 01 8 9 0 01 0 8 3 0 2 c ；2 d1 ，3 ：3 ，l7 7 0 05 0 8 2 2 8 7 l 2 e ；2 fl ，4 ：4 ，11 9 8 0 01 3 5 0 0 7 6 0 0 2 9 ：2 h l ，4 ：4 ，l5 2 5 03 4 2 01 9 0 0 3 a3 ，38 4 6 45 7 9 63 2 4 9 3 b3 ，32 1 2 81 3 6 57 5 0 总计 2 4 2 9 9 21 6 5 8 5 59 4 2 9 l 2 1 2 积分图像 积分图像在图形学中也称s u m m e da r e a 表，s u m m e da r e a 表通常用来进行三维物 体的纹理影射【7 3 】和计算三维物体的不透明度7 4 1 。s u m m e da r e a 表示用于一个在矩形区 域上快速积分的一个离散函数的数据结构。图2 6 显示了一个二维的s u m e d a r e a 表 用于积分一个两个参数的离散函数。 针对这个函数的s u m m e da r e a 表是一个由离散函数f 计算得到的s a t ( x ，y ) 值的二 维数组。s a t ( x ，y ) 定义为从图像左上角原点( 0 ，o ) 到右下角( x ，y ) 这一区域上f ( x ，y ) 的积分。对于二维图像来说，f ( x ，y ) 是像素( x ，y ) 的值，本文采用的是像素的灰度 值。即： s a t ( x ，y ) = i ( x ，y ) ( 2 3 ) 硕士论文 人脸检测方法研究 对于任意一个输入图像1 只需要对图像从上到下，从左到右扫描一次就可以在固定时 间内计算出该图像的积分图像( 图2 6 ) ： s a t ( x ，y ) = s a t ( x ，y - 1 ) + s a t ( x 一1 ，y ) + i ( x ，y ) 一s a t ( x l ，y 1 ) ( 2 4 ) 其中 s a t ( 一1 ，y ) = s a t ( x ，一1 ) = o 利用积分图像，对于任意一个正直矩形r = ( x ，y ，w ，h ，o ) 的像素值之和可以通过查询四 次积分图像获得( 图2 6 ) ： r e c s u m ( r ) = s a t ( x 一1 ，y 一1 ) + s a t ( x + w 一1 ，y + h 一1 ) 一s a t ( x - 1 ，y + h 1 ) 一s a t ( x + w 一1 ，y 一1 ) ( 2 5 ) 图2 6 ( a ) 为s a t 示意图，左上角是( 0 ，0 ) 。( b ) 为计算任意一正直矩形的方法示意图。 对于旋转矩形的计算，则可以构造转积分图像。旋转积分图像即r o t a t e d s u m m e d a r e a 表，r s a t ( x ，y ) 给出了旋转4 5 度的最右点为( x ，y ) 矩形区域与图像边界内的像素 值之和( 图2 7 ) ： r s a t ( x ，y ) = e i ( x7 ，y ) ( 2 6 ) 对于任意一个输入图像i ，r s a t 的计算可以分两步完成，第一步从上到下从左到右扫 描输入图像i ( 图2 7 ) ： r s a t ( x ，y ) = r s a t ( x 一1 ，y - 1 ) + r s a t ( x l ，y ) + i ( x ，y ) + r s a t ( x 一2 ，y - 1 ) ( 2 7 ) 其中 r s a t ( 一1 ，y ) = r s a t ( x 。一1 ) = r s a t ( 一2 ，y ) = o 第一步完成后r s a t ( x ，y ) 的值是区域内像素纵坐标值大于y 的像素值之和。第二步从 下到上从右到左计算( 图2 7 ) ： r s a t ( x y ) = r s a t ( x ，y ) + r s a t ( x l ，y + 1 ) 一r s a t ( x 一2 ，y ) ( 2 8 ) 对于任意旋转矩形r = ( x ，y ，w ，h ，4 5 ) 的像素值之和也只需通过查询四次r s a t 表获得 ( 图4 7 ) ： r e c s u m ( r ) = r s a t ( x + w ，y + w ) + r s a t ( x h ，y + h ) 一r s a t ( x ，y ) 一r s a t ( x + w h ，y + w + h ) ( 2 9 ) 硕士论文人脸榆测方法研究 ( b ) 幽闳 ( d ) 图2 7 ( a ) nt s a t 表，( b ) 为构造t s a t 表的第一步，( c ) 构造t s a t 表的第二步，( d ) 计算任意的 旋转矩形的方法 2 1 3 小结 使用矩形特征实质上是图像像素点的排列组合，所以矩形特征可以最大限度的表 达图像所包含的信息，并且由于具有一定物理意义，所以相对来讲类内耦合度降低而 类问聚合度增加。由于是采用积分图像，对于本文的十四种特征原型所派生出的基本 特征的特征值计算都最多只需要从积分图像中去8 个值运算。 即使进行多尺度金字塔搜索时，采用缩放基本特征的方法而不是缩放图像本身， 即使在任意尺度搜索，只是查询位置变化，但都可以使用一个积分图像。例如：对于 当搜索目标图像时当前缩放尺寸为2 ，搜索窗口左上角位置为( x o ，y o ) ，不需要把目标 图像缩放到原来的二分之一，而是将特征放大两倍，位移( x o ，y 0 ) ，对于正直矩形 r = ( x ，y ，w ，h ，0 ) ，缩放后的特征值计算如下( 如图2 8 所示) ： r e c s u m ( r ) = s a t ( x l + x 0 ，y - l + y 0 ) + s a t ( x + w x2 - l + x 0 ，y + h x 2 - 1 一y 0 ) 一s a t ( x 一1 + x 0 ，y + h x 2 - l + y 0 ) 一s a t ( x + w 2 - l + x 0 ，y - 卜y 0 ) 相当于查询r = ( x + x 0 ，y + y 0 ，v 2 ，h 2 ，o ) ，对于旋转后的矩形也一样。也就是说， 整个检测过程，只扫描了原图一遍，这是这种方法速度非常快的根本原因。 图2 8 缩放矩形特征 顾士论文 人脸检测方法研究 2 2a d a b o o s t 算法 2 2 1 前言 对于给定特征集和正负训练样本，很多种机器学习算法可以用来训练分类器。 s u n g 和p o g g i o 使用混合高斯模型“，r o w l e y 等使用小的简单图像特征集和神经网络 1 1 1 , 1 2 】，0 s u n a 等人使用支持向量机川，y a n g 使用w i n n o w 稀疏网络 g a o l 。 如表2 1 所示1 9 1 9 的图像窗口所含的特征个数远远超过象素个数，即使每个 特征都可以被有效的计算，计算所有的特征的代价也是难以接受的。根据对基于神经 网络的人脸检测和基于w i n n o w 稀疏网络的人脸检测方法分析，不同的特征有着不同 的权值，不妨假设在众多的特征中只有很小一部分对构造成最终分类器起着决定作用 ( 最终实验证实) ，那么主要的问题如何来找到这些关键的特征。 2 2 2a d a b o o s t 算法 1 9 8 4 年v a l i a n t 介绍了机器学习的理论模型，1 9 8 8 年k e a r n s 和v a l i a n t 提出了 寻找自举算法的问题，s c h i a p i r 和f r e u n d 在二十世纪8 0 年代末9 0 年代初提出了第 一个多项式时间的自举算法，1 9 9 2 年d r u c k e r ，s c h a p i r e 和s i m a r d 做了第一次自举 实验，1 9 9 6 年f r e u n d 和s c h a p i r e 正式提出a d a b o o s