（计算机科学与技术专业论文）光照变化条件下的人脸检测与识别算法研究.pdf

两北丁业人学博i j 学位论文 摘要 摘要 鲁棒的人脸检测、识别系统应当能够处理在各种不同条件下采集的人脸图 像，其中的可变因素包括表情、光照、姿态、时间等。本文主要针对光照变化条 件下的人脸检测、识别问题，从图像增强和建立光照子空间两个方面做了相关的 研究，主要成果如下： 针对利用球诣函数估计图像的光照状态，需要已知物体表面法向量的限制， 本文基于平面模型推导出估计人脸图像的光照状态的线性方法，并且提出利用 “逆图像”与原图像相互补偿的策略，实现了对人脸图像光照状态的调整。其中， 补偿的权值可由图像本身的光照状态而确定。本文不但从理论上证明了线性光照 估计的合理性，并且应用在人脸检测实验中也取得了较好的结果。 根据反射理论，朗伯反射体的双方向反射函数可以看作是一个低通滤波器， 使得其反射光线主要由低频信息组成。但由于人脸的非凸性或者光源的不连续 性，人脸图像中往往还会包含一些高频信息，如：阴影边缘等。基于、矾眦c r 滤 波器的自适应性，本文给出利用w i e n e r 滤波器从图像中提取信息作为对光照状 态的估计的方法。由于w i e n e r 滤波器在提取低频信息的同时，也保留了部分高 频信息，使得对光照的估计更加准确。在调整图像的光照状态时，仍然采用了“逆 图像”与原图像互补的策略。通过人脸检测实验，验证了该方法训整图像光照状 态的有效性。 根据环境中光照状态的变化，人的视觉系统会作自适应的调整，使得成像效 果达到最佳。模拟人的视觉自适应调整机制，本文推导出一个光照全局调整函数， 并提出利用图像本身的光照状态来确定调整函数参数的方法，实现了对图像光照 状态自适应的调整。经过全局调整函数调整之后，曝光不足图像的对比度和灰度 绝对值均有相应的提高；过度曝光图像的对比度也会有所提高，同时灰度绝对值 有所下降。光照全局调整函数可以极大的改善图像质量，人脸检测实验验证了调 整效果。 针对光照全局调整函数中可能会忽略图像中局部细节信息的问题，本文利用 局部信息与整体信息相结合的策略，给出了光照细节调整函数。对于函数中的参 数，本文提出通过对图像质量的评价实现参数优化的方法，并以灰度熵作为评价 的客观标准。光照细节调整函数中，每点的局部信息与图像的全局信息通过双线 性差值结合在一起，共同决定了对该点的调整程度，有效补偿了全局调整函数对 摘崾 西北工业人学博i 。学位论文 于较亮信息的细节抑制作用。经过细节函数调整之后，图像的局部细节丰富、整 体亮度适中，图像中信息的可辨识度有所提高。利用光照细节调整函数作为人脸 检测算子的预处理方法，可以有效的提高检测系统的检测率。 鉴于9 点光照子空间的基图像可以较容易的在真实物理环境中采集到，本文 提出基于最大后验概率估计从单张图像恢复目标物体9 点光照子空间的算法。与 其它同类算法相比，本文提出算法的训练样本更容易获得。可操作性更强。而且 利用目标物体任意光照状态下的单张图像都可恢复出该物体的9 点光照子空间， 具有一定的推广性。多个标准人脸数据库上的各种光照状态下的人脸识别实验， 验证了该算法恢复出的9 点光照子空间，可以很好的表达目标物体在不同光照条 件下图像的变化。 基于图像增强的各种光照处理算法( 线性光照估计与补偿、基于w i e n e r 滤波 的光照估计与补偿、光照全局调整、光照细节调整) 不需要先验知识，直接利用 图像本身的光照状态作相应的调整。建立光照子空间的光照处理算法，虽然需要 训练样本，但对光照变化描述的更加准确。实际应用中可根据不同的条件选择不 同的算法。 关键词人脸检测， 人脸识别，光照变化，图像增强，光照子空间 i i 堕韭三兰竺叁兰竖! ：兰垡丝兰 垒! ! ! ：竺! a b s t r a c t ar o b u s t f a c ed e t e c d o na n dr c c o g n i t i o ns y s t e ms h o u l dh a v et 1 1 ea b i l i t yt od e a l w i t ht h ev a r i a n c eo ft h ei m a g e sc a u s e db y 自c i a le x p r e s s i o n s ，i l l u m i n a t i o nc o n d i t i o 璐， p o s e s ，a n da g e s o u rp a p e ri sm a i n l yf o c u s e di nt h ei i l u m i n a t i o nv a r i a n c e s o m en e w m e t h o d sa r ep r o p o s e db ym e a n so fi m a g ee i l l l a n c e m e n ta n dc o n s t n l c t i o no f j l j u m j n a f i o ns u b s p a c ef e s p e c “v e l y t h er e q u i r e m e n cf o ft h es u r f a c en o 九t l a lo fe v e r yp i x e lo nt h es l l r f a c el i m i t st | l e a p p l i c a c i o no fs p h e c a lh a r m o n i c 也e o f y b a s e do nt h ep l a n a rm o d e i ，w ed e d u c ea l i n e a rm e t h o dt oe s 石m a t et h er c f l e c t e dl i 曲to ft h es u b j e c t t ba d j u s tt 1 1 ei l l u m i n a t i o n c o n d i t i o n so ft h ei m a g e s ，w ep r o p o s et h ei n v e r s ei m a g et oc o m p e n s a t et 1 1 eo r i g i n a l i m a g ew h e f et h ec o n 五d e n c em a t f i xi sd e t e n l l i n e db yt h ei l i u m i n a t i o nc o n d i t i o n so f t h e i m a g e s w ep r o v et t l em e m o di nt l l e o r ya n dt e s fi ti nd e t e c t i o ne x p e r i m e n t s 笛w e l l a c c o r d i ! l gt o 山er e n e c l i o nt h e o r y i l l eb r d fo fl 锄b e n i a ns u r f a c ec a nb e c o n s i d e 心da st h el o w p a s sf i l t e rf o rt h ei n c i d e n tl i g h t t h u st h er e f l e c t e dl i g h ti s m a i n 】ym a d eu po fl o w f k q u e n c yi n f o 唧a t i o h o w e v c r ，t 1 1 e r e j sa l w a y ss o m e h i g h f h q u e n c yi n f 0 册a t i o ni nt l l ef a c ei m a g e s ，s u c ha st h ee d g e so f t h es h a d o w s ，d u e t o 山en o n c o n v e xf a c eo rt h en o n - c o n t i n u e dl 培h ts o u r c e t h ew i e n e rf i l t e ri sa p p l i e d t oe x t r a c tt h ei n f o r m a t i o a 台o mi m a g e st oa p p x i m a t et h ei l l u m i n a f i o 啦w h i c hc a n s m o o mt h e1 0 w f r e q u e n c yi n f o 肿a t i o nw h i l ek e e pt h eh i g h f r e q u e n c yp a r t s t h e i n v e r s ei m a g ea n do g i n a li m a g ea r ec o m p e l l s a t e df o re a c bo t h e ri nt h ep r o c e d u r eo f r c n d e r i n gi m a g e t h ef a c ed e t e c t i o ne x p e r i m e n t ss h o wc h e e 行宅c t i v e n e s so ft h e m e t h o d a c c o r d i i l gt 0m ei i l u m i n a t i o no f t h ee n v i r o n m e n t ，t h eh u m a nv i s i o ns y s t e mc 肌 a d j u s ci c s e l fa d a p c j v e j yi no r d e r 的g e cab e t c e rj m a g e b a s e do nm ea d a p t a c j o no f h u m a nv i s i o n s y s t e m ，w ed e d u c e ag l o b a l a d j u s t n l e n t f u n c t i o nt o a d j u s t t h e 川u m i n a t i o nc o n d i i i o i l so fi m a g e s t h ep a r a m e t e r0 ft h e 如n c l i o ni sp m p o s e dt ob e d e c i d e db yt h ei n t e n s i c yd i s t b u t i o no ft h ei m a g e s t h a ti st h e9 1 0 b a la d j u s t m e m m n c t i 衄c a na d j u s tt h ei m a g e sa d a p t i v e l yt oi t si l l u m i n a t i o nc o n d i t i o n s f o rt h eu n d e r e x p o s u r ci m a g e ，t h e 如n c t i o nc a ne n h a n c ei t sc o n f r a s 【a n db r i g h c n e s s ；f o rt h eo v e r e x p o s u r ci m a g e ，i tc a ne n l a 唱et h ec o n t r 踮ta n ds u p p r e s st 1 1 ea b s o l u t ei n t e n s i t yv a l u e o fe v e r yp i x e i a sar e s u l t ，t h eg l o b a la d j u s c m 朋tm n c t i o nc a na j l e v i a t ct h ei n f l u e n c e l a b s t r a c t两北t 业人学博l ：学位论文 o f - t h el l i u m l n a t l o n d u et ot h er c a s o n 幽a t9 1 0 b a ja d j u s n n e n t 缸n c t i o nm a ym a k es o m ed e 谢l sl o s lw e i m p r o v et h eg l o b a la d j u s t m e n t f u n c t i o nw i t h c o m b i n i n g t h el o c a la i l d g l o b a l i n f o m a t i o ni nt h ef u n c t i o na n dg i v ead e t a i l e da d j u s t | i l e n t 如n c t i o n w ep r o p o s et o o p f i m i z et h ep a r a m e t e r sb a s e do nt h ee v a l u a t i o no ft h ei m a g eq u a 】i 以w h e r et h e i n t e n s i t ye n t m p yi sa p p i i e dt o e v a l l l a t et h ei m a g e t h ed e g r e eo fa d j u s 仃n e n ti s d e t e n l l i n e db yt h el o c a ic o n d i t i o n so fe v e d ，p i x e la n dt h eg i o b a lc o n d i t i o n so ft h e i m a g e ，t h u st h ed e t a 钉sc a nb ek e p tw e 】1 t h ee n 仃o p yv a i u eo f t h ei m a g er c n d e r e dw i 血 t h ed e 凶l e da d j u s t r l l e n t 如n c t o nw i l li n c r e a s e d a l s ot h ea p p e a f a n c eo f t h ei m a g ew i l l b e c ho fd e t a i l sa n dw i t h 1 ep r o p e rb r i g h t n e s s 硒w e l l c o n s e q u e n t l yt 1 1 ei m a g ew i l l b e c o m em o r ed j s c r i m i n a t i v e 1 1 1 eb a s ei m a g e so f9p o i n tl j g h t ( 9 p l ) s u b s p a c ec a nb ee a s i l yg o n c ni nt h er e a l e n v i r o n m e n t w ep r o p o s eam a x i m u map o s t e r i o r ( m a p ) e s t i m a t i o nb a s e da l g o t h m t or e c o v e rt h eb a s e i m a g e so f9 p ls u b s p a c ef b mas i n g i ei m a g e ( 9 p l m a p ) c o m p a r e dw i t ho 山e rm e t h o d s b a s e do ns t a t i s t i c s ，t h ep m p o s e dm e t h o dd on o tr e q u i r e f o rc o m p l e xt r a i n i n gs a m p l e s ，t h a ti si tc a nb ep r a c t i c e dm o r ee a s i l ya n di tc a n r e c o i l s t r u c tt h e9 p ls u b s p a c eo fas u b j e c tt h m u 曲a 芏1i m a g et a k e nu n d e ra r b i t r a r y i l l u m i n a t i o nc o n d i t i o i l s ，w h i c hs h o w si bg o o dg e n e r a l i z a t i o n i nt h er e c o g n i t i o n e x p e m e n t s ，w ep r o b et h ep r o p o s e da j g o r i t h mo nd i f f e r e n ts t a n d a r df a c ed a t 曲a s e s t h er e c o v e r e d9 p l s u b s p a c eb yt h ep r o p o s e da l g o r i t h ms h o w si t sa b i l i 哼t 0r c p r e s e m t h ei 1 1 u m i n a t i o nv a r i a n c eo fas u b j e c tu n d e rd i 饪b r e n ti l l u m i n a t i o nc o n d i t i o n s t h ei m a g ee n h a n c e dm e t h o d s ( i n c l u d i n gt h el i n e a re s 石m a t i o n & c o m p e n s a 6 0 n f n e t h o d ，w i e n e rf i l t e re s t i m a t i o n c o m p e i l s a t i o n ，g i o b a la d j u s t m e n t 如n c t i o na n d d e t a i l e da d j u s n n e n t m c f i o n ) d on o tn e e d a n yp r i o rk t l o w l e d g e a l i n e e d c d i n f o m a c i o nu s e df o ra d j u s t i i l e n tc a j lb ee x t r a c t e df r o mi m a g e sc h e m s e l v e s a l t h o u 曲 t h er e c o n s t m c t i o no f 潮u m i n a t i o ns u b s p a c en e e d ss o m et r a i n i n gs a m p l c s ，i tc a lg i v e a ne x a c td e s c r i p t i o nf o rt h ei l l u m i n a t i o nv a r i a n c e i np r a c t i c e ，d i f f b r e n tm e t h o d sc a n b ec h o s e nf j rd i f i e r e n te n v i r o n m e n t s k e y w o r d sf a c ed e t e c t i o n ，f a c er e c o g n j t j o n ，1 1 1 u “n a l i o nv a r i a n c e ， i m a g ee n h a n c e m e n t ，1 1 1 u m i n a t j o ns u b s p a c e i v 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文t 作 的知识产权单位属于西北l ：业人学。学校有权保留并向国家有关部门或机构送交论文的复 印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业 人学。 保密论文待解密后适用本声明。 学位论文作者签名：叠盟选 埘6 年5 月8 曰 指导教师签名： 年，月9 日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本 人在导师的指导f 进行硎。究1 作所取得的成果。尽我所知，除文中已经注明引用的内容 和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成 果，不包含本人或其他已申请学位或其他用途使用过的成果。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式表明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名 煎堕邀 州年5 月占日 两北丁业人学博1 学位论文 第一章结论 1 1 研究背景 第一章绪论 本文课题来源于我校与比利时不鲁赛尔自由大学联合申请的中国科技部与 比利时弗拉芒大区政府间合作项目“现实世界的机器视觉：说话人头部”( 批准 号：国科外欧便字( 2 0 0 1 ) 第0 3 4 号) 以及“音视频语音识别与合成：多模态方法” ( 批准号：国科外函( 2 0 0 4 ) 第4 8 7 号) 。 随着计算机系统性能的大幅度提高以及广泛使用。需要大量运算和存储空间 的计算机视觉系统也有了广泛应用的基础，使得基于图像的目标检测、识鄹、分 析等相关的研究也得到了广泛的关注。其中基于生物特征，如视网膜、虹膜、指 纹、人脸以及步态等特征的身份鉴定系统逐渐成为了研究的热点。因为基于多种 生物特征的识别系统与现有的基于密鹳、符号等的身份鉴别技术丰h 比，具有不易 仿造、窃取，不会遗忘等优点。在生物特征识别系统中，视网膜、虹膜和指纹的 研究相对已经比较成熟，在实际应用中取得了较好的结果。但是，采集视网膜、 虹膜和指纹的过程是一个主动过程，具有一定的侵犯性，而且需要使用者的合作 和配合，因此会给使用者带来不便。相对丽言，人脸和步态特征采集过程是一个 被动过程，采集的方式更加的友好、自然，鉴别的过程也更加符合人的认知心理 过程。人脸识别与步态识别相比，人脸识别主要应用于近距离的身份鉴定，而步 态更注重的是人的整体动态特征，通常是进行远距离的身份鉴定。随着视频采集 设备精度的进一步提高，设备日趋便宜、轻便、小型化，以及对视觉鉴别系统性 能需求的提升，单个生物特征往往不能满足要求，基于多特征的检测、识别系统 会成为下一步的研究重点。而其中基于人脸图像的相关分析也必将成作为一个不 可忽略的重要组成部分。 一个完整的人脸图像处理系统应该包含人脸检测和人脸识别两个最基本的 功能。人脸检测可以看作是一个特殊的两类识别问题，亦即要寻找所有人脸的共 同特征以来区分所有的非入脸目标。丽人脸识别是要寻找每个人脸的特征以区别 于不同的人脸。因此，人脸检测和识别方法并没有本质上的不同。只是由于待处 理问题的内容不同而导致的分析方法不同而已。但是对于人脸检测和识别都有一 个共同的问题需要处理，即类内变化，由于人脸在不同的姿态、表情、光照、拍 摄时间下都会有不同的表像，所以，一个鲁棒的处理系统应该能够处理人脸在不 同状态下的变化。本文将着重于处理由于光照环境的变化给人脸图像带来的影 第一章绪论两北工业人学博l 。学位论文 响，使得光照变化对图像的影响或者对算法的影响降到最小。 本章将首先分别回顾人脸检测和识别的发展过程，并且简要的介绍其中一些 具有代表性的工作。然后。将介绍本文的主要工作以及文章的结构安排。 1 ，2 人脸检测的发展 人脸检测技术最早可以追溯到二十世纪七十年代，当时主要采用了一些启发 式的知识以及有关于人体测量的技术【l 】。早期的人脸识别技术非常的不成熟， 通常都是基于大量的假设前提的，要求背景简单，人脸正对镜头，也就是一些典 型的室内证件照片拍摄的环境。对于这些早期的系统而言，如果图像采集环境发 生变化，系统的参数就要做相应的调整，系统的鲁棒性能还不是很好。 直到上世纪九十年代，随着一些实用的人脸识别和视频编码系统的出现，这 种状况才有所改观【2 】。分别出现了基于人脸的先验知识的检测方法【3 ，4 】，以及利 用人脸上的各种特征，如：面部关键器官【5 9 】、纹理 1 0 一1 2 】、颜色【1 3 1 8 】等的人 脸检测。同时随着模式识别理论的发展，各种基于图像特征( a p p e a r a n c eb a s e d ) 的 方法充分的应用到入脸检测中。主成份分析( p n c i p a lc o m p q n e n la n a l y s i s ， p c a ) 3 9 】，概率模型 4 2 4 4 】，以及隐马尔可夫模型( h i d d e nm a r k o vm o d e l ， h m m ) 【6 1 ；6 2 】等部用于描述人脸的各种变化。在对分类器的设计和训练中，基于 神经网络( n e u t r a in e t 、v o r k ，n n ) 【4 5 5 5 】，支撑向量机( s u p p o nv e c t o rm a c h i n e s ， s v m ) 4 l ；5 6 ；5 7 】以及b o o s 面g 【6 6 7 0 的方法都有所应用。 而在过去的十年中，人脸检测技术的各个重要的方面都取得了长足的进步。 在基于神经网络的人脸检测系统中，r o w l e y 的人脸检测系统【5 1 ；5 2 】，以及y a n g 等利用s n o w ( s p a r s en e 咐o r ko fw i n n o w ) 策略构建的检测系统都获得了较好的 结果 5 5 】。v j o i a 利用积分图像以及a d a b o o s t i n g 进行特征选择和分类器训练实现 了快速人脸检测系统 3 4 。 对于现有的各种人脸检测方法，可以分为如下4 类，但是也有很多检测方法 是多种策略的组合，表1 1 中列出了各类方法的代表性的工作。 1 1 基于知识的方法：融合了对于人脸的先验知识通常描述人脸特征间的 关系，主要用来做人脸图像的方向检测。 2 ) 基于不变特征的方法：目的是要寻找出一些结构特征。希望这些特征即 使是在目标姿态、采集视角或者光照条件发生变化的时候仍然可以描述 人脸。该方法主要用来做人脸图像的方向检测定位。 3 ) 基于模板匹配的方法：通过存储用于描述人脸的特征( 可以是整体的描述 也可以是对每个特征的分别描述) ，比对输入图像的相应特征与所存储特 征间的关系以作出检测判断。该类方法既可以做人脸的方向检测又可以 做人脸检测。 2 西北t 业大学博i ：学位论文 第一章绪论 表1 1 笄种人脸捡测方法及其代表件旧t 作 办法代丧r 主的i ：作 基于知识的方法多分辨率基j 二规则的方法【3 】 基于不变特征的方法 面部特征 纹理特征 皮肤颜色 多特征结合 模板匹配 固定模板 可变模板 形状统计模型描述面部特征【8 空间基于灰度的矩阵( s g l d ) 1 2 】 混合高斯模型【2 5 】、， 结合肤色特征尺寸大小以及形状特征【2 l 】 形状模板局部化【3 2 形状统计模型【3 7 基于图像的方法 特征脸特征向最的分解和聚类【3 9 】 基于分布的方法概率p c a 决定样本分布【4 3 】 神经网络多层神经网络结构 4 0 】 s v m 以多项式为核的s v m 【4 1 联合概率模型局部特征和位置的联合概率分布【5 8 】 h m m 利用高阶统计量的h m m 6 1 信息理论利用相关函数寻找最大的类别差异【6 5 】 b o o s f i n ga d a b o o s t i n g 【3 4 ，鲁状b o o s t j n g 6 9 4 ) 基于图像的方法：与模板匹配方法相比较，该类方法的模型直接从训练 图像中得到因为训练图像本身就描述了人脸在不同情况下的状态。通 过学习得到的模型就可以来作人脸检测。 1 2 1 基于知识的方法 该类方法主要是基于人脸的先验知识。利用人脸的先验知识可以比较容易的 描述出入脸中几个器官间的关系，如：人脸上通常有两只眼睛并且两眼的位置是 对称的，还有一个鼻子和一张嘴。几个器官间的关系可以通过器官间的相互距离 以及位置关系得以表达。对于一幅图像可以先提取出其所包含的特征点，然后根 据规则的描述进行匹配。该类方法的一个主要问题就是很难把人的知识转化为一 个执行性很强的规则。如果规则定的过于具体、严格，则可能导致检测不到符合 规则的人脸；反之，如果规则过于松散，则会检测到过多的错误人脸( f a i s e 第一章绪论西北工业大学饵j 。学位论文 p o s i t i v e ) 。而且，如果要检测的人脸的拍摄条件发生变化时，规则往往不具有推 广性，需要重新给出一套瓤的规则。基于知识的启发式人脸检测方法可以用于检 测在简单背景下的正面人脸。 y a n g 和h u a n g 基于启发式的知识，利用“从租到精”的三级规则来检测人 脸【3 】。k 丑n a d e l 4 】成功的利用了水平、垂直投影方法来确定人脸的轮廓。但是在 复杂背景或多人的情况下，投影的方法并不合适。该方法只适合于没有过多干扰 的情况。 i 2 2 基于特征的方法 人可以在不同的环境中很容易的识别出各种姿态下的人脸，于是一定存在一 些具有不变性的特征，因此，研究人员期望通过寻找具有不变性的特征来实现人 脸检测的任务。通常，利用边缘检测的方法可以得到人脸上的很多特征，如：眉 毛、眼睛、鼻子、嘴巴、发线等。然后通过统计模型来描述相关特征间的关系， 进而可以判断出图像中是否含有人脸。但是，对于基于特征的方法来说，还有一 个比较重要的问题没有解决，即在光照的变化、噪声的干扰以及其他物体的遮挡 之下，提取的特征很可能发生严重的变化。例如，阴影就可以使得特征的轮廓减 弱，而且阴影的轮廓电容易被认为是人脸特征，使得特征的表征性能严重的下降。 1 2 2 1 面部特征 描述面部特征最简单直接的方法就是利用线条和区域。文 5 】提出利用边缘图 从复杂背景中分割人脸的方法。文 6 】提出了利用小区域特征来描述人脸的方法。 文【7 】结合了双眼与整脸的关系做人脸检测。l e u n g 等提出了利用形状的统计模型 描述面部特征间关系的方法【8 】。y o w 和c i p o l l a 提出【9 】利用活动轮廓模型检测人 脸面部器官实现人脸检测的方法。 1 2 2 2 纹理特征 由于人脸上的纹理信息是与其他物体截然不同的，所以可以用纹理信息来检 测人脸是否存在。文【i o 定义了一组类似人脸的纹理，利用二阶统计特征 ( s e c o n d 。o r d e rs t a t i s t j c a jf c a t u r e ) 【1 1 】来描述纹理，并且定义了头发和皮肤两种纹理。 人脸范围的确定，是通过寻找图像中头发和皮肤同时出现的区域实现的。文【1 2 1 也利用纹理信息来检测人脸，但在利用纹理模型之前，先利用颜色信息( 类似桔 色的颜色1 来寻找候选区域。这样做的好处是不管人脸的方向如何或者还是有胡 4 两北t 业人学博j ：学位论文 第一章绪论 孑或者跟镜等都可以检测到人脸。 1 2 2 3 皮肤颜色特征 通过人脸检测、手势跟踪等应用的证明，皮肤的颜色特征是个非常有效的特 征。尽管有不同的肤色，但是研究证明强度上的不同是大于色度上的不同的【1 3 】。 很多不同的颜色空间都被用来描述皮肤的颜色，包括有通常的r g b 空间 1 4 ， 归一化的r g b 空间 1 5 】。h s v ( h s i ) 空间【1 6 】，y c 庀b 空问【1 7 】，y i q 空间 1 8 】， y e s 空间【1 9 】，c i ex y z 空间【2 0 】，以及c i el u v 空间【2 1 】。最简单的肤色模型 就是利用c f 和c b 值定义一个肤色的色调范围f j 7 ；2 2 ；2 3 】。 颜色信息虽然在检测人脸区域和人脸特征上比较有效，但是当光照的频谱发 生变化的时候颜色信息的变化还是比较剧烈的。文【2 4 提出了基于物理模型的在 不同光照下的颜色连续性模型。文 2 5 】采用随机模型在线的估计目标的颜色分 布。文【2 6 利用彩色直方图进行颜色校正。 肤色特征本身直接用作检测并不是很充分的，通常是多个特征结合在一起， 例如：形状、颜色、运动等特征，用来在序列图像中跟踪头部或者人脸1 2 1 ；2 5 ；2 7 】。 1 2 2 4 多特征结合 大多数系统通常是利用多个特征结合在一起做人脸检测，最常使用的全局特 征有肤色，尺寸以及形状用来检测人脸的候选区域，然后利用一些局部特征，如： 眼睛，鼻子。头发等来进一步验证候选区域。 y a c h i d a 等提出了采用模糊模型来描述皮肤和头发在c l ex y z 空间中的分布 模型【2 8 】。t e 州l l o n 利用高斯颜色模型来提取颜色相同的点，并且采用f o u r i e r m e l l i n 变换提取了1 1 个低阶的几何矩来描述形状特征【2 9 】。人脸的对称模式也被 应用到人脸定位中，文【1 9 利用对称关系判断出- 两眼的位置，嘴部的中央、鼻尖 的定位通过他们与眼睛的相对距离确定。文【3 0 煨出利用局部对称信息和颜色特 征进行检测的方法。 相对于点操作，文【2 l 】结合了结构、颜色和几何特征做人脸检测。文 3 l 】提出 了利用深度信息和颜色特征做人脸检测的方法。 1 2 3 模板匹配 在模板匹配中通常手工定义或者利用参数模型定义人脸的模型。固定模板通 常由人脸外围轮廓、眼睛、鼻子、嘴巴等特征以及相互关系组成，测试图像通过 第一章绪沦西北工业人学博i 学位论文 计算与模板的相关系数来判断是否是人脸。固定模板匹配的优点是简单，但是， 当人脸的尺度、姿势、形状发生变化时，传统的模板匹配方法就会失效。因此， 研究人员提出了多分辨率、多尺度、多模板以及可变模扳等方法处理人脸在尺度、 形状上的变化。 1 2 3 1 固定模板 c r a w 等提出了基于形状模板的局部化方法【3 2 1 。首先利用人脸轮廓模板寻找 候选的入脸位置，对细节的判断上采用了一组4 0 个模板，并且利用了一些控制 策略得到最后的检测结果。文 3 3 】直接利用人脸轮廓生成椭圆模板来检测人脸。 虽然光照的变化可以改变人脸上各个部分的绝对灰度值，但是他们之间的相 对灰度值改变的并不是很大。因此，两区域之间的灰度比值可以作为一个不变性 特征来描述人脸。在快速人脸检测中基于灰度差异的模板也得到了很好的应用 【3 4 】。 1 2 3 2 可变模板 可变模板算法常采用参数化的模板来描述人脸特征，并通过最小化参数的能 量函数得到最佳的弹性模型 3 5 】。尽管他们的试验结果较好。但是该方法的一个 缺点是要求初始化曲线离目标较近。文 3 6 】给出了利用活动轮廓( s 肋k c ) 和模板做 人脸检测的方法。 c o o t e s 和t a y l o r 采用了形状统计模型来捡测人脸 3 7 】。他们首先定义了一个 长方形区域，区域中包含了人脸特征信息。然后利用要素分析( f a c f o ra n a l y s i s ) 来 寻找符合训练数据的特征从而获得一个分布函数。候选特征通过概率测量来确 定最后利用活动形状模型( a c t i v es h a p em o d e l ，a s m ) 来验证。a s m 还和k a l m a n 滤波的方法结合在一起来估计任意形状下的灰度参数，从而实现序列图像中的人 脸跟踪3 8 1 。 1 2 。4 基于图像特征的方法 在基于模板的方法中，模板通常是通过先验知识定义的，而在基于图像特征 的方法中，所利用的“模板”是从训练集中学习得到的。通常，基于图像的方法 是利用一些统计分祈以及机器学习的方法来寻找能分辨出入脸与菲脸的相关特 征。特征一般以分布函数或者判别函数的形式出现。为了提高检测的效率，降维 也是一个重要的操作环节。 6 西北t 业人学博f ：学位论义第一章绪论 大量的基于图像的方法都着重研究如何利用参数或者非参数模型来近似类 条件密度函数。而另外一类基于图像的方法则着重于寻找脸与非脸的判别函数， 即寻找分类面、超平面、阈值函数等。传统的方法是把图像投影到低维空间然后 寻找分类面【3 9 ；4 0 】，但是基于支撑矢量机或者核的方法，则是把图像映射到高维 空间后再寻找分类面 4 1 】。 1 2 4 1 特征脸 t u r k 和p e n t l a n d 利用土成份分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 做人脸识 别和检测 3 9 】。他们也是利用训练图片生成特征脸( e i g e n f a c e ) 张成人脸子空间。 人脸图像投影到该空间上然后做聚类实现识别。对于检测，非人脸图像也投影到 子空间上做聚类。人脸在人脸子空间上的投影变化不是很大，但是非人脸图像的 投影变化则很大，于是通过计算一幅图像中所有局部区域图像到人脸空间的距 离，并且寻找到局部极小值就可以达到人脸检测的目的。寻找特征空间的思想已 经被很多人脸检测、识别以及特征提取的方法所采用。 1 2 _ 4 2 基于分布的方法 s u n g 和p a g g i o 提出了一套基于分布的人脸检测方法，即对于某类目标的分 布形式可以通过学习该类目标的正例和反例得到【4 2 】。m o 曲a d d a m 和p e n t l a n d 在 估计高维样本的分布函数时，引入了p c a 分解的思想【4 3 。p c a 可以将向量空 间分解为两个互相垂直的空间。然后利用多维高斯模型和混合高斯模型来估计两 个分布。检测或者识别的任务可以通过最大似然概率实现。【4 4 】给出了利用混合 要素分析( f a c t o r a n a l y s i s ) 的方法估计训练样本分布的方法。 1 2 4 3 神经网络 神经网络在人脸检测上有着广泛的应用。利用神经网络做人脸检测的好处就 是神经网络可以描述复杂的类条件密度函数，缺点就是网络的结构往往是利用先 验知识来确定的。p r o p p 和s a m a l 较早的把神经网络用于人脸检测 4 5 】。时间延 迟网络 4 6 ，卷积网络 4 7 】，s o m 【4 8 】，自联想网络【4 9 】，以及基于概率决策的神 经网络【5 0 等都在人脸检测上有所应用。 在基于神经网络的人脸检测中，比较成功的一个应用是r o w l e y 提出的一个 多层神经网络结构 4 0 ；5 l ；5 2 。文【5 3 】中，r o w l e y 改进了该方法使之可以检测多 7 第一章绪论 西北工业人学博i 。学位论文 姿态下的人脸。 s n o w ( s p a r s en e 咖r k 、v i n n o w s ) 是关于线性函数的稀疏的网络结构，并且 利用扬谷( w i r l n o w ) 的策略进行更新 5 4 】。s n o w 是针对学习含有大量有效特征但 是对于特征的先验知识很少的目标模式而设计的。y a n g 等利用s n o w 学习结构 做在表情、姿态以及光照都有变化的情况下人脸检测，并取得了较好的结果 5 5 】。 1 2 4 4 支撑向量机 0 s u n a 等首次和用支撵向量机( s u p p o r tv c c t o fm a c h i n e s ，s v m ) 做人脸检测 4 l 】。s v m 提供了一种不同于传统训练策略的训练方式，即最小化结构风险。 s v m 是一个线性分类器，其分类面由训练集中的支撑向量决定。在文 4 1 】中，给 出了一种有效的s v m 训练方法使之能够应用于大规模的数据上，并且在人脸检 测上作出了成功的应用。文【5 6 】利用s v m 在小波域上做人脸、行人检测。文 5 7 】 给出多层s v m 结构做人脸检测。 1 2 4 5 联合概率分布 由于局部特征有时会比全局特征更加的明显，文【5 8 】给出了一个用来描述人 脸的局部特征与特征位置的联合概率密度函数。文 5 9 】对该方法做了推广，利用 小波来描述特征，并且应用于侧面人脸和汽车的检测。 文【6 0 1 利用联合概率模型来描述人脸局部特征。他们首先利用多尺度、多方 向的滤波器提取图像的局部特征。对于特征的分布情况用混合高斯模型来描述。 检测时通过似然函数决定检测到的是否为人脸。 1 2 4 6 隐马尔可夫模型 文 6 l 】利用h m m 来学习人脸到非脸和非脸到人脸的转移概率，即根据观测 序列学习h m m 的参数。观测序列通过计算子图到每个人脸和非脸聚类中心的距 离得到。通过，训练得到最佳观测序列之后，就可以用其来做测试图像的判断。 文 6 2 1 利用自组织h m m 做人脸检测a 1 2 4 7 信息理论 在人脸中，基于上下文的约束的具体表现就是每个象素点与其邻域的关系。 g 两北丁业大学博i 。学位论，= 匕 第一帝绪论 马尔可夫随机场( m a f k o yr a n d o mf i e l d ，m r f ) 理论提供了一个描述基于内容的特 征的方法。 文f 6 3 】利用离散的马尔可夫过程来描述人脸和背景阃的差别并且估计他们的 概率模型。文【6 4 运用多级马尔可夫模型和最大后验估计结合模板匹配和基于特 征的方法做人脸检测。文【6 5 】分别从人脸和非人脸的训练集中学习到人脸和非人 脸的分布函数p ( 砷和g ( 曲。并且利用相关函数，寻找p (