（控制理论与控制工程专业论文）彩色图像中的人脸检测.pdf

硕士论文彩色图像中的人脸检测 摘要 人脸自动识别系统是目前生物识别领域的热门研究课题，其关键技术之是人脸检 测。随着模式识别和计算机视觉的发展，如何有效利用色彩信息提高人脸检测成为研究 重点。本文针对彩色图像人脸检测问题进行了以下研究工作： 1 ) 介绍了几种常用的肤色分割方法，针对肤色在y c b c r 色彩空间椭圆分割和在 h s v 色彩空间简单阈值分割的不足，本文提出了一种改进的肤色分割方法，兼顾了效率 和精度。 2 ) 在肤色分割基础上，结合数学形态学处理和连通区域分析、面积关联等特征， 对候选人脸图像进行筛选，以期获得较好的人脸检测效果。最后给出该算法的实验结果， 并对其进行了深入的分析。 3 ) 分析比较了几种常用的光照补偿方法，针对传统的补偿方法存在易受背景色影 响，造成图像高亮的缺陷，本文提出了基于线性变换和指数变换的一种新的光照补偿方 法，有效的抑制了色彩偏移，提高了肤色分割的精度。 4 ) 在人脸定位的基础上，对眼睛定位进行了深入的研究。根据眼睛的色度和亮度 信息，结合眼睛几何关系，提出了一种基于色彩和几何特征的人眼定位方法。 5 ) 由于基于肤色的人脸检测易受光照和类人脸区域的影响，而直接采用支持向量 机( s v m ) 检测人脸图像速度较慢。针对这两种方法的不足，提出了基于肤色分割和 支持向量机的人脸检测算法。在检测过程中，采用主成分分析法提取样本特征，降低了 光照和类人脸区域对检测效果的影响；运用金字塔策略对肤色分割提取的待检区域进行 搜索，提高了检测速度。 关键词：人脸检测，肤色分割，人眼定位，主成分分析，支持向量机 a b s t r a c t a u t o m a t i cf a c er e c o g n i t i o ni sa l la d v a n c e ds u b j e c ti nt h eb i o l o g i cr e c o g n i t i o na tp r e s e n t o n eo fi t sk e yt e c h n o l o g i e si sf a c ed e t e c t i o n w i t ht h ed e v e l o p m e n to fp a t t e r nr e c o g n i t i o na n d c o m p u t e rv i s i o n ，h o wt o u s ec o l o ri n f o r m a t i o ne f f e c t i v e l yt oi m p r o v et h eq u a l i t yo ff a c e d e t e c t i o nh a sb e c o m ek e y s t o n eo fr e s e a r c h t h em a i nr e s e a r c ho nf a c ed e t e c t i o ni nc o l o r i z e d i m a g e si sa sf o l l o w s ： f i r s t l y , a f t e rs e v e r a lf r e q u e n t l yu s e dc o l o rs e g m e n t a t i o nm e t h o d sw e r ed e s c r i b e di nt h e p a p e r , c o n s i d e r i n gt h ed i s a d v a n t a g e so f t h ee l l i p s es e g m e n t a t i o ni ny c b c rc o l o rs p a c ea n dt h e s i m p l et h r e s h o l ds e g m e n t a t i o n i nh s vc o l o rs p a c e ，a l li m p r o v e da l g o r i t h mu s i n ga c o m b i n a t i o no ft h et w oa b o v em e t h o d sw a sp r o p o s e d ，w h i c ht o o ki n t oa c c o u n tb o t ht h e e f f i c i e n c ya n d t h ea c c u r a c y s e c o n d l y , b a s e do nt h es e g m e n t a t i o n r e s u l t so ft h es k i nc o l o r ，c o m b i n e dw i t h m a t h e m a t i c a lm o r p h o l o g yp r o c e s s i n ga n dt h ec o n n e c t e dr e g i o na n a l y s i s ，a r e aa s s o c i a t e d c h a r a c t e r i s t i c se t c ，t h ef a c ei m a g es c r e e n i n go fc a n d i d a t e so b t a i n e db e t t e rd e t e c t i o nr e s u l t f i n a l l y , e x p e r i m e n t a lo u t c o m eo f t h ea l g o r i t h mw a sg i v e nd e f i n i t e l ya n da n a l y z e dd e e p l y t h i r d l y , a f t e ra n a l y s i sa n dc o m p a r i s o no fs e v e r a lc o m m o n l yu s e dm e t h o d s o ft h e i l l u m i n a t i o nc o m p e n s a t i o n ，i nv i e wo ft h ed e f i c i e n c yo ft r a d i t i o n a lm e t h o d sw h i c hh a v et o o m u c hc o l o ri n t e r f e r e n c ei nt h eb a c k g r o u n da n de a s i e rt om a k ei m a g e sb eh i g h l i g h t e d ，an e w i l l u m i n a t i o nc o m p e n s a t i o nm e t h o dw a sp u tf o r w a r db a s e do nt h et h e o r yo ft h el i n e a r t r a n s f o r m a t i o na n dt h ei n d e xv a r i a t i o n ，w h i c he f f e c t i v e l yr e s t r a i n e dt h ec o l o ro f f s e ta n d e n h a n c e dt h es e g m e n t a t i o na c c u r a c y f u r t h e r e y el o c a t i o nw a so b t a i n e dad e e pr e s e a r c hb a s e do nt h ef a c el o c a t i o n an e w e f f i c i e n te y e o r i e n t a t i o na l g o r i t h mw a sp r o p o s e d ，a c c o r d i n gt ot h ec o l o ra n db r i g h t n e s s i n f o r m a t i o no fe y e si nt h ei m a g ea n dc o m b i n e dw i t ht h eg e o m e t r i c a lc h a r a c t e r i s t i c so fe y e s ， w h i c hh a dag o o dr e s u l tf o r t h ee y el o c a t i o n a t1 a s t d u et ot h ed i s a d v a n t a g eo ft h ef a c ed e t e c t i o nm e t h o db a s e do nt h es k i nc o l o r w h i c hi se a s i e rt ob ea f f e c t e db yb r i g h t n e s so rt h ea n a l o g yr e g i o no ff a c e ，w h i l et h es u p p o r t v e c t o rm a c h i n e s ( s v m ) h a sal o wd e t e c t i o nr a t e ，an e wd e t e c t i o na l g o r i t h mw a sp r o p o s e d b a s e do nb o mt h es k i nc o l o rs e g m e n t a t i o na n ds v m d u r i n gt h ei n s p e c t i o np r o c e s s ，t h e s a m p l ef e a t u r ew a se x t r a c t e db yt h ep r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) t or e d u c et h e e f f e c to fb r i g h t n e s so rt h ea n a l o g yr e g i o no ff a c e w h a t sm o r e ，t h ep y r a m i ds t r a t e g yw a su s e d t os e a r c ht h ec a n d i d a t ea r e af r o mt h es k i nc o l o rs e g m e n t a t i o n ，a c c e l e r a t i n gt h ee f f e c t i v e n e s s i i i 目录硕士论文 e v i d e n t l y k e yw o r d s ：f a c ed e t e c t i o n , c o l o rs e g m e n t a t i o n , e y el o c a l i z a t i o n , p r i n c i p a lc o m p o n e n t a n a l y s i s ( p c a ) ，s u p p o r tv e c t o rm a c h i n e s ( s v m ) i v 声明尸i 刃 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学 位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布 过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的 材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明 确的说明。 研究生签名：斗址 神年多月拥 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上 网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权 其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文， 按保密的有关规定和程序处理。 研究生签名： 章丕銎 如扣年乡月嘲 硕士论文彩色图像中的人脸检测 1 绪论 1 1 课题研究的背景及意义 人脸检测( f a c ed e t e c t i o n ) 是指通过一定的算法将输入图像中所有人脸的位置、姿态 等进行定位的一个过程。y a n g 等对人脸检测的定义是：在任意给定的一幅图像或一组 图像序列中，判断其中是否存在人脸。如果存在，则定位或跟踪人脸。人脸检测是一个 复杂的过程，包括背景分割、提取与验证人脸区域和可能需要的人脸特征等过程。成功 的人脸检测系统对于那些存在外部干扰，比如光照变化、成像距离和成像角度变化的图 像或者图像序列仍然能够精确的定位与跟踪。 目前，人脸检测是一个非常活跃的研究课题，在模式识别与计算机视觉领域受到普 遍的重视。许多的研究工作都是首先假定图像中已经存在人脸，然后再进行检测与定位。 设计适应性比较强的自动人脸识别系统，在任意环境下都能快速而高效地检测人脸是未 来的研究方向。 按照不同的分类规则，人脸检测具有不同的分类结果。按实时性要求可以分为两类： ( 1 ) 在静止图片中判断人脸，若存在，则标定人脸位置；( 2 ) 在视频图像序列中判断人 脸，若存在，则动态跟踪人脸。视频图像序列中的人脸检测对实时性要求比较高。另外， 按照待检图像类别的不同又可以分为两类：基于彩色图像的人脸检测与基于灰度图像的 人脸检测。 人脸检测问题最初来源于人脸识别( f a c er e c o g n i t i o n ) 。人脸识别的研究可以追溯到 上个世纪6 0 7 0 年代，经过几十年的快速发展已日趋成熟【2 】。人脸检测是人脸自动识别 系统中重要步骤，也是面部表情识别、头部状态识别的关键技术。随着智能监控等应用 技术的提高，人脸识别技术得到普遍重视和快速发展，目前已经成为最有发展潜力的生 物验证手段。在这种应用背景下，人脸检测技术已经成为一个独立的研究课题。目前， 人脸检测的技术已经应用于很多领域，远远超出了人脸识别系统的范畴，在基于内容的 图像检索、数字视频处理、门禁监控系统、视觉监测等方面都有着重要的应用。 在我国，人脸识别技术有着广阔的需求市场。在国家与军事安全、金融、司法、海 关、民航以及民用与社会安防等领域急需这方面的相关产品。因此，人脸检测技术的研 究具有很大的研究价值和现实意义。 1 2 课题研究的现状 目前，国内外关于人脸检测技术的研究方法多种多样，而且不断有新的研究成果出 现。但是，由于人脸检测问题本身的复杂性，要实现对任意场景下的任意人脸进行准确 1 绪论硕士论文 无误的检测是非常困难的。这不仅涉及到一般的图像处理，而且更多的是对图像的理解 与描述，通常会涉及模糊处理、神经网络、人工智能等知识。因此，解决特殊环境下或 者某种约束条件下的人脸检测问题仍然是该领域的主要研究内容【3 ，4 1 。 国内很多研究机构、大学以及科技公司都对此领域进行了深入的研究，例如我国的 清华大学、中科院自动化研究所等。为了促进这项技术的发展，很多知名的国际会议、 期刊都设立了人脸检测技术专题，其中包括c v p r 、i c f g 、i e e e 等，方便了研究人员 之间的技术交流与学习。最近几年发表的人脸识别论文中，人脸检测方面的就大约占了 三分之一【5 一。 在人脸识别的研究综述中，人脸检测技术往往是作为人脸识别的输入环节粗略介 绍，没能给出详细具体的分析。y a n g 等【l 】对人脸检测技术做了详尽的阐述，其中主要对 对各种方法使用的特征和模型作了介绍。梁路宏等【3 j 对近几年来人脸检测方面的相关文 献进行系统的整理与分析，并对研究结果做了综述，主要是针对研究中涉及到的具体问 题分类，如模式选择、人脸特征的提取等内容。 目前，对于简单背景下的人脸检测的算法研究和实践已经非常成熟。现在市场上出 现的人脸自动识别系统大多是针对正面人脸和简单背景下的。虽然提出了一些应用在复 杂场合下的方法，但是一般只限于有较强约束的场合。比如有的算法不能将速度和准确 度统一，虽然满足了速度的要求，但是漏判或误判太多；有的算法虽然兼顾实时性与准 确性，但是却有比较苛刻的应用条件，适应能力不强，如要求人脸必须正向竖直等。各 种算法都有一定的缺陷，没能形成一个通用高效的算法。在实际应用中，一般是根据应 用需求，采用满足要求的算法。 近期，人们尝试不同的方法进行研究，有的从频域中提取特征，有的继续探索更为 复杂的统计模型，有的尝试最新的分类决策。但是在不断的研究过程中，人们逐渐认识 到融合多种技术，利用多种信息可以提高人脸检测的速度和准确度。当前，对于彩色图 像的人脸检测仍然是该领域的研究热点。 1 3 人脸检测技术研究综述 目前，人脸检测方法主要是从两个角度进行研究：第一，对人脸的认识，包括人脸 的肤色特征，人脸的几何特征等；第二，利用人脸样本的统计特性，采用不同的统计方 法对样本进行训练。这两种方法的本质都是寻求人脸区域区别于非人脸区域的特征，符 合这个特征的区域就是人脸区域，否则为非人脸。 人脸检测算法的分类原则有很多，从不同的角度会得到不同的分类结果。本文主要 研究的是静态图像中的人脸检测问题，下面从方法论的角度对其进行分类，参考文献来 自梁路宏、唐伟、m 、h 、y a n g 等早期关于人脸检测算法的综述。如图1 3 1 所示： 2 硕士论文彩色图像中的人脸枪测 图1 3 1 人脸检测算法分类图 如图1 3 2 所示，人脸图像包含的模式特征非常丰富，在人脸检测中，如何有效利 用这些特征是解决问题的关键【8 1 。 直方图特征 ( 分布、距离等) 颜色特征 ( 肤色、发色等) 结群i ；豫：蝥像卜一人脸特征 投影特征等) r 1 八肛忖仳 镶嵌图特征 ( 马赛克规则等) 模版特征( 均值、方 差，距离等) 轮廓特征 ( 椭阋轮廓等) 启发式特征 ( 头发、下颚等) 变换域特征( 特征 脸、小波特征等) 图1 3 2 人脸模式的特征 1 3 1 基于知识规则的方法 基于知识规则的方法( k n o w l e d g e b a s e dm e t h o d ) 是基于规则的研究方法，所谓的规则 是指研究者对人脸特征的总结。一般采用一些比较简单的规则来描述人脸特征之间的关 系，比如两只对称的眼睛、一个鼻子和一个嘴巴。人脸的这些特征之间存在一定的几何 关系，可以通过它们之间满足的倾斜角度与相对距离来描述。基于知识规则方法的思想 就是首先从待测图像中提取脸部特征，然后按照编码规则定位人脸区域。 k o t r o p o u l o s 等【9 】采用积分投影方法定位人脸特征，即首先对输入图像进行水平及垂 直方向的灰度积分投影，根据波峰波谷确定可能的人脸特征，然后根据人脸特征确定可 能的人脸区域，最后由眼睛、嘴巴等之间的几何关系对可能的脸部区域进行验证。 姜军等【l o 】提出一种基于知识的快速人脸检测方法，采用符合人脸特征的模型，基于 足够多的人脸图像样本，针对人脸图像的边缘及灰度图像信息，建立较为完备的知识库。 目前，基于知识方法存在的主要问题是： 3 l 绪论硕士论文 ( 1 ) 识别率不高，容易受到图像背景中类人脸的干扰； ( 2 ) 对那些人脸特征不可见的图像，不能使用这种方法进行检测； ( 3 ) 不易制定描述人脸特征之间关系的规则，过高或过低都会造成误识或拒识。 尽管基于知识方法的应用存在很多问题，但是，通过先验知识和对图像进行分层次 检测的思想对以后的研究工作有着重要的启示。 1 3 2 基于可视特征的方法 基于可视特征方法( a p p e a r a n c e b a s e dm e t h o d ) 是利用人脸的表观特征总结出来的先 验知识，对人脸的纹理、肤色等可见特征进行描述，作为人脸检测的依据。 基于可视特征方法的基本思想是根据图像中的人脸局部特征确定人脸候选区域。由 于人脸特征的不变性，根据组合的人脸特征来定位人脸的方法具有定的稳定性，通常 应用于对不同角度、不同位置的人脸检测。 1 ) 几何特征 虽然看起来人脸各不相同，但其内部却存在着普遍的适用规律。其中常用于人脸检 测的是五官位置分布相对比例关系，即传统意义上的“三庭五眼”【l l 】。 k a n a d e 1 2 】最早描述了利用人脸几何特征识别人脸的系统。首先对灰度图像进行边缘 提取，然后分别向水平和垂直方向做投影。根据人脸边界波峰波谷的特征定位眼睛、鼻 子、嘴巴等脸部特征。 y a n g t l 3 j 等提出了一种马赛克( m o s a i c ) 方法，根据人脸灰度分布的特征，对图像由低 分辨率到高分辨率进行筛选以满足规则。 这种方法的主要缺点是几何特征容易受到光照、噪声、遮挡等外在因素的干扰，造 成人脸特征不明显，使得根据特征组合人脸的算法失效；另外，人脸阴影形成的边缘可 能会对几何特征的边缘带来一定的破坏，从而产生拒识或误识。 2 ) 纹理特征 d a i 等【1 4 】利用纹理特征进行低分辨率的人脸检测，采用空间灰度相关矩阵( s g l d ) 来 表示纹理特征。首先对输入图像进行色彩加强，然后由空间灰度相关矩阵得到结构化特 征，最后由人脸的结构化模型定位人脸。结构化模型是由一组不等式组成的，而满足这 些不等式的区域就被定义为人脸。 p h i l l i p s 0 5 】等利用类似于人脸纹理的特征来检测人脸，利用空间灰度相关矩阵所表示 的二序统计特性，在1 6 x 1 6 的子图上计算纹理。首先把纹理特征分为三类，即头发、皮 肤以及其他。对纹理分类采用的是层级式相关神经网络，然后用一个自组织特性映射构 成对应不同纹理类别的簇，根据头发和皮肤的纹理投票来决定整个人脸的纹理，最后根 据投票判断是否存在人脸。 3 ) 颜色特征 4 硕士论文彩色图像中的人脸榆测 一人脸的肤色是人脸检测的过程中比较显著的特征，在彩色图像中相对集中和稳定。 通过颜色信息可以区分人脸与大部分背景区域。有关研究表明，人脸肤色的区别主要在 于亮度而不是色度【1 6 】，即不同肤色的人脸对应的色调是一致的。在色度空间中，人类的 肤色分布具有聚类性，因此，人们利用这种特性建立很多的肤色模型，其原理就是先用 数学模型表达肤色的聚类空间，然后提取肤色，最后对图像中的人脸进行定位。 k a p f e r 等【l7 j 根据颜色、运动及形状模型检测视频中的人脸，这种方法常用于极低比 特率的可视电话编码中。 肤色算法具有以下优点【l 8 】： ( 1 ) 算法简单，运算量小，在普通工作站上能以帧速率来实现人脸区域的分割，满 足实时性要求； ( 2 ) 由于肤色信息比较稳定，因此脸部特征的变化比如姿态、表情的变化对于肤色 分割影响不大； ( 3 ) 在视频跟踪中，算法对环境的限制比较少，被跟踪的对象可以自由活动。 但是在实际的应用中，由于人脸容易受到光照、角度等外界环境的干扰，造成图像 中高亮和阴影等诸多不利的因素，使得肤色分割误差很大。因此，通常将肤色信息与运 动信息、几何特征等方法相结合，以便较好的在图像序列中检测与跟踪人脸。 1 3 3 基于统计模型的方法 通过上面方法的分析可以知道，人脸图像自身比较复杂性，详细的描述人脸特征存 在很多的困难。因此，基于统计模型的方法受到越来越多的关注。这种方法的实质是将 人脸检测问题转化成统计模式识别中的二分类问题。即通过训练大量的人脸与非人脸样 本构造分类器，然后将图像送到分类器中进行判断，根据图像中所有可能区域属于的模 式类别实现人脸的检测。 1 1 基于特征空间的方法 p c a ( p r i n c i p a l c o m p o n e n ta n a l y s i s ) 的基本思想是根据图像的统计特性进行正交变 换( 即k l 变换) ，消除原有向量中各个分量之间的相关性，得到一系列降维图像，将对 应特征值的特征向量按从大到小的顺序排列，由于其主要元素具有人脸的特征，因此又 称为特征脸1 1 9 j 。 特征脸方法是当前正面人脸识别中比较成功的方法，由于它只关注人脸的整体特征 而忽略了人脸的局部特征在识别中的作用，在保证检测率的前提下降低了计算量，提高 了检测速度。有的学者在提取特征时采取多特征的方法，取得了较好的检测效果。另外 实验证明，在特征脸分析之前对图像进行预处理可以提高检测率。 m i t 的s u n g 等【2 0 j 提出了基于事例学习的方法，采用1 9 x 1 9 像素分辨率的人脸与非 人脸样本，首先对样本进行预处理，然后按行列顺序展开成样本向量进行主分量分解， l 绪论 硕士论文 最后在特征空间内采用k - 均值聚类方法建立6 个人脸簇与6 个非人脸簇，使得两个样本 模式的边界更加清晰。 f i s h e r 准则法( f i s h e rl i n e a rd i s c r i m i n a n t ，简称f l d ) 与因子分解法( f a c t o ra n a l y s i s ， 简称f a ) 也是属于特征空间方法的范畴。y a n g 等【2 l 】采用混合线性子空i 悟- ( m i x t u r e so f l i n e a rs u b s p a c e s ) 的方法对人脸与非人脸两类样本分别建模，采用基于e m 算法1 2 2 j 的扩 展f a 方法构造人脸分类器，非人脸样本分类器采用的是基于自组织映射( s o m ，s e l f - o r g a n i z i n gm a p ) 2 3 】的f l d 方法。另外，文献【2 4 】中采用t d , 波变换技术进行人脸检测， 即使用小波变换提取人脸的多分辨率特征作为分类的依据。 2 ) 基于人工神经网络的方法 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a r c n ) 是一种重要的机器学习方法，该方法 是把模式的统计特性隐含在a n n 的结构和参数之中。该方法利用神经网络的学习与分 类能力将人脸图像灰度化，不仅保存了人脸图像中的材质信息以及比较细微的形状信 息，而且还避免了较为复杂的特征提取工作。 基于神经网络方法的主要特点：第一，并行处理数据；第二，分布式存储编码信 息，神经网络具有较强的复杂非线性输入输出关系学习能力，对模型与规则的依赖性比 较低，通常在训练的过程中适应数据。 k o h o n c n 【2 5 】首先利用自相关记忆存储和重建人脸图像。利用h e b b i a n 学习律，创建 并存储人脸图像的白相关记忆于全互联神经网络的权值中。 c m u 的r o w l e y 掣2 6 】使用了多个触州检测多姿态的人脸，算法的框架如图1 2 3 所示。图中有两类a n n ：一个是用来估计输入窗口中人脸位姿的检测器( p o s ee s t i m a t o r ) ， 另外3 个是用来检测正面、侧面与半侧面人脸检测器( d e t e c t o r ) 。采用通过自举( b o o t s t r a p ) 方法获得非人脸样本和经过对准和预处理的人脸样本训练各个a n n ，检测时首先使用 位姿检测器对输入对象中所有可能位置和尺度区域进行检测，然后对其进行校准与预处 理，最后对通过3 个检测器的分类结果进行仲裁。 图1 3 3r o w l e y 的基于人工神经网络的人脸检测框架 3 ) 基于支持向量机的方法 支持向量机( s u p p o r tv e c t o rm a c h i n e s ，简称s v m ) 是v a p n i k 2 7 】等人提出的一种新的 通用学习方法【2 8 1 。该方法是实现结构风险最小化( s 伽】曲l r a lr i s ki n i m i z a t i o n ，简称s r m ) 6 硕士论文 彩色图像中的人脸检测 原理的统计学习方法。s r m 使v c ( v a p n i kc h e r o v n e n k i s ) 维数的上限最小化，使得s v m 方法比基于经验风险最小化( e m p i r i c a lr i s km i n i m i z a t i o n ，简称e r m ) 的人工神经网络方 法的泛化能力更好。 支持向量机的核心思想是建立一个超平面作为决策曲面，满足正负样本之间的分隔 间隙最大。支持向量只是训练数据中满足条件的一个比较小的子集。该学习方法中的一 个重要概念是支持向量墨和输入空间向量x 之间的内积核。 l e e t 2 9 】提出了先用遗传算法提取人脸特征，再用支持向量机对人脸特征进行分类的 方法。g u o 等【3 0 】则是先用特征脸提取人脸特征，然后用支持向量机对人脸特征进行分类。 支持向量机作为分类器实质上是将人脸检测问题归结为二分类问题，在实际情况 下，这类问题的求解过程比较复杂。尤其是当人脸特征数据量比较大时，通常需要耗费 更多的计算时间和存储空间，学习算法速度过慢，甚至会导致算法无法执行。因此，一 般情况下先对样本降维，然后再进行样本训练。 4 ) 基于概率模型的方法 基于概率模型的方法包括两种：一种是基于马尔可夫模型的方法，这种模型原来是 用于描述信号统计特性，目前也被用于人脸检测与识别中；另一种是基于贝叶斯判别准 则的方法，这种方法的思路是通过计算输入图像区域( r e g i o n ) 属于人脸模式( o b j e c t ) 的后 验概率p ( o b j e c t l r e g i o n ) ，然后根据后验概率p 来判别所有可能的图像窗口。 s a y a tc d a s s 等【3 l 】用马尔可夫模型进行人脸的建模，标记人脸在灰度图上的分布。 n e f i a n 等【3 2 】提出了嵌入式隐马尔可夫模型( e m b e d d e d h m m ) 的方法。该方法与马尔 可夫模型的不同之处就是除了将人脸从上到下划分成五块之外，还在每块当中从左到右 嵌入一个h m m ，接着进行二维d c t 变换，变换得到的系数作为训练值。 c l i u 等【3 3 】用多元高斯模型构造后验概率密度函数，然后利用贝叶斯原理构造人脸 检测器获得较好的效果。 s c h n e i d e r m a n 掣3 4 】将概率估计的方法用于检测正面旋转入脸和侧面人脸，同时使用 多分辨率信息复用和由粗到精的搜索策略提高检测速度。 基于统计模型方法的优点是： ( 1 ) 通过实例学习来获取模型的参数，统计意义上更加可靠； ( 2 ) 学习实例的增加可以扩大检测模型的范围，从而提高检测系统的鲁棒性； ( 3 ) 对人脸的先验知识和参数模型不产生依赖，因此，能够避免不完整或不精确的 知识造成的错误。 但是，这种方法存在计算复杂、速度慢的缺点，比较适合背景复杂的人脸检测。 1 3 4 基于模板匹配的方法 模板匹配法( t e m p l a t em a t c h i n gm e t h o d ) 主要是通过计算模板与图像之间的相关性进 7 1 绪论硕士论文 行识别，对于那些比较复杂的人脸模式，可以采取结合几个相关的模板特征的方法进行 人脸的检测。该方法具有简单、直观的特点。 1 ) 通用模板匹配 模板匹配中的人脸标准模板是由人工定义的，其基本思想是首先计算标准模板中的 脸部轮廓、眼睛、嘴巴等的相关值，然后根据相关系数判断输入图像中是否存在人脸。 虽然这种方法实现起来比较简单，但是实际应用情况复杂，很多场合并不适用。简单的 模板具有局限性，不能适用于那些存在大小、形状和姿态等变化的人脸图像。因此，通 常采用多尺度、多分辨率、多子模板及可变形模板来实现模板匹配，提高适应性与准确 度，满足实际应用的需求。 梁路宏等【3 5 】采用了平均脸模板匹配方法，首先使用双眼模板进行粗筛选，然后使用 不同长宽比的人脸模板进行匹配，最后使用马赛克规则进行人脸验证，这种方法充分发 挥了眼睛特征在模板匹配中的特殊作用。 c r a w 等1 3 6 】提出一种基于形状模板的正面人脸定位方法。利用s o b e l 滤波器进行边 缘提取，人脸模板是由这些边缘基于某些约束组织在一起的，这样就可以定位头部的轮 廓，在不同的尺度上重复相同的方法可以定位眼睛、嘴巴及眉毛等。 2 ) 可变形模板匹配 可变形模板是哈佛大学以a y u i l l e 3 刀为首的研究小组提出的一种器官精确定位方 法。在这种方法中，人脸特征被描述成参数模板。输入图像的边缘( e d g e s ) 、波峰值( p e a k ) 、 波谷值( v a l l e y s ) 对应于模板中的参数构成一个能量函数。最佳匹配就是通过调节参数使 能量函数值达到最小。但是，由于变形模板的能量函数中各种代价的加权系数只能靠 经验获得和能量函数的优化过程非常耗时的原因，可变形模板方法难以得到推广。 y u i l l e 等【3 8 1 采用可变形模板对人脸特征提取，把人脸特征描述成参数模板和与之对 应的能量函数。图像的波峰值、波谷值及边缘值对应模板中的参数，构成能量函数。 n a s t a r 等【3 9 】将人脸图像建模成可变形的三维网格表面，因此，人脸模板匹配问题转 化成可变形曲面的弹性匹配模型。 1 4 人脸检测的难点 在自然界中人脸是我们最为熟悉的生理特征之一。由于人自身成长经验的积累和许 多未知的本领，面对各种复杂的环境，人脑都能够非常容易地识别出人脸。但是，对于 计算机视觉与模式识别领域来说，人脸检测却是一个极富挑战的课题，其所面临的困难 主要表现在以下4 个方面： ( 1 ) 人脸模式的多样性：人脸面部是非刚体，存在姿态和表情的多样性，从而决定 了人脸模式的复杂性，在人脸检测中很难提取足够多的不变特征进行分类； ( 2 ) 遮挡物：图像中的人脸特征有时会被头发、眼镜、胡须等物体遮挡，造成人脸 r 硕士论文彩色图像中的人脸检测 不能完全显露，给检测带来困难； 一 ( 3 ) 光照的影响：人脸肤色容易受到外界光源的影响，造成亮度高低不一，使得面 部图像的灰度深浅不一，有时还出现偏色，从而影响了识别效果； ( 4 ) 图像背景的复杂程度：对于复杂背景中的人脸图像，通常情况下存在许多类似 人脸特征的非人脸物体，在检测的过程中出现误判。 因此，成功设计准确的人脸检测系统，实现人脸的精确定位必须寻找合理的算法和 有效的途径来最大程度地减少以上干扰因素的影响，以便突出人脸与非人脸的区别。 1 5 研究内容与结构安排 本文共分为五章，各章节的主要内容如下： 第一章着重阐述课题的背景、研究意义及现状，概述了人脸检测的一些常用方法， 最后给出了本文内容安排。 第二章分析比较了几种常用的色彩空间和肤色分割模型，提出了综合利用y c b c r 与h s v 色彩空间的模型，对肤色像素在y c b c r 空间采用椭圆分割，在h s v 色彩空间 采用简单阈值分割，融合两种肤色分割方法，较好地实现了肤色与非肤色的区分。 另外，分析比较了几种常用的光照补偿方法，提出了一种新的图像补偿方法，对图 像做线性变换和指数变换，使得图像的低灰度区域拉伸而高灰度区域压缩，增大了图像 的对比度，有效的补偿了图像的色彩偏移。 第三章利用肤色分割结果，结合数学形态学处理和连通区域分析、欧拉数和人脸 的几何特征计算，对候选人脸图像进行筛选，获得了较好的人脸检测效果。最后给出了 该算法的实验效果图，并对结果进行了分析。在人脸定位的基础上对眼睛定位作了深入 的研究，利用眼睛在人脸灰度和色度信息中的特殊性，结合人眼在面部中的几何特征精 确定位人眼。 第四章简要介绍了s v m 的原理、p c a 特征降维的理论基础，提出了基于肤色分 割和s v m 的人脸检测方法，即首先利用肤色模型对彩色图像进行肤色分割以缩小搜索 范围，然后采用s v m 分类器对灰度图像进行人脸与非人脸的逐层判别。详细介绍了该 算法中p c a 提取人脸特征的过程及s v m 分类器的训练和人脸检测算法的实现步骤，并 给出了检测效果图。 第五章总结本文工作，同时指出需要进一步解决的问题，并展望未来的研究方向。 9 硕士论文彩色图像中的人脸检测 2 肤色区域分割 2 1 引言 肤色是人脸的重要信息，虽然对光照比较敏感，但是面部特征的稳定性，对于旋转、 表情变化以及有饰物遮挡等情况均能适应。在人脸检测中，肤色区域分割是中间的一个 重要步骤。虽然不同的人有不同的肤色颜色，但肤色分布却聚集在一个相对较小的区域 里，即人脸的差异主要体现在亮度而不是色度上即j ，这为利用颜色信息进行肤色检测提 供了重要的依据。 与灰度图像相比，彩色图像提供了更为丰富的信息。彩色图像分割是图像处理的重 要内容。针对彩色图像，基于肤色的人脸检测方法无论是作为一种粗检测的手段为后续 方法提供更准确的查找范围，还是作为一种直接使用的核心方法进行精确的人脸定位， 都有重要的研究意义和应用价值。 本章研究的内容：首先选择适合肤色分割的色彩空间，然后对图像进行去噪和光照 补偿处理，采用双肤色分割模型，即融合y c b c r 色彩空间的椭圆分割与h s v 色彩空间 的简单阈值分割两种分割模型，实现从彩色图像中成功提取肤色区域。 2 2 色彩空间 人脸检测的首要工作就是选择合适的色彩空间，建立适合不同肤色和不同光照条件 下的可靠肤色模型，将人脸区域从非人脸区域中分割出来。在彩色图像中进行人脸检测 时，肤色分割结果易受亮度信息的影响。研究表明，入脸的差异主要体现在亮度而不是 色度上，因此，选择聚类性较好的色彩空间在人脸检测中是非常重要的。 下面对几种常见的颜色模型进行介绍。 2 2 1r g b 模型 r g b 模型是目前常用的一种彩色信息表达方式，它使用红( r ) 、绿( g ) 、蓝( b ) 三基 色的亮度来定量表示颜色，任何一种颜色都是由三基色按照一定比例相互叠加而成。在 r g b 模型中，光的色度只取决于r g b 之间的比例关系。如果不考虑光的亮度，只对色 度感兴趣，则只要知道相对值即可。基于r g b 三基色模型可以导出y c b c r 颜色模型、 y i q 颜色模型、h s v 颜色模型、i l l s 颜色模型等，以适应不同的应用需求。 2 2 2y i q 模型 y i q 色彩空间属于n t s c ( n a t i o n a lt e l e v i s i o ns t a n d a r d sc o m m i t t e e ) 系统，在y i q 系 统中，y 分量代表图像的亮度信息，而i 和q 两个分量则携带了图像的颜色信息。1 分 2 肤色区域分割硕士论文 刚爱巍黜 亿2 m y c b = 鬟1 9 6 9 8 。7 - 。0 + 主3 8 3 7 1 。3 。0 ：5 i 4 0 4 0 。0 r g + 1 。2 8 f、22cr05 0 0 0 - 04 1 8 7 - 00 8 1 3b1 2 8 2 ， _l l_ il = i - 0 1 |12 ) iii i ilii s ：1 3m i n ( r , g , b ) ( 2 2 3 ) 矿= 三( r + g + b ) 硕士论文 彩色图像中的人脸检测 虽然y i q 色彩空间中的色度信息与亮度信息分开了，但是肤色受光照的干扰比较严 重，所以只是在特定的光照条件下采用这种肤色聚类结果，应用条件较为苛刻，不是肤 色空间的理想选择。 y c b c r 色彩中的色度和亮度可以实现分离，而且c b 和c r 两维独立分布，能较好地限 制肤色分布区域，肤色在该色彩空间具有较好的聚类性。 在h s v 色彩空间中，如果选择合适的h 和v 参数来表示人脸的颜色，就能够有效 地将人脸分离出来。除了不需要考虑v 之外，其受光照和阴影的影响也有很高的稳定性。 由于不同的色彩空间适用的条件不同，单一的颜色空间又难以在各种复杂的情况下 成功区分人脸与背景区域。因此，本文选择在y c b c r 和h s v 这两个颜色空间上建立肤 色模型，充分利用这两种模型的优点，避免各自缺点，实现优势互补，从而提高肤色分 割精度。 2 3 肤色模型 选择了具体的肤色空间后，接下来考虑的就是选择一个好的肤色模型。所谓的肤色 模型就是用一种解析的或查找表等的形式对肤色在相应的色彩空间分布所建立的模型。 肤色模型的建立是肤色分割的重要一步，肤色模型的优劣决定分割效果的好坏。下面介 绍几种比较常见的肤色模型。 2 3 1 阈值分割模型 阈值分割模型简单的理解就是确定一个阈值，满足阈值范围的是肤色，否则为非肤 色，从实现过程来看这是最简单的肤色分割模型。具体的实现过程就是：首先将大量的 肤色样本从r g b 图像空间转换到相应的色彩空间，根据统计值在各色度分量上的分布 特点，人为的规定阈值，然后根据阈值二值化图像。若待检图像的色度值落在此阈值范 围内则判为肤色点，否则判为非肤色点，从而得到肤色分割的二值图像。 阈值分割模型的优点： ( 1 ) 实现比较简单，运算量小，主要的运算量就是图像色彩空间的转换过程，与其 他肤色分割模型相比具有分割速度快的特点； ( 2 ) 根据先验知识和规则在比较集中的色度空间上建立肤色模型，增加了模型检验 的精确度。 阈值分割模型的缺点： ( 1 ) 模型不够精确，由于肤色样本选取有限，不能覆盖所有的肤色特性，有失一般 性，而又仅用简单的阈值划分肤色与非肤色区域，这样很容易对肤色与非肤色区域产 生误判； ( 2 ) 模型不够灵活，仅靠单独观察和考虑肤色在各个色度空间的分布情况，而没有 2 肤色区域分割 硕士论文 m ，2 喜心去唧卜1 嘎1 ”) 叫， 其中：x 是颜色向量、玎为高斯密度函数的个数、地是均值向量、。协方差矩阵、 的元素) 依次排成一列看作一个向量丁，t = ( r ，g ，b ) r 。肤色训练样本是 互i ( k 1 ，z ) ) ， 均值为： u = 三( z ) ( 2 3 2 ) n 百 像素点与均值u 的偏差为： a = 【。，o 。】，其中o ，= l - u ( 2 3 3 ) 睁k 圈 固 将样本库中的每个像素点作投影，即可得到k ，如的值域。k ( k 血，k 一) ， 如( 局m i n ，局懈) ，玛( 坞曲，玛一) ，将这一域值作为k l 肤色过滤器的阈值。因此 1 4 顾l 。论文嚣也目像中的人胜幢测