（计算机科学与技术专业论文）基于活动轮廓模型的人脸检测方法研究.pdf

上海交通大学博士后出站工作报告 基于活动轮廓模型的人脸检测方法研究 摘要 人脸检测是人脸自动识别系统的重要组成部分，检测精度直接影响着人脸识 别的性能。近几年来，随着多功能感知研究的兴起，人脸检测问题开始在国际上 引起关注，并已逐渐发展成为一个相对独立的研究方向。人脸检测也是智能人机 接口的重要交互通道，它在多功能感知、电视会议、基于内容的图像检索、安全 检查以及视频监视等领域都有着重要的应用前景。 本文在对现有人脸检测方法进行详细综述的基础上，提出了基于活动轮廓模 型的人脸检测方法，即以人脸轮廓作为描述人脸的主要特征，充分利用活动轮廓 模型方法可以建模和提取任意形状的变形轮廓的特性，不需要采集大量样本进行 学习训练就可以完成人脸检测任务。具体研究工作包括以下几个方面： ( 1 ) 对两类活动轮廓模型方法( 包括参数活动轮廓模型方法和几何活动轮 廓方法) 进行了详细分析介绍，在此基础上，提出了一种能够结合先验知识的通 用活动轮廓模型结构，并设计相应的快速实用数值算法。实验结果表明，该模型 不需要通过训练样本产生统计形状模型就可以有效检测图像中的目标轮廓，并对 图像噪声具有一定的鲁棒性。 ( 2 ) 利用活动轮廓模型的特性以及图像矩可以描述图像形状的全局特征的 特点，提出一种基于l e g e n d r e 矩的人脸检测方法，其基本思想是将以l e g e n d r e 矩描述的人脸形状的先验知识嵌入到活动轮廓模型中，通过在原活动轮廓模型中 加入人脸约束而达到检测图像中人脸轮廓的目的。实验结果表明，上述方法能有 效检测出一定条件下静态灰度图像中的人脸轮廓，而且对噪声图像及有部分遮挡 的人脸图像具有一定的处理能力。 ( 3 ) 利用主动形状模型可以描述一定形变的全局形状的特点，提出- - o e 基 于隐主动形状模型的人脸检测方法，即将人脸形状先验知识以水平集形式的主动 形状模型描述，然后将该形状约束嵌入到几何活动轮廓模型中，通过求解水平集 函数来达到求解图像中人脸轮廓的目的。实验结果表明，上述方法能有效检测出 一定条件下静态灰度图像中的人脸轮廓，而且对噪声图像及有部分遮挡的人脸图 像具有一定的处理能力。文中还分三种情况对本文提出的人脸检测方法进行了性 能比较。 关键词：人脸检测，活动轮廓模型，水平集，图像矩，主动形状模型 摘要 h u m a nf a c ad e t e c t i o nb a s e do na c t i v e c o n t o u rm o d e l s a b s t r a c t h u m a nf a c ed e t e c t i o ni st h ef i r s tk e ys t e po fm a n yf a c er e c o g n i t i o ns y s t e m s ，i n t h er e c e n td e c a d e ，f a c ed e t e c t i o np r o b l e ma t t r a c t sm o r ea n dm o r er e s e a r c h e r sa si th a s p o t e n t i a la p p l i c a t i o n s i ni n t e l l i g e n th u m a n c o m p u t e ri n t e r f a c e ，v i d e oc o n f e r e n c e ， c o n t e n t - b a s e di m a g ei n d e x i n g ，v i d e om o n i t o r i n g ，a n ds oo n i nt h i sd i s s e r t a t i o n ，b a s e do nad e t a i l e ds u r v e yo nt h ee x i s t e df a c ed e t e c t i o n m e t h o d s ，n o v e la p p r o a c h e sb a s e do na c t i v ec o n t o u rm o d e l sh a v eb e e np r o p o s e df o r d e t e c t i n gh u m a nf a c e si ng r a ys c a l ei m a g e s t h eb a s i ci d e ao f o u rm e t h o di st ou s e f a c ec o n t o u ra st h em a i nf e a t u r eo fh u m a nf a c ea n da d o p ta c t i v ec o n t o u rm o d e lb a s e d m e t h o dt oe x t r a c tf a c ec o n t o u r s t h em a i nw o r ki ss u m m a r i z e da sf o l l o w s ： f 1 ) b a s e do nat u t o r i a li n t r o d u c t i o nt oa c t i v ec o n t o u rm o d e lm e t h o d ，i e ， p a r a m e t r i ca c t i v ec o n t o u rm o d e l sa n dg e o m e t r i ca c t i v ec o n t o u rm o d e l s ，ag e n e r a l f r a m e w o r ko fc o m b i n i n gs h a p ep r i o r s 、i ma c t i v ec o n t o u r si sp r e s e n t e d t h ee n e r g y f u n c t i o n a lo ft h ec o n t o u ri sm o d i f i e ds ot h a tt h ee n e r g yd e p e n d so nt h ei m a g e g r a d i e n t sa sw e l la st h e # o rs h a p e t h ea c t i v ec o n t o u ri sa b l et of i n db o u n d a r i e st h a t a r es i m i l a ri ns h a p et ot h ep r i o r , e v e nw h e nt h ee n t i r eb o u n d a r yi sn o tv i s i b l ei nt h e i m a g e al e v e ls e tf o r m u l a t i o no ft h e a c t i v ec o n t o u ri sa l s op r e s e n t e d e x p e r i m e n t a l r e s u l t sd e m o n s t r a t et h a to u rm e t h o dc a nd e t e c to b j e c t s c o n t o u r se f f i c i e n t l yw i t h o u t u s i n gs t a t i s t i c so b t a i n e df r o mt r a i n i n gd a t aa sm a n y o t h e rm e t h o d sd o m o r e o v e r , o u r m e t h o di si n s e n s i t i v et oi m a g en o i s e ( 2 )an e wm e t h o db a s e do ni m a g em o m e n t si sp r e s e n t e d t h eb a s i ci d e ao f t h i sm e t h o di st or e p r e s e n th u m a nf a c es h a p ep r i o ru s i n gl e g e n d r em o m e n t s ，a n d i n c o r p o r a t et h ep r i o ri n t ot h ep o w e r f u lc h a n - v e s em o d e l ，s ot h a tt h em o d i f i e dm o d e l c a nc o n v e r g et ot h eb o u n d a r i e ss i m i l a rt ot h ep r i o rf a c es h a p e e x p e r i m e n t sa r e p e r f o r m e do nal a r g et e s ts e ta n ds h o wt h a tt h i sm e t h o dc a nd e t e c tf a c ec o n t o u r s e f f i c i e n t l y m o r e o v e r , t h i sm e t h o dc a nd e a lw i t hn o i s yi m a g e sa n dp a r t i a lo c c l u d e d f a c ed e t e c t i o np r o b l e m ( 3 ) an e wm e t h o db a s e do ni m p l i c i ta c t i v es h a p em o d e l si sp r e s e n t e d t h e b a s i ci d e ao ft h i sm e t h o di st or e p r e s e n th u m a nf a c es h a p ep r i o ru s i n gi m p l i c i ta c t i v e i i 上海交通大学博士后出站工作报告 s h a p em o d e l s ，a n di n c o r p o r a t et h ep r i o ri n t ot h ep o w e r f u lc h a n v e s em o d e l ，s ot h a t t h em o d i f i e dm o d e lc a nc o n v e r g et ot h eb o u n d a r i e ss i m i l a rt ot h ep r i o rf a c es h a p e e x p e r i m e n t sa r ep e r f o r m e do nal a r g et e s ts e ta n ds h o wt h a tt h i sm e t h o dc a nd e t e c t f a c ec o n t o u r se f f i c i e n t l y m o r e o v e r , t h i sm e t h o dc a nd e a lw i t hn o i s yi m a g e sa n d p a r t i a lo c c l u d e df a c e d e t e c t i o np r o b l e m t h ep e r f o r m a n c e c o m p a r i s o n o ft w o p r o p o s e dm e t h o d si sa l s op r e s e n t e d k e y w o r d s ：f a c ed e t e c t i o n ，a c t i v ec o n t o u rm o d e l s ，l e v e ls e t ，i m a g em o m e n t s ，a c t i v e s h a p em o d e l 上海交通大学博士后出站工作报告 第一章概述 人脸是一个常见而复杂的视觉模式人脸所反映的视觉信息在人与人的交流和交往中有 着重要的作用和意义，对人脸进行处理和分析在视频监控、出入e 1 控制、视频会议以及人机 交互等领域都有着广泛的应用前景，因此是模式识别和计算机视觉领域持续的研究热点。对 人脸进行处理和分析包括人脸识别、人脸跟踪、姿态估计和表情识别等，早期的人脸处理和 分析一般都假设已知图像中人脸的位置和大小，但对于一个人脸自动处理和分析系统而言， 人脸检测是关键性的第一步，人脸检测算法的精度直接影响着整个系统的性能。 近几年来，由于人脸检测在人脸处理和分析中的地位，人脸检测已经引起了越来越多研 究者的注意，并逐渐发展成为一个相对独立的研究方向，这方面的研究在方法和手段上也逐 渐成熟，出现了各种各样实用的人脸检测算法。虽然人脸检测领域的研究已经取得了一些可 喜的成果，但在实用要求中仍面i 临着许多严峻的问题，人脸的非刚体性，表情、姿态、发型 和化妆的多样性以及环境的复杂性都给正确检测人脸带来了很大困难。要让计算机像人一样 方便准确地检测出无约束环境下任意图像中的人脸，尚需不同学科研究领域的科学家共同作 出不懈的努力。 1 1 人脸检测问题描述 人脸检测( f a c ed e t e c t i o n ) 问题一般可描述为：给定静止或动态图像，判断其中是否有 人脸：若有，将所有人脸从背景中分割出来，并确定每个人脸在图像中的位置和大小 4 8 , 1 4 7 1 7 9 l 。 人脸检测问题所包含的内容十分广泛，从不同的角度可以有多种分类方法，如表i - 1 所示| l ”】。 归纳起来，根据图像来源，可以将人脸检测方法分为基于静止图像的方法和基丁二动态图 像的方法两类，其中前者是基础与核心，后者一般与人脸跟踪( f a c et r a c k i n g ) 问题交织在 一起。根据利用特征的色彩属性，可以将人脸检测方法分为基于肤色特征的方法和基于灰度 特征的方法两类，其中前者适用于构造快速的人脸检测算法，后者利用了人脸区别于其它物 体的最为本质的特征，是人脸检测领域研究的重点。根据利用人脸知识的不同，可以将人脸 检测方法分为基于特征( f e a t u r e b a s e d ) 的方法和基于图像( i m a g e b a s e d ) 的方法两大类， 其中前者主要利用人脸的明显特征，如几何特征、肤色、纹理等，将人脸图像视为一个高维 向量，从而将人脸检测问题转化为高维空间中分布信号的检测问题：而后者则把人脸检测问 题视为一个广义的模式识别问题，通过训练过程将样本分为人脸和非人脸两类。由于人脸检 测问题的复杂性，无论哪一类方法都无法适应所有的情况，一般都针对人脸检测领域内某个 或某些特定的问题。 第一章概迷 表1 1 人脸检测问题的分类 分类依据类别 静止图像( 包括数字化的照片、数动态图像( 即视频序列，包括工作台 图像来源 码相机拍摄的图片等，目前考虑的前的人脸序列，保安监控录像、影视 图像类型 主要问题是算法的适应性和鲁棒资料等，往往与人脸跟踪问题交织在 性算法速度在其次)一起，对算法的速度有很高的要求) 颜色信息 彩色 灰度 镜头类型头肩部图像半身全身图像 人脸姿态 正面( 包括端正及平面内旋转)侧面( 包括佣仰、侧髟及旋转) 图像前景 单人( 又可以称为人脸定位，是人未知( 需要判定图像中是否存在人 人脸数目 脸检测问题在已知人脸数目情况脸，人脸的数目以及各个人脸的尺度 下的特例)和位置，即是完全的检测问题) 简单背景( 指无背景或背景的特征复杂背景( 指背景的类型和特征不受 图像背景被严格约束，在该条件下只利用人约束，某些区域可能在色彩、纹理等 复杂程度脸的轮廓、颜色、运动等少量特征特征上与人脸相似，必须利用较多的 就能够进行准确检测) 人脸特征才能做到准确检测) 人脸信息处理系统( 验证、识别、表情分析等) 、视频会议或远程教育系 应用领域 统、视觉监视与跟踪、基于内容的图像与视频检索等等 虽然人脸检测方法不断涌现出来，但是，现有的算法一般都只能适用于一定的环境，无 约束环境下的人脸检测问题仍没有得到很好地解决。如图1 1 所示，姿态、表情、发型和脸 部饰物的多样性以及环境的复杂性都给正确检测人脸带来了困难。 ( a ) 不同姿态的人脸( b ) 人脸和卡通人脸图案 ( c ) 人脸之间的相互遮挡 ( d ) 具有不同表情和不l 司饰物的人脸 图i 1 各种因素对人脸图像的影响 归纳起来人脸检测不同于一般物体检测的主要困难表现在以下几个方面： ( 1 ) 人脸构件及纹理的变化：人脸是一个非刚性物体，因而在不同的表情下，脸部器官 的运动会导致人脸外观有很大的差异，如眼睛的闭合和展开，嘴部的形状等，还会有皱纹、 斑点甚至化妆等带来的纹理特征，另外不同人种的人脸也有一些差异。 ( 2 ) 人脸表面的某些变化：人脸的一些具有普遍性的面部特征是部分具有的，如各种样 2 上海交通大学博士后出站工作报告 式的胡须、头发、眼镜等结构特征，或者不同年龄、不同性别的人其毛发也有一定差异。 ( 3 ) 无约束背景下不可预知的成像条件：图像的成像条件千变万化，如光照和拍摄视角 的变化，以及具体成像的数码转换方法等，都极大地增加了人脸检测的复杂程度。 ( 4 ) 遮挡：人脸可能被图像中其他人脸或墨镜、围巾等挡住，使脸部某些重要的特征如 眼睛、鼻子、嘴巴等不可见，从而造成人脸检测的困难。 所有这些未知因素都造成实际人脸检测的困难，也使人脸检测问题成为个极富有挑战 性的研究课题。如果能找到人脸检测问题的解决办法，成功构造出一个实用系统，也将为解 决其它类似复杂模式的检测问题提供重要的启示。 1 2 人脸检测的研究历史与现状 人脸检测问题最初来源于人脸识别，人脸自动识别的研究最早可以追溯到2 0 世纪6 0 7 0 年代，迄今已有3 0 多年的历史了【1 2 , 1 1 2 , 2 5 , 1 7 3 。经过几十年的曲折发展，人脸的自动识别已 经有了一些较为成功的方法，目前已经日趋成熟。一个完整的人脸自动识别系统应该包括人 脸检测、特征提取以及匹配识别三大基本过程，如图1 2 所示： 输 果 图i - 2 人脸自动识别系统构成 早期的人脸识别研究主要针对具有强约束条件的人脸图像( 如无背景或背景简单的图 像) ，往往假设人脸位置已知或很容易获得，因此人脸检测问题并未受到重视。进入2 0 世纪 9 0 年代以后，随着网络安全和电子商务等应用需要的剧增，人脸识别成为最有潜力的生物 身份鉴别方式，出现了实际的人脸识别系统和商用产品，这种应用背景要求自动人脸识别系 统能够对一般环境图像具有一定的适应能力，由此所面临的一系列问题使得人脸检测的各个 重要方面引起了极大的研究兴趣，并逐渐独立出来成为一个专门的研究方向。 目前，国外对人脸检测问题的研究很多，比较著名的有美国麻省理工大学( m i t ) 的媒 体实验室和人工智能实验室5 1 0 0 , 1 2 1 i 、卡奈基梅隆大学( c m u ) 的机器人研究所- i 以及 i l l i n o i s 大学的b e c k m a n 研究所【1 4 3 1 4 4 1 4 5 j 4 6 等：国内的清华大学【1 川圳7 0 t m l 7 3 m 、北 京。i ：业大学【】、南京理工大学1 1 6 6 , 17 6 】、i 四) lr 大学1 1 6 ”、上海交通大学f 1 7 1 , 1 8 0 、中国科学院计 算技术研究所 1 1 和中国科学院自动化研究所【i 等都有人员从事人脸检测方面的相关 研究。而且，m p e g 7 标准组织已经建立了人脸识别草案小组，人脸检测算法也是一项征集 的内容。 随着人脸检测研究的深入，国际上发表的有关论文数量也大幅度增加，e i 可检索到的 相关文献多达数千篇，每年的国际会议上关于这方面的专题也屡屡可见，如i e e e 的f g ( i e e e i n t e r n a t i o n a lc o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ) 、c v p r ( i e e ec o m p u t e r 3 第一章概述 s o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e mr e c o g n i t i o n ) 、i c i p ( i e e ei n t e r n a t i o n a l c o n f e r e n c eo ni m a g ep r o c e s s i n g ) 、i c p r ( i e e ei n t e r n a t i o n a lc o n f e r e n c eo np a t t e r nr e c o g n i t i o n ) 等重要国际会议上，每年都有大量关于人脸检测的论文，占有关人脸研究论文的近1 3 之多。 人脸检测的基本思想是用知识的或统计的方法对人脸建模，比较所有可能的待检测区域 与人脸模型的匹配度，从而得到可能存在人脸的区域。根据利用人脸知识的不同，现有的人 脸检测方法可以分为基于特征( f e a t u r e b a s e d ) 的方法和基于图像( i m a g e b a s e d ) 的方法两 大类，这两类方法所采用的研究手段不同，所适用的应用场合也有所区别。以下将分别对这 两类方法进行综述。 1 2 1 基于特征的人脸检测方法 基于特征的人脸检测方法主要是利用人脸的明显特征，如几何特征、肤色、纹理等，将 人脸图像视为一个离维向量，从而将人脸检测问题转化为高维空间中分布信号的检测问题。 这类方法来源于这样一个视觉事实：人类在不同姿态、视角和光照等条件下可以毫不费劲地 检测出人脸，这说明人脸或人脸的部件可能存在某种在任何条件下具有不变性的特征，利用 这种特征就可检测出图像中是否存在人脸。基于特征的方法是人脸检测中最常见的方法，研 究的人最多，成果也最丰富。根据使用特征类型的不同，基于特征的人脸检测方法主要分为 低层特征分析方法、组群特征分析方法以及变形模型方法三种，如图1 - 3 所示。 图1 3 基于特征的人脸检测方法 ( 1 ) 低层特征分析方法 低层特征分析方法的基本思想是利用图像的像素特征，如灰度特征、纹理、颜色、运动 等，对视觉信息进行分割。这类方法由于使用的特征较少，一般适用于较强约束条件下( 如 简单背景、头肩图像等) 的人脸检测问题。 灰度特征主要包括人脸轮廓特征【1 9 , 3 9 1 3 3 、人脸灰度分布特征( 镶嵌图特征【1 4 1 ，”4 i 、直方 图特征【8 2 l 等) 、器官特征f 1 2 2 15 3 1 6 9 1 ( 对称性等) 、模板特征陋6 9 ，17 4 】等。轮廓是人头部的重 4 上海交通大学博士后出站工作报告 要特征，相对于其它灰度特征。轮廓特征对光照变化具有一定的鲁棒性，但在强光照变化下 会产生一些伪边缘。人脸核心区域( 眼睛、鼻子、嘴区域) 具有独特的灰度分布特征，根据 灰度分布特征可以建立若干规则，应用这些规则就可将检测图像中是否存在人脸的问题转化 为检测该图像中是否存在满足这些规则的图像块的问题，这类方法中最有代表性的成果是杨 光正等人，魄出的镶嵌图( m o s a i ci m a g e 又称为马赛克图) 方法。人脸区域内的各个 器官( 如双眼、鼻子、嘴等) 是人脸的重要特征，这些器官的分布具有很强的点对称性，利 用人脸结构的这种对称性可以有效检测人脸。人脸结构的对称性是一个重要的特征，然而它 对姿态、表情及光照的变化比较敏感。人脸区域的灰度本身可以作为模板特征，基于模扳匹 配方法可以有效检测到图像中的人脸。由于模板本身是一种粗略的模型，因此这类方法检测 精度不是很高，而且基于模板的人脸检测方法计算量也很大。 基于纹理的人脸检测方法主要以d a i 等人口1 提出的基于空间灰度相关矩阵( s p a c eg r a y l e v e ld e p e n d e n c em a t r i x ，简称s g l d ) 的方法为代表，其中人脸的纹理模型由一组不等式 组成。若某区域中这组不等式都成立，则该区域为检测到的人脸区域。他们同时还将纹理模 型与颜色信息相结合来提高人脸检测的精度。由于纹理特征难以处理多视角问题，这类方法 的研究目前尚不多见，也没有和其它方法相比拟的成功事例。 随着彩色图像的普及应用，利用肤色特征进行人脸检测的研究越来越多嘶5 5 6 1 川t l 。 虽然人脸肤色在不同种族之间，不同人之间，甚至同一人在不同的光照、不同的服饰条件下 都有改变，但采集不同性别、不同年龄、不同肤色的人脸图像在颜色空间的分布情况，发现 他们的差异主要存在于亮度而不是在色彩上l “2 1 。通过颜色的亮度归一化，不同人之间的肤 色差异能得到明显的减弱。而且肤色不依赖于面部的细节特征，对于旋转、表情等变化情况 都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别。 在图像序列中，通常人相对背景总是运动的，因此仅利用运动信息就可简单有效地将人 脸从背景中分割出来。图像序列的相邻帧间变化是运动目标检测和识别的基础，通过限定图 像采集的背景，利用差分图像方法就可有效地检测出人脸1 t 6 7 1 。当然，如果图像中还有其它 运动物体或存在阴影或反射时，仅利用运动信息就会失效，这时就需要借助其它人脸特征来 进一步判断，如肤色5 7 3 i 或人脸形状特征1 i 等。 除上述特征外，还有一些广义测度特征用于人脸检测，如基于傅立叶变换( f f t ) 2 3 1 离散余弦变换( d c t ) 1 9 6 1 以及小波( w a v e l e t ) 变换1 3 7 , 6 3 1 等，根据能量规则选择一些系数用 丁表征人脸图像的特征，然后利用这些特征来进行人脸检测。 ( 2 ) 组群特征分析方法 由于目前还没有一个较通用的特征适用于所有人脸检测情况，因此近年来研究者们倾向 丁同时利用不同种类的特征进行组群分析。根据特征的组合形式，组群特征分析方法主要分 为特征搜索和星群分析两类。 特征搜索指的是在检测到的显著的人脸特征基础上，使用人类知识来估计人脸其他特征 第一章概述 存在的位置和大小，例如，当找到人的双肩时可以预测在双肩上面存在人脸。因此，这种 方法的基本思想是：首先在整个图像中搜索一组人脸局部特征，然后通过它们之间的几何关 系组合成候选的人脸区域。由于人脸局部特征的不变性，通过组合人脸局部特征，可以把这 种方法应用在检测不同位置和角度的人脸。但是，由于图像噪声等因素的影响，造成人脸局 部特征不明显，使得根据局部特征搜索进行人脸检测的算法容易失效，从而产生拒识或误识。 此外，这类方法也不能用于检测图像中小尺度的人脸，而且检测算法的计算时间过氏。 l e u n g 等人【7 4 】将随机图匹配的思想引入人脸检测中，即利用人脸器官分布的几何约束关 系来抽取特征，将脸部分类为几个脸部特征群，称之为星群( c o n s t e l l a t i o n ) ，然后将最象人 脸的特征群作为检测到的人脸，寻找最优特征群的问题转化为随机图匹配的问题，其中图的 节点对应脸部的特征，弧长表示不同特征之间的距离。这种星群分析方法可以有效减少由复 杂背景产生的错误特征。为了进一步克服噪声的影响，y o w 等人f ”。j 首先在原始图像数据上 用空间滤波器检测出一系列兴趣点，这些兴趣点分别对应人脸不同特征的位置，然后检查这 些兴趣点，根据格式塔原理将其标记成组，对组合特征用贝叶斯网络进行评价以最终决定人 脸的位置。由于采用了多种特征模型，他们的系统可以实现不同大小和视点的人脸检测，而 且能够有效解决遮挡问题。 ( 3 ) 变形模型方法 变形模型方法也被广泛应用于人脸检测中，主要有三种形式的变形模型，即弹性模板、 点分布模型和活动轮廓模型。 弹性模板的基本思想是设计一个参数可调的器官模型，并定义一个能量函数，通过调节 模型参数使能量函数最小化，此时的模型参数即作为该器官的几何特征。y u l l i e 等人”2 1 采 用弹性模板检测眼睛和嘴巴，其中弹性模板设计为一组根据特征形状的先验知识设计的参数 可调的模板，为了求出这组参数，需要利用图像的边缘、峰值、谷值和强度信息及特征形状 的先验知识设计合适的能量函数。参数向能量减小方向作调整，当能量达到最小时，这组参 数对应的模板形状最符合特征形状。这种方法的思想很好，但存在两个问题：一是能量函数 中各种代价的加权系数只能由经验确定，难以推广：二是能量函数优化过程十分耗时，难以 实时应用。 点分布模型( p o i n td i s t r i b u t i o nm o d e l ，简称p d m ) 首先由l a n i t i s 等人1 7 2 1 提出，该模型 用于描述人脸的整体外观，包括所有的脸部特征，如眼睛、鼻子、嘴等。人脸p d m 由手工 定义的1 5 2 个控制点和1 6 0 幅图像通过训练获得。在此基础上发展的主动形状模型( a c t i v e s h a p em o d e l ，简称a s m ) i i ”是关于形状的一种统计模型，通过对p d m 的主元分析，从训 练数据集中得到关于形状变化的参量，将先验经验赋予a s m 。对于一个新图像中的物体 a s m 能够通过迭代形变对其进行匹配，而该形变是受训练集合中所标记形状约束的。类似 ta s m ，主动外观模型( a c t i v ea p p e a r a n c em o d e l 。简称a a m ) 也是在对训练数据进行 统计分析的基于上建立模型。与a s m 的不同之处是，它不仅利用形状信息而且对脸部纹理 6 上海交通大学博士后出站工作报告 进行统计分析，并试图找出形状与纹理之间的联系。在训练阶段，寻找模型参数的变化和形 状纹理之间的联系，而在对新图像搜索时，根据这个关系不断调节模型参数，从而达到合成 图像与新图像尽可能的接近，此时的形状和纹理即认为是新图像的形状和纹理。a s m 和 a a m 的使用都需要在建立模型时标记训练图像的特征点，这是一件十分费事的工作，而且 其结果都极大地依赖于训练集中样本的信息，因此如果要得到好的检测结果，那么训练集中 的样本就要能反映对象变化的各种情况，最理想的情况是，训练集中的样本要均匀分布于对 象空间，并且采样密度要足够大。由此可见，这类模型中训练集的选择非常关键。 活动轮廓模型( a c t i v ec o n t o u rm o d e l ) 包括参数活动轮廓模型岬1 ( p a r a m e t r i ca c t i v e c o n t o u r s ) 和几何活动轮廓模型”j ( g e o m e t r i c a c t i v ec o n t o u r s ) ，被广泛应用于提取脸部特征 和定位人脸头部边界。h u n g 和c h e n ”】采用s n a k e 模型成功地提取出眉毛、鼻孔和整个人 脸的轮廓；l a m 等人利用s n a k e 模型获得头部轮廓；s o b o t t k a 和p t d ”9 1 将s n a k e 模型引 入到图像序列的人脸检测和跟踪中，首先根据肤色和人脸形状特征得到初始的人脸轮廓，再 利用s n a k e 模型对后续图像中的人脸轮廓进行跟踪。他们都采用了贪心算法实现曲线进化， 这种算法虽然能够加快曲线的收敛速度，但同时也增加了算法陷入局部极值的可能性。为了 保证能量函数的全局收敛性，g u n n 和n i x o n 在【4 2 】中采用基于动态规划方法的s n a k e 模型 提取人脸内部轮廓，该算法可以获得较好的提取结果，但和所有s n a k e 模型一样，仍需要很 好的初始化过程。为了解决由于s n a k e 模型本身的缺陷从而给人脸轮廓提取带来的困难， h a r p e r 和r e i l l y 4 7 1 采用基本的几何活动轮廓模型成功地分割出视频图像中的人脸区域。 总体说来，基于特征的人脸检测方法具有直观、易于为人们所接受和采用的特点但其 共同的缺陷是依赖于固定的先验模式。适应变化的能力差。而且，这类方法存在的最大困难 在于寻求相对较稳定的特征，因为图像的显式特征容易受到光照、噪声以及各种遮挡的影响， 所以人脸检测转化为不变特征量的寻找。一旦能找到符合要求的特征，这类方法将会有突破 性的成功和应用。但般来说，基于特征的方法不易检测图像中相对较小的人脸。 1 2 2 基于图像的人脸检测方法 由于人脸图像的复杂性，显式地描述人脸特征具有一定困难，因此另一类方法基 于图像的方法越来越受到重视。基于图像的人脸检测方法主要分为线性子空间方法、神经网 络方法和统计方法，如图1 4 所示。 ( 1 ) 线性子空间方法 线性子空间方法主要包括主元分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，简称p c a ) 方法、 线性判别分析( l i n e a r d i s c r i m i n a t e a n a l y s i s ，简称l d a ) 方法和因素分析( f a c t o r a n a l y s i s ， 简称f a ) 方法。 第一章概述 图1 4 基于图像的人脸检测方法 p e n t l a n d 等人首先将p c a 引入人脸检测。p c a 实质上是k l 展开的网络递推实现， 这种方法就是将包含人脸的图像区域看作是一种随机向量，因此可以采用k 。l 变换获得其 正交k l 基底，以消除原有向量各个分量间的相关性，对应其中较大特征值的基底具有与 人脸相似的形状，称为特征脸( e i g e n f a c e ) 1 2 7 1 。利用这些基底的线性组合可以描述、表达 和逼近人脸图像，因此可以进行人脸的识别与合成。他们1 9 4 j 还发现人脸在特征脸空间的投 影聚集比较紧密，因此利用前若干张特征脸将人脸向量投影到主元子空间f 和与其正交的补 空间f 。相应的距离度量分别称为d i f s ( d i s t a n c ei nf e a t u r es p a c e ) 和d f f s ( d i s t a n c ef r o m f e a t u r es p a c e ) 。对于人脸检测问题，由于没有考虑“非人脸”样本的分布，需要同时使用 d i f s 和d f f s 才能取得较好的效果。 后来发展的l d a 方法1 2 , 8 7 1 同样通过某一非线性变换把人脸图像区域属性空间的属性向 量映射到高维的特征空间，但由于它选择与类内散布正交的矢量作为特征脸空间，因此能压 制图像之间的与识别信息无关的差异，从而在一定程度上克服了p c a 方法的某些缺| 5 f ；，对 光照及人脸表情等具有一定的鲁棒性。 f a 方法4 3 t l 是由心理学发展而来的一种线性子空间方法，类似于p c a 方法，与之不 同的是p c a 方法要使用到每个项目的所有变异，而f a 方法仅使用一个项目与其他项目所 共有的变异，因此f a 方法可以克服p c a 方法对噪声的敏感性。 实际上，由于光照、姿势和表情等的影响，人脸在空间的分布是很复杂的，单一的线 性子空间可能不足以描述所有的变化模式，因此，上述单一的线性子空间方法分别被扩展到 混合线性子空间和非线性子空间，以获得更好的性能，如m o g h a d d a m 等【9 4 】通过线性混合的 p c a 方法，估计人脸的类内和类间差异的概率分布，然后采用贝叶斯方法检测人脸；k i m 等 【6 6 l 利用多个特征空间的混合模型，提出基于多投影空间的混合l d a 方法，获得了较好的检 测效果。 上海交通大学博士后出站工作报告 ( 2 ) 神经网络方法 神经网络是一种有效的模式识别方法，利用神经网络的学习能力和分类能力，可以对 人脸样本集和非人脸样本集进行学习，以产生分类器，从而达到人脸检测的目的。 最早利用神经网络进行人脸检测的方法首见于v i e n n e t 和s o u l i e 等人i 的文献，他们 采用时延神经网络( t i m e d e l a y n e u r a l n e t w o r k s 。简称t d n n ) 从复杂背景中检测人脸。为 了处理图像中不同大小的人脸，对输入图像先用小波变换进行多尺度分解。b u r e l 和c a r e l ( ” 随后应用两种神经网络模型进行人脸检测，即先用k o h o n e n 网对原始的训练集进行压缩和 粗分类，然后用m l p 网络进行精确分类。此后，j u e l l 和m a r s h 6 2 1 利用一个由四个b p 网络 组成的分层结构来检测人脸，先对原始图像进行边缘增强，再用三个网络分别检测眼睛、鼻 子和嘴，然后用一个网络判断上述三个网络的输出能否构成一个人脸。 利用神经网络进行人脸检测最成功的例子是s u n p o g g i o l l 2 1 1 以及r o w l e y 等a 1 0 s 的工 作。s u n 和p o g g i o 提出的基于聚类的人脸检测系统由两部分组成，一个是基于分布的人脸 模型，一个是多层感知器( m l p ) 。每个人脸样本和非人脸样本首先归一化成1 9 1 9 象素大 小，然后将这些样本聚类为6 个人脸中心和6 个非人脸中心，聚类中心的距离采用归一化马 氏距离( m a h a l a n o b i sd i s t a n c e ) 和标准欧氏距离来描述，最后根据这两个距离测度用m l p 进行分类。r o w l e y 等人采用有三组隐节点的b p 网络来学习人脸样本和非人脸样本，每一 组隐节点的输入都是图像上某个2 0 * 2 0 象素的子块，这些隐节点分别对应输入图像的某处局 部特征。与s u n 和p o g g i o 不同的是，他们利用人脸和非人脸样本图像的象素灰度和空间关 系来学习两类模式。由于非人脸样本太多，耍选全有代表性的样本不容易，所以他们的方法 是在训练过程中自动产生非人脸样本，即输入不含人脸的图像，将那些被误判为是人脸的子 图像作为非人脸样本。他们后来还将两个神经网络组合实现旋转人脸的检测【”】，其中一个 网络专门负责检测人脸的可能方向角，根据该方向角将人脸图像转正，另一个网络用于检测 端正的正面人脸图像，系统正确率达7 6 9 。 ( 3 ) 其它统计方法 除线性子空间方法和神经网络外，还有其它一些统计方法用于人脸检测，如隐马尔可夫 模型( h i d d e nm a r k o vm o d e l s ，简称h m m ) 方法、基于k u l l b a c k 信息理论的方法，支持向 鼙机( s u p p o r tv e c t o rm a c h i n e ，简称s v m ) 方法、b a y e s 决策方法以及a d a b o o s t 方法等。 n e f i a n 等人p ”采用隐马尔可夫模型( h i d d e nm a r k o vm o d e l s ，简称h m m ) 方法进行人 脸检测。他们把正面人脸图像的重要面部区域( 头发，前额，眼睛，鼻子，嘴巴) 从上到f 形成自然顺序，每个区域从左到右分配一个一维连续h m m 。给定包含一个或多个人脸的测 试图像在其中的每个矩形窗口中搜索，抽取观测向量，观测向量可以由每块的所有象素值 组成，也可以用从每块中抽取的二维d c t 系数来组成或者用k l 变换系数作为观测向量， 然后计算每个窗口中给定人脸模型的概率，人脸模型概率高于某闽值的窗口认为是可能的人 9 第一章概述 脸位置。他们后来还将嵌入式h m m 引入人脸检测和识别中mj ，以进一步提高检测和识别 精度。该方法同时考虑人脸由左到右各个特征的自然顺序，使用了二维h m m ，并且采用二 维d c t 变换系数作为观测向量。 文献 7 6 1 q b 采用k u l l b a c k 相对信息进行人脸检测，他们从人脸和非人脸的训练集中选择 最有信息的象素( m o s ti n f o r m a t i v ep i x e l s ，简称m i p ) 来最大化k u l l b a c k 相对信息，即给出 最大类间距离。其研究表明，m i p 集中于眼睛和嘴区，利用m i p 获得分类的线性特征，并 计算输入图像与人脸空间的距离，就可根据预先设定的阈值确定它是否为人脸。c o l m e n a r z 和h u a n 9 1 1 5 1 同样采用k u l l b a c k 相对信息区分人脸样本和非人脸样本，他们用一组离散马尔 可夫过程对人脸和背景建模并估计其概率模型，利用与训练好的概率模型的接近程度判断输 入图像是否为人脸。 为了解决小样本的学习问题，o s u n a 等人m 1 首先将支持向量机( s u p p o n v e c t o r m a c h i n e ， s v m ) 引入人脸检测中。s v m 是由v a p n i k ”9 魄出的一种学习算法，其基本思想是通过用 内积函数定义的非线性变换，将输入空间变换到一个高维的线性空间，然后在这个空间中求 最优分类面。s v m 分类函数形式上类似于一个神经网络，输出是中间节点的线性组合，每 个中间节点对应个支持向量。s v m 可以有效解决有限样本的学习问题和神经网络的过学 习问题。 s c h n e i d e r m a n 和k a n a d e i 基于b a y e s 决策规则发展了两种人脸检测方法。第一种方法 是计算输入图像区域属于人脸模式的后验概率，据此对所有可能的图像窗口进行判别，后验 概率的估计问题利用b a y e s 原理转化为一个似然度的求解问题。另一种方法是先将图像进行 小波变化后再在不同方向和尺度的子图像