（计算机应用技术专业论文）基于肤色特征和眼睛定位的人脸检测.pdf

东北大学硕士学位论文 摘要 基于肤色特征和眼睛定位的人脸检测 摘要 人脸检测的目标是从图象中判断有无人脸，如果有的话，输出人脸所在位置 和范围。它作为一个重要的课题成为许多研究者的研究内容。人们觉得它如此重 要是因为它在许多领域有着重大的应用价值，如在安全访问控制、视觉监视、基 于内容的信息检索和先进人机界面等应用领域。近来，基于肤色的方法受到更多 研究者的关注，特别是在构建快速的人脸检测和跟踪系统时更是如此。人类肤色 特征已被用在许多人脸检测、人手跟踪当中，被证明是显著和有效的特征。 本文提出了一种新颖的在真实的可能包含复杂背景的彩色图象中进行人脸 检测的方案。这种方案的特点是计算复杂度低专门针对肤色增强效果好。本文 的方案用到了两重颜色空间，目的是为了克服只用一种空间的带来的不足。为了 获得高效且稳定可靠的性能，我们精心设计和试验了一系列不同的肤色指标表达 式。设计的原则是：首先它应该反映肤色在选定的色度上的分布特性；其次考虑 到肤色信息容易受到光源变化的影响，表达式中应包含亮度成分带来的补偿效应 以抵消光线明暗变化造成的负面影响，因为灰度图象包含了人脸的重要的纹理信 息。本方案先利用融合y c b c r 和r g ( 归一化的r g b ) 两种颜色空间的信息进行 判断的思想对原图象进行肤色过滤，生成肤色相似度图象，然后利用自适应闽值 分割方法完成人脸的分割。同时结合数学形态学的方法排除明显不是人脸区域的 地方以进步缩小搜索空间。 为了验证真正的人脸区域，本文采用了眼睛定位的方法。方法主要基于垂直 投影函数及双眼对称性的分析。 在本文的最后，用一定规模的测试图片集对本文提出的整个算法进行了测试 和评估。实验证明本文提出的算法对于真实环境下的人脸图象是有效的和健壮 雕j 。 关键诵：人脸检测，肤色模型，肤色指标表达式，人眼定位，投影函数 蔓苎查兰堡圭兰堡垒墨 些! 竺! 壁 f a c ed e t e c t i o nb a s e do ns k i nc o l o ra n d e y el o c a t i n g a b s t r a c t h u m a nf a c ed e t e c t i o np r o b l e m w h o s eg o a li st od e t e r m i n ew h e t h e ro rn o tt h e r e a r ea n yf a c e si nai m a g ea n d ，i f p r e s e n t ，r e t u r nt h ei m a g el o c a t i o na n d e x t e n to fe a c h f a c e ，h a sr e c e n t l yb e e ni n t e n s i v e l yr e s e a r c h e da sa l li m p o r t a n tp r o b l e mb e c a u s eo fi t s a p p l i c a t i o n s i n m a n y d i f f e r e n tf i e l d s i n c l u d i n gs e c u r i t y a c c e s s c o n t r o l ，v i s u a l s u r v e i l l a n c e ，c o n t e n t b a s e d i n f o r m a t i o n r e t r i e v a l ，a d v a n c e dh u m a na n dc o m p u t e r i n t e r a c t i o nt h es k i n c o l o r - b a s e dm e t h o di sg e t t i n gm o r ea t t r a c t i v et h a nm a n yo t h e r m e t h o d sp r o p o s e dr e c e n t l y ，e s p e c i a l l yi n d e v e l o p i n gf a s t f a c ed e t e c t i o na n df a c e t r a c k i n gs y s t e m ，h u m a n s k i nc o l o rh a sb e e nu s e da n d p r o v e n t ob ea np r o m i n e n ta n d e f f e c t i v ef e a t u r ei nm a n y a p p l i c a t i o n sf r o m f a c ed e t e c t i o nt oh a n dt r a c k i n g i nt h i sp a p e r , an o v e ls c h e m ef o rh u m a nf a c e sd e t e c t i o ni nc o l o ri m a g e su n d e r u n c o n s t r a i n e ds c e n ec o n d i t i o n s , s u c ha st h ep r e s e n c eo fac o m p l e xb a c k g r o u n da n d u n c o n t r o l l e d i l l u m i n a t i o n ，i sp r e s e n t e d o u rm e t h o du s e sd o u b l e c o l o r s p a c e st o o v e r c o m es o m ed e f e c t sw h e nu s i n gs i n g l ec o l o rs p a c e ，t oa c h i e v eh i g ha n dr e l i a b l e p e r f o r m a n c e ，w ed e s i g na n d t e s ts k i nl i k e l i h o o de x p r e s s i o n si nd i f f e r e n tf o r m s f i r s t ， t h ee x p r e s s i o nm u s tr e f l e c tt h ec h a r a c t e r i s t i co fs k i nc o l o rd i s t r i b u t i o ni ns e l e c t e d c h r o m i n a n c es p a c e ，b u ta tt h es a m et i m e ，l u m i n a n c ei n f o r m a t i o nm u s tb ec o n s i d e r e d t ot r a d eo f ft h ev a r i a n c eo fl i g h t i n gc o n d i t i o n sb e c a u s eai n t e n s i t yi m a g ec o n v e y s i n f o r m a t i o na b o u tt h et e x t u r eo f t h ef a c e s c o l o rf i l t e r i n gu s i n ga p p r o x i m a t i o n s & t h e y c b c ra n dr g ( n o r m a l i z e dr g b ) s k i nc o l o rs u b s p a c e sa r ea p p l i e do nt h eo r i g i n a l i m a g e ，p r o v i d i n gas k i n l i k e l i h o o di m a g et h e nf a c es e g m e n ti sa c c o m p l i s h e db ya a d a p t i v e t h r e s h o l dv a l u ea p p r o a c h m e a n w h i l e ，m o r p h o l o g ym e t h o di sa p p l i e di n o r d e rt or e m o v em o s to f t h en o n p o t e n t i a l c a n d i d a t ef a c ea r e a s t o v e r i f yt h ef a c ec a n d i d a t e s ，aa p p r o a c ht ol o c a t eh u m a ne y e si sp r e s e n t e d t h e a l g o r i t h mi m p l e m e n tl o c a t i n ge y e s w i t h u s i n g v e r t i c a l p r o j e c t i o n f u n c t i o na n d a n a l y z i n gt h es y m m e t r yo f t h e r e s u l t s i nt h ef i n a lp a r t ，w et e s ta n de v a l u a t et h ep r o p o s e ds c h e m ew i t ho u rt e s ti m a g e s e t e x p e r i m e n t a lr e s u l t s s h o wt h a tt h ep r o p o s e da l g o r i t h mi se f f e c t i v ea n dr o b u s t u n d e rd i f f e r e n tc o n d i t i o n ss u c ha su n c o n t r o l l e dl i g h t i n gc o n d i t i o n k e y w o r d s ：f a c ed e t e c t i o n ，s k i n c o l o r m o d e l ，s k i n l i k e l i h o o d e x p r e s s i o n ， l o c a l i z a t i o no fh u m a ne y e s ，p r o j e c t i o nf u n c t i o n 声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取 得的研究成果除加以标注和致谢的地方外，不包含：其他人已经发表或 撰写过的研究成果，也不包含本人为获得其他学位而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明 确的说明并表示谢意。 本人签名：高山月 日 期：御牛年j 风 东北大学硕士学位论文 第一章引言 第一章引言弟一早与i 商 1 1 研究的背景和意义 人脸包含着十分丰富的信息，有着复杂和细微的变化。在人的社会交流交往 中，要识别对方的身份，觉察别人内心的变化，人的视觉系统会经常地自然地解 读这一重要的观察对象。在人的实际生活中，人脸辨别成为人与人之间沟通联系 最主要的依据之一。人的视觉能轻而易举完成人脸检测这样的任务，但要计算机 准确地检测识别人脸却是富于挑战性的。尽管提出了许多方法，有的还进入了商 品化阶段，但也只是在一定应用范围内和定的限定条件下才有效的。 虽然有关人类视觉系统识别人脸的内在机皋q 还远没有搞清楚，比如，对人来 说人的脸部都有哪些特征比其他特征更重要些；一般要至少记忆别人的相貌多少 次，等隔了很长时间后，仍能很快的认出来，哪怕叫不出他的名字来；人是怎样 区分双胞胎或特别相像父子的脸部特征的；人是怎样适应同一个人在不同的成长 阶段相貌外观的变化，如有无皱纹，有无胡须等，并能很快的识别出同一个人的 身份。但现有心理学和神经生理学研究得出的一些结论仍对开发人工的人脸检测 系统提供一些有益的启示。 ( 1 ) 人的大脑对于人脸识别有着专门的一套不同于识别其他自然和人工物 体的机制。受此启发研制人工人脸信息理解系统应注意突出人脸模式区别于其他 模式的特殊性，抓住人脸所应具有的共性； ( 2 ) 人脑有出色的并行处理和把握事物整体特征的能力。象眼睛、鼻子和 嘴这些局部特征是为人脸整体特征的综合服务的，局部特征在整体特征的约束下 起到突出差异的作用； ( 3 ) 一些研究结论指出：外观出奇特殊的人脸比起普通的人脸更容易引起 人的注意和回忆； ( 4 ) 在人脸识别理解中，人脑有出色的高级知识的运用能力，能对粗略特 征和精细特征进行不同的取舍。不同层次、不同来源的信息能够按重要程度大小 不同进彳亍适当地的交织融合； 第一章引言 东北大学硕士学位论文 ( 5 ) 人对来自同一种族的人比对来自与自己种族不同的人更易形成人脸特 征的“编码”和记忆。人也许利用了入脑早年就已训练出来的对“平均脸”编码 的能力。 ( 6 ) 人脸图象上：的变化，如脸部特殊的照明光线的变化，特殊的成像视角， 还有负片的情况都会降低人对人脸识别的能力。因此低级的物理特征对高层特征 的抽象有重要的影响。 要让计算机完全模仿人的人脸认知模式，短时期内还不太可能。但计算机有 自己的优势，它能存储更多的人脸信息，它的计算和通信速度也会越来越快，将 来会支持更复杂，适应力更强的算法。 人脸检测( f a c ed e t e c t i o n ) 是指在输入图象中确定所有人脸( 如果存在) 的 位置与大小。人脸检测系统的输入是可能包含人脸的图象，输出是关于图象中是 否存在人脸以及人脸的数目、位置、尺度、姿态等信息的参数化描述”1 。检测任 务的完成涉及从复杂的背景中分割、抽取、验证人脸区域和可能要用到的人脸特 征( 如眼角、嘴角等) ，成功的人脸检测系统应能处理实际存在的光线、人脸方 向和离照相机距离变化等各种不同情况。人脸检测作为人脸信息处理中的一项关 键技术，近年来成为模式识别与计算机视觉领域内一项受到普遍重视、研究十分 活跃的课题。 人脸检测问题的提出最早可以追溯到早期的人脸识别研究( f a c e r e c o g n i t i o n ) 中对人脸定位的需求。一个完整的人脸自动识别系统至少要包含两 个主要的技术环节：人脸的检测和人脸的特征提取与识别。人脸检测是自动人脸 识别系统中的一个关键环节，但是早期的人脸识别研究主要针对具有较强约束条 件的人脸图象( 如无背景人脸图象等) ，往往假设人脸位置己知或很容易获得， 因此人脸检测问题未引起研究者的充分重视。近几年来，电子商务等网络资源的 利用使得人脸识别成为最有潜力的生物身份验证手段，在这种应用背景下，要求 人脸自动识别系统能够对一般环境图象具有一定的适应能力，由此所面临的一系 列问题使得人脸检测作为一个独立的课题受到研究者的重视。 今天，人脸检测的应用背景已经远远超出了人脸识别系统的范畴。随着网络 技术和桌上视频的广泛采用，图象捕捉设备正在成为个人计算机的标准外设，为 视频会议等服务所急需的技术基于内容的压缩与检索成为一个研究热点。人 脸的检测是进行人脸压缩的前提条件，同时人脸也是基于内容检索的重要对象， 冈而人脸检测在这个领域中占有重要的地位。此外，人脸检测在智能化人机界面、 东北大学硕士学位论文 第一章引言 视觉监测、数字视频处理等方面也有着重要的应用价值，这使得人脸检测的研究 倍受关注。 f 面对人脸检测的一些应用领域做些简要的介绍： ( 1 ) 基于内容的视频检索 随着因特网上应用的迅速增长，象图象、视频、语音等多媒体信息( m u t i m e d i a i n f o r m a t i o n ) 的使用目益广泛，其数量也迅速膨胀起来。尤其是视频这种媒体， 集成了影像、声音和文字，是一种综合媒体。它的非结构化的本质决定了传统的 浏览和检索手段不适用于这种媒体。基于内容的多媒体信息检索就是在这样的背 景下提出的，并成为多媒体研究领域的一个热点。视频结构单元通常可以看作两 层：镜头和场景。镜头是由相互关联的连续的视频帧组成。它描绘同一个场景， 对应摄像机次记录的起停动作，代表一个场景中时间和空间上连续的动作。在 高层的内容分析、索引和分类中，镜头是基本的单元。场景包含有多个镜头，针 对同一批对象，但拍摄的角度不同，传达的含义不同。经过分析视频结构单元间 的关系建立视频内容语义进而形成有效的视频内容索引，这是支持有效的基于内 容的视频检索的关键。显然，只有实现基于语义层次上的检索，结果才能接近用 户所要检索内容的要求，所得的结果才能和用户对视频内容的表述一致，比如要 检索“有乔丹参加的篮球比赛”的电视节目。而对视频图象中的特定对象( 如人 或轿车等) 的分析是形成语义结果的基础。 ( 2 ) 有关m p e g - 7 标准 为解决对多媒体信息描述的标准问题，国际运动图象专家组于2 0 0 1 年，发 表了国际标准m p e g - 7 ，其全称为“多媒体内容描述接口”，其目标就是制定一 组标准的描述子及其描述模式( 定义描述子的结构和相互关系) ，内容描述与媒 体内容结合，使用户能够快速准确地进行检索。它不是针对特定应用的，而是提 供了灵活且可扩展的视听内容描述框架以实现各种传输媒体的共享访问和交换、 强调基于内容的交互性、可重用性、可伸缩性。除此之外，人的面部表情、性格 特征也是m p e g - 7 的数据类型之一。另外，m p e g 一7 标准组织已经建立了人脸识 别草案小组，人脸检测算法也是一项征集的内容。 ( 3 ) 基于内容的图象检索 现在许多应用都集成了大规模的图象库，而且是其中的重要部分。基于内容 的图象检索本质上是基于相似性的检索，最好是利用图象本身的特征，从所有的 图象中找出与查询者要求最接近的一批图象。现在可资利用的相似性有全局颜色 第一章引言 东北大学硕士学住论文 的相似性，形状的相似性，纹理的相似性等。而基于目标的相似性应该说是很有 效的方法。比如，原本要检索一个有关小女孩方面的图象，检索的结果却给出一 些风景或建筑方面的图象，就说明系统的检索能力和效率还急需提高。 ( 4 ) 视频监视 在一些安全监控部门，需要摄像机把周围的环境及其变化记录下来。如果有 人在活动，这时更关心目标的人脸的方向和位置，而不是服饰等次要因素，以便 辨认和事后检查。这就需要为摄像机提供视野内进行自动跟踪的能力。人脸的检 测和跟踪是这类应用的关键部分。 ( 5 ) 媒体压缩的需要 为了节约存储空间和传输带宽，应保证人们撮为注意和敏感的目标有尽可能 小的失真，丽对背景进行尽可能大的压缩。多数情况下，人的活动和面部表情成 了关注的焦点。这是人脸检测和分割成为研究热点的原因之一。 ( 6 ) 虚拟现实和电子娱乐 如果让电子游戏中的角色能感知游戏参与者的头部的动作和面部表情的变 化，将大大增强参与者的参与感和真实感。 ( 7 ) 人脸识别 由于人脸识别不干扰使用者，不侵犯使用者的隐私，属于非侵犯性的主动识 别，易于为用户所接受，而且成本也不高，因此人脸识别成为最有潜力的生物身 份验迁手段。人脸识别有两种主要的应用：1 身份鉴定( 一对多的搜索) ：在鉴 定模式下，确定一个人的身份，识别技术可以快速地计算出实时采集到的人脸数 据与人脸数据库中所有已知人员的人脸特征数据之间的相似度，给出一个按相似 度递减排列的可能的人员列表，或简单地返回鉴定结果( 相似度最高的) 和相对应 的可信度。2 身份确认( 一对一的比对) ：即所声明的身份是否与证件上所存的 持证人的人脸特征数字编码相符。在确认模式下，人脸特征面纹数据可以存储在 智能卡中或数码记录中，这种应用只需要简单地将实时采集的人脸数据与存储的 相比对，如果可信度超过一个指定的闽值，则比对成功，身份得到确认。其应用 领域还包括很多方面，比如银行业务、智能卡、访问控制、人机交互界面等等。 如果人脸检测作为能适应多种环境图象的技术，精度和效率都有了较大的提 高，那么在此基础上再分析人脸的形状等特征，且能消除非相关因素的干扰，结 果人脸识别的可靠性和正确率会相应的得到提高。就是说，人脸检测技术的难度 和重要意义是不能忽视的。 东北大学硕士学位论文 第一章引言 人脸检测的研究受到重视，不仅因为它在基于人脸的身份验证、视觉监视以 及基于内容的检索等方面有着重要的应用，人脸检测研究还具有重要的学术价 值。人脸是一类具有相当复杂的细节变化的自然结构目标，此类目标的检测问题 的困难和挑战性在于”一： ( 1 ) 人脸本质上是三维的非刚性可形变的物体。人脸由于姿态、外貌、表 情、肤色等不同，具有模式的可变性； ( 2 ) 一般意义下的人脸上，可能存在眼镜、胡须等附属物； ( 3 ) 作为三维物体的入脸的影像不可避免地受由光照产生的阴影的影响； ( 4 ) 图象的质量不一。由于成像的条件和手段不同，图象可能受噪声的干 扰，前景目标可能模糊不清，人脸与背景区别不大；或者背景中类似人脸结构的 部分与真正的人脸难以区分，也可能被某些物体遮挡，造成某些用于检测而需提 取的人脸特征不可见；或者彩色图象中光源的色温不同，造成人脸皮肤颜色不同。 因此，如果能够找到解决这些问题的方法，成功构造出人脸检测与跟踪系统， 将为解决其它类似的复杂模式检测问题提供重要的启示。 1 2 人脸检测问题的描述 我们可以从不同的角度对人脸检测问题进行分类。从人脸姿态的角度，可以 分为正面人脸检测、多姿态人脸检测。从人脸个数是否已知的角度，可以分为已 知人脸个数的人脸检测、未知人脸个数的人脸检测。从图象背景复杂程度的角度， 可以分为简单背景( 指无背景或背景的特征被严格约束，在该条件下只利用人脸 的轮廓、颜色、运动等少量特征，就能够进行准确检测) 、复杂背景( 指背景的 类型和特征不受约束，某些区域可能在色彩、纹理等特征上与人脸相似，必须利 用较多的人脸特征才能做到人脸的准确检测) 。从图片是否包含彩色信息的角度， 可以分为彩色图片的人脸检测、灰度图片的人脸检测。从图片是否是动态的角度， 可以分为在静止图蒙中检测人脸、在视频图象序列中检测跟踪人脸。本文只讨论 在静止图象中人脸检测的问题。 分析人脸的模式，人脸属于典型的三维非刚体目标，具有如下特点： 1 人脸具有结构的恒常性：人类脸部具有相同的生理结构，眼睛、鼻子、嘴等脸部器 官的排列和相对位置不因个体差异和外界因素而改变； 2 特征的分布具有对称性，例如眼睛等等； 第一章引言 东北大学硕士学位论文 3 人脸外观具有很强的可变性：个体外貌差异、表情变化、光照的影响、位姿变化的 影响、眼镜和化妆等脸部附属物的影响、远近大小的变化、不同的人脸紧挨着或被 前面的人脸遮挡。下面就一些具体方面加以说明。 完善的人脸检测要能处理多姿态人脸。多姿态人脸是由正面人脸作深度旋转和 平面旋转而形成的，姿态空间由三个旋转方向表示，分别是上下旋转、左右旋转和 平面内旋转，如图l ，l 所示。由于旋转使得一些要检测的五官不可见，适用正面人 脸的一些规则就不再适用。 ( a ) 上下的平面外旋转 ( b ) 左右的平面外旋转 ( c ) 平面内旋转 图1 1 人脸的姿态变化 f i g 11 p o s ev a r i a n c e 面部表情的变化。面部表情直接影响人脸的外观，如眯眼和瞪眼，咧嘴和闭嘴。 光源角度造成人脸上光照不均。这种情况对许多基于特征的检测方法的效果都 有很大影响。 戴不戴眼镜。戴眼镜时，镜框和镜片的颜色的深浅影响也不一样。 4 人脸图象具有丰富而细致的模式变化：人脸图象的模式变化一方面来源于人脸外观 6 东北大学硕士学位论文 第一章引言 的可变性，另方面还来源于不同的图象采集、处理过程所产生的变化，包括图象 分辨率的变化、几何变换( 如旋转、缩放、平移、镜像等) 以及通过中问载体( 如 印刷的纸张) 引入的纹理。人脸的图象数据具有高度的随机性，为形成统一的人脸 模型制造了重重困难。 5 人脸模式包含的特征具有复杂性和多样性：人脸图象所包含的模式特征十分丰富， 如肤色颜色特征、椭圆轮廓特征、对称等结构特征、直方图特征等。 可以看出，人脸模式的检测是个极具挑战性的课题。 1 3 研究现状 目前的人脸检测的方法，大多都是针对正面、大致端正人脸的，并且不考虑 阴阳脸、遮挡的情况。从基本的方法上来讲，主要可以分为两大类方法：基于人 脸特征的方法和基于统计模型的方法。 图12 是h i e l m a s 等在 7 中给出的分类目录。他把人脸检测方法分为两大类： 基于特征的方法和基于图象的方法。基于图象的方法( i m a g e - b a s e da p p r o a c h e s ) 与我们所说的基于统计模型的方法是一致的，有代表性的就是神经网络方法。特 征既包括低级的特征，如目标的边缘、灰度分布、颜色和运动等，也包括脸部各 器官的特征，如眼睛、鼻子和嘴等。而活动形状模型( a c t i v es h a p em o d e l s ) ，是 专为人脸属于典型的非刚性模式，难以用统一精确的模型描述的这个特点而提出 的。 人脸模式复杂性也体现在有多种模式特征可供利用，如：肤色、发色等颜色 特征，对称性、投影特性等结构特征，直方图特征，模板特征，头发和肩膀的关 系等固有的知识模型以及变换域( 特征脸、小波系数等) 特征等等，其中基于肤 色特征的方法适合构造快速的人脸检测和人脸跟踪算法，而较好的人脸检测一般 需要采用多种模式特征综合的方法。 以下具体介绍常用的人脸模式特征。 第一章引言东北大学硕士学位论文 图1 2 人脸检测方法的分类 f i g 1 2 f a c ed e t e c t i o nd i v i d e di n t oa p p r o a c h e s 1 3 1 人脸模式的特征提取 人脸模式的特征包括肤色特征和灰度特征。 1 3 1 。1 肤色特征 肤色是人脸表面具有的一种重要信息，不依赖于面部的细节特征，能适应人 脸旋转，表情等各种变化，具有相对的稳定性并且和大多数背景物体的颜色相区 东北大学硕士学位论文 第一章引言 别。因此肤色特征在人脸检测中是最常用的一种特征。肤色特征主要由肤色模型 描述。 使用何种形式的肤色模型与色度空间( c h r o m i n a n c es p a c e ) 的选择密切相关。 可以从两个方面考察某种色度空间：( 1 ) 在该色度空间中能否用给定的模型描述 “肤色”区域的分布，使得分布集中紧密；( 2 ) 色度空间中“肤色”与“非肤色” 区域的重叠程度大小”一。人脸检测常用的色度空间主要有：r g b ( 红、绿、蓝 三基色) 1 4 11 2 6 、r g b ( 亮度归一化的三基色) 1 2 2 1 、s h i ( 饱和度、色调、亮度) 矧、y i q ( n t s c 制的光亮度和色度模型) 2 ”、y u v ( p a l 制的光亮度和色度模 型) ”、y c b c r ( c c i r 6 0 1 编码方式的色度模型，与y u v 在数学上具有等价性) 3 0 1 、c i e l 。a 岫e ( 国际照明委员会提出的基于色度学的彩色模型) 阻”1 等。 常用的肤色模型有高斯模型，混合高斯模型和直方图模型。t e r r i l l o n 等1 考察了归一化的r - g 、c i e x y 、归一化的t s l 、c i e d s h 、h s v 、y i q 、y e s 、 c i e l * u * v 和c i e l + a + 九种色度空间，比较了高斯模型和混合高斯模型在不同 色度空间中的性能，发现除了少数情况外，一般需要使用混合高斯模型才能较好 地描述肤色区域的分布。t e r r i l l o n 等同时指出，最终限制检测性能的因素是不同 色度空间中“肤色”与“非肤色”区域的重叠程度。 j o n e s 等”研究了r g b 空间中“肤色”与“非肤色”象素的分布，根据标 定出肤色区域的近二万幅图片( 包含约二十亿个象素) 建立了三维直方图，在此 基础上比较了直方图模型和混合高斯模型，发现前者的性能略好于后者。 除上述三种肤色模型外，还有直接利用几何参数描述肤色区域分布范围的模 型、三维投影模型p 9 1 、基于神经网的肤色模型刚等。此外也有同时考虑“肤 色”与“非肤色”象素分布的基于贝叶斯方法的模型”“。 1 3 1 2 灰度特征 灰度特征包括人脸轮廓特征、人脸灰度分布特征( 镶嵌图特征、直方图特征 等) 、器官特征( 对称性等) 、模板特征等。 轮廓是人头部的重要特征。c r a w 等”“首先在低分辨率图象中使用一个轮廓 模板匹配出入脸的大致范围，然后在高分辨率图象中使用s o b e l 算子获得边缘的 位置和方向，并连接出完攘的人脸轮廓。w a n g 等”提取边缘特征并根据广义 h o u g h 变换抽取椭圆形状信息。 除了边缘细节外，脸内部的灰度信息本身也可作为特征使用。面部特征如眼 眉、瞳孔、嘴部通常显得比周围皮肤部分暗，而鼻尖、颧骨等部位通常比周围亮。 第一章引言 东北大学硕士学位论文 如果要利用这方面特征，例如把鼻失部位作为脸部的中心，经常要做消除躁声和 对比度增强的预处理。 人脸核心区域( 眼睛、鼻子、嘴区域) 具有独特的灰度分布特征。y a n g 等”1 首先提出了人脸的镶嵌图( m o s a i ci m a g e ，又称为马赛克图) 特征。所谓镶嵌图 就是将图象划分为一组大小相同的方格，每个方格的灰度为格中各个象素的平均 值。镶嵌图特征是指这些块的值应满足的约束规则。l v 等”1 依据人脸的左右对 称性，通过提取投影直方图特征检测人脸的旋转角度，再提取镶嵌图特征。d a i 等”提取空间灰度共现矩阵( s g l d ) 特征等等。 人脸区域内的各个器官( 如双眼、鼻子、嘴等) 是人脸的重要特征。k o u z a n i 等”使用人工神经网分别检测眼睛、鼻子、嘴以及人脸的整体特征。 人脸区域的灰度本身可以作为模板特征，通常取仅包含双眼、鼻子和嘴的面 部中心区域作为共性的人脸模板特征”“，排除掉头发、脸颊两侧变化很大的部分。 被广泛地用于基于统计学习的人脸检测方法中。 1 3 2 人脸模式的特征综合 人脸的检测过程实际上就是对人脸模式特征的综合判断过程，包括如下方 法。 1 3 2 1 基于特征( 启发式模型) 的方法 首先抽取几何形状、灰度、纹理等特征，然后检验它们是否符合人脸的先验 知识。 在基本竖直的人脸正面核心区域，水平方向的边缘是较为集中和显著的，如 眉毛、眼睛、嘴部等处。这是检测和验证人脸能用到的有用的特征。边缘检测是 边缘表示的第一步。s o b e l 算子，m a r t h i l d r e t h 边缘算子，一些高斯函数一阶和 二阶导数( 拉普拉斯) 形式的边缘算子以及c a n n y 边缘检测算子都曾被用过。 在基于边缘检测的人脸检测方法中，为了验证结果的正确，检测出的边缘需 要标上标号并验证是否匹配人脸模型。g o v i n d a r a j b l 7 5 1 使用变形模板( d e f o r m a b l e t e m p l a t e ) 匹配和标记上正面人脸的左侧面颊轮廓线、头顶轮廓线和右侧面颊轮 廓线，并且假定理想的人脸模型符合宽与高之比满足黄金分割比，实现人脸定位。 g o v i n d a r a j u 的方法分以下步骤： 边缘检测：用了m a r r h i l d r e t h 边缘检测算子。 细化；p a v l i d i s t 7 6 l 文中提出的经典算法。 东北大学硕士学位论文 第一章引言 消除毛刺：每个连通分量只保持中心主干部分。 过滤；对明显不具有人脸特征的分量加以排除。 角点检测：分量依据检测的角点分裂。 标标号：最终得到的分量标上分属人脸左侧边缘、发际线或右侧边缘不同的 类别。 标记后的分量基于代价函数( 即黄金比) 组合形成可能的人脸候选区域。经 在6 0 幅共包含9 0 个人脸的有复杂背景的图象上测试，正确检测率达到7 6 。 s i r o h e y 提出一种为人脸识别在复杂背景中定位分割人脸的方法“。它用边 缘图( 由c a n n y 边缘检测算子得出) 和启发式方法排除和归类找到的边缘以便只 保留下可能是组成人脸的外轮廓的边缘，接着用椭圆来拟合人脸与背景之间的边 界。这种算法用在4 8 幅包含复杂背景人脸图象上取得8 0 的准确率。 y a n g 等”1 提出了基于镶嵌图( m o s a i c i m a g e ，又称为马赛克图) 的人脸检测 方法。 t a n g 等将人脸的五官区域分别划分为4 4 个和8 8 个马赛克块，使用 一组规则进行检验，并且利用边缘特征进一步验证。卢春雨等”对镶嵌图方法进 行了改进，按照人脸器官的分布将人脸划分为3 3 个马赛克块，在检测中自适 应地调整各块的大小，使用一组基于各块灰度和梯度统计特征的知识规则检验该 区域是否为人脸，取得了较好的实验结果。 人脸区域内的各个器官也具有较为恒定的模式，因此一些方法酋先检测器官 ( 如双眼、鼻子、嘴等) 或局部特征，然后根据它们的相对位置关系判断整个区 域是否为人脸。k o u z a n i 等”将使用人工神经网分别检测出来的眼睛、鼻子、嘴 以及人脸的整体特征及相互间的位置关系输入一个模糊神经元网络，根据其中的 领域知识判断被检测的区域是否为人脸。m i a o 等”从输入图象中提取可能对应 于眉毛、眼睛、嘴等器官的水平方向的马赛克边缘( m o s a i ce d g e ) ，计算各段边 缘的“重心”( g r a v i t yc e n t e r ) 后，使用“重心”模板进行匹配，最后使用灰度 和边缘特征验证匹配的结果。该方法对人脸位姿的变化具有较强的适应能力。采 用局部特征检测方法的还有基于双眼检测的方法”“、基于概率框架的局部特征聚 类方法【4 6 1 、以及结构模型、纹理模型和特征模型相结合的方法等。 人脸灰度模板也可以看作是一种启发式模型。早期的基于模板匹配的方法”1 是这样傲的：首先建立一个标准的人脸模板，由包含局部人脸特征的子模板构成， 然后对幅输入图象进行全局搜索，对应不同尺度大小的图象窗口，计算与标准 人脸模板中不同部分的相关系数，通过预先设置的阈值来判断该图象窗口中是否 第一章引言 东北大学硕士学位论文 包含人脸。在文 1 5 中，p o g g i o 利用基于模板的方法来定位眼睛的位置，他们把 标准的眼睛模板调整为5 个不同的尺寸，然后在输入图象中找寻眼睛。这种简单 模板匹配的方法易于实现，但是也存在着缺点：图象噪声对检测结果影响很大， 因此需要对输入图象做适当的预处理：标准模板的大小是人为设定的，因此不能 动态检测眼睛的位置。y u l l i e 等人”提出了基于弹性模板的方法，用于人脸特征 的抽取。弹性模板”是由一个根据被测物体形状而设定的参数化的可调模板和与 之相应的能量函数所构成，能量函数要根据图象的灰度信息、被测物体轮廓等先 验知识来设计。当用弹性模板进行人脸检测时，首先，将可调模板在待测图象中 移动，并动态地调整其参数，计算能量函数。当能量函数到达最小值时，根据其 位置和参数所决定的可调模板形状应该达到与人脸形状的最佳拟合，这样就检测 到了一幅人脸。这种方法的优点在于，由于使用的弹性模板可调，能够检测不同 大小、具有不同偏转角度的物体。但是其缺点是检测前必须根据待测物体的形状 来设计弹性模板的轮廓，否则会影响收敛的结果；当对图象进行全局搜索时，由 f 要动态地调整参数和计算能量函数，计算时间过大。 梁路宏等”驯使用了直接的平均脸模板匹配方法。与c a i 等1 3 4 1 的方法不同，该 方法考虑到眼睛在人类辨识人脸过程中的特殊作用，使用双眼模板首先进行粗筛 选，然后使用不同长宽比的人脸模板进行匹配，最后使用马赛克规则进行验证。 使用的模板参见图1 3 。 图13 双眼模板和不同长宽比的人脸模板 f i g 1 3 e y e sa n df a c et e m p l a t e s 此外还有l v 等”1 根据投影直方图分析首先确定人脸的旋转角度，然后使用 基于镶嵌图的方法检测人脸；d a i 等”根据空间灰度共现矩阵特征检测人脸等 等。其它基于知识模型的方法可以参见【1 1 。 利用人脸的轮廓、对称性等少量特征的方法适用于较强约束条件下( 如简单 背景、头肩图象) 的人脸检测。由于使用的特征较少，此类算法可以达到较高的 检测速度，实现实时检测与跟踪。利用人脸五官分布特征的知识模型方法能够在 一定程度上适用于复杂背景图象中的人脸检测，同时达到较高的检测速度，如 2 0 3 9 等。但是需要看到，要想进一步提高知识模型的适应能力，需要综合更 东北大学硕士学位论文 第一章引言 多的特征，这实际、b 涉及到图象理解所需要解决的困难问题。 1 3 2 2 基于统计模型的方法 由于人脸图象的复杂性，显式地描述人脸特征具有定困难，因此另一类方 法基于统计模型的方法越来越受到重视。此类方法将人脸区域看作一类模 式，即模板特征，使用大量的“人脸”与“非人脸”样本训练、构造分类器，通 过判别图象中所有可能区域属于哪类模式的方法实现人脸的检测。实际上，人脸 检测问题被转化为统计模式识别的二分类问题。 ( 1 ) 基于特征空间的方法 此类方法将人脸区域图象变换到某一特征空间，根据其在特征空间中的分布 规律划分“人脸”与“非人脸”两类模式。 主分量分析( p c a ，p r i n c i p a l c o m p o n e n ta n a l y s i s ) 是一种常用的方法。它根 据图象的统计特性进行的正交变换( k l 变换) ，以消除原有向量各个分量间的 相关性。变换得到对应特征值依次递减的特征向量，即特征脸”。m o g h a d d a m 等”发现人脸在特征脸空间的投影聚集比较紧密，因此利用前若干张特征脸将人 脸向量投影到主元子空间f 和与其正交的补空间f ，相应的距离度量分别称为 d i f s ( d i s t a n c ei nf e a t u r es p a c e ) 和d f f s ( d i s t a n c ef r o mf e a t u r es p a c e ) 。对于 入脸检测问题，由于没有考虑“非入脸”样本的分布，需要同时使用d i f s 和 d f f s 才能取得较好的效果。 m i t 的s u n g 等”“提出了基于事例学习的方法，同时使用了1 9 x1 9 象素分 辨率的“人脸”和“非人脸”样本。样本预处理后按行列顺序展开为样本向量进 行主分量分解。采用k 均值聚类方法在特征空间中建立6 爪人脸”簇( c l u s t e r s ) ， 同时建立包围“人脸”簇的六个“非人脸”簇，以使“人脸”与“非人脸”模式 的边界更为清晰。s u n g 等使用样本到各个簇中心的距离训练一个多层感知器进 行分类。需要指出的是，人脸检测中“非人脸”样本的选取是一个较为困难的问 题。s u n g 等使用了“自举”( b o o t s t r a p ) 方法加以解决：首先建立一个仅使用“人 脸”簇的初始分类器对一组图象进行检测，将所有的错误报警( 不是人脸而被错 检为“人脸”的结果) 加入“非人脸”样本库，构造新的使用“人脸”与“非人 脸”簇的分类器重新检溯。以上过程不断迭代，直到收集了足够的“非入脸”样 本。 属于特征空间方法的还有园子分解方法( f a c t o r a n a l y s i s ，f a ) 和f i s h e r 准则 第一章引言 东北大学硕士学位论文 方法( f i s h e rl i n e a rd i s c r i m i n a n t ，f l d ) 。y a n g 等f 4 9 1 在混合线性子空间( m i x t u r e s o f l i n e a rs u b s p a c e s ) 中对“人脸”和“非人脸”样本的分布进行建模，分别使用 基于e m 算法的扩展f a 方法和基于自组织映射( s e l f - o r g a n i z i n gm a p ，s o m ) ”的f l d 方法构造检测器。此外，小波变换也被用于人脸检测，如 5 2 和 5 3 中使用了小波变换提取人脸的多分辨率特征作为分类的依据。 ( 2 ) 基于人工神经网的方法 人工神经网( a n n ) 方法是把模式的统计特性隐含在a n n 的结构和参数之 中，对于人脸这类复杂的、难以显式描述的模式，基于a n n 的方法具有独特的 优势。 c m u 的r o w l e v 等黔5 6 使用了多个a n n 检测多姿态的人脸，算法的框架如 图1 4 所示。图中显示了两类a n n ：一个位姿检测器( p o s ee s t i m a t o r ) 用于估 计输入窗口中人脸的位姿、三个检测器( d e t e c t o r ) 分别检测正面( f r o n t a l ) 、半 侧面( h a l f p r o f i l e ) 和侧面( p r o f i l e ) 的人脸。使用经过对准和预处理的“人脸” 样本以及采用“自举”( b o o t s t r a p ) 方法收集分类器错分的样本作为“非人脸” 样本训练各个a n n ，进一步修正分类器。检测时对输入图象中所有可能位置和 尺度的区域首先使用位姿检测器估计人脸位姿，经校准和预处理后送入三个检测 器中，最后对检测器的分类结果进干亍仲裁。 输入 图象 图14r o w l e y 5 6 的基于人工神经网的人脸检测框架 f i g 1 4t h e f r a m e w o r k o f f a c ed e t e c t i o n i a r o w l e y 5 6 】 测 果 在上述框架下，r o w l e y 等对正面端正人脸和正面旋转人脸的检测单独进行 了研究刚旧。对于正面端正的入脸，仅使用了正面入脸检测a n n ，是一种三层 前向网：输入层对应2 0 x 2 0 象素的图象区域；隐层