（计算机软件与理论专业论文）基于神经网络的人脸检测研究.pdf

摘要 人脸柃测是计算机视觉和模式识别领域中的一个研究热点和难点，它研究的主 要问题是判断静态图像或动态影像中是否存在人脸，如果存在则对人脸进行定位。 人脸榆测是实现机器智能化的苒要步骤，具有广泛的应用前景。 人丁抻经嗍络类似于生物神经系统，是以神经细胞为基本运算单元( 即人t 神 经元) 组成的一种非线性自适应动力学系统。通过利用合理的学习算法进行训练， 神经l 删络对事物和环境具有很强的自学习、自适应和自组织能力。将神经 【) 4 络应用 于人脸榆测的优点是可以通过对系统进行训练来捕获人脸模式的复杂分类条件，而 缺点在于刚络必须经过广泛的结构调整( 如层数，节点数，学习率) 和样本训练才 能获得好的效果。 本文介绍了神经嘲络的基奉原理和主要特征：针对人脸柃测领域的特殊性，通 过理论分析和大量实验获得了一个较为有效的神经网络结构；对待测图像进行预处 理，减少光照等闲素带来的影响，提高检测率：引入学习率来加快b p 神经嘲络的训 练迷度。最终，提出了一个经过改进的基于神经网络的人脸榆测系统。 为了改善整个检测系统的榆测性能，本文根据人脸肤色的色彩特征，构建了一 个基于y c b c r 的肤色模型。经过非线性变换，使得该模型中色度值不再线性依赖于 亮度值，提高了肤色检测的准确率。利用该模型可以简单快速的对待测图像进行划 分，减少了待榆测图像的大小，加快了下一步的分类速度。 实验结果表明，本文系统能够对静态图像进行有效的人脸榆测，并取得了较高 的榆测率和可接受的误检数。同时，该系统对多人脸、小同大小、彳i 同位置、小同 方向、1 i 同面部表情和不同光照条件等情况也表现出较好的适应性，通过适当地增 加训练样本的数量和类型，还可以进一步提高检测性能。 关键词：人脸检测；人工神经网络；肤色检测 a b s t r a c t f a c ed e t e c t i o n ( f d ) i sah o t s p o ti nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n g i v e n a na r b i t r a r yi m a g e ，t h em a i nc o i l c e mo ff a c ed e t e c t i o ni st od e t e r m i n ew h e t h e ro rn o t t h e r ea r ea n yf a c e si nt h ei m a g ea n d ，i fp r e s e n t ，r e t u r nt h ei m a g el o c a t i o na n de x t e n to f e a c hf a c e i ti st h ef i r s ts t e pf o ra n yf u l l ya u t o m a t i cf a c er e c o g n i t i o ns y s t e ma n dh a sl o t s o fa p p l i c a t i o n s s i m i l a rw i t hb i o l o g i c a ln e u r a ls y s t e m ，a r t i f i c i a ln e u r a ln e t w o r kf r o m ) i sc o n s i s t e do f m a n yn e u r o n s i ti s an o n l i n e a ra n ds e l f - a d a p t i v es y s t e ma f t e rt r a i n i n gw i t hap r o p e r l e a r n i n ga l g o r i t h m ，n nh a sac a p a b i l i t yo fs e l f - t e a m i n g ，a d a p t i n ga n do r g a n i z i n g i tc a n s i m u l a t eh u m a nb r a i nt op r o c e s ss o m eu n c e r t a i ni n f o r m a t i o n i n t r o d u c i n gn nt o f d ， d e t e c t o rc a ne x t r a c tt h eh u m a nf a c ep a t t e r nf r o ml a r g eq u a n t i t i e so ft r a i n i n gs a m p l e f o ra b e t t e rp e r f o r m a n c e ，t h en e t w o r kn e e d st oh a v eaw e l l d e s i g n e da r c h i t e c t u r ea n db ef u l l y t r a i n e d t h i sp a p e rb r i e f l yi n t r o d u c e st h eb a s i ct h e o r ya n dc h a r a c t e r i s t i c so fn e u r a ln e t w o r k a tt h eb e g i n n i n g a c c o r d i n gt ot h es p e c i a lp a r t i c u l a r i t i e so ff d ，i td e s c r i b e sh o wt od e s i g n a ne f f e c t i v en na r c h i t e c t u r ew i t hs o m et h e o r ya n a l y z i n ga n das e r i e so fe x p e r i m e n t s ； p r e p r o c e s s i n gi si n v o l v e dt oa v o i dt h ei n f l u e n c ef r o mv a r i e dl u m i n a n c ea n do t h e rn o i s e ； l e a r n i n gr a t ei su s e dt os p e e du pt h el e a r n i n gp r o c e s so fn nc l a s s i f i e r f i n a l l y , an n b a s e df ds y s t e mi se s t a b l i s h e d t oi m p r o v et h ep e r f o r m a n c eo ft h et o t a ls y s t e m ，w eu t i l i z eay c b c rb a s e ds k i n t o n e m o d e l a f t e ran o n l i n e a rt r a n s f o r m i n g ，t h ev a l u e so fc ba n dc ra r en o td e l 婶n d e n to n l u n a i n a n c es om i sm o d e lc a np r o v i d eap r e c i s es k i nd e t e c t i o n i ti su s e dt or e d u c et h e b u r d e no f t h ef o l l o w i n gc l a s s i f i e rf r o ms e p a r a t i n gs k i na r e af r o ma ni m a g e t h er e s u l ts h o w st h a tt h es y s t e mc a nd of a c ed e t e c t i o no ns t i l lp i c t u r e se f f e c t i v e l y w i t ha h i g hd e t e c h o n r a t ea n a la c c e p t a b l ef a l s en u m b e r m e a n w h i l e ，i ti sr o b u s tt o m u l t i f a c e ，v a r i e t ys i z e ，p o s i t i o n ，o r i e n t a t i o n ，e x p r e s s i o na n di l l u m i n a t i o n i ti sp r o v e d t h a tt r a i n i n gw i t ha d d i t i o n a ls a m p l ec a nl e a dt oap r o m o t e dp e r f o r m a n c e k e y w o r d s ：f a c ed e t e c t i o n ；n e u r a ln e t w o r k ；s k i n t o n ed e t e c t i o n 青岛大学顺十学位论文 第一章绪论 面部，是人类在互相区分、认识、记忆的过程中所依赖的最直接、最主要的白 然特征。人脸承载着极为丰富的内容，通过对一个人血部特征的识别和分析，就可 以基本判断出这个人的性别、年龄、身份、种族等许多信息。对人脸图像的硎：究一 直是汁算机视觉和信号处理领域的晕要课题。 1 1 研究背景与意义 人脸识别( f r ) 是智能身份验证、视频监控、人一机接口“。”l ，和图像数据库系 统”“中的关键技术，受到人们的广泛关注。人脸检测是这些应用中的第一步，也是 尤为晕要的一步。y a n gm h 给出了一个人脸榆测的定义”：“任意给定静态图像或图 像序列，人脸榆测的同标就是判断该幅图像内是台存在人脸，如果有，则返回每个人 脸的位置和区域。”一些特别设计的人脸榆测系统还可以给出人脸的旋转角度、姿态、 表情甚至性别和种族等信息。 对人脸检测的研究可以追溯到2 0 世纪6 0 7 0 年代，迄今为止经过几卜年的曲折 发展己日趋成熟。人脸榆测作为自动人脸识别系统中的一个关键环节，在早期的人 脸识别研究中并未受到学者们重视，这是因为当时的研究主要针对具有较强约束条 件的人脸图像( 如无背景的图像) ，往往假设人脸的位置已知或很容易获得，导致人 脸榆测无多大实用价值。 近几年随着人t 智能技术的小断发展及其在身份搽定、公共安全等领域的广泛 应用，人脸识别成为最有潜力的生物身份验证手段。尤其在91 1 事件之后，为了能 够有效地打击犯罪和恐怖活动，保障公众安全与社会稳定，人们需要一种在公共场 合能够快速自动定位并识别可疑人群的智能监控t 具。这种应用背景要求自动人脸 识别系统对一般环境图像具有较强的适应能力，由此所面临的一系列问题使得人脸 榆测开始作为一个独立的课题受到研究者的重视。 实际上，人脸榆测的应用价值彳i 仅仅在于为人脸识别提供对象。除了在安全方 血的应用以外，人脸榆测在其他领域同样具有良好的前景。例如，在日前逐渐成熟 的视频会议和可视电话系统中，如果使用动态人脸榆测技术，在保证网络传输速度 和图像质量的前提下，发送端对每一帧图像中的人脸和背景进行榆测标定，背景部 分可以用一个较低的码率或较低的分辨率进行传输，减小刖络负荷，而人脸区域则 以一个较高的优先级进行处理和传送以保证传输质量和速度，从而在接收端获得质 景较好的晕建图像；在基于内容的图像柃索系统中，利用用广给出的一幅人脸图像， 利_ l | j 人脸榆测技术，可以很快的在数据库中找出一系列相似图像进行比对，减少了 处理整幅图像带来的麻烦。 笫一章绪论 1 2 难点及主要问题 对于人类自身来讲，在自己视野内找出人的面孔是一件自然而且容易的事情， 但对于汁算机，我们需要预先设汁相当复杂的检测识别机制，才能使其在一幅数宁 化的图像中找出可能存在的人脸。人脸是一类具有复杂细节变化的自然结构日标， 对于人脸的榆测实际上可以看作是一个二类( 人脸i 非人脸) 的模式分类问题。其主 要难点表现在以下几个方面： 1 人脸奉身的冈素：由于人脸结构复杂，某些局部特征具有不确定性( 如刁i 同 人的脸型，五官的大小、形状、位置等都会存在细微差别) ，构建一个广泛适用的人 脸模型是一件很困难的事情，而且还要考虑人类由于情绪的变化会产生不同的表情， 表情变化会导致五官的变形，从而使得人脸榆测算法4 i 得4 i 考虑到表情的变化。( 现 在，对人脸表情的研究也己经发展为一个单独的课题) 。这些都给人脸检测带来难度。 2 面部修饰物的影响：人脸上可能会有各种各样的修饰物，比如发型、头饰、 胡须、眼镜、伤疤等，这些都会或多或少地改变人脸本来的一些特征；另外，一些 化妆技术会使得人脸的全部或部分呈现异常的色度和灰度，对于某些基于颜色的检 测方法可能会制造麻烦。 3 图像的获取过程中存在的刁；确定性：理想的图像采集设备是不存在的，任何 采集器都不可避免地会产生一些噪声、畸变或失真；光照条件的影响也很明显，光 照强度不同，光源的颜色和角度的差异都会导致摄取到的图像呈现高亮、暗光或者 偏色等失真现象。 近年来，随着对人脸检测技术的研究小断深入，人们提出了多种基于不同理论 的人脸检测方法，但是由于以上冈素的影响，仍然有很多问题没有获得较好的解决： 1 由于人脸模式的多样性，人脸图像的空间分布非常复杂，有限的样本集难以 覆盖全部人脸图像子空间，在高维空间中建立准确的分布模型又是一件很困难的事 情。因此，如何有效地描述人脸在子空间的分布值得研究。 2 对于具有复杂背景的图像，重点是如何有效地区分类似人脸的区域和真正的 人脸区域。神经嘲络、s v m 、叭叶斯分类器等通常能获得好的分类结果，研究新的分 类方法是提高榆测性能的另一个晕要途径，可以借签字符、语音、指纹等识别中比 较成功的分类方法。 3 日前还小能较好地处理任意姿态、光照和遮挡等变化条件，开发高性能的人 脸榆测方法仍是主要的研究方向。由于小同的人脸描述方式有4 i 同的特点，不同的 分类器产生的分类结果也4 i 一样，多个特征融合和分类器融合的方法可以有效提高 榆测性能。 4 日前多数研究都是基于静态图像，但实际应用中很多场合都要求是实时的， 青岛大学硕十学忙沦史 这就要求人睑检测算法便于实现而且具有较快的处理速度。 5 图像或视频通常以压缩编码的形，存储或传输，检测前需要先解码，会q 用 很多时间。如果在压缩域进行榆测，由于卅i 需要完全解码，直接利用乐缩域系数， 可以大大提高榆测速度。所以如何利用压缩域系数进行人脸检测是一个很有意义研 究课题。 1 3 人脸检测算法的性能评价 1 31 测试数据库 研究丁作中，我们需要一系列的实验图片、视频作为实验样零集，来进行算法 训练并用于评估、比较4 i 同榆测算法的性能。同个人脸检测算法，使用4 i 同的训 练集，往往会得到4 i 同的训练结果。人脸模式冷身的复杂性和多样性，和图像中背 景的复杂性和多样性，使得建立一套全面有效的人脸榆测算法评估标准是1 分困难 的，研究者只能通过使用某一测试集对不同人脸检测方法进行测试或者用一i 同测试l 集对某一方法进行测试，得出有差异的实验结果，达到评估人脸检测算法的日的。 日前国外有很多用于人脸识别的标准测试库，通常每个测试库都会包含多人以 4 i 同光照、背景、姿态拍摄的多幅图像。由于人脸检测对实验样本的要求与人脸识 别基本相同，所以，通常可毗直接把人脸识别的测试库用于人脸检测，常见的测试 库如表1 1 所示 表1 i 常见的人脸测试库 测试库名称内容 米源 耐基一梅隆大学测试集包含 c m u1 3 0 扶度图像总共包含5 0 7 正 h t t d ：w w w c s c m l t e d u 、h a t 人脸 收集了大最的男性、女性人脸， f e r e t每张图像包含了一张特定表情 h t t p ：w w n i s t g o v h u m a n l d f e r e t 的人脸 共有1 6 个人的脸，每个人有2 7f t p ：w h i t e c h a p e l m e d i a m i t e d u m i ti 她在1 i 同光线、h ；同尺度、小同p u b i m a g e s 头部角度情况下的图像 剑桥大学，4 0 人，每人1 0 张照 o r l片，包括表情变化微小姿态变 h t t p ：w wc a m o r lc o u k f a c e d a t a 化，2 0 以内的尺度变化。 b a s e h t m l 分为2 0 个主题共5 6 4 张图像， u m i s t每个主题包括从侧面到正面的 h t t p ：i m a g e s e eu m i s ta c u k d a n n y d a t a b a s e h t m l “i 同人脸姿态 第一章绪论 图1 1m i t 的人脸样本库( 部分) 如图1 1 就是m i t 数据库中包含的典型的正面人脸图像，图像的尺寸都为2 0 x 2 0 。由于不同研究任务的需要，必要时可以设训和建立具有特色的专用数据库。本 文后面部分，在对算法进行训练和测试时主要使用了c m u 和o r l 两个比较常用的测 试数据库，此外还选取了些新闻图片和视频截图以测试算法的适应性。 13 2 评价指标 在对人脸检测性能进行评价的时候，主要考察以下三个指标： 检测率( d e t e c t i o nr a t e ) 正确检测到的人脸数目除以测试集中实际包含的 全部人脸数目，它是反映榆测算法性能的主要指标。 误检数( f a l s ed e t e c t i o n ) 误榆是指检测系统将非人脸区域错误地认为是 “人脸”，这个指标反映了算法的区分能力。通常比较敏感的算法会带来较高 的榆测率，同时也会伴随着较高的误榆数。 漏检数( m i s s e dd e t e c t i o n ) 图像中未被榆出的人脸数。如果这个指标超出 了可以接受的范闱，证州算法的适应性较差，对于某类或某个人脸不敏感。 另外，处理速度也是榆测个算法优劣的重要指标，1 i 同的检测算法会产生不 同的计算代价。对于实时系统，甚全要求在一秒钟内能够处理儿喷的图像。处理 述度受实验半台的影响较大，难以客观地进行比较，通常给出典型图片的处理时间 4 青岛大学颂十学托沦文 作为参考。 对于人脸检测算法的研究，人们追求的f - 标自然足较高的榆测率，羽l 较低的误 榆数，但这二者又往往难以同时获得。某些算法的柃测率可能相当高，但误榆数也 会比较大；一些算法几乎1 i 产生误榆，但苛刻的检测带来很多漏榆，导致榆测率巧i 高。冈而在设汁算法的过程中，很多时候需要考虑平衡两者之间的矛盾，以获得总 体较优的性能。 1 4 本文的主要工作及创新点 针对人脸榆测这一课题，本文首先简单介绍人脸榆测的蕈要意义、难点及性能 评价标准，并对基于h i 同理沦的算法进行了综述和分析。然后简述了基于肤色模型 和神经刚络的榆测算法的原理、改进利实现方法，并提出了一种包含了肤色榆测过 程，以神经刚络作为分类器的新型人脸榆测系统。 肤色是人脸的重要信息，不依赖于面部的细节特征，对旋转、表情等变化都能 适用，具有相对稳定性并且区别于大多数背景物体的颜色。肤色可用几个简单的参 数来表征，计算简单快速，但检测准确率有限，冈此常被应用于人脸初定位中。本 文通过构建一个基于y c b c r 颜色空间的肤色模型，充分利用了待测图像中的色彩信 息，对可能的人脸区域进行划分，大大缩小了检测范同，提高了下一步检测的速度。 本文选用了b p 神经网络作为分类器，通过理论分析和实验获得一个比较好的网 络结构和刚络初始值。由于采用普通b p 算法t i l l g d ，嘲络收敛速度较慢，而且存在着 局部极小值的问题，于是对b p 算法进行改进来提高学习速率和增加算法的可靠性。 改进的b p 算法采用了动量法和学习率自适应调整的策略。 1 5 本文的内容组织 第一章绪论，首先简述了人脸检测的研究背景利席用价值，又分析了该课题的 难点和日前存在的主要问题，然后介绍了一些用于评价算法性能的测试数据库和评 价指标，最后概括了本文的主要t 作和创新点。 第二章是人脸检测方法综述，介绍了人脸榆测领域国内外的研究现状，对f l 前 已有的人脸检测方法进行分类，并分别讨论其发展和优缺点。 第三章介绍了关于色彩的一些基率原理，和常见的几种色彩模型。根据人脸肤 色的统计特性，建立了一个肤色榆测模型用来对待测图像进行粗榆，将可能的人脸 区域从背景中分割出来。 第四章是多层神经叫络及其结构设玑苗先介绍了人一h 十经到络的基本原理和 主要特征，然后对本文b p ： | | i 经i 叫络的结构设计进行了详细阐述，通过理沦分析和实 筛一章绪沦 骀来确定i 叫络结构和一系列的参数。 第五章是样奉收集和i 咄络训练，依次介绍了实验样奉的收集和b pi 叫络的训练过 程。 性能 第六章是系统组成和实验结果分析，通过几个测试集考查本文系统的实际榆测 对上的测试结果进行统计分析，并给出了部分图像的榆测结果。 第七章对全文进行总结并展望了未来t 作：最后是致谢和参考文献。 青岛大学倾十学f 论文 第二章人脸检测方法综述 随着对人脸榆测研究的深入，人们提出了许多基于卅i 同数学模型的新榆测方法 及改进策略。有文献”i 将人脸榆测方法分为四类： 1 基于知识的方法( k n o w l e d g e b a s e d ) 2 ，特征币变量方法( f e a t u r ei n v a r i a n t ) 3 模板匹配的方法( t e m p l a t em a t c h i n g ) 4 基于表象的方法( a p p e a r a n c e b a s e d ) 同时，也可以将人脸检测的方法简单地分为两类：基于特征( 白上而下) 和基 于图像( 自下而上) 的方法。基于特征的方法指以某种特征为最小处理单元的方法； 基于图像的方法指以图像中的像素为处理单元的方法。另外，有些人脸榆测的方法 并_ i 能简单地归于上述中的某一类，可能综合运用了多种方法。 下面将按文献”l 的分类对现有的人脸榆测方法分别进行简单介绍。 2 1 基于知识的方法 这类方法根据人们对人脸的认识建立起一系列规则来描述人脸的特征及各特征 之间的关系。常用的规则包含： _ 脸型轮廓 人脸的轮廓可近似地被看成一个椭圆，可以通过检测椭圆来完成。对任意一幅 图像，首先进行边缘检测，从细化后的边缘中提取曲线特征，然后将各曲线组合成 人脸的评估函数来计算检测人脸。 器官分布规则 虽然人脸冈人而异，但五官分布总是会遵循一些普遍的规则，即几何规则，如 两只眼睛的区域总是近似对称的，而鼻子和嘴巴的区域会在两眼之间的对称轴上。 榆测图像中是= 芒j = 有人脸，即是否存在满足这些规则的图像块。这种方法一般是先对 人脸的器官或器官的组台建立模板，然后榆测图像中几个器官可能分布的位置，对 这些位置点分别组合，用器官分布的知识规则进行筛选，从而找到可能存在的人脸。 运动规则 若输入图像为动态图像序列，则可以利用与人脸或人脸的器官相对于背景的运 动来榆测人脸，比如利用眨眼或说话等动作的探测来实现人脸与背景的分离。 使用这类方法进行人脸柃测时，甬先提取输入图像中的人脸特征，然后根据上 述规则确定可能的脸部区域。最后还需通过一个验证过程去除康似的人脸榆测结果。 y a n g 和l t u a n g 在文献。q - 提出了基于人脸知识的多级人脸榆测方法( 镶嵌图方 笫：常人脸检测方法综述 法) ，该方法使用了三级人脸区域灰度分布规则，根 ：| 苦这些规则对输入图像从低分辨 率到高分辨率进行筛选，以样本满足这些规则的程度作为人脸检测的判据。 k o t r o p o u l o s 和p i t a s 在文献中利用输入图像在水平及垂直方i 柚上的灰度积分投 影，确定可能的人脸特征( 器官) 位置，这些人脸特征所在区域也就是可能的脸部区 域。然后根据眉毛眼睛、鼻+ l 鼻子、嘴的柃测规则对可能的脸部区域进行验证。 基于知识的方法足一种自上而下的方式。它的核心问题就是如何将人类知识归 纳为有效的规则：如果规则制定得过于详细、严格，那么可能有许多人脸无法通过 规则的验证：如果规则制定得太宽泛，那么可能许多非人脸会被误判为人脸。这类 方法也较难推广并用于4 i 同的人脸姿态情况。冈此，这类方法对简单背景下正面人 脸的榆测效果会比较好。 2 2 基于人脸恒定特征的方法 基于人脸恒定特征的方法主要运用人脸面部小随姿势、视角、光照变化的结构 特征，来定位人脸。可以利用的人脸特征包括五官特征、面部纹理特征、面部肤色 以及多种特征的组合。一般先检测出可能的人脸特征作为候选，通过考察面部特征 的位置关系或形状，来抛弃错误的候选，保留正确的人脸。 一五官特征 通过对输入图像进行带通滤波后，再使用形态学处理以增强某些形状区域( 如眼 睛) 的灰度，处理后的输入图像的直方图会出现一个突出的峰，根据该峰的位置和宽 度，选择自适廊闭值以产生两个二进制图像，由这两个二进制图像中的连通部分确 定可能的脸部特征所在区域，再使用分类器对这些区域的组合进行评估以确定是否 存在人脸。g r a f 等人在”l 中提出的一种在灰度图像中定位人脸的方法即利用了人脸 面部特征，取得了很好的效果。 $ i r o h e y 在l 中使用c a n n y 边缘榆测器和启发式方法来去除或组合某些边缘以 便保留脸部轮廓边缘，然后使用一椭圆与头部区域和背景区域之间的边界相匹配， 利用匹配后的椭圆分割出人脸。 一使用脸部纹理特征 人脸具有独特的纹理特征，能够被用来区分人脸与其它物体。a u g u s t e ij n 和 s k u f c a 在中提出一种通过对类似人脸纹理进行识别，进而推断是台存在人脸的方 法。利用1 6 x 1 6 的子图像上的二阶统计特征计算图像纹理。这里考虑了皮肤、头发 及其它物三种类型的纹理特征，使用级联相关神经l 叫络对纹理进行分类，并通过 k o h o n e n 自组织映射”“对小同的纹理类别进行聚类，最后对皮肤和头发纹理的出现 采用投票机制推断是否存在人脸。d a i 和n a k a n o 在文献”中则利用s g i 。d ( 空间灰度 共生矩阵) 纹理图信息作为特征，进行低分辨率的人脸榆测。 8 青岛大学坝十学何沦文 面部肤色特征 在人脸榆测中，人的肤色已被证明是一有效的特征，在一定程度一i ：可以将人脸 与大部分背景区分开来。尽管4 i 同种族的人具有1 i 同的肤色，一些删f 究”l 表明主 要的区别很大程度上在于肤色的强度而1 i 在于皮肤颜色本身。根据计算机色彩理论， 色彩在计算机中有卅i 同的表达方式，这样就形成了各种4 i 同的色彩空间” ( 如r g b 空 间、h s i 空间、y d 空间等) 。有很多建立肤色模型的方法，在归一化r g b 空间中， 人脸肤色在由r 和g 表示的颜色空间中，集中在一个较小的区域中，并近似呈现出 g a u s s 型分布规律。最简单的肤色模型可通过在r 和g 颜色空间中定义一矩形区域 来表示上述人脸肤色相对比较集中的区域”“”i ，落在此区域内的像素叩被认为是肤 色像素。 有些复杂的肤色模型则利用统计测试来建模，如o l i v e r 等”以及y a n g 和 w a i b e l ”“测试了一i 同种族人种的几干个肤色样本，然后使用g a u s s 分布来表示肤色 分布，通过汁算输入图像像素颜色的m a h a l a n o b i s 距离来与肤色模型比较，这里 m a h a l a n o b i s 距离被作为输入图像像素颜色与肤色模型近似程度的一种度量。这种 统；l _ 肤色模型可以通过学习的方法白适应地改变模型，对光照及摄像机参数变化有 一定的鲁棒性。 这类方法的不足之处在于：图像中人脸特征边缘可能会冈光照、噪声和遮挡而 受到严熏的干扰，人脸特征边缘强度也可能会被削弱，同时，阴影也会产生大量很 强的边缘，这些都可能导致算法失败。 2 3 基于模板匹配的方法 在基于模板匹配的方法中，通常要手动地预定义或者参数化一个标准人脸图案。 晟简单的人脸模板可以是个椭圆。榆测过程：首先对输入图像进行预处理做尺度 归一化和灰度归一化的工作，然后计算输入图像与人脸模式中脸的轮廓、眼、鼻、 嘴_ 各部分的相关值。根据这些相关值可确定输入图像中是台存在人脸及其位置。这 种采用同定模板的方法优点是简单、易于实现，缺点是无法处理图像中人脸尺寸、 姿式、形状的变化。随后，为了克服这一缺陷，相继又提出了多精度、多尺度、子 模板和变形模板等方法。 一同定模板 s a k a i 等较甲_ 提出同定模板匹配方法榆测照片中的正面人脸”，将眼、鼻、嘴、 脸轮廓各个子模板组合构造人脸模式，粹个子模板由线段组成。输入图像中的线段 由最大梯度法提取出来并与各个子模板进行匹配。甬先，输入图像被分成多个子图 像并分别与轮廓子模板进行匹配，汁算出匹配相关值并由此初步确定出可能的人脸 及其位置，然后将可能的人脸图像与脸器官子模板进行匹配，以进一步判定人脸及 u 筇j 章人脸检测方法练述 其位置。 c r a w 等利用! 血人脸的形状模板提出一种定位人脸的方法”。该方法使用 s o b e l 算子提取图像边缘，这些边缘被组合起来在一些约束条件下与人脸的形状模 板进行匹配。 m i a o 等使用分级模板匹配方法榆测人脸”“。该方法将输入图像按5 0 的间隔从 一2 0 0 至u + 2 0 0 进行旋转，用于解决人脸在图像中的旋转问题：对输入图像进行了多精 度变换分级，并使用l a p a c i a n 算子提取图像边缘。人脸的模板由六个脸部器官的 边缘构成，即两个眉毛，两只眼、一个鼻和一张嘴。启发式算法被最后用来确定人 脸是否存在。 _ 变形模板 y u i l l e 等”使用变形模板对脸部特征进行建模，采用先验的弹性模型与脸部特 征( 如眼等) 进行匹配。脸部特征可通过参数化的可变形模板来描述，该方法通过定 义能量函数将输入图像中边缘、峰、谷与相廊模板的参数联系起来，并通过使得能 量函数最小化找出最匹配的弹性模型。该方法的优点是变形模板能够很好的逼近非 刚性脸部特征，但前提是要选择恰当的初始模板参数值，使得初始模板充分接近目 标特征。k a s s 等l 提出了另一种变形模板，即活动轮廓模型( a c t i v e c o n t o u r m o d e l s ) ，又称为“s n a k e s ”，主要用于定位人的头部边界。之后，c o o t e s 等人又提 出了一种活动轮廓模型，称为“s m a r ts n a k e s ”以及点分布模型( p d m ) ，给出了有效 的人脸描述方法”“”。 2 4 基于表象的方法 基于表象的人脸榆测方法，首先通过对大量样奉的统汁分析和机器学习来收集 与人脸图像和非人脸图像相关的特征，然后利用获得的分布模型或判别函数构造分 类器，进行人脸检测。在样本学习过程中，采用降维等手段以减少计算量、提高榆 测效率。因此这是一种白下而上的方法。 许多基于表象的方法都可以在概率论的框架中得到解释。特征向量可以看成是 随机变量x ，这个随机变量被分类条件密度函数p ( x f a c e s ) 和p ( xn o n f a c e s ) 分别 描述成人脸和非人脸。图像中备选的人脸或者非人脸位置可以用叭叶斯判决规则 ( b a y e s i a nc l a s s i f i c a t i o n ) 或者最大概然法( m a x i m u m1 i k e l i h o o d ) 来判别。但是， 简单地应用扒1 1 - r 斯判决是彳i 可行的，这是因为： 1 x 是高维的； 2 p 扛lf a c e s ) 和p ( ，yn o n f a c c s ) 足多态的( m u l t i m o d a l ) ： 3 p 仁if a c e s ) f o p “in o n f a c e s ) 的臼然参数化形式( n a t u r a lp a r m n e t e r i z e df o r n l s ) 还没有乔 清楚。 0 青岛大学顶十学仇论文 冈此，基于表象的方法中的许多t 作都涉及到_ l | 经验来验证p ( x i f a c e s ) 和 p ( x ln o n f a c e s ) 参数和非参数的近似的问题。 还有一些方i $ - 币0 用了人脸平u 非人脸类的判别函数( 如决策面、分离超平面、阈 函数等) 。图像图案先被映射到低维或者高维空间，然后使用判别函数来进行分类。 这类方法主要分为特征脸法、基于分布规则的方法、神经l 叫络、支持f 量机( s v m ) 以及a d a b o o s t 方法。 一特征脸法 最早用特征阳量来进行人脸检测的是k o h o n e n ”“，他构建了一个简单的神经网 络来实现规范化了的人脸图像的识别。这个神经刚络用图像的自相关矩阵的特征i 柚 量近似计算了对人脸的描述。这些特征向量后来就发展成了特征脸方法。 特征脸是基于从主成分分析( p c a ) 的一种人脸榆测，它根据一组人脸训练样奉 构造主成分空间，榆测时，将测试图像投影到主成分空间上得到一组投影系数即待 测图像样本到特征脸空间的距离，距离越小，待测图像是人脸的可能性就越大，从 而得到检测结果。 在传统特征脸的基础上，研究者注意到特征值大的特征人脸向量( 特征脸) 并 卅i 一定分类性能好，而冈此发展了多种特征( 子空间) 选择方法，如b e l h u m e u r 的 f i s h e r f a c e 方法”等。事实上，特征脸方法是一种显式主元分析人脸建模的方法， 而一些线性自联想、线性压缩型b p 嘲则为隐式的主元分析方法，它们都是把人脸 表示为一些向量的加权和，这些向量是训练集叉积阵的主特征向量。特征脸方法是 一种简单、快速、实用的基于变换系数特征的算法，但由于它在本质上依赖于训练 集和测试集图像的灰度相关性，且没有利用非人脸信息作为反例，对与人脸相似的 物体容易误检，所以还有着很大的局限性。 基于分布规则的方法 s u n g 利p o g g i o 。“提出了基于分布规则的人脸榆测系统方法。该系统展示了一 个物类图像模式的分布是如何通过这一物类的正例利反例样本学习得到的。该系统 包含两个部分，即用于人脸与非人脸模式构建的基于分布规则的模型，以及多层感 知( m l p ) 分类器。 有些文献“2 l 在榆测人脸的方法中使用了f js h e r 线性判别( f l d ：f i s h e s l i n e a rd i s c r i m i n a n t ) 将高维图像空间样奉投影到低维特征空间，减少了汁算量， 提高了效率。 一神经删络方法 这类方法将人脸榆测作为区分人脸样奉与非人脸样本的两类模式分类问题，利 用神经叫络或史持l 量机对人脸样本集与非人脸样小集进行学习以产生分类揣。= i i 第。i 章人脸检测方法综述 神经刚络可以充分逼近任意复杂的非线性关系，采用并行分布处理方法，使大 量快速运算成为可能。神经嘲络具有自学习功能，在实现图像识别时，只需要先把 许多卅i 同的图像样本和对戍的识别结果输入人 i 神经刚络，削络就会通过自学习功 能，慢慢学会识别类c a d , j 图像。 在使用神经刚络的人脸榆测方法中，有里程碑式意义的t 作由r o w l e y 等人最 甲在1 9 9 6 年提出”。r o w l e y 等采用局部连接的神经嘲络榆测人脸。将待榆测区域 划分成多个矩形的子区域( 窗口) 以便更好地描述4 i 同尺度的人脸特征，每个区域 对应一个神经刚络隐含单元。对神经嘲络在多个分级上的输出进行判决以降低误榆 率，如图2 1 。 图2 1r o w l e y 的神经网络系统 用神经刚络进行人脸检测的好处是很容易训练一个用于检测人脸模式的系统。 但是，缺点是网络结构需要大范同的调整( 层数、结点数、学习速率等等) 才能获 得期望的性能。 _ 基于支持向量机s u p p o r tv e c t o rm a c h i n e ( s v m ) 与神经网络方法类似，支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 也是种 基于统计学习理论的模式识别方法，它在结构风险最小化基础上，为两种不同类别 的样本数据找到一个最优分类面，可以说是一个受限的二次规划问题。此方法由 b o s e r 、6 u y o n 、v a p n i k 在c o l 卜9 2 上首次提出。 最先将此方法应用于人脸榆测的是o s u n a 等人”，他们采用这个方法的榆测效 果和s u n g 等人”的方法相似，但速度却提高了近3 0 倍。 h e i s e l e t 等人”l 采用两级s v m 的方法来榆测人脸。根据一些预定义的特征点， 从训练集中提取人脸和非人脸图像最有区别的多个局部区域。榆测时，根据多个简 单的线性s v m 分别榆测各个人脸特征区域。并用一个摘单的线性s v m 榆测各个可能 2 青岛大学坝十学佛沦文 的人脸部分的几何组合是台符合人脸结构。相比于将整个人脸作为特征，该方法获 得了更高的榆测率。 一隐马尔科夫模型h i d d e nm a r k o vm o d e l ( h 儿m ) 隐马尔科夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 是用于描述信号统汁特性的一组 统计模型。h m m 使用马尔科夫链来模拟信号统计特征的变化，而这种变化又是间接 地通过观察序列来描述的，冈此，隐马尔科夫过程是一个双苹的随机过程。在h m m 中， 节点表示状态，有向边表示状态之间的转移，一个状态可以具有特征空间中的任意 特征，对同一特征，4 i 同状态表现出这一特征的概率4 i 同。由于h m m 是一个统计模 型，对于同一特征序列，可能会对应于许多状态序列，特征序列与状态序列之间的 对应关系是非确定的。这种模型对于状态序列来说是隐的，故称为隐马尔科夫模型。 n e f i a n 等采用隐马尔可夫模型榆测人脸”。榆测区域中的每个子区域采用主要 的k a r h u n e n l o i r e 变换系数作为观察矢量，通过b a u m w e l c h 算法和v i t e r b i 分 割算法获得h m m 的模型参数，根据检测区域的观察序列的输出概率进行判决。 一基于a d a b o o s t 的人脸榆测方法 使用a d a b o o s t 学习算法的简单特征自举级联快速人脸榆测方法由v i o l a 等人于 2 0 0 1 年提出”“”。该方法采用一种称为“积分图像”的图像表示方法，这种表示法 能够快速计算出检测器用到的特征，然后基于a d a b o o s t 学习算法，从一个较大的特 征集中选择少量的关键的视觉特征，产生一个高效的分类器。再用级联的方式将单 个的分类器合成为一个更加复杂的分类器，使图像的背景区域快速地丢弃，而在有 可能存在目标( 人脸) 的区域花费更多的计算，其层叠分类器在人脸检测方面速度 快且性能与r o w l e y 的神经l 叫络方法相近。该方法的突出地位和贡献在于，它给出了 个稳定的、实时的目标检测框架，是第一个实时的人脸榆测算法。并由此激发了 更多研究人员在基于局部特征和智能学习的实时人脸榆测算法方面的研究。微软研 究院l i 的研究组发展了这一方法并用于多视角的人脸检测，这些研究代表了该类 方法研究的前沿。 青岛大学硕l 学似沦文 第三章肤色检测 人脸的肤色特性属于先验知识，它爿i 依赖于面部的细节特征，具有相对稳定性 小会冈为旋转、表情等变化而发生大的变化。多数情况下，肤色区域区别于背景物 体的颜色。通过肤色特性可以进行人脸的初定位，而且计算过程简单快速。 奉章甬。先介绍了一些关于颜色的概念，在分析比较几种颜色空间基础上，提出 一种基于y c b c r 空间，与亮度无关的肤色模型，进行背景一人脸区域的划分。 3 1 颜色与色彩 3 1 1 关于颜色的概念 通过几百年的理论研究和实践结果，现在人们对颜色的物理本质己经有了相当 的掌握私了解。颜色的本质最早是牛顿发现并进行系统研究的。甲在1 7 世纪，牛顿 研究三棱镜对白光的折射，就己发现白光可被分解成一系列从紫到红的连续光谱， 从而证叫白光是由巧i 同颜色的光线混合而成的，且这些颜色一i 可再分。这些不同颜 色的光线实际上是不同频率的电磁波。人的脑、眼将不同频率的电磁波感知为不同 的颜色。 颜色是视觉中的重要概念，事实上，在视觉世界中，任何物体均是有颜色的， 即除了明暗变化之外，还有颜色的变化。颜色特征使人们心中的世界变得绚丽多彩， 大大丰富了视觉信号中所蕴含的信息，从而有助于人们对客观世界的了解。眼色视 觉正常的人在光亮条件下能看见可见光谱的各种颜色，它们从长波一端向短波一端 的顺序是：红、橙、黄、绿、蓝、紫。此外，人眼还能在上述两个相邻颜色范围的过 渡区域看到各种中间颜色。我们常常把这些颜色叫做绿黄、蓝绿等等。此外还有一 些难以叫出名字的颜色。 在光谱中，从红端到紫端，中间有各种过渡的颜色。人的视觉在辨认波长的微 小变化方面的能力有多大呢? 即波长改变多少人才能分辨出颜色发生了变化? 人的这 种辨别颜色的能力在卅i 同的波长是4 i 一样的在光谱的某些部位，只要改变波长l n m ，人眼便能看出颜色的差别，但在多数部位需要改变卜2 n 才能看出其变化，而 最低闽限位于4 8 0 n m 以及6 0 0 n m 附近，而最高闽限位于5 4 0 h m 附近以及光谱的两端。 在整个光曙上，人们可以分辨出一百多种小同的颜色。 颜色和彩色严格来说是爿i 等同的。颜色可分为彩色和非彩色两大类。非彩色是 指白色、黑色和各种深浅不同的灰色。它们可以构成个系列，由白色渐渐到浅灰， 再到