（计算机应用技术专业论文）基于肤色分割和特征提取的人脸检测系统.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 随着科技的发展，传统的身份验证已很难适应人们的需求。基 于虹膜和指纹的生物特征验证对采集条件要求高，很难大范围推广。 基于人脸检测的生物特征识别具有友好、方便、对硬件设施要求不 严格等优势，近年来已经受到充分关注。由于人脸检测是人脸识别 的基础，也是基于内容( 如视频等) 检索的基础，因此具有十分重 要的研究意义和实用价值。 在对国内外人脸检测相关研究的分析比较基础上，本文首先给 出了人脸识别系统的实现框架，说明了人脸检测在人脸识别系统中 的重要性。然后在此基础上实现了一个人脸检测系统。本人脸检测 系统包括肤色建模、边缘检测等功能。该系统既可以对单张图进行 单独检测，也可以进行上百张图片的批处理检测，从而方便地观察 到算法的总体效果。 通过讨论人脸检测之肤色建模所采用的色彩空间和与最常用色 彩空间y c r c b 相关联的肤色建模，本文重点分析了非线往彩色空间 变换n y c r “c b “。接着。论文基于经典边缘检测算子原理，编程实现 了相关算法，通过对比分析本文采用c a n n y 算予，给出了眼睛和嘴 巴的提取和验证方法。本系统在v c 环境下开发，源程序和可执行文 件体积小，除包含文件操作的基本功能外，各个重要模块布局也比 较合理，易于扩展。 最后，作者讨论了在研究过程中遇到的问蹶和解决办法，以及 未来工作的思考和建议。 关键词：人脸检测；特征提取：c a n n y 算予；n y c r 7 7 c b 7 7 空间；肤 色模型；数学形态学 西南交通大学硕士研究生学位论文第l i 页 a b s tr a c t w i t ht h ed e v e l o p m e n to ft e c h n o l o g y 。t h et r a d i t i o n a li d e n t i t y r e c o 窑n i t i o n c a n n o tm e e tt h e i n c r e a s i n gd e m a n d g t h eb i 0 1 0 9 i c c h a r a c t e r i s t i cb a s e di d e n t i t yr e c o g n i t i o ns u c ha si r i sa n dd a c t y l o g r a m n e e d sv e r ys t r i c ti n f b r m a t i o nc o l l e c t i o nc o n d i t i o n s w h i c hm a k e si t d i f 荫c u l tt ob eu s e d 口r a c t i c a l l y t h ev e r i f i c a t i o no fb i o l o g i cc h a r a c t e r b a s e do nt h ef a c ed e t e c t i o nh a sa d v a n t a g e ss u c h a sf t i e n d l v ， c o n v e n i e n t ，a n ds i m 口1 eh a r d w a r e ，e t c ，w h i c hh a sa t t r a c t e dm o r ea n d m o r ea t t e n t i o n st h e s ey e a r s a st h ef a c ed e t e c t i o ni sn o to n l yu s e df o r f a c er e c o g n i t i o n ，b u ta l s of o rt h ec o n t e n ts e a r c h ， d i g i t a lv i d e o p r o c e s s i n g ，t h e r e f o r e ，i th a sr e s e a r c hs i g n i f i c a n c ea sw e l la sp r a c t i c a l v a l u e b a s e do nt h ee x i s t i n gr e s e 盯c hr e s u l t s ，ar e a l i z a t i o nf r a m e w o r ko f f a c ef e c o g n i t i o ns y s t e mi sp r o p o s e d ，t o g e t h e rt h oi m p o r t a n c eo ff a c e d e t e c t i o nt ot h ei d e n t i t yr e c o 碍n i t i o ng y s t e m t h i sf a c ed e t e c t i o n s y s t e mh a sf h n c t i o n s0 fc o m p l e x i o nm o d e l i n ga n de d g ed e t e c t i o n ，e t c i nt h es y s t e m ，n o to n l yas i n g l ei m a g ec a nb ed e t e c t e d ，b u ta l s o h u n d r e d so fi m a 窖e sc a na l s ob ed e t e c t e da tt h es a m et i m e ，w h i c h m a k e si tc o n v e n i e n tt oe v a l u a t et h eo v e r a l le f f e c t a f t e rd i s c u s s i n gt h ec 0 1 0 rs p a c eo fc o n l p l e x i o nm o d e l i n 窟a n dt h e c o m 口l e x i o nm o d e l i n gr e l a t e dt ot h ec o l o rs p a c ey c r c b ，t h i st h e s i s f b c u s e do na n a l y z i n gt h es p a c ey c r c ba n di t se x t e n d e ds p a c e 一一 n y c 一7 c b “s o m ec l a s s i c a le d g ed e t e c t i o a l g o r i t h m sa r er e a l i z e db y p r o g r a m m i n g b a s e do nt h es i m u l a t i o nr e s u l t s ，u s i n gc a n n yo p e r a t o r ，a m e t h o dt oe x t r a c ta n dv a l i d a t ee y e sa n dm o u t h si sg i v e n t h i ss y s t e m i sd e v e l o 口e di nv ce n v i r o n m e n tw i t hv e r yc o m p a c ts o u r c ef i l ea n d e x e c u t i v ef n e b e s i d e st h eb a s i cf i l n c t i o n ，e v e r yi n l p o r t a n tm o d u l ei s d e s i g n e dr e a s o n a b l y ，w h i c hi se a s yt oe x t e n df u r t h e r f i n a l l y ， t h ep r o b l e m se n c o u n t e r e di nt h er e s e a r c ha n dt h e i r s o l u t i o n sa r ed i s c u s s e d ，a n dt h es u g g e s t i o n sf b rf u t u r ew o r ki sa l s o d r e s e n t e d k e vw o r d s ： f a c ed e t e c t i o n ；f e a t u r e se x t r 8 c t i o n ；c a n n yo p e r a t o r ； n y c r “c b “s 口a c e ：c o m p l e x i o nm o d e l ； m a t h e m a t i c a l m o r p h 0 1 0 9 y 西南交通大学硕士研究生学位论文第l 页 第一章绪论 1 1 人脸检测研究背景和意义 随着当今科技的日新月异，特别是美国“9 1 l 事件”后，身份鉴定已经 成为安全、电子政务等应用领域研究的热门。目前广泛使用的依靠i d 卡( 身 份证、工作证、储蓄卡等) 以及密码等传统方法来确认个人身份的技术面临 着严峻的挑战。i d 卡的易损坏，丢失以及卡太多造成的密码混淆或者遗忘、 密码易被破解等诸多问题，显得越来越不适应人们的需求。由此兴起的生物 特征验证识别技术相比传统个人身份识别具有更好的安全性、可靠性和有效 性，因此成为人们关注和研究的热点。 生物特征验证识别包括指纹、虹膜、人脸、掌纹等的验证识别，指纹和 虹膜识别研究起步比人脸识别早，现在已经有成熟的产品投入应用。虽然人 脸识别兴起较晚，但因其相对指纹、虹膜识别等，具有侵犯性底，不要求被 识别者主动配合，采集人脸方便，其所需硬件比采集指纹、虹膜等所需的造 价低等优点，因此正日益普及开来。 人脸检测和识别系统作为一种重要的个人身份鉴别方法，可以广泛的应 用于刑侦破案、安全验证系统、信用卡验证、视频会议、人机交互、证件核 对、a 州等多种场合，与其它身份鉴别相比，人脸识别具有直接、友好、方 便和鲁棒性强等特点。 1 。2 人脸检测与人脸识别的关系 人脸检测( f a c ed e t e c t i o n ) 是指给定任意一幅静态图片或者一段动态图 像序列，在未知的图像背景中确定是否存在人脸，如果存在，给出入脸的位 置、大小等过程。 人脸检测问题最初来源于人脸识别( f a c er e c o g n i t i o n ) “1 ，最初人 脸研究也主要集中在人脸识别领域，而且早期的人脸识别算法都是在认为已 经得到了一个正面人脸或者人脸很容易获得的前提下进行的”1 。但是随着人 西南交通大学硕士研究生学位论文第2 页 脸应用范围的不断扩大和开发，实际系统需求的不断提高，这种假设下的研 究不再能潢足需求“1 ，人们发现其中人脸检测是最复杂、最匿难的，雨人 脸识别则相对容易一些”1 ，因此人脸检测开始作为独立的研究内容发展起来。 。 图卜1 人脸识别基本框架图 人脸识别系统的基本框架如图卜1 所示，首先，由传感器c c d 摄像机或 照相机得到入脸图像，输入，进行一些必要的预处理，再根据人脸检测算法 来定位人脸，接着再进行人脸识别，可见人脸检测是识别的基础。 但人脸检测还不仅仅限于人脸识别。在会议电视、视频监控以及视频数 据压缩等诸多方面，特别是近年来的基于内容的检索尤其是视频检索的研究， 人脸作为重要的、稳定的检索特征，在各类题材的视频中广泛存在。利用检 测得到的人脸，可以有效标注、索引以及分类视频。所以人脸检测不仅仅是 人脸识别的前提和关键，同时也是其他应用领域中的一项关键技术。鲁棒且 高效快捷的人脸检测定位算法是后续研究的重要保证。因此本文的人脸检测 不单可以作为人脸识别的一个前提和关键步骤，也从实际应用的角度来研究 和分析。 现代的生物科学研究认为，大脑有特定的神经区可以完成对人脸的检测 和识射等处理。由于入脑的许多未知的本领，因此在各种不商的环境气候和 不同条件下，人脑可以很容易的识别出人脸和非人脸，但对于计算机就不那 么容易了。在复杂背景下，人脸检测定位将受到以下诸多因素的影响： 人脸在待检测图像中的位置( l o c a t i o n ) 、方向( o r i e n t a t i o n ) 、尺度 ( s c a l e ) 和光照( 1 1 1 u m i n a t i o n ) 等的影响。成像时的姿势( 正面、4 5 度、 侧面、倒置) ，人脸特征诸如个眼睛或者鼻子部分或全部被遮挡。人脸若在 图像中很小，或者被物体遮挡，将造成检测和定位需要提取的人脸特征不明 显，从而直接影响到后续检测结果；在方向上如果变化过大，检测和定位需 要提取的人脸特征检测不到，那么在人脸检测和定位中就有可能失效：尺度 西南交通大学硕士研究生学位论文第3 页 大小的不确定性，会影响检测和定位的速度。即使以上条件同时都比较理想， 但是如果光照条件使人脸有强烈的阴影区域或强烈光照区，或者由于成像对 的亮度和对比度等因素使人脸和背景区域区别不大，都会给人脸检测和定位 带来极大的难度。 人脸的附件，诸如胡须、髭、眼镜等的有无。这些附件的形状、颜色 和尺寸等存在很大的可变性。人脸的图像数据具有高度的随机性，这些局部 特征的随机性更增加了人脸检测和定位的难度，如果这些局部特征在某些特 定情况下取代人脸主要特征，人脸检测和定位就有可能失败。 任何噪声都有可能影响图像处理的最终结果，如果噪声过大，人脸特 征不明显，同样会加大人脸检测的复杂性。 如图卜2 所示，可以发现，同一张人脸在不同情况下具有不同的视觉效 果，由于姿态、遮罩、阴影、光线、成像距离等的变化而呈现多态性。 圈卜2 不同情况下人脸的状态 1 3 人脸检测国内外研究现状 近年来以人脸为特征的人体生物识别技术发展十分迅速。美国m i t 的 m e d i a l a b 、a i l a b 和c 删的h u m a n c o m p u t e ri n t e r f a c ei n s t i t u t e 以及微软 研究院、微软亚洲研究院等：英国的牛津大学、剑桥大学的一些研究机构： 中国的清华大学、中科院、哈工大、浙江大学、西北工业大学和西安交大等： 德国的d c s a g 公司和澳大利皿的c s i r o 公司等都对相应的研究课题进行了研 西南交通大学硕士研究生学位论文 第4 页 究和实践，有的产品已经投人使用。 目前，在人脸检测和识别中的精度和速度问题仍然没有得到很好解决。1 ， 且由于国际上并没有形成一个统一的对人脸检测和识别效果认定的标准，研 究者们在对复杂背景的图像进行检测时也并不使用相同的测试库而是很多采 用各自收集到的图像，因此在对比人脸检测和定位的不同方法时，即便这些 结果由相同的数据测试集产生，仅是简单的对比结果都将产生误导，因为存 在使用不同的测试环境的差异问题。不同的作者对正确的定位和检测有不同 的观点，p o p o v i c i 、t h i r a n 等人砸1 指出了这个问题并提出一个关于人脸检 测和定位标准的建议。 一般人脸检测过程如图卜3 所示： 输入图_ 图卜3 人脸检测过程 步骤的功能是判定候选区域为人脸或非人脸，被称为“人脸检测器”， 是人脸检测的核心。 人脸检测和识别发展短短几十年，出现了很多方法，大致可以归为以下 几类： 1 3 1 基于知识规则的方法 这种基于规则的方法主要根据研究者关于人脸结构特征的知识，利用一 些简单的规则来描述人脸特征和它们之间的关系。如人脸有对称分布的两个 眼睛，鼻子和一张嘴巴，脸部器官之间的关系可以由它们之间的距离和相对 要壹塞鎏盔兰塑圭塑塞生兰丝迨塞蔓i 夏 位置来表示，通过验证目标图像是否符合先验的规则来判断是否为人脸。这 种方法在于净背景的正面人脸图像中可以取得较好的效果，但也存在一些闯 题：首先很难将人脸的结构特性转换为规则；其次若规则制定得过于详细， 则在检测过程中人脸可能无法通过所有的规则，如果规则制定得过于简单， 可能检测出非人脸图像。早期的y a n 9 9 3 提出了一种基于知识规则的层次检测 方法。 该类方法主要依赖于采用的人脸特征数的多寡和对人脸的先验知识，工 作量大，运算时间长。 1 3 2 特征不变量法 特征法的理论依据是人脸在任何不同情况下，其基本的构成部件都是眼 睛鼻子嘴。因此，有很多研究者先通过低级分析，如颜色分割等得到类人脸 区域，再通过中高级分析，利用人脸的几何信息把特征部件提取出来并组合， 最终基于一系列规则来校验这些特 正并判定组合后的区域是否为一张人脸。 该类方法主要采用的特征不变量有：面部特征、纹理、皮肤颜色和多重 特征的融合。如“”先选择一些在检测过程中未被检铡到或者检测时确认度很 低的所谓“种子”人脸进行离线训练，从这些离线训练的“种子人脸”中选 择特定的肤色模型，然后根据该模型反向传播来优化定位结果。 1 1 在归一 化的r g 色彩空间里结合肤色分割和2 d p c a 来进行人脸的检测和识别。 1 2 则利用f i s h e r 变换结合价值函数来增强人脸特征边缘的颜色向量，采用结 合颜色信息的扩展a s m ( a c t i v es h a p em o d e l s ) 来进行人脸特征的定位。 1 3 基于g l d h ( g r a yl e v e ld i f f e r e n c eh i s t o g r a m ) 分析，对所谓的标准人脸图 片自动检测面部的对称轴。 1 4 先利用肤色模型对图像进行分割，采用几何 信息分析来确定最后的人脸。 1 5 根据人脸器官的灰度分布特性来得到人脸 区域，对所得的结果使用最小同值分割吸收核区( s m a u e s t u n i v a l u e s e g m e n t a s s i m i l a t i n g n u c l e u s ，s u s a n ) 方法进行验证。 1 6 在y c b c r 彩色空间进 行肤色分割，利用人脸特征在亮度空间变化显著的特性间接判断脸部特征的 存在。 1 7 同样在y c b c r 空间进行肤色分割，不同的是分割的同时运用h a a r 小波变换来减少噪声的影响。 1 8 采用混沌变异的小生境遗传算法，对输入 的图像从不同尺度上同时搜索人脸区域。 1 9 的q e a ( q u a n t u m i n s p i r e d e v o l u t i o n a r ya 1 9 0 r i t h m ) 的人脸检测算法。主要基于椭圆脸和 酉直交通大学硕士研究生学位论文第6 页 p c a ( p r i n c i p a lc o m p o n e n t sa n a l y s i s ) 分析。 2 0 采用了结合投影图的图像 预处理方法，在此基础上作p c a 分析，运用特征险技术进行识别，称之为 ( p c ) 2 a 方法。 2 1 在y c r c b 空间利用跚算法来建立肤色色度的混合高斯模 型，再建立肤色的亮度模型，综合起来进行肤色分割，还建立了一种基于高 斯分布的椭圆人脸模板分布模型。 2 2 在y c b c r 彩色空间中对输入图像进行 肤色分割，采用基于肤色的入脸特征提取法，并用一些几何关系的约束加以过 滤，最后采用主分量分析法对人脸候选区域进行确认。 该类方法的一个主要问题是：图像特征极大的受到光照、遮挡和其它噪 声的影响，当阴影存才时，面部的特征边界将被削弱，而阴影的边界特征将 被增强，此时导致边缘感知分组无效。目前，该类方法主要是联合几种不同 的特征方法检测，首先利用全局特征“1 。“1 ，如肤色和形状大小等信息寻 找人脸候选区域，再根据局部特征，如眼睛、鼻子和头发等信息来确认候选 区域是否为人脸区域。本文的人脸检测方法也是综合利用几种不同的特征信 息来进行人脸分析的，因此可以分属于该类方法。 近期还有通过建立人的整个头部3 d 模型来对人脸进行检测和识别的尝 试，如 2 4 建立一个3 ds h b 蝴( s p h e r i c a lh a r m o n i cb a s i s l _ i o r p h a b l e m o d e l ) 模型来检测和识别人脸。 2 5 采用少量入脸来训练数据生成一个3 d 模型和 多个纹理图来对日标候选人脸进行确认。 2 6 主要有两方面的创新：首先捕 捉整个头部的3 d 外观，不止限于人脸区域，诸如头发轮廓等视觉特征也同样 被发掘出来。接着结合有判别力和“生成”能力的方法来进行检测和识别。 1 3 3 模板匹配法 在模板匹配方法中，一个标准的人脸模板( 常为正面) 是手工预定义的 或者通过函数的参数化进行预定义好的。模板匹配方法通过计算一个未知模 式和一个固定的已知人脸模式之间的相似性来判断未知模式是否为人脸模 式。 该方法计算较筒单，僵由于入脸模式变化太大。所以一个固定的入脸模 板无法对其充分描述，也不能有效处理尺度、姿势和形状的变化。于是，一 些采用多个相关子模板( 如眼睛模板、嘴巴模板等) 的人脸检测方法相继提 出来，利用多个模板来检测人脸的局部特征。还有就是参数化的曲线和曲面 来对变化大的特征建模，如眼睛、嘴巴和鼻子的建模等。【z 7 就采用了特征 西南交通大学硕士研究生学位论文第7 页 提取与模板匹配的方法，得到似眼块后，开始人脸粗检，即对似眼块进行相 似配对并以眼对为基准确定候选人脸区域，人脸细检是利用多模板匹配方式 结合规则验证对候选区域进行验证。 2 8 采用双通道同时来检测人脸，主要 用于实时人脸检测。采用层叠结构分类器来估计候选人脸窗口，在典型的非 人脸候选区域被否决之前先用一个人脸模板进行匹配来提高速度。 2 9 以豪 额多夫距离( h a u s d o r f fd i s t a n c e ，h d ) 度量模型与目标图之间的相似性来检 测人脸。 3 0 提出了一种结合特征和融合判定机制的新方法。除使用皮肤颜 色信息外，还运用平均脸模板匹配度和水平边缘模板匹配度来用于人脸特征 的检测。 对于该类方法中利用固定模板检测方法直观简单，但是固定模板对位姿、 表情、尺度变化敏感；而弹性模板对非刚性模式具有较好的适应性，但弹性 模板的选择和参数的确定非常困难。 1 3 4 基于外观的方法 由于人脸表情、环境变化等对图像中人脸特征的破坏，因而衍生了把人 脸检测作为一个模式识别问题的统计入脸检测新领域，主要依赖统计分析和 机器学习来寻找人脸图像和非人脸图像的相关特征，学习得到的特征形成人 脸特征的分布模型或者判别函数，建立一个能对人脸和非人脸样本进行正确 识别的分类器，然后对被检测图像进行全局扫描。若被检图像中的类人脸区 域与这些参数匹配完好，则确认为人脸。该类方法由于对所有需要搜索的窗 口进行遍历穷举搜索势必造成计算复杂度高、检测速度下降，同时大量样本 的选择、训练等又产生新的问题。 为了计算速度葶人脸检测的有效性，基于外观的方法常常使用减少维数 的技术。许多基于外观的方法能理解成为一个概率框架模型。一幅图像或者 从图像中获得的特征矢量看作随机变量x ，利用条件概率密度函数p ( 卅丘c 8 ) 和p ( z l n d n 一丘c 8 ) ，通过贝叶斯分类或者最大似然分类方法来分类一个候选图 像为人脸还是非人脸区域。 3 1 主要就是基于贝叶斯决策理论，且采用f p g a ( f a c ep r o b a b i l i t yg r a d i e n ta s c e n t ) 来估计最佳的人脸位置、大小和翻 转的特征。 亘童奎鎏盔兰耍主銎壅生兰垡迨塞篁! 要 另外一种基于外观的方法是在人脸和非人脸间寻找一个判别函数( 如决 策面、分类的超平面和阀值函数等) 。首先图像投影到一个低维的空间，然后 利用判别函数来进行图像模式的分类，或者通过多层神经网络形成非线性决 策面。在这类方法中，比较典型的是支持向量机和a d a b o o s t i n g 方法，这些 方法一般均是将模板投影到某个适合后续处理的空间，然后在投影人脸和非 入脸模式之间形成一个决策面。 目前卷积神经网络( c n n ) 做得比较成功，其处理过程类似于简单的卷积 传递和二次抽样模块，系统自动从一套庞大的人脸和非人脸模式训练器中抽 取样本合成简单的面部特征和分类器“2 “”，检测结果表明比传统的神经网络 法检测速度更快，该方法主要针对实时人脸的检测。 b p 神经网络也在大量的研究中。”1 。将人脸区域看作一类模式，使用 b p 神经网络作为人脸与非人脸的分类器，透过判别图像中所有可能区域属于 哪类模式的方法实现人脸的检测。 3 8 利用不同比例的窗口大小来扫描整个 图像，用四级分类器用于快速检测。 3 9 的基于遗传算法( g a ) 的方法，g a 可以模拟人脸的形质遗传过程， 这种模拟同时也能适用于不同的光照、姿势、附件( 眼镜胡须等) 。利用多种 方法与神经网络相结合来提高检测率，如 4 0 提出了使用g a b o r 过滤特征的 基于分类的人脸检测方法。 4 1 也使用了h a a r 特征，针对多角度人脸检测提 出了一种新的嵌套层叠检测器，这种检测器通过使用置信率实时值的置信弱 分类器相组合来提高推进算法。 4 2 将神经网络和隐马尔可夫模型组合起来 进行彩色人脸的检测。 s v m 在检测精度上有不俗的表现， 4 3 利用s 检测器找到包含期望特 征的诸如眼睛和嘴巴的区域，在这些区域里使用特征模式和颜色信息来进行 最终的人脸确认。 4 4 在灰度图像里，训练一个二级多项k e r n e ls v 1 分类器 来检测正面脸。 4 5 则先进行类肤色寻找，然后在肤色区域里用基予s v m ( s u p p o r tv e c t o rm a c h i n e ) 训练来分离图像中的眼睛。 4 6 提出了一个基 于g 州特征检测器的几何仿射不变式的脸部检测和定位方法。 4 7 提出了一 种新的基于单类支持向量机o n e c l a s ss v m ( 0 c s v m ) 方法。 4 8 采用最小化 结构风险的s 、，m 作为面部区域特征和人脸轮廓特征的分类器，基于传统的s v m 来训练人脸轮廓分类器和面部区域分类器，基于最小错误率b a y e s 决策规则 融合人脸轮廓和面部区域分类器。 4 9 提出了一种新的最大相关样本子空间 m c s s a ( m a x i m u mc o r r e l a t i o ns a m p l es u b s p a c ea l g o r i t h m ) 算法。 亘童窑堂态兰巫主塑窭圭兰垡迨塞篁：要 而a d a b o o s t i n g 在速度上取得重大突破，目前很多实时人脸检测大多利 用该算法。这些算法基于积分图像特征，采用a d a b o o s t 学习算法挑选少量关 键分类特征，构造出一组弱分类器，级联起来进行人脸检测，如 5 0 5 4 等 都采用了基于a d a b o o s t 方法训练后的分类器来进行人脸的实时检测，而 5 5 采用一种所谓m b h b o o s t ( 1 i l u l t i c l a s sb o o s t i n g ) 的算法，结合一个推进层 叠结构用于实时有效的人脸检测。 其次还有b o o s t i n g 算法与s v m 的结合，如 5 6 5 7 ，实验结果表明都比 单一的b o o s t i n g 算法和s v i 效果好。 尽管目前存在许多的人脸检测算法，但是每种算法都是针对不同的应用 环境而得到的，还没有一种算法适用各种不问的环境“。人脸检测研究的趋 势是利用多种线索( 头发、肤色、器官、轮廓、模板等) ，综合多种分类方法 ( 混合高斯模型、概率模型、神经网与支持向量机等) ，启发式信息与统计学 习方法相结合。 据2 0 0 6 年最新i e e e 人脸检测和识别文章显示，已经有达到每张识别速 度1 2 4 6 m s 的，识别率达到9 8 6 6 ( 2 2 2 2 2 5 ) “”的人脸识别算法。据媒体报 道，中国由清华大学电子工程系苏光大教授通过1 0 年主持研制的“人脸识别 系统”目前速度达到每秒钟已能识别2 5 6 万张入脸，目前已通过公安部主持 的专家鉴定，全面进入应用推广阶段，据说不久即将被应用到银行、码头、 机场等公共场所。 1 4 本文研究内容和思路 在基于肤色和特征提取的人脸检测方法中，最主要的核心就是肤色建模 以及特征的提取，因此本文在第二章主要讨论当前人脸检测和识别中常用的 肤色模型，第三章介绍几个经典的边缘检测算子，在第四章对人脸器官特征 进行检测和定位。 壁里茎塑查堂翌圭堡塞兰兰! 皇篷塞兰：! 蒌 第二章待检测人脸肤色与区域分析 2 1 肤色建模常用色彩空间 色度学理论认为，任何颜色都可以由红( r ) 、绿( g ) 、蓝( r ) 三种基本 颜色按不同比例混合得到。根据计算机色彩理论，对每一种颜色而言，在计 算机中有不同的表达方式，这样就形成了各种不同的色彩系统，即色彩空间， 其用途是在某些标准下用通常可接受的方式简化色彩规范。本质上，色彩模 型是坐标系统和子空间的规范。位于系统中的每种颜色都由单独的点来表示。 现在所用的大多数色彩模型都是面向硬件的( 如彩色监视器和打印机) 或者面向应用的。在数字图像处理中最通用的面向硬件的模型是r g b ( 红、 绿、蓝) 模型。该模型用于彩色监视器和一大类彩色视频摄像机。c m y ( 青、 深红、黄) 、c h y k ( 青、深红、黄、黑) 模型是针对彩色打印机的。h i s ( 色 调、饱和度、亮度) 模型更符合人描述和解释颜色的方式。每一种色彩空间 都有各自的产生背景、应用领域。其中，r g b 色彩系统是最基本的，其他的 色彩系统都是基于该色彩系统的，只是用途各异。它们与r g b 色彩系统都可 以按一定的关系进行转换。其他常用的色彩空间还有y c b c r 、y i q 、y u v 等， 这主要是由于色彩科学是一个包含多学科多应用场合的很宽的领域。 在彩色图像中，人脸肤色对姿态变化不敏感，并且彩色信息特征易于提 取，在周围环境较为单调或者与肤色相差较为髓显的情况下利用肤色特征 可以快速摈弃大量的背景，从而将更多的计算集中在有可能存在目标( 人脸) 的区域。因此，基于肤色特征的方法具有计算速度快的优点。通过研究发现， 各种不同肤色的人脸差别主要在于亮度而不是色度的区别上，如黑人和白人 的肤色。其色度聚类是相同的。但是，人脸表面包度受光照的角度、光源的 颜色而造成的高光或者阴影等影响，使利用肤色分割人脸的任务也不是想象 中的那么容易。建立一个精确的，能够在任何情况下都能很好区分人脸区域 与环境的颜色模型，这在基于肤色特征的方法中是一个还没彻底解决的问题。 因此，我们将肤色检测作为本文人脸检测的预处理。 因此，我们将肤色检测作为本文人脸检测的预处理。 西南交通大学硕士研究生学位论文第1 1 页 2 1 1r g b 和标准化r g b 色彩空间 这是最常用的彩色空间，国际照明委员会( c i e ) 采用红 r ) 、绿 g ) 、蓝 b ) 三种单色作为彩色空间的三个分量，这就是( r g b ) 彩色空间，我们熟悉 的计算机屏幕的显示通常采用的就是r g b 色彩系统。 r g b 色系坐标中三维空间中的三个轴分别与红、绿、蓝三基色相对应， 原点对应于黑点，离原点最远的顶点对应于白点，而其他颜色则落在三维空 间中由红、绿、蓝三基色构成的彩色立方体中，通过三基色的相加来产生。 其他彩色空问一般以( r g b ) 彩色空闯为基础，是( r g b ) 彩色空间的线性或 非线性函数，是对人眼的光谱量化性质的近似，因此利用r 、g 、b 三分量表 征颜色是很自然的种格式，而且现有彩色图像采集设备都是以c c d 技术为 核心直接感知r 、g 、b 三分量，这使得r g b 彩色空间成为各种图像采集和处 理的基础。但是在人脸肤色分析中，由于r g b 颜色的r 、g 、b 三个颜色分量 都包含亮度信息，存在极强的相关性，一般不适合肤色处理。所以一般情况 下在进行肤色区域检测之前，要将r g b 颜色体系转换到其它颜色体系中。而 不直接利用r g b 彩色空间。由于r g b 颜色空间中的向量( r ，g ，b ) 表示了一种 颜色，故相同方向、不同模的向量具有相同的色度，所不同的只是亮度不同。 颜色( r ，g ，b ) 的色度坐标定义为各个分薰在r + g + b 中所占比例，即不考虑光的 亮度而只对色度感兴趣，有： ，l ，g ：l ，6 ； ( 2 1 ) ”i 虿万9 2 而石西拈瓦石历 u q ) 即有r + g + b = 1 ，而r g b 对可见颜色予空间与截面r + g + b = 1 产生的交区域 在坐标平面r g 上的投影产生了色度图。r ，g ，b 称为色度坐标，由于相关性， 色度空间实际上是二维空间，这称为标准化的r 曲彩色空间。 2 1 2 s 彩色空间 r g b 系统与人眼很强地感觉红、绿、蓝三原色的事实能很好地匹配，但 是，r g b 、c m y 和其他类似的彩色模型不能很好地适应实际上人们对颜色的解 释。例如，它没有涉及用组成其颜色的每一原色的百分比给出一辆汽车的颜 色。此外，人们也不认为彩色图像是由3 幅原色图像合成的一副单一图像。 当人观察一个彩色物体时，用色调h ( h u e ) 、饱和度s ( s a t u r a t i o n ) 、光 西南交通大学硕士研究生学位论文第1 2 页 强度i ( i n t e n s i t y ) 三个参数描述其颜色特性，这就是h i s 彩色模型。色调值 表示基本的纯色属性( 如纯黄色、橘黄或红色) ；饱和度值表示种纯色中掺 入白光的比例：亮度取决于彩色的强度，是彩色光对视觉的刺激程度，是一 个主观的描述子，实际上它是不可能测量的，它体现了无色的强度概念，并 且是描述彩色感觉的关键参数。其中当r = g = b 时( 即图像为灰度时) ，色度不 存在，而饱和度为零。通常把色调和饱和度通称为色度，用来表示颜色的类 别与深浅程度。 由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便 于色彩处理和识别，人的视觉系统经常采用h i s 色彩空间，它比r g b 色彩 空间更符合人的视觉特性。在图像处理和计算机视觉中大量算法都可在h i s 色彩空间中方便地使用，它们可以分开处理而且是相互独立的。因此，在h i s 色彩空间可以大大简化图像分析和处理的工作量，很多情况下在该彩色空间 中进行图像分析和处理，比在r g b 彩色空间中更加方便和有效。h i s 色彩空 间和r g b 色彩空间是同一物理量的不同表示法，因而它们之间存在着转换关 系，如公式 6 0 所示： ，= 墨堡皇( 2 2 1 3 s ：l 一3 + 塑! 墨：鱼! 璺( 2 3 ) r + g + 口 一一o s 丽嵩鬻最丽 陋4 ， 日：j 乃删，矿丑g( 2 5 ) 1 2 万一2 0 唧日，咖8 2 2 其他常用色彩空间 2 2 1c m y 彩色空间 彩色印刷或彩色打印的纸张是不能发射光线的，因而印刷机或彩色打印 机就只能使用一些能够吸收特定的光波而反射其它光波的油墨或颜料。油墨 或颜料的三基色是青( c y a n ) 、品红( m a g e n t a ) 和黄( y e l l o w ) ，简称为c m y 。 亘宴i 窒通大学硕士研究生学位论文第1 3 页 青色对应蓝绿色，品红对应紫红色。理论上说，任何一种由颜料表现的色彩 都可以用这三种基色按不同的比例混合而成，这种色彩表示方法称c m y 色彩 空间表示法。彩色打印机和彩色印刷系统都采用c 娜色彩空间。 由c m y 混合的色彩又称为相减混色，因为c m y 空间正好与r g b 空间互 补，即用白色减去r g b 空间中的某一色彩值就等于同样色彩在c m y 空间中 的值。r g b 到c m y 的变换”如下： 腓圈 p a ， f c = 2 5 5 一r fy = 2 5 5 一b 芷= i n i n ( c ，膨，y ) c = c k m = m k y = y 一足 2 2 2y u v 彩色空间 ( 2 _ 8 ) 该彩色空间是数字视频和压缩编码中最常用的格式，直接对u 、v 分量进 行处理，可以节省彩色空问转换的计算。r g b 到y u v 的变化 6 0 如下： 】，1o 2 5 7 o 5 0 4 o 0 9 8 r 1 6 l 【，i = l o 4 3 9一0 3 6 8 一o 0 7 ll ig 1 + 1 2 8 ( 2 9 ) l y jl o 1 4 8 一o 2 9 1o 4 3 9j l b j 1 2 8 在现代彩色电视系统中，通常采用三管彩色摄像机或彩色c c d ( 点耦 合器件) 摄像机，它把摄得的彩色图像信号，经分色、分别放大校正得到r g b ， 匿南交通大学硕士研究生学位论文第1 4 页 再经过矩阵变换电路得到亮度信号y 和两个色差信号r y 、b y ，最后发 送端将亮度和色差三个信号分别进行编码，用同一信道发送出去，这就是我 们常用的y u v 色彩空间。 采用y u v 色彩空间的重要性是它的亮度信号y 和色度信号u 、v 是分 离的。如果只有y 信号分量而没有u 、v 分量，那么这样表示的图就是黑白 灰度图。彩色电视采用y u v 空间正是为了用亮度信号y 解决彩色电视机与黑 白电视机的兼容问题，使黑白电视机也能接收彩色信号。 2 3y c b c r 及其变换n y c r c b 彩色空间 y c b c r 由y u v 色彩系统衍生而来，它包含三个分量，即亮度y ，蓝色色度 c b 和红色色度c r ，该空间常用于彩色图像的压缩和传输，j p e g 格式的图片 采用的色彩系统就是该系统。r g b 空间和y c b c r 空间的转换可用下式： ly 6 5 4 8 11 2 8 5 5 32 4 9 6 6i i 胄i i1 6 l c 6 l = 三一l 一3 7 7 9 7 7 4 2 0 31 1 2l g i + 1 1 2 8 if 2 1 0 1 d2 5 6 i1 1 2 _ 9 3 - 7 8 6 _ 1 8 2 1 4 瞄i 。 y c b c r 色彩空间具有如下一些优点“： 具有与人类视觉感知过程相类似的构成原理。 y c b c r 色彩空间格式广泛地应用在电视显示等领域中，也是许多视频编 码，如舯e g 、j p e g 等标准中普遍采用的颜色表示格式。 y c b c r 色彩空间格式具有与h i s 等其他一些色彩空间格式相类似的将色 彩重的亮度分量分离出来的优点。 y c b c r 色彩空间格式的计算过程和空间坐标表示形式相比h i s 等简单。 试验结果表明，在y c b c r 色彩空间中肤色的聚类特性比较好。 y c b c r 色彩空间可直接由r g b 色彩空间通过线性变换得到，所以其亮度 分量y 并不是完全独立于色度信息而存在的。所以肤色的聚类区域也是随y 的不同而呈线性变化的趋势。 大多数文献使用 6 2 的方法，对y c r c b 空间进行非线性转换，得到一种新 的非线性彩色空间， 6 3 中a k j a i n 等人在此基础上提出一种非线性分段变 换得到的肤色模型。正如前面所分析的，y c r c b 色彩格式直接由r g b 色彩格 式通过线性变化得到，所以其亮度分量y 并不是完全独立于色度信息而存在 亘塞茎垄盔兰堡主堑塞竺兰笙鲨銮兰：蚕 的。虽有肤色的聚类区域也是随y 的不同而呈线性变化的趋势，如2 1 所示。 图2 1y c r c b 色彩空间中色度随亮度的变化 设经过非线性分段色彩变换得到的色彩空间用y c ，7 c 6 7 来表示，根据上 图，将肤色区域的中轴线分别用西( y ) 和西( 】，) 来表示，可以得到其表达式为： d ( y ) = c r ( y ) = 1 0 8 + ! 兰二堡垒! ! 二! 望2 1 0 8 + 垡= 堡丝! ! ! = ! 塑 y 眦一k 1 5 4 + 终二巡兰二! 竺1 1 5 4 + 竖二生业兰二! ! 型 如果y 瓦 如果j ， 吒 其中k l ，k h 为常数，也就是非线性分段色彩变换的分段法值，分别为 墨= 1 2 5 ，= 1 8 8 。y m i n ，y m a x 为常数，它们是y c r c b 色彩空间模型中定 义的亮度的最小和最大值，分别为y m i n = 1 6 ，y m a x = 2 3 5 。 i 耽”坠当地掣如果y 厕( 2 - 1 3 ) 西南交通大学硕士研究生学位论文第1 6 页 都是常数。它们的值分别为 阡乞= 4 6 9 7 ， 阡r c ，= 3 8 7 6 ， 耽。= 2 3 ， 耽，= 2 0 ， 脚。= 1 4 厢d = l o ( 2 1 4 ) 根据上面的公式，可以得到非线性分段色彩变换公式为： p 坷骠礁乏p n 吒亿嘲l c f ( y ) 如果y i 蜀，l 图2 2 为肤色在该彩色空间的统计分布。 图2 2 肤色在n ) 7 g b 7 色彩空间的统计分布 根据上述彩色空间变换后的肤色模型， 5 8 进行大量的试验研究发现， 在实际应用中很多情形，如逆光情况下背景很亮，但人脸区域很暗，这时若 直接利用上面的非线性变换彩色空间很难分割出人脸肤色所在的区域。 通过大量的统计分析发现，造成该情况的主要原因在于在统计模型上主 要针对光照条件较好的、中国人的肤色等原因，从而导致在色度随亮度变化 的拟合上存在一定误差。为了解决这种实际中大量存在的情况， 5 8 通过统 计肤色色度信息与亮度之间的关系重新进行拟合。如图所示，虽然与2 一l 图 很相似，但是不能通过简单的分段直线函数拟合得到准确的模型描述。从而 5 8 提出利用直线和曲线