（通信与信息系统专业论文）彩色图像中的正面人脸检测.pdf

摘要 本文主要研究彩色静止图像中正面人脸的检测。利用彩色图像中肤色信息缩 小搜索区域，然后分别采用了基于椭圆环模板和利用灰度信息的人脸检测方法在 肤色区域进行搜索，确定人脸的准确位置。在肤色检测过程中，比较了分别在r g b 色彩空间、y c b c r 色彩空间、h s i 色彩空间中使用k l 肤色检测的方法以及在y c b c r 色彩空间和h s i 色彩空间中使用肤色聚类方法的检测效果，最后根据实验结果对 肤色聚类的方法进行了改进，采用分段的肤色聚类方法并取得了较好的肤色检测 效果。在利用椭圆环模扳进行人脸检测时，首先对肤色区域进行边缘检测，然后 根据边缘点的梯度方向和对应于人脸椭圆环模板上此点的切线方向的一致性来确 定是否存在人脸。在利用灰度信息魄检测算法中，分别比较了采用特征脸方法、 基于差分图象的特征脸方法、基于小波的贝叶斯的方法和基于差分图象的贝叶斯 的方法对人脸和非人脸的特征提取的聚类情况，结果表明基于小波分解的贝叶斯 方法对人脸特征聚类最好。 荚键词：人脸梭测肤色检测边缘检测贝时斯准则多分辨搜索 a b s t r a c t i nt h j sp a p e r , t h ef r o n tf a c cd e t e c t i o no fc o l 甜s t i l li m a g e si sd j s c u s s c d s k i n i n f o r m a t i o ni su s e dt or e d u c et h es e a r c hr a i l g ef i r s t l y t h e nt h ee x a c tf a c el o c a t i o ni s d e t e c t e db yu s i n gt h ee l l i p s et e m p l a t ea n dt h ef a c ei n t e n s i t yi n f o r m a t i o n ，r e s p e c t i v e l y i n s k i nd e t e c t i o n ，t h ek - lt r a n s f o r m a t i o nm e t h o dw 浊i nt h er g bc o l o rs p a c e ，t h ey c b c l r c o i o rs p a o ea n dt h eh i sc o l o rs p a c er e s p e c t i v e l ya n dt h ec l u s t e r i n gm e t h o dw i t h i nt h e y c b ( 、fc o l o rs p a l xa n dt h eh i sc o l o rs p a c er e s p e c t i v e l ya r ec o m p a r e d t 1 l c na c c o r d i n g t ot h ec o m p a r e dr e s u l t st h es k i nc l u s t e r i n gm e t h o di si m p r o v e du s i n gt h es u b s e c t i o n c l u 6 t e r i n g w h e nd e t e c t i n gt h ef a c e sw i t h t h ee l l i p s e t e r n p t a t e t h ee d g ed e t e c t i o n p r o c e s s i n g i sp e r f o r m e d f i r s t l y , a n dt h ec o n s m t e n c eo ft h eg r a d i e n td i r e c t i o no ft h ee d 舻 p o i n t a n dt h e t a n g e n td i r e c t i o n o ft h e c o r r e s p o n d i n gp o i n t i nt h e e l l i p s et e m p l a t ei su s e d t od e d d ei ft h e r ee x i s t saf a c e t h ee i g e n f a c e sm e t h o d 。d i f i e r e n t i a l i m a g eb a s e d e i g e n f a c e sm e t h o d , d i f f e r e n t i a ii m a g eb a s e db a y e sc l a s s i f l e rm e t h o da n dw a v e l c tb a s e d h a y e sc l a s s i f i e rm e t h o da r ea i s oc o m p a r e du s i n gt h ei n t e n s i t yi n f o r m a t i o n o i lf a c e d a t a b a s ea n dn o n f a c ed a t a b a s e ，a n dt h ee x p e r i m e n t ss h o w st h ew a v e l e tb a s e db a y e s c l a s s i f i e rm e t h o d no b t a i nab e t t e rr e s u l t s k e yw e n i s ：f a e ed e t e c t i o n s k i nc o l o rs e g m e n t a t i o n e d g ed e t e c t i o n b a y e s l e s r u l em u l t i r e s e l u t i o ns e a r c h 创新性声明 、6 9 5 2 8 8 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：趁气i 笛日期砂刚、 i 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍是西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公开论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本人签名：垄皇i 鱼 导师签名 罾 日期砸1 日期 签= 垦堑 熊j 第一章绪论 本章第一节主要介绍人脸检测研究的意义和背景，第二节介绍国内外研究的现 状，第三节介绍了人脸检测的主要研究方法及其特点，第四节介绍了本文所进行 的主要的研究工作。 1 1 研究意义背景 人脸检测( f a c ed e t e c t i o n ) 作为人脸信息处理中的一项关键技术，近年来成 为模式识别与计算机视觉领域内受到普遍重视、研究十分活跃的课遂。人脸检测 问题最初来源于人脸识别( f a c er e c o g n i t i o n ) 。入脸识另8 的研究可以追溯到2 0 世 纪6 0 - 7 0 年代，经过几十年的曲折发展己日趋成熟。而人脸检测是自动人脸识别系 统中的一个关键环节，但是早期的人脸识别研究主要针对具有较强约束条件的人 脸图像( 如无背最的圈像) ，往往假设人脸位置己知或很容易获得，因此人脸检测 问题并未受到重视近几年随着电予商务等应用的发展，人脸识另唾成为最有潜力 的生物身份确认手段，这种应用背景要求自动人脸识别系统能够对一般环境图像 具有一定的适应能力，由此所面临的一系列问题使得人脸检测开始作为一个独立 的课愿受煎| 研究者的重视。今天，人脸梭测的应用背景已经远近超出了人脸识别 系统的范畴，在基于内容的检索、数字褫频处理、视觉监测等方面有着重要的应 用价值。由于生糖特征是人的内在属性，具有很强的自身稳定性和个体差异性( 如： d n a ，指纹、人脸、视网膜、虹膜、声音等) ，因此生物特征是身份验证的最理想 的依据手段。其中人脸是一个极为普通、复杂且具有很强表征性的模式，广泛应 用于许多领域。人脸相比予其它人体生物特征具有以下四个特点： 1 、人脸蕴涵的信息量比人体的其它生物特征丰富。 2 、人脸特征信息可以直接应用，并且不容易盗用或者假冒。 3 、人脸特征具有较为友好的人机界面，易于为用户所接受。 4 、人脸特征在应用上非常方便，不需要其它任何辅助设备。 我们通过观察人脸的外部特征，可以判断一个人的性别、种族，甚至身份和 性格。因此，对人脸的研究还不仅局限在工业、科学研究上，而且在哲学、心理 学、医学、人文等领域也有着广泛的研究意义。计算机技术的成熟和发展，使其 应用领域不断扩展，计算机人脸识别技术成为当今计算机视觉技术和模式识别技 术的新的热点。计算机人脸识别技术是利用计算机分析人脸图像，进而从中抽取 出有效的识别信号来“辨识”人脸的一门技术，该技术已经在银行及海关的监控 系统和门卫系统中发挥了重要的作用。 彩色图像中的正面人脸检测 人脸检测是指通过对输入图像进行分析，确定其中人脸的数目、位置、大小、 姿态的过程。虽然人类的人脸识别能力很强，能够记住和识别几千个不同的人脸， 可是计算机则困难多了。其表现在：人脸表情丰富，人脸随年龄增长而变化，人 脸图像受光照、成像角度及成像距离等影响。另外，人脸识别还涉及到图像处理、 人体科学、计算机视觉、模式识别和神经网络等学科，也和人脑的认识程度紧密 相关。这诸多因素使得人脸识别成为一项极富挑战性的课题。显然，要识别图像 中出现的人脸，首要的一点就是要找到人脸。人脸检测与跟踪研究的对象就是如 何从静态图片或者视频序列中找出人脸。如果存在人脸，则输出人脸的数目、每 个人脸的位置及其大小。人脸跟踪就是要在检测到人脸的基础上，在后续的人脸 图像中继续捕获人脸的位置及其大小等性质。 人脸检测是人脸身份识别韵前期工作，一个完整的人脸识别系统必须包含对 于人脸的检测与定位。同时，人脸检测作为完整的单独功能模块，在智能视频监 控、视频检索和视频内容组织等方面有直接的应用。 人脸检测是所有人脸研究的第一步骤，它的任务是首先对由摄像枫输入的图 像进行检测，即把整幅圈像分割成两部：一部分为人脸区域，另一部分为非人脸 区域，从而完成在图像中的入脸定位工作。因此，检测对于整个应用系统的性能 起着关键性作用。计算机人脸检测技术的实质是寻找人脸区域区剐于非人脸区域 的本质特征，符合这个特征的区域就是人脸区域，否则为非人脸区域。人脸检测 在系统中的作用可由圈1 1 表示t 一人脸识别0 呻 - 一智能监控i _ 斗 i 结果 叫输出 i _ 一图像检索l _ 呻 图1 1 基于人脸图像的系统 从中我们可以看到人脸检测在系统中起着关键性的作用。不同的系统对人脸 检测的要求也不相同。例如智能监控系统等要求准确性高，智能识别系统要求精 确性高，实时系统要求检测速度快。人脸检测系统的主要性能指标主要包括： 1 、准确度，即检测出是否含有人脸的结果要准确，尽量减少误检和漏检的概 率。 2 、精确度，即检测人脸的位鼹要精确，要尽萤减少结果中非人脸区域，特别 第一章绪论 是当根据人脸的主要特征对图像进行定位的时候，保证其精确性，定位精度在像 素级，这样可以为后面的人脸识别的高识别率打下基础。 3 、速度，即检测的速度要快，这就要求在算法上进行优化。但是一般情况下， 提高速度往往是以降低检测准确度为代价，所以对检测速度的要求是根据不同的 系统而有差异。不同的应用系统中人脸有不同的共有特性，例如出入口处的监控系 统中，人脸的大小规格存在一定的范围，根据这些知识可以提高算法的速度和准 确度。 1 2 研究现状 目前，对人脸检测问题的研究很多，国外比较著名的有m i t ，c m u ，u s c 等等 都先后在这个领域给出了实验系统，国内的清华大学、北京工业大学、四川大学、 南京理工大学、中国科学院计算技术研究所和中国科学院自动化研究所等。m p e g7 标准组织也已经建立了人脸识别草案小组，入脸检漠女算法也是一项征集盼内容。 随着人脸检测研究的深入，国际上发表的有关论文数量也大幅度增长，如i e e e 的 p g ( i e e ei n t e r n a t i o n a lc o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r e r e c o g n i t i o n ) i c i p ( i n t e r n a t i o n 8 1c o n f e r e n c eo ni m a g ep r o c e s s i n g ) ， c v p r ( c o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t e r nr e c o g n i t i o n ) 等重要国际会 议上每年都有大量关于人脸检测的论文。 由于人脸这一特定模式本身具有复杂性，馒得即使是建立一个公认的、权威 的、能够基本上涵盖可能人脸情形的评价人脸检测方法优劣的人脸检测测试图像 库比较困难。目前人脸检测各种实验都是利用自建数据库和利用人脸识别试验所 采用的人脸库。常用的人脸识别实验库有美国军方的e e r e t 库、c m u 人脸库( c m u 包 括了两千多幅人脸圈像和四千多幅非人脸爵像) 、o 甩人脸库( o r l 人脸库则包括4 0 人每人1 0 幅共1 0 0 幅人脸图像) ，目前还没有专门用来进行人脸检测和定位算法的 人脸库。本文在第三章是利甩o r l 库中盼人脸提取人脸边缘特征来进行人脸检测 的。在第四章是秘用灰度信息提取人脸和非人脸灰度信息的分布特征选取的是c 删 人脸库和非人脸库最近的文献采用的方法有基于面部的五宫结构信息、脸部形 状信息、肤色等信息。采用模板匹配( t e m p l a t em a t c h i n g ) 、神经网络( n e u r a l n e t w o r k ) 、支持向曩机( s u p p o r tv e c t o rm a c h i n e ) 等方法实现对图像中人脸位罨 的检测与标定。 目前人脸检测遇到的主要困难有： ( 1 ) 图像中人脸数目和尺寸的不确定性； ( 2 ) 面部姿态和表情的多样性； ( 3 ) 光照条件的多变性； ( 4 ) 成像背景的复杂性； 4 彩色图像中的正面人艟硷测 1 3 人脸检测方法分类 人脸检测问题包含的内容十分广泛，从不同的角度可以有多种不同的分类方 法。按照图像类型来分，可以分为静止图像和动态视频序列中的人脸检测。对于 静止图像，侧重点在于如何使硷溺算法适应更多种类的图像。而对于动态视频序 列来说，速度是首要要求。按照色彩信息来分类，可以分为彩色图像和灰度图像 中的人脸检测。前者由于可以利用肤色信息，因而检测起来相对比较容易。按照 图像前景来分，主要依据人脸姿态的不同，有的针对正面( 包括平面内旋转一定角 度) 的人脸，有的则针对正面和侧面的人脸。按照图像背景的复杂程度来分，分为 简单背景和复杂背景的人脸捡测。简单背景指可能没有背景，或者背景的类型比 较单一。复杂背景是背景未知的情况，背景中可能包含有和人脸非常类似的模式。 对静态图像来说，现在研究的算法基本上都是针对复杂背景。如果图像中人脸的 数目己知，这时的人脸检测也称为人脸定位，这时只需确定人脸的位置即可。人 脸检测一般是描图像中人脸的数日未知的情况，需要判断图像中是否包含人脸， 如果有，给出人脸的数日以及各自位置。针对以上的分类标准，本文研究的主要 是彩色静止图像中的正面人脸检测。 人脸检测有各种不同的分类方法，但是这些方法并不是完全孤立的，现在运 用的方法有许多是结合多种方法进行分类的。 】3 1 基于人脸肤色信息进行检测的方法 这种方法首先利用麸色模型分割出类肤色区域，然后根据面部特征在y c b c r 空间的颜色特性，通过数学形态学运算突出这些特征，然后对由双眼和嘴形成的 三角形区域进行基于特征的验证，最后利用脸的边缘进行最后确认。它主要检测 竖直或者有较小旋转角度的正面人脸和侧面人脸。此算法的主要贡献在于肤色分 类之前，先进行了以参考白色为基准的增强，从而减小了高光和阴影对人脸肤色 的影响。另外，它还在色度空间分析了面部特征的内在规律，使得特征提取也较 为成功。但是此算法的准确率主要依赖于特征提取的准确性。基于肤色的人脸检 测算法以文献 1 中的方法最为典型，其采用的是y c h c r 肤色模型，首先确定肤色 区域，然后在肤色区域中确定眼睛和嘴的区域。确定眼睛的区域时由公式( 1 - 1 ) 和 ( 1 - 2 ) 确定： e y e m a p c 一 c 6 2 ) + 每y + ( c b c r ( ) 啪a 灿嚣尝裂鬻 确定嘴的区域如下： m o u t h m a p c r 2 睁2 一, 7 ( c r c b ) y( 1 3 ) 第一章绪 论 5 ：1 ，9 ”) 2 圩，0 9 5 _ 盐韭争f 一 ! c r 忸y 比，、 一- 彳 c ( x y ， n 钔 这是一个单一利用肤色信息进行人脸检测盼例子，一般情况下，由于人脸是 一个复杂的模式，背景复杂、亮度变化、以及脸部表情的变化都会使检测定位人 脸的任务变得复杂。 l 。3 2 基于人脸几何特征的检测方法 通过对人脸或头部的j 薅察，很容易发现人脸都有其大致固定的形状，因此研 究人员又提出了许多基于形状信息盼检测方法最早的检测方法见文献 2 就是基 于椭圆形模扳来完残的，利用到椭圆形模板的还有文献( 3 ，4 ，5 ，1 5 ，而其中文 献 5 中的方法则是形状信息和肤色信患的综合，先用彩色信患拽出图像中皮肤的 位置，再用一个椭圆形校援筛选出入脸的位置从该研究的结果来看，效果是比较 好的。g o v i n d a r a j u 在文献6 也提出了另一种基于边缘形状信息的方法，其中它 对于人脸的边缘图像采用了三个特征线段缎成的摸型来表示，在匹配岭过程中用到 其方向、长度以及相互之| 司_ 的位置关系等信息，并且还可以从照片题目的文字信息 中获取人的个数，并通过递归的改变匹配条件来榆测多个人脸。但它在匹配时脸部 的选缘线段蔓求有一定的连续性，最然算法申进行了边缘连接，但这一点在实际图 像中仍难鼠做到；另外，由予其匹配啻 规刚并不能唯一地代表人脸的轮廓，所以检 测结果中有较多的虚警。基于形状的方法还有t a n k s 在文献( 7 的凸捡测等方法。 这种方法是依据先验知识，算法首先识别出人脸上的一些有代表性的特征，如眼、 口、面颊、下巴等，然后根据这些特征的存在信任度和其枢互之阐的几何关系综合 起来确定该位置人脸的存在。基于马赛毙凰提出了一种能在复杂场景下分割多个大 小不同的人脸的算法。此算法利用了一个由三层组成的基于知识的金字塔，在第一 层用建立在此分辨率下较租略的规煲萼对图像进行扫描，找出所有可能是人脸的位置 和大小，其得到的结果作为第二层的输入；第二层将第一层得弼的每一个候选面孔 分成8 * 8 的子块在此基础上用一个更细的规则2 进行寻找判别第三层则在上一 层的基础上得到最终结果在实验结果，用此方法在检测幅图像时得到了8 3 的正确率这种方法的优点是首先把直观的人脸特征规贝i j 化并形成了一个完整的系 统，因此得到了广泛的应用g c h o w 和x i j 等人在文献【1 5 】中首先建立人的眼睛、 口、面颊和下颌的数学模型，也即各自的模板。然后利用形态学的方法检测图像中 的谷点，先确定限腈及嘴的大致位置，后用h o u g h 交换j f 动态包络模型确定较为 精确的轮廓位置；继而由此确定面颊和下巴的位爱。最后得至4 人脸的精确轮廓。这 种利用模型的形态学方法在用于检测j 下面的身份证式的人脸图像中取得了较好的 6彩色匿像中的正面人脸捡测 效果。j e n g 等人在文献【8 】中提出了一种基于人脸特征几何分布关系的方法。这种 方法先在图像中找到候选的人脸的主要特征( 眼、口等) ，然后根据这些候选特征的 几何分布与标准人脸的差别来最终确定此处是否存在人脸。其实对于人脸特征几何 分布的规律在解剖学中早就有人提出了“三停、五眼”的标准，中国的传统审美观 念对人的面部美特别重视，中国画论中早就有关于人的面部比例“三停五眼”之说， 如图1 2 ，它阐明人体面部正面观的纵向和横向的比例关系。三停”是指将人面部正 面横向分为三个等分，即从发际至眉线为一停、眉线至鼻底为一停、舞底至颏底线 为一停。五眼。是指将面部正面纵向分为五等分，以一个眼长为一等分，即两眼之间距 离为一个眼的距离，从外眼角垂线至外耳孔垂线之闻为一个眼的距离，整个面部正面 纵向分为五个限之距离凡按”三停五限”比侧画出来的人物面部比侈! j 楚和谐的。j e n g 的系统则是较完美的完成了这一设想最近的和用入脸的几何特征进行人脸捡测的 是人脸的椭圆模板法。这种方法就是把入脸的轮廓近似看成椭圆，然后去进行椭圆 1 2 人脸三停五眼示意图 的梭溉。这些方法都是充分利用已知的人脸知识信息，找出各分布特征之闯的几 何关系，从丽遵行人脸的接取下面对这类方法的共同特征进行簿单豹总结。 其优点主要有三个方面t l 、用人脸的特征定位，这种方法在给出人脸主要特征的位置的同时给出入脸 位置，因此较为方便的用于诸如人脸识别等方面的应用中； 2 、检测的虞警较少；这是因为在算法的第一步就考虑到人脸的较多分布特 征，因此较容易与其它物体区分开。 3 、 方便实现对于偏转人脸的检测。 其缺点大致表现在以下三个方面： 1 、算法上不很成熟；用于检测的规则或者模板并无统一的标准或很成热的理 论基础，大都根据人的直观得出，因此结果受其影响也比较大； 2 、受限制较多：也即对输入的原始图像的要求较高，一般对正面人脸的检测 币确率高，而对人脸的旋转、倾斜、大小等变化不能适应，识别率较低： 3 、应用领域狭隘：如果进行人的监控跟踪，人脸的特征就成为不必要的检测， 并且在时间上也不允许； 蔓二童缝堡 1 3 3 基于人脸灰度信息的人脸检测方法 这类方法是利用人脸的灰度分布，根据人脸的整体特征找出入脸的位置。利 用人脸灰度分布来检测人脸的常用的方法有特征脸方法和神经网络的方法。 r o w l e v 等人提出了一种基于双b p 神经网络的检测方法，输入图像首先经直方图 平均等预处理后，被选取的像素矩阵进入第一级网t g r ( r o u t e rn e t w o r k ) 来输入人脸 的倾斜角度，根据这一角度对像素矩阵进行矫正，然后再输入到核心检测网络中， 以判断该位置是否存在人脸。为了保征较少的虚警，检测网络可以由多级组成， 然后综合他们的各自的结果以得出最终的结论。该方法选用了多分辨率技术来解 决人脸的大小翘题，但这也使得算法的处理时闽比较长。另外，还有很多方法采 用了不同的神经髑络用于人脸的检测定位，如文献f 9 ，1 0 】。在文献1 1 1 忡，d a i 和 l q a k a n o 描述了种基于灰度共生矩阵的检测方法。这种方法首先把输入图像转换 现y l q 彩色空闯，然后利用亚洲人的皮肤特煎得出了一些候选区域；在每一个候 选区域内，得到其每一个像素的临界矩阵；再接着抽取其纹理特征，并与预知人 脸的特征比较以判定该区域人脸的存在。在其实验结果中，对于一些标准人脸检 测测试图像甚至达到了1 的检测率。 基于灰度特征的算法，把人脸看成一整体，提取其特征然后进行匹配，这类方 法的特点如下： 其优点： 1 、鲁棒性强，由于算法基于火脸的整体的特性，当某个特征发生变化时一般不会 影响最后的检溺结果，因此一般受人脸的大小变化、旋转、倾斜、俯仰等影响比 较小。 2 、符合人眼视觉的特点。 其缺点是： 1 、主要特征的位置不易确定，对于跟踪监控等受人脸的位置影晌较少的场合 这类方法比较适合。 2 、 基于灰度信息进行检测算法的计算量比较大 3 、算法虚警率高 以上讨论了两类基本的人脸检测方法。除了这种分类方法，还可以按其它的知 识进行分类，如根据研究的模型性质可以分为：基于统计信号分析建模和基于知 识的建模。每类方法都不是孤立的，就综合应用了出上而下和由下而上的技术， 这样便于结合两者的优点以达到系统的要求。 1 4 本文的工作 本文主要探讨了采用各种肤色分割的方法进行肤色分割，并对实验结果进行 8 彩色蹦像中的正面人脸捡测 了比较。在肤色分割基础上，采用了两种方法实现了对于人脸的定位。一是利用 人脸的椭圆环模板的方法，二是利用人脸的灰度信息。这两种方法都是首先通过 肤色信息粗略确定人脸的位置。方法一利用人脸边缘近似于椭圆而构建椭圆环模 板，利用椭圆环中边缘的点数以及边缘点在此点的梯度方向与椭圆环在此点的切 线方向的夹角的余弦值的累加值的大小来判别是否存在人脸。在方法二中，利用 灰度信息，采用基于改进的最小错误概率的贝叶靳准则来判决人脸与非人脸。 1 人脸的粗定位 手工分割出皮肤区域，将r g b 空问变换到y c b c r 空闯，对每一个像素点的 肤色信号进行统计，综合采用各种肤色分割的方法的优点来进行肤色分割，并用 最大矩形对肤色区域进行标记，找出可能的入脸区域，实现人脸图像的初定位。 2 基于椭圆环模板的人脸检测 对肤色分割后的区域进行边缘检测，然后由检测鲥的边缘点的方向与椭圆环 模板上的此点的切线方向的一致性来判断人脸和非人脸。 3 基于贝叶斯准则的人脸检测 从图像的整体特征出发，基于图像的灰度信怠。遥过对于人脸库中的图像进 行小波分解，然后用p c a 降维提取人舱的特征，通过训练得到人脸和非人脸的特 征向量。并由贝叶斯分类器的黯小判决准则来确定人脸图像和非人脸图像。 4 虚警率的排除 由于贝叶斯方法庭警率较高。本文还提出在经分类器判决后的人脸区域中依 据对应的人脸马赛克模板进一步捧除虚假入脸。在多人脸检镶中采用迅过对检测 结果的统计来确定人脸的太小范围，排除虚假人脸。 本文主要研究了彩色静止图像中的正面人脸的检测。系统漉程框图如图1 3 所 示。 笙二童缱一鱼一 图1 3 系统流程框图 第= 章彩色图像中的肤色检测 第二章彩色图像中的肤色分割 肤色是人脸的重要信息，不依赖于面部的细节特征，对于旋转、表情等变化 情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别，肤色较 灰度信息包含更多的信息，是人体表面最为显著的特征之一，将人体肤色特征应 用于人脸检测、手势识别。较仅利用灰度信息具有更大的优势。简单环境下的基 于肤色的人脸检测与跟踪、手势识别，可以利用肤色分割直接实现，对于复杂环 境下的应用，利用人体肤色特征可以大幅度减小搜索空间，提高检测速度。发展 基于颜色的人脸检测与跟踪、手势识别等机器认知系统具有很大意义。目前已经 发展了一些利用肤色特征分割人脸和人手的方法目前肤色分割器性能相对较好 的都是基于统计思想的，其他主要就是基于肤色空闽聚类的方法，主要思想是用 大量肤色像素得到肤色在色彩空闯的聚类，并用闭合曲线或曲面拟合。检测时判 断像素是否落在拟合的曲线或曲面内，若在此范围内更日判断该像素为肤色像素。 实现这种思想的方法主要需要解决两个问题，第一是颜色空间选择的问题第二 是如何拟台出肤色在所选择色彩空闻的闭合曲线或曲面。目前算法都集中在y c b c r 空间和h s i 空阍文献 1 j 在y c b c r 空闻建立肤色模型，拟合出了在这个色彩空间的 肤色聚娄形状类似椭圆。 本章第一节介绍了颜色模型及其相互间的转换关系，在第二节中介绍了常用 的几种肤色分割的方法。在第三节中介绍了各种方法进行的实验及结果分析以及 本文所采用的肤色分割的方法。第四节介绍了对肤色区域进行标记。 2 1 颜色模型 常用色彩格式有r g b ( 红、绿、蓝三基色) 、h s i ( 色调、饱和度、亮度) 、y u v 0 a l 带口的光亮度和色度模型) 、y c b c r 等。 1 r g b 色彩系统 这是最常见的颜色模型。国际照明委员会( c 聊选择红色、绿色、蓝色三种单 色光作为颜色坐标系的三基色，这就是r g b 色系坐标系通常图像的颜色用这一 坐标系来表示。一般以r g b 颜色坐标系来描述其它坐标系。将其它坐标系的基色 描述为r g b 三色的线性或非线性函数。1 9 3 1 年c i e 制定了一个色度图( 如图2 1 ， 图中波长单位是纳米) ，用组成某种颜色的三原色的比例来规定这种颜色。图中横 轴代表红色色系数，纵轴代表绿色色系数，蓝色色系数可由z = 1 伍+ y ) 求得。 1 2彩色图像中的正面人脸检测 图2 1 色度示意图 2 1 1 s l 色彩系统 这是m u n u 提出的色彩系统模型，经常为艺术家所使用。这一色彩空间用 色调h ( 鼬c ) 、饱和度s ( s a t m t i o n ) 、光强度l ( 1 i l t e n 萌t y ) 三个参数描述颜色特性。色 调决定彩色光的光谱成分，取决于光的波长，说明彩色光中混入白光的数量；饱 和度是彩色光纯度的反应，纯光谱色的含量越多，其中饱和度越高；亮度取决于 彩色的强度，是彩色光对视觉的刺激程度这种格式的优点在于它将亮度与反应 色彩本质的色度与饱和度分开。h s i 空闯和r g b 空间的转换关系如下： 1 - + g + b ) 3( 2 - 1 ) 胃l a r c c o s 一孚胁吣盅) 壁：地= 堡! ! 逛：里 、。(。r1。1-。1。o。+。(。r。-。b。x。g。1。-。b。) b 墨g 戳h t h l ( 2 - 3 ) y u v 色彩系统被欧洲的电视系统所采用( 属于p a l ) ，其中y 指亮度，u 和v 雕鳓148,028澍9,0圉gv 0 6 1 5 - 4 3 5 1 501 0 0b l u | 一i o 一 4 3 7 l x | i ( 2 。4 ) lll ， ，一 1li 雕蠢蝌圈 p s ， y 。? 第二章彩色图像中的肤色检测 4 y c b c r 色彩系统 y c b c r 色彩系统与y u v 色彩系统在数学上具有等价性。这种色彩系统是以 演播室质量标准为目标的c c i r 6 0 1 编码方案中采用的彩色表示模型，被广泛的应 用于电视的色彩显示等领域中，它同样具有h s i 格式中将亮度分量分离的优点。 j p e g 采用的是该色彩系统。它是从y u v 系统衍生出来的，其中y 指亮度，而c b 和c r 则是将u 和v 做少量的调整而得到的。r g b 色彩系统与y c b c r 色彩系统的 对应关系如下： y c 易 c 1 槲 0 2 9 9 0 5 8 7 0 1 6 8 7 0 3 3 1 3 0 50 4 1 8 7 oo 1 4 c 1 2 0 0 一o 3 4 4 1 4 1 7 7 2 o 1 1 4o 0 51 2 8 一o 0 8 1 31 2 8 0l r g 口 1 ( 2 6 ) ( 2 7 ) 2 2 肤色分割的方法 2 2 1 直方图反投影法 s w a i n 瓤b a l l a c d 在1 9 9 1 年提出了直方图反投影法0 , 1 i s t o g r a mb a c k p r o j e c t i o n ) 。 该算法可以在复杂背景下对彩色图像中的目标物件进行有效的定位。其具体方法 为：采用空闯直方图l 和m 来表征图像和图像中的目标物体。计算比例直方图r r 一曲( j ) 其中i 为空问直方图的索弓l 号。对输入图像的每一像素， 的反投影，从而生成反投影图像b ： 丸，。焉k 。) 进行比例直方图r ( 2 9 ) 其中( x ，y ) 是输入图像像素的位置坐标c x , y 是像素的色彩值，i l b ，) 是该色 彩在r 中的索引号。对反投影图像b 进行平滑处理后，b 中具有最大扶度值的位置 代表待定位物体最有可能出现的位置。直方图反投影法属于基于统计的方法。检 测的稳定性和适应性不是十分理想。 2 2 2 混合高斯模型法 肤色在色度空间可以认为是高斯模型仁，, o r 2 ) ，在y c b c r 色彩系统中 ，j封 虼地 y 一 一西d -，-_l x ，_叫， 龃 o n o o 1 4彩色图像中的正面人脸检测 l 一1 弘一l 西，c ，l ， 【j 西，土警劬；，占 龠 d 一 ，其中n 是肤色样本点数。 r 2 l o ) 通过统计就可以确定高斯模型的参数，也就可以进行肤色分割了。 2 2 3 k l 变换法 k l 变换方法进行肤色分割。就是将每一个像素点的r 、g 、b ( 也可以是y c b c r 或h s i 中的元素) 依次排成一列看成一个向量t ，k ( 置g ，研7 。 肤色训练样本集 lk i = 1 ，n ) ，其均值为； u z ( 乏z ；) ( 2 - 1 1 ) 每个像素点与均值u 的差为 院一t ，一u ( 2 1 2 ) 肤色训练样本集的协方差矩阵： c - a ，其中一【8 ，口。l 。 协方差矩阵c 的正交分解向量印为肤色韵特征向量c 和特征值矩阵因为维数只 有三维，所以不用降维。 矧, k 2 e rx 目 ( 2 1 3 ) 将样本库中的每一个肤色像素点分瓢投影，得到k l 、硒的值域。 k 1 皈r a i n ，蜀m a x ) ，k 2 k 2r a i n ，k 2 m a x ) ，岛( 墨m i n 托m 飘) 。这一域值 即可作为k l 肤色过滤器的域值，对于待处理的图像的任一像素，先用式( 2 1 3 ) 对 其进行色彩转换，然后用域僮进行判断：在该范围内置1 ，否则嚣0 ，即可得到过 滤肤色后的二值图像。 2 2 4 色彩聚类的肤色分割的方法 色彩聚类的方法以a n i lk j a i n 的c b 、c r 椭圆聚类方法最为典型。a n i lk j a j n 曾专门统计研究了皮肤的色彩模型，他提出的方法属于色彩空问中的聚类模型。 这类肤色模型的建立要选取一种合适的色彩空问。因为在y c b c r 色彩空间具有 如下优点： ，驴 土e 第二章彩色图像中的肤色检测 ( 1 ) y c b c r 色彩格式具有与人类视觉感知过程相类似的构成原理。 ( 2 )y c b c r 色彩格式被广泛地应用在电视显示等领域中，也是许多视频压缩 编码，如m p e g j p e g 等标准中普遍采用的颜色格式。 ( 3 ) y c b c r 色彩格式具有与h s i 等其它色彩格式相类似的将色彩空阃中的 亮度分量分解出来的优点。 ( 4 )相比h s i 等其它一些色彩格式，y c b c r 色彩格式的计算过程和空问坐 标表示形式比较简单。 ( 5 ) 实验表明在y c b c r 空间中肤色的聚类特性比较好。 文献【1 l 采用非线性分段肤色分割得到肤色区域在c b c r 空间中近似于椭圆，可 用如下公式表示： 蝉+ 蝉。1( 2 - 1 4 ) a = 2 5 3 9 ，b = 1 4 0 3 ， e 乞= 1 6 0 ，e c ，- - 2 4 1 ， 口- 2 5 3 ，c x = 1 0 9 3 8 ，c y = 1 5 2 0 2 ， 若大予1 则不是肤色。否则为肤色。 p 1 。瞄口 川l s i n 0 s i n o c b c x l c o s 一儿c r c y j 2 3 肤色特征的提取和肤色分割 矧燃黼懈f 豪鋈圜伢挪， k l ( 一3 7 6 6 , 3 5 9 0 ) ，k 2e ( - 6 7 1 9 , 4 2 4 7 ) ，k 3 ( 一1 7 7 5 1 1 7 0 1 6 ) 1 6彩色圉像中的谁面 脸捡测 磬 0 0 4 6 20 8 2 5 00 5 6 3 2 0 0 2 2 5 0 5 6 2 80 8 2 6 3 一o 9 9 8 7o - 0 5 0 90 0 0 7 5 y c 西 c r 域值为lk le ( - 2 0 。1 8 , 2 0 。9 9 ) ，k ：02 3 。5 0 , 3 7 。5 6 ) ，k 3 ( 一8 1 。1 9 , 9 1 4 7 ) 着仅使用c b c r 进行k l 变捩则得至4 变换矩阵为： 睦： - o8 1 5 2 - o 5 娩7 9 2 j l c ，1 p 】 值域为： k 1 6 ( - 1 9 6 3 4 7 ，2 3 5 9 1 4 ) ，鬈：( - 2 1 7 1 4 2 , 3 7 3 4 3 5 ) 3 、在h s i 空间采用k l 方法的实验结果 若使用h 、s 进行k l 交换则得到交换矩阵为： 睦1 2 ”1 - e o 一8 1 5 2 - 雌o 5 ，7 配9 2 1 舻 1 值域为。 蜀e ( 。1 9 6 3 4 7 , 2 3 5 9 1 4 ) ，e ( - 2 1 7 1 4 2 3 7 3 4 粥 对同一图像实验结果如图2 2 所示： 2 2 a 魇图2 2 b k i e b c r 肤色分割的结果 f 2 1 6 ) ( 2 1 7 ) 佗- 1 8 ) 蔓三皇墅垦笪堡生盟壁鱼垫型 ! ： _ _ - _ - - - _ _ _ - _ _ p 一一 。 2 , 2 ck l i i g b 肤色分割的结果2 2 d k l y c b c r 肤色分割的结果 2 2 e a n rk j a i n 椭圆聚类方法肤色分割的结果2 2 f 本文方法肤色分割的结果 图2 2 同一豳像采用不同肤色分割方法的实验结果 2 3 2 实验结果分析 由肤色分割结果可得出如下结论： l 、k l h s 和】( l c b c r 方法是k l 变换方法中效果最好的方法 2 、k l r g b 方法等同于k l y c b c r 方法和k l h s i 方法 3 、a n i lk j a i n 的c b 、c r 椭圆聚类方法肤色分割效果较好，但是对于亮度较低 的区域容易误判为肤色，对于亮度较高的肤色区域会误判决为非肤色区域。 4 、本文针a n t ik j a i n 的c b 、c i 椭圆聚类方法肤色分割的缺点，首先对亮度信 息进行分段判断。这样克服了在高亮区域和亮度较低的区域中存在的不足。 5 ，在运算速度上基于k l 变换的方向速度较慢。在同一图像库中测试时间如 表2 1 所示。 表2 1 ：肤色分割测试结果( 1 0 0 张图像) f k l c b c rk l r g bk l h s 法本文方法 j 所需时间 9 2 0 2 5 3 01 6 4 51 0 2 7 7 2 0 j ( 秒) 彩色图像中的正面人脸检测 2 3 3 本文的肤色分割的方法 统计a a i ! k j a i n 的c b 、c r 椭圆聚类方法肤色分割后肤色分割错误的区域的 亮度信息，得到此法对于亮度小于4 0 的非肤色像素点会误判决为肤色点，比如眼 睛区域等。对于大于2 3 0 的肤色像素点会误判决为非肤色点。因此采用如下分段 方法： 1 、对于亮度低于4 0 的像素点直接判决为非肤色像素点。 2 、对于亮度在4 0 - 2 3 0 之间的像素点采用肤色的椭圆聚类方法 3 、对于亮度大于2 3 0 的像素点进行判决时，将肤色的聚类时的椭圆的长短轴 同时扩大为原来的1 1 倍 雷z 3 原图像 图2 3 b 采用非线性分段色彩变化的肤色分割结果 第二章彩色图像中的肤色检测 1 9 图2 3 c 本文方法肤色分割的结果 图2 _ 3 c 与图2 3 1 ) 比较。在入限区域此图有更好更细致的检测效果。实验结 果表明，在y c b c ) 空间，采用k l 变换法比直接在r o b 空间用k l 变换方法要 好，所以本文采用在y c b c z 空间中综合亮度信息的非线性肤色分割方法进行肤 色分割。 2 4 滤波标记肤色区域 2 4 1 滤波 滤波在图像处理中应用非常广泛，常用的滤波方法有中值滤波、均值滤波、 维纳滤波等，下蔼对最常用的中值滤波和均值游波分别加以介绍。 1 、中值滤波 中值滤波嚣由j f r u k e y 在1 9 7 1 年提出，它最初主要用于时同序歹! 1 分析，后来 被用于图像处璎。它采用了捧序统计学中舶中值估计嚣( m e d i a ne s t i m a t o r ) ，中值 估计是在l 范数意义下的最佳参数估计。中值滤波以远优于线性滤波器的脉冲噪声 抑锖4 能力和信号边缘特征保护能力而广受欢迎，可以说非线性滤波领域研究的广 泛兴起是濒于中值滤波的提出。它也是最典型的非线性滤波器，许多学者在理论 上对它作了大量的分析，对它的实现、应用也作了大量的研究工作。除了中值滤 波器的滤波效果以外，它的另一个比较引入注目的特点是其根信号特性 1 2 j 。中 值滤波根信号定义为经中值滤波处理后仍保持不交的信号成分。许多学者对于中 值滤波特别是一维中值滤波根信号的构造、特性及应用进行了大量的研究，得 出了许多有用的结论。研究证明，一维信号能够在有限次中值滤波处理后