（计算机应用技术专业论文）彩色图像中人脸检测的研究.pdf

摘要 摘要 入脸检测指在图像或闰像序剃中我密单个躐多个入验懿链羲帮大小，是入黪 谈副、入验跟踪、姿势傣计以及表壤识爨等磅究豹第一步，农机器视觉_ 摹珏模式识 剐领域其有重罄意义。彩色强像中的入黢检测圭要萎予入脸豹默色特程，寝矮默 镦去检测入黢一今缀大阏题就是光照麓影桷，本文就光照对赋瓴检测麴影响遴嚣 了深入分析，弗磷交了释邋应霉交光照豹默琶检测舞法；其次由予款色捡测纂 法获褥斡默憩区域不溪避免会包含其宅类似予默色的题域，在j ；蜇人彩色图像分割 罨髯究蘩戳土，提滋了耪人黢分澍算法，曩予从肤色检测算法缮到豹隧域中提取 出人脸嫉选区域；然矮慰特缝验证方法，利明人脸形状、大小比例朔眼睛、唇等 特征慰入验谈选嚣域避一步拣选。最螽实现丁钞对彩色图像的人脸捻测系统，绘 出实验续果，表明我们的算法可以适应复杂的环境，舆有较好性能。 关键溺：人黢检测肤色检测彩色图像分割 a b s t r a c t a b s t r a c t f a c ed e t e c t i o ni sd e f i n e da sf i n d i n g 诺ee x t e n ta n dl o c a t i o no ff a c e si na ni m a g eo r i m a g es e q u e n c e s a st h ef i r s ts t e po ff a c er e c o g n i t i o n 、f a c et r a c k i n g 、p o s ee s t i m a t i o n a n de x p r e s s i o nr e c o g n i t i o n ，f a c ed e t e c t i o np l a y sai m p o r t a n tr o l ei nt h ef i e l d so f m a c h i n ev i s i o na n dp a r e r nr e c o g n i t i o n 。t h el i g h te f f e c ti sad i f f i c u l tp r o b l e ma s s o c i a t e d w i t hf a c ed e t e c t i o nt h a ti sm a i n l yb a s e do nh u m a ns k i nc o l o rf e a t u r e si nc o l o ri m a g e s 、 f i r s t l y , a 1 1a l g o r i t h mo fs k i nc o l o rd e t e c t i o ni ss t u d i e dt h a tc a nb eu s e du n d e rv a r i a n t l i g h tc o n d i t i o n sa f t e rat h o r o u g ha n a l y s i so fl i g h te f f e c t o ns k i nc o l o rd e t e c t i o n 。 s e c o n d l y , b a s e do l lp r e d e c e s s o r s r e s e a r c ho nc o l o ri m a g es e g m e n t a t i o n ，a na p p r o a c ho f f a c es e g m e n t a t i o ni sr e p o r t e dt oe x t r a c tf a c ec a n d i d a t er e g i o n sf r o mr e g i o n st h a ta r e o b t a i n e df r o mt h es t e po fs k i nc o l o rd e t e c t i o na n dc o n t a i nn o n - s k i no rn o n f a c ea r e a s i n e v i t a b l y t h i r d l y , am e t h o di sg i v e nt oe x c l u d es o m en o n - f a c er e g i o n sf r o mf a c e c a n d i d a t er e g i o n su s i n gt h ef a c ef e a t u r e so fs h a p e ，s i z er a t i o ，e y ea n dt i p f i n a l l y , t h e f a c ed e t e c t i o ns y s t e mi si m p l e m e n t e df o rs t i l lc o l o ri m a g e sa n dt h ee x p e r i m e n tr e s u l t s s h o wt h a to u rm e t h o do ff a c ed e t e c t i o nc a nb ea p p l i e dt oc o m p l e xe n v i r o n m e n ta n d h a v eag o o dp e r f o r m a n c e 。 k e 3 v o r d ：f a c ed e t e c t i o n ，s k i nc o l o rd e t e c t i o n ，c o l o ri m a g es e g m e n t a t i o n 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：霭鳗 f ：= ；i 期2 竺主：! ：丝 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。 本人签名： 导师签名： 日期 第一章绪论 第一章绪论 随着信息技术、多媒体技术的发展。需要出现更为有效友好的人机交互方式 以代替传统的键盘鼠标方式。人脸作为人体的代表性特征，具有直观自然的特点， 以人脸信息为内容的人机交互方式是很自然的。目前应用人脸信息的研究主要包 括人脸识别、人脸跟踪、姿势估计、性别识别和表情识别等，这些研究在出入安 全检查、视频监视、智能人机接口、基于内容的图像检索和视频编码应用中都有 广泛的应用价值。但是目前许多相关研究的报告中均假设人脸在图像或图像序列 中位置已知，并在此基础上开展人脸识别等研究。实际中绝大多数的应用必须首 先找出人脸的位胃和大小，后续处理才能进行，这就是人脸检测的概念。在人脸 识别中，只有先找出人脸的位置和大小，才谈得上识别，从这个意义上讲，人脸 检测是人脸识别的基础，其他的应用同样如此。为了构建充分自动的人脸信息应 用系统，必须要有稳健高效的人脸检测算法作为基础，人脸检测的研究具有重要 的基础价值和意义。 受以下因素影响，实际中的人脸检测是极具挑战性的：( 1 ) 实际中背景是复杂 的，并且很难估计的；( 图像中人脸大小和位置有很大的变化范围：( 3 ) 人脸部分 器官很有可能被其它物体所遮挡：( 4 ) 人脸的一些特征( 比如胡子眼镜等) 出现与 否，出现样式因人而异：( 5 ) 人脸表情变化丰富，不同表情的同一人脸反映在图像 中都有一定差别，有时候甚至差别较大。 人脸检测算法的研究已经有多年历史，主要有以下几类研究方法：一，基于 统计的方法。l ，基于事例学习的方法。将人脸检测看作区分人脸样本和非人脸 样本的两类模式分类问题，通过对人脸样本集和非人脸样本集进行训练得到人脸 分类器，然后利用学习出来的分类器对图像中区域进行检测，代表性的方法有基 于神经网络的方法1 2 】1 3 1 ，基于支持向量机的方法【4 l ：2 ，基于子空间的方法，t u r k 和p e n t l a n d 将主分量分析( p c a ) 应用到人脸检测中1 5 1 1 6 1 ，对人脸训练样本集进 行主分量分析得到特征脸子空间，将图像区域投影到特征脸子空间，并计算到特 征脸子空间的距离，该距离越小，说明越像人脸，以此作为标准检测人脸；3 ， 基于隐m a r k o vm o d e l 的方法【2 ”，仍然将人脸检测看作模式识别问题来解决，把 人脸模式看作参数化的随机过程，把人面部的额头、眼睛、鼻子、嘴巴和下巴等 器官所在部位看作随机过程的状态，通过对符合人脸各器官分布的状态的随机过 程的检测来实现对人脸检测。二，基于模板匹配的方法。1 ，预定义模板匹配法1 2 ， 根据人脸的先验知识确定出人脸轮廓模板以及各个器官特征的子模板，先通过计 算图像中区域和人脸轮廓模板的相关值来检测出入脸候选区域，然后利用器官特 彩色图像中人脸检测的研究 征子模板验证上一步检测出的人脸候选区域是否包含人脸，这种方法的缺点在于 不能有效处理尺度、姿势和形状的变化；2 ，变形模板法 2 5 j ，主要思想：定义一 个可变形的参数模板和一个能量函数来描述特征，通过一个非线性最优化方法求 得使能量函数最小的参数模板，此模板即被认为是对所求特征的描述。这种方法 充分考虑到了人脸是变形体的特点，稳定可靠，而且与姿势和光照条件无关，但 仍存在能量函数的系数难以适应一般情况和计算量巨大的问题。三，基于特征的 方法，主要根据人脸的肤色，纹理，器官分布，轮廓以及对称性等特征为标准进 行检测。l ，基于器官分布规则的方法，y a n g 等人提出了m o s a i c 方法1 2 “，给出了 基于人脸区域灰度分布的规则，依据这些规则对图像从粗分辨率到高分辨率进行 筛选，以样本满足这些规则的程度作为检测的依据；2 ，基于颜色纹理的方法， 主要利用人脸皮肤表面颜色和纹理具有一定的稳定特性，l e e 等设计了肤色模型 表征人脸颜色，利用感光模型进行复杂背景下人脸和器官的检测f 2 ”，d a i 等利用 了s g l d ( 空间灰度共生矩阵) 纹理图信息作为特征进行人脸检测1 2 8 】：3 ，基于人脸 轮廓的方法1 2 引，人脸的轮廓近似于椭圆形状，通过检测椭圆实现人脸检测。 从对以前人脸检测算法的回顾可以看出，以前的算法大多是基于灰度图像的， 尤其是基于统计和模板匹配的方法，这些方法都有共同的缺点，就是在复杂环境 下，尤其对侧面人脸和有一定旋转角度人脸的检测，性能不是很好，并且计算量 大。肤色是人脸表面最为显著的特征之一，利用肤色检测人脸应该是个非常自然 和直观的想法，使用人脸肤色信息可以大幅度降低搜索空间，降低检测的难度， 提高运算性能。但受以下因素的制约，基于肤色特征检测人脸到近些年才发展起 来：l ，计算机硬件存储容量和处理速度以及彩色成像设备的限制，彩色图像所 需的存储空间远远大于灰度图像，要适应实时或系统响应非常快的场合，如果没 有硬件的保证，彩色图像很难胜任；2 ，颜色问题本身是非常复杂的，人脸表面 的颜色受人类个体差异，光源的颜色以及光照的角度不同所造成的高光和阴影等 诸多因素的影响，利用肤色分割人脸是个相当困难的任务。随着计算机产业的迅 猛发展，硬件的存储容量和处理速度以及彩色成像设备已经不是制约彩色图像应 用的因素，并且现实中灰度图像只能有限描述信息，已经不能适应很多场合的需 要。因此近几年来，颜色在机器认知中的应用逐渐多了起来。c h l e e 2 7 研究了 基于运动和颜色信息实现人脸检测和器官定位，首先利用运动信息分割出人脸， 然后根据人脸中各个器官具有不同的色调来分割眼睛，眉毛和嘴等区域。y d a i u 邵 根据空间灰度共生矩阵的特征模型建立了人脸质地模型，并将该模型结合y i q 颜 色空间的1 分量，用于检测图像中的人脸。g a r c i a t t 则采用向量量化的方法，先将 颜色量化，再检测图像中的肤色区域，然后进一步使用小波分析人脸灰度纹理特 征来验证人脸。以上这些方法都取得了一定程度的成功，可以在某一环境下得一 应用，但都很少考虑光照对于颜色的影响进而导致的对于人脸检测的影响。 第一章绪论 本文就光照对应用颜色到人脸检测中的影响做了分析和研究，给出了解决思 路和办法，对人脸检测问题的采取“肤色检测+ 人脸分割+ 特征验证”的解决思路。 下面是本文的组织结构。 第- - m 是肤色检测，主要讨论针对整幅图像利用肤色特征检测出图像中的肤 色区域，我们就光照对肤色检测的影响从理论上做了深入分析，给出了解决办法， 最后给出了完整的肤色检测算法。 第二章是人脸分割，由于通过肤色检测算法得到的肤色区域，仍然不可避免 包含其他类似肤色的物体，考虑到人脸的颜色在局部上又是非常相似的，本章主 要利用人脸表面颜色的局部相似性分割出人脸候选区域，提出了完整的人脸分割 算法，该算法略作修改可用于彩色图像分割。 第四章是特征验证，在上一章得到人脸候选区域的基础之上，利用人脸一些 特征对候选区域进一步验证，给出最终检测出的人脸区域。 第五章给出了实验结果。 最后一章是结束语。 本论文的研究工作在国家自然科学基金资助项目( n o 6 0 0 7 1 0 2 6 ) 、国防科技预 研跨行业基金资助项目( n o 0 0 j 1 4 4 d z 0 1 0 6 ) 、信息处理与智能控制教育部重点 实验室开放基金资助项目( n o t k l j 0 0 0 5 ) 的支持下完成的。 4 彩色图像中人脸检测的研究 第二章肤色检测 2 1 引言 颜色较灰度值包含更多的信息，肤色是人体表面最为显著的特征之一，将人 体肤色特征应用于人脸检测、手势识别，较仅利用灰度信息具有更大的优势。简 单环境下的基于肤色的人脸检测与跟踪、手势识别，可以利用肤色检测直接实现， 对于复杂环境下的应用，利用人体肤色特征可以大幅度减小搜索空间，加速检测 结果。发展基于颜色的人脸检测与跟踪、手势识别等机器认知系统具有很大意义。 目前已经发展了一些利用肤色特征分割人脸和人手的方法，首先对前人所做工 作进行简单的回顾。y a n g 和a h 由a 在【9 】中利用如下方法实现肤色像素的检测，在 c i el u v 颜色空间中利用大量肤色像素的色度分量u v 的统计直方图建立 g a u s s i a n 分布，由该g a u s s i a n 分布拟合肤色模型。肤色检测时，判断待检测像素 在该肤色模型中的相应概率是否大于预设闽值，若大于则判为肤色像素。j o n e s 和 r e h g 发展了一种肤色检测算法1 1 3 并应用于裸体人的检测，这种方法使用了接近1 亿个肤色像素建立肤色模型，主要思想是在r g b 色彩空间建立两个包含3 2 3 个b i n 的统计直方图，一个使用肤色像素建立，另一个使用非肤色像素建立，对于某个 未知像素，利用两个直方图得到相应的概率，然后计算两个概率之商，判断是否 大于预设阈值，若大于则认为肤色像素，文1 1 4 】中认为该肤色检测器性能相对较好。 以上两种方法都是基于统计思想的，其他主要就是基于肤色空间聚类的方法，主 要思想是用大量肤色像素得到肤色在色彩空间的聚类，并用闭合曲线或曲面拟合， 检测时判断像素是否落在拟合的曲线或曲面内，若落到则判断该像素为肤色像素， 实现这种思想的方法主要需要解决两个问题，第一是颜色空间选择的问题，第二 是如何拟合出肤色在所选择色彩空间的闭合曲线或曲面。文献 s l 针对肤色检测应 用，对9 种色彩空问进行了比较，认为h i s 空间适合于g a u s s i a n 肤色模型的建立， 同时认为y c b c r 空间也适合于肤色检测。文献1 7 1 在y c b c r 和h s i 空间建立肤色模 型，拟合出了在这两种空间的肤色聚类形状。 以上提到的肤色检测方法，都没有考虑光照对肤色检测的影响，都假定是在 正常光照条件下，即假定光源是白色光源，并且在皮肤表面不存在高光和阴影的 情况。实际中大多数复杂应用的光照都是未知的，而且不可预先估计。研究适应 可变光照条件下的肤色检测算法具有重要应用价值。但同时，人脸表面的颜色受 人类个体差异，光源的颜色以及光照角度不同所引起的高光和阴影等因素的影响， 第二章肤色检测 利用颜色分割人脸的任务成为非常难的问题。本章第二节就光照对肤色检测问题 从颜色理论、机器视觉角度进行了深入研究，第三节给出了一种可变光照条件下 的肤色检测算法。 2 2 光照对肤色检测的影响 颜色特征是物体表面的本质特征之一，物体的颜色决定于物体本身的光谱反 射率、环境光照和视角方向，光照和视角是千变万化的，令人惊奇的是，人类的 视觉认知系统却能从变化的环境光照和成像条件下获取物体表面颜色的不变特 征。这就是人类视觉的颜色恒常性。用物理学来解释这个现象，就是指当光源发 生变化导致反射光的光谱成分发生变化时，相对而亩，人类的颜色知觉并没有随 之产生相应幅度的变化。举例来说，在户外太阳光下，我们人眼看一张白纸，它 的颜色是白色的，在蜡烛光下，我们同样能够发现这张纸是白色的。但是，同样 我们不是用人眼观察，而是用摄像机拍摄这两种光照条件下的场景，从拍摄出的 结果来看，太阳光下照片中的纸是白色的，烛光下照片中的纸呈现出橙黄色。这 个时候，如果能从拍摄出的图像中，得到物体颜色的本来面目，对于机器视觉系 统就显得格外重要。从拍摄出的照片中得到物体本来的颜色特征，就是机器视觉 的颜色恒常性问题。机器视觉的颜色恒常性问题反映在肤色检测中，就是要能在 变化的光照条件下稳定的检测出人体的皮肤颜色，光照对肤色检测的影响主要在 光源颜色，光照角度不同所造成的高光和阴影等因素的影响。本节主要讨论这两 个因素对肤色检测过程的影响，最后给出理论分析和解决办法。 2 2 1 光源颜色的影响 为了能够观察出光照的影响，我们先用g a r c i a 等人在人脸检测【7 j 用到的方法进 行肤色检测。在该文中提到了两种方法，分别在y c b c r 和爿= | 蹶色空间得到肤色聚 类的空间分布形状，利用对肤色聚类形状的拟合来检测肤色像素，并且文中认为 在y c b c r 色彩空间的肤色聚类更为紧簇。下面先对拟合y c b c r 空间中肤色聚类性状 的方法做简单介绍。 文e p * , u 用从图像手工收集来的大量肤色像素在y c b c r 空间形成肤色的聚类，对 聚类性状进行曲线拟合，利用拟合出的曲线来检测图像中的肤色像素，对肤色聚 类形状拟合出的闭合曲线如下： 6 彩色图像中人脸检测的研究 c ，2 鲐c r _ o 5 ( 0 4 一c b ) j d 2 丁2 0 - c b ? d ；f 疗：一c b ) 其中： ”- 2 十等i02刈一百256-y?03咱04_8艄y1281j1 寸j o l o 0 1 = 6 i0 2 = 1 2 ，0 3 = 2 + i i0 4 = 一1 6 + 1 j 2 ；r 当y 1 2 8 时) j z i ” ( 2 1 ) 注意上述方法使用的c 6 、c ，值的范围是【一1 2 8 ，1 2 7 】，不是平常的【0 ，2 5 5 】，在颜色空 间变换时需要注意。图2 1 给出了光源颜色对肤色检测的影响。 ( a ) ( b ) 幽2 1 光源颜色对肤色检测影响：( a ) 原图；( b ) 肤色检测结果 从图2 k a ) 来看，很明显不是在白色光源下采集的图像，整幅图像呈现偏橙黄色， 对其使用式( 2 1 ) 所示方法迸行肤色检测，得到结果如图2 1 所示，人脸部分的绝 大部分肤色区域没有被检测出来，人后面的背景以及右边人穿的白色短袖却被判 断为肤色区域，结果与实际偏差很大。 2 2 2 高光和阴影的影响 图2 2 给出了图像中人脸高光部分对肤色检测的影响。 ( a )( b ) 图2 2 高光对肤色检测的影响：( a ) 原图；( b ) 肤色检测结果 第二章肤色检测 图2 2 ( a ) 是- - 趸r j 在正常光照条件下的采集的图像，额头有高光部分，图2 2 ( b ) 是对2 2 ( a ) 应用方法( 2 1 ) 检测的结果，额头高光部分没有被检测出来。 图2 3 给出了图像中人脸阴影部分对肤色检测的影响。 ( a )( b ) 图2 3 阴影对肤色检测的影响：( a ) 原图；( b ) 肤色检测结果 图2 3 ( a ) ：叠- - 幅在正常光照条件下的采集的图像，脖子偏右存在阴影部分， 图2 3 ( b ) 是对2 3 ( a ) 应用式( 2 - 1 ) 所示方法检测的结果，阴影部分没有被正确检测出 来。 从以上可以看出，图像中存在的高光和阴影部分对于肤色的检测还是有一定 影响的，但同光源颜色相比影响的程度要小。 2 2 3 光照影响的理论分析 在讨论光照对物体颜色影响这一问题之前，先给出有关颜色和光照理论的背 景知识。 2 2 3 1 光照影响的理论基础1 通常进入眼睛的光是由各种波段的光组成的混合光，很少是纯粹的单一波段 的光。混合光中各种波长光能量的比例不同，从而会星现出不同的颜色。 物体的颜色是由照射光源的光谱成分、光线在物体上的反射和吸收的情况决 定的。例如，在日光下观察一个蓝色物体呈现蓝色，是由于这个物体将日光中的 蓝光反射出来，而吸收了光谱中其他成分的光谱。而同样的蓝色物体，在红色的 光源照射下，会呈现红紫色。对于机器视觉系统，彩色图像还与成像系统敏感器 的光谱响应有关。 可见光的波长在3 8 0 n m 到7 8 0 n m 之间，人的颜色感觉是不同波长的可见光刺 激人的视觉器官的结果。人的视网膜由两类细胞：杆体细胞和锥体细胞。杆体细 胞灵敏度高，能感受微弱的光：锥体细胞灵敏度低，但能很好的区分颜色。 彩色图像中人脸检测的研究 三色假说认为，有三种视觉( 锥体) 感受器，分别对红，绿，蓝三种颜色敏感； 当光线同时作用在这三种感受器上时，三个感受器产生的兴奋程度不同；不同兴 奋程度的组合将产生不同的颜色感觉，三种感受器处于等强度兴奋时，便产生白 色的感觉。现在已经证明，人类视网膜中确实含有三种不同的光敏感性视色素， 在光照射下，他们吸收某些波长的光而反射另一些波长的光，每一种锥体细胞色 素对光谱不同部分的敏感性时不同的。根据w a l d 【12 j 对人类色彩视觉的研究结果， 三种锥体细胞的光谱吸收的峰值分别在4 3 0 n m ，5 4 0 r i m ，5 7 0 n m 左右，这三个区间分 别对应红、绿和蓝波段。由于这个原因，这三种颜色被称为人类视觉的三基色。 光照对物体表面颜色影响涉及到颜色恒常性问题，颜色恒常性是被描述的对 象在光照及环境变化时的一种性质。相对于人类视觉系统来说，是指视觉系统在 光照及环境变化时对物理表面的稳定的知觉，是一种认知现象。陶等人在文献【1 o 】 中对人类视觉颜色恒常性的定义为：在不同的照明条件下，人们一般可以正确反 应实物本身所固有的颜色。物理上定义：当光源发生变化导致反射光的光谱成分 发生变化时，相对而言，人的颜色知觉并没有随之产生相应幅度的变化。并且认 为影响人类颜色知觉恒常性的主要因素：环境光照、视环境、形状因素三个客观 因素和视觉系统本身这个主观因素，以及人类视觉颜色恒常性的不完全性。相对 于机器视觉而言，是机器系统关于物理表面光谱反射率的描述。影响物体颜色的 因素之中，只有物体表面的光谱反射率在环境光照、物体形状和视环境都变化的 情况下保持恒定，这是颜色恒常性的基础。机器视觉颜色恒常性着眼于恢复物体 表面的光谱反射特性。降低光谱反射率函数和光照光谱功率分布函数的维数是实 现机器视觉颜色恒常性的前提。 颜色研究表明，光照的光谱功率分布和多种表面的光谱反射率都可以相当精 确地用有限维线性模型来近似。j u d d 在 1 5 1 证明，用3 5 个基函数可足够精确地表 示白天光照的光。c o h e n 在【1 6 】分析了1 5 0 个m u n s e l l 颜色片的表面反射率，他的 研究成果表明，利用前面3 个特征向量表示的光谱反射率与实际测量的反射率可 达到9 9 2 的符合程度。下面是机器颜色视觉的有限维线性模型。 一般环境光照未知，但知道基函数，同样物体表面反射特性未知，也知道基 函数，现在就是要求物体表面反射特性由基函数表示时的系数，这个系数就表征 物体表面反射特性，决定了物体表面反射的颜色。 环境光照的光谱分布函数：e ( a ) 描述在每个波段的能量 波段a 上的光在物体r x ，y ，处的光谱反射率：s ( x ，y ，a j 到达图像r 置y ，处的光亮：s ( x ，y ，2 ) e ( 2 ) 假设在每个成相位置( x ，y ) 上有p 个敏感器，每个敏感器有不同的光谱响应函 数，第k 个敏感器的光谱响应为r 。( a ) 。在佴，纠处的每个敏感器对不同分布的光 谱进行采样： 第二章肤色检测 p k ( x y ) = 、r k ( a ) s ( x y a ) e ( a ) d a( 2 - 2 ) 厶 其中厶对应于可见光的波长范围。 对应于图像平面点似圳的场景表面上的彩色( 光谱反射) 信息由该处p 个敏 感器编码，得到p 个编码值p ( x ，y ) ，p ：( x ，_ y ) ，p 3 ( x ，_ y ) ，p 。( x ，y ) 。彩色不变性是 从一个敏感器响应 p 。( x ，y ) ，k = l ，p 来恢复场景表面光谱反射s ( x ，y ，五) 的问 题，而独立于环境照明e ( x ) 的光谱分布。 假定表面反射函数是基函数的线性组合 h s ( x ，y ，州= 仃，r x ，y 属r 川 ( 2 3 ) i = 1 n 是表面反射自由度的数目，假定基函数s 。( a ) 已知，仅用3 个基函数的线性模型 足以表示典型的表面反射。 下面是由m 个自由度线性模型表示环境照明： e 似j = 占，e ，似j ( 2 4 ) j = l 假定基本光源( b a s i cl i g h t ) 的光谱分布占，( 兄) 已知，则只需三个或四个基本光源 就可以建立不同气候和不同时间的自然光模型。 令 t = ( t ，8 f 。6 m ) 1 b = ( o | 仃2 - - 口，) 1 a ，= r a “，j ，p 。a “j = j 尺，r a ，s ，r z j e r 旯j 以 ( 2 5 ) 厶 p = p l ( x y ) 。pk ( x y ) ) | 得到图像中每个像素的矩阵模型 p = a 。仃( 2 - 6 ) 照明矩阵人：是一个p xr 的矩阵。如果环境照明已知，那么人：就已知。如果 敏感器数目等于表面反射的自由度数目，即p = 疗，那么可以求照明矩阵的逆， 以便得到图像上每一点的表面光谱反射特性系数盯，该系数表征了场景相应点的 色彩。但是，实际中在光照变化情况下，照明矩阵大部分是未知的，那么则需要 敏感器数目多于表面反射自由度数目( 即p n ) 才能求解此问题，但是实际中p 为 视觉系统中光感受器数目，一般等于3 ，而根据有限维线性模型，m 和n 也至少 为3 ，那么从式( 2 6 ) 求解出o - 就是一个典型的病态问题。 在机器视觉中，实现颜色恒常性一般被认为是，由一幅未知光照条件下的若 干景物的彩色图像，自动计算某种转换，以便得到每个物体在某一标准或正常白 色光照下的颜色表现。这是一个映射问题，但由于彩色图像本身不能提供足够的 彩色幽像中人脸检测的研究 信息来求解物体的固有颜色特性，所以在求解过程中应有知识模型的指导。 机器视觉的颜色恒常性模型都可以归纳成为用不同的物理假设求解( 2 6 ) 式。 除了模型中明确的假设之外，还有一些物理假设是隐含的，是人和许多机器颜色 恒常性共同的出发点。这些隐含的假设主要包含以下4 个： ( i ) 均匀光照假设：视环境中光照的光谱功率分布是一致的。考察( 2 - 6 ) 式， 不妨设图像中有个像素，则方程左边有p n 个已知量，而方程右边有 聊n + , n 个未知量。均匀光照假设就是对于所有的像素，其占是相同的。方 程右边的未知量从而减少为m + n n 个。 ( i i ) 有限窗口假设：图像是视环境的一个有限的窗口。目前，所有的颜色恒常 性模型都是基于视觉系统所采集的图像，无论就时间还是空间而言，都是视环境 的一个小窗口。人类视觉的颜色恒常性常常则要复杂的多，头动和眼动使得视觉 系统具有足够宽阔的视野，以获取更多的关于视环境的信息，有限窗口假设表明， 关于视环境颜色的一些统计规律不能直接用于机器视觉的颜色恒常性模型中。 ( i i i ) z 维世界假设：视环境及视环境中所有的物体都是二维的。这个假设事实 上就是均匀光照假设。所谓的二维视环境就是不考虑视环境中物体的形状、互反 射和阴影。 ( i v l 彩色世界假设：视环境及光源具有足够丰富的颜色。单色光和单色的视环 境都不能产生正常的颜色视觉。 在以上这些共同的、隐含的物理假设基础上，可以构造合适的颜色恒常性模 型，建立图像数据和恒定的颜色知觉之间的联系。s h a r e r 提出的双色反射模型应 用较广1 7 1 1 1 8 】，该模型认为，当光线照射到非导电体上时，入射光的一部分被直接 反射出去，这部分反射光与入射光的光谱相同，此反射过程被称为镜面反射或界 面反射。入射光中未被反射部分进入物体内部被物体散射或在某些波段上被物体 吸收，然后穿出物体，出射光的光谱由光照的光谱功率分布和物体的反射特性决 定，此反射过程被称为本体反射或漫反射。s h a f e r 提出的双色反射模型可以描述 为下式： r 。似j ；c ( 2 - 7 ) e r 五j r r 兄j = a e ( a j r 6 r a j + r 1 一a ) e c a ) r 。r a j ，口f 0 ，l 上c = i ( 2 8 ) 其中e 似j 是入射光，代表光源的光谱，r ( ) 是物体表面的等效反射率，r 似j 和r 。r a j 分别是物体表面的本体反射因子和镜面反射因子，a e ( , t ) r 。( 旯) 表示本体 反射部分，( 1 一口) e ( 旯) r 。( 旯) 表示镜面反射部分，c 为常数表示镜面反射部分的光 谱和入射光谱相同，口的大小表示本体反射的强度。f l j ( 2 8 ) 有： r ( 无) = a r h ( 元) + ( 1 一a ) r m f 亢 ( 2 - 9 ) 2 2 3 2 光源颜色影响的分析 早在1 9 3 1 年，国际照度委员会( c i e ) 就规定三种基本色的波长分别为 第二章肤色检测 r ：7 0 0 n m ，g ：5 4 6 1 n m ，b ：4 3 5 8 n m ，由于光源的光谱是连续渐变的，某种光谱的能 量所占比例越大，就呈现相应的颜色，比如7 0 0 n m 附近的光谱在光源中所占比例 较大，光源就偏红色，如果各种光谱的能量相近，光源就呈现白色。 光源的颜色集中反映在入射光e ( 五) ，由于r 。( a ) 和波长有关，并且镜面反射 部分的光谱和入射光相同，由式( 2 8 ) 和式( 2 9 ) 可以看出，当光源颜色( 即入射光谱) 变化时，势必影响到物体的反射光谱，从而影响物体在摄像机中的成像效果，得 到的照片颜色会发生变化。 如何恢复物体的本来颜色昵? 根据( 2 9 ) 式可知物体表面的等效反射率月( 五) 与光源光谱吖五j 无关，如果能够估计出光源的光谱，那么只要将其映射到白色光 源光谱就可得到物体本来颜色。这样，问题就转换为如何估计光源光谱，由( 2 7 ) 可知，物体表面的镜面反射因子r 。似，为常数，即物体表面镜而反射部分光谱与 光源光谱相同，这就给出了一种估计入射光谱的思路：利用物体表面一些很光滑 的部分所反射的高光来估计光源光谱，因为这些部分可以认为只有镜面反射，实 际中可以将图像中亮度相当高的像素点看作镜面反射区。2 3 节给出了实现这一思 路的方法。 2 2 3 3 高光和阴影影响的分析 一般认为，产生高光的原因在于物体表面存在着镜面反射，产生阴影的原因 在于入射光中的一部分被遮挡。 在式( 2 8 ) 中，如果口= 1 ，表示没有镜面反射，如果口= 0 ，表示只有镜面反 射，即产生高光现象。物体表面的阴影也可以用式( 2 8 ) 表示，口的大小表示阴影 遮挡的强度，若口= 1 ，表示没有阴影遮挡，如果口= 0 ，表示只有阴影遮挡，即 产生阴影现象。实际中，这一问题比较难以解决。 陶霖密等人在【1 9 】中认为，高光区的颜色和另外一种饱和度更低、亮度更高的 颜色不可区分，阴影区的颜色和另外一种饱和度更低、亮度更暗的颜色不可区分， 即高光和阴影都改变了颜色的饱和度。上述三种情况可以看作3 种不同饱和度、 不同亮度、相同色调的颜色在相同光照下的聚类。基于以上的分析，陶等人给出 了一种消除高光和阴影的办法【1 9 1 ，在原r g b 空间将亮度归一化，用于改善由高 光和阴影引起的饱和度的变化，以消除光照影响。该文中定义亮度为向量( r ，g ，b ) 的模长，即上= ( 尺2 + g 2 + b 2 ) “。根据这个定义，亮度归一化就是求向量( r ，g ，b ) 和r g b 空间中的单位圆的交点，其结果就是将( r ，g ，b ) 向量归一化到该空间中的 单位球面上。 但是从我们的实验结果来看，这一方法却效果不大。这一点可从图2 4 看出。 彩色图像中人脸检测的研究 ( a )( b ) 圈2 4 亮度归一化图像的肤色检铡效果 ( a ) 亮度归化后图像；( b ) 肤色检测结果 图2 ，4 ( a ) 从实际效果来看，反不如2 2 ( b ) 的效果。可能两方面因素的影响，一 是亮度归一化算法得到的是等亮度彩色图像，具体亮度值取的是图像平均值，受 环境影响较大，二是这里的肤色检测算法和【l9 】所用的不同。对于高光和阴影问题， 我们没有给出直接解决办法，只是在肤色检测算法中考虑了肤色按照亮度的分布， 对于低亮度和高亮度的肤色都进行了考虑，尽可能多的检测出肤色。当然，利用 光源颜色对检测影响的分析中提出的解决思路，一定程度上也会有助于解决高光 和阴影的影响。 2 3 1 光照补偿 2 3 肤色检测算法 光照枣 偿的目的主要是抑制光源颜色对肤色检测的影响。a n i lk j a i n 等人在 文j 2 0 】中用到了一种光照补偿技术，2 2 3 ，2 给出了这种方法的理论基础，具体实现 如下： ( 1 ) 按如下公式 y = 0 2 9 9 r + o ，5 8 7 g + o 1 1 4 b ( 2 一l o ) 计算图像中所有像素的亮度： ( 2 ) 取亮度大于2 5 5 + 9 5 像素，并统计其数目。，并记这些像素集为s ； ( 3 ) 如果- 。，充分大( 比如大于1 0 0 ) ，则确定三个实数因子f a c t o r l ，f a c t o r 2 ， f a c t o r 3 ，使得基本上s 中所有像素，有 r ( p ) 4 f a c t o r l 2 5 57 g ( p ) 4 f a c t o r 2 2 5 5 ，b ( p ) f a c t o r 3 2 5 5 q u 1 ( 4 ) 对于该图像中的每一个像素g ，进行如下调整 第二章肤色检测 r ( q ) = r ( q ) + f a c t o r g ( q ) = g ( q ) 8f a c t o r f 2 12 1 b ( q ) = b ( g ) + f a c t o r 这一算法就是选取图像中最亮的像素对光源的颜色进行估计，然后求出将光 源颜色到白色的映射，利用该映射调整整幅图像。这一方法建立在双色反射模型 基础之上，在图像上最亮的地方可以看作只存在镜面反射，忽略不计本体反射， 这些最亮的地方就反映了光源的颜色，然后做上述变换。实际在眼镜表面一些位 置非常光滑，可以看作只存在镜面反射，也是这一算法用于肤色检测的合理性基 础。 我们对其做了改进，只有当选择的去估计光源的像素的r g b 三个分量的各 自均值的相互比例一定程度偏离于l 时，才对图像进行调整。这样做的合理性在 于，既然用这些像素去估计光源颜色，但如果光源颜色本来就是接近白色的话， 那么就不需要再调整了，这种做法一定程度上可以改进计算量，加快计算速度。 这种判断标准也用在我们的另一种肤色检测方法, g t 引1 。图2 5 是光照补偿的示例。 2 3 2 肤色模型 ( a )( b ) 图2 5 光照补偿后肤色检测结果 ( a ) 对图2 1 ( a ) 光照补偿结果( b ) 肤色检测结果 建立一个肤色模型，主要从两个方面考虑：颜色空间的选取和如何在所选空 间建立模型。我们对目前几种肤色模型进行了深入分析，最后选择a n i lk j a i n 等 人提出的肤色模型【2 0 】作为主要参考模型，主要有以下原因； ( 1 ) 该肤色模型在y c b c r 颜色空间中建立，而y c b c r 空间具有如下优点： y c b c r 空间被广泛应用在图像、视频压缩编码，如j p e g 、m p e g 等标 准，选用该空间在实际应用时可以直接利用解码得到数据，降低运算量。 y c b c r 空间具有将色彩中的亮度分量分离出来的优点。 相比h s i 等其他一些色彩空间，k 功d 色彩格式的计算过程和空间坐标