（计算机系统结构专业论文）基于物理的高光条件下人脸图像肤色检测技术的研究.pdf

中文摘要 由于肤色具有对人脸尺度、旋转角度的不变性特征，并且处理速度快，分割 效率高，使其成为人脸检测中的一种重要的手段。但是肤色作为颜色信息，存在 对光照敏感的特性。这使得肤色检测的运用受到很大的局限。因此如何改进肤色 检测技术使之适应高光条件下的人脸检测成为了当今的研究热点。 本文主要研究高光条件下肤色检测与校正。在分析了皮肤的生理特性后，引 入物理学上的描述非均匀电解质反射特性的双色反射模型，使用该模型描述了皮 肤的反射特性，并在此基础上分析了人脸高光区在三维r g b 颜色空间的类r 1 型分 布。为了在t s l 空间的二维t l 平面上分析像素特点，手工划分出人脸在三种光 照条件下的肤色样本，从物理成像过程上解释颜色的偏离失真，继而利用找到的 反映肤色本身颜色的体反射矢量，与找出的划分高光区和本体区的亮度阈值的方 法，自动检测和校正肤色高光区像素。为了将这种算法用于人脸检测，在进行高 光检测之前，本文提出一种在t l 平面中的t 区域阈值图像的预分割方法。 在得到了新的基于物理的高光条件下肤色检测的算法之后，本文将这种算法 运用到人脸检测中，结合形态学去噪和形状检测的方法判断人脸。算法在含有高 光区域的人脸图像上进行测试，得到了较好的结果。 关键词：肤色检测高光人脸检测双色反射模型 a b s t r a c t a sap o w e r f u lt e c h n i q u eo ft h ef a c ed e t e c t i o n ，s k i nc o l o rh a sm a n ya d v a n t a g e s s u c ha sf a s t ，e f f i c i e n t ，i n v a r i a b l et ot h ef a c e sa n g l ea n dp o s e ，s oi ti sw i d e l yu s e d h o w e v e r , d i f f e r e n te n v i r o n m e n ti l l u m i n a t i o nh a sg r e a ti m p a c to nt h eh u m a ns k i n c o l o r , a sar e s u l t ，i ti sd i f f i c u l tt od e t e c tf a c ei nt h eh i g h l i g h ti l l u m i n a t i o nw i t hs k i n c o l o rb a s e dm e t h o d s a c c o r d n i gt ot h i s ，t h ei m p r o v e m e n to ft h es k i nc o l o rd e t e c t i o n u n d e rh i g h l i g h ti l l u m i n a t i o ns h o u l db eah o tt o p i c i nt h i sp a p e r , w ep r o v i d et h es k i n sp h y s i o l o g i c a ls t r u c t u r e ，u s i n gt h ep h y s i c a l d i c h r o m a t i cr e f l e c t i o nm o d e lt od e s c r i b et h es k i n a f t e rt h a t ，w em a n u a l l ys e g m e n tt h e h u m a nf a c es k i n ，c a t e g o r i z ei tt o3i l l u m i n a t i o nt y p e s ，a n a l y s et h ed i s t r i b u t i o no fe a c h t y p ei nt h et s lc o l o rs p a c e st lp l a n e t h et y p ew h i c hh a v eb o t hh i g h l i g h t e da r e a a n dn o r m a la r e ah a sar l i k e dd i s t r i b u t i o n w i t ht h i sk i n do fs k i np i x e l s ，w ec o m p u t e t h eb o d yv e c t o rw h i c hi st oe s t i m a t et h es k i nc o l o ra n dt h et h r e s h o l do ft h elw h i c hi s t os e p a r a t et h eh i g h l i g h t e da r e at ot h en o r m a la r e a i nt h ee n d ，w ei n v e s t i g a t eas k i n c o l o rd e t e c t i o na l g o r i t h m i ct od e t e c ta n dc o r r e c tt h eh i g h l i g h t e ds k i na r e a t ou s et h e a b o v ep r o c e d u r ei nt h ef a c ed e t e c t i o na u t o m a t i c ，w ep r o v i d eat - t h r e s h o l di nt h et l p l a n et op r e - s e g m e n tt h es k i n l i k e da r e a a f t e rt h a t ，w eu s et h ea b o v ep h y s i c sb a s e dh i g h l i g h t e ds k i nc o l o rd e t e c t i o n m e t h o dt od e t e c tf a c e ，a d d e di nt h em o r p h o l o g i co p e r a t i o na n dt h es h a p ed e t e c t i o n t h ee x p e r i m e n th a sag o o dr e s u l t t h en e wp h y s i c sb a s e dh i g h l i g h t e ds k i nc o l o r d e t e c t i o nh a sag o o dc o n t r i b u t i o n k e yw o r d s ：s k i nc o l o rd e t e c t i o n ，f a c ed e t e c t i o n ，h i g h l i g h t ，d i c h r o m a t i c r e f l e c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤叠盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：匪盔赫 签字日期： 如卯年占月8 日 学位论文版权使用授权书 本学位论文作者完全了解丕盗盘鲎有关保留、使用学位论文的规定。 特授权丞鲞盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 由国家有关部门或机构送交论文的复印件和磁盘。+ ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：玉獬 导师签名：7 参杆莩 签字日期：j 。口，7 年6 月馏日 签字日期： 。夕年扩月fpf 1 天津大学硕士学位论文第一章绪论 1 1 课题研究背景及意义 第一章绪论 在很多计算机视觉应用中，人都是场景的重要角色，计算机视觉领域针对识 别人脸有许多的应用，涵盖面较宽，诸如人脸识别，人脸追踪，视频会议，基于 内容的图像检索，基于内容的视频编码等等【1 】【2 】【3 】。人类视觉可以很简单的识别 出来各种各样的，各种光照条件下的肤色、表情、大小各异的人脸，但是这在计 算机视觉领域却成为极其具有挑战性的一个重要题目，这从一个方面表现了人工 智能水平有待发展的现状。而对于人脸识别，乃至其它人工智能问题，其症结在 于计算机设计的本身并不是很好的模拟了人类的智慧，或者说是人类不理解自己 思考过程的本质。当然这些问题的讨论已经超出了本文的研究范畴。尽管如此， 在无尽的探求未知的愿望指引下，人脸检测与跟踪和其它计算机视觉问题依然吸 引着并激励着科学技术人员们关注与研究动力。 作为人脸外观的一个明显的特点，肤色成为了多种人脸检测算法中的一类重 要的检测手段。有一大类的研究结果都将肤色作为分割方式，或者是判定条件。 肤色检测由于其简单，快速的特点，也成为了一项重要研究课题。但是由于人脸 是一类具有相当复杂的细节变化的自然结构目标，对于这一类目标的检测问题， 尤其是将其放入现实的生活背景中时，光照条件的变化，以及人脸大小，姿态， 表情，遮挡，旋转等因素的共同作用，都会影响人脸检测的结果。 其中光照条件的变化是一个需要较多研究的课题。这种光照影响对针对于肤 色检测技术来说是首要难点。因此研究高光条件下的肤色检测的研究也就具有了 重要的学术价值。 人类从外界环境获得的信息有8 0 以上来自视觉。当光线照射到物体表面时， 光线可能被吸收，反射或透射。由于不同的材质具有不同的反射和投射特性，当 他们被光照亮时，呈现出具有很大差异的外观。光照影响在人脸识别中也是一个 比较难于解决的问题。尽管同一人脸的表情维持不变，视点也维持不变，但是由 于光照的不同，却造成了明暗( s h a d i n g ) ，阴影( s h a d o w ) 和高光( s p e c u l a r i t y ) 效果上的显著差异。在很多计算机视觉系统中，例如门禁系统，视频会议，虚拟 现实等，由于环境光照引起的人脸图像出现高光阴影区的问题，使得这类系统的 天津大学硕士学位论文第一章绪论 现实应用水平大打折扣，甚至根本不能适应现实需要。由于人脸表面的颜色受人 类个体差异，光源的颜色以及光照角度不同所引起的高光和阴影等因素的影响， 因此利用颜色分割人脸成为非常难解决的问题【4 】。另外，光源颜色的变化会产生 彩色偏移，这使得在计算机视觉领域应用肤色信息更加困难。 一般的人脸检测算法是假定待测图像是在均匀光照下获得的。在光照变化的 情况下检测率会大幅度下降。综上所述，在高光条件下的人脸检测有一定的难度 和复杂性。而且通过对这一问题的不断深入研究，这些问题必将得到解决，从而 推动模式识别、计算机视觉、人工智能等计算机科学分支的发展。因此针对光照 变化，特别是高光照射条件下，有必要对肤色检测以及人脸检测技术进行研究。 1 2 课题的国内外研究现状 人脸检测的过程即是对人脸模式特征的综合判断过程，常用的方法有：基于 统计和学习的方法，如特征脸法( e i g e n f a c e s ) ，基于分布的方法( d i s t r i - b u ti o n b a s e dm e t h o d s ) ，支持向量机( s u p p o r tv e c t o rm a c h i n e ) ，a d a b o o s t 算 法，隐马尔可夫模型( h i d d e nm a r k o vm o d e l ) 等，基于统计的方法有很高的检测 率，但同时往往也伴有很高的误检率，并且需要事先训练检测系统，训练时问较 长。其他的还有基于模板的方法，但是同样存在着计算量大的特点。而另外一类 算法是将颜色引入算法中，这类算法以肤色检测作为算法的主要步骤。利用肤色 检测，通过目标分割的手段找到图像中的肤色区域，再使用先验知识( 如人脸结 构，眼，鼻，嘴，眉，发及相互关系等) 对肤色区域进行判断，再将处理后的肤 色区域当作人脸，即特征不变的人脸检测。随着彩色图像的普及应用，利用肤色 检测来进行人脸检测的方法越来越多。或者是将肤色判断作为人脸检测的预处 理。与其他人脸检测方法相比，肤色判断具有明显得速度上的优势，因此将其作 为人脸检测的预处理，可以很大程度上减小人脸检测的搜索范同，降低误报率， 进而大大提高人脸检测算法的整体性能。 肤色具有对人脸尺度、旋转角度的不变性特征，处理速度快，使得这一方法 在人脸检测与跟踪方面受到广泛重视。但是肤色存在对光照敏感的特性，即肤色 特征是随着光照条件变化而变化的。这使得肤色检测的运用受到很大的局限。在 5 中对于人脸图像作了经验性分析之后得出结论：人脸图像的外观会随着光照 条件的改变发生剧烈的变化。更重要的是，很多时候这种变化要远远大于由于人 的不同所引起的差异。 传统的算法都在某些应用方面或者具有某些特点的人脸检测问题上取得了 一定的成就，但是由于现实环境下，人的肤色会由于种族或个体千差万别，同一 天津大学硕士学位论文第一章绪论 个人也会由于光照条件和各种姿态表情下的差别而影响算法的判断。d u a g m a n 6 】 和g r u d i n 7 在分析和比较了现今流行的几乎所有的人脸检测与识别的方法后指 出，现有的人脸识别算法还都不足以做到对光照、姿态的鲁棒性。 针对于高光条件下的人脸检测，人们一直在试图研究好的解决方案【引。因此 在可变光照条件下，尤其是高光条件下的肤色检测的研究，也成为一种重要的研 究方向。 以前的算法为了提高抗光照性，就很少考虑亮度信息，仅仅利用色度信息检 测肤色【9 】。这种解决方案一般选择一个适当的对亮度变化不敏感的颜色空间，利 用其中的色度信息检测皮肤。这种处理光照影响范围只会在一个较有限的光照条 件下达到效果，而高光明显超出了有限的光照条件下，因此它对高光基本上无能 为力。 为了解决这个问题，很多文献都提出了相应的算法，最经常用到的一类算法 是光照补偿算法，游亚平等基于“灰度世界假设”( 认为对于存在大量色彩变化 的图像，r ，g ，b 三分量的均值趋近于同一值) ，对图像进行色彩平衡1 9 j 。akj a i n 提出了一种“参考白”的光照补偿算法【1 们，这种算法假设大多数图像中都应该存 在一块白色区域，根据这个白色区域进行相应的色彩平衡。这些光照补偿算法都 是基于一定的假设，但一旦假设不成立，可能会使算法失效，有的时候反而会使 图像质量下降。 混合高斯模型被提出来适应变化光照的影响。q u a nh u y n h - t h u 1 1 1 等利用混合 高斯( g 删) ，在不同光照条件下分别建立高斯模型，并且利用自适应的自动阈值 来进行图像分割，进而使用形态学等后续操作。混合高斯模型的方法对于光照条 件变化有一定的鲁棒性。1 9 9 9 年，m c k e n n a 1 2 】提出了的自适应模型的方法与2 0 0 1 年c h o 等【13 】提出的自适应阈值的方法是一种解决思路。自适应模型的方法是一种 基于对象的颜色分布的高斯混合模型的方法，它采用h s v 颜色空问来描述人脸， 并采用e m 算法方法来动态地估计参数，以自适应光照条件的变化。自适应阈值的 方法是一种基于直方图模型的方法，该方法在h s v 颜色空间中通过估计其颜色直 方图的重心，计算出用于刻画肤色信息的自适应阈值b o x ，从而可以针对不同的 光照条件较准确定位肤色区域。 颜色恒常性算法也被提出来对抗光照变化。它的目标是从一幅未知照明情况 的图像中估计出光源特性，针对这个目标，人们提出了很多算法 1 4 , 1 5 , 1 6 】。颜色恒 常性是人眼具有的一种特性，指在不同的光照条件下，人们一般可以正确的反应 物体本身所固有的颜色。既然人眼有这么好的视觉特性，人们也就希望用计算机 来模拟这种特性。然而人们对颜色恒常性的机制还不清楚，颜色恒常性还没有适 合于计算机视觉的好方案出现【1 7 1 。 天津大学硕士学位论文第一章绪论 在复杂照明条件下，比如图像中肤色在高光区或阴影区中，相同的肤色区域 分割成不同的区域，导致肤色区域分割失败。为了从成像机理上克服光照对图像 的这种不利影响，需要了解光线与皮肤的相互作用，这就引入了基于物理的肤色 检测。基于物理的肤色检测与传统的肤色检测所使用的数学工具基本相同，主要 差异在于有没有利用解释皮肤辐射特性的物理模型。 s t 6 r r i n g 1 8 】使用基于双色反射模型的肤色模型，可以对不同的校正色温参数 在n c c r g b 颜色空间中推算出不同的肤色区域；从皮肤的高光区域估算照明颜色也 取得了较高的精度。但这种计算需要在三维颜色空间中进行，具有较高的计算复 杂度，并且需要对人脸鼻尖区域进行手工的划定。 c h e n 1 9 】提出了一种在t s l 颜色空间中进行二维双色反射建模的高光检测和辐 射校正的方法，并使用该方法进行了人脸高光区域的自动检测与矫正。该方法有 效地降低了计算复杂度，取得了较好的效果，但是由于阴影和胡须等人脸特征的 影响还存在着一定的不足。 为了消除光照的影响，有一类算法提出，使用一些非可见光波段，即在照片 获取时，加入非可见光的辅助照明，来进行人脸检测。在可见光反射波段可以创 建或利用各种肤色反射模型进行皮肤反射光校正和检测。如果有可见光的高光谱 反射数据。还可以利用w 型波谱特征检测皮肤。在近红外反射波段可利用人 眼瞳孔对近红外光的强烈反射，进行眼睛的检测 2 0 1 、跟踪2 1 1 和识别【2 2 】。不同人 种的皮肤反射特性变化较大，加上光照的变化就使得肤色检测更加困难，同时用 可见光也难于区分化装或整容后的人脸。而反射红外波段仅与被反射的太阳辐射 有关，与物体的热信息无关，绝大部分不为人眼所觉察。因此只要将照明光谱限 制在s w i r 波段，就可以进行隐蔽的人工辅助照吲丌。p a v l i d i s 【2 3 】研究了可见光 波段及红外波段的人脸和伪装检测技术，认为稳健的室内外人脸检测与识别系统 需要可见光、反射红外和中波红外的多波段成像。可见光波段适合于人脸识别， 反射红外波段适合于人脸检测，而反射红外和热红外波段适合于伪装检测。总的 来说融合红外和可见光进行肤色和人体检测与识别已经成了一种新的系统设计 趋向，这一般需要在实验条件中加入辅助照明手段，而在没有辅助照明的普通人 脸照片或者视频中难以做到这一点。 从这些技术现状可以看出，肤色特征可以作为人脸检测中一步，在一类人脸 检测中作为核心的一步存在，起到分割的作用，但是由于肤色对光照条件的敏感 性，适应高光条件下的肤色检测目前仍然存在问题。同时，肤色表示有待优化颜 色空间的选择和量化级数与肤色建模和分类方法有关，不应局限于比较不同颜色 空间中的肤色样本的分布形态和分布交叠情况u7 | 。肤色特征虽然具有大小、位置 和姿态不变的特性，但容易受照明条件影响。照明变化包括角度、强度与色温。 天津大学硕士学位论文第一章绪论 当照明变化包括较大的颜色变化或引起高光和阴影时，可能需要采用基于物理的 肤色纠正和检测技术来进行人脸检测。 1 3 本文研究内容及内容安排 基于肤色特征的人脸检测速度快，检测方便，但是对于光照条件有较高的敏 感性。本文将工作重点放在改进传统的肤色检测算法上。改进肤色检测算法，使 其可以进行高光检测与校正。主要研究内容包括： ( 1 ) 分析了皮肤的生理特性，基于物理对皮肤进行分析，给出了皮肤的双 色反射模型。介绍了皮肤的表面反射矢量与本体反射矢量。含有高光区的皮肤像 素在三维r g b 空间中呈现类r 型分布的形态。 ( 2 ) 使用人体皮肤的双色反射模型分析二维色度平面中的手工划分出的肤 色样本，分析高光区域的像素特点，从物理成像过程上解释颜色的偏离失真，继 而利用分析高光像素，找到反映肤色本身颜色的体反射矢量，找出划分高光区和 本体区的亮度阈值的方法，自动检测和校正肤色高光区样本。在阈值点计算上， 本文提出了新的方法。 ( 3 ) 为了将这种算法用于人脸检测，本文提出在t s l 颜色空间下t l 平面中 的一种t 区域阈值进行图像的粗分割。在获得的预分割像素点集上进行前述算方 法。 本文的内容安排如下： 第一章介绍了课题的背景，意义及研究难点，对各种研究方法进行了综述， 概述了本文的研究工作和内容安排。 第二章介绍了肤色检测的相关物理知识，为将物理的肤色检测加入到传统 的肤色检测中做了准备。同时分析了皮肤色的特点，皮肤的双色反射模型，皮肤 高光区的分布特点等。 第三章选取了颜色空间，分析了三种典型肤色的二维色度图特点，提出了 自动检测皮肤高光区的阈值选取并讨论了肤色校正的算法。 第四章将高光校正算法与形状特征识别整合成人脸检测的算法，并分析了 实验结果。 第五章总结了本文所做的工作，并指出待解决的问题和一些尚需进一步研 究的内容。 天津大学硕士学位论文第二章肤色检测相关物理知识 第二章肤色检测相关物理知识 2 1 肤色检测技术 肤色检测是在图像中选取对应于人体皮肤像素的过程。大部分人脸检测的算 法，都将肤色检测作为重要一步【1 7 】。在与人有关的各种机器视觉系统中，肤色检 测技术得到越来越多的应用，作为科研研究的课题的同时，它的市场潜力也在变 大。现实的典型肤色检测的应用除了包括人脸检测之外，还有肌体检测与黄色图 片过滤等方面【2 4 】【2 5 】 2 6 1 ，也包括计算机图形学真实感润色、视频监控、皮肤疾病 诊断、化妆品效果量化分析、通过下意识行为的监测分析进行测谎等【1 7 j 。 一般的应用涉及到的肤色检测方法，根据有没有涉及成像过程【1 7 j ，可以大体 分为两类，分别是基于统计的方法和基于物理的方法。基于统计的肤色检测通过 建立肤色统计模型进行肤色检测。基于物理的方法则在肤色检测中引入光照与皮 肤间的相互作用，通过研究肤色反射模型和光谱特性进行肤色检测。 2 2 肤色检测的颜色空间 颜色空间是进行图像处理中重要的一个概念。目前在数字图像处理、图像 传输等方面已有多种色彩空间，都具有自己的特点。不论是基于统计的肤色检测 还是基于物理的肤色检测，选取合适的颜色空间都是首先要进行的步骤。 对颜色的研究和应用产生了许多不同的颜色空问，我们知道，可见光的波长 分布在3 8 0 n m 到7 8 0 n m 之间，人的颜色感觉是不同波长的可见光刺激人的视觉器 官的结果。根据人眼结构，所有颜色都可看作是三个基本颜色红( r ，r e d ) ， 绿( g ，g r e e n ) 和蓝( b ，b l u e ) 的不同组合。为了建立标准，国际照度委员 会( c i e ) 早在1 9 3 1 年就规定3 种基本色的波长分别为：r ：7 0 0 n m ，g ：5 4 6 1 n m ， b ：4 3 5 8 n m 。实践证明，光谱上的大多数颜色都可以用这三种颜色的加权混合产 生。根据三基色理论，基于r g b 三基色的颜色表示称为r g b 模型。 目前常用的颜色模型可分为两类【2 7 】，一类面向硬设备，最常见的即是r g b 模 型。另一类面向彩色处理，这一类模型通常是r g b 进行线性或非线性变换得到， 这一类颜色空间就较多，虫h h s i 、h s v 、t s l 等。在肤色检测过程中，研究者提出 并利用过各种各样的颜色空间。 天津大学硕士学位论文第二章肤色检测相关物理知识 1 r g b 颜色空间 基于r g b 三基色的颜色表示成为r g b 颜色模型。由于任何颜色c 都可以由三 种基色配出：c = r r + 酊+ b b 。其中，r 、g 、b 为三基色的比例系数，满足r + g + b = 1 。 r g b 颜色空间可以用图2 - 1 所示的r g b 直角坐标定义的单位立方体来说明。 坐标原点( 0 ，0 ，0 ) 表示黑色，坐标点( 1 ，1 ，1 ) 表示白色，坐标轴上的三个 顶点表示r g b 三个基色。因此彩色空间是三维线性空间，任意一种具有一定亮度 的颜色光都可以用空间中的一个点或一个矢量来表示。 z 董 青 图2 1r g b 颜色空间单位立方体 r g b 颜色空问是基于红绿蓝三基色的颜色表示，广泛应用于视频监视器显示 和彩色摄像机中。该颜色空问是最不均匀的颜色空间之一，两个颜色之间的知觉 差异不能表示为该颜色空间中两个色点之问的距离，无法在此空问中比较两个颜 色的相似性。在图像处理的实际应用中，由于它的各分量之间具有高度相关性， 所以不适合用来进行场景分割和分析。高相关性是指如果光强变化了，那么色调 饱和度和亮度三个分量都会发生改变。 1 亮度色调分离的颜色空间 在肤色检测的各种论文中，研究者有两点比较一致【1 7 】：( 1 ) 为了对抗亮度影 响，颜色空间需要转换至i j r g b 以外，一般是亮度与色度分离或面向色调的颜色空 间；( 2 ) 亮度分量对肤色检测有贡献。肤色在颜色空间的分布相当集中，但会受 到照明和人种的很大影响。为了减少肤色受照明强度影响，通常将颜色空间从r g b 转换到亮度与色度分离的某个颜色空间，比女h y c b c r 或h s i ，然后放弃亮度分量。 在双色差或色调饱和度平面上，不同人种的肤色变化不大。 对r g b 空间的转换过程有线性的与非线性的几种。r g b 的线性转换的颜色空 问模型主要是y u v 颜色家族，一般人所讲的y u v 多指y c r c b 。其中y 指明视度即 亮度，而u 和v 则是指色调。r g b 的非线性转换的颜色空间模型则包括 天津大学硕士学位论文第二章肤色检测相关物理知识 h s i ，t s l ，h s v 模型等。 ( 1 ) h s i 颜色空间 h s i 颜色空问是一种均匀的颜色空间，它以人眼对颜色的感知为基础，用色 调( h u e ) 、饱和度( s a t u r a t i o n ) 和亮度( i n t e n s i t y ) 三个相互独立的参数来描述色 彩，色彩之间感觉上的距离与坐标轴上点的欧几里德距离成正比。h s i 彩色空间 接近于人类对彩色的认识和解释方式，许多情况下在该彩色空间中进行图像分析 和处理，比在r g b 彩色空间中更加方便和有效。同r g b 空间相比，h s i 颜色空间 具有以下的优点：在r g b 颜色空间改变某一颜色的属性，比如改变色调，就必须 同时改变r 、g 、b 三个坐标，而在h s i 颜色空间中只需改变h 坐标。因此，h s i 颜色空间被广泛应用于各个方面。在机器视觉中，h s i 空间通常用于区分不同物 体的颜色；在图像处理中，可以使用1 分量进行灰度图像的分割；而在用于区分 不同的颜色时，可以仅仅利用色调分量来进行分割，例如在h s i 空间我们可以通 过对色调设定一定的阈值范围来很容易的区分不同的物体，在r g b 空间里却很难 设定这样的一个阈值。另外，在图像的光照不均匀的情况下，比如图像中有阴影 时，利用色调分割尤其有效。色调分量对于一定类型的高光，遮挡和阴影，都具 有不变性。 ( 2 ) t s l 颜色空间 t s l 空间是色度饱和度亮度空间( t i n t s a t u r a t i o n 一1 u m i n a n c e ) 。本文中 选用了t s l 颜色空间进行肤色检测。传统的对抗光照影响的方法在光照条件小范 围变动下尚可以有一定程度的鲁棒性，但是对大动态范围的强的光照影响下其性 能很受影响，基本上已经不可以检测出肤色范围。由于本文主要针对高光条件下 的人脸检测，根据一些评价对比，认为在t s l 空间最有利于进行本算法，因此选 择它作为算法使用的颜色空间，关于对比讨论的详细过程将在本文的后续章节中 讨论。 从r g b 映射到归一化的t s l 彩色空间是一种非线性变换，变换式例为 t = a r c t a n ( r g ) 上1 2万4 a r c t a n ( r 9 9 。1 2 x4 0 ，g 0 ，g g b 的肤色特征一致，但是彩色分量满足这个不等式的常见物体颜 色也不少，比如红砖或未油漆的木板。同时，有的肤色也不满足该不等式。 图2 - 8 皮肤反射光谱与反射率曲线 2 5 4 皮肤高光区的类r 型分布 对人脸进行检测的过程中，人脸是会受到环境光照影响的。人的肤色本身是 较均匀的，在室外较普通强度日光照射下，在室内白炽灯照射下，不会出现较强 的高亮区域，这时可以使用简单的静态肤色模型来进行肤色检测。然而，在许多 的人脸检测的场景中，人脸是需要在不同的强度光照，不同照明颜色的光照下进 行的。因此我们需要一个健壮性强的机制。但是环境光照的影响会使本身相同的 肤色在不同部位呈现出不同的颜色。当照明光线过强时，人脸会产生较明显的高 光区域。这样，肤色检测的结果就不可靠了。本文主要研究在强光照下产生高光 譬囊夏毫 天津大学硕士学位论文 第二章肤色检铡相关物理知识 区的情况。 这种高光区域的特点是像素点的亮度值过高，呈现近似白色或是亮度很高的 黄色的色调。已经不能反映出肤色本身的颜色了。如图2 - 9 所示。 圈2 - 9 皮肤的高光区域 本文使用的方法，是分析这种高光区的界面反射的信息【1 ”。使用双色反射模 型研究皮肤的高光区，分析高光区域的体反射矢量和肤色特点。前文已经指出， 人体皮肤是可阻使用双色反射模型来表示的。皮肤表面基本是一种有一定光滑程 度却不完全光滑的界面，随着人的不同会有不同的粗糙程度。文献 4 0 仲指出， 当物体表面非常光滑时，一般考虑较多的镜面反射，如玻璃杯等物体。而当物体 渐渐粗糙，吉有朗伯特反射分量即体反射分量时，再考虑进体反射矢量。而皮肤 正是这种稍有粗糙程度的表面。 在双色反射模型中。如图2 - 6 与式( 2 5 ) 所示，我们已经知道，对于大多数照 明和观察角度组合，有卅。圳0。= l 即以本体反射分量为主。但是在高光区， 反映出来接近光滑物体反射的性质，产生出类似镜面反射的特性。即巩的值接 近于l 。因为t ( ) 与入射光光谱基本一致，而“( 五) 则反映物体本身的颜色特性。 所以可以用皮肤的高光区的特性来分析照明光线的特性。而体反射成分较多的非 高亮区，则是表征了皮肤本身的颜色。 在【1 8 仲，研究者手工选择了人脸鼻尖区域的像素，来描述这种高光区的特 性。实际上人脸皮肤具有高光区的同时相应的也具有非高光区，而鼻尖即是这 种同时有高光和非高光存在的皮肤的一个例子。由于两种区域同时存在，因此可 以推论出，这种区域应该具有强烈镜面反射的区域和体反射成分较多的区域。而 实验也证明了这一点。 如图2 1 1 所示，接近于原点的像素点相对的亮度也低( 颜色越黑亮度越 低，越接近原点) 这些点在原图中是没有受到光照影响的区域，用他们来估计体 反射矢量，即估计皮肤本身的颜色。这部分点用b o 曲p i x e l s 标出。 无津大学硕j = 学位论文第二章肤色检测相关物理知识 隋 g 00 02 , 5 0 图2l o 手工选择的鼻尖区域 圈2 - 1 1 鼻尖像素点r g b 空间分布 亮度的变高表示点逐渐接近高光区。它们表现出了明显的镜面反射特点较 多的是表面反射矢量可以认为这一部分是表面反射矢量占绝对部分。反映在图 中是与体反射矢量有一个较明显的转折点之上的点集，它们离原点较远，逐渐接 近白色这部分的点形成一个矢量，即表面反射矢量，图中用h i g h l i g h t p i x c l s 标山。 表面反射矢量与照明主光线方向是平行的，因此可以用来估计照明光线的颜色和 亮度。 图2 - 1 2 标出了这两种矢量，我们可以发现图中有一个较明显的转折点区域， 形成了r g b 空间中类r 形态这种形态是对鼻尖中含有高亮区域的象素点的分 析。它可以推广到含有高光和非高光区域的皮肤中。我们随后的分析是针对于这 种有明暗对比的高光区区域进行。 g 0 0 1 1 5 0 2 0 02 5 0 图2 - 1 2 分割出的体反射矢量c o 与表面反射矢量c o 瑚瑚渤。瑚。蛳 1_星l叫11拼m 天津大学硕士学位论文 第三章人脸高光区域的校正 第三章人脸高光区域的校正 人脸在高光照射的条件下，会存在高光区以及非高光区，其特点是明暗对比 明显。在第二章的讨论中，已经指出这种有明暗对比的区域在三维r g b 颜色空 间是一种类1 1 形分布。为了对人脸高光区域进行校正，需要找到代表真正肤色的 体反射矢量。文献 1 8 中，在三维r g b 空间下计算了体反射矢量与表面反射矢 量，方法是在彩色图像上，先手工圈定鼻尖的像素点，然后将像素点按亮度值排 序，再以一定方式分组，进行主成分分析，得到体反射矢量，再反序排列进行类 似计算得到表面反射矢量，使用表面反射矢量的值估计光源的色温。 由于这种高光分析都是直接在三维彩色空问中寻求双色反射模型中的面反 射矢量和体反射矢量，需要复杂的分析计算。文献 1 9 在 1 8 】的基础上，将问题 转化n - - 维色度平面上，进行彩色图像人脸高光区域的图像矫正。减少了维度的 结果即降低了计算量。我们的算法借鉴了文献 1 9 1 的内容，并将之用于肤色检测。 本章将首先手工划出候选人脸高光区域并进行分析与一些计算，再试图自动选出 这种人脸高光区域。通过本章的分析，可以完成我们肤色检测算法中高光分析的 目的。 3 1 选择t s l 空间的分析 前文已经给出了t s l 彩色空间的定义。为选择一个恰当的彩色空间进行高 光分析，文献 1 9 1 考察了高光皮肤图像在多种彩色空间中的分布情况。表3 1 表 示在几种常用的彩色空间中，含有高光的人脸肤色在某二维平面所占面积( 深色) 与所有可能色彩所占面积( 浅色) 的比例，一般是比例越小越有利于同其他物体的 色彩分离。由表可知，在h v 和t l 平面中，肤色所占的面积比例最小，而在l a * b 木中总体比例最小，但是结合彩色空间中的分布形态和亮度动态范围，对本肤色 训练选择t l 平面最有利于高光分析。图3 1 显示了人工采样的十几幅强侧面光 照人脸皮肤在r g b 和t s l 彩色空问的分布。因此，在这些不同彩色空间中，根 据含有高光的肤色像素分布的形态、亮度的动态范围大小以及前人相关研究工 作，我们最后选择了t s l 彩色空间进行皮肤的高光分析。 天津大学硕士学位论文第三章人脸高光区域的校正 表31 人脸皮肤的光谱分布囤 1 , 4 口：c t y - 喇2 d i 盯一啦t _ - - m h d ”峨 注。壳度肯* 的2 雌彩色平蛐用菰庸表$ i 囊纂蔫t ；警 图3 - 1人脸皮肤训练场地的光谱分布图 3 2 二维色度平面的分布情况 为将计算从三维转化到二维平面中，需要采用一个明显的反映出高光区类r 型分布的二维色度平问。这个平面能反映出高光区域像素点在亮度变化时的特 点，所以需要包含亮度分量，而另一个分量是能反映出类r 型变化，所以应该是 随亮度变化而变化并且变化明显的一个分量。根据文献 1 8 1 结果，带有高光区域 的皮肤图像在t s l 彩色空间中的t l 和s l 平面分布呈显著的类r 形状。因此， r g b 彩色空间中的三维皮肤反射成分分析在t s l 彩色空间中可以降到二维平面 中进行。我们采用1 l 平面作为分析平面。 在t l 平面中分别区分三种光照条件下的肤色样本点集类型，讨论各自分布 特点。 这三种类型是：( 1 ) 含有高光区域和肤色区域的肤色样本点集。( 2 ) 完全是 高光区域的肤色样本点集。( 3 ) 只含有肤色区域的完全非高光皮肤区域。我们手 工选择肤色样本点集，然后将样本点集从r g b 颜色空闻转化到t s l 颜色空间， 天津大学硕士学位论文 第三章人脸高光区域的校正 对每一个肤色点只考虑它的t 、l 分量。在t l 空间中，横轴表示t 分量，纵轴 表示l 分量，每一个像素点根据他的t 、l 值，在二维空问上标出对应的点。绘 出分布图。 3 2 1 含有高光区和肤色区的皮肤样本 ( a ) 人脸图像l c b ) 含有高光和正常肤色的样本 图3 2 人脸图像1 与含有高光区和正常肤色的皮肤样本 对如图3 2a 图所示的人脸图像1 ，b 图为手工选定的肤色样本。这个样本集 同时含有高光区和较暗的肤色区。 如图3 3 为t l 空间的分布情况。从图中可以看出： 图3 - 3 二维平面分布1 ( 1 ) 二维t l 空间中具有明显的类r 1 型分布。有一个较明显的转折点。 ( 2 ) 反映肤色本身颜色的点亮度范围较大，色调变化较小，反映在图中是 转折点亮度值之以下的点集。这部分实际上是体反射矢量。 ( 3 ) 高光区域像素点的亮度较高。在亮度高过转折点值后，肤色像素点的 色调已经严重失真，表现的是照明光源的颜色。色调范围变化较大。反映在图中 是转折点亮度值之上的点集。这部分实际上是面反射矢量。 天津大学硕士学位论文第三章人脸高光区域的校正 3 2 2 只含有高光区域的皮肤样本 鳜鬻。鬻黟_ 一 - l t j 人胎图像2 c b ) 只台有高光区的皮肤样本 图3 - 4 人脸图像与只含有高光区的皮肤样本 对如图3 4 a 图所示的人脸图像，b 图为手工选定的肤色样本。这个样本集只 含有高光区域。 如图3 5 为t l 空间的分布情况。从图中可以看出： ( 1 ) 二维t l 空间中不具有较明显的类r 型分布。 ( 2 ) 基本上没有反映肤色本身颜色的点，体反射矢量已经不存在。 ( 3 ) 表面反射矢量的点亮度较高。肤色像素点的色调偏白，表现的是照明 光源的颜色。色调范围变化较大。出现的全部是表面反射矢量。正常光源下的高 光区域颜色值偏白。 图3 5 二维平面分布 天津大学硕士学位论文第三章人脸高光区域的校正 3 2 3 只含有正常肤色的皮肤样本 ( a ) 人脸臣牌3 r b ) 只含有正常肤色的皮肤样本 图3 - 6 人脸图像3 与只含有正常肤色的皮肤样本 对如图3 - 6a 图所示的人脸图像3 ，b 图为手工选定的肤色样本。这个样本集 只含有正常肤色区。 图3 7 为t l 空间的分布情况。从图中可以看出： ( 1 ) 二维t l 空间中不具较有明显的类r 型分布。 ( 2 ) 表现本体肤色的像素点亮度变化范同较大，色调变化较小，这正说明 人体肤色恒定。基本上只有体反射矢量。 ( 3 ) 由于不存在高光区，所以没有表现表面反射矢量的部分。肤色点没有 因为光源照射而产生较大色调偏差。 图3 7 二维分布3 天津大学硕士学位论文第三章人脸高光区域的校正 3 2 4 三种光照情况的分析 本节对前面的三种肤色样本集的实验结果进行分析。肤色样本点集在平面上 的分布情况与人脸的结构特点与物理特性有关。人脸在前额，脸颊和鼻尖部分最 容易出现高光，这是由他们的表面凸出程度决定的。在人脸部较平坦的部分，皮 肤的颜色较多的是本身颜色。由于皮肤是同一种质地，在颜色上的差别不是很大， 因此，所有的反映肤色的像素点都沿着一个本体反射矢量分布，这种本体反射矢 量既是反映肤色的矢量。在人脸前额，脸颊部分，球面度变化，引起了不同的照 明角度和观察角度的变化，这种结果即是产生了高光区，高光区从灰暗变到明亮 的过程是相当明显的。 入射角在球形表面的变化给了体反射矢量的一个相应的亮度范围。而如果体 反射像素的亮度具有一定的动态范围，这些像素就可以用来估计体反射。根据朗 伯特余弦定律，体反射的亮度仅与照明的入射角余弦成正比。在有主要照明方向 的人脸上，入射角变化必然导致皮肤体反射强度的变化，所以，体反射为主的像 素集合一般具有足够的亮度动态范围。这些理论上的分析与实验中的三种情况分 别相符合。对于只含有高光区和正常肤色区的皮肤样本点集，各代表了一个独立 的反射矢量。而对于对比明显的皮肤样本则会呈现出r 型的分布形态，表示这时 的情况是同时含有表面反射矢量和本体反射矢量。这也正是我们选择同时含有高 光区和正常肤色区进行分析的原因。 另外，本身肤色和高光反射间最高的反差是在一个合理的范围之内，这样可 以很好的反映在分布图中，有助于下一步分离出体反射矢量与表面反射矢量。同 时，体反射矢量为主的像素点具有相对稳定的色调值，反映在图中是在转折点右 边的像素点集合的色调变化范闱变化较小。 通过上述讨论，三种肤色样本对应着三种不同的反射情况的结论即可以在物 理上得到解释。 3 2 5 颜色光照射影响 前文的分析是在日光和白炽灯光照射的结果。日光和白炽灯光属于偏黄色光 源。 光源颜色对皮肤颜色具有一定的影响，根据双色反射模型，皮肤颜色是两种 矢量共同影响的结果。但就影响的强度而言，光照对高光区的影响较明显，对非 高光区肤色的影响相对较小。在一个可以容忍的光照范围内，反映肤色的本体矢 量具有一定的稳定性，如图3 8 所示 天津大学硕士学位论文第三章人脸高光区域的校正 匿 图3 8 光源颜色对非高光医肤色的影响 而反映光源颜色的像素点会由于光源颜色的变化而有较大的改变。在t s l 空间中，t 值分量离原点的距离远近与色调值有关。偏向原点的与黄色接近远 离原点的与红色和蓝色接近。由于这种原因，在有色光源的照射下，含有高光区 的肤色样本集呈现出了一定特征： j， 咕葛节i r j 守_ j 占 圈3 - 9 红色光照射下的类r 型分布 天津大学硕士学位论文 第三章人脸高光区域的校正 ( 1 ) 黄色光照射 偏黄色光源下含有高光区和正常肤色区的皮肤的典型分布如图3 2 所示，在 转折点亮度值之上的像素点会偏向坐标原点一侧。 ( 2 ) 红色光照射 偏红色光源下，高光区会由于色光的影响而偏向远离坐标轴一侧，如图3 8 所示，这是一种反向的类r 型分布。 3 3 含有高光区的肤色样本校正 文献 4 2 】中选择了约2 5 0 万个皮肤像素进行训练，统计出t s l 颜色空间中t 与s 的参数范围，如表3 2 所示。这个表反映的是正常光照下，皮肤象素点t 值 和s 值的取值范同。而当人脸出现高光区域后，保持正常肤色的点t 、s 值依然 在这个范围之内，如图3 1 0 所示，在转折点之前的本体反射矢量分布的t 值范 围有限。而分布在转折点之后的高光区域