（模式识别与智能系统专业论文）人脸检测与识别.pdf

人脸检测与识别 摘要 人脸检测和识别的研究试图使计算机具有人类的脸像识别能力。它在身份鉴 别、人机交互、图像检索和视觉监控等众多领域有着重要的应用。尽管近三十年 里，人脸检测和识别受到了国内外学术界和企业界的广泛关注，但作为模式识别 和计算机视觉领域中的一个研究热点和难点，人脸检测和识别仍有很多理论与技 术问题需待解决。有鉴于此，本文围绕静态图像中的人脸检测和识别研究中存在 的一些重要问题开展了深入研究，提出了一些新的算法，并且获得了一些有价值 的实验结论： ( 1 ) 对肤色在多种色彩空间中的分布特性和可分性进行了细致的比较研究， 提出了一种基于模糊肤色分布模型的自适应肤色检测方法。前者对一般的肤色信 息利用提供了有价值的结论。后者基于非参数的肤色模型，利用正、负样本信息 的互补性，通过自适应参数调整，为非限定条件下的肤色检测提供了一种较好的 实现方法。 ( 2 ) 提出和实现了一种基于多源信息融合的人脸检测算法。该算法有机结 合了肤色、人脸轮廓和面部区域的信息。融合多信息进行目标检测和生物的视觉 机制是一致的。该算法突破了人脸检测中传统的利用边缘信息的繁复方法，采用 了一种能够有效刻画人脸轮廓模式的特征提取方法。实验结果充分说明了该算法 的有效性。 ( 3 ) 提出和实现了基于个性化特征融合的人脸验证算法。该算法致力于实 现人脸识别中一种几乎未被深入讨论过的自适应机制人的人脸识别机能自 适应于被识别对象的机制。我们实现了一种基于个性化的局部和全局特征融合的 人脸验证算法作为对这种自适应机制的模拟。实验揭示了个性化特征融合的必要 性，同时也说明了个性化特征融合算法的有效性。 关键词：肤色检测，人脸检测，人脸识别，生物特征识别 人脸检测与识别 f a c ed e t e c t i o na n d r e c o g n i t i o n a b s t r a c t r e s e a r c ho nf a c ed e t e c t i o na n dr e c o g n i t i o na i m sa te n a b l i n gm a c h i n e st op o s s e s s f a c er e c o g n i t i o na b i l i t ys i m i l a rt ot h a to f h u m a n b e i n g s i th a se s s e n t i a la p p l i c a t i o n si n t h ed o m a i no fp e r s o n a li d e n t i f i c a t i o n ，h u m a n c o m p u t e ri n t e r f a c e ，i m a g er e t r i e v a l ， v i s u a ls u r v e i l l a n c e ，e t c a l t h o u g ht h et o p i ch a sr e c e i v e dm u c ha t t e n t i o ni np a t t e r n r e c o g n i t i o n a n dc o m p u t e rv i s i o n c o m m u n i t y , m a n yo p e np r o b l e m sr e m a i n t ob e r e s o l e d i nt h i st h e s i s ，w ed e s c r i b es e v e r a ln o v e la l g o r i t h m si na na t t e m p tt os o l v e s o m eo f t h ep r o b l e m s t h ec o n t r i b u t i o n so f t h et h e s i si n c l u d e ： ( 1 ) a ne l a b o r a t ec o m p a r a t i v es t u d yo nv a r i o u sc o l o rr e p r e s e n t a t i o ns c h e m e sf o r s k i nd e t e c t i o nh a sb e e np e r f o r m e d t h ec o m p a r a t i v er e s u l t sa r ee x p e c t e dt ob eo f g r e a tv a l u ef o rr e l a t e dr e s e a r c h an o v e la d a p t i v es k i nr e g i o nd e t e c t i o na l g o r i t h mi s p r o p o s e d b a s e do na n o n p a r a m e t r i cf u z z y s k i nc o l o rm o d e l b a s e do nt h e c o m p l e m e n t a r i t y o ft h ei n f o r m a t i o nb e t w e e np o s i t i v ea n dn e g a t i v es a m p l e s ，i t p r o v i d e s a n i m p r o v e dr e a l i z a t i o n f o rs k i n r e g i o n d e t e c t i o nu n d e ru n c o n s t r a i n e d c o n d i t i o n s ( 2 ) an o v e lf a c ed e t e c t i o na l g o r i t h mi sp r o p o s e dt h r o u g hf u s i o no fm u l t i - c u e s i t c o m b i n e ss k i nc o l o r , f a c ec o n t o u ra n df a c er e g i o ni n f o r m a t i o n f u s i o no f m u l t i c u e si s i na c c o r d a n c ew i t ht h em e c h a n i s m so fb i o l o g i c a lv i s i o n a ne f f e c t i v ef o r mo f f e a t u r e e x t r a c t i o ni sp r o p o s e dt or e p r e s e n tt h ef a c ec o n t o u rp a t t e r n e x p e r i m e n t a lr e s u l t ss h o w t h er o b u s t n e s sa n da c c u r a c yo f t h ep r o p o s e dm e t h o d ( 3 ) af a c ev e r i f i c a t i o ns c h e m eb a s e do np e r s o n a l i z e df e a t u r ec o m b i n a t i o ni s p r o p o s e da n dr e a l i z e d t h ea l g o r i t h m i si n s p i r e db yt h ea d a p t a t i o nm e c h a n i s mo ft h e h u m a nv i s u a l s y s t e mi n f a c er e c o g n i t i o n w es i m u l a t es u c hm e c h a n i s mt h r o u g h p e r s o n a l i z e d f u s i o no f g l o b a l a n dl o c a lf a c i a l f e a t u r e s e x p e r i m e n t a l r e s u l t s d e m o n s t r a t et h e n e c e s s i t y o fp e r s o n a l i z e dd a t af u s i o nf o rf a c er e c o g n i t i o na n d i l l u s t r a t et h ee f f e c t i v e n e s so f t h e p r o p o s e da l g o r i t h m ， k e y w o r d s ：s k i nd e t e c t i o n , f a c ed e t e c t i o n ，f a e er e c o g n i t i o n ，b i o m e t r i c s 独创性声明 本人声明所成交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献 均己在论文中作了明确地说明并表示了谢意。 日期：2 趁：! ：竺 关于论文使用授权的说明 本人完全了解中国科学院自动化研究所有关保留、使用学位论文的规定，即： 中国科学院自动化研究所有权保留送交论文的复印件，允许论文被查阅和借阅； 可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：龛里焘 导师签名日期：2 蟹! ! 堡 人脸检测与识别 第一章绪论 1 1 人脸检测与识别的研究背景和意义 人脸是人类视觉中最为普遍的模式，人的面部所表现的视觉信息在社会交流 和交往中有着重要的作用和意义。人脸检测与识别( f a c ed e t e c t i o na n d r e c o g n i t i o n ) 主要是研究自动地从图像中寻找人脸和面部特征点、辨别人脸或面 部表情等多种根据脸像获取知识的算法和理论。人脸检测和识别的研究试图使计 算机具有人类的脸像识别能力。目前，人脸检测与识别所处理的对象主要包括单 幅静止人脸图像和动态人脸图像。通常，人们对“人脸检测与识别”存在广义和 狭义两种理解。广义上，人脸检测与识别研究包括入脸跟踪、人脸检测、面部特 征点检测、人脸辨识、面部表情分析和面部合成等多项内容。狭义人脸检测与识 别仅仅指人脸检测和人脸辨识。本论文主要探讨了狭义人脸检测与识别中的若干 关键问题。人脸检测与识别研究依托模式识别、图像理解、计算机视觉和人工智 能等多种学科，同时和认知学、神经科学、生理心理学等学科有着千丝万缕的联 系。尽管人类可以毫不费力地进行快速、准确的人脸检测与识别，然而实现计算 机自动人脸检测与识别仍然是对研究者的巨大挑战。这是由于人类对自己所拥有 的强大认知能力的机能了解不足，从而难以完全模拟人脑的人脸检测与识别机 制。目前。人脸检测与识别研究在限定范围内获得了成功，并且正在被逐步推向 实际应用。 一、人脸检测与识别的应用背景 人脸检测与识别的应用范围涵盖了公安刑侦、司法鉴定、访问控制、金融支 付、医学应用、视觉监控和视频会议等多个领域。 首先。脸像是一种高普遍性的、可非接触式采集的重要生物特征，人脸检测 与识别在身份鉴别中有着广泛的应用前景。人脸识别是生物识别技术 ( b i o m e t r i c s ) 的一种。生物识别主要是指根据观察、分析和测量人体特定部位 生物特征( 如面部特征、指纹细节和虹膜纹理等) 或者人的行为特征( 如步态、 笔迹和签名等) ，提取每一个人独有的可测量特征，从而实现身份辨识和认证的 第一章绪论 方法。理想的人体生物特征应该具有稳定性、唯一性和方便性等特性。目前，生 物识别的主要研究对象包括指纹( f i n g e r p r i n t ) 、虹膜( i r i s ) 、视网膜( r e t i h a l s c a b ) 、笔迹( h a n d w r i t i n g ) 、说话人( s p e a k e r ) 、步态( g a i t ) 、手形( h a n d g e o m e t r y ) 、掌纹( h a n dv e i n ) 、签名( s i g n a t u r e ) 和d n a 序列等身体特征或者 行为特征。与传统的基于特定物品( 如身份证、信用卡和钥匙等) 和基于特定知 识( 如密码、口令和暗语等) 的身份鉴别方法相比较，人的生物特征具有不会遗 忘、不会丢失和不易冒充等优点。因此，生物识别技术在近年里获得了迅猛的发 展，并且逐步成为一种应用于安全领域内的、新兴的高技术产业。人类在人脸识 别中表现出的高可靠性和高稳健性说明人脸图像中包含有进行成功个人身份识 别所需要的足够信息。相对于其它种类的生物特征，人脸图像可以通过直接、自 然的方式获取。因此，人脸识别直接、友好、方便，属于非侵犯的主动识别，易 于为用户所接受。人脸检测与识别可以被应用在多种不同的安全领域：证件( 如 驾驶执照、护照) 中的身份认证；楼宇进出的安全控制；机场等重要场所中的安 全检测和监控：智能卡中的身份认证。脸像识别技术在信息安全领域也有着巨大 的潜在应用价值。随着网络技术日益走进人们的日常生活，越来越多的用户可以 访问互联网，越来越多的信息被置入互联网。由于网络信息访问的便捷性，网络 的安全控制成为一个日益迫切的重要问题。利用人脸识别技术，可以进行计算机 的安全登录控制、应用程序安全使用、数据库安全访问、文件加密、局域网和广 域网的安全控制，还可以保护电子商务的安全性。 其次，人脸检测与识别技术可以用于创建友好自然的人机交互方式，是智能 计算机领域研究的重要内容之一。人脸所包含的丰富信息在社会交往和信息交互 中起着十分重要的作用。人脸检测与识别无需特殊的采集设备，系统成本相对低， 不干扰使用者，不侵犯使用者的隐私。一个可以从使用者脸像获得身份、表情等 知识的智能计算机，可以为使用者提供便捷的服务，甚至使人与计算机之间的交 互如同人与人之间的交互一样轻松自如。 另外，人脸检测与识别技术还可用于图像库检索，在大型脸像库中检索与索 引图像相同或相近的脸像。给定未知人的脸像，可以利用人脸检测与识别从数据 库中检索出一个或多个最接近的脸像。例如：公安部门可以利用脸像识别技术进 行罪犯脸像库的管理和查询，自动取款机( a t m ) 可以从数据库中快速检索用户。 2 人脸检测与识别 二、人脸检测和识别研究的历史和进展 由于人脸检测和识别技术应用前景广泛，人脸检测和识别作为一个独立的研 究课题吸引了国际国内学术界的众多研究者。 人类对人脸检测和识别方法的探索最早可以追溯到几个世纪以前。在绘画艺 术、人类学、心理学和法医学等诸多领域，人脸研究都占有一席之地。近三十年 里，人脸检测和识别技术在计算机应用领域内得到了广泛的关注和研究。早在二 十世纪六、七十年代，利用计算机进行自动人脸识别即引起了研究者的强烈兴趣， 掀起了对人脸识别研究的第一次高潮。进入二十世纪九十年代，人脸检测和识别 研究随着电子计算机技术的飞速发展进入了第二次研究高潮，并且持续至今( 二 十一世纪之初) 仍然是领域内的研究热点。 目前，世界范围内许多科研机构都设立了专门的研究组从事人脸检测和识别 的研究。国际上，著名的人脸检测与识别研究机构包括美国卡奈基梅隆大学( c m u ) 的机器人研究所、美国麻省理工大学( m i t ) 的媒体实验室和人工智能实验室、英 国s u r r e y 大学视觉、语音和信号处理研究中心( c e n t e rf o rv i s i o n ，s p e e c ha n d s i g n a lp r o c e s s i n g ) 、美国i l l i n o i s 大学b e c k m a n 研究所、法国i n r i a 研究院 ( f r e n c hn a t i o n a li n s t i t u t ef o rr e s e a r c hi nc o m p u t e rs c i e n c ea n dc o n t r 0 1 ) 、 瑞士i d i a p 研究院( d a l l em o l l ei n s t i t u t e f o r p e r c e p t u a l a r t i f i c i a l i n t e l l i g e n c e ) 、日本a r t 研究所( a d v a n c e dt e l e c o m m u n i c a t i o n sr e s e a r c h i n s t i t u t ei n t e r n a t i o n a l ) 等。我国在人脸识别方面的研究起步于第二次高潮。 目前，国内主要有清华大学、北京大学、南京理工大学、北方交通大学、中国科 技大学、哈尔滨工业大学、上海交通大学和中山大学等著名高校，中国科学院计 算所、中国科学院自动化所和中国科学院声学所等科研院所开展了相关研究。 交流和探讨人脸检测和识别技术的专门国际会议有自动脸像和手势识别国 际会议( i n t e r n a t i o n a lc o n f e r e n c e o na u t o m a t i cf a c ea n d g e s t u r e r e c o g n i t i o n ) 和基于音频、视频的身份鉴别国际会议( i n t e r n a t i o n a l c o n f e r e n c eo na u d i oa n dv i d e ob a s e dp e r s o ni d e n t i f i c a t i o n ) 。一些模式识 别、计算机视觉领域的著名的国际会议( 如国际计算机视觉会议i c c v ，国际计 算机视觉与模式识别会议c v p r ，国际模式识别会议i c p r ，亚洲计算机视觉会议 a c c v 等) 和知名的国际期刊( 如i e e et r a n s a c t i o n so np a t t e r na n a l y s i sa n d 第一章绪论 m a c h i n ei n t e l l i g e n c e ，p a t t e r nr e c o g n i t i o n ，i m a g ea n dv i s i o nc o m p u t i n g 等) ，纷纷设立了人脸检测和人脸识别专题。 在应用领域，依托于科研界现有的人脸检测与识别研究成果，许多科技公司 把人脸识别技术推向了应用。比较成熟的商业人脸识别软件有美国v i s i o n i c s 公 司的f a c e i t 和v i i s a g e 公司的人脸检测识别系列软件等。我国的四川i 成都银晨 网讯公司和中科模识公司等也在开展相关工作。 为了比较人脸检测和识别算法，研究者们建立了公共人脸数据库和测试标 准。f e r e t 和x m 2 v t s 是其中最具规模的两个人脸识别测试标准。c m u ，m i t 和b i o i d 还分别建立了可用于测试人脸检测算法的图像库。 目前，多数人脸检测与识别工作都是在实验室进行的理论研究和算法尝试。 为了把人脸检测与识别技术推向更广阔的应用领域，还有许多难题有待解决。目 前已有的算法和软件对使用环境有较多的要求。从算法准确度而言，人脸识别尚 未取得类似于指纹识别和虹膜识别的满意结果，也远远没有达到人类人脸识别水 平。迄今为止，多数进入市场的人脸识别系统都属于演示产品。实现完全成熟的 人脸自动识别算法和系统仍然是研究者必须面对的巨大的挑战。但是我们相信， 随着科学技术的飞速发展，在研究者们的不懈努力下，人脸识别研究必将得到大 规模的应用。同时，研究者对人脸识别的积极探索也会相应地推动图像处理、模 式识别、计算机视觉、认知科学和生理心理学等相关学科的理论发展。 1 2 研究方法和技术路线 我们主要探讨了静态图像中的人脸检测与识别研究中肤色信息运用和多特 征融合等若干关键问题。 首先，我们建立了n l p r 人脸图像库作为对目前公有人脸库的有益扩充。由 于人脸识别算法的性能和脸像库密切相关，面目前尚不存在公开发布的亚洲人脸 像库，我们创建了实验室环境下的n l p r 人脸库。这个数据库包括2 2 个不同人的 脸像。每个人有3 0 幅图像，是在相隔了一周以上的两个时间段内分两次采集的。 脸像库中每个人的脸像包含了多种的姿势和面部表情，并且有眼镜等装饰物。同 时，我们搭建了人脸识别演示系统平台。创建了图像采集、图像存取、图像处理 4 人脸检测与识别 和数学运算等基础运算代码。基于对人脸跟踪、人脸检测和人脸识别算法的初步 探索，建立能够为人脸识别技术的深入研究提供实验平台的入脸识别演示系统。 在演示系统平台基础上，结合文献阅读和大量的算法试验，对肤色区域检测、人 脸检测和人脸识别等关键问题分别进行了深入研究。 由于彩色图像越来越普及，色彩信息比灰度信息更丰富，因此，我们对面部 的主要色彩肤色，进行了细致的统计分析。并且在此基础上提出了一种新的 自适应的肤色区域检测算法。在人脸检测研究中，我们试验和分析了多种人脸检 测算法，提出和实现了融合肤色、轮廓和区域多源信息的人脸检测算法。首先， 通过肤色区域检测进行滤波，确定脸像可能存在的区域；然后，依据边缘和面部 特征点之间特有的结构关系判定人脸存在与否。在人脸识别研究中，我们提出了 基于个性化特征融合的人脸验证算法。按照心理生理学和认知科学研究的成果， 局部特征和全局特征在人类的人脸识别中具有各不相同的重要作用。我们通过融 合面部的全局特征和局部特征，提高了人脸识别算法的准确率。 1 3 论文组成与主要贡献 本文的组织结构和主要贡献如下： l 、第二章给出了肤色表示和检测、人脸检测和人脸识别的概述，介绍了脸 像分析的基本问题，说明了肤色表示和检测、人脸检测和人脸识别研究的主要方 法以及当前存在的问题等。 2 、第三章从肤色样本在不同色彩空间中的分布特性和可分性的比较研究出 发，提出了一种基于模糊肤色分布模型的肤色区域检测方法。我们利用多种统计 方法，对肤色在色彩空间中分布的集中性进行了直观比较和量化比较，提出并实 现了基于f i s h e r 准则的肤色非肤色可分性的量化分析，并且验证和比较了基于 常规肤色模型的分类结果。依据这秘量化比较的结果，我们建立了一个由双隶属 函数组成的肤色模型，该模型充分利用了正样本信息和负样本信息的互补性。同 时，我们通过自适应调节肤色模型阙值，实现了适应于亮度变化的肤色区域检测 算法。 3 、第四章中，我们提出并且实现了一种新颖的融合色彩、轮廓和区域信息 第一章绪论 的人脸检测方法。首先，采用第二章的肤色区域检测算法进行滤波。有效减少了 候选脸像的搜索范围。其次，我们提出了一种结合人脸轮廓和面部区域特征的轮 廓一区域人脸检测器来判别候选人脸。为此，我们提出了一种能够有效刻画人脸 轮廓模式的特征提取方法。通过面部肤色、人脸轮廓和面部区域信息串行或并行 的融合，实现了高准确率的人脸检测算法。 4 、第五章讨论了基于全局特征和局部特征融合的人脸识别问题。与前人的 工作相比较，我们的人脸验证算法致力于实现人脸识别中一种末被深入讨论过的 自适应机制人的人脸识别机能自适应于用户的机制。我们实现了一种个性化 局部和全局特征融合的算法作为对这种自适应机制的一种模拟。通过学习，融合 算法的参数自适应于每个特定的类。由于这种适应性，所提出的算法可以获得优 于非融合算法、非自适应融合算法和基于单一特征的人脸识别方法的验证结果。 实验揭示了个性化特征融合的必要性，同时也证明了个性化特征融合算法的有效 性。 5 、第六章归纳总结了本文工作的主要结论和贡献，并且提出了我们对人脸 检测与识别研究的展望。 6 人脸检测与识别 2 1 引言 第二章人脸检测与识别概述 人脸检测与识别属于脸像分析的范畴，是自动人脸识别系统的主要模块。对 人脸相关问题的探索也是许多其他学科研究的内容，不同学科之间相互借鉴非常 重要。在本章中，我们对这些问题作了一个简要概述。这些相关知识有力地推动 了我们工作的展开。 我们所探讨的肤色表示和检测、人脸检测和人脸识别三个问题在内容具有相 对的独立性。因此，我们分别对这几个问题作了概述，同时阐明了各部分工作的 动机和出发点。 2 2 人脸检测与识别相关问题的概述 人脸检测与识别并不仅仅是智能计算机领域中的研究内容。在本节中，我们 首先概述了人脸检测与识别和脸像分析研究、自动人脸识别系统的关系。由于脸 象分析涉及到多个研究领域，我们简要阐述了其中与人脸检测和人脸识别相关的 背景知识。由于人脸检测与识别具有很强的应用性，人脸检测与识别研究的一个 重要问题就是算法的评价标准。在本节中，我们还概述了这方面的一些研究成果。 一、人脸检测与识别和脸像分析、自动人脸识别系统的关系 根据y a n g 和h u a n g 的定义 1 ，一个完整的脸像分析系统包括以下功能： ( 1 ) 判断图像中是否有脸像存在，确定脸像的数量、位置和尺寸； ( 2 ) 根据脸像识别身份； ( 3 ) 分析和识别脸像的表情； ( 4 ) 对图像中的脸像给出自然语言描述。 l i 2 对与脸像相关的计算机图像和图形学处理进行了更加广泛的归纳，认 为脸象分析涵盖了肤色分析、人脸跟踪、人脸检测、面部特征检测、脸像配准、 人脸光照校准、人脸识别、面部表情识别、三维人脸建模、自动人脸漫画生成、 第二章人脸检测与识别概述 人脸超分辨率生成和面部合成等众多具体内容。 人脸检测与识别是自动人脸识别系统( 参图2 一l 所示) 中的关键问题；人脸 跟踪模块和人脸检测模块需要人脸检测研究提供算法支持；特征提取、分类器设 计模块则需要人脸识别研究提供算法支持。 数据流程 软件、算法模块流程 注册 摄像机系统 一 _ ! 采集和图像质量评价模块 1r 视频图像序列 i !动态人脸跟踪模块 跟踪结果 1r i | 戆怠嫩酗戆 人脸检测结果 一 ： 面部特征检测模块 面部特征检测结果 腻譬矿r = g = b h = 盯 3 2 2 基于分布直方图的比较 肤色在人类视觉中具有较高的一致性，如何衡量肤色在色彩空间中是否具有 这种共同性? 直方图可以为观察肤色在各个色彩空间中的分布提供一种宜观而 有效的方法。因此，我们首先通过描绘肤色样本在色彩空间中的分布直方图来 进行比较。图3 - 1 和图3 - 2 分别是三维和二维色彩空间中的肤色样本分布直方图。 一、描绘分布直方图 一般地，人们采用欧氏距离衡量色彩空间中的色差。因此，我们在描绘肤色 分布直方图时认为，色彩空间是一个正交坐标系。事实上，我们所采用的一些色 彩系统并不是正交坐标系。例如，t i s i 是由两个圆锥对叠起来的表色系统，而t t s v 是一个六棱锥形的表色系统。由于在这些色彩空间中并没有定义专门的色差衡量 公式，在采用欧氏距离衡量色差的条件下，我们将这些色彩空间描绘成正交系统 是可以接受的。 在三维色彩空间中，直方图的每一个分格( b i n ) 是一个单位立方体。在这 个立方体中，我们画了一个球，球的直径长短反映了落入该分格样本点的多寡。 直径越大，则落入的样本点越多，如图3 - 1 所示。在二维色彩空间中，每一个分 格是平面中的一个单位方形区域，我们在每一个方形区域上画了一个圆柱体，圆 人脸检测与识别 柱体的高度和落入该分格的样本数成正比，如图3 2 所示。为了能较好地离散 化色彩空间，我们根据色彩空间的值域确定分格的尺寸。图3 1 中，l * a * b 研口 籼r 帅每一个分格的尺寸是5 o o ，其它色彩空间中分格尺寸是o 0 5 。图3 2 中，a * b 婿1 1u 母y 帅的分格尺寸是2 ，其它色彩空间中的分格尺寸是0 0 2 。我们 也尝试采用了比这些尺寸更大或更小的分格尺寸，实验表明，图3 一l 和图3 2 中 的分格尺寸能够比较好地反映肤色样本分布状况：它们的尺寸大小足够反映肤色 样本在色彩空间中的分布状况；同时，这些分格也不过分细密，使得样本分布过 分稀疏。我们在图3 1 和图3 2 的注释中记录了最大样本比率( m a x i m u ms a m p l e r a t i o ，m s r ) ，计算参公式3 一l 。 m a x h f ，f = l 础= 上弋广 3 1 一 其中见代表落入第f 个分格中的样本数，代表直方图分格的总数。最大样本比 率反映了落入每个分格的样本的相对数量，因而反映了样本分布的集中性。 二、分布直方图分析 我们从直方图的形状和分布集中性两个角度进行色彩空间评价。集中性强， 则表明肤色在色彩空间中分布的共同性越强。另外，直方图的形状有助于确定肤 色样本的近似分布从而指导建立肤色模型。 首先，综观图3 - 1 和图3 - 2 中的1 6 幅图片，我们发现肤色样本在同一类型 的色彩空间中呈现出非常相近的分布形状。例如，在r g b 和x y z 空间中，肤色样 本主要分布在从黑色到白色的对角线上( 参图3 - 1 ( a ) 和( b ) ) 。同样的规律 也发生在在彩色信号传输系统脚和y u v 之间，感知色彩空间h s 和h s v 之间， 以及均匀色彩空间物柏￥和籼廿p 之间。而且，和这些三维空间对应的二维色 度平面也保持了同样的规律。这种相似性表明，尽管同类种类型的色彩空间之间 可能需要通过复杂的变换互相转换，它们确实具有非常相近的表征肤色的能力。 我们还可以从图3 1 和图3 2 中观察到，除了在瞄b 朋z 百( 嬲，) 和船 ( h s v ) 中，肤色样本在其他色彩空间中均呈现出了一定程度的集中性。在图3 一 l ( a ) 和( b ) 中，肤色样本散布在r g b 和船z 的对角线上。尽管样本分布较散， 第三章肤色表示的比较研究和自适应肤色区域检测 图3 1 三维色彩空间中的肤色样本分布直方图：( a ) r g b 色彩空间( 0 0 1 4 6 ) ； ( b ) x y z 色彩空间( 0 0 2 8 1 ) ：( c ) y i q 色彩空问( 0 0 4 7 5 ) ；( d ) y u v 色彩空间 ( o 0 4 6 5 ) ；( e ) h s i 色彩空间( 0 0 0 6 4 ) ；( f ) h s v 色彩空间( o 0 2 2 2 ) ；( g ) l a 术b 色彩空间( o 0 5 1 8 ) ：( h ) l u v 色彩空间( 0 0 2 1 8 ) 。 人脸检测与识别 图3 2 二维色彩空间中的肤色样本分布直方图：( a ) r g 色度平面( o 1 1 9 6 ) ；( b ) x y 色度平面( o 3 1 8 7 ) ；( c ) i q 色度平面( o 0 6 7 8 ) ：( d ) u v 色度平面( o 0 8 2 7 ) ； ( e ) h s ( h s i ) 色度平面( o 0 0 6 6 ) ( f ) h s ( h s v ) 色度平面( o 0 2 2 6 ) ：( g ) a + 色度平面( 0 0 2 6 7 ) ；( h ) u 4 v + 色度平面( o 0 1 1 9 ) 。 3 5 第三章肤色表示的比较研究和自适应肤色区域检测 但仍然呈现出了一定的规律性。在图2 ( e ) 和( f ) 中，肤色样本在整个h s ( h s i ) 和i s ( h s 盼平面上散布着。这种散布是由于采用欧式距离衡量色差造成的。删 和昭具有远远高于其他色彩空间的最大样本比率取值( 分别高于0 1 和0 3 ) 。 相应的，在这两个色彩空间中，多数肤色样本占据了色度平面中较小的区域。 除了在h s i 和i i s v 中，我们可以在多数三维彩色直方图中观察到肤色分布呈 径向对称。因此，在h s i 和h s v 中作正态假设欠合理。在多数二维色彩空间中( 除 i s ( h s i ) 和胚( 船盼) ，肤色直方图呈现单峰特性。同时，在这些二维色度 平面上，每一个直方图都有一个尾状延伸。例如，在增平面上，直方图有一个 “尾巴”延伸向纯红色( 严l ，旷0 ) 。这些延伸表明肤色在一些特殊条件下存在 有规律的变化，诸如由阴影造成的深红色等。尽管这种变化仅仅出现在少部分肤 色样本中，我们在对真实图像进行肤色区域检测时仍然需要考虑这些情况。这样 才能保证肤色区域检测对不同成像条件具有较高的适应性。根据以上分析，除 了在h s i , i i s v , 1 1 9 ( 脚) 和h s ( 1 i s i o 中，我们可以在多种色彩空间中近似地 拟合正态肤色分布模型。如果要保留分布的一些不规则特性( 诸如尾部延伸) ， 直方图模型则是比较理想的方法。 基于直方图比较，我们可以归纳出肤色分布的以下主要规律： ( i ) 肤色样本在除i i s i , h s v , h s ( 1 l s i ) 和i i s ( 船昀以外的其他多数色彩空 间中分布集中而且有规律性； ( 2 ) 肤色样本在除h s ( 1 i s i ) 和h s ( 册 以外的其他二维色彩空间中呈现单 峰分布，在除e s _ r 和i i s v 以外的其他三维色彩空间中呈现近似的径向对称 分布。 3 2 3 基于f is h e r 准则的可分性比较 彩色直方图反映了色彩空间中样本分布的情况，但是仅仅依靠直观比较并不 足以选择适应于肤色区域检测的表示方式。而且，对于一些色彩空间采用欧式距 离衡量色差欠合理。为了更好地实现肤色区域检测，比较肤色样本和非肤色样本 在各个色彩空间中的可分性也具有重要价值。一种好的肤色表示方法应当使得肤 色与非肤色易于区别。我们在本节中利用一个基于f i s h e r 准则的评价函数来衡 量肤色与非肤色在多种色彩空间中的可分性。基于所抽取的大量肤色和非肤色样 人脸检测与识别 本，通过对评估值的统计计算，获得衡量色彩空间中肤色与非肤色的可分性度量。 一、评价函数的定义 令0 代表色彩空间。令a 和口分别代表一幅图像中的肤色和非肤色样本集。 令口；和6 ；分别代表a 中的第j 个像素和口中的第j 个像素在色彩空间0 中的 向量表示，其中i = 1 m ，户1 1 2 。则定义评价函数如下： e c c 4 ，口，= ；乏褊 c 。一z ， 其中i ”和”分别代表a 和口的均值，比j 是距离度量( 我们在实验中采用了 欧式距离) ，o p ( 毋和d ( 0 ( 两分别是a 和占协方差矩阵的迹。 可以观察到，式( 3 - 2 ) 的分子代表了a 和层之间的色彩差异，分母代表了集 合a 和占内的色彩差异。因此，分子越大分母越小，则区域a 和口越易于区分， 换言之，e ( 0 1 ( 4 ，曰) 的值越大，肤色区域和非肤色区域在色彩空间0 中越易于区 分。根据上述分析，我们发现式( 3 2 ) 中的评价标准和模式识别中的f i s h e r 准 则的思想是一致。采用这种评价值来计算肤色和非肤色的可分性是合理的。 二、评价函数值的统计分析 实际的肤色区域检测往往针对一幅具体的图像进行处理。这些图像中所出现 的色彩往往仅仅占据了色彩空间中一个很小的子集。因此，我们没有直接对所获 得的肤色和非肤色的大样本集计算评估值，而是从这两个大样本集随机抽取了大 量的子集对作为对实际图像的模拟。按照式( 3 - 2 ) 分别计算这些子集对的评估 值，通过对大量的子集对评估值作统计分析，最终比较各个色彩空间中肤色和非 肤色的可分性。为了确定适当的采样子集尺寸，我们改变子集对中f 负样本的数 量和比例，验证了样本数量对评价结果的影响。 设一次实验中共随机抽取了个子集对，e j 卿是0 中第j 对子集， = 1 肌 我们采用了以下统计量对评估值进行统计分析： ( 1 ) 平均评估值 第三章肤色表示的比较研究和自适应肤色区域检测 ( 2 ) 评估值的标准差 ( 3 ) 变异系数 面：罂 s ( o ) = c ( 0 ) 篇 ( 3 3 ) ( 3 - 4 ) ( 3 - 5 ) ( 4 ) 最大评估值子集对数目 m o = 群 e ；= i i 举伍f 们) ，i = 1 n ( 3 6 ) u 平均评估值从总体上反映了肤色和非肤色样本之间的可分性。平均评估值越 高，则肤色和非肤色越易于区分。评估值的标准差反映了在不同测试子集对上所 获得的评估值的稳定性。评估值的标准差越小，则评估值越稳定。当评估值同时 满足标准差小和均值大时，变异系数的值比较小，因而肤色和非肤色相对易于区 分，这正是肤色区域检测所要求的。最大评估值子集对数目是指一次实验中，在 所有色彩空间中占据了最大值的子集对的数目。 我们通过下述3 种方式分别抽取到的测试样本子集对作为对象进行了实验： ( 1 ) 从整个肤色非肤色样本集中随机抽取了1 0 0 0 对肤色非肤色样本； ( 2 ) 从1 5 0 幅真实图像中随机抽取了1 5 0 对肤色非肤色样本； ( 3 ) 对整体的肤色非肤色样本集作分类，对多个肤色类与多个非肤色类的样 本进行随机抽样。 由于所收集的肤色和非肤色样本涵盖了一般情况下不限定成像条件的大量样本， 我们没有按照人种分类，而是按照人眼对亮度的感知把肤色样本分为暗色 ( d a r k ) 、中等( m i d ) 和浅色( l i g h t ) 三类。我们把图像中的非肤色区域按照 背景的复杂度分为简单背景( s i m p l eb a c k g r o u n d ) 和复杂背景( c o m p l e x b a c k g r o u n d ) 两类。按照基于内容的图像检索中一般的图像分类标准，我们把不 包含任何肤色区域的图像划分为了五类：动物( a n i m a l ) 、建筑( b u i i d i n g ) 、室 内( i n d o o r ) ，景物( l a n d s c a p e ) 和其它( o t h e r ) 图像。 人脸检测与识别 三、实验结果与分析 实验一：子集大小对评估值的影响分析 首先，我们验证了评估值和肤色非肤色子集对大小比率之间的关系。为此， 我们进行了两个实验。在第一个实验中，我们固定肤色样本子集大小为1 0 0 0 ， 然后令非肤色子样本集的大小以1 0 0 0 为增加幅度从1 0 0 0 变化到1 0 0 0 0 。在第二 个实验中，我们固定非肤色子样本集的大小为1 0 0 0 0 ，然后令肤色子样本集的大 小以1 0 0 为增加幅度从1 0 0 变化到1 0 0 0 。我们在图3 3 中给出了平均评估值和 评估值的标准差随样本数变化的曲线。由于一些色彩空间的评估值曲线是互相重 叠的，为了使图示结果更清晰，我们仅列出了对半数色彩空间的比较结果。 从图3 - 3 中我们可以观察到，平均评估值随肤色非肤色样本数变化的曲线 很平坦，因此平均评估值随样本变化是相当稳定的。而评估值标准差随样本比率 增加或稳定不变，或略略降低。总而言之，评估值相对肤色非肤色样本的数量 变化是稳定的。 实验二：样本全集上的分析结果 表3 3 中列出了对1 0 0 0 对肤色非肤色样本子集对所统计的平均评估值、评 估值变异系数和最大评估值子集对数目。表3 4 中列出了对1 5 0 幅图像中肤色 非肤色子集对所统计的平均评估值、评估值变异系数和最大评估值子集对数目。 这两组表( a ) 中记录了三维色彩空间中的比较结果，( b ) 中记录了二维空 间中的比较结果。每个表第一行是平均评估值，平均评估值越大，则在该色彩空 间中肤色越易于区分；第二行是变异系数，其值越小则越易于区分肤色和非肤色 样本；最后一行记录了各个色彩空间中最大评估值子集对数目，很显然，该值越 大，则在对应的色彩空间中肤色越易于区分。 这两组表的结果是分别针对两组随机采样实验得到的，两组表里对应位置记录的 统计值相对比较稳定。这不仅说明了我们的实验方法是可取的，同时也证明实验 结果是可靠的。从表3 3 ( a ) 和表3 - 4 ( a ) 中，我们发现h s i 中的统计结果优 于其它三维色彩空间。从表3 - 3 ( b ) 和表3 4 ( b ) 中，我们发现在叼和y 中， 平均评估值和评估值变异系数都是最优的。通过比较最大评估值子集对数目，我 们发现，矿在8 个二维色彩空间中最优，脚在三维色彩空间中是最佳的。尽管 弟= 草肤乜表不阴c e 较计芄捌目遗_ 匝肤色【墨域裣劂 n u m b e ro fs k i ns a m p l e s ( c ) n u m b e ro fn o n s k i ns a m p l e s n u m b e ro fn o n - s k i ns a m p l e s 图3 3 评估值和肤色月e 肤色样本集大小比率之间的关系：( a ) 至( d ) 为平均评 估值随肤色月 肤色样本数变化的曲线( e ) 至( h ) 为评估值标准差随肤色月 肤 色样本数变化的曲线。 三mco焉三粤山芑o巴v 人脸检测与识别 表3 3 第一组测试集上的统计结果 ( a ) 三维色彩空间中的统计结果 r g bx y z 船礁 i ，【，yh 碍曰s r上矗6 t l ,o v i 0 2 3 l0 2 0 0o 3 1 1 0 3 0 6 0 4 9 70 2 7 40 2 5 0 0 ，2 8 0 c t o ) 0 0 3 2 9 0 0 3 9 4