（信号与信息处理专业论文）复杂背景下基于彩色图像的人脸检测.pdf

摘要 摘要 人脸检测作为人脸信息处理中的一项关键技术，近年来成为模式识别与计算 机视觉领域内一项受到普遍重视、研究十分活跃的课题。今天，它已远远超出了 人脸识别的范畴，在出入安全检查，视频编码，视频监测与跟踪，基于内容的检 索等方面都有着极其重要的应用。 本文针对复杂背景下的彩色正面人脸图像，将肤色分割、模板匹配与候选人 脸图像块筛选结合起来，构建了人脸综合检测算法，并用自制的人脸图像数据库 进行了一系列的实验统计。 本文首先介绍了人脸检测技术研究的背景和现状，阐明人脸检测技术发展的 重要意义，对目前常用的一些检测算法进行了总结，然后着重阐述了彩色图片的 人脸检测算法。 本文改进的光照补偿方法能有效改善图像质量，对色度空间进行非线性变换， 结合椭圆肤色分割模型，较好地分割肤色区域，采用数学形态学和一些先验知识 对所得到的肤色区域进行人脸特征筛选，进一步剔除非人脸肤色区域，减少候选 人脸区域，简化后续检测过程的处理。 本文采用两种不同模板：梯度能量谱模板和纹理特征模板。用模板匹配方法 对肤色区域进行人脸定位，并针对图像中的人脸通常有一定角度旋转和尺寸大小 不确定的问题，采用多分辨率人脸搜索窗，提高模板匹配的准确性，最后构造了 基于肤色和模板验证的人脸检测算法，并用自制人脸图像数据库进行测试。实验 结果表明：算法实现了复杂背景下正面及有一定侧面，以及任意旋转角度和大小 的彩色图像人脸检测，具有较高的检测性能和低的误判率。 关键词：人脸检测，色彩空间，高斯模型，梯度能量，模板匹配，形态学处理 a b s t r a c t a b s t r a c t r e c e n t l y , h u m a nf a c ed e t e c t i o n , a sak e yt e c h n o l o g yi nh u m a nf a c ei n f o r m a t i o n p r o c e s s i n g , i sb e c o m i n gab i gp r o b k n nt h a tg a t h e r sm o r ea t t e n t i o ni nt h ef i e l do f p a r e r n r e c o g n i t i o na n dc o m p u t e rv i s i o n a n dn o wi th a sb e e na p p l i e di n t oo t h e ra p p l i c a t i o n s u c ha se n t r a n c es e c u r i t y , v i d e oc o d i n g , v i d e os u r v e i l l a n c e , a n dt r a c k i n g a n dc o n t e n t b a s e di m a g er e t r i e v a le t c t h i st h e s i sf o c u s e so na r b i t r a r yb a c k g r o u n di m a g ew h i c hm a yc o n t a i nh u m a n f a c e ( s ) ，a n ds t u d i e sh u b r i dd e t e c t i o na l g o r i mc o m b i n i n gs k i nc o l o rs e g m e n t a t i o n ，f a c e t e m p l a t em a t c h i n g ，a n dc a n d i d a t er e g i o nf i l t e r i n g a f t e rab r i e fi n t r o d u c t i o no ft h eb a c k g r o u n da n ds t a t u si nf a c ed e t e c t i o n ，o p t i m i z e d i l l u m i n a t i o nc o m p e n s a t i o na p p r o a c hi sp r e s e n t e dt oi m p r o v et h e q u a l i t yo ft h ei m a g ei n s o m ee x t e n t ， w h e r e i n1 e e l l i p t i c a lm o d e lf o rt h es k i nt o n e si nt h en o n l i n e a r t r a n s f o r m a t i o no fc h r o m ai sa d o p t e dt oi m p r o v et h ep e r f o r m a n c eo fs k i ns e g m e n t s o m e m o r p h o l o g i c a la n da p d o r i t yk n o w l e d g em e t h o d sa r eu s e dt oc h o o s et h eh u m a nf a c e c h a r a c t e r si nt h es k i nc o l o rz o n e s t h ef a k er e g i o n sc a nb ee l i m i n a t e da n dt h ec a n d i d a t e f a c ea r e a sc a nb eo b t a i n e dt od e c r e a s et h ec o m p l e x i t yo ft h e s u b s e q u e n td e t e c t i o n p r o g r e s s g r a d i e n te n e r g i e sa n dt e x t u r ef e a t u r e st e m p l a t e sa r eu s e dt ov e r i f yw h e t h e rt h e p r o b a b l ef a c ea r e ai saf a c ei n d e e d t os o l v et h ep r o b l e mt h a tt h er e a l l yf a c eh a v es o m e i n c l i n a t i o na n ds i z ei sn o ta l w a y st h es a m e ，t h i st h e s i sp r o p o s et oa d j u s tm u l t i r e s o l u t i o n s e a r c h i n gw i n d o w t oi n c r e a s et h ea c c u r a c yo ft h et e m p l a t e s f i n a l l y , t h i st h e s i sb u i l d sa h u b r i dd e t e c t i o na l g o r i t h mb a s e do ns k i nc o l o rs e g m e n t a t i o na n da v e r a g ef a c et e m p l a t e s m a t c h i n g a n ds o m ee x p e r i m e n t sh a v e b e e nd o n ew i t ht h es e l f - b u i l tf a c ed a t a - b a s e t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mh a sa h i g h e rh i tr a t ea n dl o w e rf a l s e a l a r i n r a t e i tp e r f o r m sw e l lo nn o i s yi m a g e si nw h i c ht h er e a l l yf a c eh a ss o m ei n c l i n a t i o n , v a r i a b l es i z ea n dac l u t t e r e db a c k g r o u n d k e y w o r d s ：f a c ed e t e c t i o n , c o l o rs p a c e , s k i ng a u s s i a nm o d e l ，g r a d s e n e r g y , t e m p l a t em a t c h i n g ，m a t h e m a t i c a lm o r p h o l o g y h 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签各舶期日期：细方年r 月阳 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：垄鲤3 导师签名： 日期：加年岁月c 日 第一章绪论 第一章绪论弟一早珀t 匕 1 1人脸检测研究的背景和意义 人脸作为图像与视频中最重要的视觉对象之一，是智能人机交互等许多应用 中的处理对象。近年来，人脸检测技术在模式识别、计算机视觉、人机交互等诸 多领域引起了普遍重视。原因主要在于：一方面，将人脸作为基本视觉对象来考 虑，自动检测与定位人脸是实现人脸识别、人脸跟踪、表情识别、人脸合成与人 脸编码、唇读等技术的必要前提；另一方面，人脸检测技术有着从智能安全监控、 电子商务、视频会议和远程教育、基于内容的检索等诸多领域的广泛应用价值。 人脸检测( f a c ed e t e c t i o n ) 是用计算机在输入图像中确定所有人脸( 如果存在) 的 位置与大小的过程。人脸检测系统的输入是可能包含人脸的图像，输出是关于图 像中是否存在人脸以及人脸的数目、位置、尺度、位姿等信息的参数化描述。具 体地说，就是根据一定的算法确定输入图像是否存在人脸；如果存在的话，标出 人脸的位置作为人脸检测系统的输出。 人脸检测问题的提出最初来源于人脸识别研究( f a c er e c o g n i t i o n ) 对人脸定 位的需求【l 2 】。人脸自动识别系统鉴于其友好性、方便性，成为一种很有潜力的身 份验证途径。一个完整的人脸自动识别系统至少应包含两个主要的技术环节：人 脸的检测和人脸的特征提取与识别。要完成自动人脸识别，首要条件是找出人脸， 即人脸检测是完成人脸自动识别任务的第一步，它是自动人脸识别系统的基础， 对自动人脸识别系统的速度、精度都起重大作用。人脸检测的应用背景已经远远 超出了人脸识别系统的范畴。随着网络技术和桌上视频的广泛采用，图像捕捉设 备正在成为个人计算机的标准外设，为视频会议等服务所急需的技术一基于内容 的压缩与检索成为一个研究热点。并且近年来随着数码相机的广泛使用和数码相 册的出现，以人脸为对象的索引和检索也引起了人们的浓厚兴趣。人脸检测是进 行人脸压缩的前提条件，同时人脸也是基于内容检索的重要对象，因而人脸检测 在这个领域中占有重要的地位。此外，人脸检测在友好人机界面、视觉监测、数 字视频处理等方面也有着重要的应用价值，所有这些使得人脸检测的研究倍受关 注。 人脸检测是一个极富挑战性的课题，人脸检测问题的难度在于【3 】：( 1 ) 人脸是 电子科技大学硕士学位论文 一个非刚性模式，有各种姿态、表情的变化，不同人脸在细节如形状、大小、颜 色都有差异，即人脸本身是不规则的复杂模式，具有模式的可变性；( 2 ) 背景与光 照的不确定性，如在复杂的背景中，不同的采集条件下光源方向、明暗、色彩会 影响输入图像的质量；( 3 ) 人脸可能有装饰物，如戴眼镜、口罩、可能化妆、人为 改变特征、脸上长有胡须、黑斑的影响等。因此，如果能够找到解决这些问题的 方法，成功构造出人脸检测系统，将为其它具有类似特征和模式的检测问题提供 重要的启示。 但从客观而言，以上一些难点致使完全不加条件限制的人脸检测系统无法具 有健壮性，目前大多数人脸检测技术只针对正面端正人脸的检测，且很多方法运 算量特别大，时间复杂度高，虽然对于一定的应用来说，它们也是可以接受的。 但为进一步提高实用价值，人脸检测系统需尽量弱化对待检图像的条件限制，并 且最好能实时检测出人脸。人脸检测研究重点将越来越趋向于复杂背景下、多姿 态人脸的检测。为向此目标靠近，我从人脸的显著特征之一肤色入手。研究肤色 特征的表达方式，即研究了各种不同色彩空间肤色模型，在此基础上，进一步研 究并提出了适用于任意旋转角度、表情人脸的检测新颖算法，使之具有一定的实 用价值且成为将来基于肤色人脸检测研究的一块基石。 1 2人脸检测研究的现状 人脸检测涉及模式识别、图像处理、解剖学、生理学等多方面多领域的技术 和知识。人脸检测研究最早可追溯到十九世纪法国人a l t o n 的工作【4 】。现代的研究 始于6 0 年代末7 0 年代初，并随着科学的发展，在9 0 年代以来成为了研究热点。 国外研究人脸检测与识别的算法层出不穷。相关杂志上发表的有关方面的论文不 下数千篇。特别美国遭遇恐怖袭击后，这一技术更引起广泛关注。作为最容易隐 蔽使用的识别技术，人脸识别成为当今国际反恐和安全防范最重要的手段之一。 国内在这方面的研究起步于8 0 年代，但发展较快。2 0 0 2 年9 月中科院计算所“面 像检测与识别核心技术 完成对8 0 0 0 多个人脸的成功识别，通过了由国家专家委 员会的鉴定。鉴定结果表明，课题组在人脸检测、面部特征提取、人脸识别与确 认等核心技术方面取得重大进展，整体上己达到国外同类产品的先进水平。计算 机可在1 1 0 秒到1 2 0 秒的时间内“捕获”人脸，并在1 秒钟内完成识别，识别率 达到9 6 以上。该课题已经与银晨网讯科技有限公司合作，并得到了应用。2 0 0 3 年7 月南京大学、南京长城信息系统有限公司和江苏省公安厅刑警总队研制成功 2 第一章绪论 “基于单幅训练图像的多表情人脸自动识别系统”，并通过江苏省科技厅组织的科 技成果鉴定。在2 0 0 4 年第1 7 届模式识别国际会议i c p r 2 0 0 4 组织的人脸认证竞赛 f a t 2 0 0 4 中，清华大学丁晓青教授领导的智能图文研究室所有三项测试均获第一 名。 目前，国内外对人脸检测问题的研究很多，比较著名的有c m u ( 卡耐基梅隆大 学) 、m t i ( 麻省理工学院) 、y = 蛆l ( 耶鲁大学) 等机构；国内的清华大学、中国科技大 学、中国科学院计算技术研究所1 5 】和中国科学院自动化研究所、上海交通大学、华 中科技大学、南京大学等都有人员从事人脸检测相关的研究。而且，m p g e 7 标准 组织己经建立了人脸识别草案小组，人脸检测算法也是一项征集的内容。随着人 脸检测研究的深入，国际上发表的有关论文数量也大幅度增长，如m e e 的f g ( i e e e 人脸与手势自动识别国际会议) 、i c t p ( m 像处理国际会议) 、c w r ( 计算机视觉与模 式识别会议) 等重要国际会议上每年都有大量关于人脸检测的论文，占有关人脸研 究论文的近1 3 之多。有关人脸检测的内容在人脸识别研究的综述中有所涉及【1 一， 但仅仅侧重于人脸识别系统的输入环节【6 】。 1 3现有的人脸检测方法分类 人脸检测问题包含的内容十分广泛，从不同的角度可以有多种不同的分类方 法。按照图像类型来分，可以分为静止图像和动态视频序列中的人脸检测。按照 色彩信息来分类，可以分为彩色图像和灰度图像中的人脸检测。按照图像前景来 分，主要依据人脸姿态的不同，有的针对正面( 包括平面内旋转一定角度) 的人脸， 有的则针对正面和侧面的人脸。按照图像背景的复杂程度来分，分为简单背景和 复杂背景的人脸检测。简单背景指可能没有背景，或者背景的类型比较单一。复 杂背景是背景未知的情况，背景中可能包含有和人脸非常类似的模式。针对以上 的分类标准，本文研究的主要是彩色静止图像中的正面或接近正面的人脸检测。 人脸检测有各种不同的分类方法，但是这些方法并不是完全孤立的，现在运用的 方法有许多是结合多种方法进行分类的。 1 3 1基于知识的方法 这种方法是基于人们对人脸固有特征的认识，即对于不同的人脸，均有一些 相对不变规律的因素，把这些因素加以归纳总结，然后形成人脸规则。比如，在 一副人脸图像中，通常包含有对称的一双眼睛、一个鼻子、一个嘴巴，而且，这 3 电子科技大学硕士学位论文 些人脸部件之间的位置和距离分布通常具有某种相关性。其工作过程大致如下， 当待测图像进入后，首先必须提取人脸部件特征，然后再确认部件间的关系是否 符合规则，如果符合，则认为是人脸，否则不是人脸。这一确认过程现在大多用 于降低误检率。 此类算法以m o s a i e ( 马赛克) 法为典型代表。y a n g 等【1 7 】人提出了基于镶嵌图 ( m o s a i ci m a g e ，又称为马赛克图) 的人脸检测方法。y a n g 等将人脸的五官区域分别 划分为4 x 4 个和8 x 8 个马赛克块，使用一组规则进行检验，并且利用边缘特征进 一步确认。卢春雨等【5 】人对镶嵌图方法进行了改进，按照人脸器官的分布将人脸划 分为3 3 个马赛克块，在检测中自适应地调整各块的大小，使用一组基于各块灰 度和梯度统计特征的知识规则检验该区域是否为人脸，取得了较好的实验结果。 这种方法减少了计算量，实现速度比较快，而且它提供了一种多分辨率的分 级搜索思想，但是它的检测率较低，而且错误接受率比较高，除此之外，我们很 难将人类对人脸的知识归纳成为一组计算机适用的恰到好处的人脸规则。 1 3 2 基于特征的方法 在光照和姿势不同的情况下，眉毛、眼睛等面部特征及其之间的关系是不会 改变的，故可以先检测这些不变特征，再根据它们之间的空间几何关系来定位人 脸。这种方法又进一步分为基于面部特征的方法、基于纹理的方法、基于肤色和 基于多特征综合的方法。基于面部特征的方法，首先通过一系列规则检测到特征 点并组合为人脸，然后进行验证；基于纹理的方法根据人脸与其它模式的纹理有较 明显的差别来检测人脸，但是这种方法只能区分人脸和非人脸模式，并不能确定 人脸的位置：基于肤色的方法主要是利用肤色比较稳定的特点，先分离出类肤色区 域，再在这些区域中结合其它特征进行检测；基于多特征的方法是综合利用多种 特征比如肤色和其它方法结合来进行人脸检测。近年来，结合肤色和面部特征进 行检测的算法的研究较多。因为肤色是一种比较稳定的特征，在不同的光照以及 人脸姿势，角度和表情等都不相同的情况下，肤色信息仍然比较稳定，所以可以 先根据肤色信息来对输入图像进行粗分类，将图像分为类肤色区域和非肤色区域， 然后在类肤色区域上查找人脸，故速度可以大幅提高。但肤色易受背景的影响， 对视频输入设备也有依赖性。 4 第一章绪论 1 3 3模版匹配的方法 这种方法通常事先设定一个标准的人脸模板( 常为正面) ，或者用一个函数对此 模板参数化，然后计算一幅输入图像与标准模板对应的边缘和特征( 眼睛、鼻子、 嘴巴) 之间的相关系数，根据此相关系数的值来确定是否包含人脸。传统的模板匹 配法通常需要手工制作标准模板或将模板先行参数化，然后在检测人脸时，计算 待测区域与标准模板之间的相关性。这种方法的优点在于简单易于实现，然而， 这种方法遇到了较大的障碍，是它对同幅图像中具有不同尺寸、不同角度、不同 的姿态的人脸缺乏有效的解决办法。针对这一问题，研究者提出了序列模板、可 变形模板等等方法。 m i a o 等【8 】人提出了用于人脸检测的层次模板匹配方法，在第一阶段，为了处 理旋转图像，输入图像从- 2 0 0 到2 0 0 旋转，每次旋转5 0 ，多分辨率图像层次形成和 边缘提取使用l a p a l a c e 操作符。人脸模板通过六个人脸成分产生的边缘组成：两 个眼眉、两只眼睛、一个鼻子和一张嘴。最后，应用启发式确定人脸的存在，实 验结果表明在图像含有单个人脸要比图像中含有多个人脸的结果好。另外，在国 内，梁路宏【9 】等使用了直接的平均脸模板匹配方法。由于人脸模式是多种多样的， 所以设置单一的或者几种模板很难包含所有的人脸模式，故尽管模板匹配的方法 实现简单，但是它不能有效的处理人脸尺寸、姿势和形状的变化，而且计算复杂 度偏高。由于需要多次扫描整幅图像，导致速度也较低。 1 3 4 基于表象的方法 由于人脸具有统一的模式( 都是由眉毛、眼睛、鼻子和嘴等面部器官构成) ，如 果把所有的图像集看作一个高维的线性空间，那么整个人脸图像集仅对应于这个 高维线性空间中的某个子空间。于是可以通过检验待测图像窗口是否落在这个子 空间中来判断其是否为人脸。这一类方法较多，包含特征脸方法 10 1 ，基于分布的 方法，w i n n o w 稀疏网络，归纳学习法，h m m ，神经网络法 1 1 1 ，基于信息论的方 法，贝叶斯分类器，支持矢量机的方法，以及判别函数、e m 法等。总体来说，这 类方法的检测率比较高，但是样本训练时间长，算法复杂度高，而且搜索时间也 比较长，故导致速度较慢。 综上所述，尽管研究者在人脸检测方面取得了很多成绩，由于人脸的复杂性， 单纯的使用某一种方法作为检测方法是无法适应所有的环境，故在研究过程中， 人们认识到：将多种技术结合在一起，利用多种信息可以提高人脸检测方法的效率， 5 电子科技大学硕士学位论文 这将是未来的发展趋势。 1 4基于肤色的人脸检测算法分类 肤色虽然对光照敏感，但它不依赖于人脸的细节特征，对于旋转，表情等变化 情况都能使用，具有相对的稳定性并且和大多数背景物体的颜色相区别，根据肤 色特征分割出来人脸候选区域，然后再结合其他算法判定候选区域是否为人脸。由 于此算法预先筛选掉了一部分背景，减少了目标搜索时间，因此可以大幅提高检 测速度，近几年，基于肤色的人脸检测已经引起了很多学者的关注。 1 4 1肤色检测加特征验证的算法【1 2 】【1 3 】 这种方法首先利用肤色模型分割出类肤色区域，然后根据面部特征在y c b c r 空间的颜色特性，通过数学形态学运算突出这些特征，然后对由双眼和嘴形成的 三角形区域进行基于特征的验证，最后用脸的边缘进行最后确认。它主要检测竖 直或者有较小旋转角度的正面人脸和侧面人脸。此算法的主要贡献在于肤色分类 之前，先进行了以参考白色为基准的增强，从而减小了高光和阴影对人脸肤色的 影响。另外，它还在色度空间分析了面部特征的内在规律，使得特征提取也较为 成功。但是此算法的准确率主要依赖于特征提取的准确性，而且由于它验证步骤 比较多，故计算复杂度比较高。 1 4 2肤色检测加m o s a i c 法验证【1 4 】 m o s a i c 图( 镶嵌图) 实际上描述了原始图像的低频特征，因此，利用它可以较容 易地提取出人脸的粗特征。m o s a i c 图是原始图像的低分辨率图像，通过将原始图 像分块取平均灰度而获得。如果在人脸区域上进行分块，那么由于面部特征呈现 不同的灰度，故各块的灰度值是不同的。m o s a i c 规则就是利用人脸上不同分块之 间的灰度大小关系来制定人脸的规则，通过逐窗口扫描m o s a i c 图像来检测具有已 知规则的区域作为候选人脸区域。最后在人脸候选区域检测眼睛和嘴的边界进行 人脸确认。肤色检测加m o s a i c 法验证的主要思想就是首先用肤色概率模型得出类 肤色区域，然后用基于m o s a i c 图的规则【7 】对肤色区域进行逐窗口的扫描检测人脸。 它是基于镶嵌图的方法对彩色图像的扩展。其缺点是m o s a i c 规则不好设计，只能 检测正面竖直的人脸，对光照敏感，检测率比较低等。 6 第一章绪论 1 4 3肤色检测加聚类分割再特征验证的方法 1 5 】 该方法在肤色初次分类后，又提出并实现了基于直方图的聚类分割，进一步 把人脸与其它连在一起的类肤色背景分离出来，筛选出每一个近似椭圆的区域作 为人脸候选区域，然后对每一个候选人脸区域二值化提取面部特征，用基于统计 的方法对人脸特征进行验证。这种方法可以检测不同大小，有一定旋转角度的人 脸。由于已把人脸区域单独提取出来，可以大大简化后续的特征提取过程。但是 这种聚类分割可能造成过分割或欠分割的情况。所谓过分割是指一个目标被分割 成几个不同的子目标。如同一个物体上有高光、阴影和正常区三个部分，则经过 分割，可能会得到三个不同的目标。欠分割即把几个目标作为一个目标。如衣服 和人脸连在一起，且色调非常相近，就可能导致把衣服和人脸作为一个目标。 1 4 4 肤色检测加神经网络验证的方法【1 6 1 这种方法首先建立一个肤色分布模型分离出类肤色区域，然后采用神经网络 计算并定位瞳孔，实现了由粗到精的人脸平面旋转角的检测。它提出了一种基于 结构的正面人脸检测策略。这种算法能适应不同的光照环境，检测不同大小、不 同平面旋转角的人脸。 1 4 5 肤色检测加模板匹配方澍1 7 】 这种方法在分割出类肤色区域后，在这些区域中寻找双眼瞳孔，然后根据瞳 孔的位置按照一定比例确定候选人脸区域，用训练得到的人脸梯度模板对此候选 人脸区域进行匹配验证。这种方法可以检测正面或有较小旋转角度的人脸，并可 以适应不同的光照情况。但是系统不能检测眼睛被遮挡的，以及有强烈暗光和强 光的人脸图像。 1 4 6 其它方法 文献 1 8 ，1 9 ，2 0 1 用肤色检测得到类肤色区域，然后判断每一个区域的形状， 用椭圆来匹配人脸的边缘，有的还需要进一步检测面部特征来确认。这类方法由 于没有考虑到人脸区域和其它背景区域相连的情况，故只适用于简单背景，或者 人脸能够和背景明显区分的场景。还有的方法是利用在肤色区域内，分割出眼睛， 然后利用双眼的形状、大小和角度来确定人脸的，但是并非所有的图像都能分割 7 电子科技大学硕士学位论文 得到精确的双眼是这种方法的局限性。还有的方法使用基于鼻子的网格辐射的方 法来确定人脸区域，但是它要求图像的分辨率比较高。 1 4 7 本文采用的方法 经过对现有基于肤色检测方法的总结，在综合考虑算法的复杂度和准确率的 基础上，提出了两种方法：( 1 ) 基于肤色检测及纹理特征模版相匹配的方法；( 2 ) 基 于肤色检测及梯度能量谱模板相匹配的方法。该算法先对图像的光照进行补偿，然 后在肤色分类的基础上进行肤色聚类，按照先验知识对肤色区域进行预筛选，最 后利用灰度纹理特征信息进行模版匹配验证人脸，整体算法和方法1 4 1 相比，改进 了图像补偿的策略，避免图像的失真。 1 5人脸检测系统的评价标准 1 5 1人脸检测结果的评价标准 人脸检测的评价标准主要有：检测率( 也称正确率，h i tr a t e ) ，漏检率( m i s s r a t e ) ，误检率( f a l s e - a l a r mr a t e ) ，检测速度( d e t e c t i n g - s p e e d ) 和鲁棒性( r o b u s t n e s s ) 等。 1 检测率：被正确检测到人脸数与总人脸数的比值。检测率越高，说明检测 系统对人脸的接受能力越强。 2 漏检率：顾名思义就是未检测到人脸数与总人脸数的比值，在关系上其值 等于卜h i t r a t e 。 3 误检率( 或虚警率、误报率) ：被误检为人脸的非人脸数与它和正确检测到 的人脸数之和的比值。检测率无法反映系统对非人脸的排除能力，有可能出现这 种情况：所有人脸都被检测到，同时很多非人脸区域也被误认为是人脸。因此引入 误检率来衡量系统对非人脸样本的排除能力。误检率越低，说明检测系统对非人 脸的排除能力越强。 4 检测速度：大部分应用领域需要在线实时地检测人脸，如人脸跟踪，可编 程视频监控等。在检测率和误检率达到满意的前提下，检测速度越快越好。 5 鲁棒性：指的是检测系统在各种复杂条件下的适应能力。适应能力越强， 鲁棒性越好。 为了更具体的表示人脸检测结果，这里假设用m 、卅、，分别表示人脸正 8 第一章绪论 确检测的数目，人脸漏检的数目和人脸误检的数目，则定义检测率( h r ) 、漏检率 ( m r ) 和误检率( f r ) 如下： h r ：丝 c 七 m 脚：丝 c + m 欣：土 在这五个标准( 实际上只有四个独立的标准) 中，有些是相互制约的，如检测率 和误检率就经常需要权衡。很多方法( 如人工神经网络方法) 检测率较高，误检 率也低，但检测速度慢是其最大缺陷；而模板匹配方法检测速度虽然较快，但其 距离函数在不同环境下产生的效果差异很大，即在简单背景条件下检测效果好， 背景复杂时效果就明显降低，这就是鲁棒性不好的表现。 1 5 2人脸检测问题可用的图像库 目前用来训练和测试人脸检测和识别算法的图像库应用较多的大致如表1 2 中所列。这些图像库大部分是针对人脸识别问题建立的，用于人脸检测时要做适 当处理。目前己有的人脸检测库一般是针对特定的人脸检测算法。由于各种人脸 检测算法之间差距较大，没有针对一般人脸检测问题的标准的人脸库也是可以理 解的。虽然这些图像库的大部分不能直接拿来训练或测试人脸检测算法，但其提 供的大量的人脸图像，经过一些有针对性的加工后可以用于人脸检测算法的评价。 表1 - 1 现有的图像库 图像库名称位置 简介 m i t m e d i a l a b s 邱：w h i t e e h a p e l m r e a i a m i t e 包括1 6 人，每个人有不同光照、不同 d a t a b a s e d u p u b i m a g e s 尺尺寸、不同角度的2 7 幅图像。 m i tc b c lf a c eh t t p ：w w w a i m i t e d u p r o j e c t s c b c l 训练集6 9 7 7 幅图像( 2 4 2 9 幅人脸，4 5 4 8 d a t a s e ts o f l w a r e - d a t a s e t s f a c e d a t a 2 h t m l 幅非人脸) ，测试集2 4 ，0 4 5 幅图像( 4 7 2 幅人脸，2 3 5 7 3 幅非人脸) 。 f e r e t ( 美国军 h t t p ：w w w n i s t g o v h u m a n i d f e r e t此图像库包含大量的人脸图像，每幅幅 方1d a t a b a s e 图中均只有一个人脸( 有某种表情) 。 u m i s td a t a b a s e h t t p ：i m a g e s e e u l n i s t a c u k 2 0 个人共5 6 4 幅图像，每个人具有不同 d a n n y d a t a b a s e h t m l 角度、不同姿态的多幅图像像 9 电子科技大学硕士学位论文 u n i v e r s i t y o f f t p ：i a m f t p u n i b e c h p u b i m a g e f a3 0 个人1 5 0 幅正视图( 每人l o 幅) ，1 5 0 b e r l lc ei m g a e s 幅侧视图( 每人5 0 幅) 。 y 矾ed a t a b a s e h t t p ：c v c y a l e e d u 不同光照条件下的带有表情和眼镜的 人脸库 a t & t ( o l i v e t t i ) dh t t p ：hw w w u k r e s e a r c h a t t c o r n 4 0 个主题，每个主题，1 0 幅图像( 每 a t a b a s e 人l o 幅图像) ，和5 0 侧面人脸图像( 每 人5 幅) h a r v a r d h t t p ：c v c y a l e e d u p e o p l e f a c u l t y 具有大量剪裁过的不同光照条件下的 d a t a b a s eb e l h u m e u r h t m l 正面人脸图像 m z v t s h t t p ：n o s c i d o n c s d a u t h g r 一个多模型的包含多种图像序列的图 d a t a b a s em 【z v t s i n d e x h t m l 像库 p u r d u ed a t a b a s e h t t p ：r v l l e c n p u r d u e e d u a l e i x 3 ，2 7 6 幅在不同光照下带有不同表情和 a l e i x f a c e 遮挡的人脸图像 最近几年来，随着人脸检测研究的不断深入，研究者们编辑了多个人脸检测 测试图像库表1 2 。s u n g 和p o g g i o 提出了两个人脸检测测试库，第一个库包含7 1 个人的3 0 1 个正视或近似正视人脸图像，这些图像各自的光照条件均不相同。第 二个库包含2 3 幅图像共1 4 9 个人脸，每幅均有复杂背景，并且人脸在图像占很小 的比例。而用的最广泛的测试库是由r w o l e y 等人提出来的，包括1 3 0 幅图像共5 0 7 个人脸，大多数的图像在统一背景下有多个人脸，能够很好地评价人脸检测方法。 表1 - 2 测试图像库 图像库名称位置简介 m i t t e s ts e t h t t p ：c s c m u e d u h a r 包含大量复杂背景人脸 图像 c 几，f r o n t a lf a c et b s t h t t p ：c s c m u e d w h a r 包括1 3 0 幅图像共5 0 7 s e t个人脸 c m u r r o f i l e f a c e t e s t s e t f t p ：e y e s i u s c m u e d u 共2 8 0 幅侧视人脸图 u s r 2 0 f l p t e s t i n g _ f a c e _ i m a g e s t a r g z 从表1 1 和表1 。2 可以看出，除k o d a k d a t a s e t 之外，现有图像库大多是灰度 图像，这是因为早期的人脸检测和识别算法都是针对灰度图像展开的。随着彩色 图像的普及，彩色图像中的人脸检测方法( 例如基于肤色分割的方法) 也越来越受到 研究者的重视，对这些方法的训练、测试和评价的图像库还比较少，一般由研究 者根据特定的标准自主建立。 1 6 论文主要研究工作及组织结构 本文以一个复杂背景下的彩色人脸检测算法的设计与实现为引导，详细介绍 1 0 第一章绪论 了该算法的主要技术基础和实现结果，这些内容包括： 1 图像处理：这方面内容涉及到色彩空间、图像分割、二值化处理、图像滤 波降噪以及数学形态学方法等。 2 肤色相适度分割算法。 3 由于肤色受光照的影响较大，所以在进行肤色分割前，需要消除光照的影 响这里采用了基于“参考白 ，“参考黑的光照补偿方法。 4 区域验证算法：再筛选与验证阶段，本文提出了一种由粗到细，由简单到 难的多层级联的人脸区域验证算法。首先根据先验知识利用人脸的长宽比、面积、 肤色占有率等几何特性对候选人脸区域进行了粗检，为了得到更准确的人脸区域 本来采用了两种基于纹理特征模板和基于梯度能量谱模板匹配检测的方法最终确 定是否为人脸区域。 5 人脸特征区域标记：通过对人脸区域较为重要的两个器官( 嘴和眼睛) 进行 几何位置分析和研究，最终标记出具体的位置。为以后的进一步研究提供了理论 依据和方法。 论文组织结构如下： 第1 章讨论了研究课题的背景和意义、概述了人脸检测领域的研究现状，分 析了相应的关键技术及其人脸检测的难点。最后提出了课题的主要内容及组织结 构。 第2 章讨论了图像预处理的方法，概述本文所用到彩色图像预处理方法和二 值图像处理的方法，提出了改进的预处理方法。 第3 章主要探讨了肤色模型的建立。主要从色彩空间的选择、肤色在色彩空 中的聚类性及肤色模型的选择和建立。 第4 章主要研究模板匹配验证的人脸检测技术，提取平均人脸梯度能量谱作 为模板与纹理特征作为模板，分析了模板匹配的方法。 第5 章人脸检测系统的实现与数据分析，改进模板匹配过程中人脸重复的问 题，对本文提出的方法和现有的基于肤色检测的方法进行比较。 第六章对本文工作进行总结，提出方法的不足。 电子科技大学硕士学位论文 2 1彩色光照补偿 第二章图像处理技术 受外界光照环境的影响，肤色等彩色信息经常受到光源颜色、光源强弱、图 像采集设备的色彩偏差等因素的影响，在整体上偏离本质颜色而向某一方向移动， 即我们通常所说的色彩偏冷、偏暖、照片偏黄、偏蓝等等。这种现象在艺术照中 更为常见。为了抵消这种整个图像中存在着的色彩偏差， a n i lk j a i n 1 4 提出“参 考白 ( r e f e r e n c e w h i t e ) 的方法对其进行消除。但是“参考白 方法中并没有提出 如何判断图像中是否存在色彩偏差。 一般图像中的高亮度区域容易有色彩偏差。基于这一事实，本文提出了判断 图像中是否存在色彩偏差的方法，统计图像中各像素的亮度值即y c b c r 色彩空间 上的y 值，如果超过最高亮度值9 5 的像素个数充分大( 大于1 0 0 ) ，并且这些像素 的r 、g 、b 分量的各自平均值依次之间的比值较大，偏离1 时，则认为图像中存 在色彩偏差。 在“参考白 方法的基础上，本文同时定义了“参考白 和“参考黑 的方 法：即统计图像中各像素的亮度值( 本文采用的亮度分量是y c b c r 色彩空间上的y 值。把图像中黑色或接近于黑色的像素点都标定为黑，即r g b 值为( 0 ，0 ，o ) ；类似 地标定出白色像素点，然后将非黑色和非白色的像素点的r 、g 、b 三个分量分别 拉伸n ( 0 ，2 5 5 ) 整个区间。像素点接近于白色的定义为：在y c b c r 色彩空间中，把 亮度分量y 的值由高到低进行排列，取前5 的数值。一个像素点接近于黑色的定 义为：取亮度分量y 的值排列中后5 的数值。 在判断图像中是否存在色彩偏差后，采用“参考白 和“参考黑”的方法对 其进行处理。试验结果显示，采用本文的方法可以取得很好的效果。光照补偿后 的图像以及肤色二值图像如图2 1 。 1 2 第二章图像处理技术 ( a ) 单一人脸原始彩色图像( b ) 对a 光照补偿后的图像 ( c ) a 的肤色二值图像( d ) b 的肤色二值图像 图2 1 光照补偿与二值化 2 2平滑线性滤波去噪 平滑滤波器用于模糊处理和减小噪声【2 1 1 。模糊处理经常用于预处理，在提取 大的目标之前去除图像中一些琐碎的细节，桥接直线或曲线的缝隙。用滤波掩模 确定的领域内像素的平均灰度值去代替图像每个像素点的值，这种处理减少了图 像灰度的“尖锐”变化。 从信号频谱角度来看，信号的缓慢变化部分在频率域属于低频部分，信号快 速变化部分在频率域属于高频部分。对于图像而言，它的边缘以及噪声干扰的频 率分量都处于频率域较高的部分，因此可以采用低通滤波的方法去除噪声。频率 域的滤波就是采用空间域滤波器冲激响应矩阵与输入图像的卷积来实现。 设输入图像f ( x ，y ) 为m n 像素阵列，低通滤波冲激响应h ( x ，y ) 为l l 二维 阵列，则低通滤波结果为m x n 像素阵列 rr g ( x ，y ) = z z s ( x + m 一詈，y + n - 鲁) j i z ( 聊，z ) ( 2 - 1 ) m = 0n = 0 厶二 通常采用的低通滤波器冲激响应阵列有： 13 电子科技大学硕士学位论文 扛= 吉旺ii = 去 1 李i 魄= 去 李兰李 c 2 2 ， 低通滤波器冲激响应阵列又叫做低通卷积模板。j l l 称为b o x 模版，呜称为g a u s s 2 3二值图像处理 二值图像是一种简单的图像格式，它只有两个灰度级，即“0 ”表示黑色的像 素点，“l 刀表示白色的像素点。由于二值图像十分方便处理，所以在图像处理领 域占据很重要的位置。二值图像处理运算是从数学形态学下的集合论方法发展起 来的，尽管它的基本运算很简单，但是却可以产生复杂的效果。常用的二值图像 处理操作有许多方法，如腐蚀、膨胀、细化、开运算和闭运算等。 2 3 1形态学处理 形态学【2 1 】是- - n 新兴科学，它的用途主要是获取物体拓扑和结果信息，它通 过物体和结构元素相互作用的某些运算，得到物体更本质的形态。它在图像处理 中的应用主要是： 1 利用形态学的基本运算，对图像进行观察和处理，从而达到改善图像质量 的目的。 2 描述和定义图像的各种几何参数和特征，如面积、周长、连通度、颗粒度、 骨架和方向性。 2 3 1 1 膨胀 设a 、b 为z 2 中的集合，o 为空集，a 被b 膨胀计为ao 曰，o 为膨胀算子， 定义为： 彳。曰= zi c 会，：n 彳 么) ( 2 3 ， 其中。为空集，b 为膨胀的结构元素，a 被b 膨胀是所有结构元素原点位置组成 的集合，其中映射并平移后的b 至少与a 的某些部分重叠。 1