（计算机系统结构专业论文）基于肤色和统计学习的人脸检测.pdf

中文摘要 人脸检测( f a c ed e t e c t i o n ) 是指在输入图象中确定所有人脸( 如果存在) 的 位置、大小、位姿的过程。人脸检测作为人脸信息处理中的一项关键技术，近年 来成为模式识别与计算机视觉领域内一项受到普遍重视、研究十分活跃的课题。 人脸检测方法主要划分为基于知识的人脸验证方法和基于统计的学习方法。 基于知识的人脸验证方法速度较快但检测率低，而且往往对多姿态的人脸无能为 力，而基于统计学习的方法检测率高但速度较慢，对各种姿态的人脸都有一定检 测能力。本文结合了二者的长处，设计出了一套检测率高，且对多姿态脸有一定 检测能力的系统。本文首先采用h i n 标准选择出了在不同色彩空间中肤色聚类 特性最好的c b ，c r ，h ，1 分量，形成“混合肤色模型”，综合利用色调、色度和 亮度分量对肤色进行分割。然后利用区域的矩特性进行分析得到合法区域，大大 缩小了下一步分类器的搜索范围。本文采取的统计学习的方法是p a u l 和v i o l a 在( r o b u s tr e a l t i m eo b j e c td e t e c t i o n ) ) 提出的。论文对原始算法做出了一些改进， 首先应用了一种新的矩形特征，然后对原a d a b o o s t 的权值更新规则进行了修改， 提高了算法的鲁棒性。 关键词：人脸检测肤色模型分类器 a b s t r a c t f a c ed e t e c t i o ni sd e f i n e dt h ep r o c e s sc o n f i r m i n gt h et h el o c a t i o n , s i z ea n do fa l l f a c e s ( i ft h e r ei s ) i nt h em p u ti m a g e a sak e yt e c h n o l o g yf o ri n f o r m a t i o np r o c e s s i n g ， f a c ed e t e c t i o nh a sb e c o m eap o p u l a ra r e ao fi m p o r t a n c e ，v e r ya c t i v er e s e a r c ht o p i ci n c o m p u t e rv i s i o na n dp a n e r nr e c o g n i t i o ni nr e c e n ty e a r s t h ea p p r o a c hd e t e c t i n gt h ef a c e sc a r lb ed e v i d e di n t ot w ok i n d s ：k n o w l e d g e b a s e d m e t h o d sa n ds t a t i s t i c a ll e a r n i n g - b a s e dm e t h o d s k n o w l e d g e - b a s e dm e t h o d sh a v eh i l g h s p e e db u tl o wd e t e c t i o nr a t ea n dc a r l td e t e c tm u l t i - v i e wf a c e s s t a t i s t i c a l - l e a r n i n g b a s e dm e t h o d sh a v eh i g hd e t e c t i o nr a t eb u tl o ws p e e da n da r ec a p a b l ef o rm u l t i - v i e w f a c e s b yc o m b i n i n gt h es t r e n g t h so fb o t h ，w eh a v ed e s i g n e das y s t e mw h i c hh a sa h i g h e rd e t e c t i o nr a t ea n d ，i sc a p a b l ef o rm u l t i - v i e w sf a c e s t h ep a p e rc h o o s e s c b ，c r , h , 1w h i c hh a sw o n d e r f u lc o l o rc l u s t e r i n gp r o p e r t yt of o r m m i x e ds k i nm o d e l a n ds e g m e n tt h es k i n ，g r e a t l yn a r r o w i n gt h es e a r c ha r e ai nt h en e x ts t e pc l a s s i f i e r t h e p a p e ra d o p t st h es t a t i s t i c a ll e a r n i n g b a s e dm e t h o dp r o p o s db yv i o l ai nh i sp a p e r w e h a v em a d e s o m ei m p r o v e m e n t st ot h eo r i g i n a la l g o r i t h m ，f i r s tu s e dan e w r e c t a n g u l a r f e a t u r ea n dm o d i f i e dt h er e g u l a ro fw e i g h tu p d a t et om a k et h ea d a b o o s ta d a p t i v et o d i f f i c u l ts a m p l e s k e yw o r d s ：h u m a nf a c ed e t e c t i o n ，s k i nc o l o rm o d e l ，c l a s s i f i e r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外。论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨望盘茔或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 孙矸签字日期：2 7 年2 月争日 学位论文版权使用授权书 本学位论文作者完全了解鑫洼盘鲎有关保留、使用学位论文的规定。 特授权墨洼盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 尹忻 导师签名： ；长新茅 签字日期：办习年2 月午日 签字日期：。7 年2 月曰 天津大学硕士学位论文 第一章绪论 第一章绪论 人脸作为图像与视频中最重要的视觉图像目标( v i s u a lo b j e c t ) 之一，在计算机 视觉，模式识别，多媒体技术研究中占有很重要的地位。可视化分析和目标识别 研究中最具有挑战性的任务之一就是理解人们如何处理和识别彼此的相貌，并进 行相应的计算机建模来最终完成人脸的自动识别。近年来，随着计算机科学在人 机交互领域的极大发展，作为人脸信息处理中的一项关键技术，人脸检测现在已 经成为模式识别与计算机视觉领域内一项受到普遍重视并且研究十分活跃的课 题。在包括可视电话，电视会议，智能计算机，多媒体智能娱乐，身份认证和安 保监控系统等很多方面都有着极其广泛的应用。因而，研究人脸检测技术具有十 分重要的意义。 1 1 人脸检测概述 人脸检测( f a c ed e t e c t i o n ) 是指在输入图像中确定所有存在的人脸的位置，大 小，姿势的过程【l 】。人脸检测是一种特定内容的模式识别问题，这是一种根据入 脸样本模式的共性特征进行模式识别的操作：它将图像内待检的任意一个子区域 划分为两类模式：人脸和非人脸。 人脸检测问题最初来源于人脸识别( f a c er e c o g n i t i o n ) 。入脸识别的研究可以 追溯到2 0 世纪六七十年代，经过几十年的曲折发展现已日趋成熟。人脸检测是自 动人脸识别系统中的一个关键环节，但是早期的人脸识别研究主要针对具有较强 约束条件的人脸图像，比如无背景的图像等。由于一般假设人脸位置已知或比较 容易获得，因此人脸检测问题在当时并未受到足够的重视。近几年，随着电子商 务等应用的发展，人脸识别逐渐成为最有潜力的生物身份验证手段。这种应用背 景要求自动人脸识别系统能够对一般环境图像具有一定的适应能力，由此所面临 的一系列问题使得人脸检测开始作为一个独立的课题逐渐受到研究者的重视。今 天，人脸检测的应用背景已经远远超出了人脸识别系统的范畴，在身份验证，用 于图像编码或人脸的计算机模拟，数字视频处理，基于内容的图像检索，基于图 像或视频压缩，视觉监测等方面有着重要的应用价值。 天津大学硕士学位论文第一章绪论 1 2 人脸检测的研究动态 对入脸检测的研究最早可以追溯到2 0 世纪7 0 年代，人脸检测早期的研究 主要致力于模板匹配，子空间方法，变形模板匹配等】。早期入脸检测综述见 参考文献【l ，4 】。那些方法往往针对简单无变化背景下的正面人脸检测，所以这些 方法在很大程度上显得很呆板。基于这些方法构建的检测系统，任何图像条件的 改变，即便不需要完全重新设计整个系统，也要对系统的参数进行精细的调整。 在过去的十多年中，研究人员从几个方面出发，提出了多种检测方法，如一些利 用运动，肤色和一般信息的方法以及统计和神经网络方法。另外，在能够精确定 位跟踪面部特征的特征提取方法的设计( 比如弹性模板和活动轮廓等) 方面也取 得了很大的进展。目前，国外对人脸检测问题的研究很多，比较著名的有 m i c m u 等等。国内也有很多大学和研究所从事人脸检测相关的研究。而且 m p e g 7 标准组织已经建立了人脸识别草案小组，人脸检测算法也是一项征集的 内容。随着人脸检测研究的深入，国际上发表的有关论文数量也在大幅度的增长， 如i e e ei n t e r n a t i o n a lc o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ， i n t e r n a t i o n a lc o n f e r e n c eo ni m a g e p r o c e s s i n g ，c o n f e r e n c eo nc o m p u t e rv i s i o na n d p a t t e r nr e c o g n i t i o n 等国际重要会议上每年都有大量关于人脸检测的论文，占到了 有关人脸研究论文的三分之一左右。然而，即便如此，由于人脸这一特定模式本 身所具有的复杂性，使得任何一个人脸检测方法都很难适合所有的人脸检测情 况。 人脸检测主要分为两大类方法：即基于统计的方法和基于特征的方法。下 面分别对其加以简单介绍： 1 2 1 基于统计的方法 基于统计的人脸检测方法又可称为表象( a p p e a r a n c e b a s e d ) 的方法，被划到概 率论范畴。该方法主要是把人脸的检测问题转化为高维空间的信号检测问题，把 所有的图像集看作一个离维线性空间，整个人脸图像集仅对应于其中的某个子空 间，从统计的观点通过大量人脸图像样本构造人脸模式空间，然后根据相似度量 来判断人脸是否存在。因此，可以通过大量的人脸和非人脸样本来建立一个分类 器，使它能够正确分辨这两种不同的图像模式，再利用训练好的分类器在未知的 图像中进行全局扫描检测人脸，若存在人脸，则给出人脸所在的位置。采用这种 检测策略的关键在于如何选取大量的具有代表性的图像样本，特别是非人脸图像 样本，来训练分类器。在进行检测之前，首先需要将待测图像映射到一个低维空 间中。 基于统计的方法又可以简单分为以下几类： 天津大学硕士学位论文 第一章绪论 1 、基于特征空间的方法 此类方法将人脸图像变换到某一特征空间，根据其在特征空间中的分布规 律将其划分为“人脸”和“非人脸”两类模式。主分量分析( p c a ，或称k - l 变换) 是其 中一种最为经典和广泛使用的方法，是解决复杂的人脸检测问题的有效途径。它 根据图像的统计特性进行正交变换以消除原有向量各个分量间的相关性。这类方 法的检测率比较高，但是样本训练时间长，算法复杂度高，而且搜索时间也比较 长，故导致速度较慢。因子分解方法( f a c t o ra n a l y s i s ) 和f i s h e r 准则方法( f i s h e r l i n e a rd i s e r i m i n a n t ) 也属于特征空间的方法。 m i t 的s u n g 等提出的基于样本学习的方法采用k 均值聚类方法在特征空间 中建立6 个“人脸”簇( c l u s t e r s ) 和包围“人脸”簇的6 个“非人脸”簇，以使“人脸”与 “非人脸”模式的边界更为清晰。算法利用训练样本到各个簇中心的距离训练一个 多层感知器进行分类，用来实现检测人脸。值得强调的是为了解决人脸检测中“非 人脸”样本的选取问题，s u n g 等使用了“自举”( b o o t s t r a p ) 方法：首先建立一个仅 使用“人脸”样本和少量“非人脸”样本训练的初始分类器对一组图像进行检测，将 所有的错误报警( 不是人脸而被错检为“人脸”的结果) 加入“非人脸”样本库：然后 使用得到的“人脸”和“非人脸”样本训练构造新的分类器重新进行检测。以上过程 不断迭代，直到收集了足够的“非人脸”样本。这种非人脸的收集方法后来被许多 研究者使用【5 6 ，7 1 。 c j l i u 提出了一种基- - 于b a y e s 的特征判别人脸检测方法( b d f ) ，并采用p c a 进行降维以减小计算量【8 】。他采用一个数据库进行训练，然后在不同的数据库上 进行测试，结果表明该算法具有鲁棒的泛化能力。其特点在于用特征分析的方法 提取出一个由输入图像、其一维的h a a r d 、波表述及其幅值投影相结合而形成的高 维特征向量，然后采用b a y e s 分类器检测一幅图像中出现的多幅人脸。但是由于所 得到的向量维数很高，例如在该文中采用的是1 6 x 1 6 大小的图像作为训练集，其 形成的特征向量共有3 x 1 6 x 1 6 = 7 6 8 维。为了减少计算量，l 沁采用p c a 将该向量的 维数降到1 0 ，这样计算量减小了7 6 8 倍，同时也提高了检测速度。b e r n dh e i s e l e 也 使用了类似的方法，将原来2 8 3 维的灰度特征通过p c a 降低至l j l 0 0 、6 0 、3 0 分别进 行实验，也在一定程度上提高了检测的速度。 2 、基于神经网络的方法 人工神经网络( 姗1 9 , 1 0 是为了用计算机模拟人脑而提出的模型，它用权值 来模拟生物神经元间的突触强度，把模式的统计特性隐含在它的结构和权值之 中。对于人脸这类复杂的、难以显式描述的模式，由于人脸检测也可以视为一个 两类的分类问题( 即人脸和非人脸) ，因此采用人工神经网络检测人脸是可行的。 使用人工神经网络检测人脸的方法的优点在于避免了显性地描述入脸，识 别速度较快，缺点是不得不大量地调整人工神经网络结构( 如：神经元节点数、层 天津大学硕士学位论文 第一章绪论 数、学习率) ，以便得到较好的检测结果。神经网络方法能够适应较为复杂的人 脸检测，准确性也比较高，所以使用神经网络进行人脸检测的算法比较多。由于 人脸属于高维矢量，导致网络中训练节点众多，算法往往需要大量的训练样本， 因此，神经网络方法的研究着重于系统的优化训练。 3 、基于支持向量机的方法 支持向量机 h , 1 2 1 ( s v m ，s u p p o r tv e c t o rm a t c h e s ) 是一种依据统计学习理论基 于结构风险最小化的学习机，是一种二次规划( q u a d r a t i cp r o g r a m m i n g ) 方法，它 在处理大批量的人脸正、反例时，只选取那些位于分界面附近的数据来完成学习 过程，将多个表示人脸模式的线性空间进行组合，是示例学习的另一条途径。它 比基于经验风险最小化的人工神经网络方法具有更好的泛化能力。s v m 的训练 样本包括有限“人脸”样本和用“自举”方法收集的“非人脸”样本。s v m 分类器经训 练后，得到最优分类超平面，可用于图像中的人脸检测。 训练用于人脸检测的s v m 分类器的首要问题是样本选取。长期以来，s v m 的训练需要求解计算复杂度极高的二次规划问题，这限制了该方法的应用。但 p l a t t 提出的s m o ( s e q u e n t i a lm i n i m a lo p t i m i z a t i o n ) 算法一定程度上解决s v m 训 练困难的问题。 4 、基于概率模型的方法【1 3 1 基于概率模型的一种方法是贝叶斯分类的方法，计算输入图像区r e g i o n 属 于人脸模式o b j e c t 的后验概率p ( o b j e c t r e g i o n ) ，根据此概率对所有可能的图像窗 口进行判别。s c l l i l e i d e 珊a n 【1 4 】【1 5 】等采用6 4 x 6 4 像素的模式区域，将其分为1 6 个 子区域，通过子区域独立性等假设降低“人脸”和“非人脸”模式分布表达式的复杂 性，最后转化为稀疏编码的直方图，通过计算训练样本的频度求得两种模式的概 率分布。 另一种概率模型是用于描述信号统计特性的隐马尔可夫模型 1 6 ( h i d d e n m a r k om o d e l s ，h m m ) ，目前也被广泛应用于人脸检测与识别。隐马尔可夫模型 针对的是一组参数随机变化序列，其中的参数可以通过训练找出变化规律。对于 一种模式识别问题来说，首先要建立模型并得到一系列隐含状态，然后经过样本 训练计算每个状态的出现概率。h m m 对参数训练调整的结果是模型各个时态出 现的概率与真实观察世界中事件各种状态出现的概率相似度最大。基于h l v l m 的 方法一般只使用人脸样本进行训练，主要针对用于人脸识别的头肩部图像。 5 、基于a d a b o o s t 学习算法【l7 j 的方法 基于a d a b o o s t 学习算法的级联快速人脸检测方法由p a u lv i o l a 嘲等人于 2 0 0 1 年提出。该方法采用一种称为“积分图 的图像表示方法，可以快速、容 易地计算出大量的简单特征，再用a d a b o o s t 学习算法从一个较大的特征集中选 择少量关键的视觉特征，并构造一系列的弱分类器，多个弱分类通过线性组合可 天津大学硕士学位论文第一章绪论 构造出一个强分类器。再用级联的方式将单个的分类器合成为一个更加复杂的分 类器，使图像的背景区域快速地丢弃，而在有可能存在目标( 人脸) 的区域花费更 多的计算。同时大大提高了检测速度，可达1 5 帧秒。该方法的突出地位和贡献 在于，它给出了一个稳定的、实时的目标检测框架，是第一个实时的人脸检测算 法。此外，l i 和z h a n g 等改进了基于前向序列特征选择的a d a b o o s t 学习算法，采 用带回溯过程的f 1 0 a t b o o s t 的特征选择算法。采用简单的块特征以及一个金字塔 的分级结构该系统可以检测多视角人脸图像。k e r e n 等提出“a n t i f a c e s 抑多检测 器级联的快速人脸检测方法，只需少数几个检测器级联就可以准确检测人脸图 像。 综上所述可知，基于统计的人脸检测方法具有性能稳定，鲁棒性强的优点， 但同时它也存在着训练困难，计算量大的缺点。 1 2 2 基于特征的方法 这一类的方法一般都是先提取人脸的各种基本特征，然后根据一些知识规 则来检验它们是否符合人脸的先验知识，以此来确认图像中是否包含人脸。此类 方法所使用的人脸特征大致可分为基本特征和肤色特征。 l 、基本特征 人脸的基本特征主要包括：灰度特征、轮廓线和形状特征、结构特征、纹 理特征。 ( 1 ) 灰度特征 多个人脸图像的平均就是一个简单的人脸模板，可用于检测人脸。相应的 眼模板和嘴模板也常被使用。人脸的眉、眼和嘴等区域的灰度值较低，前额、脸 颊、鼻梁和下颚等其他区域的灰度值较高，因而人脸具有明显的灰度分布特征。 对人脸区域进行水平和垂直方向的灰度投影，根据极小点位置即可得到眉、眼、 鼻和嘴的中心和各自所处的区域。 ( 2 ) 轮廓线和形状特征 人脸及人脸器官具有典型的轮廓线和形状特征，如人脸轮廓、眉毛轮廓线、 眼睑轮、廓虹膜轮廓、鼻侧线和嘴唇轮廓等可以近似视为椭圆、圆、弧线或线段 等简单的几何单元。相对于灰度特征，轮廓线特征对光照变化具有一定的鲁棒性， 但在强光照变化下会产生一些伪轮廓线。 ( 3 ) 结构特征 人脸的对称性也是十分有用的特征。正面人脸是左右对称的，对应轮廓线 和灰度特征基本相同。人脸上的各个器官也具有自身的对称性。眉、眼、鼻和嘴 天津大学硕士学位论文 第一章绪论 等区域是按一定比例关系组织在一起，各器官按照从上而下的顺序排列，两眼和 嘴中心构成一个三角形。每个人的眉、眼、鼻和嘴的相对位置，眉毛的厚度和弧 度，嘴的宽、高、脸形等特征各具特点，头发的灰度和肩宽等也可作为辅助特征。 ( 4 ) 纹理特征 人脸具有特定的纹理特征，基于灰度共生矩阵可计算人脸的一系列纹理特 征。 2 、肤色特征 对于彩色图像，肤色是一个有效的特征。很多颜色模型，如r g b 、归一化 r g b 、h s v 、y c b c r 、w q 、y e s 、c i e 、x y z 、c i e l u v 、c m l a b 、c i e d s h 、 t s l 等常被采用。一些研究表明，t s l 彩色空间具有更好的描述能力。在归一化 的彩色空间中，单一高斯模型可以有效地描述肤色的空间分布，而混合高斯模型 能更好地描述肤色在非归一化彩色空间的分布。肤色直方图也常用于描述肤色的 分布。 就目前而言，基于以上人脸特征的人脸检测已经有很多方法比较著名的主 要有下面这些方法： s i r o h e y 等 1 9 1 使用边缘提取后的图像进行启发式搜索进行对面部椭圆边缘进 行拟和的方法。 g o v i n d a r a j u 等【2 0 】使用变形模板( d e f o r m a b l et e m p l a t e ) 匹配头顶轮廓线和左右 两条面颊轮廓线，实现人脸定位。 y 锄g 等【2 1 】首先提出采用由粗到细的三级结构的方法检测人脸。通过平均和 下采样的方法得到多个不同分辨率的图像，这些低分辨率图像被称为镶嵌图 ( m o s a i c l m a g e ) 。在最低两级分辨率的镶嵌图中，采用一系列规则快速地获得人脸 候选区域。然后在高分辨率图像中，提取人脸特征的轮廓线，符合眼、嘴特征的 候选区域被最终确认为人脸图像。 m i a o 等【2 2 1 基于人脸特征轮廓线的重心定义了重心模板。先用重心模板粗匹 配，再将候选人脸区域划分为9 个子区域，根据各子区域内灰度特征和轮廓线象 素数的比例关系进一步验证。 s h e n 和w a n g t 2 3 】等提出采用人脸横纹特征检测可能的眼睛对，获得候选区域 后，再采用灰度投影、纹理检测、二维嫡分割等规则进行验证的人脸检测方法。 后来，s h e n 和w u 等人联合提出特征和模板结合的人脸检测算法。【2 4 为了能够较 好地区分两眼的横纹，该方法同时采用方形和矩形单元镶嵌图，并用预定义的具 有人脸水平垂直方向峰谷特征的四个模板进一步确认人脸区域。该算法被接受进 入m p e g 7 标准。 h m a r t i n l 2 5 】设计了肤色模型表征人脸肤色，利用一个感光模型对输入图像 修正和补偿，并建立人脸颜色分类器，其输出作为神经网络的输入进行检测。此 天津大学硕士学位论文 第一章绪论 外，t o n y 等采用高斯混合模型表示人脸肤色r g b q b 各个分量的统计分布，通过 闽值比较判断像素是否为人脸像素。y i n gd a i 等利用彩色信息，并结合人脸的 纹理特征，设计了s g l d 共发矩阵方法进行检测。h a i y u a nw u 通过在x y z 彩色空 间中，对人脸肤色和头发颜色的分布建立模糊逻辑理论的描述模型，通过计算隶 属度来确定人脸肤色区域。 总的来说，这种利用人脸的轮廓、对称性等少量特征的方法适用于较强约 束条件下( 如简单背景、头肩图像等) 的人脸检测。由于使用的特征较少，此类 算法可以达到较高的检测速度，实现实时检测与跟踪。但是，也正是因为这一类 的人脸检测方法主要是利用知识规则来描述人脸，所以和人脸先验知识的完备性 有很大关系。由于入脸样本是开放集合，获取先验知识就变得比较困难，从而使 这一类方法的检测能力受到限制。尤其在复杂背景下，由于人脸特征变化大，人 脸的界定涉及多种因素综合作用的结果，因此要想抽象出既能表达人脸的共性， 又能不同别的概念相交叉的人脸规则难度是相当大的，已有的规则都存在着不同 方面的局限性。 1 3 人脸检测中存在的主要问题 在彩色图像中，人脸检测的准确性主要受以下几个问题的影响： 1 、视角多变 从不同角度观察人脸，会得到不同的人脸图像。而且头部自身的平面旋转 和上下仰俯，还有图像的采集视角也都会影响人脸检测的效果。 2 、入脸是非刚性的 人具有丰富多彩的面部表情，表情变换往往会影响人脸图像中的结构信息， 不同的表情也会产生不同的图像，使检测变的困难。 3 、图像背景复杂多变 从复杂背景中提取人脸要比从简单背景中提取复杂很多，尤其是在图像中 人脸个数及位置都未知的情况下，因为复杂背景中可能会存在一些与人的肤色很 相近的区域，极易被误检测为肤色区域。 4 、光照条件多样 在不同的光照条件下，人脸图像也会很不一样。因为人脸是三维的，而图 像中的人脸模式是二维的，光照方向的变化会造成脸部阴影区域的变化，从而使 图像中的人脸形式产生更大的不确定性。 5 、装束各异 在当今社会，化妆变的越来越普遍，人们也越来越懂得打扮自己。发型，眼 镜，太阳镜，胡须等等都成了人脸的修饰品，这些都有可能隐藏或者遮盖住某些 天津大学硕士学位论文 第一章绪论 脸部特征，导致检测无法正确进行。 1 4 本文的研究工作 通过阅读国内外相关文献，对现有的各类人脸检测方法进行分析比较，决 定采用将特征和统计方法相结合的方法进行人脸检测。 本文的主要研究工作如下： 1 、肤色分割部分，针对前期的色彩平衡处理，将采取一种“参考白”算法的 改进算法。采用 h i n 标准评价各个肤色模型色彩分量的肤色聚类特性，并给出 了一种“混合肤色模型”进行色彩分割，取得了很好的效果。 2 、统计学习的算法采用v i o l a 和j o n e s 的a d a b o o s t 学习算法，对传统a d a b o o s t 算法的权值更新规则进行了改进，并给出了一种新的矩形特征。 全文共分五章，各章的主要内容概述如下： ，第一章简单描述了人脸检测技术的研究内容、方法、应用前景及当前人脸 检测领域的发展现状。 第二章介绍肤色分割算法。通过混合肤色模型，利用肤色信息初步得到候 选的人脸区域。 第三章介绍统计学习算法，重点分析了a d a b o o s t 算法，并针对a d a b o o s t 算法 进行了改进。 第四章根据前几章的理论基础，形成了一个完整的结合肤色特征和统计学 习方法的人脸检测系统，并对实验结果进行了分析。 第五章总结与展望。对全文的工作进行了总结，并对今后的工作提出了几 点看法。 天津大学硕士学位论文 第二章肤色分割 第二章肤色分割 人脸中有肤色、脸形、五官、头发、脸的特性等可利用于人脸检测的信息。 在正确的有脸区域中，肤色是占主导地位的象素色彩值，肤色在色彩空间中的一 定范围内还是呈聚类特性的，肤色具有相对的稳定性，它完全不依赖于面部的细 节特征，而且基本不受姿势和表情变化的影响，能和大多数背景物体的颜色互相 区别。所以利用肤色这一线索可以排除掉检测结果中在灰度图像中很像人脸，而 对应到彩色图像中根本不是肤色的区域。基于肤色的人脸检测算法可归类于基本 特征的算法。肤色判断可作为人脸检测的预处理和后期检验。因此，对于复杂背 景的彩色图像，越来越多的人脸检测方法将肤色特征提取作为其检测的前期处理 工作，即先采用肤色分割的方法从图像中提取出肤色区域与类肤色区域，然后在 这些区域内进行后续的人脸检测。这样做可以大大减少目标搜索时间，大幅度提 高人脸的检测速度。 2 1 预处理 在彩色图像中，肤色等色彩信息经常受到光源颜色、拍摄环境、图像采集 设备等因素的影响，从而在整体上发生偏离本质色彩的现象。因此，在肤色分割 之前，需要对图像进行色彩平衡处理。 2 1 1 光照补偿的基本方法 m o s e 等从理论上证明，对光照保持不变性的函数是不存在的。因此光照问 题一直是人脸检测中的一个非常重要面且难于解决的问题。通常的方法有： 1 直方图均衡化 直方图均衡化能够均衡化整个图像的灰度分布，通过拉开灰度间距改善图 像的质量，增强图像的对比度。 2 非线性变换( l o g ，e x p ) 生物学上证实神经细胞对图像明暗程度的反应是非线性的，这个反应可以用 对数函数来近似【2 6 】。 天津大学硕士学位论文 第二章肤色分割 图2 - l 非线性变换 3 同态滤波 同态滤波是个经典的图像及信号处理技术。滤波函数在不同的方面影响傅 立叶变换的高频和低频信息，目的是在改善图像锐化程度的同时增强图像中明区 和暗区细节的可见性。 4 g r a yw o r l d 的色彩均衡方法 2 7 1 该算法的基本思想是通过图像r ，g ，b 分量各自的平均值a v e r ，a v g b ，a v g g 定出图像的平均灰度值a v g g r a y ，然后调整每个象素值r g b ，使调整后的r ，g ，b 分量的平均值都趋于平均灰度值a v g g r a y 。 5 参考白，方法幽】【2 9 】 为了消除图像中存在着的色彩偏差问题，a n i lk j a i n 等提出将图像中所有象 素的亮度从高到低进行排列，取前5 的象素，如果这些像素的数目足够多( 例 如：大于1 0 0 ) ，就将这些象素的亮度作为“参考白”( r e f e r e n c ew h i t e ) ，将他们的 色彩r ，g ，b 分量值都调整为最大的2 5 5 ，整幅图像的其他象素的色彩值也都按 照这个尺度进行变换。 2 1 2 改进的光照补偿 以上几种方法对光照变化都有补偿作用，但都存在一定的局限性。如非线 性变换和改进的非线性变换对于图像的缺陷针对性比较强，对极限情况下的图像 效果显著( e x p 转换对光照极度不足，l o g 对光照过度图像) ，对正常情况的图 像有负面影响。同态滤波需要交互处理。另外关键的问题是，上述四种补偿的方 法是针对图像的亮度分量进行单方面补偿，在恢复补偿后的色彩图像时，大量的 色彩信息丢失，使得后继的检测工作无法进行。 g r a yw o r l d 的色彩均衡方法的假设是r ，g ，b 三个分量各自的平均值趋于同 一个灰度值。而当背景在图片中占的比例相当大的时候，人脸的部分在调整后将 受到过多环境色的干扰。 参考白是一种行之有效的方法，该算法没有从亮度分量单方面补偿，避免 了色彩信息的丢失，而且背景和目标在图片中的比例也不会是影响补偿效果的主 要因素。但是，对于肤色，k w w o n g 等指m r 分量在亮度大于1 7 5 时趋于饱和， 天津大学硕士学位论文 第二章肤色分割 如图2 2 所示。困j 比r 分量的缺失是导致图片颜色失真的原因。参考白的方法对r 分量的提升确实能补偿缺失的红色分量。但是由于肤色中b 和g 分量的分布对于 亮度来说是线性的。而参考白方法对前5 像素的g 分量和b 分量统一调整为2 5 5 后，使得它们达到过饱和，意外造成图像的高亮。 圈2 - 2 不同光照强度下红色分t 分布 为了在补偿后不产生意外的高光，本文将前5 像素b 分量和g 分量的调整按 照前5 象素r 分量调整均值的9 5 进行( 经验值) ，替代了原来统一调整为2 5 5 的做法。算法效果如图2 - 3 ： 圃 参考白处理结果改进参考白址理结果 圈2 - 3 不同的光照补偿效果田 2 2 混合肤色模型的实现 在人脸检涮方法中，肤色分割是非常关键的一步。能否准确地从彩色图像 中提取出肤色区域和类肤色区域，对后续的检测起着至关重要的作用肤色分割 应尽量满足以下两点：漏检率低和虚警卒低。这就需要选择一个适当的颜色空间， 即表示颜色信息的坐标系。目前比较常用的颜色空间有r g b 颜色空问、归一化 的r g b ( n r g b ) 、h s i 颜色空间和y c b c r 颜色空问等。 。叔 天津大学硕士学位论文第二章肤色分割 2 2 1r g b 空间 彩色图像是多光谱图象的一种特殊情况，对应于人类视觉的三基色即红、 绿、蓝三个波段，是对人眼的光谱量化性质的近似。因此利用r g b 三基色来表 征颜色是很自然的一种形式。而且多数的图像采集设备都是以c c d 技术为核心， 直接感知色彩的r g b 三个分量，这也使得r g b 色彩空间成为图像成像、显示、 打印等设备的基础，具有十分重要的作用。然而由于r g b 三个颜色分量之间的 相关性较高，各分量同时包含了物体本身的颜色信息和外部光照的光强信息。该 颜色空间是最不均匀的颜色空间之一，两个颜色之间的知觉差异不能表示为该颜 色空间中两个色点之间的距离，无法在此空间中比较两个颜色的相似性。在图像 处理的实际应用中，由于它的各分量之间具有高度相关性，所以不适合用来进行 场景分割和分析。 2 2 2h s i ，h s v 空间 h s v 。h s i 色彩空间都可以由r g b 色彩空间转换而来，比r g b 色彩空间更符 合人眼的视觉特征。h s v 代表色调( h u e ) 、色饱和度( s a t u r a t i o n ) 和明暗度( v a l u e ) ： h s i 代表色调( h u e ) 、色饱和度( s a t u r a t i o n ) 和亮度( i n t e n s i t y ) 。h s v ，h s i 的色彩空 间模型色彩之间感觉上的距离与坐标轴上点的欧几里德距离成正比。h s i 彩色空 间接近于人类对彩色的认识和解释方式，许多情况下在该彩色空间中进行图像分 析和处理，比在r g b 彩色空间中更加方便和有效。同r g b 空间相比，h s i 颜色空 间具有以下的优点：在r g b 颜色空间改变某一颜色的属性，比如改变色调，就必 须同时改变r 、g 、b 三个坐标，而在h s i 颜色空间中只需改变h 坐标的值。因此， h s i 颜色空间被广泛应用于各个方面。在机器视觉中，h s i 空间通常用于区分不 同物体的颜色；在图像处理中，可以使用1 分量进行灰度图像的分割；而在用于 区分不同的颜色时，可以仅仅利用色调分量来进行分割，例如在h s i 空间可以通 过对色调设定一定的阈值范围来很容易的区分不同的物体，在r g b 空间里却很难 设定这样的一个阈值。另外，在图像的光照不均匀的情况下，比如图像中有阴影 时，利用色调分割尤其有效，色调分量对于一定类型的高光，遮挡和阴影，都具 有不变性。 h s i 色彩空间与r g b 色彩空间的转换公式如下： h - - a r c t a n ( 压( g - - b ) 2 r - - g b ) ； i = ( r + g + b ) 3 ： s = 1 - - 3 * r a i n ( r ，g ，b ) 舢+ b ) ；( 2 1 ) 天津大学硕士学位论文 第二章肤色分割 其中，如果饱和度为0 ，那么色调h 是没有意义的，当灰度i 为0 是，饱和度 是没有意义的。 2 2 3y c b c r , y i q 色彩空间 y c b c r , y i q 色彩空间和前面提到的h s v ，h i n s 相同，也是把r g b 色彩空间转 换成一个亮度分量和两个色度分量，区别是转换完全是线性的，计算简单很多。 其中，y i q 适用于n t s c 彩色电视制式，利用人眼分辩不同颜色能力不同而设计。 y c b c 咆彩空间是为了适应视频处理中的数字化算法而定义的色彩空间，被欧洲 的电视系统所广范采用。y 指明视度，即亮度，c b 表示蓝色成分的多少，c f 表示 红色成分的多少，c b 和c 广起表示颜色的色度( c h r o m i n a n c e ) ，用于描述图像的色 彩饱和度。y c b c 咆彩空间在计算机系统中应用最多，如j p e g ，m p e g 均采用此 格式。此空间由于符合一些硬件，比如数字视频输入设备的表示方法，敖当硬件 设备与计算机相连时，如果用它进行图像处理，可以减少颜色转换的时间，处理 速度较快。 y c b c r 色彩空间与r g b 色彩空间的转换公式如下： y = o 2 9 8 9 r + o 5 8 6 6 11 4 5 b ： c r - - - 0 5 0 0 0 r - 0 418 3 g - 0 0 817 b ： c b - - = o 1 6 8 8 r - 0 3 3 1 2 g + o 5 0 0 0 b ；( 2 2 ) 2 2 4 各类色彩空间比较 大量的研究表明，虽然不同人的皮肤颜色可能相差很大，但它们在色度上 的差异要远小于亮度上的差异。也就是说，不同人的肤色在色度上往往是很相近 的，只是在亮度上有较大差异。人类皮肤的颜色在色度空间中的分布被证明是聚 集在色度空间中一个较小的区域中。例如，在另一关于肤色模型的论文中，给出 了y c b c r 包彩空间在y 等于1 6 0 时的肤色聚类图，如图2 4 ： 天津大学硕士学位论文 第二章肤色分割 2 2 41h i n 评价标准 r 1 鳓 曩色的蓝色分羹g 图2 _ 4 僦咆彩空间的肤色聚类图( v = 1 6 0 ) 不同色彩空间的色度分量的肤色聚类性能是不同的，理想的用于肤色检测的 色度分量应该使皮肤与非皮肤区域在分量分布直方图中相对集中，各自占据不同 的范围，两者之间的重叠部分越少越好。因而可定量地定义h i n 肤色聚类效果评 价标准【3 0 】： 2 5 5 l 归m i n ( s t ，n s t ) ( 2 - 3 ) t - - - 0 其中s 代表归一化后的皮肤样本分量直方图，n s 代表归一化后的非皮肤样本 分量直方图。0 - - 2 5 5 代表色度分量的可能取值范围。h 1 n 值越小，表示皮肤区域 与非皮肤区域在分量直方图中重叠部分越少，则该色度分量的肤色聚类效果越 好。反之，h i n 值越大，表示皮肤区域与非皮肤区域在分量直方图中重叠部分越 多，该色度分量的肤色分类效果越差。 2 2 4 2 比较结果 实验应用h i n 标准，采用数学统计的方法，首先将肤色和非肤色样本图像转 换至不同的色彩空间，然后统计所有皮肤、非皮肤样本的各色彩空间图像中每一 个色彩分量值对应的象素总数，即统计整个实验样本集的各色度分量直方图，最 后计算得到各色度分量的h i n 值。 为了比较不同色度分量的聚类效果，本文采用本实验室中的人脸图像，通过 手工切割得到2 0 0 幅肤色图像作为皮肤样本集，再从i n t e m e t 上下载4 0 0 幅风景 画作为非皮肤样本集。所需要的皮肤样本主要从脸部获得，既包括正面人脸也包 括半侧面( h a l f p ro f i l e ) 和侧面人脸( p r o f i l e ) ，而非皮肤样本则各不相同，既有草地、 船：譬矾勰。托酣幻 i o蟛零q矗霉甾麓 天津大学硕士学位论文第二章肤色分割 房屋、天空等自然景观，又包括猫，狗，静物等。 最后通过编制各个肤色空间色度分量的直方图统计程序，通过计算机比较肤 色和非肤色样本的归一化直方图。 统计结果如表2 1 所示： 表2 1 各色彩空间色度分量分类效果比较 色度分量y i q ( i )y i q ( q ) h s i ( s )h s i ( h )h s v ( s ) h i n 值 0 0 9 0 20 7 0 2 80 2 3 8 80 0 6 5 30 2 3 8 8 色度分量 y c b c r ( c r )y c b c r ( c b )r g b ( r )r g b ( g ) r g b ( b ) h i n 值 0 0 6 3 40 0 6 7 70 2 3 1 60 3 0 7 70 4 0 4 0 上表的实验结果与相关文献的相关结论基本符合，通过比较上表中的h i n 值，即每种色度分量的肤色样本与非肤色样本的重合程度，我们可以得出的实验 结果如下： 1 r g b 空间中的r ，g ，b 分量，h s i 空间中的的s 分量，y i q 空间中的q 分 量n 值较大，肤色聚类效果不好。 2 h s i ，h s v 中的h 分量，y c b c r 中的c b ，c r 分量，y i q 空间中的1 分量h i n 值较小，肤色聚类效果好。 根据h i n 标准，y c b c r 空间和h s i 空间各有两个分量有较好的分类特性，下 面进一步对它们进行讨论。 在h s i 空间上的肤色信息具有如下的特点：l 、在色调信息上包括的阈值范 围较广，从红色到棕黄色，都有可能是肤色；2 、亮度信息上，由于人的肤色是 略显黄白色，因而具有较高的亮度值；3 、在饱和度信息上，肤色的饱和度值占 据一个较宽的阈值范围。虽然在h s i 空间中色调值具有不随亮度