（计算机应用技术专业论文）基于肤色分割的彩色图像人脸检测及特征定位.pdf

沈阳理工大学硕士学位论文 摘要 人脸检测作为人脸信息处理中一项关键技术，已成为模式识别与计算机视觉 领域内一项受到普遍重视、研究十分活跃的课题，在出入境安全检查、视频编码、 视频检测与跟踪、表情识别、基于内容检索等方面都有着及其重要的作用。随着 计算机技术的高速发展彩色图像的人脸检测在近几年才逐渐成为一个研究热点。 相对以往灰度图像处理而言，彩色图像的人脸检测有着更高的要求，如能够适应 成像条件、光线和复杂场景变化，对图像中的人脸的姿势、遮挡、表情变化等进 行有效地处理，因此对彩色图像人脸检测还是一个任重而道远的研究课题。 本文采用肤色分割融合特征验证的算法对彩色图像进行人脸检测和眼睛、嘴 的定位。首先，在图像预处理阶段对现有的光线补偿算法进行了改进，以更好地 降低光照等因素的影响；其次，分析、比较肤色在不同色彩空间的聚类性，建立 了一种可靠的混合肤色模型，并对其进行了验证和分析；再次，根据混合肤色模 型提出一种基于区域增长的自适应阈值分割法进行肤色分割，对所得二值图像进 行基于数学形态学、连通区域的分析和处理，生成一系列候选人脸区域；最后， 利用人眼的检测来确定真正的人脸区域，同时还对眼睛和嘴的定位作了深入的研 究和实验。眼睛的定位，由于眼睛黑白相间的特殊性，提出了一种基于人眼相似 度计算的眼睛定位算法。嘴唇的定位，主要考虑到嘴唇的颜色特征，通过对唇色 信息的提取来完成。 利用v c + + 编程工具对该算法进行了实现，并且在所建立的人脸测试图像集上 作了大量实验。结果表明所提出的算法对复杂背景图像中的人脸检测具有较高的 检测准确率和低的误判率。 关键词：人脸检测；混合肤色模型；人眼相似度；眼睛定位；嘴巴定位 沈阳理工大学硕士学位论文 a b s t r a c t r e c e n t l y , h u m a nf a c ed e t e c t i o n ，a sak e yt e c h n o l o g yi nh u m a nf a c ei n f o r m a t i o n p r o c e s s i n g ，i sb e c o m i n gab i gp r o b l e mt h a tg a t h e r sm o r ea t t e n t i o ni nt h ef i e l do fp a t t e r n r e c o g n i t i o na n dc o m p u t e rv i s i o n a n dn o wi th a sb e e na p p l i e di n t oo t h e ra p p l i c a t i o n s u c h 勰e n t r a n c es e c u r i t y , v i d e oc o d i n g , v i d e os u r v e i l l a n c ea n dt r a c k i n ga n dc o n t e n t b a s e di m a g er e t r i e v a le t c t h es t u d yo nf a c ed e t e c t i o ni nc o l o ri m a g e si sb e c o m i n ga n a c t i v er e s e a r c hs u b j e c tw i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g yi nr e c e n ty e a r s c o m p a r e dw i t hg r a ys c a l ei m a g e s ，c o l o ri m a g e ss e q u e n c ep r o v i d e sm o r ei n f o r m a t i o n h o w e v e r , i ts h o u l db em o r er o b u s tt od i f f e r e n ti l l u m i n a t i o nc o n d i t i o n s ，c o m p l e x b a c k g r o u n d ，f a c eo c c l u s i o n , e x p r e s s i o nc h a n g ea n ds oo n t h es t u d yo nf a c ed e t e c t i o n i nc o l o ri m a g e si ss t i l la c h a l l e n g i n gt a s k i nt h i sp a p e r , ah u m a nf a c ed e t e c t i o nm e t h o dw h i c hi sb a s e do ns k i ns e g m e n t a t i o n a n dt h ef e a t u r el o c a t i o nm e t h o da r es t u d i e di nc o l o ri m a g e s f i r s t l y , h a v ei m p r o v e m e n t i nt h ea l g o r i t h mo ft h el i g h t i n gc o m p e n s a t i o n ，i no r d e rt oa l l e v i a t i n gt h ee f f e c t so f l i g h t i n g s e c o n d l y , b ya n a l y z i n ga n dc o m p a r i n gt h ec l u s t e ro fs k i ni nd i f f e r e n tc o l o r s p a c e ，am i x e ds k i nm o d e li sp r o p o s e d a f t e ra n a l y z i n gt h ec o n n e c t e dc o m p o n e n ta n d u s i n gt h ef i l t e rb a s e do rm a t h e m a t i c a lm o r p h o l o g y , t h ec a n d i d a t ef a c i a lr e g i o n sc a nb e o b t a i n e d i nt h es e l e c t i v eav a l i d a t e ds t a g e ，w em a i n l yu t i l i z ef r a c a s g e o m e t r i c a l c h a r a c t e r st or o u g h l yf i l t e ri nt h e s ec a n d i d a t er e g i o n s f i n a l l y , w ef u r t h e rv e r i f yt h e s e r e g i o n sb yd e t e c t i n ge y e sa n do u t p u tt h er e s u l t a tt h es a m et i m et h ef e a t u r el o c a l i z a t i o n i sr e s e a r c h e da n ds t u d i e d i nl o c a l i z i n ge y e s ，a p p r o a c ho ne y e ss i m i l a r i t ya n dt h ee y e s s y m m e t r yi sp r e s e n t e d i nl o c a l i z i n gm o u t h ，c o n s i d e r i n gm o u t h sc h r o m a t i cc h a r a c t e r , s o m o u t hi sl o c a l i z e db yp i c k i n gu pt h ec h r o m a t i c i nt h el a s tp a r to ft h et h e s i s ，w ei m p l e m e n tt h ea l g o r i t h mu s i n gv i s u a lc + + ，a n d e x p e r i m e n ti no u rf a c et e s t i n gs e t e x p e r i m e n tr e s u l t ss h o wt h a tt h ea l g o r i t h mc a nd e t e c t f a c ew i t hc o m p l e xb a c k g r o u n da n di th a sh i g hp r o b a b i l i t yo fc o r r e c td e t e c t i o n 沈阳理工大学硕士学位论文 k e yw o r d s ：f a c ed e t e c t i o n ；m i x e ds k i nm o d e l ；e y es i m i l a r i t y ；e y el o c a l i z a t i o n ；m o u t h l o c a l i z a t i o n 沈阳理工大学 硕士学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本 人独立完成的。有关观点、方法、数据和文献的引用已在文中指出， 并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任 何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要 贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本 声明的法律结果由本人承担。 作者( 签字) ：渤绋泡 e l期 ：加吕年月乃日 学位论文版权使用授权书 本学位论文作者完全了解沈阳理工大学有关保留、使用学位论文 的规定，即：沈阳理工大学有权保留并向国家有关部门或机构送交学 位论文的复印件和磁盘，允许论文被查阅和借阅。本人授权沈阳理工 大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：南休红指导教师签名：_ 夕隧 日 期：切日 期：砂。、多 第1 章绪论 第1 章绪论 1 1 课题研究的背景和意义 人脸是一个常见而复杂的视觉模式，人脸所反映的视觉信息在人们的交往中 有着重要的作用和意义。对人脸进行处理和分析在视频监控、出入口控制、视频 会议以及人机交互等领域有着广泛地应用前景。人脸的处理和分析包括人脸识别、 人脸跟踪、姿势估计和表情识别等，其中人脸检测是所有人脸信息处理中关键的 第一步，近年来成为模式识别和计算机视觉领域内一个受到普遍重视、研究十分 活跃的课题。 人脸检测是指在输入图像中确定所有人脸( 如果存在) 的位置、大小、姿态的过 程。人脸检测问题最初来源于人脸识别，人脸识别的研究可以追溯到2 0 世纪6 0 - 7 0 年代，经过几十年的曲折发展已日趋成熟。人脸检测是自动人脸识别系统中的一 个关键环节，但是早期的人脸识别研究要针对具有较强约束条件的人脸图像( 如 无背景的图像) ，人脸位置很容易获得，所以人脸检测问题并未受到重视。近几 年随着电子商务等应用的发展，人脸识别成为最有潜力的生物身份验证手段，这 种应用背景要求自动人脸识别系统能够对一般环境图像具有一定的适应能力，因 此，人脸检测开始作为一个独立的课题受到研究者的重视。 今天，人脸检测的应用背景已经远远超出了人脸识别系统的范畴，在基于内 容的检索、数字视频处理等方面有着重要的应用价值。广泛应用的视频会议和可 视电话，也把人脸检测提到了一个新的高度。为了同时保证网络传输的速度和在 视频终端的图像的质量，对每一帧图像，往往先分割出人脸和背景，背景部分用 一个较低的码率传输，减小网络负荷，而给子人脸区域一个较高的优先级来保证 它的传输质量和速度，从而在终端得到质量较好的重建图像。在基于内容的检索 中，由用户给出一幅人脸图像，利用人脸检测技术，可以很快的在数据库中找出 一系列相关图像，这些广泛地应用前景使得人脸检测的研究备受关注。 沈阳理工大学硕士学位论文 色彩是人类视觉在进行感知活动时的一种重要信息来源，结合人脸检测的具 体问题，人的视觉在对人脸这一事物的感知过程中，色彩信息( 即肤色信息) 起 到了很大的作用。随着计算机速度的提高，对计算机色彩理论的深入研究也使彩 色图像处理逐渐成为数字图像处理的核心内容，使得在计算机检测人脸的过程中 有效利用肤色信息成为可能。色彩信息的应用将推动彩色图像人脸检测这一既具 有广阔的应用前景又具有重要的学术价值的课题得到进一步发展，并成为一个更 为独立和活跃的研究领域。 1 2 人脸检测问题的描述 1 2 1 人脸检测研究问题的分类 人脸检测问题包含的内容十分广泛，从不同角度可以有很多种分类方、法l - l 。 表1 1 人脸检测问题的分类 分类依据类别 静止图像( 包括数字化的照片、动态图像( 即视频序列，包括 数码相机拍摄的图片等，目前工作台前的人脸序列，保安监 图像图像来源考虑的主要问题是算法的适应控录像、影视资料等，往往与 类型性和鲁棒性，算法速度在其次)人脸跟踪问题交织在一起，对 算法的速度有很高要求) 颜色信息彩色灰度 图像镜头类型头肩部图像半身全身图像 前景 人脸姿态 正面( 包括端正及平面内旋转)侧面( 包括俯仰、侧影及旋转) 人脸数目单人未知 简单背景( 指无背景或背景的复杂背景( 指背景的类型和特 图像背景特征被严格约束，在该条件下征不受约束，某些区域可能在 复杂程度只利用人脸的轮廓、颜色、运色彩、纹理等特征上与人脸相 动等少量特征，就能够进行准似，必须利用较多的人脸特征 确检测)才能做到准确检测) 应用领域 人脸信息处理系统( 验证、识别、表情分析等) 、视频会议或 远程教育系统、视觉监视与跟踪、基于内容的图像与视频检索 等等 从图像类型上分，可以分为静止图像和动态视频序列的人脸检测。对于静止 图像，目前研究的重点在于算法的适应性和鲁棒性，而对检测的速度考虑在其次； 对于动态视频序列图像，算法的速度是最主要的衡量标准。 第1 苹绪论 从色彩信息上分，人脸检测可以是依托彩色图像和灰度图像，彩色图像检测 主要利用彩色信息即肤色的信息的处理。 从图像前景上分，可以是正面人脸( 包括端正以及平面内旋转) ，或是侧面 人脸( 包括俯仰、侧影以及旋转) ；单人人脸检测( 即人脸的数目是已知的状态) ， 数目未知的检测( 需要判定图像中是否存在人脸，数目和尺寸以及位置) 从图像背景的复杂程度上分，主要是指简单背景的检测和复杂背景的检测。 简单背景指的是图像的背景是无背景或是背景的特征被严格约束，在这种情况下， 利用少量的人脸特征( 如人脸的轮廓，颜色等) 就能够检测；复杂背景是针对图 像的特征和类型不受约束，某些区域的色彩和纹理与人脸较为相似，因此需要利 用较多的特征才能达到良好的检测效果。 从应用的领域上分，人脸检测应用于人脸信息处理系统、视频会议、远程教 育系统、视频监测与跟踪、基于内容的图像与视频检索等。 1 2 2 人脸检测的难点 人脸是一个极为普通但又十分复杂的模式，其中蕴含的信息量非常丰富，在 复杂的背景图像中区分人脸和其它物体就是一个比较困难的问题，并且由于以下 原因使得人脸检测困难加大l l ，习： ( 1 ) 首先人脸是一个包含五官、毛发等极不规则的复杂待测目标，不同的人脸 在形状、大小、颜色、质地等方面都有很大的差异，具有模式的可变性； ( 2 ) 一般意义下的人脸，存在着诸如眼镜、胡须甚至墨镜等附属物，在人脸检 测过程中必然形成干扰，特别是对人脸检测中基于灰度的检测方法造成较大干扰； ( 3 ) 为了实现检测方法的鲁棒性，设计的检测算法必须考虑人脸在各种复杂的 背景中，不同的方向、角度、尺度等情况下所展现出来的不同表象，也就是要考 虑背景可能造成的干扰； ( 4 ) 采集条件特别是光照条件包括光源的方向、明暗、色彩等都会对图像的效 果产生很大的影响，增加了检测的难度； ( 5 ) 检测速度与正确率始终是一对矛盾。 沈阳理工大学硕士学位论文 1 2 3 人脸检测算法的评价 人脸检测结果的评价标准 3 1 主要有：检测率( 也称正确率) 、漏检率、误检率、 检测速度和鲁棒性等。 ( 1 ) 检测率：被正确检测到人脸数与总人脸数的比值。检测率越高，说明检测 系统对人脸的检测能力越强。 检测率= 蒜黧裂卷x 1 0 0 ( 1 - 1 ， ( 2 ) 漏检率：是未检测到人脸数与总人脸数的比值，在关系上其值等于1 减去 检测率。 ( 3 ) 误检率( 或虚警率、误报率) ：被误检为人脸的非人脸数与测试集中人脸数的 比值。检测率无法反映系统对非人脸的排除能力，可能出现这种情况：所有人脸都 被检测到，同时很多非人脸区域也被误认为是人脸。因此引入误检率来衡量系统对 非人脸样本的排除能力。误检率越低，说明检测系统对非人脸的排除能力越强。 误检率= 翥黧豢器x 1 0 0 ( 1 - 2 ， ( 4 ) 检测速度：大部分应用领域需要在线实时地检测人脸，如人脸跟踪，可编 程视频监控等。在检测率和误检率达到满意的前提下，检测速度越快越好。 ( 5 ) 鲁棒性：指的是检测系统在各种复杂条件下的适应能力。适应能力越强， 鲁棒性越好。 在这五个标准中，有些是相互制约的，如检测率和误检率就经常需要权衡。在 人脸检测的研究中，至今尚无统一的评价标准。目前使用较多的人脸测试集是m r r 和c m u 脸测试图像库，它们是灰度图像测试集。尽管许多文献【4 】给出了在c m u 和m r r 测试集上的检测率和误检率，但是直接用这些数字来比较各种算法的优劣 是不合理的，特别是对于基于表象的算法，使用的训练集不同，在检测过程中用 窗口遍历图像时的移动间隔、采样图像的数量都不尽相同、合并检测结果的方法 不同，这些因素对检测结果( 尤其是误检率) 都有很大的影响，对于彩色图像的 人脸检测研究中，至今尚无标准测试集可供使用。 第1 章绪论 1 3 人脸检测技术的研究现状 人脸检测与识别是模式识别领域中的经典问题。涉及模式识别、图像处理、 解剖学、生理学等方面多领域的技术和知识。人脸检测与识别技术的研究最早可 追溯到十九世纪法国人a l t o n 的工作。现代的研究，始于6 0 年代末7 0 年代初，并 随着科学的发展，在9 0 年代以来成为了研究热点。国外研究人脸检测与识别的算 法层出不穷，相关杂志上发表的有关方面的论文不下数千篇。特别美国遭遇恐怖 袭击后，这一技术更引起广泛关注。作为最容易隐蔽使用的识别技术，人脸识别 成为当今国际反恐和安全防范最重要的手段之一。当前许多国家展开了人脸检测 的研究，主要有美国、欧洲国家、日本、新加坡、韩国等，著名的研究机构有美 国m 1 t 的m e d i al a b 、a il a b ，c m u 的h u m a n - c o m p u t e ri n t e r f a c ei n s t i t u t e ，m i c r o s o f t r e s e a r c h ，英国的d e p a r t m e n to fe n g i n e e r i n g i nu n i v e r s i t yo fc a m b r i d g e 等。m p e g7 标准组织也已经建立了人脸识别草案小组，人脸检测算法也是项征集的内容。 国内开展人脸检测研究的主要单位有清华大学、哈尔滨工业大学、北京工业 大学、中科院计算所、中科院自动化所等，都取得了一定的成果。哈尔滨工业大 学的研究者实现了一个复杂背景下多级结构的人脸检测与跟踪系统，其中采用了 模板匹配、特征子脸、彩色信息等人脸检测技术，能够检测平面内多姿态正面人 脸，并可以跟踪任意姿态的运动的人脸。北京工业大学的研究人员提出了人脸重 心模板这一新技术并运用这一技术建立了一个于复杂背景中检测人脸的系统，设 计了人脸重心模板以实现人脸快速的定位。清华大学的研究人员对人类肤色进行 了较为系统的分析，并提出了基于颜色和特征的自适应人脸检测的方法，还提出 一种基于多模板匹配的单人脸检测方案，但是检测速度并不适应实时应用。 随着人脸检测研究的深入，国际上发表的有关学术论文也大幅度增长，如i e e e 的p g ( i e e ei n t e r n a t i o n a lc o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ) ， c i p ( i n t e r n a t i o n a lc o n f e r e n c eo ni m a g ep r o c e s s i n g ) ，c v p r ( c o n f e r e n c e0 1 1c o m p u t e r v i s i o na n dp a t t e r nr e c o g n i t i o n ) 等重要国际会议每年都有大量关于人脸检测的论文。 虽然经过十几年的发展，人脸检测算法己经得到了很大的发展，但是目前的 算法一般是基于人脸正面的检测，多姿态的人脸检测( 如侧面、遮挡脸) 还存在 困难，有效的解决方法不多，这也是人脸检测的一个重点。 沈阳理工大学硕士学位论文 1 4 论文的主要内容 本文研究和分析复杂背景下彩色图像的人脸的检测问题，与简单背景的人脸检 测不同，此类问题对输入图像的类型、场景基本不加约束，而且图像中人脸的尺 度、位置、位姿以及光照条件等均为未知。针对这类问题的人脸检测在基于内容 的检索、数字视频处理等领域具有重要的应用价值，是当前人脸检测研究的重点。 肤色是人脸表面最为显著的特征之一，利用肤色检测人脸是很自然和直观的想 法。近几年来，基于颜色的人脸检测受到了普遍的重视，但是由于颜色的不唯一 性，使得基于颜色的人脸检测方法存在误检率较高的问题。本文对现有的一些基 于肤色的人脸检测算法进行了研究，在对存在的问题深入剖析的基础上，针对彩 色图像的人脸检测提出了一种新的基于肤色分割和特征验证相结合的检测方法： 首先，对图像进行预处理，针对现有的光线补偿策略的不足，提出了改进的补偿 方法；然后，建立一种可靠性和稳定性较高的肤色模型，即基于非线性的y c b c r 空间和归一化r g b 空间下的混合肤色模型；接着，根据建立的混合肤色模型进行肤 色区域分割；进而，利用先验知识对肤色候选区域进行筛选的同时提出一种基于 人眼相似度计算的方法对人脸区域进行验证；最后，对脸部区域主要特征眼睛、 嘴进行精确定位。主要的工作有以下几个方面： 第一章对人脸检测理论作了概述，并介绍了课题研究背景、国内外研究现状 及存在问题，分析了人脸检测的难点，提出了课题的主要研究内容。 第二章介绍了人脸检测的主要算法，提出本文的主要研究内容之一是如何有 效地将肤色信息应用到人脸检测中，重点是将肤色判断作为人脸检测的前期处理 工作并给出人脸检测系统的大体框架结构图。 第三章混合肤色模型的建立。从色彩空间的选择和肤色在各空间的聚类性进行 对比分析，建立一种非线性的y g b c r 空间下的高斯模型和r g b 空间下区域模型相 结合的混合肤色模型来检测肤色区域，同时在非线性y g b c r 空间下，提出了基于 区域增长的自适应阈值法，对肤色区域分割，实验证明该模型的高效性和可靠性。 第四章肤色区域的分割和筛选。首先由于肤色受光照的影响较大，所以在进行 肤色分割前，需要消除光照的影响，针对现有的光线补偿策略的一些不足，提出 了改进的光线补偿方法；然后根据本文所建立的混合肤色模型，进行肤色区域分 第1 苹绪论 割；最后利用人脸结构知识对肤色区域进行筛选，剔除一些不包含人脸的图像块。 第五章人脸验证阶段。提出一种基于人眼相似度分割的人眼检测，不仅在准 确定位出眼睛的同时还能够利用检测眼睛来最终确定该区域是否是包含人脸，实 验结果证明了该算法的可行性，实现了一种由粗到细的筛选与验证方法。在对嘴 巴定位时提出一种改进的利用唇色信息定位方法。 第六章系统构架和实现。这部分详细论述了人脸检测和特征定位系统的构架 和功能实现，并对实验结果进行了统计和分析。 沈阳理工大学硕士学位论文 第2 章人脸检测算法综述 2 1 人脸特征及提取 人脸图像所包括的模式特征非常丰富，如何选择合适的模式特征是人脸检测 研究的一个关键性问题。原始的人脸图像不仅数据庞大，而且还会随着拍摄条件 及表情神态的变化而改变，这就使得特征提取在人脸检测中尤其重要，通常从人 脸图像上进行有效的检测需要获取稳定的人脸特征，图2 1 给出了人脸模式特征。 直方图特须颜色特征 f 轮廓特征 l ( 分布、距离等) |l ( 肤色、发色等7 1f ( 满圆轮廓等) | ，、j ，7 i 结构性特征( 对i 变换域特征( 特征il 模板特征( 均值、j i 称性、投影等) ii 脸、小波特征等) il 方差、距离等) 2 2 人脸检测算法的分类 图2 1 人脸特征分类 根据国内外研究现状，综合相关文献1 5 n l ，现有的人脸检测算法可以主要分为 以下两大类：基于知识的方法和基于统计的方法。 2 2 1 基于知识的方法 基于知识的方法是基于规则的人脸检测方法。规则源于研究者关于人脸的先 验知识，指由人通过观察总结出人脸区别于“非人脸 区域的特征，根据被检测 区域是否满足这些“人脸特征 ，来判定该区域是否包含人脸。这种方法可以分 为自上而下和自下而上的两种检测策略：自上而下的方法，首先定位候选人脸区 域，然后通过人脸的先验知识来验证人脸是否存在；自下而上的方法，首先将人 第2 章人脸检测算法综述 脸的局部特征如眼睛、鼻子和嘴检测出来，然后由这些局部特征组合成人脸，做 进一步的检测验证。 根据所选择的“人脸特征 ，这类方法有基于肤色模型的方法、模板匹配的 方法、镶嵌图的方法、基于人脸几何结构的方法等。 ( 1 ) 基于肤色模型的人脸检测 在人脸检测应用中，人类的肤色被采用并被证明是有效的特征。尽管不同的 人拥有不尽相同的肤色，但是一些研究的结果表明l 明，差异主要因亮度而不是色度 产生。一些色彩空间模型被用来把像素标记为皮肤，这些空间包括r g b 、归一化 r g b 、h s v 、h i s 、y c b c r 、j v 等。人们已经提出了许多方法来建立一个肤色模 型，一种最简单的方法就是利用c r 、c b 值来从皮肤颜色区域的样本图像上定义一 个皮肤色调像素区域1 9 1 ，c r o w l e y 等嗍利用归一化的r g b 颜色空间模型的( 厂，g ) 的 直方图来获得在肤色像素点处得到特定r g b 向量的概率，s a x e j 】等提出了一种利 用h s v 色彩空间上直方图交叉点的迭代的皮肤识别方法，k j e l d s e n 等i t 2 1 在h s v 色 彩空间中定义了一个颜色谓词来将肤色从背景中分离出来。高斯密度函数和混合 高斯密度函数经常被用来定义肤色模型。m c k e n n a 等1 1 3 l 提出了一种适应性的混合 颜色模型来在照明条件变化的环境中跟踪人脸，用一种随机的模型来在线的估计 物体颜色的分布，来调整以适应观察和光线的改变，初步的结果表明，该系统可 以在一定范围的光照条件下来跟踪人脸。 ( 2 ) 模板匹配的方法t s l 模板匹配方法就是计算参考模板和候选图像区域之间的相关性或差异性，选 取匹配准则来搜索人脸，这种方法具有简单、直观的特点。模板分为固定模板和 可变形模板，固定模板检测方法直观、鲁棒性较好，但是对位姿、表情、尺度变 化敏感；可变形模板是在包含一些非确定因素，根据检测样本的具体条件，自适 应地调节匹配模板，以提高模板的适应性和检测精度，但是模板的选择和参数的 确定非常困难。 ( 3 ) 镶嵌图的方法 y a n g 和h u a n g 等1 1 6 1 用一种基于知识的启发式方法来检测人脸。该系统含有三 层规则：在最高层，通过一个扫描窗来扫描输入图像，并对每一个扫描位置使用 这些规则，来找到每一个可能的人脸候选；在较高的层里，规则都是比较笼统的， 沈阳理工大学硕士学位论文 用来描述人脸看起来是个什么样；在较低的层里面，规则用来描述脸部特征的细 节。通过平均和子采样的方法可以得到多分辨率的图像金字塔，剩下的候选区域 将在第三层中用另外的一套规则( 有关眼睛和嘴一类的脸部特征) 来检验。 ( 4 ) 基于人脸几何结构的方法 轮廓规则：人脸的轮廓可近似地看成一个椭圆，则人脸检测可以通过检测 椭圆来完成。c o v i n d a r a j u 等1 1 7 l $ l 把人脸抽象成为3 段轮廓线：头顶轮廓线，左侧脸 轮和右侧脸轮。对任意一幅图像，首先进行边缘检测，并对细化后的边缘提取曲 线特征，然后通过计算各曲线组合成人脸的评估函数检测人脸。器官分布规则： 虽然人脸因人而异，但都遵循一些普遍使用的规则，即五官分布的几何规则。检 测图像中是否有人脸，即是检测图像中是否存在满足这些规则的图像块。这种方 法一般首先对人脸的器官可能分布的位置分别组合，用器官分布的集合关系准则 进行筛选，从而找到可能存在的人脸。 2 2 2 基于统计的方法 基于统计的方法将人脸区域看成一类模式，使用大量“人脸、“非人脸 样本训练，构造分类器，通过判别图像中所有可能区域是否属于“人脸模式 的 方法来实现人脸检测。实际上，人脸检测问题被转化为统计模式识别的二分类问 题，即判断区域是否为人脸。 这类方法可分为：基于特征空间的方法、基于人工神经网络的方法、基于支 撑向量机的方法、基于a d a b o o s t 的方法。 ( 1 ) 基于特征空间的方法 此类方法将人脸区域图像变换到某一特征空间，根据其在特征空间中的规律 划分“人脸”与“非人脸 两类模式。 主分量分析( p r i n c i p a l - c o m p o n e n ta n a l y s i s ，p c a ) 是种常用的方法。它根据 图像的统计特性进行正交变换( k - l 变换) ，以消除原有向量各个分量间的相关性， 变换得到对应特征值依次递减的特征向量，即特征脸方法。m o g h a d d a m 等1 1 9 l 发现 人脸在特征脸空间的投影聚集比较紧密，因此利用前若干张特征脸将人脸向量投 影到主元子空间f 和与其正交的补空间f ，相应的距离度量分别称为 d i f s ( d i s t a n c ei nf e a t u r es p a c e ) 和d f f s ( d i s t a n c ef r o mf e a t u r es p a c e ) 。对于人脸检 第2 章人脸检测算法综述 测问题，由于没有考虑“非人脸”样本的分布，需要同时使用d i f s 和d f f s 才能取 得较好的效果。 s u n g 等| 2 0 1 将样本经预处理后按行列顺序展开为样本向量进行主分量分解，采 用k 均值聚类方法在特征空间中建立6 个“人脸”簇( c l u s t e r s ) ，同时建立包围“人脸 簇的6 个“非人脸”簇，以使“人脸”与“非人脸”模式的边界更为清晰，并使用“自 举”( b o o t s t r a p ) 方法解决了非人脸样本选取的问题。 属于特征空间方法的还有因子分解方法( f a c t o ra n a l y s i s ，f a ) 和f i s h e r 准则方 法( f i s h e rl i n e a rd i s c r i m i n a t e ，f l d ) 。y a n g 等1 2 l l 在混合线性子空间( m i x t u r e so fl i n e a r s u b s p a c e s ) q a 对“人脸”和“非人脸”样本的分布进行建模，分别使用基于e m t m 算法的 扩展f a 方法和基于自组织映射( s e l f - o r g a n i z i n gm a p ，s o m ) 1 2 3 1 的f l d 方法构造检 测器。 ( 2 ) 神经网络的方法 人工神经f q ( a n n ) 方法是把模式的统计特性隐含在a n n 的结构和参数之中。 c m u 的r o w l e y 等1 2 4 - 2 6 1 使用了多个a n n 检测多姿态的人脸，算法显示了两类a n n * - 1 个位姿检测器用于估计输入窗口中人脸的位姿、3 个检测器，分别检测正面、半 侧面和侧面的人脸。使用经过对准和预处理的“人脸一样本以及采用“自举一方 法收集分类器错分的样本作为“非人脸”样本训练各个a n n ，进一步修正分类器。 检测时对输入图像中所有可能位置和尺度的区域首先使用位姿检测器估计人脸位 姿，经校准和预处理后送入3 个检测器中，最后对检测器的分类结果进行仲裁。 r o w l e y 等1 7 * - 2 e l 对正面端正人脸和正面旋转人脸的检测单独进行了研究，对于正面端 正的人脸，仅使用了正面人脸检测a n n 。正面人脸检测的a n n 系统是一种三层 前向网：输入层对应2 0 x 2 0 像素的图像区域；隐层节点分为对应不同人脸区域的 若干组，与输入层部分连接；a n n 输出1 到1 区间的值表示这个区域是否为人脸。 r o w l e y 等使用相同的“人脸样本和不同“自举”过程收集的“非人脸 样本训练 了多个正面人脸检测a n n ，对检测结果进行仲裁，以进一步减少错误报警。对于 正面旋转人脸的检测使用了旋转角度检测器及正面人脸检测a n n ，并使用相似的 多a n n 仲裁方法降低错误报警。 基于人工神经网的方法还有j u e l l 等| z 7 1 和k o u z a n i 等1 2 s l 提出的基于人脸器官检 测的多级网络方法、a n i f a n t i s 等1 2 3 1 提出的双输出人工神经网的检测算法等。 沈阳理工大学硕士学位论文 神经网络方法在人脸检测与识别上比其它类型的方法有其独到的优势，避免 了复杂的特征提取工作，可以通过学习的过程获得其它方法难以实现的关于人脸 识别的规律和规则的隐性表达。 ( 3 ) 支持向量机的方法 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 法是在统计学习理论的基础上发展 出一种新的模式识别方法，它是基于结构风险最小化原理的方法，与基于经验风 险最小化的人工神经网络相比，s v m 能解决一些难以逾越的问题，如：模型选择 和过学习问题、非线性和维数灾难问题、局部极小点问题等。 直接使用s v m 方法进行人脸检测有两个方面的困难：训练s v m 需要求解 二次规划问题，计算复杂度高，内存需求量巨大；在非人脸样本不受限制时， 需要极大规模的训练集合，得到的支持矢量会很多，使得分类器的计算量过高。 p l a t t f 2 9 j 提出的s m o 算法有效地解决了第一个问题；o s u n a 等1 3 0 1 人首先将s v m 方法 用于人脸检测问题，在训练中使用了大量人脸样本，采用“自举的方法收集“非 人脸”样本，并使用逼近优化的方法减少支持矢量的数量，在一定程度上解决了第 二个问题；梁路宏等1 3 1 】采用模板匹配与s v m 方法相结合的人脸检测算法，在模板 匹配限定的子空间内采用自举的方法收集“非人脸样本 ，训练s v m ，降低了训 练的难度和最终得到的支持矢量的规模，使得检测速度比单纯的s v m 检测器提高 了2 0 倍，得到了与c m u 的神经网络方法可比较的结果；r i c h m a n 等提出用人脸 中的鼻子区域训练s v m ，减少了训练数据，且不用考虑s v m 对发型、眼镜等饰 物敏感，采集图像时也不要求人脸必须定位该方法为柯达公司设计出了针对顾客 图像的实用人脸检测系统。 ( 4 ) a d a b o o s t 的方法 2 0 0 1 年p a u lv i o l a 和m i c h a e lj j o n e s 在文献1 3 2 1 中使用了一种基于a d a b o o s t 的 方法，通过训练得到了基于多特征的分层人脸特征检测系统。与此前提出的人脸 检测算法相比，该系统具有极高的运行速度，在没有引入其他辅助信息( 如相邻 帧之间的差异等) 的情况下，检测准确率和错误接受率都能达到现有算法中最好 的水平，因此，该算法在人脸分析领域得到重视。这一算法的特点是： 特征提取的时候，不是直接使用图像的灰度值，而是使用一些简单的矩阵 特征作为特征分类的依据； 第2 章人脸检测算法综述 方法提出了使用a d a b o o s t 来选择少数重要特征的方法； 进一步提高了系统的速度，p a u lv i o l a 和m i c h a e lj j o n e s 还提出了一个瀑布 式的程序框架，对每一层使用a d a b o o s t 训练直至得到最小的错误拒绝率。 a d a b o o s t m l 是一种具有自适应性的b o o s t i n g 算法，它通过建立多学习机组合使 得弱学习机的性能得到提升，由于其独有的对学习机性能的自适应和对过学习现 象的免疫性。 总体来说，基于知识的方法直观且有较好的鲁棒性，易于被人所接受和采用。 基于知识特征的方法共同的缺陷是依赖于固定的先验模式，适应变化的能力差。 譬如，出现彩色光照改变了图像中的脸部颜色、图像大小改变、旋转人脸中双眼 不在鼻子的正上方等人脸特征发生变化时，原有的肤色、模板、知识就不再适用。 解决问题的出路在于综合使用多种方法，结合大量局部特征、实行多角度、多粒 度检测。可是，这样也会导致计算时间大大增加，不再满足快速度人脸检测的要 求。利用人脸五官分布特征的知识模型方法能够在一定程度上适用于复杂背景图 像中的人脸检测，同时达到较高的检测速度。 基于统计的方法般比较复杂，需要从大量典型的数据获得统计特征，更是 和处理事先训练和定义好的人脸类型。这类方法具有的优点是不依赖于人脸的先 验知识和参数模型，可以避免不精确或不完整的知识造成的错误，能通过增加训 练样本来扩充检测的范围，提高系统的鲁棒性。但由于需要对所有可能的检测窗 口进行穷举搜索，计算复杂度很高，因此检测速度慢，另外“非人脸一样本的选 取仍然是一个较为困难的问题。 由于人脸的复杂性，单纯的使用某种特征( 如颜色、轮廓) 的提取作为检测 方法都无法适应所有的环境，故常用综合各种特征的方法尽可能的适应环境的需 要。本文采用肤色区域分割与人脸特征验证结合的方法，将肤色信息作为预处理 对彩色图像进行肤色区域分割，进而综合运用人了五官分布来验证候选区域，该 方法具有一定准确性和鲁棒性，适用于复杂背景图像中的人脸检测，同时达到较 高的检测速度。 2 3 基于肤色特征的人脸检测算法 本文处理彩色图像，肤色在彩色图像人脸检测的应用中被证明是一种有效的 沈阳理工大学硕士学位论文 特征。基于肤色信息的人脸检测方法优点是速度快，而且肤色检测对旋转、移位、 表情变化等不敏感，将人体肤色特征应用于人脸检测、手势识别，比利用灰度信 息具有更大的优势。简单环境下的基于肤色的人脸检测与跟踪、手势识别，可以 利用肤色检测直接实现，对于复杂环境下的应用，利用人体肤色特征可以大幅度 减小搜索空间，加速结果检测，提高运算性能等。所以，基于肤色特征的人脸检 测算法的研究在人脸检测领域中占有重要地位。如何利用肤色信息也有许多不同 的考察问题的角度： ( 1 ) 将肤色判断作为人脸检测的核心方法 这种利用肤色的方法是通过分割手段找到图像中的肤色区域，然后直接或只 进行简单的处理后将肤色区域当作人脸。在对检测结构要求不是很高的情况下， 这种单纯利用肤色来检测人脸的方法还是可以利用的，而且可以更加突出肤色信 息在应用中处理速度快的优势。 ( 2 ) 将肤色判断作为人脸检测的预处理 这是肤色信息在人脸检测算法中比较常见的应用。与其他人脸检测方法进行 比较，肤色的判断具有速度上的明显优势，因此将其作为人脸检测方法的预处理 环节，可以在很大程度上减小人脸检测的搜索范围，降低误报率，进而大大提高 人脸检测算法的整体性能。 ( 3 ) 将肤色判断作为人脸检测的后期验证 既然肤色判断可以作为人脸检测的预处理，那么在没有利用肤色信息的人脸 检测的后期，可以增加一个利用肤色判断来进行验证的环节。它不但可以用来衡 量前期检测算法的好坏，也完全可以集成到一个完整的人脸检测算法中去，这样 的肤色信息后验证对提高人脸检测算法的正确率、降低误报率有很大的帮助。 但由于肤色受诸多因素的影响，如人脸种族及个体差异、光源的颜色、光照 角度的不同所造成的高光和阴影等，只用肤色检测人脸的结果很不可靠，不能对 人脸进行精确定位，只能作粗略的人脸位置估计。肤色可以作为一种辅助手段， 用来减少人脸的可能区域，或与其它特征相结合提高检测速度和正确率，而不能 作为独立的检测手段来进行人脸检测。 在分析了以往基于肤色的人脸检测方法的基础上，本文采用肤色检测加特征 验证的算法对彩色图像进行人脸检测。这种方法首先，将肤色判断作为人脸检测 第2 苹人脸检测算法综述 的预处理，把接近于皮肤颜色的区域从图像中分离出来。使后续的人脸检测过程 只在这些肤色区域上进行，从而有助于人脸检测速度和精度的提高；然后，根据 面部特征在色彩空间的颜色特性，通过数学形态学运算突出这些特征；接着，对 由双眼和嘴形成区域进行基于特征的验证；最后，进行人脸区域的确定。本文方 法能成功检测竖直或者有较小旋转角度的正面人脸和侧面人脸，算法的主要贡献 在于肤色分类之前，先进行光线补偿从而减小了高光和阴影对人脸肤色的影响。 同时，还在色度空间分析了面部特征的内在规律，使得特征提取也较为成功。 本文基于肤色的人脸检测算法具体步骤包括：肤色模型的建立、图像预处理、 肤色检测、肤色分割、人脸验证、人脸区域标定和特征定位，人脸检测算法的系 统框架如图2 2 所示。 囤 区虽一二 回圈 臣斗匮囤匝蛰 2 4 本章小结 图2 2 人脸检测系统框架图 本章主要介绍了人脸