（电路与系统专业论文）基于分类器融合的人脸检测算法研究[电路与系统专业优秀论文].pdf

摘要 摘要 人脸是一个信息极丰富的模式集合，是人类互相判别、认识、址忆的t 要标 志，在计算机视觉、模式识别、多媒体技术研究中占有重要的地位。人脸检测作 为人脸图像应用领域巾的关键技术，近年来受到研究者的普遍重视。本文结合国 家自然科学基金项目，对彩色图像中的多姿念人脸检测技术进行了深入的研究。 本文详细分析了v i o l a 等人提出的a d a b o o s t 层叠式人脸检测算法，采用积分 图像的表示方法，快速计算出弱分类器用到的特征，然后基于a d a b o o s t 学习算法， 从一个较大的特征集中选择少量的关键特征，产生一个高效的强分类器，再用级 联的方式将单个的强分类器合成为一个更加复杂的分类器，既降低了误识率和计 算时问，又显著提高了检测性能且具有不断扩展升级的能力。本文针对具有复杂 背景的彩色图像和视频图像中多姿态人脸检测问题提出了一种基于多分类器融合 和人脸肤色验证相结合的人脸检测方法。首先使用a d a b o o s t 层叠式算法分别训练 正面脸分类器和侧面脸分类器，用得到的分类器并行检测彩色图像，将f 面人脸 检测结果和侧面人脸检测结果相融合得出可能包含人脸的候选区域，同时在 y c b c r 色彩空问建立肤色模型对候选区域作进一步的人脸验证，最后标定出入脸 区域。本文提出的算法对不同姿态人脸分类器信息进行融合，利用了人脸灰度纹 理特征和人脸肤色信息进行验证，对人脸姿态和图像背景有较强的鲁棒性。 本文针对彩色图像构造了正面人脸、侧面人脸和复杂姿态人脸三组测试集， 分别用正面脸分类器、侧面脸分类器、正面脸和侧面脸融合分类器以及本文构造 的分类器进行人脸检测。实验结果表明，本文系统不构造一个复杂的多姿态人脸 样本库，而是将正面和侧面等不同姿态人脸的检测任务划分给不同的分类器并将 分类器的结果进行融合，提高了对复杂姿态人脸的检测概率，后期的肤色验证又 大大降低了虚警检测概率。另外，本文针对动态图像构造了室内外四组多姿态人 脸视频测试集，同样用上述四种分类器分别进行人脸检测。实验结果表明，本文 系统的肤色验证是在少量候选人脸区域进行的，不仅能够准确、可靠地检测出人 脸，而且具有很高的处理速度，能够满足实时人脸检测的需要。 关键词：人脸检测a d a b o o s t 层叠式算法肤色验证多分类器融合 a b s t r a c t a b s t r a c t 珏珏l n 被蠡e ee m b o d l e se x t 瓣m e | yr l e 量l 攥o m l a 量l o 秘醐d 弧镪ek ys y 荻l b o lf 。 d i s t i n g u i s h i n g ，r e 加g n i z i n ga n dm o m o r i z i n gi n d i v i d u a l s h u m a nf 配ed e t e c t i o np l a y s a ni m p o r t a n tm l ei nr e s e a r c hf i e l d so fc o m p u t e rv i s i o n ，p a t t e mr e c o g n i t i o na n d m u l t i m e d i a 把c h n o l 。g y - a st h ee s s e n a lt e e h n o l o g y 泌f a c ei m a g oa p p l i c 破i o 娃甜e a h u m a nf 酝ed e 毫e c t i o nh 8 sb e e 拄f e 辩a f c k di 瓣璐i v o yr e c e n t l ys u p p o r t e db yn 戳i o n a i n a t u r a ls c i e n c ef o u n d a t i o no fc h i n a ，t h i sp a p e rs t u d i e st h ep r o b l e mo fv a r i a n tp o s e h u m a nf a c e sd e t e c t i o ni nc o l o ri m a g ea 1 1 dv i d e o 1 nt h i sp 礞e 毛氇ea d 酶s tc a s e 鑫翻f e & 绝e t i o 魏a l g o 瘩融艄筘s 裾b yv o l ae t a 1 i sa n a l y z e di nd e t a i l f i r s t ly ，i tu s e san e wi m a g er e p r e s e n t a t i o nc a l l e dt b e “i n t o g r a l i m a g e ”w h i c ha 1 1 0 w st t l of e a t u r e su s e db yo u rd e t e c t o rt ob ec o m p u t e dv e r yq u i c k ly s e c o n d l kal e a f n i n ga l g o d m m ，b a s e do na d 8 b o o s t ， s 即p o s e d ，w h i 姨l e c t sa s m a l l n l l 芏i l b 蹦o fc f i t i c a lv i s u a l 是a 芏u r e s 晒mal a 猎e rs 戳秘dy i e i d s 母x 溉翻e i ye 懋e i c n t c l a s s i f i e r s f i n a l ly ，am e t h o df o rc o m b i n i n gi n c r e a s i n gm o r ec o m p l e xc j a s s i f i e r sj na c a s c a d ec l a s s 讯e ri sf o r m e d t h i sa l g o r i t h mn o to n l yd e c f e a s e sf a l s ea l a 玎nr a t ea n d 强珏珏i 珏gt i 糯os i g 珏i 蠡e 鑫穗l y b u l 蠢s oi 掰p v e sb 矗糯据a 醚p r o 獭。重e s 氇ea b i l i 锣醴 e x p a n s i o ni n c r e a s i n g i y an e w f a c ed e t e c t i o na i g o r i t h mf o rv a r i a n tp o s ef a c e sd e t e 烈i o n i nc o l o ri n l a g ei sp r o p o s e d ，w h i c hd e t e c t sf a c e sb yu s i n gc a s c a d oc l a s s i f i e r sf u s i o n 孙l l o w e db ys k i nc o l o fv e 越蠡c a t i o n 珊oc l a s s i 蠡e f s ，o 藏ef o rf 如n t a lf a c ea n d 氆eo 壕e r f o rp f o 矗l el 如e ，a r e 捏d n e db y 盘ea d a b s ta l g o r 讧t h e yw o r k 濂p 啪l k i 如fe o l o r i m a g ed e t e c t i o n ，a j l dt h e i rd e t e c t i o nr c s u l t sa r ec o m b i n e dt of o r mc a i l d i 出f a c e r e g i o n s t h e s ec a n d i d a t er e g i o n s 黜托r n l e r 、r j f i e db ya s k i nc o 】o rm o d e li ny c b c r e 囊羚m l 珏鑫稳e os p a 。f 攮建l xt 量辩蠡e e 抟g i o 珏si 玫蕊g i 鞋越i m a 秘a 羚圭。电e l e d 豫e p r o p o s e da l g o r i m mi n t e g r a t e sr e s u l t sf m md i 岱j r c n tc 1 嬲s 湎e r s ，m 甜su s eo f g r a ys c a l e a i l dc o l o rd i s l ：r i b u t i o ni n f b m l a t i o no f h u m a i lf a c ea n di m p r o v e sh i tr 砒oa 1 1 dd e c r e a s e se f 蠹i s ea l a r 辙如s i g m 基e a 瓣yw 至也al a r g es e to fc o l 髓i 撙a g e s 秘dv i o sc o n t a 主n i n g o n eo rm o r ef a e e s 谢氇v 甜i a n tp o s e ，t h ep r e s e m e d 翻鬈o d t h r ni sr o b s tt o 蠡e ep o s e 皴d b a c k g r o u n dv a r i a t i o n i n 也i sp 印e r ，t 1 1 r e ec o l o ri m a 馨ct e s ts e t sa r ec o i l s t r u c 把di n c l u d i n g 舶n t a la n d p 羚鑫l e 蠡c e e 髓辩，v 静i a n s e 盘e e s e s ts e 圭 a c ed e t e e 圭。珏w o 淼8 鼹氆e s es e s 糙i 薹l g f r o m a la n dp r o f n e 白c ec l a s s m e r ，c o l n b i n e dt w ot y p e sc l a s s i f i e ra n do u rp r o p o s e d c l a s s i n e rr e s p e c t i v e l y e x p e r i m e n tr e s u l t ss h o wt 1 1 a tv a r i a n tp o s ef a c es a m p l e sa r en o t 麟丁分类器融合的人脸检测算法研究 建e c e s s 8 i y op t 建i no n es i n g l ed a 辜a 蠹a s e f a ed o t i 哦 a s 羹i sp e f 勤潍e db y 瓤s i o n d e t e c t i o nr e s u l to fi n d i v i d u lf r o n t a la n dp r o f i l ef a c ed e t e c t o lt h ep r o p o s e dm e t h o d p r o m o t e sh i tr a t ef o rv a r i a l l tp o s ef 如ed o t e c t i o n ；a n dt h a ts k i nc o l o rv e d f i c 砒i o nc a n f u 瞧h e rm o f ed e c 豫a s e 蹦s ea l 疆mr a 话1 n 藤d i t i o n ，f 。獬v a f i 锄tp o s o 蠡e ev i d e o 抛s t s e t sa r ec ) n s 打u e t e di nb o t hi n d o o ra n do u t d o o re n v i r o n m e n t ，u s i n gt h es 甜n e c l a s s i f i e r sa sa b o v e 印a r t ，t h ee x p e r i m e n ti n d i c a t e st h a ts k i nc o l o rv e r m c a t i o no n l y w o r k so nc a n d i d a t er e g i o n s ，s ot h a t 也ep f o p o s e dc l a s s 撼e ra l g o 血h mn o to n l yd e t 。c t s 蠡i c oa c e w 蘸oa n dr e l i 西l e ，b u ta l s o 强n s 氛s e t 强di s 弱 et ob e8 p p l i e d o 氆ef e a l t i 黼e f ；l c ed e t e c t i o h ， x e yw o r d s ：擎蠢c ed e 据e | i o 嚣 a d 8 b o 辞s | e 矗s e a d e 珏l 黔糠融m s s 埘nc o l o rv e r i 矗c a t i o nm u l t j p i ed a s s 淤e rf u s 0 n 创新性声明 搴入声骥所呈交静论文是我个人在导拜指导f 进行静研究工 乍及取得静研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包台为获得西安电子科技大学或 筵它教穷参秘楚学位或诞书焉使罔过瓣零孝辩。与我一霹 ：嫠静黼悫列本研究所激 的仟何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：鹭兰聋 闩麓：一坦! 垂! 墨i 。 关于论文能用授权懿说明 本人完全了艇磋安电子科技大学鸯关保整程使惩学位沦文熬缎定，露：磷究 生在铰攻滨学位期澍论文工作的知识产权单位属磷安屯予科技大学。本人裸涎毕 业离校后，发表论文或傥用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保霹送交论文的复印件，允许褒阅和借阅论文；学校可以公靠的全部域 部分内容，可强允诲采掰影印、臻印或其它菱裁手羧绦存论文。( 裸密豹论文在解 密后遵守此规定) 本人签名： 导师签名： 望蓬 粤啦 刚鬟：搬毛! ：簦! 同期：型! 墨! l ! 生 第章绪论 第一章绪论 1 1 引言 人脸是个信息极丰富的模式集合，是人类互相判别、认识、记忆的主要标 志。人脸识别在计算机视觉和信号处理领域占有极为重要的地位，人们越来越注 意对人脸图像的研究，让机器能够具有人的智能，使它们可以像人脑一样判别、 人识、记忆人类，是全世界计算机工作者的一个愿望。 近年来，随着高速计算机和人_ _ 【二智能等技术的发展以及商业和执法等方面需 求的增长，利用人脸图像进行自动的人脸识别和身份验证的研究和应用得到了空 前的重视 卜2 1 ，并取得了长足的进步。很多科研机构，例如m i t 、c m u 、u s c 等 等，都先后在这个领域给出了实验系统。 人脸图像身份验证研究如此重要，首先在于人脸图像身份验证技术具有广泛 的应用领域和光明的应用前景，比较典型的应用有：身份验证，视频会议，罪犯 识别，场景监视，图像检索等。从这些应用可以发现人脸图像身份验证的基础和 前提是人脸检测( f a c ed e t e c t i o n ) ，其主要任务是提取背景中的人脸并对人脸的位 置进行标定，即把整幅图像分割成两部分：一部分为人脸区域，另一部分为非人 脸区域，然后进一步获取脸部信息，并对人脸的行为进行描述，进而完成对人脸 识别的分析和理解。因此，检测对于整个人脸图像应用系统的性能起着关键性作 用。人脸检测在整个系统中的作用可用图1 ，1 表示，从图中我们可以看到，检测 结果的好坏直接影响到人脸识别的性能。一个较为完整有效的人脸识别系统对人 脸检测的要求主要包括检测准确性、定位精确性和检测速度。 h h m_ j 、j 嘛拎m nl 刮视频传输b 火：x l ) 壬l 、月1 m 剖视频监控b a ，气飞i 毫、。一 图1 1 人脸检测在人脸图像应用领域的作用 在实际应用中，由于客观因素的影响，人脸检测问题的难易程度以及处理方 法有很大差异。在某些情况下由于图像( 照片) 的获取环境是可以人为控制的( 如身 份证照片等) ，因而人脸的定位可以轻易地做到；但在大多数的场合中由于场景较 基于分类器融合的人脸检测算法研究 复杂，人脸的位黄是预先不知道的，因而首先必须确定场景中是否存在人脸，如 果存在人脸，再确定图像巾人脸的位置。脸部毛发、化妆品、光照、噪声、面部 倾斜和人脸大小变化以及各种各样遮挡等凼素会使人脸检测问题变得更为复杂。 经过多年的发展，人们己经提出了多种人脸检测方法。下面对目前人脸检测的研 究现状进行详细总结。 1 2 人脸检测研究国内外现状 目前，国外对人脸检测问题的研究很多，比较著名的有m i t 、c m u 等；国 内的清华大学 3 - 7 】、北京工业大学8 ，9 1 、中困科学院计算技术研究所【l o j 和中国科学 院自动化研究所】等都有人员从事人脸检测相关的研究。而且，m p e g 7 标准组织 已经建立了人脸谚 别草案小组，人脸检测算法也是一项征集的内容。随着人脸检 测研究的深入，国际上发表的有关论文数量也大幅度增长，如i e e e 的f g ( i e e e i n t e m a t i o n a ic o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ) 、 i c i p ( i n t e m a t i o n a lc o n f e r e n c eo ni m a g ep m c e s s i n g ) 、c v p r ( c o n f h e n c eo nc o m p u t e r v i s i o na n dp a t t e mr e c o g n i t i o n ) 等重要国际会议上每年都有大量关于人脸检测的 论文，占有关人脸研究论文的近1 3 之多。有关人脸检测的内容在人脸识别研究 的综述中有所涉及【1 ，2 1 ，但仅仅侧重于人脸识别系统的输入环节，目前较为详尽的 人脸检测与跟踪综述为文献1 2 1 5 ，着重于介绍各种方法所使用的特征和模型。 本文从人脸检测的问题分类与人脸检测的典型方法对近年来的研究进行粗略总 结。 1 2 1 人脸检测问题的分类与人脸模式分析 人脸检测问题所包含的内容十分广泛，可以有多种分类方法l l ”，表1 1 从不 同角度介绍了目前人脸检测的分类。人脸图像所包含的模式特征十分丰富，如图 1 2 所示。这些特征中哪些是最有用的、如何利用这些特征，是人脸检测要研究的 个关键问题。人脸模式具有复杂而细致的变化，因此一般需要采用多种模式特 征综合的方法，如图1 - 3 所示。由于人脸检测问题的复杂性，无论哪一类方法都 无法适应所有的情况，一般都针对人脸检测领域内某个或某些特定的问题。 第一章绪论 表1 1 人脸榆洲问题的分类 分类依据类别 静态幽像( 包括如数字化的照片、动态图像( 即视频序列，包括l ：作台前 图 数码相机拍摄f 勺列片等，目前考的人脸序列、保安监控录像、影视资 像幽像来源 虑的主要问题是算法的适鹰性和料等，往往与人脸的跟踪问题交织在 类 鲁棒性，算法速度在其次)一起，对算法的速度有很高的要求) 型 颜色信启， 彩色灰度 镜头类型头肩部图像、 ，身全身幽像 幽 人脸姿态正面( 包括端止及平面内旋转)侧面( 包括俯仰、侧影与旋转) 像 一前 单个( 义可以称为人脸定位，是人 未知( 需要判定图像中是否存在人脸， 人脸数目脸检测问题在已知人脸数目情况人脸的数目以及各个人脸的尺度和位 景 f 的特例)置，即是完全的检测问题) 简单背景( 指无背景或背景的特复杂背景( 指背景的类型和特征不受 图像背景征被严格约束，在该条件r 只利约束，某些区域可能在色彩、纹理等 复杂科度用人脸的轮廓、颜色等少鬣特征，特征上与人脸相似，必须利用较多的 就能够进行准确检测)人脸特征才能做到准确检测) 人脸信息处理( 验证、识别、表情分析等) 、视频会议或远程教育系统、 应用领域 视觉监视与跟踪、基于内窬的图像与视频检索等等 简单蛆台 ( 加权甲均 等) 概率分布 ( b a y e s 推 理等) 统计推断 ( 假设检验 等) 人脸 特征 启发式综合 ( 知u 规则 推理等) ( 人工神经 州络、支持 矢量机等) 模糊决策 ( 模糊推理 等) 圈1 2 人脸模式的特征图1 3 各种特征的综合 1 2 2 人脸检测的主要方法盼1 6 郴】 从广义上讲，人脸自动检测的对象既包括整张人脸，也包括某个面部器官， 如：眼睛、嘴巴、鼻子、眉毛等。检测的内容除了从一幅背景图像中将被检测对 象分割出来以外，还包括确定其位置、大小、方向甚至形状等等。y 抽g 等”慵人 基于分类器融合的人脸检测算法研究 脸检测定义为：任意给定一幅图像或者一组图像序列，人脸检测的目的就在于判 定该图像或图像序列中是否存在人脸，如果存在，则确定其位置和空间分布。根 据这个定义可知，人脸检测可分为两种情况：第一种情况是在静止图像中判断是 否存在人脸，若存在，则定位人脸的位置：第二种情况是在图像序列中判断是否 存在人脸，若存在，则动态地跟踪人脸。 1 基于知识的方法 这种方法是利用对人脸的先验知识导出的规则来进行人脸检测。人脸局部特 征的分布总是存在着一定的规律，例如人的两个眼睛总是对称分布在人脸的上半 部分，鼻子和嘴唇中心点的连线基本与两眼之间的连线垂直等。于是，我们可以 利用一组描述人脸局部特征分布的规则来进行人脸检测。这些规则可以表述为人 脸局部特征之间的相对距离和位置关系等，当满足这些规则的图像区域找到后， 则认为幅人脸己被检测出来，然后可以对候选的人脸区域进行进一4 步的验证， 以确定候选区域是否包含人脸。 弓赛克图像( m o s a i ci m a g e ) 是一种简单的图像多分辨率表示方法。1 铀g 和 h u a ng 1 9 1 采用分层次的基于知识的方法进行人脸检测，他们建立了一个基于知识 的三层检测系统：第一层针对4 4 的马赛克图像块( q u a n e t ) ，根据相应的知识规 则寻找人脸候选区域；第二层针对8 8 的马赛克图像块( 0 c t e t ) ，也是根据知识规 则从各候选区域中确定人脸区域；第三层在人脸区域内，采用改进的边缘检测算 法进一步确定眼、嘴等器官的位置。 基于知识的方法所存在的问题主要是：识别率不高，如果图像背景中存在类 人脸区域，就很可能会导致误检测；对于不同视角的人脸，由于某些人脸特征不 可见，所以不能使用这种方法检测；用于描述人脸特征之间关系的规则不易设计， 规则制定得过高或者过低会造成拒检或误检。虽然这种方法存在着许多的局限性， 但是它采用的对图像进行马赛克处理、分层次检测和通过先验知识指导人脸检测 的思想对以后的研究提供了帮助。 2 基于机器学习的方法 基于机器学习的方法首先通过学习，在大量训练样本集的基础上建立一个能 对人脸和非人脸样本进行正确识别的分类器，然后对被检测图像进行全局扫描， 用分类器检测扫描到的图像窗口中是否包含人脸，若有，则给出人脸所在的位置。 采用这种检测模式的理论依据是：人脸具有统一的结构模式，如果把所有的 图像集看作一个高维线性空间，那么整个人脸图像集仅对应于其中的某个子空间。 于是可以通过检验待测图像窗口是否落在这个子空间中来判断其是否为人脸。因 此，可以通过大量的人脸和非人脸样本来训练一个分类器，使它能够正确分辨这 两种不同的图像模式。再利用训练好的分类器在未知的图像中检测人脸。采用这 种检测策略的关键在于如何选取大量的具有代表性的图像样本，特别是非入脸图 第一章绪论 像样本来训练分类器。具体分类器的实现可以采用不同的策略，如采用神经网络 的方法和传统的统计方法等。采用这种方法进行人脸检测的例子有s u n g 和 p o g g i o m2 j j 提出的基于样本学习的人脸检测方法，m k ，p e n t l a n d ，m o 曲a d d 锄 等p 2 4 1 提出的基于主成分分析( p c a ) 的人脸检测方法以及r o w l e y 等【2 5 2 6 1 实现的 基于神经网络的方法，o s 吼a 等【2 7 j 的基于支持向量机( s v m ) 的方法等。 ( 1 ) 基于统计的人脸检测方法 t k 和p e n t l a n d 在人脸识别领域中提出了著名的特征脸方法【2 2 】，同时也将它 用于人脸检测。特征脸方法的实质是通过变换获得人脸模式在整个图像空间中的 降维子空间( “脸空间”) ，并根据待识别样本到“脸空间”的距离确定它是否属 于人脸模式。p e m l a n d 等 2 4 】提出了一种基于特征子脸的人脸及人脸特征的检测方 法，建立了特征眼、特征唇等，通过计算被测图像区域与特征子空间的距离 d f f s ( d i s t a n c ef r o mf e a t u r es p a c e ) 是否小于某一阂值来判断其是否属于该特征 子空间。m o 曲a d d a m 等【28 发现人脸在特征空间的投影聚集比较紧密，因此i i i 面若 干张特征脸向量主元子空间和与其正交的补空间中相应的距离度量分别称为 d i f s ( d i s t a l l c ei nf e a t u r es d a c e ) 和d f f s ，对于人脸检测问题，由于没有考虑样本 的分布，需要同时使用d i f s 和d f f s 才能取得较好的效果。同时，他们利用图 像空间中的特征向量分解，建立了两类训练样本的概率密度估计。这种方法所存 在的缺点主要是：只能在图像中检测垂直正面的人脸；用于建立人脸模型的样本 数量太大；进行全局搜索的时间较长。但是，其提出的通过建立标准人脸模型来 检测人脸的思想启发了以后的研究。 ( 2 ) 基于神经网络的方法 神经网络的方法是把模式的统计特性隐含在它的结构和权值之中。g b u r e l 和d c a r e l 【2 9 】在多分辨率分析的基础上采用多层感知器( m l p ，m u h i l a y c r p e r c e p t i o n ) 进行人脸检测。j n c e n t 等川利用多个m l p 构成了分层人脸特征检测 系统( h p f l s ，h i e r a r c h i c a lp e r c e p t r o nf e a t u r el o c a t i o ns y s t e m ) 。p j u e l l 和r m a r s h i 引j 提出了一种分层的神经网络，包括子层的检测眼睛、嘴巴和鼻子的三个b p 网络 以及父层检测全脸的一个b p 网络。s l i n 等【3 2 】提出了一种基于概率决策的神经网 络( p d b n n ，p m b a b i l i s t i cd e c i s i o n b a s e dn e u r a ln e t w o r k ) 分别进行人脸和眼睛的检 测。在基于神经网络的人脸检测方法中，值得一提的是由r 0 w l e y 等【25 】人所做的 工作。他们的系统分为两个部分：第一个部分是一个基于神经网络的分类器，它 接受大小为2 0 2 0 的图像窗口作为输入，产生一个从1 到1 范围内的输出来标明 该图像窗口中是否包含人脸，输入的图像窗口在提供给神经网络之前采用了s u n g 和p o g 画。的方法中同样的预处理过程：第二部分是合并重复检测位置并做出判 断，图像进行扫描检测时，为了检测不同大小的人脸，对原图像做了放缩处理， 因此对于一个正确的人脸位置，可能有若干个窗口标识它，为了给出一个唯一的 基f 。分类器融合的人脸检测算法研究 检测结果，在第一阶段给出的所有检测位置中采用与、或、投票等操作，得到 个最恰当的包含被检测人脸的窗口。除了垂直f 面人脸的检测方法外，r o w l e y 等 2 6 】又提出了一种改进方法，用于检测图像中有不同角度偏转的人脸，增加了判断 图像旋转角度的神经网络。 ( 3 ) 基于支持向量机的方法 支持向量机( s v m ，s u p p o r tv e c t o rm a c h i n e s ) 是v a p n i k 等删提出的基于结构风 险最小化原理( s r m ，s t n 】c t u r a lr i s km i n i m i z a t i o np r i n c i p l e ) 的统计学习理论，用于 分类与回归问题。s r m 使v c ( v 却n i kc h e r o v n e l l k i s ) 维数的上限最小化，这使得 s v m 方法比基于经验风险最小化( e r m ，e m p m c a lr i s km i n i i n j z a t i o np r i n c i p l e ) 的 人工神经网络方法具有更好的泛化能力。o s u n a 等【2 7 】首先将支持向量机( s v m ) 用 于人脸检测。该方法使用大量的人脸样本和“自举”方法1 2 l j 收集的“非人脸”样 本训练s v m ，对每一个1 9 1 9 的检测窗口使用s v m 进行分类，用以区分“人脸” 和“非人脸”窗口。0 s u n a 等指出，s v m 分类器的作用是刻划了“人脸”样本和 “非人脸”样本之间在结构风险最小化意义上的最优分界面。 3 基于特征的方法 基于特征的人脸检测方法是通过检测出不同的人脸面部特征的位置，然后根 据它们之间的空间几何关系来定位人脸。这种方法的依据是：人们可以检测出不 同姿态和光照下的人脸和物体，因此一定存在一些在这些变化条件下的不变特征 和特性i ：1 7 】。该方法所面临的主要问题是：由于图像噪声等因素的影响，造成人脸 特征不明显，使得根据特征的算法失效，从而产生拒识或误识。 y o w 和c i d o l j a 【3 4 】提出了一一种改进的基于局部特征的方法，使它更适合于检测 图像中不同大小、方位和视角的人脸。h a i l 等【35 】提出了一个基于形态学顶处理的 快速人脸检测方法。系统分三个步骤：第一步，基于形念学的技术用于眼睛近似 物分割，然后用标记产生眼睛近似物分段；第二步，利用这些眼睛近似物分段来 指导搜索潜在的人脸区域；最后一步是人脸区域验证。这个检测系统采用了基于 局部特征和基于神经网络的方法，综合了两种检测策略的长处，从而提高了检测 准确度。b u r e l 等人冽建立了人脸局部特征之间相对位置关系的概率描述，能识 别经过平移、旋转过的人脸。采用了基于弹性模板的软检测策略，能克服图像光 照变化等的影响。这种方法是基于局部特征和基于模板这两种检测方法的结合。 4 基于模板的方法 基于模板( t e m p l a t e - b a s e d ) 的方法是指从构造人脸或某个面部器官的模板( 模 型) 出发，通过各种模板的搜索与匹配，结合模板参数的调整，达到检测和定位的 目的。早期的尝试是s a k a i ，n a g a o 和f u j i b a y a s h i 口6 】检测照片中的前视人脸。他们 使用了眼睛、鼻子、嘴巴和脸部轮廓的多个子模板进行人脸建模。l i e 等人“j 提出了基于变形模板的方法，用于人脸特征的抽取。变形模板是由一个根据被测 第一章绪论 物体形状而设定的参数化的可凋模板和与之相应的能量函数所构成，能量函数要 根据图像的灰度信息、被测物体轮廓等先验知识来设计。活跃轮廓模型法是一条 在外部约束力作用下的能量最小化样条曲线，办称蛇形法( s n a k e sm e t h o d ) 。它通 过迭代的方法可以不断修f ，逐步趋近图像巾的线条或边缘。h u a n 卫和c h e n 3 9 】 采用活跃轮廓模型法( a c t i v ec o n t o u rm o d e lm e t h o d ) 完成了头部轮廓、眉毛及鼻孔 的检测。类似地，k l 砌和h y a n 也用它进行了头部轮廓的检测。g o v i n d a m i u 等眦4 2 1 提出了一一种在报纸照片中检测人脸的方法。他们构造了一个弹性模型 ( s p r i n gm o d e l ) 来描述人脸，两条直线代表两侧面颊，两条弧线代表头顶与下巴。 j e n g 等【4 3 】也提出了一种几何模型( g e o m e t r i c a lm o d e l ) ，对于通过预处理而获得的 特征块( f e a t u r eb l o c k s ) 逐匹配，最后选取评价函数最优者。 人脸检测是一个艰巨而有趣的问题，目前所提出来的方法很多，一些比较有 效的人脸检测系统并不只是采用上述分类中的某一种方法，丽是将多种方法有机 地结合起来，最大限度地利用从图像本身得到的信息以及从大量样本( 包括j 下例和 反例) 得到的信息，并充分结合先验知识共同实现人脸检测。 1 1 3 人脸检测问题可用的图像库“4 目前用来训练和测试人脸检测和识别算法的图像库应用较多的大致如表l - 2 中所列。这些图像库大部分是针对人脸识别问题建立的，用于人脸检测时要做适 当处理。目前己有的人脸检测库一般是针对特定的人脸检测算法( 例如 m i t c b c l f a c e d b 的训练集的人脸是为文献 2 0 】而创建的；训练集的非人脸是为 文献【4 5 】而创建的) 。由于各种人脸检测算法之间差距较大，没有针对一般人脸检 测问题的标准的人脸库也是可以理解的。虽然这些图像库的大部分不能直接拿来 训练或测试人脸检测算法，但其提供的大量的人脸图像，经过一些有针对性的加 工后可以用于人脸检测算法的评价。 表1 2 常用的人脸图像库 图像库名称 位置 简介 m i tm e d i al a b s f c p ：1 w h i t e c h 印e i m e d i a m i t e d 包括1 6 人，每个人有不同光照、不同 d a t a b a s e u p u b i m a g e s ， 尺寸、不同角度的2 7 幅图像。 m j tc b c l ( 生物 b t l p ：w w w a i m i t e d u ，p r o j e c t s ， 训练集6 9 7 7 幅图像( 2 4 2 9 幅人脸，4 5 4 8 l 干计算学习中 c b c l s o r w a r e d a t a s e t s f a c e d a t 幅非人脸) ，测试集2 4 0 4 5 幅图像( 4 7 2 l 心) f a c e d a t as e t a 2 h t m l 幅人脸，2 3 5 7 3 幅非人脸) 。 基丁分类器融合的人脸检测算法研究 此幽像库包含人餐的人脸幽像，并爿每 f e r e t ( 美国军 h 即：w w wn j s t 鹰o v 1 1 u m a n i d f 幅劁像中均只有个人脸( 有某种表 方) d a i a b a s ee r e t 情) 。 h n p ：九m a g e s e e u m l s t a c u k ，d a 2 0 个人共5 6 4 幅图像，每个人具有不同 u m i s td a t a b a s e n n d a t a b a s eh m l j 角度、不同姿态的多幅幽像 邱：i a m 邱u n i b e c h p u b ，i m a g e3 0 个人3 0 0 幅正视幽( 每人1 0 幅) ，15 0 u n i v e r s i t vo fb e m ，f a c e i m a g e s 幅侧视图( 每人5 0 幅) 不同光照条件f 的带有表情和1 眼镜的 y a i ed a t a b a s e h t t p ：c v c y a l e e d “ 人脸库 4 0 个主题，每个主题l o 幅图像( 每人 a t t ( 0 1 l v e t t t i ) h t c d ：w w 砒u k r e s e a r c h 础c o m1 0 幅图像) ，和】5 0 侧面人脸图像( 每人 d a t a b a s e 5 幅) h 廿p ：c v c y a l e e d “p e o p j e f a c u l 具有大量剪裁过的不同光照条件f 的 h a h a r dd a t a b a s e t y b e l h u m e u l h t m l 正面人脸图像 1 1 t c p ：p o s e f d o n c s d a u f hg h f 2 一个多模型的包含多种图像序列的幽 m 2 v t 8 。a 诅6 a s e v t s i n d e x h t m l 像库 h t t p ：r v f1 e c n p u r d u e e d 锄i e i3 2 7 6 幅在不同光照卜带有不同表情和 p u r d u ed a t a b a s e “a l e i x _ f a c e 遮挡的人脸图像 最近几年来，随着人脸检测研究的不断深入，研究者们编辑了多个人脸检测 测试图像库如表1 3 所示。s u n g 和p o g g i o m “j 提出了两个人脸检测测试库：第一 个库包含7 1 个人的3 0 1 个正视或近似正视人脸图像，这些图像各自的光照条件均 不相同：第二个库包含2 3 幅图像共1 4 9 个人脸，每幅均有复杂背景，并且人脸在 图像占很小的比例。而用的最广泛的测试库是由r o w l e y 等人提出来的，包括1 3 0 幅图像共5 0 7 个人脸，大多数的图像在统一背景下有多个人脸，能够很好地评价 人脸检测方法。 表1 3 标准的人脸检测测试图像库 图像库名称位置简介 m i t l 色s ts e th t t d ：，c s c m u e d u ，h a r 包含大量复杂背景人脸图像 c m uf r o n l a l h t t p ：c s c m u e d “h a r 包括1 3 0 幅图像共5 0 7 个人脸 f a c e t 色s t s e t c m up r o n i e 邱：e y e si u s c m u e d u j s r 2 0 m 共2 8 0 幅侧视人脸图 f a c e t b s ts e t p t e s t i n g _ f a c e _ i m a g e s t a l g z k o d a kd a t a 针对人脸检测和识别而设计的人脸库，包含多 s e t尺寸、多姿态和光照条件变化的彩色图像 第一章绪论9 从表1 2 和表1 3 可以看出，除k o d a k d a t as e t 之外，现有图像库大多是灰度 图像，这是因为早期的人脸检测和识别算法都是针对灰度图像展开的。随着彩色 图像的普及，彩色图像中的人脸检测方法( 例如基于肤色分割的方法) 也越来越受 到研究者的重视，对这些方法的训练、测试和评价的图像库还比较少，一般由研 究者根据特定的标准自主建立。 1 4 本文的主要工作及内容安排 人脸检测问题由于其自身的复杂性，使得虽然有众多研究人员潜心研究多年， 仍旧未能得到彻底解决。作为一个典型模式识别问题，人脸检测的研究取得的成 果无疑对其它的模式识别问题的解决有着良好的借鉴作用。因此，它已成为模式 识别领域的一个研究热点。 本文工作是结合国家自然科学基金“基于多光谱多镜头视频信息融合的人体 跟踪与识别方法研究( 6 0 4 0 2 0 3 8 ) ”，教育部留学回国人员基金“多镜头视频人体跟 踪与识别方法研究( 教外司留2 0 0 5 5 5 ) ”，陕西省自然科学基金“多光谱多镜头视 频跟踪和识别方法研究( 2 0 0 4 f 3 9 ) ”展开的。针对人脸检测中的若干问题，研究了 基于a d a b o o s t 的人脸检测和基于肤色的人脸分割方法，并将二者结合，提出了一 种基于多分类器融合和肤色验证的人脸检测方法。具体包括以下三个方面： ( 1 ) 基于a d a b 0 0 s t 的人脸检测研究 本文深入研究了基于a d a b o o s t 的人脸检测方法，该方法采用一种称为“积分 图像”的图像表示方法，快速计算出弱分类器用到的特征，然后基于a d a b o o s t 学习算法，从一个较大的特征集中选择少量的关键的视觉特征，产生一个高效的 强分类器，再用级联的方式将单个的分类器合成为一个更加复杂的分类器，使图 像的背景区域快速地丢弃，而在有可能存在目标( 人脸) 的区域花费更多的计算， 其在人脸检测方面速度快且性能好，是一个实时的人脸检测算法。 ( 2 ) 基于肤色的人脸检测方法 本文选择目前广泛使用的y c b c r 色彩模型来进行肤色分割和人脸验证，最终 构建了一个纯粹利用肤色来分割人脸的系统。对肤色区域分割算法进行了一定研 究。实验结果表明，这种人脸分割方法对于不同姿态、不同表情的人脸均有较好 适应性。 ( 3 ) 基于a d a b o o s t 层叠式分类器和肤色模型验证的人脸检测方法 本文首先使用a d a b o o s t 层叠式算法分别训练正面人脸分类器和侧面人脸分 类器，将正面人脸检测结果和侧面人脸检测结果相融合得出可能包含人脸的候选 区域，然后使用y c b c r 空间的肤色统计模型在这些候选区域中进一步验证人脸。 该算法既利用了不同姿态人脸分类器的信息融合，又利用了人脸灰度纹理特征和 1 0 基于分类器融合的人脸检测算法研究 人脸肤色信息的融合，对人脸姿态和图像背景有较强的鲁棒性，而且处理速度很 快，可以达到实时检测的目的。 本文的内容安