（信息与通信工程专业论文）基于准端正人脸检测算法的研究.pdf

国防科学技术大学研究生院学位论文 摘要 人脸识别在安全验证、视频会议等方面的巨大应用前景使其成为近年模式识别和人工 智能的研究热点，而人脸检测则是实现人脸识别的前提和关键，它影响着后续人脸识别的 精度和速度，是人脸识别技术实用化所必须解决的一个重要课题。人脸检测是一个极具挑 战性的研究课题，由于人脸模式错综复杂、易受干扰，因而目前人脸检测算法一般都存在 计算量大、速度慢、误报率高的缺点。 针对当前人脸检测的研究现状与难题，论文提出了三种人脸检测算法： 算法一是以本实验室拍摄的动态视频流灰度图像及c m u 单人脸数据库中的扶度图像 作为研究对象，将多模板匹配与差影法粗分割相结合来检测人脸。这种算法大大减小了搜 索人脸的范围，使得检测速度比单纯仅用多模板匹配来检测人脸提高了三倍多。 算法二是针对两帧差分图像之间所提供的差异信息过多或过少这两种极端情况，用差 影法粗分割对人脸图像进行预处理时失效而提出来的。本算法以动态视频流彩色图像为研 究对象，首先充分利用人脸面部的颜色信息，通过色彩空间变换，将肤色相对集中与稳定 的人脸面部区域分割出来，这样大大缩小了后续人脸检测的搜索范围；然后再利用多模板 匹配、镶嵌图验证和几何规则确认等几种方法相结合来检测人脸，与单纯仅用一种检测方 法相比较，进一步降低了该算法的误检率。 算法三是针对检测图像中的类人脸区域过多，同时帧图像间的差异信息出现两种极端 情况。致使基于肤色分割法和差分法都失效的情况下而提出的。本算法在传统b p 网络人 脸检测算法的基础上进行了改进，采用加动量项和学习速率自适应调整两种策略，使得网 络的收敛速度提高了约1 0 倍，检测正确率也得到提高。 论文提出的三种检测算法实现简单，与传统的检测算法相比较，均在不同程度上提高 了检测速度，降低了错检率。测试结果表明，提出的三种算法是有效可行的。 关键词：人脸检测，差影法，多模板匹配，肤色模型，b p 算法 国防科学技术大学研究生院学位论文 a b s t r a c t r e c e n t l yf a c er e c o g n i t i o nh a sa l r e a d yb e e na r e s e a r c h f u lh o t s p o to f p a t t e r nr e c o g n i t i o na n d a r t i f i c i a li n t e l l i g e n c eb e c a u s eo fi t se n o r m o u sa p p l i c a t i o nf o r e g r o u n d h o w e v e r ，f a c ed e t e c t i o ni s t h ep r e c o n d i t i o na n dl i n c h f l i no ff a c er e c o g n i t i o n f a c ed e t e c t i o na f f e c t st h ep r e c i s i o na n ds 白e e d o fl a t t e rf a c er e c o g n i t i o na n di ti sa ni m p o r t a n ts u b j e c tt ot u r nf a c er e c o g n i t i o nt e c h n i q u ei n t o a p p l i c a t i o n b e c a u s e o ff a c e p a r e r n sa n f r a c t u o s i t y a n d d e s t r u c t i b i l i t y , a l g o r i t h m s o ff a c e d e t e c t i o nh a v eal o to f d i s a d v a n t a g e ss u c ha sp l e n t i f u lc a l c u l a t i o n ，e x t r a o r d i n a r i l ys l o wo p e r a t i o n s p e e da n dv e r yh i g he r r o rd e t e c t i o nr a t i ou n d e rc o m m o nc i r c s s ot h a t ，f a c ed e t e c t i o ni sv e r y c h a l l e n g i n g i nt h i sp a p e r ，t h r e eh u m a nf a c ed e t e c t i o nm e t h o d sa r ep r o p o s e di na l l u s i o nt ot h es t a t u s q u oa n d d i f f i c u l t i e so f f a c ed e t e c t i o nr e s e a r c h t h ef i r s t a l g o r i t h m ，o fw h i c hs u b j e c t si n v e s t i g a t e d a r e d y n a m i cv i d e of r e q u e n c yg r e y i m a g e ss h o o t e db yo u rl a b a n dg r e yi m a g e so fc m u s i n g l ef a c ed a t a b a s e ，c o m b i n e sc o a r s e s e g m e n t a t i o no f d i f f e r e n c ei m a g ew i t hm u l t i t e m p l a t em a t c h i n gt od e t e c tf a c e s t h ea l g o r i t h m r e d u c e st h er a n g ew h e r ef a c e sa r et ob es e a r c h e d ，t h e r e f o r ei t sd e t e c t i o ns p e e di st h r e et i m e so f t h a to f o t h e rd e t e c t i o nm e t h o d su s e ds i n g l yb y m u l t i - t e m p l a t em a t c h i n g ， t h es e c o n da l g o r i t h mi sp r o p o s e db e c a u s et h em e t h o do fd i f f e r e n c ei m a g ei sn o te f f e c t i v e w h e nt h ed i f f e r e n ti n f o r m a t i o nc o m i n gf r o mt w of r a m e so fd i f f e r e n c ei m a g ei st o om u c ho rt o o l i r l e d y n a m i cv i d e of r e q u e n c yc o l o ri m a g e si st h es u b j e c ti n v e s t i g a t e do f t h i sa l g o t i t h m ，f i r s t l y ， b ym a k i n gt h eb e s to f t i n c ti n f o r m a t i o n ，t h ef a c er e g i o n ，o fw h i c hc o m p l e x i o ni sc o n c e n t r a t i v e a n d s t e a d y , i ss e g m e n t e dt h r o u g hc o l o rs p a c ec o n v e r s i o n i nt h i sw a y , t h er a n g ew h e r e f a c e sa r e t 0b es e a r c h e di s r e d u c e d s e c o n d l y m u l t i t e m p l a t em a t c h i n g m o s a i ci m a g ev a l i d a t i o n a n d g e o m e t r i cr u l ea f f i r m a n c ea r ec o m b i n e d t od e t e c tf a c e s c o m p a r e dw i t ht h eo n l yo n em e t h o d ，t h e f a l s ed e t e c t i o nr a t i oo ft h i sm u l t i p l em e t h o di sr e d u c e df u r t h e rm o r e t h et h i r da l g o r i t h mi sp r e s e n t e di na l l u s i o nt h a tt h em e t h o d so fs k i nc o l o rs e g m e n t a t i o na n d t h em e t h o do fd i f f e r e n c ei m a g ea r eo fn oe f f e c ti nc a s et h a tt h es i m i l a rf a c er e g i o n sa r et o om a n y a n dt h ed i f f e r e n ti n f o r m a t i o nc o m i n gf r o mt w of r a m e so fd i f f e r e n c ei m a g ei st o om u c ho rt o o l i t t l e t h ei m p r o v e db p a l g o r i t h mi nw h i c h b o t hm o m e n t u mc o e f f i c i e n ta n dl e a r n i n gr a t ec a nb e 国防科学技术大学研究生院学位论文 a d j u s t e di su s e di nt h i sa l g o r i t h m t h e r e f o r e ，t h er a p i d i t yo fc o n v e r g e n c ei si n c r e a s e dt e nt i m e s a n df a c ed e t e c t i o nr a t i oi si m p r o v e dal o t ， t h et h r e e a l g o r i t h m sp r o p o s e d a r e e a s i l yr e a l i z e d c o m p a r e d w i t ho t h e rt r a d i t i o n a l a l g o r i t h m s ，d e t e c t i o ns p e e di s m u c hi m p r o v e da n df a l s ed e t e c t i o nr a t i oi sm u c hr e d u c e di n d i f f e r e n t d e g r e e t e s tr e s u k s h o w st h a tt h et h r e ea l g o r i t h m sa r ee f f e c t i v ea n df e a s i b l e k e y w o r d s ：f a c ed e t e c t i o n ，d i f f e r e n c ei m a g e ，m u l t i t e m p l a t em a t c h i n g ， s k i nc o l o rm o d e l ，b p a l g o r i t h m 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：基王准监垂厶脸捡趔簋洼曲亟窥 学位论文作者签名：j 虱塑霞日期：2 午年午月2 f 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保翟并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存，汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：基士壁造垂厶脸捡型篡洼鲍鲤塞 学位论文作者签名 作者指导教师签名 日期：丑，。千年千月土f 日 蝴：w 妒争月2 ，) 日 里堕型兰堡查查兰婴塞生堕兰垡堡壅 图2 1 模板匹配 图目录 图2 1 模板匹配 图2 3 丰且分割图像的流程图 图2 4 基于差影法的粗分割过程 图2 5 多模板匹配流程图 图2 5 多模板匹配流程图 图2 7 本算法的部分检测结果， 图2 8 羞影法失效演示图 图3 1 基于综合特征的人脸检测算法流程图 图3 ，2r g b 模型图 图3 3 人脸肤色库信息分量统计结果 图3 4 图像自适应亮度补偿前后对比， 图3 5 基于肤色信息的区域分割2 9 图3 6 肤色分割前后的对比图， 图3 7 基于肤色信息的最终分割结果 图3 8 基于肤色信息分割人脸的流程图 图3 9 马赛克分块图， 图3 1 0 检测原图与肤色分割图 3 l 3 2 3 2 3 4 3 7 0 挖 h 坫 埔 加 加 船 肌 盯 勰 国防科学技术大学研究生院学位论文 表2 、l 本算法的统计测试结果 表3 1 面部器官几何位置关系统计 表3 2 测试结果统计表 表4 1 测试结果统计表 表目录 1 9 3 5 3 7 4 5 国防科学技术大学研究生院学位论文 第一章引言 人脸检测( f a c ed e t e c t i o n ) 是指从输入图像的未知背景中分割、提取并确定所有 人脸( 如果存在) 的位置、大小的过程。虽说人类可以很轻松地从非常复杂的背景中检 测出人脸，但对于计算机来说却相当困难，人脸检测作为人脸信息处理中的一项关键技 术，近年来已成为模式识别与计算机视觉领域内一项受到普遍重视、卜分活跃的研究 课题。 1 1 人脸检测研究的背景、意义与现状 在智能化的人机交互系统和计算机视觉领域的研究中，人脸提供了巨大的有价信 息和丰富的友好界面，成为信息处理的主要途径和交互接口。随着科技的进步和经济 的发展，人们的安全意识越来越强，社会各层面对快速有效的自动身份验证技术的需 求日益迫切，这使得以人的生理和行为特征作为身份鉴别手段的生物特征识别技术的 研究也越来越热。人脸与指纹、掌纹、虹膜、视网膜、声音和d n a 等人体的生物特 征一样，因其具有防伪性、终身不变性、唯一性、非转移性、方便性、实时性、安全 性及可接受性等特点而成为身份鉴别的手段之一，其中，人脸又以其具有自然、友好、 无侵害性、易于为用户所接受等独特优势，成为身份验证最直接最理想的依据，人脸 识别技术也成为模式识别领域研究的热点。 人脸识别技术是一个底蕴性很强的前沿学科，涉及模式识别学、图象处理学、，山 理生理学等诸多领域。相关领域的发展，势必会推动人脸识别技术的发展，特别是微 电子技术与计算机技术的蓬勃发展使人们传统的合作交流方式发生了巨大的变化，这 也为用于身份鉴别的人脸识别提供了广阔的应用领域与开阔的发展空侧。目前人脸识 别技术主要用于身份验证、场景监控、罪犯识别、自动门卫系统、信用卡验证、电视 会议及人机交互系统等场合。 人脸识别技术的研究范围包括以下几个方面的内容： 人脸检测：确定给定的任意图像或图像序列中是否有人脸，以及人脸在图像中 的位置、数目和大小。 人脸表征：用些参数对人脸的特征、表情、姿态等进行几何或代数描述并存 储这些人脸信息。 人脸识别：将待识别的人脸信息与数据库中的已知人脸信息相比较，根掘匹配 第l 页 国防科学技术大学研究生院学位论文 程度得到判定结果。 主体类型：对待识别人脸的生理特征进行分析，区分出其年龄、性别等相关信 息。 表情姿态分析：对待识别人脸的表情或姿态信息进行分析，并对其加以归类。 这几个方面并不是完全孤立的，而是紧密相关的。人脸检测是自动人脸识别技术 的基础，影响着后续人脸识别的精度和速度，是人脸识别技术实用化所必须解决的一 个重要课题，只有快速有效的检测出人脸，才能保证识别的即时与准确性。早期的人 脸识别研究主要是针对具有较强约束条件的人脸图像( 如无背景的单人脸图像) ，往往假 设人脸位置已知或很容易获得，因此人脸检测问题并未受到重视。但是近几年，由于 人们对各种复杂背景下人脸自动识别系统的研究需要，人脸检测技术得到了广泛的关 注和长足的发展，使得人脸检测开始作为一个独立的课题受到研究者的重视。 人脸检测是一个复杂而又极具挑战性的问题，很多人脸研究工作都是假设图像中 的人脸已被检出或定位，而为了设计出性能良好的人脸识别系统，快速高效地检测出 人脸是识别技术需要解决问题的关键。 能准确无误的检测出人脸相当困难，因为我们能从一幅图像中获得的信息只是每 个像素的颜色或灰度值，除此以外别无其它。虽说人脸的五官分布大致相同，但不同 人的脸部存在较大的个体差异，具有比较复杂而细致的模式变化，另外由于图像在采 集时人脸距离摄像机的距离、人脸所处的背景和光照的强弱等因素的影响，使得人脸检 测与定位极富挑战性。影响人脸检测的因素归结起来，有以下几个方面： 姿态：不同姿态( 倾斜、仰视、俯视、平视、扭头等) 使同一个人在图像中 的面貌也有所不同，甚至于某些姿态可能会遮蔽住人脸的其它特征，如：眼 睛和鼻子等。 表情：人脸表情表达了一个人的喜怒哀乐，影响着人脸的面貌特征。 是否遮挡：人脸可能会被其它的东西( 树叶、建筑物及人脸) 遮挡。 一般特征的有无：由于胡须、眼镜、刘海等的不同而使人脸有着不同的特征。 图像表达的条件：当用公式表达图像时，图像的尺度、光源方向和光照条件 等都会影响人脸的最终表达。 如果能解决这些因素对人脸检测造成的影响，将会推动人脸检测的实用化进程， 具有重要的实用和学术价值。计算机视觉、智能算法、神经网络等与枪测技术相关学 科的发展，必将使拥有便捷、健全、高效的人脸检测技术成为可能。 目前，国内外致力于人脸检测研究的组织有很多【2 j ，国外比较著名的有m i t p j 、 c m u l 4 1 等；国内则有清华大学、中国科学院计算技术研究所和中国科学院自动化研究 第2 页 国防科学技术大学研究生院学檀论文 所及北京工业大学等。近几年，随着人脸检测技术研究的深入，在i e e e 的一些重要国 际会议上都有大量关于入脸检测的论文，大约占有关人脸研究论文的1 3 。针对图像 背景不太复杂，人脸尺度适中且旋转角度较小的基本端正人脸的检测问题，不少专家 与学者提出了许多行之有效的方法，具有代表性的算法有：主成分分析法、模板匹配 算法、神经网络算法等等。如果对人脸所处的环境与状态不加限制，人脸检测问题就 会变得十分复杂，因此到目前为止还没有一个切实可行的通用检测方法，而在某种应 用背景下或特定约束条件下的人脸检测问题仍是今后一段时间内该领域研究的主要课 题。 1 2 人脸检测算法综述 现有人脸检测算法的分类【2 1 阳1 不一而足，从方法论的角度可分为基于表象的方 法、基于特征的方法和基于模板的方法，而根据人脸特征综合时所采用的模型不同又 可分为基于知识模型的方法和基于统计的方法。当然分类的界限并不是绝对的而且 结合几种思想于一体的检测方法也普遍存在。下面对目前常用的检测方法进行分析和 总结，这必将会给我们所要探索和研究的人脸检测方法带来启发和帮助。 1 2 1 基于肤色特征的方法 基于肤色特征的方法是选择合理的色度空间和肤色模型，利用人脸的肤色信息和 大多数背景物体的颜色区别来检测出图像中的人脸。此方法并不依赖于面部的细节特 征，对于旋转、表情变化等情况都能适用，具有相对的稳定性。利用肤色这一线索通过 某种方法判断出彩色图像中哪一点或哪一个区域是肤色，可以排除掉在灰度图像中很 像人脸而对应到彩色图像中根本不是肤色的区域，这在人脸检测中会起到积极的作用。 如何利用肤色信息有许多不同的考察角度：可将肤色判断作为人脸检测的核心方法， 虽说单纯利用肤色判断来检测与定位人脸是不充分的，但在某些背景简单，对检测结 果要求不高的情况下，利用肤色判断检测人脸具有明显的速度上的优势：可将肤色判 断作为人脸检测的预处理阶段，与其他人脸检测方法相结合，可以在很大程度上减小 人脸检测的搜索范围，降低误报率，进而大大提高人脸检测算法的整体性能；也可在 没有使用肤色信息人脸检测算法的后期，增加一个肤色判断环节来进行后期人脸验证， 以排除掉误报的人脸结果，同时又尽可能的使正确检测到的人脸都通过验证。但肤色 信息的利用也存在着一个问题：彩色图像中的色彩信息很容易受到光照明暗、光源色 第3 页 国防科学技术大学研究生院学位论文 彩等外在因素的影响，鲁棒性不强，很难找到一种普适性良好的肤色模型。特别是在 背景复杂的图像中，由于类肤色区域大量存在，给肤色区域的分割带来了定的冗余 和干扰，这样就会导致在某些图像中的入脸区域没有被判断为肤色区域，而菲入脸区 域却被判断为肤色区域，这必将导致检测结果的正确率降低和漏检率升高。所以在基 于肤色特征的人脸检测中，要综合考虑各方面的因素，使检测算法在提高检测速度降 低检测时间的同时，尽可能的避免正确率的降低和漏检率的升高。 1 2 2 基于灰度、纹理的方法 基于灰度、纹理的方法是基于我们在认识人脸的过程中所总结出来的一些有关灰 度和纹理的先验知识，把它们归结成为一些复杂程度由简而繁的规则。例如：“正面 人脸都包括两只位置相互对称的眼睛”、“灰度图像中眼睛要比脸上其他地方暗”等。 找到一系列规则后，把它们应用到输入图像中，搜索出符合规律的人脸区域。与其他 检测方法相比，利用这些先验知识检测出的人脸区域可能不够准确，但如果在整个系 统实现中作为人脸检测的粗定位环节，它具有直观、实现简单、快速等特点，可以为 后面进一步进行精确定位创造良好的条件，以达到最优的系统性能。 1 2 3 基于主成分分析( p c a ) 的方法 基于主成分分析( p c a ) 的方法是统计学中分析数据的一种有效的特征提取方法，其 目的是在数据空间中找一组向量以尽可能地解释数据的方差，将具有最大特征值的若 干特征分量提取出来构成一个子空间，这些特征向量作为子空间的基，它们保留了原 数据中主要的信息而忽略了次要的信息，将数据从原来的r 维空间降维投影到m 维空 间f r m 1 ，从而使数据更加易于处理。在基于主成分分析的人脸检测中，保留的信息 对光照、表情以及姿态具有一定的不敏感性，在获得有效的特征向量后，关键问题是 设计具有良好分类能力和鲁棒性的分类器。然而，普通的基于特征值分解的统计p c a 方法存在严重的鲁棒性问题，这大大影响着p c a 的运算精度。 1 2 4 基于支持向量机( s v m ) 的方法 基于支持向量机( s v m ) 的方法v a p n i k 8 - 9 等提出的基于结构风险最小 比n t t 2 ( s r m ) 的统计学习理论，用于分类与回归问题，其核心思想就是学习机器要与有限的训练样 第4 页 国防科学技术大学研究生院学位论文 本相适应。s v m 从线性可分情况下的最优分类面出发，要求分类面不但能将各类子样 本正确分开( 训练错误率为o ) ，而且使分类间隔最大，使v c ( v a p n i k c h e r o v n e n k i s ) 维数 的上限最小化，这使得s v m 方法比基于经验风险最小化( e r m ) 的人工神经网方法具有 更好的泛化能力和推广性。对非线性问题，可以通过非线性变换转化为某个高维空间中 的线性问题，再在变换空问求最优分类面。支持向量机在分类过程中利用l a g r a n g e 优化 方法将上述最优分类面问题转化为其对偶问题，计算的复杂度不再取决于空间维数， 而是取决于样本数，尤其是样本中的支持向量数，这些特点使有效地对付高维问题成 为可能。由于支持向量机建立了一套较好的有限样本下机器学习的理论框架和通用方 法。既有严格的理论基础，又能较好地解决小样本、非线性、高维数和局部极小点等 实际问题，因此成为九十年代末发展最快的研究方向之一。 1 2 5 基于人工神经网络的方法 基于人工神经网络的方法是仿效生物处理模式，着眼于脑的微观网络结构，通过 大量神经元的复杂连接，采用由底到顶的方法，通过自学习、自组织和非线性动力学 所形成的并行分布方式，来处理难于语言化的人脸模式信息，进行人脸与背景分类以 获得人脸检测结果的智能信息处理方式。此方法的突出优点是通过增加训练样本的类 型、数量可以使人脸检测与定位系统能够被推广使用，具有很强的可扩展性和泛化能 力，但“菲人脸样本”的收集与训练却始终是该方法的一个难题。 1 2 6 基于模板匹配的方法 基于模板匹配的方法在早期是用包含人脸特征的不同长宽比的人脸模板，对输入 图像进行全局搜索，对应不同尺度大小的图像窗口，计算其与人脸模板的相关系数， 通过预先设置的阈值来判断该图像窗口是否包含人脸。此方法以原理简单和适应性好 等优势得到了广泛的应用与发展，缺点是忽略了人脸是一个塑性非刚体，且计算量大、 匹配速度慢。虽说用改进的弹性模板来模拟人脸弥补了前者的不足，但低层次特征中 信息的冗余使得计算复杂度依然很高、内存需求量巨大。 上述各种方法都存在着自身的优缺点和适用领域，而且在这些检测算法中效率与 性能始终是对立的、不可调和的一对主要矛盾，也即在正确率、鲁棒性能等方而更好 的算法往往会花费更多的时间及系统消耗。如何在对立的前提下尽可能的寻找统一， 找到效率与性能的最佳结合点，使检测系统从整体上达到最优，是本文研究检测算法 第5 页 国防科学技术大学研究生院学位论文 的出发点。 1 3 论文的主要研究内容 本文对动态视频流图像与静态图像分别进行研究，针对传统人脸检测方法的不足， 在原有检测算法的基础上进行改进或多种方法融合，提出了三种可行性检测算法，作为 本文的核心内容。 第一种算法基于差影法粗分割与多模板匹配相结合的入脸检测算法，是以本 实验室拍摄的动态视频流灰度图像及c m u 单人脸数据库中的灰度图像作为研究对象， 主要利用图像帧间的动态信息进行差分运算来初定位人脸，大大减小了搜索人脸的范 围，使得检测速度比单纯仅用多模板匹配来检测入脸提高了三倍多。检测中所用的动态 帧序列图像是在摄像机固定的条件下获取的，以此为检测对象不仅可以提高人脸检测 算法的稳健性，而且可以降低检测的复杂与困难程度，这主要是由于非固定摄像机条 件下的人脸检测要求必须是在线适时检测，并且还需要解决摄像机的校准、控制云台 的定位等问题。对动态序列图像进行人脸检测研究的思路【1 0 】是：将图像序列中的人脸 检测看成是每一帧图像中的人脸检测问题，而序列图像间的动态信息仅用来减小目标 检测的搜索空间，以提高人脸检测的速度与精度。 此方法对用于差分运算的两帧图像究竟相邻几帧并没有严格的限定，但无论相邻几 帧都必须保证这两帧图像拥有适量的差异信息，运动所提供的差异信息过多或过少都会 导致差影法失效，因此此方法仅限于对背景简单的准端正单人脸图像进行检测。如果 检测图像的背景复杂并且有多个状态各异的人脸存在，应用差影法时将会由于两帧图像 的差异信息过多丽使得差影后搜索人脸的范围并没有缩小，此时差影法失效；另一种情 况是即使是对背景简单的单人脸图像进行差分运算，但如果差分的两帧图像内容几乎相 同，没有提供足够多的运动信息，此时差影法也会失效。人脸是肤色相对集中的区域， 当差影法对动态视频流图像检测失效后，可以运用人脸的色彩信息对图像进行粗分割来 初定位人脸。 第二种算法基于彩色图像的人脸检测算法，是考虑到通常情况下摄取的动态 视频流图像多数为彩色图像而提出的。本算法充分利用人脸面部的颜色信息，通过色 彩空间变换，将肤色相对集中与稳定的人脸面部区域首先分割出来，这样就大大缩小 了后续人脸检测的搜索范围，然后运用算法一中提到的多模板进行匹配，除此之外， 为了进一步提高算法的性能，还加上了镶嵌图验证与几何规则确认等环节。利用此算 法对本实验室组建的动态视频流检测图片库及网上下载的视频流数据库中的彩色图像 第6 页 国防科学技术大学研究生院学位论文 进行测试，实验结果与仅利用肤色分割与多模板匹配相结合检测人脸的结果相比较， 误检率降低了4 。虽说漏检率有所提高，但整个算法的检测性能得到了提高。 此算法与第一种算法相比较，虽说放宽了对图像中人脸的状态及人脸所处环境的 限制，但要求图像中的类人脸区域要少，如果图像中存在与人脸颜色相近的物体，运 用肤色信息进行粗分割时就会将这些物体及裸露在外的皮肤( 如：胳膊、手等) 当作 人脸划分出来，当这些类人脸区域过多时，基于肤色分割的预处理方法就会不起作用； 另外，光照强弱对肤色分割的结果也有影响，当光照很强时，图像中人脸的颜色偏明 偏白，当光照过弱时，图像中人脸的颜色要比实际肤色偏暗偏黑，如果依然用原肤色 分割标准来进行预处理，分割出的人脸所在区域将会出错。对一幅动态视频流图像进 行人脸检测时，如果基于差分、基于运动和基于肤色的粗分割方法全都失效，那么就 只好在整幅的单帧图像中来搜索人脸，此时可将基于静态图像的人脸检测方法用于动 态图像的检测。在众多基于静态图像的人脸检测方法中，由于基于神经网络的方法稳 健性好、扩展性强、且泛化能力显著，因此本文提出了基于改进b p 神经网络的人脸检 测算法。 第三种算法基于改进b p 神经网络的人脸检测算法，采取积极的“自举”法来 收集非人脸样本，采用变步长的学习速率和加动量项的误差反向传播学习算法对网络进 行训练，然后利用已训练好的神经网络在整幅图像中进行滑动搜索来快速检测人脸。此 算法与采用消极的非人脸收集方法、步长固定的学习速率、传统的b p 算法来训练的神 经网络进行人脸检测的检测结果相比较，网络的收敛速度提高了约1 0 倍，检测正确率 也有所提高。此算法是针对c m u 人脸测试库中的静态图像来研究的，将其用于动态单 帧图像的人脸检测也有不错的检测效果。 这三种算法都是在传统检测算法的基础上进行必要的改进或合理的融合，弥补了传 统检测方法的不足，使它们的检测性能更加突出。本文主要就这三种算法一一展开阐述、 分析与讨论，并通过大量的实验对其性能进行了测试与比较。 1 4 论文内容安排 本文共安排了五个章节，第一章介绍了人脸检测的背景、意义、研究现状及常用 的人脸检测方法，并给出了本文将要探讨的主要内容三种人脸检测算法的思路及 性能。 第二章对基于差影法粗分割与多模板匹配相结合的人脸检测算法的工作原理进行 了翔实的描述，在介绍系统原理之前概述了标准模板的生成及差影法预处理。 第7 页 国防科学技术大学研究生院学位论文 第三章提出了一种基于彩色图像的人脸检测算法，重点讨论了颜色模型的选择、 基于色彩信息人脸分割标准的确立及分割算法的实现过程。 第四章详尽介绍了如何建立用于训练的人脸与非人脸样本库，如何构建和训练改 进的b p 网络以及如何利用网络来进行人脸检测。 第五章对三种检测算法的试验结果进行了分析与比较，并对进一步的工作进行了 展望。 第8 页 国防科学技术大学研究生院学位论文 第二章基于差影法粗分割与多模板匹配的人脸检测算法 多模板匹配是s a k a i 、n a g a o 和f u j i b a y a s h i 1 h 在1 9 6 9 年最早提出的，并尝试着利用 多模板匹配对照片中的正面人脸进行了检测，但由于此方法忽略了人脸是个塑性非刚 体，致使检测率很低，漏检和错检率相当高，且计算量大、匹配速度慢。 后来，y u i l l e 【l2 j 对多模板匹配方法进行了改进，提出了利用弹性模板来模拟人脸提 取人脸特征的思想，虽说此方法对于光线、变换、尺寸和角度具有一定的适应性，检测 率得到了提高，但低层次特征中信息的冗余使得计算复杂度依然很高、内存需求量巨大。 针对多模板匹配计算量大、匹配速度慢的缺点，本章提出了一种将差影法与多模 板匹配结合起来对人脸图像进行检测的算法。在模板匹配前利用差影法对图像进行预 处理，与文献 1 3 相比，减小了搜索区域的范围，提高了人脸检测的速度，极大地降 低了漏检和误检率，而且通过适当地增加样本可望进一步提高检测性能，具有一定的可 扩展性。 本章第一节主要介绍本算法中将要用到的基础知识模板匹配，在本章的第二 部分，我们将阐述人脸模板的生成过程，第三部分详细介绍差影技术及图像的粗分割， 第四部分为多模板匹配算法，第五部分是实验结果分析，最后一部分是本章小结。 2 1 模板匹配 ( a ) 被搜索的图像 图2 1 模板匹配 ( b ) 模板 模板匹配是数字图像处理的主要方法之一，利用该方法可以在一幅图像中找到已 知的物体。所谓模板匹配，是以目标物体的特征数据为模板，拿已知的模板如网2 1 ( b ) 第9 页 国防科学技术大学研究生院学位论文 和原图像如图2 1 ( a ) 中同样大小的一块区域去匹配，在搜索区域早寻找匹配点，以 搜索窗口与目标物体形态特征的匹配度作为判据来实现目标检测与跟踪。 模板匹配方法的跟踪灵敏度和稳定度都极高，但计算量庞大，运算速度比较慢。 早期的图像匹配技术主要用于几何校正后的多波段遥感图像的配准，现在已广泛应用 于诸多领域，特别是在人脸检测方面，若对该算法进行多方优化或与其它方法结合使 用，如：差影法、颜色分割法等等，可以用于人脸检测实现快速有效的检测人脸。 2 2 1 计算公式 模板匹配算法【1 4 j 是通过计算模板和匹配区域的相似程度来寻找最佳匹配点。由于 模板需要在匹配区域上逐次匹配，运算量很大，所以选择匹配公式对整个匹配的效率 有着极大的影响。 衡量搜索窗口与模板图像的相关程度通常有以下4 种测度公式，公式中7 p 胁，为 双眼或人脸模板的灰度矩阵，_ r 是它的灰度均值，o r ：k 它的均方差，月，u 0 ，为输入图 像区域的灰度矩阵，它的灰度均值为晶均方差为a 肌m 与n 为矩阵的行数与列数， y 往，r ) 为t f i j 8 j 帮r 嘲8 之间桷匹配霞。 mn r ( t ，r ) = ( 刑 力一刖2 j = l j = l r ( t ，r ) jmn f ( ， f 一月【f 】 皿2 1 f 旦l 一l，雄一 r ( t ，r ) = ( r 【f 】【刀一所) ( r q j - 2 。) t = l j ；l ( 玎f 】u 卜，) ( 尺 f u 】一。) r ( t ，r ) = 三生一 m 盯盯r 仃r ( 2 1 ) ( 2 2 ) ( 2 3 ) ( 2 4 ) 公式( 2 - 1 ) 、( 2 - 2 ) 、( 2 3 ) 、( 2 4 ) 都能够真实反应模板的匹配程度，选择计算量 小与效率高的计算公式作为原始数学模型，用匹配度的大小作为目标判别的依据，匹 配度小于阈值的区域即为目标位置。 第1 0 页 国防科学技术大学研究生院学位论文 2 1 2 模板尺寸 检测系统的性能和匹配计算量与模板尺寸是否合理有很大关系，模板过小会减少 目标的特征数据量，降低匹配的敏感程度，增大目标检测难度；模板过大又会导致目 标的动态特性变差，匹配运算量增大。模板尺寸的大小要能够真实可靠地反应目标的 实际特征，能够完整表达目标的综合性能。如果一幅图像中目标物体的特性用一个模 板不足以描述，为了提高匹配的精度，可根据实际情况采用多个模板对目标进行表征。 2 1 3 匹配区域 不同的应用环境下，对匹配区域和实时性要求也不尽相同，匹配区域太小会导致 目标动态特性变差；过大又会导致计算量大幅度增加，具体如何选择匹配区域要权衡 系统参数与目标特性来决定。对于人脸检测系统要求在视频图像采集周期内完成对数 据的实时处理，在满足实时性要求的情况下，选择相对较大的匹配范围，可提高设备 的动态特性。 2 1 4 匹配方法 为了减小搜索计算量，加快模板匹配的速度，可以考虑采用分级匹配的方法，酋 先利用表述目标部分特征的模板进行粗匹配，大致框定匹配区域：然后在附近区域利 用完整表达目标特征的模板逐一检索，获得最佳匹配点。分级匹配的实质实际上就是 粗精匹配相结合的方法，先粗定区域再精确定位，在人脸检测算法中运算量可减小四 到六倍，并且人脸检测效果相当好。 经过多次反复的试验，找到一个合适的匹配闽值( 最大允许误差) ，若搜索区域与 模板的匹配度大于该最大允许匹配阈值，就肯定不是最佳匹配点，可以提前结束计算， 进入下一匹配位置的计算；如果匹配完成后小于最大允许误差，说明该区域满足匹配规 则，就把该区域记录下来作为潜在的匹配位置。在搜索的过程中，只需找到最佳匹配位 置的相对匹配误差，而不必完整计算每一位置对应像素的绝对匹配误差。 2 2 模板生成 在基于差影法粗分割与多模板匹配的人脸检测算法中，首先要提取人脸模板，为 第1 1 页 国防科学技术人学研究生院学位沦文 肝缕的人脸匹配作好准备。 水算法选用了训练图像库c m u 标准人脸图库及我们实验室拍摄的图片苁2 0 0 幅狄 度h 像腑j 二模板生成。首先，在选取的人脸图像样本上手工剪裁出人脸所在的区域作为 了人脸样本；其次，对了人脸样本进行预处理，通过缩放操作和真方图均衡化以消除尺 度和光照不同带来的影响，得到2 0 0 幅2 4 2 4 的标准子人脸样本；最后，对2 0 0 幅标 准予人脸样本取狄度平均并压缩到所需尺寸，得到5 个长宽比不同的人脸模板，并构造 出丰j 于粗筛选的2 4 9 的双眼模板i l “。如图2 2 ，分别是双眼模板和5 个不同长宽比的 人脸模板。在模板生成前，对用于生成模板的人脸样本的选择非常关键，如果选取的样本 揶比较特殊，或者是在比较苛刻的条件下进行筛选的，那么后续生成的模板就有局限性， 当人脸与模板匹配的时候，只有少量的人脸能满足匹配条件而被检测出来，而大多数人 脸会山r 匹配度低而被漏检。为了提高检测率，尽量降低误检与漏检率，同时又使本方 法生成的模板不失一般性与普遍性，本文选取的图片都是在近似散射的光照下获得，并且 照”巾的f 面人脸包含了不同表情，脸部特征( 眼镜，胡子) 等多种情况。 ( b ) 人腧模板一( c ) 人脸模扳2 2( d ) 人脸模扳 ( e ) 人脸模板四( f ) 人脸模板五 图2 2 标准模扳 国防科学技术人学研究生院学位论义 2 3 基于差影法粗分割图像 差影法在动态榆测与识别、血管造影、交通保安监测及印刷线路板掩模缺陷的 诊断等技术中都有应用，利用它可以检测同一场景中两幅图像问的变化。如果将差影 法运用剑人脸检测中，首先利用差影法对图像进行粗分割将人脸所在的可能区域划分 h 术，就t ，r 以减小后续模板匹配时的搜索区域，达到节省检测时f h j 的i d 的，这是一科r r 分有效、快速、可靠的预处理方法。 231 差影法技术 缺j 二差分图像处理的方法是建立应用视觉系统的常规技术，近几年来，应用视觉 研究再：西方发达国家得到普遍的重视，这是由于微电子与计算机技术的高速发展，使 得低成本的视觉系统成为可能，以摄像机作为传感器能够超越传统传感器所同有的局 限倒：，有望研究开发出新一代的高技术产品，如入脸识别系统、交通流量检测器、智 能闭路监视系统等。就我国的国情而言，随着经济的高速发展，流动人| 激增，城市 的交通问题、治安问题等日益严重，急需现代化的监测与识别手段。在这方面，应用 视觉研究将起到卜分重要的作用，而用于应用视觉研究的差影技术就显得尤为重要。 盖影法的实质是图像问的减法运算，图像相减可用于去除图像中不需要的加性图 案，这些加性图案可以是可能是周期性的i 荣声，或是图像的附加污染，或是缓慢变化 的背景阴影。将同一背景下不同时间拍摄的图像相减以得到差值图像，差值图像提供 了图像间的差异信息。值得一提的是图像在作差影运算时必须使两相减图像的对应像 点位于空i h j 同一目标点上，若不是，必须先作几何校正与配准。 2 3 2 差影法粗分割 小法是利用记录下同一人脸面部特征变化的两帧动态序列图像$ - r la & ，将图像的 背景消除，使感兴趣人脸所在的区域突出出来，然后利用s o b e 算子对差影图像进行边 缘提取得到二值图像，使感兴趣人脸更加显露，二值图像中背景为黑色用0 表示，人 脸边缘为白色用l 表示。求出二值图像中灰度值为l 的人脸边缘所对应的行和列的最小 值和最人值，从而得到行和列的取值区问，由此行区间和列区m 绁成的区域即为感兴 趣人脸所在的区域。映剁到原图中，将原图中相应区域记录下来，以达到粗分割图像 的h f 门。 始1 3 页 因防科学技术人学研究生院学何论文 圳分剂图像时应注意以下问题： l 、| t l ：j 人所照不同照片的背景必须相同，以保证差影的有效