（计算机应用技术专业论文）基于模糊集理论的人脸检测技术研究.pdf

硕士擘位论丈 m a s t e r st h e s i s 中文摘要 人脸检测问题最初作为人脸识别系统的定位环节被提出，近年来由于其在安全 访问控制、视觉监测、基于内容的检索和新一代人机界面等领域的应用价值，开始 作为一个独立的课题受到研究者的普遍重视。 人脸检测是指在图像中通过某种方法找到单个或多个人脸的位置和大小，是人 脸识别、人脸跟踪、姿势估计以及表情识别等研究的第一步。而基于人脸特征的性 别识别的研究又是近期模式识别中的热点问题，它的研究成果在某些公共场合对人 群的性别分析将可以起到很大的作用。以往的人脸检测方法在速度或准确率方面总 是有一些不足的地方，而性别识别又是个崭新的研究热点，所以研究出一种既快速 又准确的人脸检测方法，并且在此基础上研究出有效的性别识别方法具有重要意 义。 本文分析了模糊集理论运用于人脸检测的可行性，采用h a a r 矩形特征和隶属 度函数对样本集进行训练，运用特征集的熵和a d a b o o s t 算法选取适当的弱分类器， 并构建了分发型人脸检测器。检测时，对于不像人脸的子窗口通过靠前的结构简单 的强分类器快速将其淘汰掉；对于像人脸的子窗口，根据其与人脸的相似程度，由 分发器动态的选择后面的强分类器进行判定。在m i t + c l u 的正面人脸图片集中进行 了测试，实验结果表明，此检钡j 器在检测性能降低不大的情况下，可以有效的提高 检测效率。 关键词：模糊集理论；人脸检测；a d a b o o s t 算法；分发型人脸检测器 硕士学位论文 m a s t e r st h e s i s a b s t r a c t i nt h er e c e n ty e a r s ，t h es u b j e c to ff a c ed e t e c t i o nw h i c hw a so r i g i n a l l yp u tf o r w a r da s l o c a t i o n p a r t h a sb e e np l a c e dal o to fi m p o r t a n c ea sa l li n d e p e n d e n ts u b j e c tb y r e s e a r c h e r sd u et ot h ep r a c t i c a lv a l u ei nt h ef i e l d so fs a f ea t e s sc o n t r o l ，v i s i o n i n s p e c t i o n , c o n t e n t - b a s e dr e t r i e v a la n dn e wg e n e r a t i o nh u m a n m a c h i n ei n t e r f a c e h u m a n f a c ed e t e c t i o ni sat e e i m i q u ew h i c hc a nf i n dt h ep o s i t i o n sa n dt h es i z e so f h u m a nf a c e si nc o l o ri m a g e st h r o u g hs o m ea l g o r i t h m s i ti st h ef i r s ts t e pi nh u m a nf a c e d e t e c t i o n , h u m a nf a c et r a c k i n g ，p o s t u r ee s t i m a t i o na n de x p r e s s i o ni d e n t i f i c a t i o n a n dt h e s t u d yo fh u m a ns e x u a li d e n t i f i c a t i o nb a s e do nh u m a nf a c ec h a r a c t e r si sah o t s p o t i t s s e a r c hf r u i tw i l lp l a ya ni m p o r t a n tp a r ti ns e x u a la n a l y s i so f h u m a n si ns o m ep u b l i ca r e a s t h e r ea r es o m es h o r t a g e si ns o m eo l dm e t h o d so fh u m a nf a c ed e t e c t i o na tt h es i d e so f s p e e do rn i c e t yr a t e ，a n ds e x u a li d e n t i f i c a t i o ni san e ws t u d y i n gb o t s p o t s oi tw i l lb e i m p o r t a n tt oe x c o g i t a t eaf a s ta n de x a c th u m a nf a c ed e t e c t i o nm e u h o da n da ne f f e c t i v e m e t h o do f s e x u a li d e n t i f i c a l i o n t l l i sp a p e ra n a l y s e st h ef e a s i b i l i t yt h a tf u z z ys e tt h e o r e t i c sa p p l yt of a c ed e t e c t i o n i t t r a i n st h e s a m p l es e tb y h a a r - l i k ef e a t u r ea n dm e m b e r s h i pf u n c t i o n , a n ds e l e c t s a p p r o p r i a t ew e a kc l a s s i f i e r st h r o u g ht h ee n t r o p yo ff e a t u r es e ta n da d a b o o s tl e a r n i n g a l g o r i t h m t h e nd i s t r i b u t i o nf a c ed e t e c t o ri s e s t a b l i s h e d i nt h ed e t e c t i o np r o c e s s ， d e t e c t o rc a nr a p i d l yw a s ho u tt h es u b - w i n d o ww h i c hi su n l i k ef a c et h r o u g ht h ef r o n to f s i m p l es t r o n g e rc l a s s i f i e r s ；f o rt h es u b w i n d o ww h i c hi sl i k ef a c e ，i nt e r m so fs i m i l a r d e g r e ed i s t r i b u t e rc a nd y n a m i c a l l ys e l e c tt h eb a c ko fs t r o n g e rc l a s s i f i e r st od e t e r m i n e w h e t h e ri ti saf a c e t k sf a c ed e t e c t o rh a sb e e nt e s t e do nt h em i t + c m uf r o n t a lf a c et e s t s e t ，t h er e s u l t ss h o wt h a ti tc a ne f f e c t u a l l yi m p r o v ed e t e c t i o ne f f i c i e n c yi nt h ec o n d i t i o n o f d e t e c t i o np e r f o r m a n c er e d u c i n gn o tt o om u c h k e yw o r d s ：f u z 巧s e tt h e o r e t i c s ，f a c ed e t e c t i o n ，a d a b o o s ta l g o r i t h m ，d i s t r i b u t i o n f a c ed e t e c t o r 硕士学位论文 m a s t e r s t h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均己在 文中以明确方式标明。本声明的法律结果由本人承担。 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 莒翥臻 日觌p 7 年e 月( 。日 日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库”中全文发布，并可按“章程”中的 规定享受相关权益。圃童迨塞握銮卮澄后! 旦坐生；旦= 生；旦三笙筮查! 作者签名趴剀 帆w 年e 月f 。日 名讯叭 篡￥鼍 日 目 ，6 年 呷 沙 书 肌 权 日 授 用使权收支论位1 学 厶v 掺 名签瞢 阼 1 、i 、 月飞r 名签 ：师期 b f 日 硕士擘位论乏 m a s t e r st h e s i s 引言 面部，是人类在互相区分、认识、记忆的过程中所依赖的最直接、最主要的自 然特征。人脸承载着极为丰富的内容，通过对一个人面部特征的识别和分析，就可 以基本判断出这个人的性别、年龄、身份、种族等许多信息。对人脸图像的研究一 直是计算机视觉和信号处理领域的重要课题。 一、研究背景与意义 人脸识另j j ( f r ) 是智能身份验证、视频监控、人一机接1 ：2 ( 见文献【1 】，【4 】，【5 】) ， 和图像数据库系统( 见文献【3 】) ，中的关键技术，受到人们的广泛关注。人脸检测 是这些应用中的第一步，也是尤为重要的一步。y a n gm h 给出了一个人脸检测的 定义( 见文献【2 】) ：“任意给定静态图像或图像序列，人脸检测的且标就是判断该 幅图像内是否存在人脸，如果有，则返回每个人脸的位置和区域。”一些特别设计 的人脸检测系统还可以给出入脸的旋转角度、姿态、表情甚至性别和种族等信息。 对人脸检测的研究可以追溯到2 0 世纪6 0 7 0 年代，迄今为止经过几十年的曲折 发展己日趋成熟。人脸检测作为自动人脸识别系统中的一个关键环节，在早期的人 脸识别研究中并未受到学者们重视，这是因为当时的研究主要针对具有较强约束条 件的人脸图像( 如无背景的图像) ，往往假设人脸的位置已知或很容易获得，导致人 脸检测无多大实用价值。 近几年随着人工智能技术的不断发展及其在身份鉴定、公共安全等领域的广泛 应用，人脸识别成为最有潜力的生物身份验证手段。尤其在9 1 1 事件之后，为了能 够有效地打击犯罪和恐怖活动，保障公众安全与社会稳定，人们需要一种在公共场 合能够快速自动定位并识别可疑人群的智能监控工具。这种应用背景要求自动人脸 识别系统对一般环境图像具有较强的适应能力，由此所面临的一系列问题使得人脸 检测开始作为一个独立的课题受到研究者的重视。 实际上，人脸检测的应用价值不仅仅在于为人脸识别提供对象。除了在安全方 面的应用以外，人脸检测在其他领域同样具有良好的前景。例如，在逐渐成熟的视 频会议和可视电话系统中，如果使用动态人脸检测技术，在保证网络传输速度和图 像质量的前提下，发送端对每一帧图像中的人脸和背景进行检测标定，背景部分可 以用一个较低的码率或较低的分辨率进行传输，减小网络负荷，而人脸区域则以一 硕士学位论文 m a s t e r st h e s i s 个较高的优先级进行处理和传送以保证传输质量和速度，从而在接收端获得质量较 好的重建图像：在基于内容的图像检索系统中，利用用户给出的一幅人脸图像，利用 人脸检测技术，可以很快的在数据库中找出一系列耜似图像进行比对，减少了处理 整幅图像带来的麻烦。 另外，基于人脸检测和五官定位的性别识别最近成为一些公司研究的热点，如 果能研究出有较高正确率的性别识别系统，就可以在某些公共场合对人进行性别统 计，如在一些大型商店或超市中安装性别识别装置，根据统计就可以分析出客户群 体的男女比例，并调整相应的经营措施来提高利润。 总之，高效快速的人脸检测技术将对人脸识别系统的开发起到积极的推动作 用，为人脸识别技术能得到更广泛的应用奠定坚实的基础。随着很多方法的改进， 目前的人脸检测系统已经达到实时的效果，并且能够适应各种不同的环境。通过对 人脸检测的研究，得到了很多有效的方法，随着这些方法在模式识别和人工智能等 领域的运用，已经解决了很大技术上的难题。这也是研究人脸检测的重要意义所在。 相信在不久的将来，人脸检测领域目前的很多困难将随着研究的深入而逐步得到有 效的解决。 二、难点及主要问题 对于人类自身来讲，在自己视野内找出人的面孔是一件自然而且容易的事情， 但对于计算机，我们需要预先设一计相当复杂的检测识别机制，才能使其在一幅数 字化的图像中找出可能存在的人脸。人脸是一类具有复杂细节变化的自然结构目 标，对于人脸的检测实际上可以看作是一个二类( 人脸、非人脸) 的模式分类问题。 其主要难点表现在以下几个方面： 1 人脸本身的因素：由于人脸结构复杂，某些局部特征具有不确定性( 如不同人的 脸型，五官的大小、形状、位置等都会存在细微差别) ，构建一个广泛适用的人脸模 型是一件很困难的事情，而且还要考虑人类由于情绪的变化会产生不同的表情，表 情变化会导致五官的变形，从而使得人脸检测算法不得不考虑到表情的变化。( 现在， 对人脸表情的研究也己经发展为一个单独的课题) 。这些都给人脸检测带来难度。 2 面部修饰物的影响：人脸上可能会有各种各样的修饰物，比如发型、头饰、胡 须、眼镜、伤疤等，这些都会或多或少地改变人脸本来的一些特征：另外，一些化妆 技术会使得人脸的全部或部分呈现异常的色度和灰度，对于某些基于颜色的检测方 法可能会制造麻烦。 3 图像的获取过程中存在的不确定性：理想的图像采集设备是不存在的，任何采 2 硕士学位论文 m a s t e r st h e s i s 集器都不可避免地会产生一些噪声、畸变或失真；光照条件的影响也很明显，光照强 度不同，光源的颜色和角度的差异都会导致摄取到的图像呈现高亮、暗光或者偏色 等失真现象。 近年来，随着对人脸检测技术的研究不断深入，人们提出了多种基于不同理论 的人脸检测方法，但是由于以上因素的影响，仍然有很多问题没有获得较好的解决： 1 由于人脸模式的多样性，人脸图像的空间分布非常复杂，有限的样本集难以 覆盖全部人脸图像子空间，在高维空间中建立准确的分布模型又是一件很困难的事 情。因此，如何有效地描述人脸在子空间的分布值得研究。 2 对于具有复杂背景的图像，重点是如何有效地区分类似人脸的区域和真正的 人脸区域。神经网络、s v m 、贝叶斯分类器等通常能获得好的分类结果，研究新的 分类方法是提高检测性能的另一个重要途径，可以借鉴字符、语音、指纹等识别中 比较成功的分类方法。 3 日前还不能较好地处理任意姿态、光照和遮挡等变化条件，开发高性能的人 脸检测方法仍是主要的研究方向。由于不同的人脸描述方式有不同的特点，不同的 分类器产生的分类结果也不一样，多个特征融合和分类器融合的方法可以有效提高 检测性能。 4 日前多数研究都是基于静态图像，但实际应用中很多场合都要求是实时的， 这就要求人脸检测算法便于实现而且具有较快的处理速度。 5 图像或视频通常以压缩编码的形式存储或传输，检测前需要先解码，会占用 很多时间。如果在压缩域进行检测，山于不需要完全解码，直接利用压缩域系数， 可以大大提高检测速度。所以如何利用压缩域系数进行人脸检测是一个很有意义 研。 目前为止，人脸检测方面最有效的方法是v i o l a 6 提出的基于h a r r 小波矩形特 征的a d a b o o s t 方法【7 】，这种方法利用积分图像快速求解矩形特征，并用b o o s t i n g 的技巧训练一组分类器来进行人脸检测，在性能与【8 】差不多的情况下，速度是 8 】 的1 5 倍，该方法是目前最高效的人脸检测的方法，已经达到实时效果。 三、国内外研究的现状与趋势 人即使在摇摆不定时也很容易识别人脸，婴儿在很小时就能辨别其父母。因此， 人们设想教会计算机识别人脸是一件容易的事情，然而事实并非如此。虽然计算机 有强大计算能力，但是现今已有的人脸检测与识别算法取得的效果并不能让人满 意，人们仍在不断努力研究计算机人脸识别的算法。自动人脸识别主要分两类：辨 硕士学位论文 m a s t e r st h e s i s 识和确认，辨识就是决定一个未知的人脸图像是谁，而确认则是判定某幅人脸图像 是否为某个人的。 一个自动人脸识别算法由三个模块组成：人脸定位( 或入脸检测) 、人脸特征 抽取和基于特征的匹配。前一模块主要实现在很短的时间内从视频图像中检测定位 到人脸，这对算法的实时性与鲁棒性的要求很高：( 1 ) 算法应当在尽可能短的时间 内定位到人脸；( 2 ) 对不同姿态的人脸应有较高的正确检测率，并且不能有过高的 拒绝率与误检率。后一模块主要解决用哪些特征表示和区分不同人脸，这对特征提 出非常严格的要求：( 1 ) 特征应该有很强的区分能力一不同人脸其特征应该有较大 差异；( 2 ) 对变化的容忍性一同一个人脸在不同条件下的特征差异尽量小；( 3 ) 特 征数量尽量少。 其中人脸检测的基本思想是用知识或统计的方法对人脸建立模型，比较所有可 能的待检测区域与人脸模型的匹配度，从而得到可能存在人脸的区域。人脸检测由 于场景，位置，方向的变化以及人脸的姿态( 正面，侧面) ，表情，光线的变化等 原因，使得人脸检测具有很强的挑战性。 目前，人脸检测的方法主要有基于特征的和基于分类的方法。基于特征的方法 假设人们能够毫不费力的发现不同姿态不同光线下的人或物体是因为他们存在着 在这些变化下不变的特征。y a n g 在文献 1 l q a 采用了一种分级的人脸检测方法，也 就是常说的马赛克方法，它给出了基于人脸区域灰度分布的规则，依据这些规则对 图像从租分辨率到高分辨率进行筛选，以样本满足这些规则的程度作为检测的判 据。这种方法在一组测试图像( 6 0 幅图像) 中进行测试能够找到5 0 幅图像中的 人脸，类似的工作还有文献【2 】。这类方法存在一个问题，就是如何将人脸所具有的 特征转化为规则，如果规则过于严格仔细，会出现由于不能满足所有条件而不能检 测到人脸，如果规则过于普遍，那么又会出现错误的检测。同时这种方法无法适应 人脸姿态变化。另外，基于皮肤颜色纹理特征检测的【3 1 ，基于模板与弹性模板检测 的以及基于多个特征综合的检测方法【4 】都属如此类。这类方法的缺点在于这些特征 会由于照明，噪声以及遮挡情况被破坏，在这种情况下很多方法都会失效。 基于分类的人脸检测方法主要是利用样本设计一个分类器来达到人脸检测的 目的。r o w l e y 5 采用神经网络方法，通过对人脸样本集和非人脸样本集进行学习产 生分类器。采用金字塔图像的方法在人脸检测方面获得了很大的成功，不过由于神 经网络中的节点数选择，网络层数选择以及学习速度的调整等不同对神经网络的检 测结果有很大的影响，而目前又还没有一个这方面的理论可以进行计算，一般情况 下是通过经验来确定神经网络的结构与参数，因此神经网络方法有一定的盲目性。 4 硕士学位论文 m a s t e r st h e s i s o s u n a 1 2 首先采用支持向量机方法进行人脸检测。与神经网络类似，采用支持向量 机的学习方法设计分类器用于人脸检测。该方法也在应用中取得了很大的成功，但 是支持向量机存在着训练困难，识别速度慢的缺点。v i o l a 6 采用a d a b o o s t 与类 h a r r 小波矩形框特征的方法，这种方法利用积分图像快速求解矩形框特征，并用 b o o s t i n g 的技巧训练一组分类器来进行人脸检测，在性能与 5 】差不多的情况下，速 度是【5 】的1 5 倍，该方法是目前最好的人脸检测的方法。由于人脸模式的多样性和 图像获取过程的不确定性，人脸在图像空间中分布非常复杂，建立人脸在高维图像 空间的精确分布模型是一件非常困难是工作。建立一个统计可靠的估计不仅需要大 量的正例样本，而且还需要充分多的有效反例样本。目前研究的一个趋势是反例样 本的产生和利用问题。这也是最终提高人脸检测正确率的必然道路。 四、论文的主要贡献和内容安排 本文将模糊集理论运用到了人脸检测中。采用h a a r 矩形作为特征，以隶属度为 每个特征的参数，运用a d a b o o s t 算法选取适当的弱分类器，最终构建了分发型人脸 检测器。此检测器能够根据扫描子窗口与人脸的相似程度，动态的选取强分类器对 子窗口进行判定，从而提高了捡测器的效率。本文的特点在于： 1 将模糊集理论运用到样本的训练过程中，使训练的特征集具有模糊集的主要 特征： 2 在弱分类器的选取中，采用a d a b o o s t 算法，以被选取特征集的平均熵作为判 定条件，选取适合的特征做为弱分类器； 3 构建的分发型人脸检测器在检测时，计算出扫描子窗口在某个强分类器上的 平均隶属度，如果隶属度小于设定的阈值就判定为非人脸，如果大于阈值，则将参 数传给分发器，由分发器动态的选择后面的强分类器进行判定。 论文随后各章内容安排如下： 第一章是人脸检测方法综述，按照检测算法的不同，对目前的人脸检测领域采 用的方法进行分类介绍，并分析各种类型算法的有缺点，以及适用的领域。 第二章介绍了瀑布型人脸检测器，描述了瀑布型人脸检测器的优点和不足，通 过对不足的分析，引出本文要介绍的分发型人脸检测器。 第三章是分发型人脸检测的构思，介绍了构造模型的理论基础，并诠释了检测 系统的可行性。 第四章是分发型人脸检测器的实现，介绍了检测器的设计和实现过程。 第五章是系统组成和实验结果分析，全面描述了系统的各个组成部分以及功 硕士学位论文 m a s t e r st h e s i s 能，并做了一系列的实验，通过对实验结果的分析，证明了系统的可行性。 最后一章是总结与展望，总结全文，并对以后的将要进行和有待改进的工作进 行了可预见性的展望。 6 第一章人脸检测方法综述 人脸检测的目的就是在图像中找到单个或多个人脸的位置，并进行位置标定。 人脸检测算法的研究已经有多年历史，主要有以下几类研究方法。 1 1 基于统计的方法 近年来，出现了大量人脸检测算法，其中很多经典的例子都是基于统计学习方 法的，其内容涉及到模式识别的各个方面。如主分量分析( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a ) 9 、人工神经元网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 8 ，1 0 、贝叶斯决 策规l j ( b a y e s d e c i s i o nr u l e ) 1 1 1 、支持向量机( s u p p o r t v e c t o r m a c h i n e s ，s v m s ) 1 2 ，1 3 ， 等等。其中以r o w l e y 8 1 的a n n 方法最具代表性，其价值不仅在于他用a n n 方法大 大提高了人脸检测的效率，而且还提供了用统计学方法解决人脸检测问题的思路。 1 1 1 基于事例学习的方法 该方法将人脸检测看作区分人脸样本和非人脸样本的两类模式分类问题，通过 对人脸样本集和非人脸样本集进行训练得到人脸分类器，然后利用学习出来的分类 器对图像中的区域进行检测，代表性的方法有基于人工神经网络的方法 1 4 ，1 5 ，基 于支持向量机的方法b 6 。 人工神经网络( a r t i f i c i a l n e u r a l n e t w o r k ，a n n ) 的方法是通过训练一个网络结 构，把模式的统计特性隐含在神经网络的结构和参数之中。基于人工神经网络的方 法对于复杂的、难以显式描述的模式，具有独特的优势。在这方面，c m u ( c a r n e g i e m e l l o n u n i v e r s i t y ) 的r o w l e y 1 7 ，1 8 的工作最为引人注目。r o w l e y 设计的基于神经 网络的人脸检测系统包含“过滤器”和“结果仲裁器”两个部分。而对于这正面直 立人脸的检测，文献【4 】采用了自举的方法收集非人脸样本，并采用“归并重叠检测” 和“多网络仲裁”技术降低错误报警率。此后，r o w l e y 在入脸检测系统中增加了一 个路由网络，用来检测人脸旋转的角度，解决了平面旋转人脸检测的问题【1 8 】。r o t h 等 1 9 1 采用s n o w ( s p a r s e n e t w o r k o f w i n d o w s ) 的学习结构进行人脸检测，在c m u 的人脸图像库中得到了9 4 8 的正确率。 支持向量机法( s u p p o r t v e c t o rm a c h i n e ，s v m ) 是在统计学理论的基础上发展 出的一种新的模式识别法，它是基于结构风险最小化原理的方法，较之于基于经验 风险最小化的人工神经网络，一些难以逾越的问题，如：模型选择和过学习问题、 硕士学位论文 m a s t e r s t h e s | s 非线性和维数灾难问题、局部极小点问题等都得到了很大程度上的解决 2 0 1 。但是 直接使用s v m 方法进行人脸识别有两个方面的困难：训练s v m 需要求解二次规 划问题计算复杂度高，内存需求量巨大；在j 人脸样本不受限制时，需要极大规 模的训练集合，得到的支持矢量会很多，使得分类器的计算量过高。p l a t t 2 1 提出 的s m o ( s e q u e n t i a lm i n i m a lo p t i m i z a t i o n ) 算法有效地解决了第一个问题。o s u n a 等人 【1 6 】首先将s v m 方法用于人脸检测问题，在训练中使用了大量人脸样本，采用“自 举”的方法收集“非人脸”样本，并使用逼近优化的方法减少支持矢量的数量，在 一定程度上解决了第二个问题；梁路宏等【2 2 1 采用模板匹配与s v m 方法相结合的人 脸检测算法，在模板匹配限定的子空间内采用自举的方法收集“非人脸样本”，训 练s v m ，降低了训练的难度和最终得到的支持矢量的规模，使得检测速度比单纯的 s v m 检测器提高了2 0 倍，得到了与c m u 的神经网络方法【1 8 】可比较的结果。 r i c h m a n 等 2 3 】提出用人脸中的鼻子区域训练s v m ，减少了训练数据，且不用考虑 s v m 对发型、眼镜等饰物敏感，采集图像时也不要求人脸必须定位。 1 1 2 基于子空间的方法 在该方法中，t u r k 和p e n t l a n d 将主分量分析一p c a ( p r i n c i p a lc o m p o n e n t s a n a l y s i s ) 应用到人脸检测中【2 4 】，对人脸训练样本集进行主分量分析得到特征脸子 空间，将图像区域投影到特征脸子空间，并计算到特征脸予空间的距离，该距离越 小，说明越像人脸，以此作为标准检测人脸。 1 1 3 基于隐m a r k o vm o d e l 的方法 这种方法 2 6 】仍然将人脸检测看作模式识别问题来解决，把人脸模式看作参数 化的随机过程，把人面部的额头、眼睛、鼻子、嘴巴和下巴等器官所在部位看作随 机过程的状态，通过对符合人脸各器官分布的状态的随机过程的检测来实现对人脸 的检测。 1 2 基于模版匹配的方法 模板匹配的方法是人为地预先定义一个标准人脸模板，计算输入图像与模板的 似然度：然后，确定一个似然度阈值，用以判断该输入图像中是否包含人脸。标准 人脸模板可以是固定的样板，也可以是带参变量的曲线函数。具体分为以下两种方 法： 1 2 1 预定义模板匹配法 8 硕士学位论文 m a s t e r st h e s i s 该方法 2 r j 是根据人脸的先验知识确定出人脸轮廓模板以及各个器官特征的子 模板。先通过计算图像中区域和人脸轮廓模板的相关值来检测出人脸候选区域，然 后利用器官特征子模板验证上一步检测出的人脸候选区域是否包含人脸，这种方法 的缺点在于不能有效处理尺度、姿势和形状的变化。 文献【2 8 】中采用的“平均脸模板匹配”，首先选取多个样本人脸，构造平均脸原 始模板，按多种宽长比拉伸原始模板，与待检测图像中所有可能尺度和形状的图像 窗口进行匹配，并利用似然度计算公式计算出似然度，根据相应阈值进行判断。文 献【2 9 】采用“双眼一人脸”模板，将平均脸的双眼模板剪裁出来，滤波时先使用双 眼模板再使用人脸模板，以提高匹配速度并取得更好的性能。不同于文献 1 5 1 定义 的似然度，文献【3 0 】将人脸图像二值化后，得到人脸轮廓，然后与模板库中不同大 小的人脸模板匹配，根据图像与模板之间的h a u s d r o f f 距离及相关阈值判断取舍。 1 2 2 变形模板法 该方法【3 1 】的主要思想是：定义一个可变形的参数模板和一个能量函数来描述 特征，通过一个非线性最优化方法求得使能量函数最小的参数模板，此模板即被认 为是对所求特征的描述。这种方法充分考虑到了人脸是变形体的特点，稳定可靠， 而且与姿势和光照条件无关，但仍存在能量函数的系数难以适应一般情况和计算量 巨大的问题。文献【2 9 】利用广义h o u g h 变换的思想，设计出了一种匹配人像边缘曲 线可变形模板，提高主持人口播帧监测方法的通用性。文献 3 2 1 中设计了一种由粗 到精的面部特征提取策略，在一定程度上解决了可变性模板参数处置确定的问题。 1 3 基于特征的方法 基于特征的方法，主要根据人脸的肤色，纹理，器官分布，轮廓以及对称性等 特征为标准进行检测。 1 3 1 基于颜色纹理的方法 该方法主要利用人脸皮肤表面颜色和纹理具有一定的稳定特性。l e e 等设计了 肤色模型表征人脸颜色，利用感光模型进行复杂背景下人脸和器官的检测【3 4 】，d a i 等人利用了s g l d ( s p a t i a lg r a yl e v e l d e p e n d e n c e 空间灰度共生矩阵) 纹理图信息 作为特征进行人脸检测 3 5 1 。 肤色是人脸表面最为显著的特征之一，而且近些年的照片中彩色照片占了绝大 多数，所以利用肤色检测人脸应该是很自然和直观的想法，使用人脸肤色信息可以 9 硕士学位论文 m a s t e r st h e s i s 大幅度降的搜索空间，降低检测的难度，提高运算性能等。近几年来，人们研究出 了几种利用肤色来检测人脸的方法： ( 1 ) gh l e e 3 8 研究了基于运动和颜色信息实现人脸检测和器官定位，首先利 用运动信息分割出人脸，然后根据人脸中各个器官具有不同的色调来分割眼镜、眉 毛和嘴等区域； ( 2 ) y d a i 3 9 根据空间按灰度共生矩阵的特征模型建立了人脸质地模型，并将该 模型结合y i q 颜色空间的1 分量，用于检测图像中的入脸； ( 3 ) g a r c i a 4 0 贝l j 采用向量量化的方法，先将颜色量化，再检测图像中的肤色区 域，然后进一步使用小波分析人脸灰度纹理特征来验证人脸。 还有些学者通过建立肤色模型来检测出照片中的肤色区域，再利用p c a ( 主分 量分析) 方法进行人脸的验证。 y a n g 和a b u j a 在文【4 l 】中利用如下方法实现肤色像素的检测，在c i el u v 颜 色空问中利用大量肤色像素的色度分量u v 的统计直方图建立g a n s s i a n 分布，由该 g a m s i a n 分布拟合肤色模型，肤色检测时，判断待检测像素在该肤色模型中的相应 概率是否大于预设阈值，若大于则判为肤色像素。j o n e s 和r e h g 发展了一种肤色检 测算法【4 2 】并应用于裸体人的检测，这种方法使用了接近l 亿个肤色像素建立肤色 模型，主要思想是在r g b 色彩空间建立两个包含3 2 个b i n 的统计直方图，一个使 用肤色像素建立，另一个使用非肤色像素建立，对于某个未知像素，利用两个直方 图得到相应的概率，然后计算两个概率之商，判断是否大于预设阈值，若大于则认 为肤色像素，文 4 3 1 中认为该肤色检测器性能相对较好。 以上两种方法都是基于统计思想的，其他主要就是基于肤色空间聚类的方法， 主要思想是用大量肤色像素得到肤色在色彩空间的聚类，并用闭合曲线或曲面拟 合，检测时判断像素是否落在拟合的曲线或曲面内，着落到，则判断该像素为肤色 像素，实现这种思想的方法主要需要解决两个问题，第一个就是颜色空间选择的问 题，第二个是如何拟合出肤色在所选择色彩空间的闭合曲线或曲面。文献d 删针对 肤色检测应用，对9 种色彩空问进行了比较，认为h i s ( h u e ，s a t u r a t i o na n d i n t e n s i t y ，色调，饱和度和亮度) 空间适合于g a n s s i a n 肤色模型的建立，同时认为 y c b c r 空间也适合于肤色检测。文献【4 5 】在y c b c r 和h s i 空间建立肤色模型，拟合 出了在这两种空间的肤色聚类形状。 1 3 2 基于器官分布规则的方法 在这种方法中，y a n g 等人提出了m o s a i c 方法【3 3 】，给出了基于人脸区域灰度 1 0 硕士学位论文 m a s t e r st h e s i s 分布的规则，依据这些规则对图像从粗分辨率到高分辨率进行筛选，以样本满足这 些规则的程度作为检测的依据。 近年来，国内外学者们已提出了许多种五官定位方法。根据定位所依据的基本 信息的类型，可以将现有的五官定位方法分为基于先验规则方法、基于几何形状信 息方法、基于色彩信息方法、基于外观信息方法和基于关联信息方法等5 类： ( 1 ) 基于先验规则首先，根据五官的一般特点总结出一些经验规则；然后， 在搜索前，先对输入图像作变换使目标特征得到强化，而后根据上述规则从图中筛 选出候选点或候选区域。 ( 2 ) 基于几何形状信息根据五官的形状特点构造一个带可变参数的几何模 型，并设定一个评价函数量度被检测区域与模型的匹配度。搜索时不断调整参数使 评价函数最小化，从而使模型收敛于待定位的五官位置。 ( 3 ) 基于色彩信息使用统计方法建立起五官的色彩模型，搜索时遍历候选区 域，根据被检测点的色彩与模型的匹配度筛选候选点或候选区域。 ( 4 ) 基于外观信息将脸部特征附近一定区域内的子图像作为一个整体，映射 为高维空间中的一个点，这样，同类五官就可以用高维空间中的点集来描述，并可 以使用统计方法得到其分布模型。搜索中，通过计算待检测区域与模型的匹配度即 可判定是否包含目标五官。 ( 5 ) 基于关联信息在局部信息的基础上，引入五官之间的相对位置信息，以 缩小候选点范围，在利用其它算法在候选区域内检测五官的具体位置。 1 3 3 基于人脸轮廓的方法 该方法【3 6 】研究主要依据是因为人脸的轮廓近似于椭圆形状，如果通过检测某 图像中的某个区域为椭圆形状，并且与已经计算好的人脸椭圆模板的相似度很高， 那么就可以利用人脸为椭圆形这个特点来实现人脸检测。这种方法的特点是速度 快，能够在非常短的时间内完成人脸的检测。但这种方法收到环境的干扰比较大， 在复杂环境下，达不到好的检测效果。 1 4 本章小结 本章介绍了几种不同类型的人脸检测方法，并对其实现过程进行了简要的分 析，从而明确了不同类型的检测方法适应的不同领域和检测环境。 随着统计学的很多理论逐渐在模式识别与人工智能方面的应用，人脸检测领域 也取得了很大的进步。由于基于统计的人脸检测方法识别正确率较高，适应面较广， 硕士学位论文 m a s t e r s t h e s i s 抗干扰能力较强，所以成为目前的主要研究方向，并且出现了很多实用效果非常好 的成果。 硕士学位论文 m a s t e r st h e s i s 第二章瀑布型人脸检测方法 随着统计学的部分理论在计算机方向，特别是模式识别和人工智能方向的运 用，解决了很多关键性问题。在人脸检测领域，融入统计学的某些理论后，明显提 高了正确检测率，检测能力有了很大提高。但是也存在一个致命问题，就是检测速 度慢，无论是支持向量机还是神经网络，都无法很好的解决这个问题。 最近，随着v i o l a 等人【6 】提出了一种基于h a a r 型特征的a d a b o o s t 算法，并用这 一算法训练得到瀑布型正面人脸检测器，这一问题才得到创造性的解决。他们的方 法是目前正确率最高的算法之一，而在速度上要远远快于几乎所有其他算法，已经达 到实时效果，为人脸检测的实际应用提供了可能。 在这一章中，将详细介绍瀑布型人脸检测算法，并分析该检测器的优点和缺点， 为后面改进为分发型人脸检测器打下基础。 2 1 瀑布型人脸检测器的结构 为了能够有效的提高检测速度，v i o l a 等人设计了一种比较经典的瀑布型的结 构，这种结构在保证了检测的正确率的同时，极大的提高了人脸检测器的检测速度。 后面介绍的分发型人脸检测器也部分借鉴了这种设计理念。 下面看看瀑布型人脸检测器的结构图： 图2 1 瀑布型人脸检测器结构图 硕士学位论文 m a s t e r st h e s l s 从图2 1 可以看出，瀑布型人脸检测器采用的是一种逐层淘汰非人脸的方法。 “瀑布”的每一“层”是一个由连续a d a b o o s t 算法训练得到的强分类器。根据每 成所在的位置设置每层的阈值，使得大多数人脸都能通过，在此基础上尽量抛弃反 例。位置越靠后的层越复杂，即包含越多的弱分类器，因而也具有更强的分类能力。 这样做是因为非人脸样本通过的层数越多就越像人脸，因而越接近分类边界。瀑布 型检测器就像一系列筛孔大小递减的筛子，每一步都能筛除一些前面筛子漏下的反 例，最终通过所有筛子的样本才被接受为人脸。 瀑布型人脸检测器之所以能够达到非常快的检测速度，是因为大部分非人脸子 窗口在前面的几层中就被淘汰掉了，只有数量很少的人脸子窗口和疑似人脸子窗口 能够进入到后面的层中进行再判断。这样在很大程度上减少了检测器的运算量，在 保证准确率的同时，极大的提高了检测速度。这也是瀑布型人脸检测器能达到实时 的特点所在。 2 2 多分辨率搜索 人脸检测器构建好后，采用怎样一种扫描方式也是影响检测速度和效果的一个 很重要因素。扫描方式必须能够满足下面的要求： 1 要充分考虑检测器能够检测的最小人脸和最大人脸： 2 要充分考虑扫描窗口的尺寸和步长； 3 要尽量控制扫描窗口的数量； 4 要保证检测的正确率。 在一张图片中，子窗口的数量是非常巨大的，如何高效选取符合条件的子窗口， 是检测器成功与否的又一个重要环节。 o l a 等人经过大量的实验，最终定义了一种符合瀑布型人脸检测方法的扫描 方法，即多分辨率搜索方法。如图2 2 硕士学位论文 m a s t e r st h e s i s 图2 2 多分辨率扫描方式 图2 2 中，扫描子窗口以一定的尺寸和规定的步长，从左到右，从上到下，逐 一扫描。当以当前尺寸扫描完成整张图片后，再以一定的比例扩大扫描窗口的尺寸， 然后再按照前面的方式，从图片的左上角，从左到右，从上到下，再次扫描。直到 扫描子窗口扩大到规定的最大值。通过这种方式，就能将图片上大小不一的人脸子 窗口全部检测到。 在v i o l a 等人提出的瀑布型人脸检测方法中，根据多分辨率搜索的方式，提出 了一套针对瀑布型人脸检测方法的可行的扫描方式。在v i o l a 的系统中，检测子窗 口的初始大小为3 0 3 0 ，尺度间隔1 2 5 ，像素步长1 5 ，最大扫描窗口为2 4 0 2 4 0 。 通过v i o l a 等人的一系列实验表明，这种检测方法是可行的，即保证了不同分辨率 人脸的检测正确率，又保证了检测的速度。分发型人脸检测器也部分借鉴了这种检 测方式，并根据自身特点，做了相应改进，这一点会在后面的章节中有详细的介绍。 2 3 瀑布型人脸检测器的优点和不足 通过上两节的介绍，我们充分了解了瀑布型人脸检测器的特点。其中的很多方 法都很值得我们借鉴，它解决了统计学人脸检测器的检测速度问题，提高了检测正 硕士学位论文 m a s t e r st h e s i s 确率，但是，也有不足的地方。 2 3 1 优点 瀑布型检测器较之以前存在的人脸检测器，它的优点是非常明显的，我们逐一 把它列出来： 1 解决了检测速度慢的问题。由于采用了逐层淘汰的方法，有效的淘汰掉了 大部分非人脸子窗口，提高了检测速度； 2 通过定义多分辨率的搜索方式，保证了不同大小的人脸子窗口都能被检