（生物医学工程专业论文）基于稀疏特征和进化搜索的人脸检测方法研究.pdf

摘要 摘要 题名：基于稀疏特征和进化搜索的人脸检测方法研究 硕士姓名：陈春燕 导师姓名：罗立民教授章品正老师 学校名称：东南大学 人脸检测是自动人脸识别系统和监控系统的首要环节，也是实现机器智能化的重要步骤 之一，同时也能推广到对象检测( 如行人检测，车辆检测等) 。其处理的问题是确认图像中是 否存在人脸，如果存在则返回人脸的位置，大小，姿态。人脸检测的应用相当广泛，如今已 广泛应用于监控，安防系统。并将逐步应用于智能人机接口，数字视频会议，基于内容的图 像检索，视频检索等。 人脸检测的方法，经过众多学者的长期研究已经取得了显著的成绩，形成了不同理论分 支的多种方法类别。其中基于统计学习的方法应用最为广泛，最具代表性的工作是由v i o l a 和j o n e s 提出的基于h a a r 型特征的a d a b o o s t 算法。该方法在保留统计学习方法鲁棒性的同 时为人脸检测的实际应用提供了可能，引来了人脸检测领域的广泛关注。然而，由于人脸本 身复杂的细节变化，以及不同的成像外界条件变化，人脸检测仍然存在很多难点有待进一步 解决。 本文首先对人脸检测的研究背景和研究难点进行论述。在此基础上，重点研究了基于稀 疏特征的人脸检测方法，对比v i o l a - j o n e s 的方法清晰地呈现了本文检测器的训练层次。文章 采用稀疏特征，引入进化搜索寻找符合条件的稀疏特征构建查找表型( l o o ku pt a b l e ) 弱分类 器；为尽可能覆盖大的样本空间，使用大样本训练连续a d a b o o s t 动态级联结构检测器。 本文对原有方法进行了一定的探讨和改进，首先引入稀疏特征训练检测器。针对稀疏特 征实现的一些技术细节，重新估计了衡量稀疏特征判别性的f i m e s s 函数。引入进化搜索的思 想用于特征选择，提出了一种基于稀疏特征和进化搜索的人脸检测算法，解决了稀疏特征搜 索时间过长的问题。为了提高检测率，扩展贝叶斯决策弱分类器，同时采用大规模训练集和 验证集用于连续a d a b o o s t 训练。最后实验对比了稀疏特征与h a a r 型特征训练的检测器的检 测率并给出检测结果，实验验证了本文方法能够有效地完成人脸检测任务。 关键词：人脸检测，a d a b o o s t 算法，稀疏特征，进化搜索，查找表型弱分类器 a b s t r a c t a b s t r a c t t h e s i st i t l e ：r e s e a r c ho ff a c ed e t e c t i o nm e t h o db a s e do ns p a r s ef e a t u r ea n de v o l u t i o n a r y s e a r c h a u t h o r ：c h e nc h u n y a n t h e s i ss u p e r v i s o r ：p r o f e s s o rl u ol i m i n ，z h a n gp i n z h e n g s c h o o l ：s o u t h e a s tu n i v e r s i t y f a c ed e t e c t i o ni st h ef i r s ts t e pi nf u l l ya u t o m a t i cf a c er e c o g n i t i o ns y s t e ma n di sw i d e l y u s e di ns u r v e i l l a n c e s y s t e m i t i sa l s o t h em o s ti m p o r t a n t s t e p o fa c h i e v i n gm a c h i n e i n t e l l i g e n c ea n dc a r lb ee x t e n d e dt oo t h e ro b j e c td e t e c t i o nt a s k ( s u c ha sp e d e s t r i a n sd e t e c t i o n ， c a rd e t e c t i o ne t c ) f a c ed e t e c t i o ni su s e dt oj u d g ew h e t h e rt h e r ei saf a c ei nt h ei m a g e i fa f a c ee x i s t s ，t h ef a c ed e t e c t i o nw i l lr e t u r ni t sp o s i t i o na n ds i z e f a c ed e t e c t i o nh a sb e e nw i d e l y u s e d ，s u c ha ss u r v e i l l a n c ea n ds a f e g u a r ds y s t e m ，a n dw i l lb eg r a d u a l l ya p p l i e dt oi n t e l l i g e n t u s e ri n t e r f a c e ，d i g i t a lv i d e om e e t i n g ，a n dc o n t e n t - b a s e di m a g er e t r i e v a la n ds oo n a f t e rad e c a d eo fe f f o r t s ，f a c ed e t e c t i o nr e s e a r c hh a sa c h i e v e dg r e a tp r o g r e s s ，w h i c hh a s f o r m e dd i f f e r e n tt y p e so fm e t h o d si nd i f f e r e n tt h e o r e t i c a lb r a n c h e s n em o s tw i d e l yu s e d m e t h o d sa r eb a s e do nt h es t a t i s t i cl e a r n i n gt h e o r y , o fw h i c hv i o l aa n dj o n e s m e t h o dt h a ti s b a s e do nh a a r - l i k ef e a t u r e sa n da d a b o o s ta l g o r i t h mi sm o s tr e p r e s e n t a t i v e i tn o to n l yk e e p s t h er o b u s t n e s so fs t a t i s t i cl e a r n i n g b u ta l s om a k e si tp o s s i b l et od e t e c tf a c e si nr e a l - t i m e h o w e v e r , f a c ed e t e c t i o ni ss t i l lac h a l l e n g i n gr e g i o nt h a tn e e d sm o r ea t t e n t i o n sb e c a u s eo fi t s c o m p l e xd e t a i lc h a n g e sa n dv a r i o u si m a g i n gc o n d i t i o n s i nt h i s p a p e r , f a c ed e t e c t i o nr e s e a r c h sb a c k g r o u n d ，i t sd i f f i c u l t i e sa n dg e n e r a lf a c e d e t e c t i o nm e t h o d sa r ef i r s t l yd i s c u s s e d t h e nt h e f a c ed e t e c t i o nm e t h o db a s e do ns p a r s e f e a t u r ei sm a i n l yr e s e a r c h e d t h eh i e r a r c h i e so fv i o l a sa n do u rd e t e c t o r sa r ec o m p a r e dt o d e s c r i b et h es t r u c t u r e sc l e a r l y as p a r s ef e a t u r es e ti si n t r o d u c e di n t oa d a b o o s tl e a r n i n g f r a m e w o r kf o rf a c ed e t e c t i o n e v o l u t i o n a r ys e a r c hi sa p p l i e dt os e a r c hs a t i s f a c t o r yf e a t u r e st o c o n s t r u c tt h el o o k - u p - t a b l e ( l u t ) t y p ew e e kc l a s s i f i e r s i no r d e rt oc o v e rl a r g es a m p l es p a c e t oa c h i e v eg o o dp r e c i s i o n ，t h er e a l - a d a b o o s td y n a m i cc a s c a d ef a c ed e t e c t o ri sl e a r n tt h r o u g h u s i n gal a r g et r a i n i n gs e ta n dah u g ee v a l u a t i o ns e t n l i sp a p e rt r i e st od i s c u s sa n di m p r o v et h eo r i g i n a lm e t h o d f i r s t ，an e wf e a t u r ec a l l e d s p a r s ef e a t u r ei si n t r o d u c e di n t ot h ef a c ed e t e c t o rt r a i n i n gs t a g e b e c a u s eo ft h ed e t a i l so f r c a l i z a t i o no ft h en e wf e a t u r e ，t h ef i t n e s sf u n c t i o no fd i s c r i m i n a t i o ni sr e v a l u a t e da n dt h e e v o l u t i o n a r ys e a r c hi sa p p l i e dt os e a r c hs a t i s f a c t o r yf e a t u r e s c o n s e q u e n t l y , af a c ed e t e c t i o n m e t h o db a s e do ns p a r s ef e a l 慨sa n de v o l u t i o n a r ys e a r c hi sp r e s e n t e d ，w h i c hs o l v e st h e p r o b l e mo fe x h a u s t i v es p a r s ef e a t u r es e l e c t i o n i no r d e rt oi m p r o v et h ef a c ed e t e c t i o nr a t e ， w e e kc l a s s i f i e r sa r ec o n s t r u c t e db ye x t e n d i n gt h eb a y e s i a ns t u m p a n dt h e n ，t h ea d a b o o s t d y n a m i cc a s c a d ef a c ed e t e c t o ri s l e a r n tt h r o u g hu s i n gal a r g e t r a i n i n gs e ta n dah u g e e v a l u a t i o ns e t n l ee x p e r i m e n t so nc m u m i tf r o n t a lt e s ts e tb e t w e e nt h es p a r s ef c a t u r e sa n d h a a r - l i k ef e a t u r e sf a c ed e t e c t o r sa r ec o m p a r e da n ds e v e r a lf a c ed e t e c t i o nr e s u l t sa r eg i v e n , w h i c hc a n p r o v e t h a tt h ep r o p o s e dm e t h o di se f f e c t i v e a b s t r a c t k e yw o r d s ：f a c ed e t e c t i o n ，a d a b o o s ta l g o r i t h m ，s p a r s ef e a t u r e ，e v o l u t i o n a r ys e a r c h ， l o o k - u p - t a b l ew e e kc l a s s i f i e r 目录 目录 摘要i a b s t r a c t i i 目蜀之i v 第一章绪论1 1 1 前言1 1 2 难点和展望l 1 3 人脸检测方法的性能评价2 1 3 1 人脸图像数据库2 1 3 2 性能评测2 1 3 3 本文采用的数据库及评测方法4 1 4 本人的主要工作5 1 5 本文的组织结构6 第二章人脸检测方法概述7 2 1 引言7 2 2 人脸检测方法分类7 2 2 1 基于知识的方法7 2 2 2 特征不变量方法8 2 2 3 模板匹配的方法8 2 2 4 基于表象的方法9 2 3 经典方法概述9 2 3 1 神经网络9 2 3 2 基于h a a r 型特征与a d a b o o s t 级联结构的人脸检测1 0 2 4 本章小结1 4 第三章基于稀疏特征的l u t 型弱分类器1 5 3 1 引言1 5 3 2 粒空间中稀疏特征的定义1 5 3 3 基于贝叶斯决策算法的l u t 型弱分类器l6 3 3 1 贝叶斯错误1 7 3 3 2 贝叶斯决策l8 3 4 进化搜索选择稀疏特征。l9 3 4 1 进化搜索1 9 3 4 2 进化搜索稀疏特征2 1 3 5 本章小结2 4 第四章a d a b o o s t 动态级联检测器训练框架2 5 4 1 引言2 5 4 2 更新在线工作集2 5 4 3 基于大验证集阈值调整2 5 4 4 基于连续a d a b o o s t 算法的动态级联学习2 7 4 4 1 动态级联学习算法2 7 4 4 2 本文检测器结构层次2 8 4 5 本章小结2 8 第五章实验及结果2 9 5 1 样本集及性能评测2 9 5 2 级联结构检测器3 0 5 3 本文实验结果3 0 5 3 1 使用不同特征的检测效果3 l 5 3 2 进化搜索的效果3 2 5 3 3 使用大数据集进行训练的重要性3 3 5 - 3 4 与v i o l a - j o n e s 方法的检测性能对比3 3 5 4 本章小结3 6 第六章总结和展望3 8 6 1 本文工作总结3 8 6 2 后续工作展望3 8 致谢4 0 参考文献4 1 攻读硕士学位期间发表的论文4 4 v 第一章绪论 1 1 前言 第一章绪论 人脸检测是指在输入图像中确认是否存在人脸，如果存在，则对人脸进行定位。人 脸检测是自动人脸识别系统和许多监控系统的首要环节，也是实现机器智能化的重要步 骤之一，同时也能推广到对象检测( 如行人检测，车辆检测等) 。因而人脸检测作为人脸 信息处理的一项关键技术，几年来在模式识别与计算机视觉领域内一向受到普遍重视， 研究十分活跃。 人脸检测问题最初源于人脸识别( f a c er e c 0 嘶t i o r l ) 的研究f l 】。早期的人脸识别的研 究主要针对具有强约束条件的人脸图像( 如无背景或简单背景的图像) ，往往假设人脸位 置已知或者很容易获得，因此人脸检测问题并未得到重视。进入2 0 世纪9 0 年代以后， 随着网络安全和电子商务等应用需要的剧增，人脸识别成为具有潜力的生物身份鉴别方 式。这种应用背景要求人脸识别系统能对一般环境图像具有一定的适应能力，由此所面 临的一系列问题使得人脸检测开始作为一个独立课题受到研究者的重视。图1 1 描述了 一个典型的人脸分析系统的处理流程。今天，人脸检测的应用背景已经远远超过了人脸 识别系统的范畴，在基于内容的检索、数字视频处理，视觉监测等方面有着重要的应用 价值【2 】。 区豆h 虱等划、m 巫互m 丕至 图1 1 人脸分析流程 1 2 难点和展望 人脸检测研究具有重要的学术价值，虽然人类可以毫不费劲地检测到人脸，但是要 计算机完全自动的检测人脸却是个复杂而具有挑战性的模式二分类问题。尽管基于 a d a b o o s t 的人脸检测取得了突破性进展，人脸检测依然存在着众多障碍： ( 1 ) 人脸具有相当复杂的细节变化，如不同的外貌、表情、性别、肤色等。由于人脸 存在丰富的细节变化，给人脸检测带来困难。 ( 2 ) 不同的外在条件变化。由于成像角度不同造成的人脸多姿态，如平面内旋转和平 面外旋转，光照的影响，以及图像的成像条件等，都会对人脸检测造成影响。 ( 3 ) 人脸的遮挡和器官缺失。由于眼睛、头发、装饰物等物品的遮挡，甚至人脸某些 器官缺失，都会造成人脸检测的判别困难。 图1 2 展示了实际中人脸受光照、旋转、表情、肤色、遮挡等条件的影响p j 。可见 由于人脸模式的可变性和复杂性，以及被检测的对象的随意性和对象周围环境的复杂 性，人脸检测在实用要求中仍面临着许多严峻的问题。因而人脸检测算法的精度、鲁棒 东南大学硕士学位论文 性和检测的速度仍然是目前需要研究者们深入研究的问题。人脸检测是人机交互、人脸 识别、人脸分析等系统最基础也是最初的一步，引入新的方法和新的特征并能够找到解 决这些问题的方法，成功构造出入脸检测与跟踪系统，将为解决其它类似的复杂模式检 测问题提供重要的启示。 图圜圆飘 喁慝魑团歪 圈恩囵圈 匣美凰图盈 图1 2 人脸受光照、旋转、表情、肤色、遮挡等条件的影响 3 1 1 3 人脸检测方法的性能评价 长期以来，研究人员提出了很多的人脸检测算法，但是要客观的评价它们的性能时， 往往使用了不同的测试集。对于不同的数据库，各种的检测方法很不相同，这对我们对 比评价不同算法造成了极大的困难。到目前为止，要对人脸检测算法的性能做出客观精 确的评价仍然非常困难。 1 3 1 人脸图像数据库 人脸图像数据库可用于人脸检测的训练和测试。大概可以分为两种，一种主要用于 人脸检测的训练。另一种主要用于人脸检测测试。人脸数据库根据不同的目的而建。到 目前为止，出现了很多满足不同需求的人脸图像库，然而由于不同需求，仍有必要设计 和建立具有特色的专用数据库。 表1 1 列出了常见的一些人脸数据库。 1 3 2 性能评测 随着人脸检测研究的深入，必然产生对各种方法进行客观评价的要求，这就需要一 系列的为研究者所公认的测试图像集。文献中较为常用的是c m u 的灰度图像测试集。 在人脸检测系统中，有四种可能的输出结果：( 1 ) 人脸被正确的接受为人脸；( 2 ) 人 脸被错误的拒绝为非人脸；( 3 ) 非人脸被错误的接受为人脸；( 4 ) 非人脸被正确的拒绝为 2 第一章绪论 非人脸。其中( 1 ) 的概率称为人脸检测率( d e t e c t i o n r a t e ) ，即在给定图像中，检测出来的 人脸和人脸总数的比率。( 3 ) 的数目称为错误检测数( f a l s ed e t e c t i o n ) ，即所有检测出的检 测框中非人脸检测框的个数，即误检为人脸的个数。 表1 1 常用的人脸图像数据库 m i t 媒体f t p ：w h i t e c h a p e l m e d i a 共有l6 个人的脸，每个人有2 7 幅 实验室 m i t e d u p u b i m a g e s 在不同光照、不同尺寸、不同头部 角度情况下的图像 m i tc b c l h t t p ：w w w a i m i t e d u p r o 包括6 9 7 7 幅裁切出的图像训练集 j e c t s c b c l s o f t w a r e 。d a t a s e ( 2 4 2 9 个人脸和4 5 4 8 个非人脸) ， t s f a c e d a t a 2 h t m l 并且测试集包括2 4 0 4 5 幅图像( 其 中含有4 7 2 人脸和2 3 5 7 3 非人脸) f e r e t h t t p ：w w w n i s t g o v s r d 收集了大量男性和女性的人脸图 像。每张图像包含了一张特定表情 的人脸 u m i s t h t t p ：i m a g e s e e u m i s t a c 包括2 0 个主题共5 6 4 张图像。每 u k d a n n y d a t a b a s e h t m l 个主题覆盖了一个从侧面到正面 的不同人脸姿态 u n i v e r s i t y f t p ：i a m f t p u n i b e o h p u b 3 0 个人的3 0 0 张正面人脸( 每人1o o fb e r n i m a g e s f a c e l m a g e s 张) 和15 0 张侧面人脸( 每人5 张) y a l e h t t p ：c v c y a l e e d u在不同光照条件下戴眼镜的表情 图像 a t & t h t t p ：w w w u k r e s e a r c h a t4 0 个主题，每个主题1o 张图像 ( o l i v e t t t i ) t e o m h a r v a r d h t t p ：c v c y a l e e d u p e o p l e 在不同光照条件下剪裁好的人脸 f a c u l t y b e l h u m e u r h t m l 图像 m 2 v t s h _ t t p ：p o s e i d o n c s d a u t h g 一个包含不同图像序列的多态数 r m 2 v t s i n d e x h t m l 据库 p u r d u e h t t p ：r v l l e c n p u r d u e e d u3 , 2 7 6 张在不同光照条件下的表情 a l e i x a l e i x f a c e 和有遮挡的人脸图像 变塑奎兰堡主兰垡笙奎 这四个指标都非常重要，特别是检测率和误检数就经常需要权衡。检测率无法反映 系统对非人脸的排除能力。有些检测算法可以得到1 0 0 的检测率，但其错误检测的数 量却可能非常巨大，不能称其为好的算法。因而，有了检测率，还需要误检数的评价， 二者需要权衡方能评价人脸检测性能。一个理想的人脸检测算法，应该有1 0 0 的人脸 检测率和0 错误检测数。 虽然目前有很多种人脸检测算法，但是由于大多所用的训练集和测试集不同，即使 采用相同的训练集和测试集，由于研究者对检测成功的看法也不尽相同，使得检测率的 标准不是唯一的。这些都导致了对不同检测算法评测的困难。为了促进人脸识别算法的 深入研究和实用化，公平地比较和评价这些方法，有待于定义一套标准的通用测试数据 库和测试方法。 1 3 3 本文采用的数据库及评测方法 在本实验中为进行分类器训练，从互联网等各种渠道搜集了6 5 0 0 0 张图片，包括 5 0 0 0 0 个人脸。其中包括了5 个公共的数据库，b a n c a 数据库，f e r e t 数据库，m i t 人脸数据库，b i o l d 数据库和a r 人脸数据库。通过随机缩放和平移，我们产生了一个 4 0 万正样本和8 0 0 0 万负样本的训练集，以及一个1 0 0 万的验证集。然后将所有样本归 一为2 4 2 4 像素的图片。 本文选择大多数文献常用的c m u m i t t 4 5 标准测试数据集作为人脸检测的测试 集。以方便进行算法性能的评价。c m u m i t 包含了1 3 0 张灰度图片，其中有5 1 1 个正 面人脸。在实验中，检测率= 检测出的人脸个数人脸总数，误检数= 所有检测出的检测 框中非人脸检测框的个数，即误检为人脸的个数 6 1 。 由于很多算法可以通过调节算法参数折中检测率，因此在本文使用r o c ( r e c e i v e r o p e r a t i n gc h a r a c t e r i s t i c ) i i l j 线来描述系统性能的测度。r o c 曲线是一种常用的测度，将 检测率和误检数分别作为横坐标和纵坐标绘制曲线。它能够提供系统在不同操作点性能 的经验评价，有助于了解算法的总体性能。图1 3 所示为r o c 曲线示意图。 误检数 图1 - 3r o c 曲线示意图 4 第一章绪论 1 4 本人的主要工作 本文的研究方向是基于稀疏特征和进化搜索的人脸检测方法研究。它将人脸检测中 最新的稀疏特征结合到人脸检测训练中；引入进化搜索的思想用于特征选择，减少了特 征搜索时间，提出了一种基于稀疏特征和进化搜索的人脸检测算法；在构建弱分类器过 程中，综合考虑分类误差和计算复杂度设计了衡量稀疏特征判别性的f i t n e s s 函数；将弱 分类器扩展为具有连续置信度输出的形式，用于连续a d a b o o s t 训练，以更精确的刻画 分类边界。最后将该算法用于c m u m i t 的标准正面人脸测试集的检测中，实验结果表 明本文提出的算法取得了比较好的检测率。本文的主要工作包括以下几部分： ( 1 ) 引入新的特征稀疏特征用于人脸检测 v i o l a 的人脸检测框架，结合了h a a r 型特征，积分图和a d a b o o s t 算法获得了很好的 检测速度和精度。然而矩形特征只对一些简单的图形结构，比如边缘，线段，比较敏感， 因此比较粗略。对称结构的h a a r 型特征，难以描述图像非对称的一些结构，对高频纹 理信息的判别能力也非常的弱。在矩形特征的基础上，为了更全面的描述人脸特征，本 文引入了一种稀疏特征，它具有速度快，鲁棒性好的优点。本文详细地介绍了稀疏特征 的定义，并使用稀疏特征训练单个弱分类器。另外为得到平稳的特征，重新设置了稀疏 特征中各个粒的权重分布。文章详细介绍了使用稀疏特征进行连续a d a b o o s t 训练的整 个步骤。最后对比实验证明了稀疏特征相比于h a a r 型特征，大大提高了检测率，同时 使检测器具有更少的特征。 ( 2 ) 引入进化搜索的思想进行特征选择 在人脸检测训练的过程中，稀疏特征选择的好坏与否，直接决定了弱分类器的判断 性能，进而影响了整个检测器的性能好坏以及训练的速度问题。在庞大的稀疏特征中设 计的选择策略必须满足简单快速，能够在整个冗余的稀疏特征中趋向于选择比较好的特 征用于后续训练。本文引入进化搜索的思想来进行特征选择，从随机产生的初始群体开 始，经过进化算子的不断作用，在迭代过程中逐步改进当前群体中个体的适应值，直到 算法得到问题的满意解。文章详细介绍了进化搜索思想，最后给出了结合本文实际情况 所采用的特征搜索算法。进化搜索克服了用传统搜索的方法选择特征完全做不到的困 难。 ( 3 ) 设计判别函数f i t n e s s 筛选候选稀疏特征 本文在构建稀疏特征集合的过程中，综合考虑贝叶斯决策的贝叶斯误差以及稀疏特 征的计算复杂度设计出判别函数f i t n e s s ，利用该判别函数有效筛选候选特征。 ( 4 ) 扩展贝叶斯决策弱分类器用于连续a d a b o o s t 训练 本文详细介绍了贝叶斯决策弱分类器的理论及详细算法，并且对文献【3 0 】中提到的贝 叶斯决策弱分类器进行了扩展。在其分段的特征空间中每段使用对数似然输出，将分类 器扩展为用于连续a d a b o o s t 学习的查找表( l u t ) 型弱分类器。l u t 型分类器几乎能逼近 任何连续函数，因而能模拟样本特征的分布，能更加精确地代替阈值型弱分类器。最后， 本文构建了大规模的正负样本训练集和验证集训练出动态级联结构检测器用于人脸检 5 东南大学硕士学位论文 测。 1 5 本文的组织结构 本文主要是结合现有人脸检测技术研究基于稀疏特征的人脸检测的课题，首先讨论 了人脸检测的背景，研究难点及基本方法，然后讨论了整个人脸检测的训练框架，最后 给出了本文的对比实验结果。 第一章为绪论部分，介绍了人脸检测技术发展的背景，难点及展望，以及人脸检测 方法的性能评价及本文采用的评价方法，最后是本文的主要工作和本文的组织结构。 第二章概述了人脸检测的方法分类。首先介绍了人脸检测的四大分类及其优缺点， 当然有许多人脸检测的方法，并不能简单的归为其中某一类，而是其中的几类的组合。 然后详细地讨论了其中最为经典的基于统计学习的两种算法，人工神经网络以及基于 h a a r 型特征与a d a b o o s t 级联结构的人脸检测。 第三章详细讨论了基于稀疏特征的l u t 型弱分类器的构建过程。首先介绍了粒空 间及其稀疏特征的定义。然后引入进化搜索的思想，在冗余的稀疏特征中选择满意的特 征训练弱分类器。最后扩展文献【3 0 】中的贝叶斯决策弱分类器，在其分段的特征空间中每 段使用对数似然输出而不是二值输出。分类器被扩展为查找表( l u t ) 型用于连续 a d a b o o s t 学习。文中以表格流程图的方式清晰展示了各算法的流程。 第四章详细介绍了a d a b o o s t 动态级联结构检测器的训练框架。并对比v i o l a - j o n e s 方法直观地描述了本文的检测器训练层次。为了尽可能覆盖无穷的正负样本空间，本文 采用了动态级联结构的检测器训练结构来进行大样本训练，解决了大的计算量的问题。 第五章实验对比了稀疏特征和h a a r 型特征训练的人脸检测器检测性能，验证了进 化搜索的效果。另外还对比实验证明了使用大数据集进行训练的重要性。最后给出了本 文方法与v i o l a - j o n e s 方法的对比结果图。实验证明了本文方法的有效性。 第六章对人脸检测技术进行了总结和展望。 6 第二章人脸检测方法概述 2 1 引言 第二章人脸检测方法概述 人脸检测的基本思想是用知识或统计的方法对人脸建模，比较所有可能的待检测区 域与人脸模型的匹配度，从而得到有可能存在人脸的区域。通过长期研究，人脸检测方 法总的来说可分为基于启发式模型的方法和基于统计学习的方法( 许多人脸检测的方法 大都是其中几类方法的组合) 。前者根据先验知识抽取人脸特征并进行建模，是人脸检 测的传统方法。后者把人脸检测问题当作一个标准的模式识别问题来处理，通过学习算 法的训练，获得想要得到的人脸检测器。统计学习的方法也利用人脸的先验知识，所不 同的是，这些知识被融入到学习过程中。基于统计学习方法的经典例子包括如人工神经 网络 7 ( a r t i f i c a ln e u r a ln 咖o r k ，删，贝叶斯决策规则【s 】( b a y e sd e c i s i o nt a l c ) ，支持向 量机一儿1 0 j ( s u p p o r tv e c t o rm a c h i n e s ，s v m s ) 等。其中以r o w l e y 的伽州方法最具代表性， 其价值不仅在于他用a n n 方法大大提高了人脸检测的效率，而且还提供了用统计学习 方法解决人脸检测问题的基本思路。2 0 0 1 年，v i o l a - j o n e s 1 1 】提出了一种人脸检测框架， 它结合h a a r 型特征，积分图，通过a d a b o o s t 算法学习级联结构分类器，获得了很好的 检测速度和精度。该方法的提出对于人脸检测的研究具有划时代的意义，引起了这一领 域的广泛关注也引导了此后人脸检测的一个主流研究方向。 2 2 人脸检测方法分类 人脸检测问题所包括的内容十分广泛，也产生了很多不同的检测方法。这些方法从 不同的角度可以有多种分类方法。一般地，我们可以将人脸检测的方法分为四类【1 2 】： ( 1 ) 基于知识的方法( k n o w l e d g e - b a s e dm e t h o d s ) ( 2 ) 特征不变量方法( f e a t u r ei n v a r i a n ta p p r o a c h e s ) ( 3 ) 模板匹配的方法( t e m p l a t em a t c h i n gm e t h o d ) ( 4 ) 基于表象的方法( a p p e a r a n c e b a s e dm e t h o d s ) 。 当然有许多人脸检测的方法，并不能简单的归为其中某一类，而是其中几类的组合。 下文中我们将详细讨论这些方法。 2 2 1 基于知识的方法 基于知识的方法将人类认识人脸的知识转化成一些规则。通常这些规则包括了脸部 特征之间关系的知识。这个方法主要用于人脸定位。这些规则可以由以下几方面构成【1 3 1 ： ( 1 ) 轮廓规则。人脸的轮廓可以被近似看作一个椭圆，人脸的检测可以通过检测椭 圆来完成。对任意一幅图像，首先进行边缘检测，并对细化后的边缘提取曲线特征，然 后计算各曲线组合成人脸的评估函数来检测人脸。 7 东南大学硕士学位论文 ( 2 ) 器官分布规则。虽然人脸因人而异，但是都遵循一些普遍的规则，即五官分布 的几何规则。检测图像中是否有人脸，即是否存在满足这些规则的图像块。这种方法一 般是先对人脸的器官或器官的组合建立模板，然后检测图像中几个器官可能分布的位 置，对这些位置点分别组合，用器官分布的知识规则进行筛选，从而找到可能存在的人 脸。该方法根据图像的解析度建立一个多尺度的金字塔，通过比对进行筛选。 ( 3 ) 对称性规则。人脸具有一定的轴对称性，各器官也具有一定的对称性。从器官 的分布找到其对称性规则。 ( 4 ) 运动规则。如果输入为动态图像序列，则可以通过人脸或人脸的器官相对于背 景的运动来检测人脸。 基于知识的方法是一种自上而下的方法。基于知识所存在的问题就是检测率不高， 因为很难把人脸感知的经验转化为定义完善的规则。如果规则过于具体，将有很多人脸 无法通过所有的规则，而被检测出来；但是，如果规则太过普通，可能又会将很多不是 人脸的检测为人脸，造成误检。 2 2 2 特征不变量方法 特征不变量方法的目标是寻找当姿势、视角和光线条件变化时仍然存在的结构特 征，并利用这些特征来定位人脸。由于人类能够毫不费劲地“看到”在不同光线和姿态 下的人脸和物体，因此研究人员认为有一个潜在的假设：存在一些关于人脸的不依赖于 外在条件的属性或者特征。有许多方法就是按照这个潜在假设，首先通过大样本的学习 的方法，寻找到人脸不依赖外在条件的属性和特征，然后用寻找到的特征去检测人脸。 人脸的肤色被证明是人脸检测的一个有效特征【1 4 】【”】。人脸肤色聚类在颜色空间中一 个较小的区域，因此可以利用肤色特征有效地检测图像中的人脸。利用肤色特征检测出 的人脸区域可能不够准确，属于初步定位的范畴。但它具有直观、实现简单、快速等特 点，可以为后面进一步进行精确定位创造良好的条件，以达到最优的系统性能。 对比基于知识的自上而下的方法，这种基于特征的方法是自下而上的。本论文是用 的方法就是基于人脸特征的方法。 2 2 3 模板匹配的方法 模版匹配作为一种经典的模式识别方法，其处理过程如下： ( 1 ) 手动预定义或参数化一个标准人脸图案。预处理要做尺度归一化和灰度归一化 的工作，如图2 1 所示。 ( 2 ) 计算输入图像与标准人脸图案的关系值，这个关系值通过独立计算各个模块匹 配程度后得到的综合描述。对于图2 1 所示的模版，则定义了1 6 个区域和区域之间的 2 3 种关系值。 ( 3 ) 根据关系值和事先设定的阈值来确定图像中是否有人脸。 8 第二章人脸检测方法概述 图2 - 1 一种人脸检测模板：这个模板由1 6 个区域( 图中灰色方框部分) 和2 3 种区域关系( 图中箭头表示) 组成【1 6 1 基于模板匹配的方法的优点在于方法比较成熟，实现起来也容易。但缺点是不能有 效处理搜索大小，姿势，以及形状等方面的问题。并且该方法对于人脸检测效率也不高。 2 2 4 基于表象的方法 对比于模板匹配，基于表象的方法的模型是从一系列具有代表性脸部表观的训练图 像训练而来，再根据学习的模版用于人脸检测。这里的模板是学习而来的而不像基于模 板的方法，模板是由专家预定义的。因此这也是一种自下而上的方法。现在许多人脸检 测方法都是这种基于表象的方法。 一般而言，基于表象的方法利用统计分析和机器学习的技术来寻找人脸和非人脸图 像的有关特性。学习而来的特性总结成分布模型或者判别函数，再利用这些分布模型或 者判别函数来检测人脸。 该方法通常使用贝叶斯决策论来进行判别，通过计算每个样本在高维特征空间的距 离，并且经过降维处理来得到主要信息，最后得到一个判别函数【3 1 。 基于表象的方法目前是比较流行的，是解决复杂人脸检测问题的有效途径。它不依 赖于人的先验知识或经验模型，可以避免不精确或不完整的知识造成的错误，而是采用 事例学习的方法来获得模型的参数，统计意义上更为可靠。同时，通过增加学习的事例 可以扩充检测模式的范围，提高检测系统的鲁棒性。 2 3 经典方法概述 人脸检测的方法非常之多，基于各种数学模型的方法估计有上百种。本节简要介绍 了两种经典的具有代表性的统计学习方法。这两种方法在人脸检测历史上发挥了重要的 作用。 2 3 1 神经网络