（计算机应用技术专业论文）基于视频的实时人脸检测研究.pdf

江苏大学硕士研究生毕业论文 摘要 人脸检测是计算机视觉与模式识别领域非常活跃的研究课题，在视频监控、 人机交互、图像检索、视频会议、身份验证、虚拟现实等很多方面都有着广泛的 应用。随着智能计算技术发展的日新月异，新方法、新技术的不断引入，给人脸 检测研究注入了更多活力。 本文在综合分析以往的人脸检测算法的基础上，提出了基于a d a b o o s t 和多重 决策树的多姿态人脸检测方法，主要内容如下： ( 1 ) 根据多姿态人脸的旋转角度不同，在对训练样本角度空间自动划分的基 础上，提出了基于多重决策树的多姿态人脸检测方法。该方法引入数据挖掘中的 f c m 算法对多姿态样本进行自动空间划分，解决了对多姿态人脸样本的角度认 定中不确定的问题。在保证检测率的情况下，用算法最优化原则控制样本空间的 分裂，通过f c m 聚类算法和算法复杂度分裂原则运算得到最优分类。该方法 在不降低检测速度的前提下，得到的检测树具有更强的鉴别性能。 ( 2 ) 深入研究a d a b o o s t 算法、类h a a r 特征计算，级联分类器、检测结 果处理等问题，针对对人脸区域重复检测的问题提出自适应步长的输入图像遍历 方法。该方法使用倒金字塔结构对图像进行遍历，并利用图像的镜像图控制检测 窗口的滑动，充分利用了级联分类器正检测率高的特点，避免了不必要的冗余计 算，并省略了检测中的后处理环节，缩短了检测时间，提高了检测效率。 ( 3 ) 利用视频中人脸的运动特征，在现有的目标跟踪算法的基础上，提出自 动跟踪人脸检测结果的方法。该方法避免对视频中的每一帧都进行检测运算，节 省计算时间，提高算法实时性能，并根据视频中人脸的变化特征进行跟踪监测， 在判断跟踪失效后，自动重新检测人脸。 ( 4 ) 为了验证本文提出的改进算法的有效性和可行性，本文将其在多个数据 集上进行了检测实验。实验结果表明：本文的检测方法较好地解决现有的 a d a b o o s t 人脸检测系统在对多姿态人脸检测失效的问题。在检测准确率方面， 对于各种无遮挡的多姿态人脸图像，本文的检测系统不管是人脸的检测率还是非 人脸的误判率，都优于现有的检测系统。 关键词：人脸检测、a d a b o o s t 、积分图、多姿态、类h a a r 特征、聚类分析、 c a m s h i f t 算法 江苏大学硕士研究生毕业论文 a b s t r a c t f a c ed e t e c t i o ni st h em o s ta c t i v ea n dc h a l l e n g i n gt a s k sf o rc o m p u t e rv i s i o na n d p a t t e r nr e c o g n i t i o n i tc a nb ew i d e l ya p p l i e dt os u c hf i e l d sa sv i d e os u r v e i l l a n c e ， h u m a nc o m p u t e ri n t e r f a c e ，c o n t e n t - b a s e di m a g er e t r i e v e ，t e l e c o n f e r e n c e ，p e r s o n a l i d e n t i f i c a t i o n ，v i r t u a lr e a l i t y , e t c w i mt h er a p i dd e v e l o p m e n to fi n t e l l i g e n tc o m p u t i n g t e c h n o l o g y , n e wm e t h o d sa n dn e wt e c h n o l o g i e sw i l lc o n t i n u et ob eu s e d ，w h i c hb r i n g m o r ev i t a l i t yt ot h er e s e a r c h i nt h i st h e s i s ，a f t e ra n a l y z i n gt h ef a c ed e t e c t i o nm e t h o d sc u r r e n t l yu s e db yo t h e r s ， w ep r e s e n tt h em u l t i - v i e w sf a c ed e t e c t i o nm e t h o db a s e do ni m p r o v e da d a b o o s ta n d m u l t i p l ed e c i s i o nt r e e t h em a i nw o r ki sd e s c r i b e da sb e l l o w s ： ( 1 ) a c c o r d i n gt ot h ed i f f e r e n ta n g l eo fm u l t i - v i e wf a c e sa n da u t o m a t i cm u l t i v i e w f a c e ss a m p l e ss p a c ep a r t i t i o n , am u l t i v i e wf a c ed e t e c t i o nm e t h o db a s e do nm u l t i p l e d e c i s i o nt r e ei sp r o p o s e d t h ef c m a l g o r i t h mi nd a t am i n i n gf i e l di si n t r o d u c e df o r a u t o m a t i cm u l t i v i e wf a c e ss a m p l e ss p a c ep a r t i t i o n ，w h i c hs o l v e st h ep r o b l e mo f m u l t i - p o s ef a c eu n c e r t a i n t ya n g l e t h es a m p l es p a c es p l i t su n d e r t h ep r i n c i p l e ，w h i c h g u a r a n t e e st h a tt h es a m ed e t e c t i o nr a t ei sa c h i e v e db yu s i n gc a l c u l a t i o n a tl e a s t ( 2 ) a f t e rd e l v i n gi n t op r o b l e m si na d a b o o s ta l g o r i t h ms u c ha sh a a r - l i k ef e a t u r e s ， c a s c a d ec l a s s i f i e r , d e t e c tr e s u l t sp r o c e s s i n g ，e t c t h en e wi m a g et r a v e r s a lm e t h o d u s i n ga d a p t i v es t e pl e n g t hi sp r e s e n t e dt oa v o i dr e p e t i t i o n o ff a c e sd e t e c t i o n o p e r a t i o n s t h em e t h o d u s e sa ni n v e r t e dp y r a m i ds t r u c t u r eo ni m a g e st r a v e r s ea n du s e t h em i r r o ri m a g eo ft h em a pc o n t r o lt e s t i n gs l i d i n gw i n d o w t h em e t h o dt a k e s a d v a n t a g eo ft h ec a s c a d ec l a s s i f i e r s c h a r a c t e r i s t i c so fh i g hr a t ed e t e c t i o n ，a v o i d s r e p e t i t i o n o ff a c e sd e t e c t i o no p e r a t i o n s ，r e d u c e sc o m p u t i n gt i m ea n di m p r o v e s e f f i c i e n c yo fd e t e c t i o n ( 3 ) b yu s i n go ft h eh u m a nf a c e s m o v e m e n tf e a t u r e si nv i d e o ，a u t o - t r a c k i n gt h e r e s u l t so ff a c ed e t e c t i o nm e t h o di sp r o p o s e db a s e do nt h ee x i s t i n gt a r g e tt r a c k i n g a l g o r i t h m t h em e t h o da v o i d sd e t e c t i n ge v e r y f la m eo fv i d e o i tc a ns a v ec o m p u t i n g t i m e ，i m p r o v er e a l - t i m ep e r f o r m a n c eo fs y s t e m b yt h ec h a r a c t e r i s t i c so fh u m a n f a c e s 2 江苏大学硕士研究生毕业论文 i nv i d e o ，t h et r a c k i n go b j e c t sp r o c e s si sd e t e r m i n e dt of a i l u r eo rn o t i ft h et r a c k i n g p r o c e s sf a i l u r e s ，t h ef a c e sd e t e c t i o nw i l lr u na u t o m a t i c a l l y ( 4 ) i no r d e rt ov e r i f yt h ee f f e c t i v e n e s sa n df e a s i b i l i t yo ft h ei m p r o v e da l g o r i t h m ， an u m b e ro fe x p e r i m e n t sb a s e d0 1 1t e s td a t as e t sa l ec a r r i e do u t t h o s ee x p e r i m e n t a l r e s u l t ss h o wt h a t ：t h em u l t i v i e wf a c e sc a l lb ed e t e c t e d 、析t ho u ri m p r o v e df a c e d e t e c t i o ns y s t e mb a s e do i l a d a b o o s ta l g o r i t h m ，a n dt h ed e t e c t i o na c c u r a c yr a t ei s i m p r o v e dt h a nt h ee x i s t i n gd e t e c t i o ns y s t e m k e yw o r d s ：f a c ed e t e c t i o n , i n t e g r a li m a g e ，a d a b o o s t , m u l t i v i e w ，h a a r - l i k e f e a t u r e ，c l u s t e ra n a l y s i s ，c a m s h i f ta l g o r i t h m 3 江苏大学硕士研究生毕业论文 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文 的规定，同意学校保留并向国家有关部门或机构送交论文的 复印件和电子版，允许论文被查阅和借阅。本人授权江苏大 学可以将本学位论文的全部内容或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于， 不保密鼬。 学位论 卜 指导教师签名：瓦莎彳l 知l ，年易月协e l 江苏大学硕士研究生毕业论文 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指 导下，独立进行研究工作所取得的成果。除文中已注明引用 的内容以外，本论文不包含任何其他个人或集体己经发表或 撰写过的作品成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的 法律结果由本人承担。 学位论文作者雠。许 日期：w 年占月 江苏大学硕士研究生毕业论文 1 1 研究背景与意义 第一章绪论 人脸检测是指判定任意给定一幅图像或者一组图像序列中是否存在人脸。如 果存在，则返回其位置和各个人脸所占的区域。在输入图像中确定所有的人 脸如果存在的位置，大小，位姿的过程。人脸检测作为人脸信息处理中的一项关 键技术，已经成为模式识别与计算机视觉领域内一项受到普遍重视，研究十分活 跃的课题。人脸检测问题最初来源于人脸识别，其研究可以追溯到上个世纪八十 年代，经过几十年的曲折发展已经日趋成熟。人脸检测是自动人脸识别系统的一 个关键环节，但早期的人脸识别研究主要针对具有较强约束条件的人脸图像如无 背景的图像，往往假设人脸位置己知或很容易获得，因此人脸检测问题并未受到 重视。近几年随着电子商务等应用的发展，人们对于复杂背景下人脸自动识别的 要求日益迫切，对各种情形下人脸检测的要求也越来越高。目前，人脸检测的应 用背景已经远远超出了人脸识别的范畴，在人工情感计算，基于内容的检索，数 字视频处理，视觉检测等方面有着重要的应用价值。 1 2 人脸检测的研究现状 对人脸检测的研究最初可以追溯到上个世纪八十年代初，人脸检测早期的研 究主要致力于模板匹配、子空间方法，变形模板匹配等，使用简单的启发式和人 体测量技术垃。早期人脸检测方法往往针对简单无变化背景下的正面人脸检测， 所以使这些方法在很大程度上显得很呆板。基于这些方法构建的检测系统，任何 图像条件的改变，即使不用完全重新设计整个系统，也要对系统的参数进行精细 的调整。那时人们更重视对人脸识别的研究，直到上个世纪九十年代，随着实际 的人脸识别和视频编码系统开始成为现实，这种情况才有所改变。在过去的 二十多年里，对人脸检测的极大兴趣开始从几个方面展开。研究者提出了多种检 测方法，特别是那些利用运动、肤色和一般信息的方法。统计和神经网络方法的 使用也使在复杂背景和多分辨率中的人脸检测成为可能。另外，在能够精确定位 江苏大学硕士研究生毕业论文 的跟踪面部特征提取方法的设计例如弹性模板和活动轮廓方面也取得了很大的 进展。近期人脸检测的研究主要集中在基于数据驱动的学习方法，如统计模型方 法，神经网络学习方法，统计知识理论和方法，基于马尔可夫随机域的方法，方 法，以及基于肤色的人脸检测。 目前，国外对人脸检测问题的研究很多，比较著名的有c m u ( 卡耐基梅隆 大学) 、m i t ( 麻省理工学院) 、y a l e ( 耶鲁大学) 等学院机构。而且，m e p g 7 标准组织己经建立了人脸识别草案小组，人脸检测算法也是一项征集的内容。国 内的清华大学、浙江大学、中国科学院计算技术研究所和中国科学院自动化研究 所等都有人员从事人脸检测相关的研究。随着人脸检测研究的深入，国际上发表 的有关论文数量也大幅度增长，如e i e e 的p g ( i e e ei n t e r n a t i o n a lc o n f e r e n c eo i l a u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ) ，i c i p ( i n t e r n a t i o n a lc o n f e r e n c eo ni m a g e p r o c e s s i n g ) ，c v p r ( c o n f e r e n c eo i lc o m p e e rv i s i o na n dp a t t e mr e c o g n i t i o n ) 等 重要国际会议上每年都有大量关于人脸检测的论文。目前，针对人脸检测问题的 人脸库很多，但由于人脸这一特定模式本身具有复杂性，建立一个公认的、权威 的、能够基本上涵盖可能人脸情形的和评价人脸检测方法优劣的人脸检测测试图 像库是比较困难的。 当前人脸检测方法有很多种分类方法，本文按照检测理论不同将检测方法分 为四类4 ，分别予以说明。 1 2 1 基于经验知识的方法 该方法是将人脸面部器官之间关系编码准则化的人脸检测方法。这是一种自 顶而下的方法，依据人脸面部器官的对称性、灰度差异等先验知识，制定一系列 的准则。当图像中的待测区域符合准则，则被检测为人脸。一般比较容易提出简 单的规则来描述人脸特征和它们的相互关系。例如：在正面人脸中有互相对称的 眼睛，位居中央的一个鼻子和一张嘴。y a n g 和h u a n g 使用了基于经验知识的人 脸检测方法1 3 1 ，他们的系统有三级规则组成。最高级找出输入图像的人脸候选区。 次高级则用来描述人脸看起来像什么，最低级的规则依赖与面部特征的细节来进 行最终判断。姜军等人提出了一种基于经验知识的快速检测方法 6 1 。他们采用符 合人脸生理结构特征的人脸镶嵌图模型。它针对人脸图像的灰度和边缘信息，建 立了一种比较完备的经验知识库。卢春雨等人对镶嵌图方法进行了改进 7 1 ，按照 2 江苏大学硕士研究生毕业论文 人脸中各个器官的分布将人脸划分成各种大小的马赛克块，在检测中自动调整各 块的大小，使用一组基于灰度和梯度统计特征的规则来检验该区域是否属于人 脸，取得不错的实验结果。 1 2 2 基于特征的方法 基于特征的方法从已有的面部特征和它们的几何关系中来判断是否是人脸。 与基于经验知识的方法不同，它努力寻找人脸的不变特征作为人脸检测的依据。 目前，人们已经提出了许多可用于检测的面部特征。如将人脸中的眉毛、眼睛、 鼻子、嘴等通过边缘检测提取出来，根据提取的特征，建立统计模型描述各个特 征之间的关系，进而确定是否存在人脸。s i r o h e y 提出了从复杂背景中分割人脸 的定位方法碍1 。它使用边缘图和启发式算法来去得到一个边缘轮廓，然后用一 个椭圆拟合头部区域和背景间的边界。g r a f 等人提出定位灰度图像的面部特征和 人脸检测方法四1 ，使用形态学的方法增强具有某些特定形态的区域。l e u n g 等 人根据确定面部特征的排列方式n 们，提出了一种基于局部特征检测器和任意图 匹配的概率方法用于在复杂背景中定位人脸。h a r t 等人提出一种基于形态学技术 进行眼部分割1 ，进而实现人脸检测的方法。在国内，彭进业等人提出了一种 在图像的反对称双正交小波分解数据域中如，实现多尺度对称变换的方法。王 延江等人提出一种能够在复杂背景下快速进行人脸检测的方法m 1 。 1 2 3 基于模板匹配的方法 基于模板的方法简单来说，就是预先将标准脸部模型通过函数预定义或参数 化，分类时对输入图像计算检测区域如脸部轮廓、眼睛、鼻子以及嘴等与标准模 板的相关值，相关值符合制定的准则就判断检测区域为人脸。s a k a i 等人使用眼 睛、鼻子、嘴和人脸轮廓等子模板建模、检测图像中的正面人脸1 1 4 1 。g r a w 等人 提出了一种基于正面人脸的形状模板定位方法1 5 1 。它使用s o b e l 滤波器提取边缘， 将边缘组织在一起，根据几个约束条件去搜索人脸模板。g o v i n d a r a j u 等人提出 两步人脸检测方法 1 6 1 。在他的方法中使用的人脸模型根据边缘定义的特征构成， 这些特征对正面人脸的轮廓曲线，发际等。m i a o 等人提出了用于人脸检测的层 次模板匹配方法1 1 7 | 。人脸模板通过六个人脸成分产生的边缘组成：两个眼眉、 两只眼睛、一个鼻子和一张嘴。最后应用启发式算法确定人脸的存在。在国内， 3 江苏大学硕士研究生毕业论文 梁路宏等人使用了直接的平均脸模板匹配方法 1 5 1 0 该方法考虑到眼睛在人脸检 测中的特殊作用，使用双眼模板首先进行粗筛选，然后使用不同长宽比的人脸模 板进行匹配，最后应用马赛克规则进行验证。 1 2 4 基于统计理论的方法 基于统计的方法是利用统计分析与机器学习的方法来寻找出人脸样本与非人 脸样本各自的统计特征，继而构建分类器，使用分类器完成人脸检测。它主要包 括子空间方法、神经网络方法、支持向量机方法、隐马尔可夫模型方法以及 a d a b o o s t 方法。 子空间方法主要包括两类主分量( p c a ) 分析方法、线性判别( l d a ) 分析方法。 t u r k 等将p c a 方法用于人脸检测与识别t 1 9 1 。他们将人脸图像投影到一个由若干 个最大的特征向量组成的子空间。通过对这些特征向量加权求和即可得出某个特 定的人脸。m o g h a d d a m 等将检测图像投影到主成分空间f 和其正交补空间t 2 0 1 ， 并定义相应的距离度量为d t f s ( d i s t a n c ei nf e a t u r es p a c e ) 和d f f s ( d i s t a n c ef r o m f e a t u r es p a c e ) 。y a n g 等提出的f i s h e r 线性判另i j ( f l d ) 方法1 2 1 1 0 他们首先使用自组 织映射( s o m ) 将人脸和非人脸样本各分为个类，然后计算各类的类间离散度与类 内离散度，利用两者的比值求出投影矩阵。s u n g 等提出了基于事例学习的方法 2 2 1 0 他们首先利用椭圆k 均值聚类将人脸和非人脸样本各自聚成六个类，然后 设置两组距离矩阵来度量检测数据和十二个样本类的距离。最后使用这些距离矩 阵来训练一个多层感知器作为分类器进行人脸检测。 神经网络方法是通过训练一个网络结构，把模式的统计信息隐含在神经网络 的结构和参数之中。r o w l e y 等在1 9 9 6 年提出基于神经网络的人脸检测系统 2 3 1 。 他们的系统分为两个阶段第一阶段是基于神经网络的分类器。该分类器的输入是 规定尺寸的检测区域，输出为1 到1 的数，由此来判断检测区域是否是人脸。输 出接近1 为人脸，接近1 为非人脸。第二阶段是合并重复检测并判别。s a h y 提 出了一种利用对称形式来提高神经网络人脸检测速度的决速神经网络方法 2 4 1 0 该算法将检测数据进行上下左右的对称翻转后构成一个新的检测图像。利用新图 像在频率域内的互相关特性，可以在减少训练样本以及隐层神经元数目，达到了 与传统神经网络相当的检测结果，同时也达到了提高速度的效果。 支持向量机( s v m ) 是由v n v a p n i k 等提出的基于结构风险最小化原理的统计 4 江苏大学硕士研究生毕业论文 学习理论基础上发展起来的1 2 5 1 。o s u n a 等首先将支持向量机用于人脸检测t 2 6 1 。 该方法的基本思路是对每一个检测窗口使用方法进行分类，以区分“人脸”和“非 人脸 窗口。支持向量机( s v m ) 的训练使用了大量的人脸样本，并利用“自举 的方法搜集大量的非人脸样本，同时使用逼近的方法选择出少量的支持向量为关 键支持向量，以减少运算中支持向量的数目。j c p l a t t 提出了称为顺序最小最优 化( s e q u e n t i a lm i n i m a lo p t i m i z a t i o n ) 的支持向量机训练方法1 2 7 1 s 将一个大型的求 解二次规划问题分成一系列最小可能的二次规划问题，避免了对大型二次规划问 题直接求解，大大提高了训练速度。 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ) ，前提假设是模型可被定义为一个参 数化的进程。该进程的参数可通过精确的方法估计出来。首先决定隐态并形成一 h m m 个模型，然后通过学习来自样本集的各个状态间的转移概率来训练h m m ， 每个样例由一系列观测值表征。h m m 训练之后，观测值的输出概率就决定了它 属于哪一类。n e f i a n 等将人脸从上到下划分为五个互有重叠的区域头发、额头、 眼、鼻、嘴1 2 8 1 。根据这个划分构造了一个包含五个状态的一维连续h m m 用以 表示入脸。此后，他们还提出基于嵌入式h m m 的人脸检测方法t 2 9 1 0 该方法同 时考虑到人脸由左到右各个特征的自然顺序，使用二维h m m ，并采用二维d c t 变换的系数作为观察向量。 v i o l a 等提出了一种基于a d a b o o s t 的实时人脸检测算法3 0 3 1 3 勿。该方法 使用h a r r 1 i k e 特征表示图像，引入“积分图 概念，提高特征的计算速度，采 用方法选择a d a b o o s t 少量特征组成强分类器，使用瀑布模型提高人脸检测速度。 在取得较好检测性能的同时，实现了人脸的实时检测。r a i n e rl i e n h a r t 等在v i o l a 基础上扩展了h a r r - l i k e 特征3 3 ，他们训练的系统可以用于旋转人脸的快速检测， s z “等提出了一种基于f l o a t b o o s t 的多视角人脸检测算法3 钔，构建了第一个 实时的多角度人脸检测系统。方法还提出了一种改良的统计模型，可以使用更少 的弱分类器达到更低的错误率。蒋焰等提出了一种基于多步校正的a d a b o o s t 改 进算法d ，在该算法中训练样本的分布更新不仅与当前分类器有关，而且也需 要考虑到前面的若干分类器，提高了传统a d a b o o s t 算法的收敛性能，缩短了训 练时间。 1 2 5 各种方法的优缺点 5 江苏大学硕士研究生毕业论文 总体来说，基于经验知识和基于特征的方法直观，易于为人所接受和采用。 但是由于很难将人类的知识转换为明确定义的规则，所以这两种方法的局限性很 大。它们还存在的一个共同缺陷是都依赖于固定的先验模式，适应变化的能力差； 譬如出现彩色光照改变了图像中的脸部颜色、图像大小改变、旋转人脸中双眼不 在鼻子的正上方等人脸特征发生变化时，原有的肤色、模板、知识就不再适用。 基于模型匹配的方法使用事先选定的模板对输入图像进行逐对照。这类方 法通常容易实现 3 6 1 但由于事先得到模板很难描述出图像中的人脸各种情况， 所以只能应用与特定环境下的人脸检测。 基于统计理论方法中“人脸 区别于“非人脸 的特征是通过样本学习的方 法获得的，不是人们根据直观印象得到的表层规律。这样，不仅避免了因为人们 肉眼观察的不完整、不精确而带来的错误，还能通过增加训练样本扩充检测的范 围，提高系统的鲁棒性。但是这种方法需要大量的统计特征，样本训练费时费力。 综上所述，尽管研究者在人脸检测方面取得了很多成就，但是任何一种算法 都不能适用于所有类型的图像，故有很多值得改进的地方。 1 3 人脸检测的难点 在实际应用中，人脸检测受下列因素影响较大： 人脸姿态 人脸中非共同的结构，如胡须、眼镜等。 面部表情 人脸的遮挡 成像环境 虽然人们在人脸检测方面做了大量的研究，也取得了一些成果，但是由于上 述各种因素的影响，还存在许多问题亟待解决，如： 如何有效描述人脸在子空间的分布问题 在复杂背景中，快速有效区分人脸区域与非人脸区域问题 对于任意姿态的人脸检测问题 如何削除光照条件对检测的巨大影响问题 人脸检测实时性问题 6 江苏大学硕士研究生毕业论文 随着图像处理、模式识别、人工智能以及计算速度等各个方面发展，笔者相 信人脸检测技术必然会日臻完善，更好地应用到人们生活的各个方面。 1 4 论文研究内容及主要工作 本文在总结和分析了国内外相关研究的基础上，分别在多姿态的人脸检测、 a d a b o o s t 算法的优化、视频中人脸的跟踪等三个方面作了一定的研究。本论文 的主要研究内容如下： 1 、研究多姿态的人脸检测算法，对多姿态人脸进行角度空间划分。并 将多重决策树的算法引入多姿态的人脸检测中。 2 、研究多姿态人脸的扩展h a a r - l i k e 特征，应用大量的多姿态人脸正反 例训练出能够有效检测出多姿态人脸的分类器。 3 、研究c a m s h i f t 跟踪算法，并将人脸检测算法与c a m s h i f l 算法相结合， 实现对视频中人脸目标进行自动跟踪。 4 、研究a d a b o o s t 人脸检测算法，对其中的图像遍历方法进行改进，以 解决检测结果显示问题，简化检测过程，提高检测速度。 5 、 基于d i r e c t s h o w 和o p e n c v 技术，在v c 的编译环境中实现集视频 采集、多姿态人脸检测和人脸跟踪与一体的实验系统。 1 5 论文结构 第l 章主要介绍人脸检测技术的发展及研究现状，对当前检测方法进行分类， 就各种方法的优缺点进行简单分析。并对论文的主要研究内容和论文结构进行了 介绍。 第2 章为相关理论介绍，主要介绍图象预处理中常用到的若干图象处理技术， 包括直方图变换、中值滤波以及光照补偿等算法。 第3 章对多姿态的人脸检测进行研究，将多姿态人脸按角度划分成多个空间， 引入多重决策树对多姿态人脸所处角度空间进行判断，并通过实验证明算法可行 性。 第4 章对a d a b o o s t 算法进行研究，分析算法中的类h a a r - l i k e 特征，积分图、 特征运算和级联分类器等要点问题；针对多姿态的人脸检测，训练出能够快速判 7 江苏大学硕士研究生毕业论文 断多姿态人脸的分类器；提出一种改进的图像遍历算法，该算法可以使检测结果 归并处理更加简单快速。 第5 章对c a m s h i f t 目标跟踪算法进行研究，并利用该算法对人脸检测的结果 进行跟踪，提高人脸检测的实时性。 第6 章将上面几章算法有效的结合，实现基于a d a b o o s t 和c a m s h i f t 的人脸 检测跟踪系统。该系统包括图像预处理模块、人脸检测模块和人脸目标跟踪模块。 该系统能够检测出视频中的多姿态人脸，并对人脸目标进行跟踪。 第7 章对全文进行总结，并对下一步工作进行展望。 8 江苏大学硕士研究生毕业论文 第二章图像预处理 对于一个人脸检测系统来说，在复杂背景下要达到良好的检测效果，对输入 图像进行预处理的工作是必不可少的，通常的预处理手段主要包括： 直方图均衡，使图像中的像素值分布均衡化。 中值滤波，对图像中进行去噪处理。 光照补偿，克服亮度不均对结果的干扰。 边缘检测，利用边缘特征对检测目标进行初步筛选。 这些方法在研究中得到了普遍的使用，下面就本文在研究人脸检测与跟踪过 程中使用的几种方法进行详细介绍，包括直方图均衡、中值滤波、光照补偿等。 2 1 直方图均衡 直方图均衡通常用来增加许多图像的局部对比度，尤其是当图像的有用数据 的对比度相当接近的时候。通过这种方法，亮度可以更好地在直方图上分布。这 样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效 地扩展常用的亮度来实现这种功能。直方图均衡的一个主要优势是它是一个相当 直观的技术并且是可逆操作，如果已知均衡化函数，那么就可以恢复原始的直方 图，并且计算量也不大。这种方法的一个缺点是它对处理的数据不加选择，它可 能会增加背景杂讯的对比度并且降低有用信号的对比度。 直方图均衡化的基本思想是把原始图的直方图变换为均匀分布的形式，这样 就增加了象素灰度值的动态范围从而可达到增强图像整体对比度的效果。设原始 图像在( x ，y ) 处的灰度为f ，而改变后的图像为g ，则对图像增强的方法可表述为 将在( x ，y ) 处的灰度f 映射为g 。在灰度直方图均衡化处理中对图像的映射函数 可定义为：g = e q ( 0 ，这个映射函数e q ( f ) 必须满足两个条件( 其中l 为图像的灰 度级数) ： ( 1 ) e q ( f ) 在o 盘 l 1 范围内是一个单值单增函数。这是为了保证增强处理没有 打乱原始图像的灰度排列次序，原图各灰度级在变换后仍保持从黑到白( 或从白 到黑) 的扫 列。 9 江苏大学硕士研究生毕业论文 ( 2 ) 对于o p o s s a m p l e l n d e x ，并用p a r e n t - e v a l u a t e 0 过滤样本； 加载负样本集( s n e g ) 用p a r e n t - e v a l u a t e 0 过滤； 用s p o s + s n e g 训练分类器s 1 ，由o ( s 1 ) 给出能够达到预订检测目标的特征数； b e s t c l a s s i f i e r = s 1 , b e s t n o o f f e a t u r e s = o ( s 1 ) ； f o r ( c - - 2t oc m 茹d o 用分类器s 1 中的特征计算s p o s ，用f c m 算法对特征分类，创建c 个s p o s 子集 s p o s i ； 用s p o s i + s n e g 训练c 个分类器s ? ； i f ( b e s t n o o f f e a t u r e s d ( 钟) ) i = l 七 b e s t n o o f f e a t u r e s = d ( 磷) ； b e s t c l a s s i f i e r = s ? ，s 知，s ： ； t r e e n o d e * t n 0 - - 0 ； f o r ( 群t o 磷) d o b e s t c l a s s i f i e r 中的每一个分类器 1 8 江苏大学硕士研究生毕业论文 合并输出 l多姿态人脸检测 丫 图3 - 3 多姿态人脸检测树分裂图 如表3 2 所示，多姿态人脸检测树的构造是个递归的过程。在每个节点， 训练的正负样本由树的父节点在样本集中指定。通过a d a b o o s t 学习方法训练样 本，来构建并优选特征分类器。训练的输出结果是一个能够达到事先要求( 如检 测率为9 9 9 ；虚警率为5 0 ) 的强分类器。在算法中用f c m 算法将正样本集 分成c 个子集。c 个子集加上所有负样本训练出来由c 个分类器构成的树状强分 类器。如果这个树状强分类器能够使用比单独的强分类器更少的特征，由于训练 的复杂度和需要计算的弱分类器个数成正比，那么这个树状分类器就更有效率， 1 9 江苏大学硕士研究生毕业论文 就说明分裂是有效果的。捡测树上的每一个分支都进行这样的分裂运算，真到得 到目标深度的检测树。树分裂如图3 - 3 。 用构造好的检测树对人脸图像进行检测的过程，就是以深度优先方法寻找 从根节点到最深层的叶子节点路径的过程。候选图像区域以深度优先的方式从树 的根节点向树的终端节点遍历，如果图像被某个中间节点否决，那么图像将返回 最近的上级节点，依次流向该节点的其它分支，直到被树的最底层子节点接受或 被彻底的否决。如果测试图像一旦被否决则被判断为非人脸区域，否则输出为人 脸区域。 3 4 实验结果 本文测试平台为c e l e r o n i 5 g ，1 2 5 6 m 内存。选择测试集为c m u 多姿态人 脸集共2 0 5 张图片“9 1 ，4 4 1 个多姿态人脸加上自选图片7 0 张，1 6 7 个多姿夯人 脸。训练中使用的部分正样本如图3 4 部分负样本如图3 5 。 蹙器霪器器器鲁鲁畚鲁器旺鹱。 徨 q 囝 q 镭囝 州 4 部分币撵本嘲 豳3 - 5 部分负样本图 通过手动设置不同的c 值，我们可以得到三个层次相同结构不同的检测器： ( 1 ) 单个级联检测器s d ；( 2 ) 多路并行检测器p d ；( 3 ) 本章提出的树形检测 器t d 。我们将三个不同检测器在测试集上的测试，实验结果表3 3 。 表3 4 三娄检测器检测结果表 由表3 - 3 可知，本章中树形检测器t d 检测速度略慢于其它两个分类部分， 但是正确率有很大提高。在c m u 测试集的部分检测结果如图3 _ 6 在自选测试 江苏大学硕士研究生毕业论文 图片上的部分检钡j 结果如图3 7 。 江苏大学硕士研究生毕业论文 图3 - 6c m u 测试集上部分检测结果图 江苏大学硕士研究生毕业论文 3 5 本章小结 圄3 7 自选图片部分检测结果图 本章提出一种新的基于多重决蘸树的人脸检测器构建方法。不同于广泛采用 的级联分类器，树形分类器允许在每个阶段分类器可被分裂成几个不同的分支， 以解决多姿态人脸的模式多样性。最优分类通过f c m 聚类算法和算法复杂度分 裂原则运算得到，相对其它多多姿态检测方法，该方法在不降低检测速度的前提 下，得到的检测树有更强的鉴别性能。在c m u 和自收集的数据集上的实验结 果表明本章提出的方法有更好的检测性能。该方法同样可用于其它复杂目标的检 测问题。 江苏大学硕士研究生毕业论文 第四章基于改进a d a b o o s t 的多姿态人脸检测 在第三章中，本文使用a d a b o o s t 学习方法训练样本，来构建并优选特征分 类器。对于人脸检测问题来说，a d a b o o s t 方法的引入是一个划时代的进步，v i o l a 等人通过将a d a b o o s t 算法与基于积分图的h a a r - l i k e 特征结合起来实现的人脸 检测系统【3 2 1 ，使人脸检测真正达到了实时处理的程度。 v i o l a 的人脸检测方法，主要有三大特点： l 、使用特征表示人脸，使用“积分图 实现特征数值的快速计算。 2 、使用a d a b o o s t 算法训练出强分类器。 3 、使用级联结构将若干强分类器串联组成一个的层叠分类器，提高分类器 的检测速度。 本章深入探讨a d a b o o s t 方法，对其中的检测过程进行改进，从而提高了检测 效率。 4 1 特征及其计算 特征一般是对待分类对象所拥有的知识进行编码得到，这些知识从原始像素 中很难得到。特征对人脸图像进行建模有利于减小人脸和非人脸的类内距离，同 时可以增加人脸与非人脸的类间距离，有利于判别函数的建立。另外，特征更容 易形式化，形式化了的特征计算更加方便快捷，有利于人脸检测速度的提高。 4 1 1 多姿态人脸的类h a a r 特征 h a a r - l i k e 特征最早由p a p a g e o r g i o u 等应用于人脸的表示。v i o l a 在此基础上 扩展使用了四个h a a r - l i k e 特征，如图4 1 。对于a 、b 和d ，特征是两个矩形的 像素和之差；对于c ，特征是两个外面的白矩形分别减去中间黑矩形的差的和