（计算数学专业论文）基于监控视频的人脸检测与实时跟踪提取.pdf

图表目录 基于监控视频的人脸检测与实时跟踪提取 摘要 人脸检测和人脸跟踪是模式识别与计算机视觉研究领域重要的研究课题，在自动人 脸识别、视频会议、智能视频监控、高级人机交互、医疗诊断等多个领域有着重要的应 用价值。人脸检测与跟踪经过多年的发展已经取得了很大的进展。 本文针对国内外在人脸检测与跟踪方面的研究与发展现状，对基于类h a r r 特征利 用a d a b o o s t 算法训练人脸分类器的方法进行了深入探讨和应用，利用连续自适应均值 移动算法( c o n t i n u o u s l ya d a p t i v em e a ns h i f t ，c a m s h i f t ) 对人脸进行跟踪。本文的主要研 究工作和创新点包括如下方面： 1 、基于a d a b o o s t 算法训练分类器和实现人脸检测的过程，改进a d a b o o s t 算法： 1 ) 简化多尺度检测问题；2 ) 对不同姿态的人脸训练五个级联分类器，串联起来构成一个 新的人脸分类器，然后用这个新的人脸分类器检测人脸实现多姿态的人脸检测。侧面人 脸级联分类器的训练使得系统能够处理具有一定旋转角度的人脸，相对于传统a d a b o o s t 算法提高了检测能力。 2 、深入分析c a m s h i f l 算法实现人脸跟踪的过程，并针对它的不足进行改进：1 ) 利 用a d a b o o s t 人脸检测算法实现人脸的自动初始化；2 ) 将检测与跟踪结合起来，检测的 结果作为人脸跟踪的依据，而跟踪的结果又重新进行检测，用来确认跟踪的正确性并精 确标记出人脸的具体位置。这样兼顾了跟踪的速度和跟踪的效果。 3 、由于实际情况中从人脸图像序列中提取几张角度不同的清晰图像的需要，讨论 大致计算人脸图像旋转角度的几种方法，从而能够实现人脸图像的有效提取。为诸如基 于视频序列信号的三维人脸模型重建等一些应用建立了基础。 关键词：人脸检测，人脸跟踪，a d a b o o s t 算法，c a m s h i f t 算法 a b s t r a c t 硕士论文 a b s t r a c t f a c ed e t e c t i o na n df a c et r a c k i n ga r ei m p o r t a n tr e s e a r c ht h e m e si nt h et o p i co fp a t t e r n r e c o g n i t i o na n dc o m p u t e rv i s i o n t h e yh a v eaw i d er a n g eo fa p p l i c a t i o n si nm a n yf i e l d s s u c ha sa u t o m a t i ch u m a nf a c er e c o g n i t i o n ，v i d e oc o n f e r e n c e ，i n t e l l i g e n tv i d e os u r v e i l l a n c e ， a d v a n c e dh u m a n - c o m p u t e ri n t e r a c t i o n ，m e d i c a ld i a g n o s i s ，e t c a f t e ry e a r so fd e v e l o p m e n t f a c ed e t e c t i o na n df a c et r a c k i n gh a v em a d eg r e a tp r o g r e s s f o rt h ed e v e l o p m e n ta n dr e s e a r c ho ff a c ed e t e c t i o na n dt r a c k i n gt e c h n o l o g y , w ec a r r y o u tad e e pr e s e a r c ha n da p p l i c a t i o ni n t ot h ef a c ec l a s s i f i e ru s i n ga d a b o o s t ( a d a p t i v eb o o s t i n g ) a l g o r i t h mb a s e do nh a r r - l i k ef e a t u r e s ；t r a c kt h ef a c e sb yc a m s h i f ta l g o r i t h m ( c o n t i n u o u s l y a d a p t i v em e a ns h i f t ) t h em a i nr e s e a r c hi n n o v a t i o n sa n dc o n t r i b u t i o n sa r es u m m a r i z e d 弱 f o l l o w s ： 1 f o rt h ep r o c e s so ft r a i n i n gc l a s s i f i e r sa n dd e t e c t i o no fa d a b o o s ta l g o r i t h m ，w e i m p r o v ea d a b o o s ta l g o r i t h ma sf o l l o w s ：1 ) w es i m p l i f yt h em u l t i s c a l ed e t e c t i o n ；2 ) w et r a i n f i v ec a s c a d ec l a s s i f i e r sf o rm u l t i p o s t u r ef a c e sa n dc o n n e c tt h e ma san e wf a c ec l a s s i f i e r t h e nw ea c h i e v em u l t i - p o s t u r ef a c ed e t e c t i o nu s i n gt h i sn e wc l a s s i f i e r o u rs y s t e mi sa b l et o d e t e c tm o s tp r o f i l ef a c e sw i t ht h et r a i n i n go fc a s c a d ec l a s s i f i e r so fp r o f i l ef a c e s c o m p a r e dt o t r a d i t i o n a la d a b o o s ta l g o r i t h m ，o u ra l g o r i t h me n h a n c ed e t e c t i o nc a p a b i l i t i e s 2 w ed e e p l ya n a l y s i st h ep r o c e s so fc a m s h i f ta l g o r i t h ma n dw ei m p r o v ec a m s h i f t a l g o r i t h ma sf o l l o w s ：1 ) w ea c h i e v ea u t o m a t i ci n i t i a l i z a t i o no ff a c e su s i n ga d a b o o s tf a c e d e t e c t i o na l g o r i t h m ；2 ) w ec o m b i n ef a c ed e t e c t i o na n df a c et r a c k i n g t h er e s u l to ff a c e d e t e c t i o ni st h eb a s i so ff a c et r a c k i n gw h i l ew ed e t e c tt h er e s u l to ff a c et r a c k i n gt om a k es u r e w h e t h e rt h et r a c k i n gi sc o r r e c to rn o ta n dl o c a t et h ee x a c tl o c a t i o no ft h ef a c e s t h i se x h i b i t s e x c e l l e n tp e r f o r m a n c ei nt e r m so ft r a c k i n gs p e e da n da c c u r a c y 3 a sar e s u l to ft h ea c t u a ln e e d so fe x t r a c ti m a g eo fd i f f e r e n ta n g l e sf r o mi m a g e s e q u e n c eo ff a c e s ，t h i sp a p e rp r e s e n t sa n da c h i e v es e v e r a lm e t h o d so fr o u g h l yc a l c u l a t et h e r o t a t i o no ft h ef a c e s ，w h i c hw ec a na c h i e v ee f f e c t i v ee x t r a c t i o no ft h ef a c e s k e yw o r d s ：f a c ed e t e c t i o n , f a c et r a c k i n g , a d a b o o s ta l g o r i t h m ，c a m s h i f ta l g o r i t h m i i 图表目录基于监控视频的人脸检测与实时跟踪提取 图表目录 图2 1 四种基本的类h a r r 矩形特征7 图2 2 类h a r t 特征具体含义7 图2 3 利用积分图像求类h a r r 特征值”9 图3 1 人脸在空间中的旋转( i s t 3 d 人脸模型【1 9 1 ) 1 2 图3 2 各种姿态人脸样本”1 2 图3 3 用于训练的一些人脸样本1 3 图3 4 用于训练的一些非人脸样本1 3 表3 1 简化前后检测窗口数量比较1 4 图3 5 简化多尺度问题的a d a b o o s t 算法检测流程图“1 5 图3 6 多姿态人脸检测流程图1 6 图3 7 改进a d a b o o s t 算法对测试集部分实验结果”1 7 图3 8a d a b o o s t 算法多人脸检测检测结果：总数8 6 ，漏检2 8 错检2 1 7 图3 9 改进a d a b o o s t 算法多人脸检测检测结果：总数8 6 漏检8 ，错检l 1 8 表3 2 测试集检测结果对比1 8 图4 1l m b 模型“2 l 图4 2h s v 颜色系统2 l 图4 3 肤色概率直方图2 2 图4 4c a m s h i f t 算法流程图2 4 图4 5 人脸检测与跟踪交替进行2 5 图4 6c a m s h i f t 算法跟踪结果( 红色方框为a d a b o o s t 初始化搜索窗口) 2 6 图4 7 改进c a m s h i f t 算法跟踪结果( 红色方框为a d a b o o s t 初始化搜索窗口) 2 7 图5 1 双眼中心连线水平2 9 图5 2 人脸右摆产生角度伊“2 9 图5 3 视频中部分图像示例3 0 图5 4 跟踪的人脸图像示例3 1 图5 5 检测的人脸图像示例”3 l 图5 6 最终提取的人脸图像3 l 图a 1 左右旋转人脸检测图示3 9 图a 2 左右摇摆人脸检测图示3 9 图a 3 俯仰人脸检测图示3 9 图a 4 多人脸检测检测结果l ：总数5 ：漏检钟错检0 4 0 图a 5 多人脸检测检测结果2 ：总数8 漏检1 ，错检o 4 0 图a 6 多人脸检测检测结果3 ：总数1 5 漏检1 ，错检0 4 0 v 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：啦 伊产占月以日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：至鲤 渺7 年易月日 硕士论文基于监控视频的人脸检测与实时跟踪提取 1 绪论 随着信息技术的迅速发展和应用需求的急剧增加，人脸检测( f a c ed e t e c t i o n ) 技术和 人脸跟踪( f a c et r a c k i n g ) 技术近年来成为计算机视觉领域研究极为活跃的方向。人脸检测 是指在输入图像中判断是否存在人脸区域，如果存在则进一步确定人脸的位置，大小， 个数和方向等信息。人脸跟踪是在图像序列中利用各帧间人脸的对应关系，在后续图像 帧中跟踪已定位的运动人脸。 1 1 引言 人脸检测和跟踪问题最初来源于人脸识另j j ( f a c er e c o g n i t i o n ) ，人脸识别的研究最早 可以追溯到2 0 世纪六七十年代，经过几十年的发展，人脸识别在理论、技术和方法上 都取得了很大的进步。早期的人脸识别研究主要针对约束条件较强的人脸图像( 如简单 背景人脸图像等) ，往往假设人脸位置已知或很容易获得，因此所涉及的问题复杂性和 使用的人脸检测方法相对简单。近年来随着视频会议和安全监控技术的高速发展，要求 能够在复杂背景下实时的进行人脸识别，在这种背景下人脸检测与跟踪技术作为独立的 课题受到越来越多的重视。现在人脸检测和跟踪的应用领域已经远远超出了人脸识别的 范畴，它在视频会议、智能视频监控、高级人机交互、医疗诊断等多个领域有着广泛的 应用前景和潜在的经济价值。 人脸蕴含的信息远远多于其他物体，所以人脸检测问题与其他物体的检测有较大的 区别。人脸检测的主要难点包括以下方面： 人脸的多样性；人脸中包含很多的细节和特性都可能给人脸检测带来困难，比如人 的发型、人的肤色、眼睛的睁闭和各种各样的脸部表情等等。 人脸的遮挡；如眼镜、头发或者饰物都有可能遮挡住部分人脸，还要外界环境对人 脸的遮挡和人脸的互相遮挡等。 人脸的姿态和方向；如果拍摄到的是左右摇摆或者旋转的人脸，一些人脸特征比如 鼻子或人眼可能会被部分或者完全被遮挡。 成像环境：现实中的成像环境复杂多变，可以有任意的景物构成背景，背景中可能 存在大量与人脸相似的图像，在检测中可能与人脸相混淆。 光照条件；不同光照条件下得到的图像质量相差很大，光源的性质、强弱变化等都 会对照片的明暗、色彩造成重大影响。 如果在人脸检测中能充分考虑到各方面的限制并加以解决，则可以获得比较好的人 脸检测效果。 人脸跟踪的关键在于从背景中准确提取目标的特征、选择合适的跟踪算法，同时考 l l 绪论硕士论文 虑到跟踪的实时性。与人脸检测相似，人脸跟踪同样存在着图像背景的复杂变化、跟踪 物体形态的变化、物体间的相互遮挡、跟踪目标运动轨迹的变化等等，这给人脸跟踪带 来一定的困难。 1 2 人脸检测方法研究现状 人脸检测与人脸跟踪是两个相互独立又密不可分的问题，人脸检测往往是人脸跟踪 的基础。国内外很多研究机构和学者对这两个方面提出不少卓有成效的方法。虽然人类 能毫不费力的识别出人脸及其表情，但用机器进行人脸检测却是一个难度很大的课题。 人脸检测技术在近十年中得到了广泛的关注和长足的发展，国内外很多研究学者提出了 很多方法，并在不同的领域取得了一定的成果。国外比较著名的有m i t 、c m u 等；国 内的清华大学、中国科技大学、微软亚洲研究院、南京理工大学、中科院计算技术研究 所等都在从事人脸检测相关的研究并取得了一定的成果。 下面简单的总结一下现有的几种主要人脸检测方法。 1 2 1 基于知识的方法 这种方法是基于人类在认识人脸的过程中所总结出来的一些人脸的共性特征，把它 们归结成为一些复杂程度由粗到细的规则，比如“正面人脸可近似为椭圆形，是一个左 右对称的物体”，“人脸面部器官的分布大致符合三庭五眼的规则”等。找到一系列规则 后，把它们应用到输入图像中，就可以搜索出符合规则的人脸区域。基于知识的方法难 点在于如何准确表示具体的规则，如果规则过于详细，则会无法检测出没有通过所有规 则的人脸；但若规则太过普通，会导致很多的误检。 y a n g 和h u a n g i l l 提出了基于镶嵌图( m o s a i ci m a g e ，又称为马赛克图) 的人脸检测方 法，采用由粗到细的三级结构来检测人脸。镶嵌图是通过平均和下采样的方法得到的原 图像在不同分辨率下的图像。针对不同的分辨率采用不同的规则进行判定，在低分辨率 图像中的规则主要体现了人脸的大体轮廓，在高分辨率图像中的规则主要体现了人脸的 细节特征。l e u n 9 1 2 1 提取组合脸部特征，统计特征为止关系的特性，实现了各种姿势的 人脸检测，并可容忍人脸的部分遮挡。 1 2 2 特征不变量方法 这个方法的目标是寻找那些即使当姿势、视角和光线发生变化时仍然存在的结构特 征，并利用这些特征来检测人脸。这种方法是一种由粗到细的检测方法。 y o w 和c i p o l l a t 3 】提出一种基于人脸局部特征的人脸检测方法，主要是运用了大量的 人脸局部特征的空间几何关系和组合后的标准人脸模型。y 0 0 4 等利用肤色像素的连通 性分割出区域，然后使用椭圆拟合各个区域，根据椭圆长短轴的比例来判断是否是人脸。 2 硕士论文 基于监控视频的人脸检测与实时跟踪提取 1 2 3 模版匹配的方法 模版匹配法是建立一个标准的人脸模版来描述人脸整体特征或人脸局部特征，然后 计算输入图像与标准模版的相似程度，由此来判断某一区域是否是人脸。模版匹配可分 为固定模版和可变模版。 固定模版：梁路宏等【5 】【3 7 】提出“双眼人脸模版的方法，将平均脸的双眼模版裁剪出 来，检测人脸时先使用双眼模版再使用人脸模版，以提高匹配的速度并取得更好的性能。 可变模版：y u i l e 等【6 】提出通过手工构造参数化的曲线来表示人脸特征，在参数空 间内当能量函数达到最小值时，根据其位置和参数所决定的可调模版形状达到与人脸形 状的最佳拟合，于是检测到人脸。 1 2 4 基于表象的方法 基于表象的方法遵循一种统一的模式，即首先通过学习，在大量训练样本的基础上 建立一个能对人脸和非人脸样本进行正确识别的分类器，然后对被检测图像进行扫描， 判断是否包含人脸。若存在人脸，则给出人脸的位置和大小。常用的训练分类器的方法 有：基于子空间法、人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 、支持向量机( s u p p o r t v e c t o rm a c h i n e ，s v m ) 、a d a b o o s t 算法等，下面简单介绍这些方法。 基于子空间法。此类方法将人脸区域图像变化到某一特征空间，根据其在特征空间 中的分布规律判断为人脸或非人脸。主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 是一种常用的方法。t u r k 和p e n t l a n d 1 q 3 8 】将p c a 应用于人脸检测，对训练集中的人脸 图像和非人脸图像进行主成分分析，然后根据人脸图像在这个过程中改变较小的特点， 遍历图像中所有候选人脸位置。 人工神经网络。该方法是通过训练一个网络结构，把模式的统计特性隐含在神经网 络的结构和参数之中。a n n 避免了复杂的特征提取工作，能够根据样本的自我学习生 成分类器。r o w l e y 等【8 】提出基于多个人工神经网络的方法来检测人脸，r o w l e y 等【9 】还 将上述方法进行扩展，提出一种检测不同角度偏转的人脸检测方法，缩小了人脸检测所 需时间。 支持向量机。支持向量机是由v a p n i k 等【lo 】提出的基于结构风险最小化原理的统计 学习理论的基础上发展起来的。o s u n a 等【l l j 首先将支持向量机应用于人脸检测，该方法 的基本思路是对每一个1 9 x 1 9 像素的检测窗口使用s v m 进行分类，以区分人脸与非人 脸窗口。s v m 的训练使用了大量人脸样本和用“自举”方法收集的非人脸样本，且使用 逼近优化的方法减少了支持向量的数量。 a d a b o o s t 算法。v i o l a 等1 2 】【3 3 1 于2 0 01 年提出了一种运用自举( b o o s t i n g ) 方法的实时 人脸检测系统。他们提出了一种称为“积分图”( i n t e g r a li m a g e ) 的表示方法提高对特征的 计算速度；然后用a d a b o o s t 方法对类h a r t 特征特征进行选择，选择出最优的一些特征 3 l 绪论 硕士论文 组合成强分类器；最后，他们使用“级联”( c a s c a d e ) 的策略，把多个强分类器串联起来， 每层的特征从少到多，在开始的几层就排除大量非人脸区域，因此该方法的检测速度较 以往的方法有了很大的提升。 上述各种方法都存在自身的优缺点和适用的领域，无论哪一种方法都无法适用所有 的情况，一般针对人脸检测领域内某些特定的问题选择其中一种方法或多种方法结合进 行检测。还可以利用人脸跟踪的结果来进行人脸检测，即利用人脸跟踪得到的位置、大 小等信息缩小人脸检测的范围，降低误检率，提高检测速度和准确性。 1 3 人脸跟踪技术研究现状 人脸跟踪与人脸检测不同，人脸跟踪处理的是视频序列，视频序列的前后各帧之间 有非常大的相关性，除了静止图像中可利用的特征外，还有运动方向估计、前面帧的参 考等更加丰富的信息。综合利用这些信息可以简化跟踪算法的复杂度，提高性能。下面 介绍常用的几种人脸跟踪算法。 1 3 1 穷举搜索法( e x h a u s t i v es e a r c h ) 穷举搜索是指在当前目标的附近区域内以一定步长搜索，找到与模型最为匹配的区 域作为下一步的目标区域。b i r c h f i e l d 等【l3 】采用了穷举搜索来进行人脸的跟踪。穷举搜 索法方法简单，但是搜索空间很大，跟踪时间较长，当检测对象移动速度快时，算法效 率很低。 1 3 2 基于假设的方法( h y p o t h e s i sb a s e dm e t h o d ) 针对穷举搜索搜索范围很大的问题，很多学者提出基于假设的优化算法。卡尔曼滤 波【1 4 ( k a l m a nf i l t e r i n g ) 剧i - t ：高斯分布的状态预测方法；粒子滤波【1 5 l ( c o n d e n s a t i o n 算法) 是以因子抽样为基础的条件密度传播方法，这类方法基于对分布的假设，根据当前情况 推测出下一帧可能的分布情况，有效减少了搜索范围。 1 3 3 均值移动算法( m e a ns h i f t ) 均值移动方法最初由f u k u n a g a 和h o s t e t l e r t l 6 1 于1 9 7 5 年提出，其核心思想是利用核 函数对窗口中的点进行加权平均得到新的窗口位置，然后重复进行加权平均直到收敛。 均值移动最早由b r a d s k i 1 7 1 引入跟踪领域并在i n t e l 的o p e n c v t l 8 1 中实现 c a m s h i f i ( c o n t i n u o u s l ya d a p t i v em e a ns k ，它的主要思想是通过迭代移动窗口到概率 最大的位置。均值移动算法跟踪效率高，缺点在于只能选择基于像素点的特征( 每个像 素点需要计算一个特征值) ，所以只能和一些简单特征如直方图的反向投影等结合使用。 1 4 本文研究的主要内容 4 硕士论文基于监控视频的人脸检测与实时跟踪提取 本文研究的内容主要包括三个方面： ( 1 ) 基于a d a b o o s t 人脸检测算法的实现过程，对其不足给出几点改进意见，实现改 进的a d a b o o s t 算法并与原来的a d a b o o s t 算法的结果进行比较； ( 2 ) 对于c a m s h i f t 人脸跟踪算法的实现过程，分析c a m s h i f l 算法的优点与不足，针 对它的不足采用c a m s h i f t 人脸跟踪与a d a b o o s t 人脸检测相结合的方式，实现了实时的 人脸跟踪系统； ( 3 ) 研究从视频序列中用c a m s h i f i 人脸跟踪算法得到的人脸图像序列中提取几张不 同角度人脸图像的方法，并对视频序列进行实验得到预期的效果。 文中所有实验采用的硬件环境均为p e n t i u mi v3 2 0 g h zc p u ，5 1 2 m b 内存的p c 机， 软件环境为w i n d o w sx p 操作系统，软件开发平台是v i s u a lc + + 6 0 + o p e n c v1 0 。 本文共分六章，大体章节安排内容如下： 第一章，绪论。回顾了人脸检测与人脸跟踪技术的内容和难点，总结人脸检测与跟 踪技术的发展现状。 第二章，a d a b o o s t 人脸检测算法基础。概述人脸检测的评价标准、类h a r r 特征、 积分图、弱分类器、强分类器和级联的概念等a d a b o o s t 算法的基础。分析了如何利用 积分图计算类h a r r 特征值。 第三章，a d a b o o s t 人脸检测算法的改进。主要探讨a d a b o o s t 算法的基本概念，弱 分类器、强分类器和级联分类器的构造过程，a d a b o o s t 算法训练过程和检测过程的实 现；在a d a b o o s t 算法的基础上探讨实现多姿态人脸检测的方法；最后用多姿态级联分 类器对测试集进行了实验并分析了结果。 第四章，c a m s h i f t 人脸跟踪算法及其改进和实现。概述颜色概率分布图、反向投影、 均值移动算法等c a m s h i f t 算法的基础知识和c a m s h i f i 算法的实现步骤；采用a d a b o o s t 人脸检测与c a m s h i f i 算法结合的方法实现了对c a m s h i f i 算法的改进。 第五章，视频序列中人脸图像的提取。研究粗略计算人脸图像角度的几种方法，分 析了人脸图像的提取方法并进行实验，得到了不错的效果。 第六章，总结与展望。对本文工作的总结和对人脸检测与实时跟踪提取的展望。 5 2a d a b o o s t 人脸检测算法概述 硕士论文 2a d a b o o s t 人脸检测算法概述 p a u lv i o l a 和m i c h a e lj o n e s 1 2 3 3 1 于2 0 0 1 年提出了使用a d a b o o s t 学习算法的快速人 脸检测方法，取得了很好的效果，使得实现实时的人脸检测系统成为可能。v i o l a 的系 统主要有三个核心思想：1 ) 使用类h a r r 特征表示人脸，使用了“积分图 实现特征数 值的快速计算；2 ) 利用a d a b o o s t 算法挑选出最能代表人脸的一些类h a r r 特征( 即弱分 类器) ，根据加权投票的方式将弱分类器构造为一个强分类器；3 ) 用级联的方式将训练 得到的强分类器合成为一个更加复杂的层叠分类器，使得图像的背景区域快速地被丢 弃，而在可能存在目标( 即人脸) 的区域花费更多的计算，从而达到减少计算量的目的。 2 1 人脸检测评价标准跚 在涉及a d a b o o s t 人脸检测算法的基础知识前，先介绍人脸检测的评价标准，它们 是判断人脸检测方法性能是否有效的依据。人脸检测的主要评价标准【2 3 】有：检测率 ( h i t - r a t e ) 、误检率( f a l s e - a l a r m - r a t e ) 、检测速度( d e t e c t i n gs p e e d ) 、鲁棒性( r o b u s t n e s s ) 。 1 ) 检测率：被正确检测到的人脸数与原图像内包含的人脸数的比。检测率越高说明 检测系统对人脸的接受能力越强； 2 ) 误检率：被误检为人脸的非人脸子窗口数与原图像内检测到的所有非人脸子窗口 数的比。假设原图像内被检测到的非人脸子窗口数为m ，被误检为人脸的非人脸子窗 口数为，则误检率为，2 。如果图像内被检测到的所有子窗口数为n ，图像内包 含的人脸数为m ，则n = m + ，当n l 时，误检率近似于n ，n 。 检测率无法反应系统对非人脸的排除能力，有可能出现这样的情况：所有人脸图像 都被检测到，但同时很多非人脸区域被误认为是人脸。因此引入误检率来衡量系统对非 人脸的排除能力。误检率越低说明系统对非人脸的排除能力越强。 3 ) 检测速度：大部分应用领域都需要在线实时的检测人脸，如人脸识别、人脸跟踪、 视频监控等。在检测率和误检率达到满意的前提下，检测速度越快越好。 4 ) 鲁棒性：在各种条件下，检测系统的适应能力。如复杂背景的干扰，人脸姿态的 影响，光照条件的影响，以及遮挡等因素的影响。 这四个标准有些是相互制约的，比如误检率随着检测率的提高而提高，检测率随着 误检率的降低而降低。 2 2 类h a r r 特征与积分图 2 2 1 类h a r t 特征 类h a x r 特征( h a r r - l i k e ) b 2 3 3 1 是指图像中两个或者多个形状大小相同的矩形内部所 6 磺士论文 基于监控视鞭的人脸检测与实时跟踪提取 有像素灰度值之和的差值，因此，类h e r r 特征有时候也被称为矩形特征。它反映的是 图像局部的灰度变化。v i o l a l l 2 1 等使用了3 种类型4 种形式的特征，如图2 1 所示。从图 中我们可以看出，2 - 矩形特征表示相邻两个矩形内像素之和的差：3 矩形特征表示两边 的两个矩形像素之和减去中间的矩形像素之和；嚣形特征表示对角线上矩形内像素之 和的差值。 c 田。回 国。回 圈z 1 四种基本的类h e r r 矩形特征 而类h e r r 特征有什么具体的含义呢? 如图2 2 所示，左侧是一张人脸图像，圈上方 两个包含黑白区域的矩形代表类h a r t 特征，第一个就是图2 1 上的b 特征，第二个就 是c 特征。类h a i r 特征可以位于图像的任意位置，大小也是任意的( 只要不超过图像范 围) 日日 图2 2 类h a r t - 特征具体含义 类h a r t 特征的特征值等于原图像在白色区域内的所有像素灰度值之和减去黑色区 域内所有像素灰度值之和。一些类i - a r r 特征可以反映待检测物体的一些具体特征，从 7 2a d a b o o s t 人脸检测算法概述 硕士论文 图2 2 可以看出，上面两个类h a r r 特征恰好反映了人脸的人眼部分比人眼下面的脸颊部 分要暗，人眼部分比鼻梁部分要暗这两个特点。不过，仅用这两个类h a r r 特征根本无 法反映出人脸的所有特点，而且并不是所有的类h a r r 特征都能较好的描述人脸灰度分 布的某个特点。 2 2 2 积分图 每一幅图片中类h a r r 特征的数量是非常巨大的，因此计算所有类h a r r 特征的特征 值的计算量巨大，这将大大降低训练和检测的速度。为此，v i o l a 1 2 】【3 3 1 等引入了一种新 的图像表示方法积分图像。积分图像1 2 】【3 3 1 是将原图像中任一点左上方的全部像素 相加作为当前点像素值所得到的图像，积分图像中的每个点( x ，y ) 的值为原图像中点 ( x ，夕) 左上部分所有像素值的和： i i ( x ，y ) = f ( 工t y ) j 。立。y 。j ， 其中f 为原始图像，豇为积分图像。 记s ( x ，y ) 为原图像点i ( x ，y ) 所在的列纵坐标不超过该点的所有像素值之和。利用下 面的递推公式，积分图可以只用遍历一次原图像所有点就可以计算出来。 is ( 工，y ) = s ( x ，y - 1 ) + i ( x ，j ，) 【i i ( x ，y ) = i i ( x - 1 ，j ，) + j ( x ，y ) 其中s ( x ，一1 ) = 0 ，i i ( 一l ，力= 0 。 有了积分图像，任何矩形中的像素之和都可以通过四个顶点的值计算出来，积分图 像能够在多种尺度下，使用相同的时间来计算不同的特征，从而大大提高了检测速度。 如图2 3 ，矩形a 、b 、c 、d 内的像素和分别为a 、b 、c 、d ，要求矩形区域d 内的像 素值的和。假设该图像的积分图像已经求出，则根据积分图像的特点，可以迅速计算出 原图像中d 区域内像素值之和晶。 品= i i , + i 4 一i i 2 一呜 其中，品是原图像中d 区域内像素值之和，竭，以，坞，呜分别是积分图像中点l ，2 ， 3 ，4 的值。 8 硕士论文 基于监控视频的人脸检测与实时跟踪提取 图2 3 利用积分图像求类h a r t 特征值 2 3 弱分类器与强分类器 2 3 1 弱分类器 训练弱分类器【1 2 】【3 3 】和选择分类效果最好的特征是同一个过程。a d a b o o s t 算法对简 化的分类器进行筛选，然后把这些学习分类器组合起来形成一个复杂的但效果很强的分 类器。这样，系统的计算速度就有可能迅速提高。上述简化了的分类器就叫做弱分类器。 为简单起见，一般让弱分类器与经过筛选得到的类h a r r 特征一一对应。 弱分类器的原型是： 啪) = 拈觐鹏 其中，乃为特征，够为阈值，乃为偏置位( 指明了不等式的方向) ，x 为待检测的窗 口。一个弱分类器的训练就是找到最优阈值g 的过程，一轮分类器的训练就是找到分类 效果最好的弱分类器的过程。 2 3 2 强分类器 经过n 次迭代后，获得了n 个最优弱分类器啊( x ) ，( x ) ，那么可以按照下面的 方式组合成一个强分类器【1 2 】【3 3 】： 弘) ： 1 荟h j ( x ) t p i 【0 其他 其中x 为待检测的窗口，h j ( x ) 为构成该强分类器的第j 个弱分类器，仍为该分类 器的阈值。e ( x ) 判断的结果为i 或者0 ，i 代表接受，0 表示拒绝。如果结果为i ，说 明图像通过该分类器的检测。 2 4 级联分类器 9 2a d a b o o s t 人脸检测算法概述 硕士论文 a d a b o o s t 算法【1 2 儿3 3 】可以有效地从众多弱分类器中挑选出最优的组合成强分类器。 虽然最终的强分类器具有很好的检测率，但是由于强分类器的复杂性导致计算量的增 加，而且会有比较高的误检率，不能满足现实世界中人脸检测的需要。而构造级联分类 器的算法可以达到更好的检测效果和花费更少的检测时间。 级联分类器【1 2 】【3 3 】将若干个强分类器分级串联在一起，组成强分类器的弱分类器个 数随着级数的增加而增加。每层的强分类器经过阈值的调整，使得每一层都能让几乎全 部的人脸样本通过检测，而拒绝掉很大一部分非人脸样本。而且，由于前面的层使用的 矩形特征数量很少，计算速度非常快，越往后通过的候选图像越少。尽管由于类h a r t 特征增多导致单个图像的计算时间加长，但是由于实际的检测中，输入图像中对应着人 脸的匹配图像非常少，所以真正能够引起后面几层计算的匹配窗口数量非常少。级联分 类器的目的就是尽可能在前面的层拒绝掉尽可能多的非人脸图像，从而加快a d a b o o s t 算法的检测速度。对于一些明显不是人脸的图像，可在前几层就被排除，无需后续计算， 从而大大减少了计算量。 2 5 小结 本章主要回顾了人脸检测的评价标准、类h a r r 特征、积分图、弱分类器、强分类 器和级联的概念，这些都是构建a d a b o o s t 算法的基础。分析了如何利用积分图计算类 h a r r 特征值，这对a d a b o o s t 算法人脸检测算法中的弱分类器的选取有很大作用，大大 减少了计算量。把大量分类能力一般的弱分类器以一定方法叠加起来，构成一个分类能 力很强的强分类器，而不必直接寻找通常很难构建的强学习算法。最后级联所得到的强 分类器，简单的类h a r r 特征分类器放在前面，复杂的放在后面，这样大部分的非人脸 窗口在前面几层就被筛选掉了，从而使检测算法更加高效，达到加快检测速度和减低误 检率的目的。 1 0 硕士论文 基于监控视频的人脸检测与实时跟踪提取 3a d a b o o s t 人脸检测算法的改进 3 1a d a b o o s t 算法 a d a b o o s t 算法是b o o s t i n g 方法的一种，b o o s t i n g 方法源于p a c ( p r o b a b l y a p p r o x i m a t e l yc o 玎e c t ，概率近似正确) 学习模型。p a c 模型提出了弱学习和强学习的概 念，通过某种方法可以强弱学习提升为强学习。1 9 9 0 年，s c h a p i r e 2 0 】通过一个构造性方 法实现这样一个过程，其构造过程称为b o o s t i n g 。1 9 9 5 年，f r e u n d 2 l 】对其进行了改进， 提出了一个效率更高的b o o s t 算法，但是他们的算法在人脸实时检测上有一个缺陷，就 是必须事先知道弱学习算法学习正确率的下限，这在实际中是很难做到的。 1 9 9 5 年，f r e u n d 和s c h a p i r e 2 2 1 提出了a d a b o o s t ( a d a p t i v eb o o s t i n g ) 算法，该算法效 率很高，而且不需要知道训练错误率的下限，因此可以很容易的应用到实际问题中。其 基本思想是利用大量的分类能力一般的弱分类器通过一定方法叠加起来，构成一个分类 能力很强的强分类器。 p a u lv i o l a 和m i c h a e lj o n e s 1 2 】f 3 3 】于2 0 0 1 发表的文章被视作人脸检测的一个转折点。 他们通过综合a d a b o o s t 和c a s c a d e ( 级联) 算法实现了实时的人脸检测系统，使得人脸检 测从真正意义上实现实时。 a d a b o o s t 算法是一个迭代方法，它的基本思路是：选定一个很大的人脸训练库，定 义大量的类h a r t 特征，开始时每个样本都赋予一个相同的权重，然后进行t 次迭代。 每次迭代之后，对分类错误的样本加大权重，使得下一次的迭代能够更加关注这些样本。 根据每个类h a r t 特征分辨人脸和非人脸的能力，从中选择一小部分最有效的特征，产 生一个强分类器。 3 2a d a b o o s t 算法训练的过程 3 2 1 训练样本的选择 a d a b o o s t 算法效果的好坏重点在于前期训练时弱分类器的选取，而弱分类器的选取 在很大程度上依赖于训练样本集的选取，因而样本集的选取十分重要。训练样本要求是 面部的特写图像，训练样本使用前要进行简单的预处理。首先，每一类样本中人脸的姿 态要尽量一致；其次，样本尺寸也要实现归一化，我们将样本库中的人脸和非人脸尺度 统一调整为2 4 x 2 4 像素。 人脸在空间中的旋转姿态【1 9 】有三种，即绕水平轴旋转( 俯仰) 、绕垂直轴旋转( 旋转) 、 绕视平面法向旋转( 摇摆) ，如图3 1 所示。当然实际中人脸姿态一般是上述三种姿态按 一定角度的组合。 3 b n 人脸橙铡算法的改进 硕士论文 彻 俯 左转 右摆 ， 左摆 图3 1 人脸在空间中的旋转 0 s t 3 d 脸模型“嘶 我们参照文献1