（应用数学专业论文）基于均值平移的自动人脸检测与跟踪算法.pdf

摘要 人脸检测及跟踪属于模式识别与计算机视觉的研究领域，它作为人脸信息处 理中的项关键技术，在基于内容的图像与视频检索、视频监视、视频跟踪、 视频会议以及智能人机交互等方面都有着重要的应用价值。 本文主要进行人脸检测与跟踪技术的研究。首先，采用基于肤色分割和支持 向量机的算法进行人脸检测。其次，在人脸跟踪方面采用基于均值平移的算法 进行跟踪，最终实现图像序列的自动人脸跟踪。并通过实验对本文算法进行了 验证，本文的主要研究工作和创新点如下： ( 1 ) 研究了基于肤色的人脸分割方法，采用y c b c r 色彩模型来进行肤色分 割。在y c b c r 色彩模型中，可以去掉图像亮度对检测产生的影响。实验表明， 肤色分割方法，可以快速去除大量背景，产生初始的人脸候选区域，使后续的 人脸检测模块能够将计算集中在相对较小的区域，从而明显地提高算法的执行 效率。 ( 2 ) 提出了基于肤色和s v m 综合的人脸检测算法，基于s v m 的分类检测是统 计学习的新的方法，具有检测效率高，错误识别率低的优点。采用肤色分割后， 图像中的大量背景信息已经被去除，使得s v m 判别的工作量大大降低，不失为 一种好的人脸检测方法。实验证明，本文人脸检测方法非常有效。 ( 3 ) 介绍和分析了基于均值平移的目标跟踪算法，并在此基础上，提出了基 于均值平移的自动人脸跟踪算法，对每一个检测到的人脸目标采用均值平移算 法予以跟踪，在算法中，为保证自动的人脸跟踪，新增人脸序列用于保存检测 出的人脸，若发现有新的人脸出现，添加到人脸序列中，并于下一帧开始使用 均值平移算法对其进行跟踪。实验表明，跟踪效果迅速可靠。 最后总结了全文，分析了目前研究工作中需要进一步完善的地方，指出今后 工作的研究方向。 关键字：目标跟踪，均值平移，肤色分割，支持向量机 a b s t r a c t f a c ed e t e c t i o na n dt r a c k i n gi sa l l i m p o r t a n tr e s e a r c ha s p e c t i n a r t i f i c i a l i n t e l l i g e n c e a n dc o m p u t e rv i s i o n a sak e y t e c h n o l o g y o ff a c ei n f o r m a t i o n p r o c e s s i n g ，i t h a sab r o a da p p l i c a t i o nv a l u e si n m a n yf i e l d s s u c ha sv i d e o s u r v e i l l a n c e ，c o n t e n t b a s e di m a g er e t r i e v a l ，v i d e oc o n f e r e n c e ，e t c i nt h i st h e s i s ，as t u d yo nr e s e a r c ha n da p p l i c a t i o no ff a c ed e t e c t i o na n dt r a c k i n g i sp r e s e n t e d f i r s t l y , w eu s et h ea l g o r i t h mb a s e do nf a c es e g m e n t a t i o na n ds v mt o d e t e c tt h ef a c e s s e c o n d l y , w eu s et h em e a ns h i f ta l g o r i t h mt ot r a c kt h ef a c e s w e r e a l i z ea u t o m a t i cf a c et r a c k i n go fi m a g es e q u e n c ee v e n t u a l l y ：t h em a i nr e s e a r c h w o r ka n di n n o v a t i o na r ea sf o l l o w s ： ( 1 ) r e s e a r c ht h ef a c es e g m e n t a t i o nm e t h o db a s e do nf a c ec o l o r , u s i n gy c b c r c o l o rm o d e lf o rc o l o u rs e g m e n t a t i o n i ny c b c rc o l o rm o d e l ，w ec a nr e m o v et h e i m p a c to fi m a g eb r i g h t n e s s e x p e r i m e n t ss h o wt h a tc o l o rs e g m e n t a t i o nm e t h o dc a n r e m o v el a r g en u m b e ro fb a c k g r o u n dq u i c k l y ，t h e nw ec o u l dg e tt h ei n i t i a lf a c e c a n d i d a t er e g i o ns ot h a tt h ef o l l o w - u po ff a c ed e t e c t i o nm o d u l ec a nb ec a l c u l a t e do n t h er e l a t i v e l ys m a l la r e a ，s oa st os i g n i f i c a n t l yi m p r o v et h ei m p l e m e n t a t i o no f t h e a l g o r i t h me f f i c i e n c y ( 2 ) p r o p o s eaf a c ed e t e c t i o na l g o r i t h mb a s e do nf a c ec o l o ra n ds v m t h e c l a s s i f i c a t i o no fs v mi san e wm e t h o do fs t a t i s t i c a ls t u d yw h i c hh a sa d v a n t a g e sw i t h h i g he f f i c i e n c y , l o wr a t eo fw r o n gi d e n t i f i c a t i o n a f t e rc o l o rs e g m e n t a t i o n ，t h el a r g e n u m b e ro fb a c k g r o u n di n f o r m a t i o nh a sb e e nr e m o v e d ，g r e a t l yr e d u c et h ew o r k l o a do f s v m i t sag o o df a c ed e t e c t i o nm e t h o da n de x p e r i m e n t sp r o o ft h em e t h o di sv e r y e f f i c e n t i v e ( 3 ) d e s c i p ta n da n a l y z et h et r a c k i n ga l g o r i t h mb a s e do nm e a ns h i f t p r o p o s ea a l g o r i t h mo fa u t o m a t i cf a c et r a c k i n gb a s e do nm e a ns h i f tw h i c hu s em e a ns h i f t a l g o r i t h m t ot r a c kt h ef a c ed e t e c t e d t oe n s u r et h ea u t i m a t i cf a c et r a c k i n g ，w ea d df a c e s e q u e n c et op r e s e r v ef a c e s i fan e wf a c ef o u n d ，a d di tt ot h es e q u e n c e ，a n du s em e a n s h i f ta l g o r i t h mt ot r a c ki nt h en e x tf r a m e e x p e r i m e n t ss h o wt h a tt h ea l g o r i t h mi s r a p i da n dr e l i a b l e f i n a l l y , s u mu pt h et h e s i s ，a n a l y s et h ec u r r e n tr e s e a r c hi nt h en e e dt ob ef u r t h e r i m p r o v e d ，p o i n t e do u tt h ed i r e c t i o nf o rf u t u r ew o r k k e yw o r d s ：o b j e c tt r a c k ，m e a ns h i f t ，f a c es e g m e n t a t i o n ，s v m i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 鳆 1 日期：哆鬈? 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 一埠新虢嫩 武汉理t 大学硕士学位论文 第1 章绪论 1 1 选题背景和研究意义 随着我国经济的发展以及人民生活水平的提高，视频监控系统的需求越来 越大。视频监控系统不仅符合信息产业未来发展的趋势，而目蕴藏着巨大的商 机和经济效益，成为目前信息产业中颇受关注的数字化产品。近年来，视频监 控在军事、经济等方而得到了广泛的应用，如小区安全监控、旅游景点人流量 统计、银行系统中的a t m 监控等。但是现在大部分视频监控系统的实际监控工 作还是由人工完成，在很多情况下，视频数据只是作为“事后证据”，这使得视 频监控系统丧失了其应有的主动性和实时性的优势，并且消耗较多的人力和精 力。另外，为预防和阻止犯罪，对无人值守的自动视频监控系统的需求量日益 上升，这类系统的主要目标是减少对繁琐人工的依赖，自动完成对复杂环境中 出现的人进行实时观测并对他的行为进行分析与描述。 计算机视觉和模式识别技术的不断进步促进了视频监控系统向智能化方向 发展。智能视频监控系统的核心就是利用计算机视觉技术从视频图像中检测、 跟踪、识别人脸并对其行为进行理解与描述，其中包含两个重要的环节就是人 脸检澳, l j ( f a c ed e t e c t i o n ) 矛1 1 人脸跟踪( f a c et r a c k i n g ) 。人脸是人类最重要的生物特 征之一，包含许多有用的信息，如身份、表情等，利用人脸检测技术在视频中 检测到人脸后可以对其进行跟踪、识别等后续操作，并可以主动发出警告信号 告知值班人员。人脸是一类具有相当复杂的细节变化的自然结构目标，人脸器 官的形状、尺寸、纹理、表情等变化复杂，难以用统一的模式加以描述，且人 脸检测的实际应用环境也十分复杂，不同的成像条件、不确定的饰物及复杂的 背景等均向人脸检测算法提出了苛刻的要求。同时，序列图像中动态场景运动 的快速分割、人脸的非刚性运动、人脸自遮挡和目标之间互遮挡的处理等也为 人脸的跟踪带来了一定的挑战。如果能够找到上述问题的解决方法，成功构造 出实时高效的人脸检测与跟踪系统，将为解决其它类似的复杂模式的检测与跟 踪提供重要的启示。 人脸检测是采用一定的策略对给定图片或视频进行搜索，从而判断其中是 武汉理丁大学硕士学位论文 否存在人脸，如果存在则定位出每个人脸的位置、大小以及姿态i lj 。人脸跟踪是 根据己定位出的人脸，在运动图像的后续帧中跟踪该人脸的运动，它是计算机 视觉领域中重要的研究课题。人脸检测、跟踪及识别问题研究跨越了图象处理、 模式识别、计算机视觉、人工神经网络以及神经生理学、心理学等研究领域， 具有极高的理论研究价值。同时，随着高速硬件和图像理解、模式识别、计算 机视觉及人工神经网络等技术的发展，它有着很高的商业和法律应用价值。目 前人脸识别与人脸跟踪已成为许多研究领域内的关键技术。如在智能人机接口 中，如果系统不能对人脸进行自动检测和跟踪，而是将人严格的限制在摄像机 前，显然是难以接受的。人脸跟踪技术的研究将极大的促进相关领域的发展。 1 2 人脸检测与跟踪的发展现状 人脸检测问题最初来源于人脸识别( f a c er e c o g n i t i o n ) 2 j ，是自动人脸识别系 统中的一个关键环节，对它的研究可以追溯到上世纪六、七十年代，经过几十 年的发展己同趋成熟【】。人脸检测是自动人脸识别系统中的一个关键环节，但 是早期的人脸识别研究主要针对具有较强约束条件的人脸图象( 如无背景的图 象) ，往往假设人脸位置已知或很容易获得，因此人脸检测问题并未受到重视。 但是近几年来，随着社会的进步和科学的发展，视频监控、远程视频会议、智 能人机接口等应用对人脸检测和跟踪技术提出了进一步要求，使得人脸检测和 跟踪开始作为一个独立的课题发展，学者们才把注意力转向人脸检测与跟踪领 域。目前人脸检测与跟踪的应用背景已经远远超出了人脸识别系统的范畴。人 脸检测与跟踪已成为计算机视觉及相关领域中的关键技术，在基于内容的检索、 数字视频处理、智能人机接口、视觉监测等方面有着重要的应用价值。由于人 脸的检测与跟踪在高级人机交互、安全监控、视频会议、医疗诊断及基于内容 的图像存储与检索等方面具有广泛的应用前景和潜在的经济价值，从而激发了 广大科技工作者及相关商家的浓厚兴趣，国内外已经开展了大量相关项目的研 究。例如，国外比较著名的有m i t 、c m u 等；国内有清华大学、中科院计算所 和自动化所、北京工业大学等单位人员从事人脸检测跟踪相关的研究。而且 m p e g 7 标准组织已经建立了人脸识别的草案小组，人脸检测算法也是一项征集 的内容。随着人脸检测与跟踪研究的深入，国际上发表的论文数量也大幅度增 加，当f j ，国际上一些权威期刊和重要的学术会议如i e e e 的f g ( i e e e 2 武汉理工大学硕士学位论文 i n t e r n a t i o n a lc o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r e r e c o g n i t i o n ) 、 i j c v ( i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g e u n d e r s t a n d i n g ) 、p a m i ( i e e et r a n s o np a t t e r na n a l y s i sa n dm a c h i n e i n t e l l i g e n c e ) 以 及i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、c v p r ( i e e ec o m p u t e r s o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) 、e c c v ( e u r o p e a n c o n f e r e n c eo nc o m p u t e rv i s i o n ) ， i w v s ( i e e ei n t e m a t i o n a lw o r k s h o po nv i s u a l s u r v e i l l a n c e ) 等将人脸检测跟踪研究作为主题内容之一，为该领域的研究人员提 供了更多的交流机会。 1 3 人脸检测与跟踪技术综述 众所周之，人脸具有着多样性和不规则性，但是人脸也具有一些共性特征， 可以为我们进行人脸检测与跟踪提供依据。经过几十年的研究发展，已有许多 技术和方法被提出来用于人脸检测与跟踪。这些方法都各自从不同的角度出发 解决问题，因此在效果上它们有自己的优点，但同时又不可避免的存在各自的 不足。本章将概要性的总结人脸检测与跟踪的主要方法并进行阐述。 1 3 1 人脸检测 人脸图像所包含的特征信息非常丰富，如颜色信息( 肤色、发色等) 、轮廓特 征( 椭圆轮廓等) 、启发式特征( 头发、下鄂) 、结构特征信息( 对称性、投影特征等) 、 在序列图像中还包含运动信息等。如何利用这些特征信息，这些特征中哪些是 最有用的是人脸检测要研究的一个关键问题。目前的方法大概可分为三类： 1 3 1 1 基于特征的方法 基于特征的人脸检测方法是通过检测出不同的人脸面部特征的位置，然后 根据它们之间的空间几何关系来定位人脸。这种方法又可进一步分为基于知识 和基于局部特征的检测策略。基于知识的方法首先定位候选人脸区域，然后再 通过人脸的先验知识来检验人脸是否存在。与之相对应的基于局部特征的方法 中，人脸的局部特征如眼睛、鼻子和嘴唇等首先被检测出来，然后由这些局部 特征组合成人脸。 1 ) 基于知识的方法 这种方法是利用从人脸的先验知识得到的规则来进行人脸检测的。人脸局部 武汉理工大学硕十学位论文 特征的分布总是存在着一定的规律，例如人的两个眼睛总是对称分布在人脸的 上半部分，鼻子和嘴唇中心点的连线基本与两眼之间的连线垂直等。于是，我 们可以利用一组描述人脸的局部特征分布的规则来进行人脸检测。这些规则可 以表述为人脸局部特征之间的相对距离和位置关系等。当满足这些规则的图像 区域找到后，则认为一幅人脸已被检测出来，然后可以对候选的人脸区域进行 进一步的验证，以确定候选区域是否包含人脸。 该方法存在的一个问题在于如何把我们对人脸的先验知识转化为良好定义 的规则。如果规则定得太严太具体，势必会有很多人脸区域不符合所有的规则； 而规则定得太泛的话，又会产生许多误检。另外，由于对于不同姿态的人脸， 该方法很难扩展出所有的规则。但是如果背景简单的情况下，利用分层式的基 于知识的方法对正面人脸的检测效果还是很好的。 y a n g 和h u a n g 5 】采用分层次的基于知识的方法进行人脸检测，他们所实现的 系统共分三层，原始的数字图像作为系统的输入。在第一层，通过一些规则在 整幅图像的范围内进行全局搜索，检测出所有可能的候选人脸区域。第二层， 在上一层检测出的人脸候选区域的基础上进行进一步的检测，所用的规贝0 基于 更详细的面部特征。第三层，在上一层检测的人脸候选区域中进行直方图均匀 化，然后进行眼睛和嘴唇的边界检测，如果被检测出的结果符合眼睛和嘴唇的 特征，那么一张人脸也就被确定下来了。在上述第一，二层中，用于检测的图 像进行了马赛克处理，马赛克图像通过降低原始图像的分辨率得到。在6 0 张测 试图像中他们成功的检测出了5 0 张图像中的人脸，同时有2 8 张发生误检。虽 然检测的效果不是很好，但是他们这种从粗到细、多分辨率分层式的思想被很 多人所采用。 2 ) 基于局部特征的方法 基于知识的方法是一种自上而下的方法，基于局部特征的方法是一种自下而 上的方法，这种方法主要是先寻找具有不变性的局部人脸特征，然后构造出一 个统计模型来描述它们之间的关系并验证人脸的存在。研究者们认为人类能够 很容易的辨认出入脸而不受光照条件或者人的姿态等影响，是因为某些人脸特 征有它固有的不变性。有很多方法被提出来用来检测人脸的特征，然后再推断 人脸的存在。通常象眉毛、眼睛、鼻子、嘴巴等这些特征是通过边缘检测得到 的。该方法存在的一个严重问题是：由于背景噪声、阴影等因素的影响，造成 人脸局部特征不明显，使得根据局部特征组合人脸的算法失效，从而产生漏检 4 武汉理工大学硕士学位论文 和误检。 s i r o h e y 提出了一种从复杂背景中提取出人脸的方法1 6 j 。他先利用启发式方法 在c a n n y 边缘图中对边缘进行去除和分组，最后只保留下人脸的轮廓线。然后 再用椭圆模型对该轮廓进行验证。c h i n c h u a nh a n 等1 7 j 提出了一个基于形态学预 处理的快速人脸检测方法。他们认为眼睛和眉毛是人脸中最显著和最稳定的特 征，因此，这个特征也对人脸检测最有用。首先，一种基于形态学的技术被用 于眼睛近似物分割。在原图像中采用诸如闭运算等形态学操作定位眼睛近似物 像素的位置，然后用标记方法产生眼睛近似物分段。然后，利用这些眼睛近似 物分段来指导搜索潜在的人脸区域。如果有类似眼睛、鼻子、眉毛和嘴唇的几 何关系存在，那么一个临时的人脸区域就被标示出来。最后是人脸区域验证， 首先在上一步中得到的所有候选人脸区域被正规化成2 0 2 0 的图像，然后所有 这些被正规化的候选人脸图像被输入到一个训练过的b p 网络用于鉴别人脸，正 确的人脸位置通过优化代价函数来确定。他们的方法可用于定位多角度的人脸 位置，而且基于形态学的眼睛近似物分段过程去除了一幅复杂背景图像9 5 以 上的区域，从而大大降低了下步人脸检测所需的时间。这个算法在包含1 3 0 个人脸的1 2 2 幅图像中进行了测试，结果有1 2 2 个人脸被准确的定位，显示了 较高的检测率。在一幅5 1 2 3 4 0 的图像中完成检测工作平均需要2 0 秒。实际 上，这个方法的一、二步采用了基于局部特征的方法，而最后的人脸验证过程 则类似于r o w l e y 等的基于神经网络的方法，综合了两种检测策略的长处，从而 提高了检测速度。 除了纹理和灰度特征外，肤色也是人脸的重要信息，尽管每个人的肤色都 不一样，但是研究表明：肤色的差异主要在于它们的亮度而不是色度1 8 驯，即在 去除亮度的色度空间中肤色具有聚类特性。另外肤色具有不依赖于面部的细节 特征，对于旋转、表情等变化情况都能适用，具有相对的稳定性并且能和大多 数背景物体的颜色相区别，因此肤色在人脸检测中也是很常用的一种特征。目 前在利用肤色特征进行人脸检测中常用的几种颜色空间有：r g b 、归一化的 r g b 、h s v ( 或h i s ) 、y c r c b 、y i q 、以及c i e 、l u v 等。选择哪种颜色空间主 要看该颜色空间中能否用给定的模型描述肤色区域的分布以及在该颜色空间中 肤色是否有较好的聚类性，即它能否与非肤色区域分开。 1 3 1 2 模版匹配方法 模板匹配是一种经典的模式识别方法，在人脸识别和人脸检测中都有广泛 武汉理工大学硕士学位论文 的应用，它是一种直观而有效的方法。使用一组模板来刻画模式的内在特征， 一般是从人脸或者人脸某个面部器官的先验知识出发( 通常利用面部器官图像的 灰度值、形状、轮廓等信息) ，来构造一个或多个通用的模板。对于输入的图像 进行全局搜索，对应不同尺度大小的图像窗口，计算与人脸模板中不同部分的 相关系数，通过预先设置的阈值来判断该图像窗口中是否包含人脸。这些模板 既可以是整张人脸的灰度图像，也可以是脸部器官的灰度图像，还可以选择经 过某种变换的人脸图像作为模板存储。模板的建立一般是在对多个样本的灰度 分布进行统计的基础上完成的，这些模板的获得必须利用各个特征的轮廓。 1 ) 固定模板 固定模板事先建立并存储了一些人脸模板作为标准，可以是单个的人脸模板 或由单独的眼睛、鼻子、嘴等器官构成的模板。利用一些算法来计算各待测区 域与标准模板的相似程度( 亦称相关性) 。利用这一相似程度柬判决某一区域是否 为人脸，最简单的就是用多个人脸图像的平均作为人脸模板。 2 ) 变形模板 固定模板匹配的方法易于实现，但是也存在着缺点：人脸的特征受表情、 姿势、旋转等因素影响很大，对于每一个模式类，选择一个好的模板和确定一 个恰当的匹配准则是困难的，很难设计一种通用的模板方法来表征人脸的共性。 而“弹性模板”在一定程度上克服了这个缺陷。弹性模板【1 0 1 是由一个根据被测 物体形状而设定的参数化的可调模板和与之相应的能量函数所构成，能量函数 要根据图像的灰度信息、被测物体轮廓等先验知识来设计。当用弹性模板进行 人脸检测时，首先，将可调模板在待测图像中移动，并动态地调整其参数，计 算能量函数。当能量函数达到最小值时，根据其位置和参数所决定的可调模板 形状应该达到与人脸形状的最佳拟合，这样就检测到了一幅人脸。为了使模板 匹配的算法具有更好的适应性，研究人员提出了各种基于弹性模板的方法，比 较典型的有k a s s 等【l i 】的s n a k e s 、y u l l i e 等【5 j 的d e f o r m a b l et e m p l a t e 等。 k a s s 等【1 2 l 提出了基于能量函数的s n a k e s 模型，也称为主动轮廓模型( a c t i v e c o n t o u rm o d e l ) 。利用内外能量的关系使轮廓点向最终的目标接近。内部能量控 制轮廓的平滑程度，外部能量引导轮廓点向边缘靠近。总的能量为内外部能量 之和，公式如下： e m l c e2e e m 甜+ e 哪e m 耐 通过不断的迭代，总能量最小的位置即为算法收敛位置。随后的相关研究 6 武汉理工人学硕士学位论文 将s n a k e s 应用到人脸轮廓提取中【6 】：首先定义一个初始轮廓，通过内外能力的 相互作用，引导轮廓点向人脸边缘靠近。在内外能量达到平衡之后，轮廓点停 止移动，各轮廓点所包围的区域即为人脸区域。 弹性模板方法的优点在于：由于使用的弹性模板可调，能够检测不同大小、 具有不同偏转角度的物体。但是其缺点是检测前必须根据待测物体的形状来设 计弹性模板的轮廓，否则会影响收敛的结果。当对图像进行全局搜索时，由于 要动态地调整参数和计算能量函数，计算时间过大。 1 3 1 3 基于表象的方法 基于表象的方法利用统计分析或机器学习找到人脸与非人脸的相关特征。这 些学习得到的特征以分布模型或判别函数式来表示，随后利用这些特征进行人 脸检测，同时，为了减少计算量和提高检测的速度，通常要先进行降维工作。 总而言之，这种方法遵循一种统一的模式，即首先通过学习，在大量训练样本 集的基础上建立一个能对人脸和非人脸样本进行f 确识别的分类器，然后对被 检测图像进行全局扫描，用分类器检测扫描到的图像窗口中是否包含人脸。若 包含人脸，则给出人脸所在的位置。 采用这种检测模式的理论依据是：人脸具有统一的结构模式( 都是由眉毛、 眼睛、鼻子和嘴唇等人脸器官构成) ，如果把所有的图像集看作一个高维线性空 间，那么整个人脸图像集仅对应于其中的某个子空间。于是可以通过检验待检 测图像窗口是否落在这个子空间中来判断其是否为人脸。因此，可以通过大量 的人脸和非人脸样本来建立一个分类器，使它能够正确分辨这两种不同的图像 模式，再利用训练好的分类器在未知的图像中检测人脸。采用这种检测策略关 键在于如何选取大量的具有代表性的图像样本，特别是非人脸图像样本来训练 分类器。具体分类器的实现可以采用不同的策略，如采用神经网络的方法和传 统的统计方法等。 1 ) 基于支持向量机的方法 支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 是v a p n i k 1 3 - 1 4 等提出的基于结构 风险最小化原理( s t r u c t u r a lr i s km i n i m i z a t i o np r i n c i p l e ，s r m ) 的统计学习理论， 用于分类与回归问题。s r m 使v c ( v a p n i kc h e r o v n e n k i s ) 维数的上限最小化，这 使得s v m 方法比基于经验风险最小化( e m p i r i c a lr i s km i n i m i z a t i o np r i n c i p l e ， e r m ) 的人工神经网络方法具有更好的泛化能力。o s u n a 等【l5 j 将s v m 方法用于 人脸检测，取得了较好的实验结果。该方法的基本思路是对每一个1 9 1 9 像素 7 武汉理下大学硕士学位论文 的检测窗口使用s v m 进行分类，以区分“人脸 和“非人脸”窗口。s v m 的 训练使用了大量人脸样本和“自举”方法i l6 j 收集“非人脸”样本，并且使用逼 近优化【1 7 】的方法减少支持矢量的数量。需要说明的是，长期以来s v m 的训练需 要求解计算复杂度极高的二次规划问题，限制了该方法的应用。p l a t t 1 8 1 提出的 s m o ( s e q u e n t i a lm i n i m a lo p t i m i z a t i o n ) 算法解决了s v m 训练困难的问题。 2 ) 基于特征空间的方法 基于特征空间的方法将人脸区域图像变换到某一特征空间，根据其在特征 空间中的分布规律划分“人脸”与“非人脸”两类模式。 主成分分析( p c a ，p r i n c i p a l c o m p o n e n ta n a l y s i s ) 是一种常用的方法。主成分 分析是统计学中分析数据的一种常用思想，其目的是在数据空间中，找到一组 向量以尽可能的解释数据的方差，将数据从原来的尺维空间降维投影到m 维空 间( r m ) ，在降维后仍保存数据的主要信息。对于模式识别分类问题，我们一 般针对如何利用方差最大来提出分类算法。每个人脸图片都可以被认为是一个 向量，假设一幅图片长宽大小为w x h ，那么人脸这个特殊的向量就有w h 个元 素，每个像素点对应一个向量的元素。而这个特殊的向量属于一个特殊的空间， 我们称为图像空间，空间中所有向量都是w x h 维。因为所有的人脸都是相似的， 都有着眼嘴鼻等器官特征，所以人脸向量都集中在一个相对狭小的区域。要准 确和有效地描述一个人脸，需要我们提出一个更加适合的空间，我们称为人脸 空间。而这个空间的基向量，我们称为主成分( p r i n c i p l ec o m p o n e n t ) 。由于相邻 像素点间存在相关性，因此人脸空间的维数一定小于图像空间的维数。我们需 要找出这一系列人脸图片的协方差矩阵的特征向量，由它们组成基向量( 主成 分) 。而对于这些特征向量，可以把它们认为一系列描述人脸之间差异性的面貌 特征。 要计算特征脸，首先假设人脸图像为i ( x ，y ) ，大小为m n ，相似的人脸会 集中在图像空间中一定的狭小区域，主成分分析的方法就是要找到最好的特征 向量来描述这种集中性。这些主成分定义了一个图像空间的一个子空间，这个 子空间就是我们定义的人脸空间，空间中每个向量维数是m n ，描述了输入人 脸图像的线性变换。因为这些主成分是原始人脸图像协方差矩阵的特征向量， 而且因为它们和普通人脸很相似，我们就将其称之为“特征脸”。特征脸的数量 和输入的人脸数量是一样的，但是，输入的人脸可以由具有最大特征值的特征 脸( 具有描述输入人脸最大差异性的特点) 所近似描述。 武汉理工大学硕士学位论文 3 ) 基于神经网络的方法 神经网络( n e u t r a ln e t w o r k ) 是通过训练一个网络结构，把模式的统计特性隐 含在神经网络的结构和参数之中。基于神经网络的方法对于复杂的、难以显式 描述的模式具有独特的优势。 在基于神经网络的人脸检测方法中，r o w l e y 等【8 9 】提出的方法具有代表性。 他们使用一个多层的神经网络来学习人脸与非人脸间的区别，同时还结合了一 些基于知识的方法来提高算法的性能，取得了非常好的结果。r o w l e y 等使用了 多个a n n 检测多姿态的人脸：一个位姿检测器( p o s ee s t i m a t o r ) 用于估计输入窗 口中人脸的位姿，三个检测器( d e t e c t o r ) 分别检测正面( f r o n t a l ) 、半侧面( h a l f p r o f i l e ) 和侧面( p r o f i l e ) 的人脸。使用经过对准和预处理的“人脸”样本以及采用 “白举”( b o o t s t r a p ) 方法收集分类器错分的样本作为“非人脸样本训练各个 a n n ，进一步修正分类器。检测时对输入图像中所有可能位置和尺度的区域首 先使用位姿检测器估计人脸位姿，经校准和预处理后送入三个检测器中，最后 对检测器的分类结果进行仲裁。 4 ) 基于a d a b o o s t 的学习方法 o l a 等【1 9 j 于2 0 0 1 年在c v p r ( c o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) 会议 上提出了一种基于a d a b o o s t 的机器学习方法。他们采用了一种称为“积分图像” 的图像表示方法，能够快速计算出检测器用到的类h a a r 特征；然后用基于 a d a b o o s t 的学习算法，从一个较大的特征集中选择少量的关键视觉特征，产生 一个高效的强分类器；再用级联的方式将单个的强分类器合成为一个更加复杂 的分类器，使图像的背景区域能够快速地被丢弃，而在有可能存在人脸目标的 区域花费更多的计算。他们利用该方法构建的人脸检测系统能够快速准确的检 测出大部分人脸，在p i i i7 0 0 m h z 的处理器上，对3 8 4 * 2 8 8 的图像进行检测，能 够达到1 5 帧秒的速度。 与前人的方法相比，v i o l a 的方法具有三点创新之处：首先，使用积分图像 ( i n t e g r a li m a g e ) 可以快速计算出类h a a r 特征的特征值，大大提高了特征提取的效 率；其次，在大量特征构成的特征空间中，使用a d a b o o s t 方法选取其中少量的 最具分辨力的特征，简化了图像匹配搜索的时间；最后，采用逐渐复杂的多分 类器级联的结构，可以在前几级分类器的选择后即排除明显不是人脸区域的图 像，提高了检测算法的速度。f 是由于这几点的贡献，v i o l a 的方法获得了很好 的性能，检测率可达9 0 以上，检测速度可基本达到实时。 9 武汉理工大学硕士学位论文 1 3 2 人脸跟踪 人脸跟踪就是根据已定位的人脸，在后续图像序列中确定该人脸的运动轨迹 及大小变化的过程。它的挑战性主要来自两个方面：( 1 ) 实时性。这也是所有跟 踪算法的基本要求，因此人脸跟踪算法需要具有较高的运算效率。( 2 ) 鲁棒性。 由于人脸自身的复杂多变性，再加上人脸运动的不规则、不均匀性，使得较好 的实现人脸跟踪这一问题的难度加大。通常情况下，实时性和鲁棒性属于一个 矛盾的统一体。在增加鲁棒性的同时会加大运算时间；同样，在保持实时性的 时候也会降低跟踪的鲁棒性。个好的人脸跟踪算法要求在满足实时性的同时 也有较好的鲁棒性。在实际实现中，我们从应用角度出发，找到两者之间的折 衷点，满足实际应用的需要。 人脸跟踪研究是目标跟踪研究的一个分支，根据跟踪算法中所运用方法的侧 重点的不同，我们将人脸跟踪方法分为基于人脸检测的方法和基于运动目标跟 踪的方法。 1 3 2 1 基于人脸检测的人脸跟踪方法 这类人脸跟踪方法可以看作是静止图像中人脸检测问题的延伸。基于此类 方法的跟踪，以图像序列中每帧的检测结果为基础，并结合前后帧之间的相 关性来实现。 此类方法的一般思路为：首先在未知人脸位置的情况下，在起始帧中确定 要跟踪的人脸。在后续帧中，根据上一帧或几帧的检测结果预测当前帧中人脸 的可能存在区域，并在该区域中检测人脸。通过预测能加快对每一帧的处理速 度，提高整个算法的效率，从而满足实时性的要求。每一帧的检测结果也可以 用来更新人脸的特征模型以提高后续帧中人脸检测的准确性。目前，根据所利 用特征的不同，基于人脸检测的人脸跟踪方法主要有以下两类： 1 1 基于肤色信息的方法 由于提取人脸的肤色信息简单又快速，并且肤色对人脸位置变化及部分遮 挡具有不变性的特点，y a n g 等【2 0 1 提出通过人脸肤色信息进行人脸跟踪的思路。 通常在这类方法中假设肤色在色度空间( 一维或二维) 中是单峰的，肤色模型可以 用高斯分布( 均值、方差) 或颜色直方图表示。由于肤色对于光照的变化比较敏感， 若在跟踪过程中，光照变化较明显的话，肤色模型需要在跟踪过程中实时更新。 2 ) 基于局部器官特征的方法 l o 武汉理工大学硕十学位论文 这类方法的主要思想是在图像及图像序列中先定位人脸局部器官，然后通 过器官位置估计人脸位置及大小。文献【2 l j 中提出了一种基于器官跟踪的人脸实 时跟踪算法，该方法利用形态学运算对嘴进行跟踪，进而通过对人脸对称性的 分析，实现了对图像序列中人脸的跟踪。由于算法只涉及简单的形态学运算和 局部的旋转运算，速度能达到实时要求，同时人脸对称性的分析保证了跟踪结 果的精确性。 1 3 2 2 基于运动目标跟踪的人脸跟踪方法 该类方法首先把人脸看成普通运动目标，从研究一般运动目标跟踪入手， 在运动目标中利用人脸检测的方法找到人脸部分，解决人脸跟踪问题。根据所 利用的目标跟踪方法，可以分为以下两类： 1 ) 基于模板的方法 该方法首先获取目标的先验知识，构造目标模板，对输入的每一帧图像通 过滑动窗口进行模板匹配、跟踪，并通过运动预测减小搜索区域，提高跟踪速 度。 基于模板匹配的方法是一种常用的目标跟踪方法，在人脸跟踪中，所构造 的模板即为人脸模板。由于人脸模板也可直接用来进行人脸检测，因此该方法 也可归入基于人脸检测的一类方法中。梁路宏等1 3 】采用平均人脸作为目标模板， 在限定范围内采用模板匹配及人工神经网络分类的方法定位人脸，从而实现快 速而可靠的人脸跟踪。 ， 2 ) 基于运动信息的方法 在假设背景基本不变的情况下，背景减除( b a c k g r o u n ds u b t r a c t i o n ) 与时间差 分( t e m p o r a ld i f f e r e n c e ) 方法是最简单常用的提取运动信息的方法。前者是对当 前图像与固定背景图像之间的差分，后者则是当前连续的两帧或三帧图像之间 的差分。艾海舟等【2 2 】提出了两种基于差分图像的固定背景人脸检测算法扫 描法和投影法。这两个算法在人脸跟踪时都具有很高的准确率。该方法通过对 实验环境的限制简化了问题的复杂性，从而更有效地解决问题，而这种限定条 件只要是合理的、可行的、不苛刻的，通常在工程上是可以做的到。 另一种典型的运动检测与估计方法是光流( o p t i c a lf l o w ) 技术，它是将人脸图 像分成一些小平面，通过计算这些小平面上的光流来跟踪人脸的运动。高峰1 2 3 j 等提出了基于光流场的人脸跟踪算法，首先计算出运动物体的光流场，接着求 出运动物体的二值图像，最后再去除噪声，即可得到运动物体( 人脸) 的基本轮廓。 武汉理工大学硕士学位论文 这类人脸跟踪方法在跟踪过程中对于人脸的特征利用不多，因此其优劣程 度绝大多数依赖于目标跟踪算法的好坏。由于从目标跟踪入手，该类方法一般 具有很好的实时性，但鲁棒性较基于人脸检测的跟踪方法会差一点。 1 4 主要工作和成果 本文的研究主要包括视频图像序列的人脸检测和人脸跟踪两个方面，并综 合人脸检测与跟踪设计了视频图像序列中的人脸自动跟踪算法。该算法采用基 于肤色和s v m ( 支持向量机) 的人脸检测方法定位图像中的人脸位置，并检测当 前帧中的人脸数目以判断是否有新的人脸目标出现，若出现新的人脸，更新人 脸序列，并在后序帧中采用基于均值平移的算法对人脸序列进行跟踪，实现人 脸的自动检测跟踪，试验表明该算法具有很好的准确性和鲁棒性。 1 5 各章简介 全文共分为五章，各章安排如下： 第l 章绪论部分主要介绍选题背景和研究意义，综述了人脸检测和人脸跟 踪技术的研究方法及本文的主要工作。 第2 章详细介绍了本文所采用的基于肤色和支持向量机的人脸检测算法。 第3 章详细介绍了基于均值平移的目标跟踪算法，并着重分析了其优点及 其不足之处。 第4 章将第2 章和第3 章的人脸检测和人脸跟踪算法应用到实际的人脸跟 踪系统中，实现了一个图像序列中的人脸自动跟踪系统。并结合实验结果分析 了本文算法的优缺点。 第5 章对本文的工作进行了总结。介绍了文章中存在的不足，并对下一步 的工作进行了展望。 1 2 武汉理工大学硕士学位论文 第2 章基于肤色和s v m 的人脸检测算法 为了提高人脸检测效率，本文并不是简单的在采集到的每一帧图像中应用 静态图像的人脸检测算法，而是综合利用多种信息，以达到较高的检测速度。 首先利用肤色信息对图像进行区域分割，对人脸所在位置进行粗定位，然后再 进一步利用s v m 分类算法确定人脸的位置。 2 1 肤色分割 由于肤色特征具有不依赖于面部细节，对于旋转、表情变化不敏感等特点， 具有相对的稳定性畔屯5 1 ，并且和大多数背景物体的颜色都能够相互区别，所以 在人脸检测的过程中常常成为辅助的人脸定