（模式识别与智能系统专业论文）人脸跟踪与识别的研究.pdf

人脸跟踪与识别的研究 刘青山 攒譬老薅：马颂德磷究炭 中莺餐学鲩叁韵能磺究瑟，模式谖羽莺家重点实验室 摘要 人脸分析是近年来计辣机视觉与模式识别领域里的一个研究热点问 题之一。因为它在身份认诫、视觉监控、人机交互、娱乐动画、以及多媒 体等领域有着广泛豹应甩前景。人脸分析豹研究中包含的课题缀多，比如： 捡测、跟黥、谈裂、表德分褥、建摸、动两簿。零文是阻爨踪秘识髑作受 磁究豹瑟豢，主要工作霹滏秘纳蘩下： 1 针对2 维的人脸( 熬) 鼷踪的特点，撼出了一种结合矗方圈匹配和 形状约策的鲁1 棒跟踪方法。酋先遇过带空间储息的自适瘟赢方图旺配，来 估计一个大体的位置。在瓶方图匹配中，采用了均值漂移的优化恩想自动 援索躜敞路径。然后结台椭圆形状麴柬，采照椭圆边界上点的| 妇一化梯度 模型来凇确定健位置及其尺魔鹃大夺。实验缝采证疆了此方法鹣实时控和 簧嚣赣。 2 囊歇线性主元分析羧成功应用予入腺识澍之后，子空问分耩方法就 成为了人脸识别的主流方法之一。本文详细阐顾了已有的各种子空间分析 方法，并给出了优缺点的评价。 3 钟对概率推理模型中存在较强假设的不足，提出基于核密度估计分 类器的入脸识剃方法。鄹聚耀挟密度嵇诗麴方式米撼述类内的条 牛糨率密 度，蠲e m 算法寒学习孩溺数赘半径。文枣分溺戮绫蛙主元分攒黥孩主元 分析 窜必特征籀述方式，对窀静往熊遴孬了骏证。 4 由于线性子空间方法不足以描述实际人脸图像中的表情、光照、姿 态等复杂的非线性变化。本文提出了基于拨f i s h e r 判决分析的人脸识别方 法。因为核f i s h e r 判决分析既具有核技巧的非线性描述能力，有继承了 f i s h e r 线性判决分析的优点。实验结果表明它能比线性子空间分析和核主 元分辑取褥嚣努戆识别渡缝。 5 。矮慝在裁一工佟静蒺稚上，本文又撬蹬了震派生静c o s i n e 竣函数 来代替原始的多项式核函数，引入了特征向擞选择机制来减小计算的复杂 度，并结合具有一定泛化能力的近邻特征线分炎器，来进一步增强核f i s h e r 判决分析中人脸识别中性能。实验证明了它们的有效性。 关键词：入羧跟踩，久羧谈剃，均毽漂移，予窆麓努掇，孩密度德诗，核 f i s h e r 羯决势轿 & u d y o nf a c e t r a c k i n ga n dr e c o g n i t i o n q i n g s h a nl i u s u p e r v i s o r ：p r o f e s s o rs o n g d e m a n a t i o n a ll a bo fp a 鬏e r nr e c o g n i t i o n ，c h i n e s ea c a d e m yo fs c i e n c e 轰蠢靛翼蠢e 零 f a c ea n a l y s i si so n eo fh o tt o p i c si nt h ef i e do fc o m p u t e rv i s i o na n dp a t t e r n r e c o g n i t i o nb e c a u s eo f t h ep o t e n t i a la p p l i c a t i o n si nm a n yf i e l d s ，s u c ha si d e n t i t y a u t h e n t i c a t i o n 。s u r v e i l l a n c e , h u m a n - c o m p u t e ri n t e r f a c e ，m u l t i - m e d i aa n d 辩o n ，廷 i n c l u d e sf a c ed e t e c t i o n ，t r a c k i n g ，嘏c n g n i t i o n ，f a c i a le x p r e s s i o na n a l y s i s ，m o d e l i n g a n da n i m a t i o n i nt h i st h e s i s ，w ef o e mo nf a c et r a c k i n ga n dr e e o g n i t i o n 。骶1 e c o n t r i b u t i o n so f t h et h e s i sa t x ： 、 l + ar o b u s t2 一蚤h e a dt r a c k i n gi sp r o p o s e dw h i c h 稔b a s e d 徽h i s t o g r a m m a t c h i n g a n ds h a p ec o n s t r a i n 。f i r s t 躲掇i a # v ew e i g h t e dh i s t o g r a mm a t c h i n gi su s e dt o e s t i m a t e 鑫鼗i n i t i a lp o s i t i o n , i nw h i c h 徽o t n i l l l a lm e t h o dc a l l e dm e a ns h 魏i sa d o p t e d t os e a r c h m a t c h i n gp a t ha u t o m a t i c a l l y a a i e rh i s 鳓g r a mm a t c h i n g ，an o r m a l i z e d g r a d i e n tm o d e lo fe l l i p t i c a lb o u n d a r yi su s e dt oa c c m - a t e l yt r a d t h eh e a d 8p o s i t i o n a n ds c a l es i z ei n 慕l o e a lr a n g e e x p e r i m e n md e m o n s t r a t et h a ti ti sar e a m i m em a d r o b u 蛙t r a c k e r , 2 s i n c el i n e a rp r i n c i p a lc o m p o n e n t a n a l y s i s ( p c a ) w a ss u e e e s s f i a l t ya p p l i e df o r f a c er e c o g n i t i o n , s u b s p a c ea n a l y s i sm e t h o d sh a v eb e e no 辩k i n do f p o p u l a rm e t h o d s i n t h e t h e s i s , a b r i e f r e v i e w 搽s u b s p a c e a m l y s i s m e 穗o d s i n f a c e 瓣o g n i t i o n i s g i v e n 3 i no r d e rt og e tr i do ft h ee o m t r a i no f p r o b a b i l i t yr e a s o n a b l em o d e l 俾疑m ) ， k e r n e l d e n s i t y e s t i m a t i o ni s p r e s e n t e dt o e s t i m a t et h ew i t h i n l a s sc o n d i t i o n a l p r o b a b i l i 墩a n de ma l g o r i t h m i s a d o p t e d 狮e s t i m a t et h e r a d i u so ft h ek e r n e l 。 e x p e r i m e n t a lr e s u l t ss h o w t h a ti tc a ni m p r o v et h ep e r f o r m a n c eo fl i n e a rp r i n c i p a l c o m p o n e n t a n a l y s i s ( p c a ) a n d k e r n e l b a s e d p r i n c i p a l c o m p o n e n t a n a l y s i s ( k p c a ) i nf a c e r e c o g n i t i o n ， t 4 ，b e c a u s ei ti si n a d e q u a t ef o rl i n e a rs u b s p a c ea n a l y s i sm e t h o d st od e s c r i b et h e c o m p l e x r e l a t i o n so f r e n tf a c e 矗巍a 辩s s u c h 晷sp o s e , i t l u m i m m t , e x p r e s s i o nv a r k a t i o n 3 k e r n e lb a s e df i s h e rd i s c r i m i n a n ta n a l y s i s ( 科转a ) i sp r o p o s e df o rf a c er e c o g n i t i o n , w h i c hc o m b i n e st h en o n l i n e a rk e m e l 廿i c ka n df i s h e rl i n e a rd i s c r i m i n a n t a n a l y s i s ( f l 玲a e x p e r i m e n t a l r e s u l t ss h o wt h a ti tc a r tg i v eh i # e ra c c l t r a t e r e c o g n i t i o nr a t et h a nl i n e a rs n b s p a c ea n a l y s i sm e t h o d s a n d x 挚e a ， 5 。b a s e do nt h ep r e v i o u sw o r k 。i no r d e rt of u r t h e re n h a n e et h ep e r f o r m a n c eo f k f d a 瓤f a c er 嚣 o g n i a o n t h ec o s i n ek e r n e lf u n c t i o ni sp r o p o s e dt or e p m c e 酶 o r i g i n a tp o l y n o m i a lk e r n e lf u n c t i o n 。a n df e a t u r ev e c ：t o r s e l e c t i o ni si n t m d u c e d 韬 r e d u c et l l ec o m p u t a t i o n a lc o m p l e x i t y , a n dt h en e a r e s tf e a t u r el i n e s ( n f l ) c l a s s i f i e r i sc o m b i n e d 。e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dh a sa l le n c o u r a g i n g p e r f o r m a n c e 。 k e 拶- o r d s ：f a c et r a c k i n g , f a c er e c o g m t i o n , m e a n s h i f t , & 鼓攀曝精愈避羚逸，k e m e ! d e n s i t y e s t i m a t i o n ，k e r n e lf i s h e rd i s c r i m i n a n t a n a l y s i s i i 独创性声明 本人声鞠掰成交静论文是我个人谯静邸稽簿下避行的蔷舞究工俸及戳褥鹃磷 究戏聚。尽我耩翔，滁了文中褥潮船蔽括注郛致谢豹穗方终，论文孛不龟含羹 他人已经发表戚撰写过的研究成巢。与我一同工作的阊怎对本研究所傲的任何 爨献均 签名 关于论文使用授权的说明 本太宠全了簿中嚣辩学院撰韵纯磷突辑奏关糯餐、搜震学位论文骢撼定， 潮：中国辩学跷爨确偬羲嚣究黪骞蔽绦黎遴交谂文躲复印俘，定询：n 文棱n n n 倍阕：可黻公布论文的全部或部势内餐，可以采滔影印、缩帮箴蒺拖笺露手袋 缀存论文。 ( 傈密鲍论文在解密盾应遵守此攮定) 签名：j 虹搏，誉签名： 弱粼：趟。：璺量 缝论 。1 磷究彗景及塞义 第一章绪论 人脸分析是近年来计辣机视觉与模式识别研究领域中的一犬热点问 题之一。主要因为： 第一，它具有缀强的代表性。诗算枫视擞硪究弱最终嚣的憝让计算枫 髭象入群其有鬟觉瑾释凌戆。筵擎瓣落，纛楚计算撬禳据臻感器获取静 图像僚恩就能感知和理解周围环境及其变化。我们知道入常常怒环境中的 主体，而人脸是人的灵魂的窗口。通过计算机来进行自动人脸分析能在某 种程度上理解环境中人的活幼情况。 第= ，入验分析有蓉广黼的潜在应用背繁。它作为生物特缀识别的方 法之一，羟售怠安全、谤滔控翻、囊然夭凝交爱、娱乐囊磊、巍凳整控穗 多媒体攮术等方面可以肖众多的应用。用人脸谈掰作为生锈特缎识别，其 有赢接、友好、非侵犯性镣优点。可以用于诞件( 如护照、驾照) 中的身 份认证、进出口的访问控制、网络的安全登澈笛。通过对人脸的激情分析， 可以感知人的情感变化，谯掰一代入枫交互中褥到应用。在多媒体方面， 可班蘑予嚣像疼懿检索；焱萋手薅象戆援频嚣缭獗准m p e g 4 彝m p e g 7 中，辩人脸分析也作了详缓的讨论，专门定义了入脸的描述参数( 郎描述 标准) 来指导m p e g 视频处理中有关人脸的分析 1 2 1 , 1 2 2 】。正是这些应用的 迫切需求，吸引了众多的研究者，促进了人脸分析研究的快速发展。 基予视觉的入脸分析髋是以入验( 有时镪摇头) 为对象，用计算机视 觉与模式移 溺瓣囊谂羹基獭，谊诗算瓤戆够爨麓懿瓣囊窭a 豹存程、鸯傍、 运动情况、债感等。入脸分析大体上可分为：入脸检测、入脸缀踩、人脸 识别、袋情分析、入脸建模和人脸动画六个大的子课题。人脸检测通常是 用来判断是否有人脸出现及其所在的位置，并为下面的分析提供初始化信 息。人腌跟踪一般是处于人脸检测之后的中间分析，为进一步的分析提供 人验熬逡裁参数。铮对不溺懿痘曩，天鲶鼹踪豹雩# 趱是不曩款，戮魏器要 籀取的入驻运动信怠也楚不瓣鹣。魄魏：对天簸识鬟系统，可以凝掂久脸 第l “ a 粒舔鼯与识弱麓掰究 躐踪来有效地恢艇人脸的姿态和光照交他，扶瓶搜谈粼性能褥烈提蠢；在 表情分析系统中，跟踪不同情感下人脸谣部的嶷形运动，为表情识别提供 特征参数。表情分析的作用是根据人脸图像中的蘑部变化特征，来识别积 分析人的情感状态，眈如高兴、生气等。入脸谈剐的离的是从入脸图像抽 取人的个性化特征，并以此来识别人的身份。人脸建模的任务是根据人脸 韵图像来建立一个通用豹或带有个性他的人验模型。入脸动画是掖摇人脸 图像或模型的变化来产生或驱动合理的人脸运动和表情变化。在一个实用 髂入脸分辑系统中，通露需要凡个方面的有税络合，如果系统的要求比较 高戚复杂，那么包含的内容就要多些。比如图1 1 所茼鼍的一个简单的自动 人滁识象系统，氆含了入箍捡溺、夭簸鞭踩弱入验识潮三个方露。曾先通 过人脸检测来定能摄像机拍到的人脸图像，然聪可通过跟踪来得到人脸的 最佳姿态，最嚣方透露赛份谖巍。当然，舞莱辫结合表情分耩，对撬离久 脸识别系统的性能也是很有意义的。 闰1 1 一个鲁动入验识剐系统 近年来人脸分析的研究在大量研究人员的努力下，已取得了很大进 鼹，特别怒最近静卡年里，产，圭谗多毅鬏熬方法，详缝鲍馕毽可参见最近 的一些综述性文献 i - 1 2 , 7 9 - 8 1 】。但鼹还有诸多的因索制约潜它的发展，比如： 实际环境中的一些不可控制的因素，对系统鲍蛰捧性掇爨了苛刻斡要求：2 维的图像和实际的3 维世界本身间的对应问题目前还没有彻底解决：计算 枫的智能水平还遥远没有达到人们想要的水平；另外，心理学、聿孛经科学 等相关学科的发袋对计算机入舱分析的研究起刘了积檄的作用，但还远远 不够。这魑困难的存在，意味着对人脸分析的礤究来说，还有许多极其挑 战健的工作等着去做。 国际上商缀多蛇大学秘研燮极梅郝专门设立了人脸分板鼹究缎。比 蒋2 囊 绪论 如：美国的卡梅基梅隆大学( c m u ) 的机器人研究所、美国麻省理工大学 ( m i t ) 的媒体实验室和人工智能实验室，法国的i n r i a 研究院、日本的 a t r 研究所等等。我国的人脸分析研究现也进入了蓬勃发展的阶段，清华 大学、北京工业大学、中科院计算所、中科院自动化所、浙江大学等高校 和研究机构，现都在开展的相关研究。国内外一些企业，也利用人脸分析 的一些研究成果，推出了用于身份识别、计算机安全访问、游戏娱乐等方 面的软件产品，虽然在应用中有一些局限性，但在特定条件下，也可以成 功应用。 关于人脸分析的学术交流也非常活跃。在一些重要的国际会议上如： 国际计算机视觉会议( i c c v ) 、计算机视觉与模式识别会议( c v p r ) 、计 算机图形学大会( s i g g r a p h ) 等都设有人脸分析的专题。还有专门的国际 会议，如：国际人脸与姿态识别会议( f g r ) 等。在国际权威杂志上诸如： 国际计算机视觉杂志( i j c v ) 、i e e e 模式分析与机器智能( p a m i ) 、模式 识别( p r ) 等，每年都有许多关于人脸分析研究的最新成果的文章。 人脸分析研究是一个很大的研究课题，本文的工作属于人脸跟踪与识 别方面。 1 2 人脸跟踪与识别的研究现状概述 由于本文的工作主要是人脸跟踪与识别的研究，所以在此只对人脸跟 踪与识别的研究现状作简单的回顾。 1 2 1 人脸跟踪的研究现状 人脸跟踪针对不同的应用，所起的作用是不同的，有时可能只需要跟 踪简单的位置信息，有时则需要提供复杂的面部肌肉的运动信息等等，因 而很难给它一个明确和通用的定义。同时，提出的人脸跟踪的方法也是多 种多样1 3 , 1 2 】。下面我们按照基于2 维平丽人脸跟踪和基于3 维的人脸跟踪 来划分，对人脸跟踪的方法作一简单的回顾。 基于2 维平面人脸跟踪 在彩色图像序列的条件下，对人脸来说皮肤色应该是个很有用的特 第3 负 九靛蹴踩5 i 谖裁匏研究 缓+ 因藤被很多系统所采用b 3 9 1 。存浆是用皮肤色檄率图憋形式来攒述 17 d 9 ，有的采用皮肤颜色直方图来作为特征j 。基于皮肤色特征的跟踪通 常对有类似皮肤热的背景是缀敏感的。文献f 1 5 】通过颜色b l o b 来增强颜色 区域跟踪的性能。b l o b 就是用多高斯模型的颜俄聚类形成的。b i r c h i f i e l d t m 】 缝合了形状约束来增加系统的鲁捧性。把人头赣成是一椭圆，采用最大化 椭圆边界上的妇一亿梯魔来减小皮肤色珏配的误差。缎是在灰度图像序列 中，基于皮肤色的人脸跟踪系统就不能报好的工作了。 基予丽部特征点的跟踪也憝一种常用的方法 2 睨2 1 。比如渐部的一些具 眷代表饿的特征点：眼角、鼻尖、鼻孔蒋。这辨方法的关键就是如何有效 地检测和定位这艟点，铝们很容易受光照、头发等因索的影响。文献 2 1 1 融合了红外传感器的数搬来增强蟹棒性和实时性。f e r i s 等 2 2 l 是用g a b o r 小波弼来稳测鞍定位这焦面部特征点。 通过莺景提减“耵或计算光流o 。2 “”1 罄直接获取运动特征也是跟踪中掌 潮的方法之一。这种方法比较适用于背景固定而且背景也比较简单的情况。 在实际的人脸跟踪系统中，很少穰只靠这羊申运动特征来跟踪的，通常需要其 它特征来辅助。比如在系统 2 8 】中，就跫结合了颜色特征来定位入验区域 的。 形状特征也是基于2 维入脸跟踪中常用的特征之一【1 6 , 2 9 - 3 9 。形状特征 不同于上述的特征，它怒一种带有语义信息的较高层特征。鬻用的形状模 型有三种：1 ) 自定义的形状，如椭圆6 1 ，在躐踪的过程中不管人脍的真 实形状是什么样子，始终用一椭圆来代符；2 ) 带变形的轮廓，最有代表性 的就是所谓的s n a k e i 珀】方法( 邵蹙形曲线方法) ，雨蓝线的曲率等定义内能 量，用图像的边缘特征等定义外能量，最终的轮廓定位是使内能量和外能 量达到平衡；3 ) 莽j 蔫统计学习，使轮掰残形状麓交纯约束在定的燕豳之 类，我们统称为主动形状模型( a c t i v es h a p em o d e l a s m ) 2 9 , 3 2 , 3 3 , 3 7 , 3 8 ， 簸葜鹜酌簸是蔫主元分橱使形状交纯约柬在特定的特征空闷警。c h e n 等p 硼 结合隐马尔可夫模型( h m m ) 来跟踪轮廓。z e n g 等1 3 4 j 提出联合区域表面 鞍子来定经轮薅。 形状特征只考虑边界的轮廓信息，而基于寝面( a p p e a r a n c e ) 特征的 鞭踪。”。t “1 注羹静是熬个对象嚣域内麓信息，蠢些文献中氇称之为绞理特 第4 艇 绪论 征。如果在跟踪的过程中忽略表面的变化，那么可以把它看成是一个静态 的模板，用模板匹配就可以定位，但这种方式在人脸跟踪中很少采用，因 为在跟踪的过程中人脸区域的纹理特征肯定会发生变化的。文献 3 9 ，5 0 ，5 1 假设区域变化是符合仿射变换。主动表面模型( a c t i v ea p p e a r a n c em o d e l a a m ) “o 。川，也是采用主元分析来学习表面特征的变化程度，在跟踪的过 程中只容许表面区域的在特定的特征空间中变化。 单个的特征往往都不够鲁棒，所以现在很多系统都采用多特征的融合 来增加系统的鲁棒性。比如文献( 1 6 】是融合颜色和形状信息。z e n g 等f 3 4 l 是结合形状和区域表面特征。文献【4 6 ，1 2 7 】结合颜色、形状和运动特征的多 模态跟踪。h a g e r 等【4 提出结合几何信息的方法来消去对光照变化的影 响。t r i e s c h 等【48 】采用自组织的方式来融合多个特征，就是用加权的方式来 决定每个特征对跟踪结果的贡献，权值是在跟踪的过程中根据当前帧和前 几帧的结果自适应地调整权值。 2 维的人脸跟踪相对来说比较简单，跟踪的运动参数比较少，如果再 结合运动预测，比如常用的卡尔曼滤波7 6 1 和c o n d e n s a t i o n 7 7 ，78 1 ，根容易满 足实时性的要求，但是2 维的跟踪通常只能得到运动的2 维平移向量，不 可能得到旋转等姿态信息。 基于3 维的人脸跟踪 在3 维的人脸跟踪中大多数系统都是基于一个3 维的人脸模型，比如 3 维点分布模型“、圆柱模型”。”3 、3 维多边形模型”、椭球模型”73 和3 维网格模型”“。关于3 维人脸建模本身就是一个大的课题，在此将不进 一步阐述，详细可参见文献 9 。 从跟踪中使用的特征来说，最简单的有基于眼角、鼻孔等特征点来跟 踪并估计3 维的人脸姿态”。1 。s t r o m 等”选用一些具有较高h e s s i a n 值 的点作为特征点，用扩展的卡尔曼滤波方法来跟踪人脸。j 一”除了利用特 征点之外，还利用了皮肤色信息来判断人脸的姿态。这类系统对头发的遮 挡、闭眼、光照的变化等非常敏感。文献 5 9 在跟踪的过程中动态选择一 些好的稠密特征点，但它的缺点只适用于刚体的运动。y a n g 等”和l i u 等 n ”，利用极线约束，把点到极线的距离作为特征，来跟踪和估计人脸的姿态。 旃5 吼 验瓣淙j 援襄的稚究 基于表蘧纹理的3 维人脸跟踪可分为基予刚体和旗子非刚傣鹾大类。 基于刚休的情况是指纹理映射到一个3 维的刚体表面模型上，通过校正纹 理映射的残差来估计运动和姿态“o ”。文献c 5 9 还续台了光流场采估计 稀球模型的剐钵运动参数。在e 6 6 中鼹根据输入数据和模扳的相关槛来优 化纹理映射的。旗于非刚体的情况就是指在纹理映射辩存在纹理的变形。 郢在恢复全局运渤的同孵，还允许变形的存在。这也怒再前入脸跟踪中最 雉的问题之一。文献 6 7 6 9 设法同时估计头的姿态和装情的变化。遮实际 主是一个复杂酌非线性谰菇，掰以在实现时，它们都怒基于瓣闻运确来考 虑的。也就是把头的运动和表情的变化在瞬阃祷成是j 眨似线性或二次的形 式。另一稀方法瘫分癀嵇骨头麴运动鞠蘑都表情豁变化妊47 “。首先，关的 邋动可以用人脸中明确定义的刚性的特征点来估计，然后结合头的运动补 馁，售诗表演煞变稼露。毽楚这耱方法霹能不太稳定藕准确”，困麓哭_ 鬻 腿角、鼻孔这些刚性特征点来估计头的运动对噪声很敏感，另外在表情的 交往薅，这些点窦藩主莰是嚣嚣| j 经熬。一旦头瓣运凌髂诗存在误差，会壹 接传递到表情变化的估计中。l i 等”提出结合m 估计予来估计连续两帧间 熬头教运动，鼹醚毽诗予除去一些违反澍瞧运劝懿褥缝点。美予表馕交纯 的描述，w 以用一些关键表情的线性组禽”7 1 ”绒肌肉向量”3 ”1 米简化描述。 g e k t u r k 等”运建立傣摄像规采跟踪入验势学习褥裂表蟪交位的特惩空 间，以此来约束表情跟踪时表情的变化描述。 稳辩予2 缭瓣太验鼹踪来砉夔，3 缝久脸羰踩电子模型戆蠢壶度鞍丈， 因此计算的复杂度较高，从而导致跟踪的速度上总的来说要比2 维的慢。 毽是3 缀人脸跟黥逶露哥鞋褥到a 脸款姿态、表壤等信怠，这些倍感在2 维跟踪中是无法得到的。由于人脸的运动变化非常复杂，在目前的研究方 法中通常以壤发炎鼗馀，是对其徽一定戆燕钝处理。 土瑟从基予2 维辩蘩予3 缎跟踪麓角度，对入脸舔踩的现状作了麓擎 的回顾。阻然已缀取得了很大的发展，但是还有许多问题有待进一步解决， 魄如遮亨鲞处瑾、淹照影蕺，人黢的j 剐毪建模等等。菊强，耱棒蛙、速瘦 和准确度是被认可的用米评价跟踪性能的三个熏要指标，目f j 还没有一个 遴箱熬潮试数据集，戆够寝好豹熏寒测试窍译份蹑踩鹣算法，特剽怒疆确 荼6 斑 结论 度的评价。 1 2 2 人脸识别 简单的说，人脸识别就是指提取某种能描述每个人个性的特征，用一 种距离度量的方法或分类方法，识别或认证被测试人脸图像和数据库存储 的人脸图像之间的关系。它在信息安全、出入口访问控制、智能卡、户口 档案管理等方面有着很好的应用前景，所以引起了广泛的关注，同时也涌 现出大量的方法，详细可参看最近的综述性文献【5 , 6 , 7 9 , 8 0 。下面我们按照特 征提取和选择方法的不同，以及出现鹪对饲顺序，把它们分为三大类：1 ) 早期的几何特征方法和模板匹配方法；2 ) 神经网络方法：3 ) 统计方法。 其中的分类只是相对的，有些方法可能也可以交叉存在。 _ 早期的几何特征方法和模板匹配方法 最早的人脸识别方法就是基于几何特征的方法【8 ，它的基本思想是提 取人脸面部具有代表性的部位( 例如眉毛、眼睛、彝子、嘴巴等) 的相对 位置和相对大小作为特征，再辅以人脸轮廓的形状信息，来对人脸进行分 类和识别。从物理意义上很容易理解，它的可靠性完全依赖于几何特征的 提取。在实际应用中，几何特征提取是个很难的问题，很容易受诸如：光 照、遮挡等噪声的影响。另外，这些几何特征本身也容易受姿态和表情变 化的影响，所以它的准确识别率不高。目前几乎已没有人单纯利用几何特 征来研究人脸识别，有时可能会用它来作为辅助性的特征。 模板匹配方法是模式识别中最简单的一种模式分类方法。在人脸识别 中，就是把数据库的人脸图像看成是已知的模板，然后根据计算待识别图 像和已知模板问的相关性大小来分类。b r u n e l l i 等 8 2 】详细比较了几何特征 方法和模板匹配方法，实验结果表明模板匹配方法优于基于几何特征方法。 但是模板匹配方法的计算量较大，另外除了光照、表情以外，图像的平移、 旋转和放缩也会严重影响模板匹配中互相关的计算。 一神经网络方法 基于神经网络的入脸识别方法也早期的方法之一【8 3 ，“。目前较流行的 网络方法就是基于动态链接结构( d y n a m i cl i n k a r c h i t e c t u r e ) 的弹性图匹 第7 蜓 人脸州踪与识别的研究 粼( e l a s t i cg r a p hm a t c h i n g ) 方法 科碍6 j ( 虽然有剐于体统的神经网络方法 i s 3 1 ) ，并且取得了一定的成功。它是通过g a b o r 小波来提取并描述人脸中 静一些局部特征点( 节淼) ，并耗它稍掰成檬诚鼙( l a b e l e dg r a p h ) 豹形 式连接起来，用标记图之间的相似度来衡量人腧图像之间的相似度。弹性 圈疆配方法不毽体蠛了人验中静氕留将征信意，丽置还可戳邋逶标记疆鹣 弹性形变来描述人脸的一些变化，因而能取得较好的识别性能【8 。 弹瞧柬圈毯配( e l a s t i cb u n c hg r a p hm a t c h i n g ) 方法8 朝是上述弹往 图匹配方法的引申和扩展。也是在f e r e t 测试【3 9 】中得到很巅评价的方法 之一。它采瘸复g a b o r 小波系数使节煮定整更粕准确。舅舞，采嗣邋应对 象的网格( o b j e c ta d a p t e dg r i d s ) 标记闵取代规则网格标记图【8 4 8 6 1 ，使节 煮霆麓漆镶魏反软天验嚣帮豹尼诺特餐绩惠。麓寨强( b u n c hg r a p h ) 取钱 单一标记阕f 8 4 6 1 来进行甄配，饿也能很好的泛化人脸的变化。 弹经强匿配方法豹谛算复杂度较离；勇癸簧这蓟珂靠豹识别承乎，最 初的训练过程通常还需要手动生成足够雾的标记图或柬图。 统计方法 统计方法是强嚣最受注意憋类方法。它的思想就是想邋过学习柬褥 到人脸的统计特征，并以此来判别分类。其学习和识别过程的模型如下图 l 。2 艇示。 训练( 掣习 羹_ | l 武( 分类 鲨叫篙陋蝼刊嚣l l 选捧ll 砖l ：【蕊删际【盆娄；整数， 塑叫篙p 刮慧芦 黼1 2 、统计识剐方法模型 子空间分析( s u b s p a c ea n a l y s i s ) 方法是统计方法中的种。它的思 第8 “ 绪论 想就是把高维空间中松散分布的人脸图像，通过线性或非线性变换压缩到 一个低维的子空删中去，在低维的子空间中使人脸图像的分布更紧凑，更 有利于分类。另外，也使高维的计算减小为低维计算。主元分析是最早被 引入到人脸识别的子空间方法 9 0 , 9 1 】。在它的成功应用之后，子空间方法便 成为了人脸识别的主流方法之一。其中基于主元分析的特征脸 9 l 】和基于 f i s h e r 线性判决分析的f i s h e r 脸方法9 2 州1 在f e r e t 测试8 9 1 中都取得了很 高的评价。本文也是以子空问方法为主线，所以在此不做进一步介绍，详 细情况见本文后面的章节。 隐马尔科夫模型( h i d d e nm a r k o vm o d e l h m m ) 是非常常用的一种统 计模型，广泛应用于语音识别中。s a m a r i a 等人【9 ”把它引入到人脸识别， 主要是因为人脸的中诸如：头发、前额、眼睛、鼻子、嘴巴等部位的位置 顺序固定，因此可以表示为隐马尔科夫模型中的一系列状态。n e f i a n 等 9 6 9 7 1 人的工作也是基于这样的思想，只是模型网络结构的不同。 支持向量机9 8 1 0 0 1 和a d a b o o s t 1 0 1 , 1 0 2 都是最新的机器学习理论，它们 的最大优点是能较好的处理小样本问题。支持向量机是基于最大化两类问 的分类间隔( m a r g i n ) ，而得到最优的分类超平面。a d a b o o s t 是通过联合 多个弱分类器来达到较强的分类功能。由于它们都只适用于解决两类的模 式分类问题，因此对人脸识别这样的多类问题，必须要把多类问题细化为 两两分类问题【1 0 3 - 1 0 7 , 1 1 1 1 。 有些是从贝叶斯决策的角度来考虑的 1 1 5 - 1 2 0 】。m o g h a d d a m 等【1 1 5 1 结合 由主元分析得到的主子空间，及其正交互补的子空间的特性，提出了基于 主元分析的贝叶斯描述。后来他们把这一描述扩展到分别描述人脸的类内 和类间变化【1 1 6 , 1 1 7 】。l i u 等1 1 8 , 1 1 9 是把类内条件概率折中假设为正态分布， 称之为概率推理模型。文献1 2 0 利用核密度估计方法，对概率推理模型中 假设的条件进行了弱化。 另外，基于多尺度和方向变化的g a b o r 特征的方法“，结合形状和 表面纹理特征的方法f 1 0 8 1 。9 1 ，以及基于局部特征分析的方法【26 1 ，都属于统 计学习的方法。 第9 吼 人脸姒踪1 j 识别的研究 除了上面介绍的三大类方法之井，还有一些其它的方法，比如：基于 遗传算法的方法1 1 1 3 , 1 1 4 1 ；三维人脸识别方法【1 2 3 m 5 1 等。 尽管提出了大量的入脸识别的方法，但是对一个实际的人脸识别系统 来说，必须要考虑对诸如：光照、姿态、表情、以及年龄增长或脸部创伤 所造成的脸部细节的变化等困鬃的鲁棒性，而这些因素都是非常难处理的。 ，3 本文的工作 本文豹磅突霾点是久验懿鼹踪与谈剐。 在人脸跟踪方面，本文是以2 维的人脸( 头) 为跟踪对浆，提出了一 耱结合鲁适应壹方图甄配和形状约束静鲁棒跟踪方法。先弼赢方蚕隧配来 初步定位人头的位置。威方图怒采用带空间位鼹信息的r g b 加权颜色直 方鹜 1 3 0 1 ，来摇述头部鏊域静表嚣特薤，增擒了特征攒述的镣棒毪。在直 方图匹配中，采用均值漂移的优化思想来自动搜索匹酉已路径，从而避免了 贪葵式逐赢援索，毽不瓣要依赖任 霉懿运动蓣渊模鳌，大大撬离了踩踩豹 效率。在直方图既配之臌，在一个小的局部搜索范围内，结合形状约束模 羹，准确定毽久抉懿经鬟及其尺菠大小。影获绞素摸受采蠲了疆圜逸赛秘 归一化梯度模型【1 6 】。实验结果诚明了此方法的嶷时性与鲁棒性。 本文瓣舅一方瑟工佟楚人耱谖爨豹研究。本文虢予空闻分橱为主线， 首先详细回顾了人脸识别中已有的一些子空间方法，并分析了它们备自的 俊缺点。随蘑在魏基璃主，我粕赞对强率撵瑾模型中懿较强簸竣条传静不 足【1 1 8 , 1 1 9 1 ，提出了采用核密度估计技术来弱化概率推理模型的约束，并结 台e m 冀法寒 砉诗棱丞数鳃半经。实验势剽爰圭元分毒厅霸接主元分凝佟为 特征描述，来验证它在人脸识别中的性能，实验结果表明它具有一定的优 越蛙。另终。我鲣手 鳃瓣分誊蠡了蒺予核f i s h e r 燃决分瓣匏饶点，并撼它弓l 入人脸识别。实验结果鼹示它比f i s h e r 线性判决分析和核主元分析熨能有 效的攒逡实瑟豹入脸霪像。最嚣，在此基礁上，从核蕊数、谤箕复杂痰程 分类器的选择三个方面进行了改进，提出派生的c o s i n e 核函数束代静多项 式核函数，采用揍予几鼹重建的特征趣爨选择桃制柬减小计袋复杂度，以 及采用近邻特征线分类器来增强训练样本的泛化能力。实验证明它们可以 第1 0 撕 绪论 进一步提高基于核f i s h e r 判决分析的人脸识别方法的性能。 1 4 本文的组织结构 第二章详细介绍本文在人脸跟踪方面的工作，即一种基于直方图匹配 和形状约束的人头跟踪方法。 第三章详细回顾和分析了在人脸识别中已有的子空间分析方法，为本 文下面的工作提供基础。 第四章提出用核密度估计的方法来弱化概率推理模型存在的较强假 设的不足，用e m 算法自动的估计核函数的半径。并结合实验结果对其优 缺点进行了分析。 第五章是基于核f i s h e r 判决分析的人脸识别方法。 第六章是在第五章的基础上，从核函数、计算复杂度和分类器选择三 个方面考虑，来进一步增强核f i s h e r 判决分析在人脸识别中的性能。 第七章为结束语。 第1 t 蜓 人脸枞隙j 识别的研究 第二颦一种基干直方图匹配和形状约束的人头跟踪方法 2 1 引言 入舱跟踪根据不同的应用，其目的和方法是不同的。比如在常见的视 频会议、视觉监控等应朋中，熬于2 维的跟踪就足够了。在2 维的人脸跟 踪中，皮肤色特征经常被大多数系统所采用 t 3 “1 9 1 ，但怒皮肤色特征对有皮 肤色背景斌者明媛的光照变化往往就不够鲁棒，所以帮时需爱结合其它的 将征来增加系统的鲁棒髂 1 6 , 4 6 , 1 2 7 j 。 b i r c h f i e l d 1 6 】提出了一种非鬻侮单秘鲁棒的人头跟踪方法。他的熙想是 把人头看成是一椭菡，用最大化椭圆区域内的皮肤色赢方圈以及其边界上 点的归一化梯度来跟踪人头的逡动。实验证明可以鲁棒地处理诸如：3 6 0 废的旋转和遮挡等情况。为了减小计算最，采掰了一个类似2 阶卡尔曼滤 波的运动预测来初定位，然后谯一定范围内逐点搜索，进行模型匹配。然 而，实际中入头豹运动往往是其有不可预测性的。 b r a d s k i 1 7 j 第一次把均值漂移的优化思想【l 引入到跟踪中。均值漂移 怒一种菲参数韵优化技术，和梯度爬山法类似，只不j 建它是蘩于概率密度 空间的。他把图像先映射成皮肤色概率图，然席就可以用简单的均德漂移 慰怒，不停的遥代计算皮肤色嚣域的新的质心位置，电就是入脸区域的质 心位置l j ，但是此方法对一些类似皮肤色的干扰没有抗干扰的能力。最近 c o m a n i c i u 等l 饼4 鞋1 详鲡的讨论了筠值漂移的原理及箕在视觉处理中的一 些应用，其中包括对带有小变形的非刚体对象的实时跟踪f l 引i 。但是在他 稻鹩算法中，没有考虑辩象表瑟发生报大交纯的清况，铡翻：对于久验( 头) 跟踪中经常发生的大的旋转或视点的变化的情7 兕。 本章提出了一种结合直方潮匹配翻形状约束的人头跟踪方法。撼入头 形状也看成是一个椭圆。采用带空闻位置信息的加权r g b 颜色直方图 柬描述静a 头嚣域的信怒【珏”，不僵遣兔了对皮获色送行建摸，两巅还增 加描述的鲁棒性。另外，为了处理旋转或视点变化的澎响，在跟踪的过程 薷1 2 j f 一种基于直方图匹配与形状约束的人头跟踪方法 中利用当前帧的跟踪结果自适应修改人头的直方图模板。算法可分为两大 步：首先用直方图匹配的方法初定位，在匹配的过程中结合均值漂移的优 化思想来自动搜索最佳的匹配位置，避免了耗时的逐点搜索和运动预测的 不确定性；然后以直方图匹配的结果为中心，在很小的局部范围内运用形 状约束模型【1 6 】，搜索人头的最佳位置和尺度。实验结果证明此方法具有一 定的鲁棒性和实时性。 2 2 均值漂移思想 均值漂移是一种类似于梯度爬山的非参数优化技术。它是基于非参数 的核密度估计理论，为在概率空间中求解概率密度的极值问题提供了一种 优化的求解方法。 核密度估计的思想就是：假设已知d 维空间中有n 个观察点，扛。j ， i = 1 ，2 月，那么在点z 处的密度可用半径大小为h 的核函数k 来估计，数 学描述如下： 衲= 矛1 善nk ( 寻) ( 2 1 ) 其中，核函数世( x ) 也可称之为窗函数，h 也叫窗半径。核函数及其半径h 的选择必须满足一定的条件【”2 1 ，在均值漂移中核函数通常还要求是可导 的，常用的两种核函数是：高斯核函数和e p a n c c h n i k o v 核函数【1 2 9 。本章 选用的高斯核函数： b ( x ) = ( 2 ，r ) 。e x p ( 一副x 4 2 ) ( 2 2 ) 根据文献 1 2 8 】，定义转换函数k ：【o ，m ) 斗r ，使删x 咖= k ( x ) ，那么 高斯核函数( 2 2 ) 就可写成： 张x ) = ( 2 石) - e x p ( 一圭x ) 以及核密度估计的定义( 2 ，1 ) 就可写成： 孙，= 嘉驯刮1 2 ， 第13 蛆 ( 2 3 ) ( 2 4 ) 入验鞭踪每援裂熬研究 在核密度估计中，定义密度梯度黪镳诗为； 移( z ) s 移( x ) = 上n h a 挚i = iv f ，竺h 丑) ( 2 5 ) 结合函数k 的定义，再定义g ( x ) = 一七1 ( x ) ，就得到密度梯度估计的如 下形式： 一瓣雒刊辫 ( 2 6 ) 时于高斯核函数来说，它的导数还是高斯函数，所以：g ( i 列1 2 ) 是不等 * 搿一鬻n x - - x i 嬲， 冀中g ( x ) = 曙( 黼2 ) ，e 憝归一纯常数。w 以看磁g ( x ) 9 j i n 一个有效的核 椭一嘉喜g c 挚寺喜g c 吲1 2 ) 协s ， 魄( x ) = 五( x ) 矿2 c 眠“( x ) ( 2 + 9 ) 川班象鬻 皿 第1 4 颤 一种基十直方图匹配与形状约束的人头跟踪方法 均值漂移算法是指根据均值漂移向量的特性，从给定的初始位置开 始，用式( 2 1 0 ) 来计算步长不断迭代，就能自动地找到密度分布的极大 值。示意图如图2 1 所示： 图2 1 均值漂移算法示意图 迭代过程为：假设y 。是初始位置，那么可以根据式( 2 1 1 ) 不停的计 算出以半径为h 的核g 的中心位置序列j ，- ，= 2 ，3 。 y ，+ 1 2 。g 睁0 ( 2 1 1 ) 直到漂移向量y j + t y ，等于零结束。迭代过程的收敛性证明见文献【1