（通信与信息系统专业论文）基于视频的人脸识别研究.pdf

摘要摘要 近年来，由于视频监控、人机交互和视频检索等应用的需求，视频中的人脸识别研究得到迅速发展。视频中人脸识别可以划分为三个环节:单帧人脸检测、视频中人脸跟踪，对人脸图像序列的识别。本文分别对这三个环节展开研究，获得阶段性成果。 此外， 本文的工作还包括设计一个初步的人脸识别算法评估系统，对工业过程仪表指针的监控技术、基于最小墒的缺陷检测技术也作了一定研究工作。 由于视频信息大多以压缩形式存在，而 d c t是普遍采用的视频/ 图像压缩技术， 为此本文提出基于d c t域的人脸检测算法， 该算法首先采用高斯模型在t s l色度空间实现人脸的初步检测， 然后通过基于d c t方向能量性质和人脸先验知识的分类器去除误检的非人脸区域。我们设计了两个分类器，第一个分类器通过方向能量方差特性进行人脸区域验证。第二个分类器通过人脸方向能量的模板进行验证。最终实验结果表明，该算法在单人简单背景、单人复杂背景、多人简单背景和多人复杂背景四种情况下都具有较好的性能。 通过对 mp e g视频流的研究， 本文提出基于mp e g流的复杂背景无限制人脸跟踪系统，该系统首先利用直方图实现镜头分割，然后利用mp e g编码特性对在i帧中检测出来的人脸进行自动跟踪，实验表明该算法对遮挡和转动有一定鲁棒性。 本文提出一种改进弹性图匹配算法可用于静止人脸图像和人脸序列的识别。该算法通过g a b o r 小波变换的能量分布特性自动标注特征点，因此在训练过程中无需人工介入，实验结果表明该算法较弹性聚束图匹配算法的识别率略高。 为评估人脸识别算法性能，我们设计一个人脸识别算法评估系统，该系统包括一个综合数据库，四种经典人脸算法和两个识别分析工具。通过基于蒙特卡罗原理的实验表明该系统可定量分析两种识别算法性能。 最后， 我们提出基于d s p的仪表指针监控系统和基于最小嫡的布匹、 瓷管缺陷实时检测系统，工业现场实验表明两个系统的有效性。关键词:视频;d c t 域:人脸检测;人脸跟踪;人脸识别摘要a b s r a c t r e c e n t l y , f a c e r e c o g n i t i o n i n v i d e o i s d e v e l o p e d r a p i d l y d u e t o t h e r e q u i r e m e n to f t h e a p p l i c a t i o n o f v i d e o m o n i t o r , h u ma n - c o m p u t e r c o m m u n i c a t i o n a n d v i d e or e t r i e v a l . h u m a n f a c e r e c o g n i t i o n i n v i d e o c o n s i s t s o f t h r e e p a r t s : h u m a n f a c ed e t e c t i n g i n s i n g l e f r a m e , h u m a n f a c e t r a c i n g o f v i d e o , i d e n t i f i c a t i o n o f h u m a n f a c ei m a g e s e q u e n c e s . t h i s d i s s e r t a t i o n i s f o c u s e d o n t h e s e t h r e e p a r t s , a n d g a i n sa c h i e v e m e n t s i n p h a s e s . i n a d d i t i o n , t h i s d i s s e r t a t i o n a l s o i n c l u d e s a p r i m a r ya r i t h m e t i c e v a l u a t i n g s y s t e m o f h u m a n f a c e i d e n t i f i c a t i o n , i n s t r u m e n t f i n g e r m o n i t o rt e c h n o l o g y i n i n d u s t r i a l p r o c e s s a n d d e f a u l t d e t e c t i n g t e c h n o l o g y b a s e d o n m i n i m a le n t r o p y . f a c e d e t e c t i o n a r i t h m e t i c b a s e d o n d c t d o m a i n i s d e v e l o p e d i n t h i s d i s s e r t a t i o n ,b e c a u s e m o s t v i d e o i n f o r m a t i o n e x i s t s i n c o m p r e s s i n g f o r m a t , a n d d c t i s g e n e r a l l yu s e d i n v i d e o a n d p i c t u r e c o m p r e s s i n g . t h i s a r i t h m e t i c a c c o m p l i s h e s t h e p r i ma r yd e t e c t i o n o f h u m a n f a c e b a s e d o n g a u s s m o d e l i n t s l c o l o r s p a c e a t f i r s t , a n d t h e n ,d e l e t e s n o n - f a c e r e g i o n u s i n g c l a s s i f i e r b a s e d o n d c t g r a d i e n t e n e r g y a n d p r e v i o u sk n o w l e d g e . we d e s i g n t w o k i n d s o f c l a s s i f i e r , o n e i s u s e d i n v a l i d a t i n g h u m a n f a c er e g i o n b a s e d o n v a r i a n c e o f g r a d i e n t e n e r g y , t h e o t h e r s i s b a s e d o n g r a d i e n t e n e r g yt e m p l a t e . e x p e r i m e n t s s h o w t h a t t h i s a r i t h m e t i c h a s b e t t e r p e r f o r m a n c e s i n s i m p l ep e r s o n s i m p l e b a c k g r o u n d , s i n g l e p e r s o n c o m p l e x b a c k g r o u n d , m u l t i p e r s o n s i m p l eb a c k g r o u n d a n d m u l t i p e r s o n c o m p l e x b a c k g r o u n d . b a s e d o n t h e r e s e a r c h o f mp e g v i d e o s t r e a m , f a c e t r a c i n g s y s t e m i n c o m p l e xb a c k g r o u n d b a s e d o n mp e g s t r e a m i s p r o p o s e d . t h e s y s t e m u s e s h i s t o g r a m t o d i v i d es h o t , a n d t h e n a u t o m a t i c u s e s mp e g c o d i n g c h a r a c t e r i s t i c t o t r a c e h u m a n f a c ed e t e c t e d f r o m i f r a m e . e x p e r i m e n t s s h o w t h a t t h i s a r i t h m e t i c i s r o b u s t i n s h a d i n g a n dt u r n i n g s i t u a t i o n s . a n i m p r o v e d e l a s t i c g r a p h m a t c h i n g a r i t h m e t i c i s u s e d i n i d e n t i f i c a t i o n o f s t a t i ch u ma n f a c e f i g u r e s a n d h u m a n f a c e s e q u e n c e s i n t h i s d i s s e r t a t i o n . t h i s a r i t h m e t i cl a b e l s f e a t u r e p o i n t b a s e d o n e n e r g y d i s t r i b u t i n g o f g a b o r w a v e l e t t r a n s f o r m, s o n oh u m a n i n t e r v e n t i o n i s n e e d e d i n t r a i n i n g p r o c e s s . e x p e r i m e n t s s h o w t h a t t h i sa r i t h m e t i c h a s h i g h e r i d e n t i f y i n g r a t e s t h a n e b g m a r i t h m e t i c . i n o r d e r t o e v a l u a t e t h e p e r f o r ma n c e o f t h e a r i t h m e t i c o f h u m a n f a c ei d e n t i f i c a t i o n , w e d e s i g n a n e v a l u a t i n g s y s t e m o f h u m a n f a c e i d e n t i f y i n g a r i t h m e t i c .t h i s s y s t e m i n c l u d e s a n i n t e g r a t i v e d a t a b a s e , f o u r t r a d i t i o n a l h u m a n f a c e i d e n t i f y i n gm华南理工大学博士论文a r i t h m e t i c a n d t w o i d e n t i f i c a t i o n a n a l y s i s t o o l s . e x p e r i m e n t s b a s e d o n t h e t h e o r y o fmo n t e c a r l o s h o w t h a t t h e s y s t e m c a n a n a l y z e t h e p e r f o r ma n c e s o f t h e s e t w oi d e n t i f y i n g a r i t h m e t i c . f i n a l l y , w e p r o p o s e a i n s t r u m e n t f i n g e r m o n i t o r s y s t e m b a s e d o n d s p a n d ar e a l - t i m e d e f e c t s o f p o r c e l a i n p i p e d e t e c t i n g s y s t e m b a s e d o n m i n i m a l e n t r o p y o ff a b r i c . e x p e r i m e n t s o f i n d u s t r y f i e l d s h o w t h e v a l i d i t y o f t h e s e t w o s y s t e m s .k e y w o r d s : v i d e o ; d c t d o ma i n ; f a c e d e t e c t i o n ; f a c e t r a c k i n g ; f a c e r e c o g n i t i o nw 华南理工大学学位论文原创性声明 本人郑重声明:所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作 者 签 名 :李 盛 阳 鑫、日 期 : 200 4 年 12 月 9 日学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在_年解密后适用本授权书。 本学位论文属于 不 保 密叼 。 ( 请在以上相应方框内打 “ 了 )作者签名导师签名: mo o -i-日 期: - j y 年1 a - 月列日日 期 : 2 - 作 朋3 ) 日第一章 绪论第一章 绪论1 . 1 问题的提出 人脸因人而异，绝无相同，即使一对双胞胎，其面部也一定存在着某方面的差异。虽然人类在表情、年龄或发型等发生巨大变化的情况下，可以毫不困难地由脸而检测和识别出某一个人，但要建立一个能够完全自动进行人脸识别的系统却是非常困难的，它牵涉到模式识别、图像处理、计算机视觉、生理学、心理学以及认知科学等方面的诸多知识，并与基于其他生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系。与指纹、视网膜、虹膜、基因、掌形等其他人体生物特征识别系统相比，人脸识别系统更加直接、友好，使用者无任何心理障碍，并且通过人脸的表情 / 姿态分析，还能获得其他识别系统难以得到的一些信息。 近 1 0多年来，人脸识别技术有了很大发展，尤其对约束条件 ( 对象配合情况下的正面、中性表情、无遮挡等)下的静止图像识别，己经有比较成熟的产品问世。但在现实世界中，人脸几乎总是运动的，而且运动的人脸比静态图像提供更多的信息，因此有必要研究在视频中进行人脸识别的方法。由于视频中图像序列的计算远比静止图像的计算复杂和耗时，直到近几年来，随着计算机的高速发展和视频监控等应用的需要，基于视频的人脸识别方法才逐渐引起人们的注意并很快发展成为一个研究热点。1 . 2基于视频的人脸识别系统关键技术研究进展 视频中的人脸识别主要是针对包含人的运动图像序列进行分析处理，它通常涉及到人脸检测、人脸跟踪及人脸识别三个过程，其一般性处理框架如图 1 - 1所示。其中，人脸检测和人脸跟踪属于视觉中低级和中级处理部分，而人脸的识别和表情分析则属于中高级处理.此外，作为人脸识别系统的基础，合理、充分的人脸数据库构建以及性能评价技术对识别算法的完善和改进也有着重要的意义。下面将回顾这三个环节通常采用的方法以及国内外的发展现状。第一章 绪论第一章 绪论1 . 1 问题的提出 人脸因人而异，绝无相同，即使一对双胞胎，其面部也一定存在着某方面的差异。虽然人类在表情、年龄或发型等发生巨大变化的情况下，可以毫不困难地由脸而检测和识别出某一个人，但要建立一个能够完全自动进行人脸识别的系统却是非常困难的，它牵涉到模式识别、图像处理、计算机视觉、生理学、心理学以及认知科学等方面的诸多知识，并与基于其他生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系。与指纹、视网膜、虹膜、基因、掌形等其他人体生物特征识别系统相比，人脸识别系统更加直接、友好，使用者无任何心理障碍，并且通过人脸的表情 / 姿态分析，还能获得其他识别系统难以得到的一些信息。 近 1 0多年来，人脸识别技术有了很大发展，尤其对约束条件 ( 对象配合情况下的正面、中性表情、无遮挡等)下的静止图像识别，己经有比较成熟的产品问世。但在现实世界中，人脸几乎总是运动的，而且运动的人脸比静态图像提供更多的信息，因此有必要研究在视频中进行人脸识别的方法。由于视频中图像序列的计算远比静止图像的计算复杂和耗时，直到近几年来，随着计算机的高速发展和视频监控等应用的需要，基于视频的人脸识别方法才逐渐引起人们的注意并很快发展成为一个研究热点。1 . 2基于视频的人脸识别系统关键技术研究进展 视频中的人脸识别主要是针对包含人的运动图像序列进行分析处理，它通常涉及到人脸检测、人脸跟踪及人脸识别三个过程，其一般性处理框架如图 1 - 1所示。其中，人脸检测和人脸跟踪属于视觉中低级和中级处理部分，而人脸的识别和表情分析则属于中高级处理.此外，作为人脸识别系统的基础，合理、充分的人脸数据库构建以及性能评价技术对识别算法的完善和改进也有着重要的意义。下面将回顾这三个环节通常采用的方法以及国内外的发展现状。华南理丁大学博士论文视 p i 信息 卜 酬 人 脸检 测 队人 脸 踉 踪 卜 - i 人脸 识 别 图1 - 1视频中人脸识别框图f i g u r e l 一 1 f a c e r e c o g n i t i o n i n v i d e o1 . 2.踪识别1 人脸检测在视频中进行人脸识别，首先要在第一帧中将人脸检测出来，才能进行跟。它包括确定人脸的区域和位置。在这个环节中，我们可以采用静止图像人脸检测方法。大致可以分为四类方法: ( 1 )基于知识的方法 这类方法基于研究者对人脸的知识而确定的规则来展开的。一种很容易实现的规则是人脸的特征以及各特征之间的关系，比如一张图像中的人脸包含一双对称的眼睛，鼻子，以及嘴。这些人脸特征之间的关系可以用他们之0 1 的距离来表示。首先提取输入图像的特征，候选人脸用编码规则鉴定。通常有一个效验过程用于减少检错率。 此类方法的主要问题是很难把研究者对人脸的认识转化为很好定义的规则，太严格了就会把本来是人脸的图像给错过了，太通常又会增加很多错检率。而且这种方法很难适用于不同姿势和有较大回波背景的人脸。因此此类方法一般实用性不大，但其启发式的识别思想值得借鉴。 中国科技大学的杨光正提出了基于镶嵌图的人脸检测方法 3 0 。杨等人将五官人脸区域分别划分为 4 x4和 8 x8个马赛克块。使用一组规则进行检验，并且利用边缘特征进一步验证。 k o t r o p o u l o s 和p i t a s 2 $ 提出 一 种 类似的 基于 规则 的 人 脸定 位 方 法。 首 先 用定位人脸的范围，令 i ( x , y ) 表示图像中 ( x , y )的强度值，求出其水平投影积分和垂直投影积分，水平投影的积分突变代表头的左边和右边。垂直投影积分的突变代表眼睛、嘴巴和鼻子。这种方法用欧洲的a c t s m2 v t s数据库对 3 7 个人的视频序列获得 8 6 . 5 %的成功率。但是该方法对复杂背景下的人脸定位就进行不下去了。 ( 2 )基于特征的方法 相对于前一种方法，这一类方法是试图找到人脸图像的特征不变量来进行人脸的识别。它的检测思想是人脸要在不同光照、背景和姿态中识别出来，则必然有特征不变量不随以上条件而改变。很多这样的方法都是通过首先检测到人脸的特征，然后再利用这些特征进行检测和识别人脸。面部特征比如眉毛、眼睛和鼻子嘴巴可以通过边缘算子检测出来。这类方法的特征提取会受到光照和噪声的严华南理丁大学博士论文视 p i 信息 卜 酬 人 脸检 测 队人 脸 踉 踪 卜 - i 人脸 识 别 图1 - 1视频中人脸识别框图f i g u r e l 一 1 f a c e r e c o g n i t i o n i n v i d e o1 . 2.踪识别1 人脸检测在视频中进行人脸识别，首先要在第一帧中将人脸检测出来，才能进行跟。它包括确定人脸的区域和位置。在这个环节中，我们可以采用静止图像人脸检测方法。大致可以分为四类方法: ( 1 )基于知识的方法 这类方法基于研究者对人脸的知识而确定的规则来展开的。一种很容易实现的规则是人脸的特征以及各特征之间的关系，比如一张图像中的人脸包含一双对称的眼睛，鼻子，以及嘴。这些人脸特征之间的关系可以用他们之0 1 的距离来表示。首先提取输入图像的特征，候选人脸用编码规则鉴定。通常有一个效验过程用于减少检错率。 此类方法的主要问题是很难把研究者对人脸的认识转化为很好定义的规则，太严格了就会把本来是人脸的图像给错过了，太通常又会增加很多错检率。而且这种方法很难适用于不同姿势和有较大回波背景的人脸。因此此类方法一般实用性不大，但其启发式的识别思想值得借鉴。 中国科技大学的杨光正提出了基于镶嵌图的人脸检测方法 3 0 。杨等人将五官人脸区域分别划分为 4 x4和 8 x8个马赛克块。使用一组规则进行检验，并且利用边缘特征进一步验证。 k o t r o p o u l o s 和p i t a s 2 $ 提出 一 种 类似的 基于 规则 的 人 脸定 位 方 法。 首 先 用定位人脸的范围，令 i ( x , y ) 表示图像中 ( x , y )的强度值，求出其水平投影积分和垂直投影积分，水平投影的积分突变代表头的左边和右边。垂直投影积分的突变代表眼睛、嘴巴和鼻子。这种方法用欧洲的a c t s m2 v t s数据库对 3 7 个人的视频序列获得 8 6 . 5 %的成功率。但是该方法对复杂背景下的人脸定位就进行不下去了。 ( 2 )基于特征的方法 相对于前一种方法，这一类方法是试图找到人脸图像的特征不变量来进行人脸的识别。它的检测思想是人脸要在不同光照、背景和姿态中识别出来，则必然有特征不变量不随以上条件而改变。很多这样的方法都是通过首先检测到人脸的特征，然后再利用这些特征进行检测和识别人脸。面部特征比如眉毛、眼睛和鼻子嘴巴可以通过边缘算子检测出来。这类方法的特征提取会受到光照和噪声的严第一章 绪论重影响。有时阴影也会使这种算法无效。除了面部特征外，纹理特征和肤色特征也常被研究者使用。 s i r o h c 尹 利用面部特征实现人脸识别。 他使用基于c a n n y 检测算子的边缘图用探索法去除以及分类边缘， 得到人脸轮廓。 该方法在复杂背景下能达到8 0 %的正确识别率。 a u g u s t e ij n 和s k u f c a 3 2 发展出一种方法通过验证与 人脸相似的纹理来分割人脸图像，通过二次统计特征 ( s g l d)在 1 6 x1 6 像素子图计算纹理，考虑三种类型的特征:头发、皮肤和其他特征。并且使用一个相关级联神经网络来对人脸纹理进行分类。可惜这种方法只能得出纹理的分类信息，而不能直接用于人脸识别。 颜色是区别物体的重要特征之一。与其它检测方法相比，利用颜色知识框出的人脸区域定位可能不够精确，但如果在整个系统实现中作为人脸检测的粗定位环节，它具有直观、实现简单、快速等特点，可以为后面进一步进行精确定位创造良好的条件，以达到最优的系统性能。而且用色度表示人脸特征有一个最大的特点，就是具有姿态不变性，因为三维人脸的不同视平面具有相同或相近的色度分布。目前，在利用颜色信息来进行人脸检测的研究方面已有了一些成果 1 2 . 3 3 ,3 4 。从发表的文献看，主要是根据肤色在颜色空间中的分布，用统计的方法进行分割，以判断某个像素点是否属于人脸区域。 j o n e 3 5 等研究了 r g b空间中 “ 肤色” 与非肤色得象素分布， 根据标定出肤色区域得近2 万幅图像建立三维直方图，在此基础上比较了直方图模型和高斯模型，发现前者得性能略好于后者。肤色模型也很少直接用于人脸识别，作为人脸识别系统的一个环节，常用于人脸定位和人脸检测。 多特征综合应用也是备受关注的方法，一个典型的例子是用肤色模型检测出人脸区域，然后对肤色相似的区域采用相联系的部件分析或聚类算法。然后该区域是椭圆的则成为一个候选者，然后用局部特征检验 3 6 ,3 7 ( 3 )基于模板的方法 在模板匹配方法中，预先定义标准人脸模式或者将其用某种函数参数化。当输入图像时，通过计算人脸轮廓、嘴巴、眼睛等与标准模式的相关值来实现人脸检测或者识别。该方法的缺点是不能有效处理姿态和外部的变化，多分辨率、转换、子模板和变形模板有助于解决这个问题。 g o v i n d a r a j u等 5 1 使用变形模板匹 配头顶轮廓线和左右两条面颊 轮廓线实现人脸检测和识别。l a d e s等人针对畸变不变性的物体识别提出了动态链接模型( d l a ) ， 将物体用稀疏图形来描述， 其顶点用局部能量谱的多尺度描述来标记， 边则表示拓扑连接关系并用几何距离来标记， 然后应用塑性图形匹配技术来寻找最近的己 知图形(5 2 ,5 3 1 . w 1 s c o t t 等人在此基础上作了 改进， 用f e r e t 图像库做实验， 用3 0 0幅人脸图像和另外 3 0 0幅图像作比较，准确率达到 9 7 . 3 % 5 4 ,5 5 。此方法的缺-3-华南理工大学博士论文点是计算量非常巨大。 ( 4 )基于样本学习的方法 这种思想是指通过搜集大量的人脸和非人脸样本作为训练集，用人工神经元网 络、支持向 量机( s v m ) 等方法训练出 一个分类器来检测人脸。 这种思 想与 其他思想的不同之处在于，它并不首先人工的对人脸进行分析或是抽取模板，也不对输入图像进行复杂的处理，而是利用大量的人脸图像实例来训练出人脸检测的分类器。在这一类方法中，特征向量、统计学、信息学等思想也得到了运用。具体来说可分为特征脸法、神经网络法、概率模型法、矢量机法等各类方法。 特征脸法把单个图像看成一维向量， 众多的一维向量形成了人脸图像特征空间， 再将其变换到一个新的相对简单的特征空间， 通过计算矩阵的特征值和特征向量， 利用图像的代数特征信息， 寻找 “ 人脸” 、 “ 非人脸”两种模式在该特征空间中分布规律。 m o g h a d d a m等5 6 】 不仅考虑了 人脸子空间，还考虑了与其正交的补空间， 使用d i f s 和d f f s 在两个空间 里进行 度量， 取得了 较好的效果。 s u n g 等 1 5 7 采用 k均值聚类方法在特征空间里建立了 6组对应的 “ 人脸”和 “ 非人脸”簇( c l u s t e r s ) ， 通过检测图 像到 各簇中心的 距离来判断 是否“ 人脸” 模式。 文 献 5 8 提出一种新的部分相交的分组方法，将较多的子模式分组训练，减小了训练中的运算量并增加了系统的可扩展性。 s u n g 等6 0 提出 基于 样本的 分布和神经网 络的 方 法检测人脸。 先采用自 举的 方法收集大量典型的非人脸训练样本，并对人脸和非人脸样本分别用 6 个独立的高斯模型逼近各自的 6个聚类分布。计算每个训练样本到每个类中心的归一化ma h a l a n o b i s距离和 e u c l i d e a n距离，得到一个 2 4维的特征矢量，然后用 ml pm u l t i p l e l a y e r p e r c e p t i o n ) 神经网 络检测人脸。 y a n g等5 9 用自 组织映 射 s o m ,( s e l f - o r g a n i z i n g m a p ) 神经网 络把v ii 练样本分为2 5 个人脸类和2 5 个非人脸类， 采用 l d a得到最优区别投影矢量，基于最大概率决策方法对检测区域进行判决。r a j a g o p a l a n等6 1 提出 采用高阶距描述人脸和非人脸图 像的 特征，以 输入图 像与1 2 个类中 心的 距离为 特征， 用m l p 神经网 络实 现分 类。 r o w l e y 等 6 2 采用局部 连接的神经网 络检测人脸。 r o w l e y等6 3 采用级联结构的神经网 络检测旋转的人脸图像。 f e r a u d 等 6 4 采用多级神经网络结构检测人脸。 c a r c i a 等 6 5 采用一个卷积神经网络 c n n结构检测人脸。梁路宏等【 6 6 先采用双眼模板和一系列长宽变化的人脸模板进行模板匹配检测，然后联合两个 ml p对人脸候选区域进行确认。 概率模型法的一种思路是计算输入图像区域r e g i o n 属于人脸模式。 讨 e c t 的候验概率p ( o b j e c t i r e g i o n ) ， 依据对所有可能的图 像窗口 进行判别， 这类方 法称之为贝叶斯分类法。 s c h n e i d e r m a n 等4 5 提出一种基于后验概率估计的人脸检测方法。该方法利用贝叶斯原理将后验概率估计转化为一个似然度求解问题:第一章 绪论兄=p ( o b j e c t )p ( o b j e c t )( 1 一 1 ) 将 难以 估 计的 先 验 概率p ( o b j e c t ) 和p ( o b j e c t ) 用 一 个比 率 参 数x 代 替， 作为 调节检测器敏感度的参量o s c h n e i d e r m a n等采用 6 4 x6 4 像素的模式区域， 将其分为1 6 个子区域， 通过子区域独立性等假设降低 “ 人脸”和 “ 非人脸”模式分布表达式p ( r e g i o n i o b j e c t ) 和p ( r e g i o n i o b j e c t ) 的 复 杂性， 最后转化为稀疏 编码的 直方图，通过计算训练样本的频度求得两种模式的概率分布。s c h n e i d e r m a n等还将概率估计的方法用于检测正面旋转人脸和侧面人脸，同时使用多分辨率信息复用和由粗到精搜索的策略提高检测的速度。属于这一类的还有we b e r 4 6 1 等提出的视点不变性学习 ( v i e w p o i n t - i n v a r i a n t l e a r n i n g ) 的 方 法等。 另一 种思路是利用描述信号统计特性的隐马尔科夫模型 ( h mm) 6 z 6 8 1 。在 h m m用于模式识别问题时，需要确定许多隐藏的状态形成一个模式，然后，训练h mm从样本中学习传统状态间的概率， 其每个样本被表示为观察序列。 训练h mm的目的是通过h m m模型中的参数调整最大化观察的训练数据的概率。 训练h mm模型以后， 观察的输出概率确定了其所属的类别。 矢量机方法是 v a p n i k等提出的基于结构风险最小化原理( s t r u c t u r a l r i s km i n i m i z a t i o n p r i n c i p l e . s r m ) 的统计学习理论4 7 . 4 8 ， 用于分类与回归问 题。 s r m使v c ( v a p n i k c h e r o v n e n k i s ) 维数的 上限 最小化， 这使得s v m方法比 基于经验风险 最小 化 ( e m p i r i c a l r i s k m i n i m i z a t i o n p r i n c i p l e . e r m ) 的 人工 神 经网 络方 法具 有更好的泛化能力。 o s u n a 等5 6 1 将 s v m方法用于人脸检测，取得了较好的实验结果。该方法的基本思路是对每一个 1 9 x 1 9 像素的检测窗口使用 s v m进行分类，以区分 “ 人脸”和 “ 非人脸”窗口。s v m的训练使用了大量人脸样本和 “ 自举”方法收集的 “ 非人脸”样本，并且使用逼近优化的方法 4 9 】 减少支持矢量的数量。需要说明的是，长期以来s v m的训练需要求解计算复杂度极高的二次规划问题，限 制了 该 方 法的 应 用。 p l a t t s o t 提出 的s m o ( s e q u e n t i a l m i n i m a l o p t i m i z a t i o n ) 算 法解决了s v m训练困难的问题。 除了以上方法，还有基于稀疏筛选网和基于信息的方法等，因这些算法用的人不多，这里就不讨论了。1 . 2 . 2人的跟踪 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题，最终得到包括人体或人脸的视频序列用于人脸验证，这第一章 绪论兄=p ( o b j e c t )p ( o b j e c t )( 1 一 1 ) 将 难以 估 计的 先 验 概率p ( o b j e c t ) 和p ( o b j e c t ) 用 一 个比 率 参 数x 代 替， 作为 调节检测器敏感度的参量o s c h n e i d e r m a n等采用 6 4 x6 4 像素的模式区域， 将其分为1 6 个子区域， 通过子区域独立性等假设降低 “ 人脸”和 “ 非人脸”模式分布表达式p ( r e g i o n i o b j e c t ) 和p ( r e g i o n i o b j e c t ) 的 复 杂性， 最后转化为稀疏 编码的 直方图，通过计算训练样本的频度求得两种模式的概率分布。s c h n e i d e r m a n等还将概率估计的方法用于检测正面旋转人脸和侧面人脸，同时使用多分辨率信息复用和由粗到精搜索的策略提高检测的速度。属于这一类的还有we b e r 4 6 1 等提出的视点不变性学习 ( v i e w p o i n t - i n v a r i a n t l e a r n i n g ) 的 方 法等。 另一 种思路是利用描述信号统计特性的隐马尔科夫模型 ( h mm) 6 z 6 8 1 。在 h m m用于模式识别问题时，需要确定许多隐藏的状态形成一个模式，然后，训练h mm从样本中学习传统状态间的概率， 其每个样本被表示为观察序列。 训练h mm的目的是通过h m m模型中的参数调整最大化观察的训练数据的概率。 训练h mm模型以后， 观察的输出概率确定了其所属的类别。 矢量机方法是 v a p n i k等提出的基于结构风险最小化原理( s t r u c t u r a l r i s km i n i m i z a t i o n p r i n c i p l e . s r m ) 的统计学习理论4 7 . 4 8 ， 用于分类与回归问 题。 s r m使v c ( v a p n i k c h e r o v n e n k i s ) 维数的 上限 最小化， 这使得s v m方法比 基于经验风险 最小 化 ( e m p i r i c a l r i s k m i n i m i z a t i o n p r i n c i p l e . e r m ) 的 人工 神 经网 络方 法具 有更好的泛化能力。 o s u n a 等5 6 1 将 s v m方法用于人脸检测，取得了较好的实验结果。该方法的基本思路是对每一个 1 9 x 1 9 像素的检测窗口使用 s v m进行分类，以区分 “ 人脸”和 “ 非人脸”窗口。s v m的训练使用了大量人脸样本和 “ 自举”方法收集的 “ 非人脸”样本，并且使用逼近优化的方法 4 9 】 减少支持矢量的数量。需要说明的是，长期以来s v m的训练需要求解计算复杂度极高的二次规划问题，限 制了 该 方 法的 应 用。 p l a t t s o t 提出 的s m o ( s e q u e n t i a l m i n i m a l o p t i m i z a t i o n ) 算 法解决了s v m训练困难的问题。 除了以上方法，还有基于稀疏筛选网和基于信息的方法等，因这些算法用的人不多，这里就不讨论了。1 . 2 . 2人的跟踪 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题，最终得到包括人体或人脸的视频序列用于人脸验证，这华南理工大学博士论文里我们探讨的技术不局限于人脸 2 1 。下面依据不同的跟踪方法来加以分类介绍。 ( 1 ) 基于 模型的 跟踪 ( m o d e l - b a s e d t r a c k i n g ) 传统的人体表达方法有如下三种: ( a ) 线图 法。 人运动的实质是骨骼的运动，因 此该 表达方法将身体的 各个部分以 直 线来近似f i l l . ( b ) 二维轮 廓法。 该 人体表达方 法的 使 用 直接与 人 体在图 像中 的 投 影有关 3 2 1 ( c ) 立 体模型 法。 它是 利 用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节，因此要求更多的计算参数和匹配过程中更大的计算量 1 3 1 ( 2 ) 基于区 域的 跟踪 ( r e g i o n - b a s e d t r a c k i n g ) 基于区域的跟踪方法目 前己有较多的应用， 例如， wr e n 等( 1 5 利用小区域特征进行室内单人的跟踪。基于区域跟踪的难点是处理运动目标的影子和遮挡，这或许可利用彩色信息以及阴影区域缺乏纹理的性质来加以解决， 如m c k e n n a 等 1 6 ( 3 ) 基于活动轮廓的 跟踪 ( a c t i v e c o n t o u r b a s e d t r a c k i n g ) 基于活动轮廓的跟踪 1 7 , 1 8 1 思想是利用封闭的曲线轮廓来表达运动目 标，并且该轮廓能 够自 动连续 地更新。 例如， p a r a g i o s 与d e r i c h e 1 1 7 1 利用短线 程的 活 动轮廓，结合l e v e l s e t 理论在图像序列中检测和跟踪多个运动目 标;p e t e r f r e u n d l s 采用基于卡尔曼滤波的活动轮廓来跟踪非刚性的运动物体; ( 4 ) 基于 特征的 跟踪( f e a t u r e - b a s e d t r a c k i n g ) 基于特征的跟踪包括特征提取和特征匹配两个过程。p o l a n a 与n e l s o n的文章 1 9 就是一个很好的点特征跟踪的例子，文中将每个行人用一个矩形框封闭起来，封闭框的质心被选择作为跟踪的特征:在跟踪过程中若两人出现相互遮挡时，只要质心的 速度能被区 分开来， 跟踪仍能被成功地执行; 另外， s e g e n 与p i n g a l i 的跟踪系统2 0 使用了运动轮廓的角点作为对应特征， 这些特征点采用基于位置和点的曲率值的距离度量在连续帧间进行匹配。以卡尔曼滤波形式的点、线特征的跟踪技术在计算机视觉领域中已 被很好地开发， 如7 a n g 与c h o i 2 1 1 利用区 域的形状、纹理、色彩和边缘特征信息建立了活动模板，结合卡尔曼滤波的预测方法，使特征匹配能量函数最小化来完成运动目标的跟踪过程，该活动模型对于非刚性物体的跟踪具有很好的自适应性。1 . 2 . 3对视频序列的人脸识别 人脸跟踪产生一系列人脸图像，广义上的人脸识别就是对这些图像进行识别，鉴定其身份以及对其表情进行分析、 特征表征等。 本文的重点是确定身份，即确定其是否为图像库中的某位个体。 视频中人脸识别方法主要有两种策略:一种策略从图像序列中选择几帧质量较好的，然后用静止图像的人脸识别方法进行识别。这类方法目前发展已经比较华南理工大学博士论文里我们探讨的技术不局限于人脸 2 1 。下面依据不同的跟踪方法来加以分类介绍。 ( 1 ) 基于 模型的 跟踪 ( m o d e l - b a s e d t r a c k i n g ) 传统的人体表达方法有如下三种: ( a ) 线图 法。 人运动的实质是骨骼的运动，因 此该 表达方法将身体的 各个部分以 直 线来近似f i l l . ( b ) 二维轮 廓法。 该 人体表达方 法的 使 用 直接与 人 体在图 像中 的 投 影有关 3 2 1 ( c ) 立 体模型 法。 它是 利 用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节，因此要求更多的计算参数和匹配过程中更大的计算量 1 3 1 ( 2 ) 基于区 域的 跟踪 ( r e g i o n - b a s e d t r a c k i n g ) 基于区域的跟踪方法目 前己有较多的应用， 例如， wr e n 等( 1 5 利用小区域特征进行室内单人的跟踪。基于区域跟踪的难点是处理运动目标的影子和遮挡，这或许可利用彩色信息以及阴影区域缺乏纹理的性质来加以解决， 如m c k e n n a 等 1 6 ( 3 ) 基于活动轮廓的 跟踪 ( a c t i v e c o n t o u r b a s e d t r a c k i n g ) 基于活动轮廓的跟踪 1 7 , 1 8 1 思想是利用封闭的曲线轮廓来表达运动目 标，并且该轮廓能 够自 动连续 地更新。 例如， p a r a g i o s 与d e r i c h e 1 1 7 1 利用短线 程的 活 动轮廓，结合l e v e l s e t 理论在图像序列中检测和跟踪多个运动目 标;p e t e r f r e u n d l s 采用基于卡尔曼滤波的活动轮廓来跟踪非刚性的运动物体; ( 4 ) 基于 特征的 跟踪( f e a t u r e - b a s e d t r a c k i n g ) 基于特征的跟踪包括特征提取和特征匹配两个过程。p o l a