（计算机应用技术专业论文）人脸面部特征定位与人脸识别方法的研究.pdf

摘要 摘要 本文的研究工作包括人脸面部特征定位和人脸识别两个部分。在人脸面部特 征定位的研究中，采用了基于主动形状模型( a s m ) 和主动表观模型f a a m l 的 方法。并在此基础上，提出了基于局部纹理模型和全局纹理模型相结合的图像解 释方法来进行面部特征定位。在基于a s m 的面部特征定位的研究中，本文对标 准的a s m 进行了改进。在特征点搜索过程中，提出了局部区域约束和边缘约束 的搜索策略。提出了增加相关性的特征点标定策略并设计了一个半自动的人脸特 征点标定工具，以提高特征点标定的精度及效率。实验表明，本文提出的改进的 主动形状模型较为显著的提高了面部特征定位的精度。本文还研究了基于a a m 的面部特征定位方法，分析了灰度模型参数及表观模型参数在人脸重构中的作 用。通过对a s m 和a a m 原理及性能的综合分析，本文提出了基于局部纹理模 型和全局纹理模型相结合的图像解释方法。该方法在利用a s m 中局部纹理模型 搜索方法的同时，又利用了全局纹理来进行合理性约束，并采用了基于全局纹理 来进行形状预测的方法。为确定形状对纹理的匹配程度，本文提出了基于形状无 关纹理子空间重构残差的匹配度评定标准。实验证明了这一标准的合理性。利用 该匹配度评定标准，将基于局部纹理模型的搜索方法和基于全局纹理预测的方法 有机的结合了起来，保证了搜索过程中匹配度的不断提高，从而提高了搜索方法 的鲁棒性。 在人脸识别算法的研究中，本文研究了基于f i s h e r 线性判别分析的人脸识别 算法。该方法将基于主成分分析( p c a ) 的特征脸方法和基于线性判别分析( l d a ) 的分类方法有机的结合起来。单纯采用p c a 方法来进行人脸特征的提取，得到 的是人脸的最佳表示特征，但这些特征对于分类来说并不是最佳的。l d a 方法 在提取特征的过程中，充分利用了类别的信息，可以得到最利于分类的人脸特征。 但人脸的原始特征空间维数很高，无法直接利用u ) a 方法提取分类特征。本文 研究的算法首先应用p c a 方法降低人脸特征空间的维数，然后运用l d a 方法进 行最利于二分类的投影，来实现对人脸的识别。实验表明，采用该方法得到的识别 率要远优于单纯采用p c a 方法的结果。基于此算法，本文实现了一个针对视频 北京工业大学工学硕：| 论文 图像的人脸自动识别系统。该系统集成了人脸检测、瞳孔定位、人脸识别等算法。 通过对连续视频图像的分析实现了较为鲁棒的准实时的人脸识别。 关键词：人脸面部特征定位人脸识别主动形状模型主动表观模型线性判 别分析特征脸 摘要 a b s t r a c t t h er e s e a r c hw o r ko ft h i sp 印e rf o c u s e so nt h el o c a l i z a t i o no f f a c i a lf e 咖r e sa n df a c e r e c o g n i t i o n - i no u rr e s e a r c h e sf o rf a c i a lf e a t u r e sl o c a l i z a t i o n ，a c t i v es h a p em o d e l ( a s m ) a n d a c t i v ea p p e a r a n c em o d e 】( a a m ) a r eu s e d ，a n dan e wm e t h o di s p u tf o r w a r db a s e do nt h e c o m b i n a t i o no fl o c a lt e x t u r cm o d e la n dg l o b a lt e x t u r em o d e l i m p r o v e m e n t sa r em a d e t ot h e s t 8 n d a r da s mf o rf a c i a lf e a t u r el o c a i i z a t i o n l o c a la r e ac o n s t r a i n tm e t h o da n d e d g e c o n s t r a i n t m e t h o da r ep r o p o s e d a l s o ，ap o i n t sl a b e l i n gs t r a t e g yw h i c hi n c r e a s et h e r e l a t i v i t yo ft h e l a b e l e dp o i n t si s p u tf o r w a r d ，a n das e m i - a u t o m a t i cf e a t u r ep o i n t s1 a b e l i n gt o o li sd e s i g n e d w h i c hg r e a t l yi m p r o v eb o t ht h ea c c u r a c ya n dt 1 1 e e f f l c i e n c yo fl a b e l i n gw o r ke x p e r i m e n t s h o w st h e i m p r o v e da c t i v es h a p em o d e lp e r f o n l l ss i g n m c a i l t l yb e t t e rt h a ns t a l l d a r da c t ；v e s h a p em o d e li nt h el o c a l i z a t i o no ff k i a lf e a t i l r e s a c t i v ea p p e a r a n c em o d e l ( a a m ) i sa l s o s t u d i e df o rt h e1 0 c a l i z a t i o no f f a c i a lf e a n j r e s t h ep a r 枷e t e r so f t e x t u r em o d e la n d a p p e a r a n c e m o d e la r es t u d i e di nd e t a 订i nr e c o n s t m c t i o no ff 扎ei m a g e s b a s e do nt 1 1 e a n a l y s i so ft h e t h e o r ya n dc a p a b i l i t yo fa s m a a m ，an e wm e t h o di sp u tf o n v a r db yc o m b i n a t i o no fl o c a l t e x t u r em o d e la n d g i o b a it c x t u r em o d e l n o to n l yt h e1 0 c a lt e x t i l r em o d e li na s m i sa d o p t e d i nt h i sm e t h o d ，t h eg l o b a it e x t u r ei su s e da sw e l lt or e s t r i c tt h er e s u i ta n dt op r e d i c tan e w s h a p e i no r d e r t oc a l c u i a t et 1 1 em a t c h i n g d e g r e eo f as h a p et ot a 唱e ti m a g e ，s h a p ef k et e x t u r e s u b s p a c er e c o n s r u c t j o ne r r o rw a sa d o p t e da sm a t c h j n gc r i t e r i o n t h er e a s o n a b i l i t yo ft h j s m e t h o di ss u p p o r t e db yo u rt e s t w i t l lt | l i sc r i t e r i o n ，s e a r c h i n gm e t l l o db a s e do nl o c a lt e x t u r e m o d e la n dt h eo n eb a s eo ng l o b a it e x t u r ep r e d i c t i o na r ec o n n e c t e d i nm ew h 0 1 e p r o 舒e s s ，也e m a t c h i n gd e g r e eo f t h er e s u l ts h a p ek e e p sr i s i n g h e n c e ，t i l er o b u s t n e s so ft 1 i s a l g o r h h mi s r a i s e d a f k e - r e c o g n i t i o na l g o r i t h mb a s e do nf i s h e rl i i l e a rd i s c r i m i i i a n ta n a l y s i si s s t u d i e di n d e t a “w h i c hc o m b i n e sp r i n c i p a l c o m p o n e n ta i l a i y s i s ( p c a ) b a s e de i g e n f k em e t h o da n d n e a rd i s c r i m i n a n ta n a l y s i s ( l d a ) m e t h o d i nm ep r o c e s so fe x 订a c t i n gf a c ef e a t u r e sf o r r e c o g n i l i o n ，p l i r ep c a m e t h o dc a no b t a i nt h eb e s tf e a t u r e si nt h es e n s eo f r e p r e s e n t a t i o n ，b u t - u i - 北京工业大学工学硕上论文 t h e s ef e a t u r e sa r en o t v e r ) s u i t a b l e f o rc l a s s i f i c a t i o n p u r p o s e s l d am e t h o du s el a b e i n f o r m a t i o nt og e tt h eb e s tf e a t u r e sf o rc j a s s i n c a t i o np u r p o s e s b u tt h ed i m e n s i o n a l i t yo f t h e o r i g i n a lf a c ei m a g ei s t o oh i g ht ou s el d am e t h o dd i r e c t l yt h ea l g o r i t l l ms t u d i e di nt l l i s p a p e rc o n s i s t so f t w os t e p s ：f i r s tr e d u c et h ed i m e n s i o n a l i t yo ft h ef a c ei m a g ev i ap c a ，a n d t h e nu s el d at oo b t a i nt h eb e s tp r o j e c t i o nd i r e c t i o nf o rc l a s s i n c a t i o np u r p o s e st h e i m p r o v e d p e r f o r m a n c e o ft h i sn e w a l g o r i t h mo v e 。p u r e p c aa l g o r i t h mi sd e m o n s t r a t e d b y o u r e x p e r i m e n t s b a s e do nt h i sa l g o r i t h m ，a na u t o m a t i cf a c er e c o g n i t i o ns y s t e mi sp u tf o n v a r d w h i c h i n t e g r a t e s f k ed c t e c t i n i r j s l o c a t i o n ，a n d f a c e f e c o g n j d o na 1 9 0 r i m m am b u s t r e a l - t i m ef a c er e c o g n i t i o nr e s u l tc a nb ea c h i e v e db y a n a i y s i st h ec o n s e q u e n tv i d e oi m a g e s k e y w o r l s ： f a c i a lf e a n j r e s l o c a l i z a t i o n ， f a c e r e c o g n i t i o n ， a c t i v e s h a p em o d e i ， a c t i v e a p p e a r a n c em o d e l ，i i n e a rd i s c r i m i n a n ta n a i y s i s ，e i g e n f a c e 第一章绪论 第一章绪论 人脸图像的相关研究涵盖众多应用领域，其中包括人脸识别、人脸检测、面 部特征定位、人脸跟踪、表情分析、人脸合成等众多分支。由于在诸多领域的巨 大的潜在应用前景，近几十年来，这些研究工作一直是人工智能、模式识别、计 算机视觉、图像处理和分析、图像编码、计算机图形学等领域的研究热点之一。 尤其是近年来，随着计算机的日益普及以及网络技术的迅猛发展，使得对人脸图 像相关领域技术的需求不断增加，得到了人们越来越多的广泛关注。从人脸识别 到人脸检测，从人脸跟踪到表情分析，从人脸合成到人脸动画，从模型视频编码 到传输，所有这些领域，都有着广泛的理论研究价值和实际应用价值。在众多科 研工作者的辛勤努力下，已经取得了一系列的研究成果，并在许多领域得到了实 际应用。 本文的研究工作主要包含两个部分，一是人脸面部特征定位方法的研究，另 一个是人脸识别方法的研究。在本章中，着重介绍本文研究所涉及的人脸特征定 位和人脸识别的研究背景、意义以及国内外的相关研究状况。并扼要介绍本文所 进行的研究工作的方法和出发点。 1 1 人脸面部特征定位 所谓的人脸面部特征定位，就是通过计算机在一幅人脸图像中自动地定位出 人脸各个器官的准确位置。其中包括眼睛、鼻子、嘴巴、下巴、耳朵以及人脸外 轮廓等所有需要提取特征点的位置。面部特征定位可以为人脸识别、姿态表情分 析、人脸跟踪等研究工作提供相应的基础数据。 1 1 1 研究意义及背景 虽然人类可以从一幅人脸图像中很轻松地分辨出面部特征点的准确位置，但 对于计算机来讲却并非一件易事。人脸有复杂的三维表面结构，因而对于其形成 的二维图像，其变化也是非常之大的。尤其对于不同的人脸姿态、表情，不同的 光照条件，得到的二维图像的差别是非常明显。因此，准确的面部特征定位是一 北京工业大学工学硕j 二论文 个非常具有挑战性的课题。 面部特征定位为人脸图像的处理与分析提供了重要的几何信息，特征定位的 准确与否直接关系到后续应用的可靠性。该方向的研究在人脸识别、人脸姿态表 情分析、人脸合成、及基于模型的人脸图像编码中有着重要的应用。归纳起来有 如下几个方面： ( 1 ) 为人脸识别提供几何特征等基础信息。在人脸识别算法中，一个重要的 工作就是人脸图像尺寸的归一化，而这一归一化的实现都是依赖于面部 特征定位的结果。另外，一些算法中需要各个器官的相对位置及形状或 对面部局部区域的特征加以分析，需要在面部特征定位基础之上进行。 ( 2 ) 利用人脸面部特征定位的结果进行人脸姿态表情分析。在人脸的姿态及 面部表情分析中，可以通过面部一些器官的相对位置及形状进行分析来 确定，面部特征定位是姿态、表情分析的前提。 ( 3 ) 实现人脸图像的自动跟踪或为人脸自动跟踪提供初始位置。可以利用面 部特征定位的方法，对视频图像中的人脸图像进行自动跟踪，也可以为 基于其它方法的人脸跟踪算法提供人脸器官的初始位置。 ( 4 )应用于基于模型的人脸图像编码。在基于模型的人脸图像编码中应用 中，一个重要的前提就是人脸图像中特征点的自动提取。 ( 5 )利用人脸面部特征定位的结果，来进行人脸合成及人脸动画的研究。 总之，人脸图像的特征定位有着广泛的作用，是许多其它的人脸图像研究工作的 前提，直接关系到其它研究工作能否顺利地进行。 1 1 2 国内外研究状况 面部特征定位的研究始于基于几何特征的人脸识别方法的研究。早在上世纪 六十年代末，k a n a d a 【2 9 】就提出了基于几何特征的人脸识别方法。其中采用的方法 就是基于灰度变化信息来定位面部特征点的方法。该方法主要利用人脸不同区域 灰度分布的不同特性来提取特征点的位置。该方法有与直接利用灰度的变化来分 析，因而对于光照的变化，其鲁棒性受到限制。k a s s 等人在1 9 8 7 年首先提出 了称为s n a k e 的主动轮廓线模型( a c t i v ec o m o u rm o d e l ) ，s n a k e 是能量极小化 的一种模型，内力约束它的形状，外力引导它的行为，图像力将其拖向显著的图 第一章绪论 像特征。s n a k e 模型的引人之处在于它对范围广泛的一系列视觉问题给出了统一 的解决方法。近年来，它已经被越来越多的研究者成功地应用于计算机视觉的诸 多领域。w o n - s o o kl e e 【4 】等1 9 9 7 年提出了一种由正面和侧面人脸图像的结构化 s n a l ( e 模型来进行人脸面部特征定位。基于可变形模板的特征提取首先是由 a l i i l l e 【2 。1 等人在1 9 9 2 年提出，用来提取眼睛和嘴巴的特征位置。针对人脸 器官的复杂性，有些区域的灰度对比度比较低，因而无法直接检测到边缘，即使 获得了较明显的边缘，也很难从中自动地获取精度很高的特征点位置。为此，用 弹性可变形模板进行特征提取就显示其优越性，可变形模板用一组根据特征形状 的先验知识设计的参数所定义，这些参数是可调的，为了定义出最符合特征形状 的参数，需要利用图像的边缘、峰值、谷值和先验知识设计合适的能量函数。参 数向能量函数减小的方向做调整，当能量函数达到最小时，这组参数对应的模板 就最符合所关心的特征形状。lw i s k o t t 【6 j 等人在1 9 9 7 年提出了利用g a b o r 小波 变换系数进行人脸识别的弹性图匹配方法，在该方法中利用了一组不同频率和相 位下得到的的g a b o r 小波变换系数作为特征，来进行面部特征点的精细定位，进 而进行识别。v 心”u g e r 【7j 利用g a b o r 小波进行人脸图像的表示与重建。根据重建 系数的相似性来进行人脸特征定位。 另一种人脸特征定位的方法是基于主动形状模型的方法。主动形状模型 ( a s m ) 是一种基于统计模型的方法，是由t f c o o t e s 【9 州】等人在1 9 9 5 年提出， 该方法对训练集中大量所描述的形状实例进行统计，建立起反映目标形状变化规 律的形状统计模型和反映灰度分布规律的局部灰度模型。在搜索过程中，首先利 用训练得到的局部灰度模型进行搜索，之后利用形状模型来对搜索到的形状进行 近似表达，同时对其合理性进行判断，对不合理的形状进行调整以保证形状在统 计意义上的合理性。通过循环迭代，得到理想的匹配结果。在主动形状模型基础 之上，t f c o o t e s 【1 3 】等人在1 9 9 8 年中提出了主动表观模型( a a m ) 。在此方法中， 不仅建立了反映形状变化的形状统计模型，同时建立了反映全局纹理变化的全局 纹理模型，以充分利用全局的纹理信息。并对形状模型及纹理模型结合起来建立 表观模型。得到的表观模型去处了形状和纹理之间的相关性，可以准确地生成形 状及纹理变化的目标图像。在a a m 搜索过程中，利用训练得到的图像灰度差值 与表观参数变化的线性关系，不断变化表观模型参数以及二维几何位置和尺度等 北京工业大学工学硕士论文 参数。直至得到理想的匹配效果。 a s m 和a a m 方法可以通过对某一类特定图像进行建模，来进行特征的提 取，具有较好的通用性与灵活性。本文研究的就是基于a s m 和a a m 方法来进 行人脸特征定位。提出了改进的主动形状模型方法来进行人脸特征定位，并提出 了基于局部纹理模型与全局纹理模型相结合的方法来进行人脸面部特征定位。 1 2 人脸识别 计算机人脸识别技术就是利用计算机对人脸图像进行处理，从人脸图像中提 取有效的分类特征，从而对待识别人脸图像进行分类，最终来达到对个人身份进 行鉴别的目的。 1 2 1 研究意义及背景 近年来，随着计算机技术的迅猛发展，以及其在公安、安全验证系统、信用 卡验证、医学、档案管理、视频会议、人机交互系统等方面的巨大应用前景，人 脸识别技术已经成为模式识别和人工智能领域的一个主要的研究热点。 虽然人类能毫不费力地识别出人脸及其表情，能够记住并且识别上千个不同 的人脸，但人脸的自动机器识别却是一个难度极大的课题。人脸有复杂的三维表 面结构，同时面部肌肉的运动使得人脸成为一种非钢体目标，与钢性目标识别相 比，非钢性目标的识别更困难。人脸表情丰富，而且随着年龄增长而变化，以及 受光照、成像角度以及成像距离等因素的变化的影响，所得到的人脸图像会有很 大变化。此外，所有人脸都具有相似的结构特征，而同一人的不同面部图像由于 采集条件的变化会发生较大的变化，所以人脸识别算法必须挖掘不同类别间微妙 而可靠的差别。所有这些都极大地增加人脸识别工作的难度。总之，人脸识别是 一项涉及到图像处理、计算机视觉、模式识别以及神经网络等学科的极富有挑战 性的课题。 人脸识别的意义不言而喻，除了在众多领域的实际应用，人脸识别的一些算 法可以推广到一般的三维非刚体目标的识别上去，促进其它模式识别问题的解 决。从可能性的意义讲，人脸具有唯一性，完全可用来鉴别一个人的身份。而且， 人脸图像的自动识别系统与指纹识别、d n a 鉴定等生物鉴定方法相比，更具方便 第一章绪论 性、友好性。因为它取样方便，可以不接触目标就进行识别，从而开发研究的实 际意义更大。 1 2 2 国内外研究状况 计算机人脸识别研究始于1 9 6 6 年p r i 的b l e d s o e 【3 0 】的工作，三十多年以来， 科研工作者在人脸识别方面进行了大量的研究，取得了丰硕的成果m 一，。其中 m i t 媒体实验室【一t 】等、m i t a i 实验室的i 。：等、c m u 【4 7 】、m a r y l a n d 大学【4 8 4 9 i 等的贡献尤为突出，国内的主要工作有：清华大学、南京理工大学【5 0 5 2 】、广州 中山大学m ，、中科院计算所、哈尔滨工业大学等，其中南京理工大学在用s v d 提取代数特征进行人脸识别、广州中山大学在用频谱脸方法进行人脸识别等方面 开展了一些开创性的： 作。 b l e d s o e l 5 3 。4 】以人脸特征点的间距、比率等参数为特征，建立一个半自动的 人脸识别系统，而且早期的人脸识别研究主要又两个方向：是提取人脸几何特 征的方法 4 9 】【s 0 | 。包括人脸部件归一化的点间距离和比率以及人脸的一些特征点， 如眼角。嘴角。鼻尖等部位所构成的二维拓扑结构了：二是模板匹配的方法，主 要是利用计算模板和图像灰度的自相关性来实现识别功能。b e n o 在1 9 9 3 年对这 两类方法作了比较全面的介绍和比较后认为，模板匹配的方法优于几何特征的方 法f 3 2 】。另一种方法是n 咄、p e n t l a l l d 等人提出的特征脸方法f 5 5 】【5 6 】，该方法通过 主成分分析来进行特征提取，从某种意义上讲，该方法提取到了有利于分类的特 征，克服了一些因数变化对识别结果的影响。使其成为人脸识别领域中最具代表 性和影响力的方法之一，并得到了广泛的应用与发展。 近年来，随着研究得不断深入，又涌现出了许多新的人脸识别方法。一是弹 性图匹配方法。在该方法中人脸拓扑结构特征由一些关键点组成的2 d 拓扑图形 来描述，该图形中的节点用其空间位置及其与其邻域节点之间的空间和角度关系 来描述。其通过小波变换特征来描述人脸的局部信息，并利用人脸网格的不断变 形，在图像上搜索特征点。由于它采用变形匹配方式，能在一定程度上容忍姿态 的变化，而且由于小波变换的特性，其能容忍一定光照的变化。弹性图反映人脸 的结构和形状【4 6 】，将其结合面部纹理可以有更精确的表达。二是以e i g e i l f a c e 为 基础的线性判别特征脸( f i s h e r f a c e ) 【5 7 】方法，该方法是一种较好的特征脸改进方 法。f i s h e r 线性判别原则是模式识别种的经典方法。f i s h e r 的判别准则是：不同 类样本尽可能远，同类样本尽可能近，文献】对用k l 变换和f i s h e r 准则分别求 北京工业大学工学碗：l 论文 出来的一些特征脸进行比较后得出如下结论，即认为特征脸很大程度上反映了 光照的差异，而f l s h e r 脸则能压制图像之间的与识别无关的差异。此外还有一下 一些有代表性的方法，代数特征奇异值分解( s v d ) 方法：将图像看作一个 数值矩阵，对其进行s v d 分解，得到的奇异值作为人脸图像的描述。由于奇异 值向量与图像有一一对应关系而且具有较好的稳定性和各种变换的不变性，文献 【3 8 删】认为代数特征反映了图像的本质，可以用作人脸的描述；神经网络方法： 人工神经网络( a n n ) 被应用于人脸图像的特征提取中来，但是到目前为止， a n n 所提取的特征的物理意义是不明确的。一些文献如【”1 对a n n 在人脸归类 ( 性别、表情、年龄和种族) 中的应用进行了探讨。隐马可夫模型法：h m m 模 型已经成功的应用与语音识别领域。在人脸识别中，其将人脸的一些特征作为观 察序列，通过建立马可夫链来描述人脸特征【5 9 6 ”。3 d 人脸模型( 3 df a c em o d e n 方法：从知识表达完备性的角度来看，3 d 人脸表面模型由于不仅反映了人脸图 像平面内的结构信息，同时还保存了人脸的深度方面的结构信息，因此3 d 人脸 模型是人脸的较完备描述。3 d 人脸模型通常采用三角网格组成的图形来描述。 基于模型的人脸图像编码和多姿态人脸识别5 卜5 3 】促进了3 d 人脸模型的发展和应 用。但特定人的3 d 人脸模型的自动生成是需要深入研究的一个问题。本文所研 究的就是基于特征脸与线性判别分析方法相结合的人脸识别方法。与特征脸方法 相比该方法更充分的利用了类别信息，从而增强了对光照、表情等变化的鲁棒性。 提高了识别率。 1 3 本文的贡献 本文主要对人脸面部特征定位及人脸图像识别的方法进行了研究，取得了如 下研究成果： 1 根据人脸图像的具体特点，提出了一种改进的主动形状模型来进行人脸 特征定位。该方法提高了主动形状模型在人脸面部特征定位中的准确性 和鲁棒性。并设计了一套人脸半自动标定系统，大大的提高了统计模型 方法中图像标定的效率及准确性。( 第二章) 2 研究了主动表观模型，并结合主动形状模型和主动表观模型的优点，提 出了局部纹理模型和全局纹理模型相结合的图像解释新方法，并利用该 第一章绪论 方法进行了人脸面部特征定位，提高了人脸面部特征定位的精确性。并 在该方法中提出了形状对目标图像匹配度的评定标准。( 第三章，第四章) 3 研究了基于f i s h e r 线性判别式与主成份分析相结合的人脸识别方法，分 析了一些相关参数对人脸识别率的影响。并利用该方法，实现了一套基 于视频图像的人脸自动识别系统。识别率达到90 以上。( 第五章) 1 4 论文的组织安排 第一章是本文的绪论。介绍了本文研究了两个部分面部器官定位和人脸 识别。分析了这两个领域的研究背景、意义及目前通常采用的主要的方法。 在第二章中研究了利用主动形状模型( a s m ) 来进行人脸面部特征定位的方 法，本章详细介绍主动形状模型( a s m ) 的原理及在人脸特征定位应用中的具体实 现方法，同时着重阐述了本文针对人脸特征定位提出的改进的主动表观模型。 在第三章中研究了基于另一种图像解释方法主动表观模型( a a m ) 来进 行人脸面部特征定位的方法，本章详细介绍主动表观模型的原理及在人脸特征定 位中应用中的具体实现方法，并对纹理参数及表观参数进行了较为详细的分析。 为实现精确人脸i 面部特征定位，在第四章中，阐述了本文提出的基于局部纹 理模型和全局纹理模型相结合的新方法。并在此方法中提出了形状对目标图像匹 配度的评定标准。 第五章是本论文的另一部分工作人脸识别，在该章中，着重进行了基于 f i s h e r 线性判别式与主成份分析相结合的人脸识别方法以及相关问题的研究。并 介绍了本文利用该方法实现的基于视频图像序列的实时人脸识别系统。 最后在第六章中，对本文所进行的人脸面部特征定位和人脸识别领域所做的 研究进行了总结，对研究的方法给出了相应的结论，阐述了这些方法中现存的一 些问题，并指出了今后应努力的方向。 第二章基于主动形状模型的面部特征定位及改进 第二章基于主动形状模型的面部特征定位及改进 在人脸图像中，由于器官分布的复杂性以及不同人、不同姿态、不同表情的 变化的影响，使得人脸面部特征的定位成为个具有挑战性的课题。而基于统计 信息的主动形状模型方法是解决这一问题的较为理想的方法之一。主动形状模型 作为图像特征提取的一个重要方法，在许多领域得到了广泛的应用【1 6 j ，尤其是在 医学图像计算机自动处理等领域主动形状模型方法已经成为主要的方法之一。近 年来，针对不同的应用环境及范围对主动形状模型方法提出了许多改进1 7 9 1 。 主动形状模型方法的主要特点在于应用统计的方法来对某一类目标图像建立模 型，因而对于不同领域的应用该方法具有广泛的适应性和灵活性。本章研究的是 基于主动模型的人脸特征定位以及对主动形状模型所做的改进。 2 1 主动形状模型 主动形状模型是一种基于统计模型的图像搜索方法，通过对具有一定代表性 的同一类目标物体图像进行统计来进行建模。从而得到反应目标物体图像二维形 状变化规律的形状统汁模型，以及反映特征点局部区域的灰度变化规律的局部纹 理模型。在目标搜索过程中利用先验知识进行模型初始定位，然后利用局部纹理 模型进行特征点搜索，并利用形状模型对形状进行合理近似以调整。为提高算法 的鲁棒性及效率，采用了多分辨率的搜索策略来实现由粗到精的搜索。本章结合 面部特征定位来对主动形状模型方法进行阐述。 2 1 1 特征点标定 为实现对待搜索的目标图像的形状建模，首先需要对其进行合理的数学表 述。在本方法中，通过在待搜索目标的边缘或内部选取一系列的特征点，并利用 其位置坐标来实现对待搜索物体进行表述。选取的特征点应包含我们需要提取的 面部特征点，同时也需要一系列的辅助点来使整个形状边缘点的数量达到一定密 度，以达到较理想的表达效果和搜索效果。 如图2 1 所示，是对人脸图像进行特征点标定的结果。本文选取了1 0 3 个特 北京工业大学工学硕士论文 征点。在脸部轮廓以及眼睛、眉毛、鼻子、嘴巴的轮廓和鼻尖、瞳孔、眉毛中心 等位置都选取了一定数目分布均匀的特征点。特征点选取本着如下规则：一是关 键特征点的选取，就是那些用肉眼可以直接分辨出的特征点。二是在这些关键点 之间尽量均匀的分布一些特征点。三是特征点分布的密度要适当。密度过大将增 加标定的工作量及算法的效率，密度过小将无法达到理想的效果。 图2 1 人脸图像的标定 为建立表现完备的模型，标定的训练集应包含不同变化类型的图像，对于人 脸图像应包含( 一) 不同性别、不同年龄、长相尽量具有一定代表性的人脸图像； ( 二) 不同表情的图像；( 三) 不同姿态的图像( 变化角度不应大于25 度) 。训 练集中图像的数目应大于一百幅为佳，本文采用了近干幅图像进行标定建模。 2 1 2 形状模型的建立 对于一幅标定好的人脸图像，可以利用标定点的坐标来实现其形状的数学表 达。若干幅标定好的人脸图像，其形状的数学表达可视为随即向量，利用主成分 分析方法，来建立起人脸形状模型。 212 1 标定图像的数学表示 如图2 2 所示，对于一幅标好的人脸图像，其形状向量x 。可以用标定的每个 特征点的横纵坐标来表示 墨= ( ，x ，( ) ，儿( ) ) ( 2 1 ) 其中x 。y 。分别为第i 幅图像第j 个特征点的横纵坐标值。九为图像中标定的特征 点的个数( h = t 0 3 ) 。这样n 幅用于训练的已标定图像就可以用z ，( f - 0 ，l 一i ) 1 0 - 第二章基于主动形状模型的面部特征定位及改进 图2 2 标点好的图像转化成数学表达 来表示。 2 1 2 2 标定图像的对齐 对于这些标定好的图像，由于其所处在图像中的绝对位置差异，以及图像尺 寸的差异、方向的差异的存在( 如图2 3 ( a ) 所示) ，因此若直接对它们进行统计 建模是不合理的，不能反映其形状变化的规律。因此我们需要对其进行对齐操作 以克服上述因素带来的影响，从而建立起真正反映形状变化规律的统计形状模 型。所谓的对齐就是在不改变标定形状的前提下，通过旋转、缩放、平移操作使 两幅图像的形状尽量接近( 如图2 3 所示) 。 图2 3 形状对齐不意图 形状对齐过程为如下：首先选取一个较为理想的形状向量作为初始样本，使 其它所有的向量与之对齐。之后，对计算得到的对齐后的平均形状向量作规格化 处理。并以规格化的平均形状向量作为样本，再将其它经上一部对齐的形状向量 与此平均形状向量对齐。重复这一过程，直到相邻两次的平均形状向量差别小于 某一特定值，对齐过程结束。整个对齐过程如图2 4 所示。 北京工业大学工学硕士论文 图2 4 对训练集中形状向量对齐的过程 将一向量z ：向另一向量z 。对齐的具体过程就是对x ：进行面内旋转、坐标 平移、尺度缩放得到向量噩，使得x ；与x ，之间的加权距离d ( 墨，x + ：) 最小。其 中x ；可表示为 z 2 = m ( 目，j ) x 2 】+ r - x 2 0j ，2 0 1 ) ，2 0 x 2 0 o x 2 ( h 1 )一y 2 ( 。一1 ) l y 2 ( h i )x 2 ( n 1 ) 0 ；：。 j c o s 口 j s i n p f r 。 ( 2 2 ) 其中口，s ，f 。分别为面内旋转角度，、尺度的变化和为x 轴y 轴方向的坐标平移 值，两向量z 。和x 2 之间的加权距离d ( x 。，x 2 ) 可表示成 d ( x ，x ：) = 掂瓦i 了石而i 而百i 瓦瓦i i j 石瓦i 瓦了 ( 2 3 ) 其中w 0 ，w l ，一，为每个点所对应的权值，这个权值由每个点的稳定性来计算。 所谓稳定性，就是指在不同的形状中一个点相对于其它点距离变化的大小。距离 变化越小，稳定性就越大，对应的权值也就越大；反之，距离变化越大，稳定性 就越小，对应的权值也就越小。 1 2 第二章基于主动形状模型的面部特征定位及改进 ( 2 4 ) 表示在所有的s h a p e 中点k 相对于其他点l 的稳定程度。其中 = 专粪( 一面 ( 2 5 ) 石= 专善曰w ，r 。，是第i 个形状向量中k 点与l 点的距离。 为了使距离d ( z 。，x ：) 取得最小，可用最小二乘的方法求解目，5 ，f ；，f ，所对应 的值。首先求得 其中 爿= 其中 z = 口j 口， f y x 2 0 y 2 0 ： x 2 ( n 1 ) y 2 ( n 一1 ) = 7 7 删) 。一7 7 臌7 。， ( 2 6 ) 1o o1 。y 2 ( h 1 ) lo z 2 ( ) o i j ： 生 ， c o s ( a r c t a l l 旦) 口。 ( 2 7 ) 护：a r c t a l l 旦。这样 口1 就可得到将一向量对齐到另一向量所进行的仿射变换的四个参数口，s ，r 。，。 在整个对齐过程中，为防止每一循环的平均形状在不断循环迭代过程中出现 形状不断变大或缩小的不利情况，需对平均形状向量进行规格化处理。进行规格 化平均形状向量时应遵守如下的三条准则：( 一) 保持标定图像中某两点间的距 离为一常数( 例如可使两端点的距离为常数) 。( 二) 使平均形状旋转到某一固定 角度。( 三) 平移平均形状向量到一固定点。 212 3 形状建模 对于训练集中的形状向量作对其处理之后，就可以利用主成分分析的方法来 找出形状变化的统计信息及规律，同时实现在变换域中的表示。 主成份分析( p c a ) 也称为k l 变换。是一种比较经典的统计学的方法，在特 、， 跗 矿 ，l = t w 得求 一日 而因 p 臼口 c s s j 1 1 1 1 q q 北京工业大学工学硕： 论文 征提取、数据分析、数据压缩等领域有着重要的应用。其主要原理就是基于对原 始随机变量进行统计分析，利用线性变换，来对原始的高维数据进行分析或压缩。 主成份分析具有如下功能：( 一) 去除数据的相关性。在原始的高维空间中随机 变量的各个维之间通常具有很大的相关性。主成份分析方法通过对原始的相关的 随机变量的分析，来获取一组线性无关的正交基。利用这组正交基，原始的高维 随机变量就可以得到一组新的表示，在这组新的表示中每一维的取取值与其它维 的取值就没有任何相关性，也就是说其取值的大小完全可以独立于其它维的取 值。( 二) 实现数据的降维。如前所述，我们可以得到一组正交基，这组正交基 中的不同的基所代表的信息是不一样的。如果我们将其按其所对应的特征值大小 来排序，那么第一个基上所包含的数据信息最多，其它的依次递减。因此如果我 们取前边若干个基而不是全部基来表示一个数据，那么数据的维数就会大降低。 同时因为我们取的这些基包含了主要的数据部分，所以在低维空间中表述包含了 原始数据的绝大部分信息，信息的损失是极小的一部分，在一般的情况这种微小 的信息损失是完全可以接受的。下面介绍主成分分析的过程： 首先对上小节中对齐之后得到的n 个形状向量记为x 。( f = l ) 求其平均 i = 去z ( 2 8 ) r 厶一 、 求其协方差距阵 c 2 专善( 置一i ) ( x 一一葡7 ( 2 9 ) 求其特征值( 允。，兄兄：。) 及特征向量( p 。，p p ：。) ，由于较大特征 值所对应的特征向量，包含了较多的形状变化信息，因此，可以用一些较大特征 值所对应的特征向量来近似表示任意的形状向量。选取前j 个最大的特征值满足： 杰 e o t ( 2 1o ) 在这里t 取9 8 。这样我们就得到了前f 个最大特征值对应的特征向量 只= ( 风，a ，只一。) 。只可视为一组新的标准正交基，这样任意一个形状向量 第二覃星于主动形状模型的皿部特征定位及改进 可近似地表示成 爿= 霄+ 只6 ： ( 2 11 ) 其中f 维向量自，可以看成是一个形状向量的形状参数，6 ，可由下属公式求出 6 ，= 誓( z 一牙) ( 2 12 ) 6 ：的不同值代表了形状的不同变化。这样，我们就建立了形状模型，通过使形状 参数6 。在一定范围内变化，可以生成新的形状样本。 21 24 对模型中形状参数的分析 形状参数6 ，的元素值不是可以任意改变的，它有一定的变化范围，只有在 此范围内我们才能用6 。恢复出正常的人脸形状。由参数的概率分布模型，得出了 参数6 ，统计意义上的合理变化范围是3 五。( j = o ，1 ，一1 ) ，其中a 。是协方 差矩阵的特征值，丑，与6 。一一对应。如果我们想了解6 ，的第一个元素6 ，。的变化 对生成的人脸形状有何影响，则我们可以用形如6 。= ( 6 ，。，0 ，o ) 的形状参数恢 复出对应的人脸形状z ( 工= 碧+ 只6 。) ，其中6 。的值可在允许的变化范围内变 化，而6 ，的其它元素保持o 值，即忽略它们对形状的影响。图2 5 为前十个形状 参数在3 元，区间变化的情况所生成的形状。其中每一行中的图像为某一参数从 一3 厄变化到3 何所对应的形状变化。 l 碧固固 固 固 北京工业大学工学硕士论文 图2 5 不同形状参数在一定范围内变化所表示的形状 2 1 3 局部纹理建模 所说的局部纹理建模就是在每一个标定的特征点延外轮廓在该点的法线方 向一定范围内的灰度变化情况进行统计。以找出相应的特征点在此区域内的灰度 分布规律。 首先对每幅训练图像标定特征点沿其法线方向( 如图2 6 ) ，以标定的特征点 为中心取一定数目( n 。) 的像素点，用其灰度值组成如下向量 = ( 一，矗h ( 一1 ) ) ( 2 1 3 ) 其中k 表示训练集中第k 幅图像( 女= o ，一1 ) ，f 表示标定图像中第f 个特征 固固 固固固 影掣翌翌固掣固固固固固留固固固固 爹固固固固固翌乡澎澎鞫拶蓼固固吲固恻固 第二章基于主动形状模