（通信与信息系统专业论文）基于小波变换的人脸识别研究.pdf

华中科技大学硕士学位论文 摘要 人脸识别技术是由计算机分析人脸图像，从人脸图像中提取有效的识别信息，以 此来辨认身份的一门技术。人脸识别技术有着广泛的应用背景，可以用于公安系统的 罪犯身份识别、身份证件的核对、银行及海关的监控系统、自动门禁系统以及家庭安 全等领域。人脸识别技术也是非常有挑战性的研究领域，它涉及到模式识别、图像处 理、生理学、心理学以及认知科学等多个领域。人脸不同于普通物体，它是一种非刚 体，即不同的人脸具有高度的相似性，同一个人的脸又具有不同的状态，此外，受图 像获取时光线、遮挡以及化妆等因素的影响，人脸信息在质量上有很大的差别，给识 别带来了很大困难。 本文首先总结了人脸技术的研究动机和应用，介绍了人脸识别技术的概念和主要 研究方向，然后对入脸识别技术做了比较详细的全面综述，重点介绍了几种典型的入 脸识别方法：特征脸方法、形状和灰度分离的可变形模型方法、基于小波变换的弹性 匹配方法、神经网络方法等。 特征脸方法是较早得到发展的人脸识别技术，它运用k l 变换进行特征提取，并 以此为依据进行人脸识别。特征脸方法是图像统计方法而不是人脸统计方法，没有利 用人脸的特殊信息，在压缩能量方面性能最优，但抗干扰能力不强。 被誉为“数学显微镜”的小波变换是一种“时一频”分析方法，具有多分辨率分 析的特点，它的可伸缩性使得空间相关性也能在变换中得到表述。正因为具有良好的 性质，小波变换被应用到很多人脸识别方法中，比如边缘检测、人脸特征部件的定位、 纹理分析等。 在对特征脸方法和小波变换研究的基础上，本文提出了一种基于小波变换的加权 特征脸方法，该方法结合了特征脸分析高效、准确的优点和小波变换多分辨率的特点。 在s 砸l i n g 、o r l 人脸库中的实验结果表明该方法不但能适应一定的表情变化，而且通 过降维有效地降低了算法的难度和复杂性。 关键词：人脸识别，小波变换，k l 变换，特征脸 华中科技大学硕士学位论文 a b s t r a c t f a c er e c o g t l i t i o ni sah u m a 眦a l l 廿1 e n t i c a t i n gt e c h n o l o g yb yc o n m i r 喀a b o u ta n a l ) 它i i l g f a c i a l 洫a g e 孤de x 昀c t i n gu s c f i l l i n f o m a t i o nf i ”r e c o 鲥t i o n nc a i lb e 谢d e l y 印p l i e d ，s u c h a s 证p u b l i cs e 嘞，c e r t i f i c a 地c h 幽g 觚db a “km 伽曲a r i n g h 呻陀v e rf 砬er e c o g n 撖o ni s a l s oo n eo ft l l em o s tc h a l l e n g i n gp r o b l e m s i ti si n v o l v e d 谢t hp a t t e mr e c o g i l i t i o n ，i m a g e p r o c 韶s i r 坞，p h y s i o l o g y p s y c h o l o g ya i l dm 蛆y o t l l c rd o m a i l l s d i 丘细tn d mc o i m o no b j e c 戗 h u m 髓f a c ei sak m do f n o n - 啦i d0 _ b j e c t n m ti st os a y d i 虢r e n tp e r s o n sf a c e sh a v eh i 曲 s i l i 蜥t ya n do n ep e r s o n sf a c em a yl o o kd i 触a td i 彘r e n t 缸l e h la d d m o n ，m ef a c e i m a g e st l l a ta r ec 叩棚r e db yd i 珏宅r e n tw a y so rd i 丘b 咒n tc o n d i t i o n sm a yh a v es u b s t 删a l d i f f h e d c ei nq l “i 咄g e o m 肋i 1 1 眦i i l a t i o n ，e t c b e s i d e s 廿l e f ea l s oe 】【i t st l l em a i 【唧a n d f k e - p a i n t _ m gi l l f l u e c e s f 妇m em o t i v 砒i o nf o r 恤他s e a 础i ss p c c i f i e di i ln l em e s i s n eq s t i o 璐w h 砒i s c a l l e df 犯e 豫c o g f l i t i o na n dw h a tt l l er e s e a r d hd o e sa f e8 i l s 、v e 陀d t h e ns e v e r a lm e t h o d s 眦 i n n d d u c e dw h j c ha r cu 矾埘l yl l s e ds u c h 懿n 证c i p a lc o m p o n e n ta 卫a 】y s i “e i g e n f 砬e ) ， d e f b 彻a b l em o d e l i n g ，e l a s t i cg r a p hm a t c l l i n gb a do nw a v c l e tt r 柚s f 0 衄，a u t o - n e u r a l n e t 、v o r k sa n de t c e i g e n 矗l c ei sam e t h o dd e v e l o p e df o ral o n gt i m e na d o p t sk - ln a n s f o mf o fe x t r a c t i n g c h 雒a c 衄s t i ca n dc o m p f e s s i o n w k l em a l 【i n gu s eo fn os p e c i a li n f o 强a t i o no fl i u m 锄f 溉， i t t sn o ta m e t l l o da i l i l i n ga t f 如e i i i l a g e ，b u ta t n o m a i i m a g e n h 嬲t 1 1 eb e s tq i l a l 蚵o f e n e 嚼 c o m p r e s s i o n ，b u td o e s n t t 、加r kw e n w i 廿la n t i j a m m i n g w r a v e l e tt r a i l s f o m ，c a l l e dm a m e m a t i cm i c r o s c o p e ，i sab n do f s p a c e - 自嘲u e n c y ” a n a l y s i s a 1 1 dh 勰ac h a r a c t 舐s t i co fm l l l t i r e s o l u t i o n a i l a l ”i s i t s 础t i l i t ya l i o w s s p a c e c o r r c l a t i o nb e i ge x p r e s s e d 趾di ti sw i d e l yu s e di nr n a n yf a r e c o g i l i t i o nm e m o d s s u c h 硒e d g ed e t e c t i o i l ，f e a n l r ep a r t s ，t e x t u r ea n a l y s i se t c a f t e rm e s ean o v e lf h c er e c o 鲫t i o nm e n l o di sp u tf o m 砌，砌c hw ec a l l e dw 打e l e t w e i g h t e de i g e 血嘴( w 2 e ) ，、) l d l i c hc o n l b i n e sh i 曲e 街c e n c y 蚰da c c u r a c yo f e i g e n 触、v i t t i 雠m u l t i r e s 0 1 砸o n 黝咐sw a v e l e t 锄s f o 啪i ti sp r a c t i c e do n 澌i l i n g ，o r l 缸e d a t a b 筋e si 1 1 d i v i d l l a l l y a n dt h er e s u l t ss h o wi ti s 趾e 饪b c t i v ew a yt or e c o g l l i t i o nf a c e s a u t o m 撕c a l l y te s p e c i a l l y ，“c a nn o to n l yt o l e r a t es o m ev a r i a t i o n so ff 缸i a le x p 咒s s i o nb u t a j s oi m i k et 1 i ea l g o 水l e s sc o m p l i c a t e d k e yw o r d s ：f a c er _ c c o 弘i t i o n ，w 西e l e tt r a n s f o 咖，k lt r a n s f 0 册，e i g e n f 缸e i i 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的 研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意 识到本声明的法律结果由本人承担。 学位论文作者签名：尹1 蹇丽 日期：捌年s 月f t ) 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存和汇编本学位论文。 保密口，在 本论文属于 不保密咣 ( 请在以上方框内打“”) 年解密后适用本授权书。 学位论文作者签名：司奄鹂 指导教师签名：匆僵泛 日期：五口6 年f 月f 。日 日期：加6 年r 月r p 日 华中科技大学硕士学位论文 1 1 生物特征识别技术 1 绪论 “9 1 1 恐怖袭击”事件以来，全球又兴起了一阵计算机自动识别系统应用的高潮，其 中入脸识别系统以它隐蔽等独有的特性独占鳌头。可以说计算机人脸自动识别这一新 技术被人们关注的程度达到了一个前所未有的高度。 计算机自动识别系统的核心就是一种被广泛称作生物特征识别的技术，它是依据 生物特征进行身份识别的技术。目前，使用到的人体特征主要有人脸、指纹、视网膜、 虹膜、声音以及基因等几种。生物特征识别属于模式识别问题，并且还涉及到信号处 理、机器视觉、统计分析、进化计算、生理学、心理学以及认知科学等多个领域。依 据各种生物特征的特性，可将对它们的识别分别应用于不同的领域，也可以将各种生 物特征识别技术融合在一起，以便得到更可靠的效果。 人脸识别具有直接、友好、方便、易于为用户接受以及设备造价较低等优点。其 前景非常看好，从耳前的情况看来，也的确是非常喜人的。识别人脸是人类视觉最杰 出的能力之一，尽管对人类自己毫不费力，但实际上内在的机制是非常复杂的。因此 将人脸识别任务自动化不但具有非常重要的意义，还非常具有挑战性。 1 2 人脸识别研究的发展 人脸识别对我们来说并不是一个陌生的词汇，人脸识别研究也并不是一个新型的 课题。早在二十世纪六、七十年代，人脸识别就引起了研究者的兴趣，但限于技术水 平和计算机的能力，没有取得明显的进展。进入九十年代之后，由于各方面对人脸识 别系统的迫切需求，人脸识别的研究重新变得非常热门。目前，国内外许多研究机构 都致力于这一领域的研究。在美国，这些研究受到军方、警方以及大公司的高度重视 和资助，美国军方每年还专门组织人脸识别比赛以促进这一领域的发展。在国内，也 有些院校和研究机构从事人脸识别技术及相关的研究。近几年来关于人脸识别的研 究取得了丰硕的理论成果，并有不同的应用软件应运而生。尽管如此，仍然没有一个 华中科技大学硕士学位论文 完全的解决方案可以在无约束的情况下出色地完成人脸识别任务。 自动人脸识别是一个非常具有挑战性的问题，由于受人脸图像获取时光线、遮挡 以及化妆等因素的影响，人脸信息在质量上有很大的差别，给识别带来了很大困难。 更内在的原因是，人脸不同于普通物体，它是一种非刚体，即不同的人脸具有高度的 相似性，同个人的脸又具有不同的状态，刚体的识别算法不能应用，给识别带来了 更大的难度【1 】1 2 】。 1 3 人脸识别中的几个基本问题 人类的视觉系统是伟大而又神奇的，它无疑是目前世界上最棒的人脸识别系统。 通常人脸识别系统是把人类视觉系统作为参考而着手研究的，而我们的目的当然也是 要尽可能实现与其类似的功能。由于人类视觉系统的复杂性，要完全实现它的功能几 乎是不可能的，目前有关人脸识别的研究主要围绕以下几个方面进行。 ( 1 ) 人脸表示( r e d 阳s e r 咖i o n ) 人脸的表示是计算机实现人脸识别所遇到的首要问题。人类的记忆系统是相当复 杂的，人的大脑要记住一张人脸也许会很简单，可是计算机只能处理数字化的信息， 所以要用计算机存储人脸就不是那么容易的事情了。目前主要有象素灰度( 颜色) 信 息图像和特征向量两种表达方式，比较而言前者所包含的信息量大但是其存储量也大。 ( 2 ) 人脸检测( d 曲e c d o n ) 张人脸在被识别之前必须被定位，也就是我们通常所说的发现人脸，在一个指 定场景中判定人脸的存在性并确定其位置。这一方面的工作最终是要获得我们所关心 的单独的人脸，有可能没有人脸，也有可能是一张或者多张人脸。 ( 3 ) 人脸辨认( i d e n d f i c a t i o n ) 所谓辨认就是用监测到的人脸与已知人脸库中的人脸进行比较，从而确认出它是 不是人脸库中某张人脸，也就是我们通常所说的“认人”，这个我们人类看似简单的工 作让计算机来完成却相当困难。 ( 4 ) 表情分析( 柚a l y s i so f f a c ee x p r e s s i o n s ) 人们的生活都会有喜、怒、哀、乐，而这些体现在脸上就成了表情变化。因为表 华中科技大学硕士学位论文 情的变化就会影响到人脸图像的结构变化；反过来，通过人脸图像的结构信息是有可 能确定人脸表情的。从而致使表情分析也成为了人脸识别领域的研究课题之一。 ( 5 ) 分类( c l 髂s i f i c a t i o n ) 当我们看到某个人时，只要看到他的脸就很容易判断出他的年龄、性别、种族等 等，那么同样我们也可以用计算机来实现这样的分类。对于这方面的研究，不但需要 人脸特征信息，更需要丰富的经验知识来划分各个类别。 1 4 人脸识别技术的实际应用 一个实际应用的人脸识别系统主要由三个模块组成，分别是：1 、人脸检测跟踪 ( f a c ed c t e c t i o i l t r a c i r l g ) ，在图像中检测和定位人脸；2 、人脸识别，辨认匹配( f e r e c o 鲥t i o i l i d c d t i f i c a t i o i l ，m 曲c h ) ，在数据库中寻找与输入的人脸图像相近的人脸集合 ( w h oh eo rs h ei s ? ) ；3 、人脸验证，证实监督( f a c e 试6 c a t i o n a u 由e 丽c a t i o i i ， s u r 、吧i l l a n c e ) ，即判别输入的人脸图像是否是指定的人( i sh eo rs h es o m e b o d y ? ) 。从应用 角度看，人脸检测指辨别静态图像中是否存在人脸，若存在，就要确定其位置；人脸 跟踪指在一组连续静态图像所构成的动态视频中实时地检测人脸。人脸检测和跟踪技 术不但是后两个模块的基础，还可单独构成入脸检测和跟踪系统。人脸识另，辨认匹配 技术可用于公安刑侦追逃以及罪犯识别，某些情况会要求数据库存储几万，甚至几千 万张照片。人脸验证，证实，监督可用于自动门禁系统、身份证件的鉴别、银行a t m 取 款机以及家庭安全等领域。另外，据f e r e t 的f r v t 2 0 0 2 报道，最新的一种应用形式 是w a t c hl i s tt a s k h ，它是识别和验证两种技术的综合，对未知身份的人脸照片，系统 首先从整个数据库中检索出一个与之最相似的照片集合，如果最高的相似度超过某个 闽值，则在这个照片集合中进行身份的验证，给出该人的身份。 目前评价一个人脸自动识别系统的标准，一个是误识率，即将某个人错误的认为 是他人；另一个是虚警率，即将他人识别为这个人。这两者之间存在着一定的矛盾， 所以在实际的应用中往往根据实际情况进行折衷。比如对于安全性要求较高的计算机 自动登陆系统而言，虚警率应尽可能低一些，而误识率可以高一点。而对于人脸监测 和定位，则要求误识率尽可能地低。 华中科技大学硕士学位论文 1 5 一个典型的人脸识别系统( a f r s ) 一个典型的自动人脸识别和检索系统( a m o m a t i cf a c er e c o g n i t i o ns y s t e m ，a f r s ) 是由图1 - 1 所示的几个部分组成的。 果 图1 1 典型的人脸自动识别系统 下面分别阐述各部分的功能和作用： 图像获取部分负责获取图像。图像可能来自于摄像机、数码相机或者扫描仪等设 备，程序将其转换为可处理的格式。 检测定位部分分析和处理输入的图像，判断图像中是否有人脸，并准确定位。输 入的图像可能是静态或者动态的，可能是彩色或者灰度的，可能是简单背景下或者复 杂背景下的，程序要根据不同情况做出相应的处理，此部分是蟠r s 系统获得高性能 的前提。 正规化部分也可称为预处理部分。程序对提取到的人脸图像做尺度和灰度的归一 化处理，使不同图像中的人脸在大小和亮度方面统一。有的涉及到有角度的人脸识别， 这里往往还需要方向矫正以达到方向上的统一，通常这方面的工作比较困难。 基本图像处理部分包括一些最基本的图像操作。它为检测定位部分和正规化部分 提供必要的服务，如检测定位部分常需要对图像进行边缘提取以及二值化等操作；正 规化部分常需要对图像进行灰度归一等操作。 特征提取和选择部分依照某种策略从正规化后的人脸图像中抽取用于识别的特 征，即将表示原始人脸的数据映射到特征空间。原始图像的数据量相当大，为达到分 类识别和检索的目的，需要对原始数据进行变换，得到最能反映分类本质的特征。一 般地，把原始数据所在的空间叫做测量空间，把分类识别赖以进行的空间叫做特征空 4 华中科技大学硕士学位论文 闯。所谓的特征提取就是依照特征提取策略，把存在于较高维度测量空间中的模式转 变为较低维度的特征空间中的模式。特征空间中的一个模式，也就是特征空间中的一 个点l 5 j ，通常也q 做一个样本。 分类器部分就是利用已设计好的分类器进行分类识别，给出识别结果，并做出相 应的判断。这里有一个关键性的问题就是分类器的设计，它一般都是在系统工作之前 就设计好的。 1 6 本文的工作 本文对自动人脸识别系统几个部分中的一些理论问题进行了一定的研究，并对一 些算法做了比较分析，研究了艮l 变换、小波变换的特征提取方法。利用k l 变换的 方法来抽取人脸特征自9 0 年代以来一直受到很大的重视，也取得了很好的效果。尽管 它本身存在一些缺陷，但由于其具有简单、快捷、易行的特点，并且从整体上反映了 人脸图像的灰度相关性，我们可以看到，目前围绕k - l 变换的改进方法不断出现。本 文利用k - l 变换提取人脸图像的特征向量，并针对主元分析方法存在的一些缺点，用 小波变换的方法进行了前期处理。本文针对实验情况，对图像进行了二维小波变换， 分析了小波分解后的各个子带图像，最后发现低频子带最为稳定，所以实施了一种低 频子带图像为主，其它子带为辅的策略进行后续的处理。由于对各个子图处理是相似 的，可以说该方法在容忍一定程度表情变化的同时起到了降维作用，后续算法的复杂 度也大大降低了。本文的具体工作安排如下： 第一章：绪论，介绍了人脸识别的基本问题，人脸自动识别系统的组成及其在实 际中的应用情况。 第二章：人脸识别方法，概述了人脸识别的主要研究方法，并具体介绍了几种典 型的人脸识别方法，比如特征脸方法，弹性模板匹配方法【8 】等。 第三章：小波变换及其在人脸识别中的应用，本章主要介绍了小波分析在人脸识 别领域几个方面的应用情况，有助于启发我们在研究中解决实际的问题。 第四章：基于小波变换的加权特征脸方法，本章对特征脸方法做了一定的理论分 析，并作了详细的算法描述。在小波变换应用的启发下，提出了一种基于小波变换的 华中科技大学硕士学位论文 加权特征脸方法，该方法与一般的特征脸相比，从容忍表情变化的角度提高了识别率， 同时小波变换的降维降低了算法的复杂度。 第五章：实验结果与分析，本章给出了基于小波变换的加权特征脸方法在s 删i n 卧 o i 也人脸库中的实验，并对实验结果进行了分析。 第六章：总结与展望，包括对本文的总结以及对未来工作的展望。 6 华中科技大学硕士学位论文 2 1 国内外研究现状 2 人脸自动识别方法 国外关于人脸识别的研究已经开展多年，近期已有一些人脸识别算法用于商业产 品中，并得到了广泛应用州。从1 9 9 3 年开始，美国国防高级研究项目组( 功姒) 和美 国军方研究实验室( a r l ) 开展了f e r e t ( f a c i a lr e c o 嘶t i o nt e c l l n o l o g y ) 计划，建立了用 于测试人脸识别算法的标准人脸数据库f e r e td a t a b a ，并进行多次测试来比较已有 的各种人脸识别算法。最近的一次f e 刚玎测试f r v t ( f a c er o 辨砒o n 札d 饼t e s t ) 在 2 0 0 2 年7 月和8 月进行，共有l o 组研究单位参加了这次测试。f r v 亿0 0 2 主要评价人 脸识别系统在处理存有海量真实世界照片的数据库上的性能，该测试还评价了三种新 技术对改进人脸识别的影响。这三种新技术分别是三维可交模型( t h r e e 啦n e n s i o i l a l i n o 呐a b l em o d e l s ) 、相似度量的归一化( n o 珊a l i z a t i o fs i m n a 由s c o 糟s ) 和视频序列中 的人脸识别( f a c er e c o 倒畦o n 舶mv i d e os e q u e n c e s ) 。测试得出的结论是：前两种新技术 的采用可以显著地提高性能，第三种技术与在静态照片上识别相比，对性能的提高十 分有限【4 】。除此之外，关于人脸识别的国际会议一i e e ei t 蹦m t i o n a lc o n 向c n c eo n a u t o m a t i cf a c e 妣dg e s t u r er e c o 嘶t i o n 也已举行过多次，及时地展示这一领域最新的理 论和应用成果。 近几年来，国内有很多的研究机构开始人脸识别的研究，也取得了很大的进展， 已有一些工作向商品软件转化。2 0 0 2 年1 1 月2 6 日，由中科院计算所等单位承担的国 家“8 6 3 ”计划之一“面像检测与识别核心技术”( 始于1 9 9 4 年) 通过专家鉴定。该系统只需 l 1 0 秒或1 2 0 秒即可自动检测到人脸，在一般的p c 机上完成身份识别约需1 秒钟。 周志华等人州提出将神经网络集成应用于多视角人脸识别，通过多视角特征脸分析获 得人脸特征，识别精度从单一神经网络能达到的7 5 6 2 5 提升到9 7 。彭进业等人1 1 u j 提出了贝叶斯人脸识别方法中匹配准则的多个近似表达式的形式，以及一种实用的快 速计算方法，在此基础上，利用反对称双正交小波变换的微分算子功能，提出一种利 用两幅人脸图像的小波变换系数差作为模式矢量的贝叶斯人脸识别方法，与基于图像 7 华中科技大学硕士学位论文 灰度的方法相比，识别率提高8 左右。王蕴红等人提出基于奇异值分解和数据融合的 面像鉴别方法【1 1 】，该方法可以克服，j 、样本效应并引入正负样本学习过程，利用o r l 人脸数据库进行实验，用每个人的6 幅图像作训练，其它4 幅作测试，识别率为9 0 4 8 。 下面对几种典型的人脸识别方法进行介绍与分析。 2 2 特征脸识另i j 方法 2 2 1 特征脸方法介绍 l m y 和s i r o v i c h 将主分量分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 技术引入到 人脸识别领域后，t u r k 和p e n t l a n d 于1 9 9 1 年提出了基于p c a 子空间的特征脸方法 【3 】【1 2 】【1 3 1 ，并取得了巨大成功。p c a 又称k l 变换，它是将分散在一组变量上的信息 集中到某几个综合指标( 主成分) 上的探索性统计分析方法，以便利用主分量描述数 据集的内部结构，实际上起着数据降维的作用。 例如，使用0 r l 人脸数据库中的照片作为学习样本和测试样本，取( _ 1 2 0 ) 个样 本，并将第f 个样本的灰度图像表示成向量而= 【毛，x ：，靠】的形式，其中 m = 图像的总象素数= 图像宽度( 象素) 图像高度( 象素) 。如果人脸图像的大小 为3 2 4 0 象素，则聊= 1 2 8 0 ，这样的样本例子如图2 1 所示。 图2 - 1 人脸的原始图像和样本图像 将个样本对应的向量耳= 【_ ，x ：，k 】组成的埘维矩阵记为置x 的协方差 矩阵记为c 。我们将c 的特征值从大到小排序： 如九，丑对应的特征向量 华中科技大学硕士学位论文 为哪，全部的特征向量可以写成矩阵矽= 脚，心，弹， 的形式。因为c 的特征向量量 化后可以看出人脸的轮廓，所以又称为“特征脸”g e n f h c e ) 。这样，任意一张人脸照片 都可以投影到由，“：，”，张成的特征空间，得到的一组坐标系数称为k l 分解系数。 这组系数表示了该图像在特征空间中的位置，它可以作为人脸识别的依据，因此也可 以称为该图像的代数特征。 图2 2 中给出了用o r l 人脸数据库的一系列样本求得的前6 位特征脸。如前面所 阐述，由这些特征向量所组成的特征空间的维度为m 协( 拼，) 。由于对应于较小特征值 的特征向量可以忽略，所以这个空间变得很小，在接下来的细节部分，将详细阐述这 个问题。在实验中，特征矩阵中只取了对应前1 2 0 个较大特征值的特征向量，投影得 到的人脸特征也仅有1 2 0 维，远远小于原始灰度图像的维度1 2 8 0 。 图2 2 由样本所求得的平均脸和前6 个特征脸 在识别时，使用公式( 2 。1 ) 将一个人脸图像样本x 的偏差y 投影到特征空间，得 到一个维度较小的k - l 变换展开系数向量z 。 z = 1 j ，( 2 1 ) 与直接输入图像灰度值相比，用k - l 分解得到的系数向量表征人脸输入给分类器不但 在信息量上小得多，同时能更好地表征用于分类的信息。 2 2 2 特征脸方法的改进 一种较好的特征脸改进方法是丘s h e r 脸方法( f i 蛐c e ) 【15 1 ，众所周知，f i s h e r 线 性判别准则是模式识别里的经典方法，一般应用f i s h e r 准则是假设不同类别在模式空间 是线性可分的，而引起它们可分的主要原因是不同的人脸之间的差异。f i s h e r 的判别准 则是：不同类样本尽可能远，同类样本尽可能近。文献【1 5 】对用k _ l 变换和f i s h e r 准则 分别求出来的一些特征脸进行比较后得出结论：特征脸很大程度上反映了光照等的差 华中科技大学硕士学位论文 异，而f i s h e r 脸则能压制图像之间的与识别信息无关的差异。b e l h m e l l r 的实验【j 刈是通 过对1 6 0 幅人脸图像( 一共1 6 个人，每个人l o 幅不同条件下的图像) 进行识别，若 采用k l 变换进行识别，其识别率为8 1 ；若采用丘s h e r 脸方法则识别率为9 9 4 ， 显然f i s h e r 脸方法有了很大的改进。c h e n 西u n “u 在k l 变换基础上提出了p r m ( p m b a l i s t i cr e a s o n i n gm o d c l s ) 模型，并在p r m 中采用了贝叶斯分类器，它是利 用最大后验概率进行分类，其类条件概率密度的方差参数用类内散布矩阵来估计，而 且，p l u 请是采用马氏距离，而不是采用最小欧氏距离的判别准则，并且特征脸和f i s h e r 脸均可以看成是p r m 的特殊情况。 文献【1 9 】的改进方法是将人脸图像进行差异分类，可以分为脸内差异和脸问差异。 其中脸内差异属于同一个人脸的各种可能变形，脸间差异则表示不同人的本质差异， 而实际人脸图像的差异为两者之和。通过分析人脸差异图，如果脸内差异比脸间差异 大，则认为两人脸属于同一人的可能性大，反之属不同人的可能性大。假设该两类差 异都是高斯分布，则先估计出所需的条件概率密度u ，最后也归为求差图在脸内差异 特征空间和脸问差异特征空间的投影问题。如果说f i s h e r 脸的方法是试图减少光照等的 外在干扰，那么文献【1 9 】则是解决表情干扰的一点有效尝试，虽然这样的尝试还比较初 步。文献f 1 9 】中提到，a 妯a 在1 9 9 6 年进行的f e l u 玎人脸识别测试中，该算法取得了 最好的识别效果，其综合识别能力优于其它所有参加测试的算法。 而p e n a n d 等人将该方法推广到脸部特征编码上了，从而形成了特征眼，特征鼻 和特征嘴。这一推广所要做的另外一个重要工作就是这些特征部位的定位，p e n t l 趾d 等人最开始对于这些特征部位训练样本抽取是手工完成的，当然我们也可以运用眼睛、 鼻子等的监测与定位从雨让系统自动的完成这一过程。 高丽萍“叫还就此提出了特征半脸方法。这里主要是考虑到人脸表情变化中上半部 分变化没有下半部分大，因此在最后计算距离时上半部分采用较大的权重，下部采用 较小的权重，这样可以容忍一定程度的表情变化。 2 2 3 特征脸方法小结 如今特征脸方法用于人脸识别仍然存在如下一些弊病：首先，作为一种图像的统 华中科技大学硕士学位论文 计方法，图像中的所有象素被赋予了同等的地位，而角度、光照、尺寸及表情等干扰 会导致识别率急剧下降，因此较好的识别算法邓都对人脸进行了矫正处理，且只考虑 裸脸；其次，根据文献【2 l 】，人脸在空间的分布近似为高斯分布，普通的人脸位于均值 附近，而特殊的人脸则位于分布边缘，由此可见，越普通的人脸越难识别，虽然特征 脸的方法本质上抓住了人群的统计特性，但好的表达能力不等于好的区分能力；特征 脸虽然反映了特定库的统计特性，但不具有普遍代表性，如果要广泛地应用，需要训 练出具有普遍意义的特征脸；采用此方法的重要假设是人脸处于低维线性空间，即人 脸相加和相减后还是人脸，这显然是不可能的，因为即使在定位和尺寸相同的情况下， 由于部件的相对位置不同，相加、相减后的人脸也一样存在模糊，因此文献【2 2 】提出形 状无关人脸( s h 印e l e s s f i l c e ) 的概念，即依据脸部基准点将人脸变形到标准脸，再进行 特征脸处理。总之，有效的特征脸识别方法需要做大量预处理，以减少干扰，而如何 表达并去除表情因素则是识别的另一关键。 2 3 形状和灰度分离的可变形模型 文献 2 2 】提出了一个形状和灰度分离的模型，即从形状、总体灰度、局部灰度分布 3 个方面来描述一个人脸。其中，点分布模型用来描述人脸的形状特征，该点分布模型 中是用每点的局部灰度信息来描述人脸的局部灰度特征；然后用点分布模型将图像进 行变形，以生成形状无关人脸，再做特征脸分析，从而得到人脸的总体灰度模式分布 特征。这种三者相结合的识别方法，识别率为9 2 ( 3 0 0 个人脸) ，虽然该方法作了一 些改进，但构成该方法的基础仍是k l 变换。一般在特征脸的方法中，是由行或列扫 描后的人脸图像数据来生成特征脸子空间，这里则对应于3 种由不同类型参数生成的3 种特征子空间。该方法首先是循序取每点坐标位置信息，并将其排列成待训练数据以 生成形状特征子空间；然后对点分布模型的每一点用局部投影信息来代表该点附近的 局部灰度特征，再通过训练后生成与该点相对应的局部灰度分布特征子空间。若将所 有入脸的关键点都变形到规定位置，则生成形状无关人脸，然后对所有的形状无关人 脸进行特征脸分析，以生成特征脸子空间。虽然每一个特征子空间都可以单独用来识 别人脸，但若要完整地描述一个入脸，则需要3 个特征子空间的入脸参数。文献【8 还 华中科技大学硕士学位论文 试图通过形状特征子空间来分离和表情相关的参数，而设计形状和灰度分离的模型是 希望能够有个好的人脸模型。实验中，将这样的模型用于三维姿态复原、身份识别、 性别识别、表情识别以及人脸的重建，均取得了一定的效果。 2 4 基于小波特征的弹性匹配方法 2 4 1 基本原理 在k - l 变换中，待识别人脸x 和库中人脸c 之间采用了通常的欧氏距离来匹配。 虽然欧氏距离计算简单，但是当x 和c 只有位移、膨胀或是表情不同时，则欧氏距离 不会等于零，甚至很大，此外，若c 作为人脸库中的己知人脸模板，应该是描述人脸 的关键特征，它的维数并不需要和待识别人脸一样，因而此时欧氏距离就不合适：而 弹性图匹配法是在二维的空间中定义了这样一个距离，它对通常的人脸变形具有一定 的不变性，也不要求c 、x 维数一定相同。可采用属性拓扑图来表达入脸，其拓扑图 的任一顶点均包含一个特征矢量，它记录了人脸在该顶点位置的分布信息，如文献【1 1 】 中介绍的二维拓扑图的顶点矢量就是人脸经过小波变换后的特征矢量。在图像的敏感 位置( 如轮廓线、突出点等) ，小波变换后生成的特征矢量的模较大。用拓扑图来代表 已知和待识别人脸，还可根据匹配拓扑图算出它们的“距离”，作为人脸的相似度准则。 由于篇幅所限，详细的拓扑图生成过程见文献 2 3 】、 2 4 】。 人脸的相似度可用拓扑图的“距离”来表示，而最佳的匹配应同时考虑顶点特征矢 量的匹配和相对几何位置的匹配。假设有两个模式s 1 ，s ，如果前者是已知人脸上的网 格，后者是待识别人脸上的网格，从而可知，特征匹配即：s l 上的顶点i ，与s 中相对 应的顶点j ( j = m ( i ) ，m 为匹配函数) ，其特征的匹配度则表示i 和j 顶点的特征矢量相 似度，而几何位置的匹配则为s 中相近的两顶点，匹配后，s 1 中对应的两顶点也应该 相近，因此文献 1 l 】用了以下能量函数e ( m ) 来评价待识别人脸图像矢量场和库中已知 人脸的矢量场之间的匹配程度。 一莩l - 踹旧h 删 2 ， 华中科技大学硕士学位论文 ( 2 2 ) 式中的第一项是计算两个矢量场中对应的局部特征x i 和c i 的相似程度， 第二项则是计算局部位置关系和匹配次序。由此可见，最佳匹配也就是最小能量函数 时的匹配。 在求能量函数实现匹配的时候，可以有如下两种匹配的方法：其中一种是严格的 匹配方法；另一种匹配即所谓弹性图匹配方法。该方法是网格s 经过了变形，即由原 来网格s 中的一点对s l 中一点的严格匹配，变成了s 中一点和s l 中一点邻域范围内的 匹配，其目的是为了进一步减小能量函数，通过最终收敛到一个最小值，来实现弹性 匹配，正是这样的匹配容忍了表情的细微变化。 根据j 岫动柚g p q 对m 【t 、o l j v e t c i 、w 、) l ，i m 眦l 和b e m 等人脸库所形成的包括2 7 2 张照片的综合人脸库，分别用k l 方法和弹性匹配方法进行识别实验比较m 叫，所得的 识别率分别为6 6 和9 3 。其中k - l 变换的识别率很低，其原因主要是由于综合库里 来自人脸库的4 个人脸图像在光照上有很大的差异所造成的，文献【2 4 】之所以做出了弹 性图形匹配优于k l 变换的结论，其原因之一是由于拓扑图的顶点采用了小波变换特 征，而小波变换对于光线、变换、尺寸和角度具有一定的不变性。大家知道，小波分 析是一种时频分析，即空间一频率分析，若空间一点周围区域的不同的频率响应构成 该点的特征串，则其高频部分就对应了小范围内的细节，而低频部分则对应了该点周 围较大范围内的概貌。根据该原理，有关资料中提出了用数学形态学上的腐蚀扩张方 法形成的多尺度( 多分辨率) 特征矢量来取代小波特征，并证明了它具有和小波特征 相似的效果，能够反映空间一点周围的高低频信息。现已证明，弹性图形匹配能保留 二维图像的空间相关性信息，而特征脸方法在将图像排成一维向量后，丢失了很多空 间相关性信息。以上这些都是弹性匹配方法优于特征脸方法的原因，如特征脸方法中 向人脸库中加入新的人脸时，由于不能保证已有特征脸的通用性，因而有可能需要重 新计算特征脸，而对于弹性匹配的方法，不需要改变已有的数据，通过直接加入新的 模板数据即可，但计算较复杂是弹性匹配的一大缺点。根据提出的低层次特征和高层 次特征的定义，这里的小波特征类似于外界景物在人眼视网膜上的响应，属低层次特 征，没有线、面、模式的概念，低层次特征中信息的冗余不仅使得计算复杂，而且由 于大量与识别无关的信息没有被过滤掉，会使识别率大打折扣，另外特征脸也存在这 华中科技大学硕士学位论文 样的问题，其中典型的无用信息就是头发。 针对弹性匹配方法的缺陷，可从以下两方面进行改进：一是降低计算复杂度，即 对表达人脸的二维矢量场进行特征压缩和提取；二是减少冗余信息，即将所提取出来 的低层次特征和高层次特征( 如眼角、鼻端的位置等) 结合起来，以突出关键点的识 别地位。 2 4 2 对弹性匹配方法的改进及分析 文献【2 5 】提出了一种弹性匹配的改进方法，即将k l 变换应用于小波变换来生 成二维网格中顶点的矢量串，以减少其维数，从而大大减少了表达一幅人脸所需要的 特征数量，而识别率不会明显下降。 文献【2 6 】是采用人脸基准点，而不是采用二维网格作为拓扑图的节点，同时节点特 征也是小波变换特征，它忽略了除人脸重要部件以外的特征数据，把研究的重点直接 定位到感兴趣的区域。 文献【2 6 】还采用了和文献( 2 3 】不同的结构来存储人脸特征。 由于文献【2 3 】特征库的存储是面向人脸的，即对每一张人脸都需要存储描述该人脸 的整个拓扑图，因而导致了人脸的特征库很庞大。而文献【2 6 】特征库的存储是面向人脸 基准点的，且对应每个基准点有一串的特征矢量，当由某一人脸的对应基准点提取出 来的矢量不同于库中已有的任意矢量时，就添入到该结构中存储起来，并加以编号， 这样识别每个人脸只需知道人脸对应基准点在该存储结构中的特征矢量序号即可。该 存储结构的一个主要优点是，不同人脸在同一个基准点所对应的特征矢量可能相同， 因此和面向人脸的存储形式相比，数据量会大大减少；另一优点是该存储结构有很强 的表达潜力，设有1 0 个基准点，如库中每一基准点都存储了5 0 个特征矢量，那么该 存储结构能表达5 0 1 0 个不同的人脸。由此可见，文献 2 6 】对文献 2 3 方法的一大改进是 结合了人脸的高层次特征。 另外，弹性匹配方法在实现时，需要考虑具体的参数选择，如二维网格的大小、 小波变换参数的选择等，这些参数都会影响识别的效果。毫无疑问，有效的识别效果 依赖于关键识别信息的提取，如采取多大的人脸分辨率? 能否对提取出来的特征( 具 华中科技大学硕士学位论文 体的或抽象的) 进行筛选? 经验知识使我们关注人脸部件及其附近的特征，而能否再 次对这些特征进行筛选? 并有何依据? 文献【2 1 】正是很好地回答了这些问题。 文献【2 1 】的方法称为紧凑多层图形方法，它是采用三维的拓扑图来表达入脸。该图 构成了一个金字塔的人脸模型，而且每一层中节点的特征矢量也是小波变换的结果， 通过这样的金字塔模型就实现了同一个人脸的多分辨率表达。另外，文献【2 1 】有如下两 点创新；( 1 ) 将高低层特征联系起来，并通过手工选择一些关键点( 如眼角、嘴角等) 来定位三维拓扑图，同时去除了背景、头发等所在节点；( 2 ) 对三维拓扑图的特征进 行了特征选择，选出了活跃的特征( 包括节点内的特征分量和不同节点之间两种活跃 性能比较) ，还去除了相当多的贡献不大的特征，从而形成了人脸的稀疏表达。由于特 征选择后，不同人脸的拓扑图保留的节点不完全一样，因此用于比较的两个人脸的三 维拓扑图在数值上和结构上都不相同，为此，文献( 2 1 】定义了一种距离来计算它们的相 似度。为提取活跃特征，我们曾尝试利用那些手工提取的关键点，来生成训练库的形 状无关模型( 不是形状无关人脸) ，即通过插值小波变换后生成的二维拓扑图来形成人 脸的连续表达模型，并假设所有人的脸内差异( 即表情等) 相同，然后根据训练库的 统计形状无关模型，在人一张照片的情况下，估计出个人表达模型中的活跃特征。 打个比方，人的眼睛都是相似的，假设眼睛的分布为离斯分布，那么一个眼睛距离平 均眼睛越远，这个眼睛的特征就越显著，即如果有一定的与众( 平均眼) 不同性，就 可以认为是该人的活跃特征，详细内容参考文献【2 l 】，该文有很