（应用数学专业论文）人脸识别的弹性匹配改进方法研究(1).pdf

、i ；i l ，k - - ：、上 ，llj1 at h e s i si na p p l i e dm a t h e m a t i c s iiillllljrlllllllllflflllllllllllll111|hiiilllifllliiiiiillllll11111 y 1 8 4 2 0 4 5 f a c er e c o g n i t i o nb y i m p r o v e d e l a s t i c m a t c h i n g b yw a n gc a i y u n s u p e r v i s o r ：p r o f e s s o rz h a n gx i a n g d e n o r t h e a s t e r nu n i v e r s i t y j u l y2 0 0 8 p 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 ：也 恧。 学位论文作者签名：王雾j 日 期：p j i 牟7 彤f i i 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年口一年口一年半口两年口 学位论文作者签名：王犀；云 签字日期：加驴务7rf 鼠 导师签名：弘街t 4 ； 签字日期： 沙舒、6 k r 东北大学硕士学位论文 摘要 人脸识别的弹性匹配改进方法研究 摘要 人脸识别作为一种非接触式、侵犯性小、易于被大众接受的生物特征识别技术，在 理论研究和实际应用中都有着广泛的前景，是应用数学与图像处理以及模式识别多学科 交汇。 本文首先介绍了当前人脸识别算法的应用情况和人脸识别的六种方法，重点研究了 基于弹性匹配方法的人脸识别和基于广义主成分分析方法( g p c a ) 的人脸识别，并对这 两种方法提出了改进，具体内容如下： 第一，研究了基于模板和关键点的弹性图匹配算法，并在此基础上做了改进，通过 在o r l 人脸库中进行实验得到改进后的人脸识别率。 第二，实现了g a b o r 人脸识别过程，通过g a b o r 变换提取人脸图像的特征矩阵，在 识别率没有下降的基础上，采用小波降维，减少计算量。研究了广义主成分分析方法， 并在此基础上提出了改进方法，对人脸图像在水平方向和垂直方向上分别做主向量提 取，通过对这两个方向上的特征矩阵进行适当的加权运算，从而得到一个新的矩阵，并 进行识别。这两种方法均在o r l 人脸库中进行了具体的实验，得到了优于主成分分析 方法的人脸识别结果。 第三，利用g a b o r 和广义主成分分析方法的优点，将g a b o r 变换与广义主成分分析 方法的有机组合，得到一种新的人脸识别算法，本文给出了具体算法步骤，在具体运行 中采用了小波降维，降低了图像矩阵的维数，减少了计算量，同时，在o r l 人脸库中 的进行具体实验，取得到了较好的识别结果。 第四，g a b o r 与r b p 神经网络的结合，充分利用了r b p 神经网络的结构简单，非 线性匹配逼近能力强、收敛速度快和全局收敛的特点，将提取的g a b o r 人脸特征进行细 则分类，取得良好效果。 关键词：人脸识别；弹性匹配；g a b o r 变换；广义主成分分析；特征脸 i i j 1 东北大学硕士学位论文 a b s t r a c t f a c er e c o g n i t i o nb yi m p r o v e de l a s t i cm a t c h i n g a b s t r a c t f a c er e c o g n i t i o ni san o n - c o n t a c t , l i t t l eo fv i o l a t i o na n de a s i l ya c c e p t e dm e t h o di nt h e f i e l do fr e c o g n i t i o ni nb i o m e t r i ct e c h n o l o g y , t h er e s e a r c ho fi th a sn o to n l yt h et h e o r e t i c a l r e s e a r c hv a l u eb u ta l s ow i d ea p p l y i n gp r o s p e c t , a n di ti st h em e e t i n g - p o i n to fa p p l i e d m a t h e m a t i c s ，i m a g ep r o c e s s i n ga n dp a t t e r ni d e n t i f i c a t i o n i nt h i st h e s i s ，t h ec u r r e n tf a c er e c o g n i t i o na l g o r i t h m sa n dt h ea p p l i c a t i o n so ff a c e r e c o g n i t i o na r es u m m a r i z e df i r s t l y ；a l s ot h es i xf r e q u e n tu s e dm e t h o d sf o rf a c er e c o g n i t i o n t h ef a c er e c o g n i t i o na l g o r i t h m sb a s e do ne l a s t i c g r a p hm a t c h i n ga n dt h eg e n e r a l i z e d p r i n c i p l ec o m p o n e n ta n a l y s i s ( g p c a ) a l et h er e s e a r c hp r i o r i t y i na d d i t i o n , s o m ei m p r o v e d m e t h o d so ft h ee l a s t i cg r a p hm a t c h i n ga r ep r o p o s e d t h em a i nc o n t e n to ft h i sp a p e ri sa s f o l l o w s ： f i r s t ，t h ee l a s t i cg r a p hm a t c h i n gf a c er e c o g n i t i o na l g o r i t h mb a s e do ns i g n i f i c a n tp o i n ti s i n t r o d u c e d ，a n di m p l e m e n t e di no r ld a t a b a s e s e c o n d ，r e a l i z et h ea l g o r i t h mb a s e d0 1 1g a b o rw a v e l e tf i l t e r t h r o u g ht w od i m e n s i o n a l g a b o rw a v e l e t st r a n s f o r m , c h a r a c t e r i s t i cm a t r i xi ss h 印e db yf e a t u r ee x t r a c t i o n , w i t h o u tt h e d e c l i n eo fr e c o g n i t i o nr a t e , w a v d e ti sa p p l i e dt or e d u c ef a c em a t r i xd i m e n s i o n sf o rt h es i m p l e c a l c u l a t e g e n e r a l i z e dp r i n c i # ec o m p o n e n ta n a l y s i si si n t r o d u c e d a ni m p r o v e dm e t h o di s a l s og i v e nb yd o i n gt w o g e n e r a l i z e dp r i n c i p l ec o m p o n e n ta n a l y s i si nt h eh o r i z o n t a ld i r e c t i o n a n dt h ev e r t i c a ld i r e c t i o n t h ee x p e r i m e n t so ft h et w om e t h o d sc a r r i e do u ti no r l d a t a b a s e s h o w st h a tt h er e c o g n i t i o nr a t eo ft h en e w a l g o r i t h mi sv e r yw e l l t h i r d , t a k et h ea d v a n t a g eo fb o t hm e t h o d s , an e wm e t h o db a s e do nt h ec o m b i n a t i o no f g a b o rw a v e l e tt r a n s f o r ma n dg e n e r a l i z e d p r i n c i p l ec o m p o n e n ta n a l y s i s ( g p c a ) i sp r o p o s e d i nt h i st h e s i s ，t h ec o n c r e t es t e p sa r es h o w i n g , t h ew a v e l e ti sa l s oa p p l i e dt or e d u c ef a c e m a t r i xd i m e n s i o n sf o rt h es i m p l ec a l c u l a t i l l g t h ee x p e r i m e n t si no r ld a t a b a s es h o w st h a t t h en e wa l g o r i t h mi m p r o v e st h er e c o g n i t i o nr a t eh a v es u p e r i o r i t yo v e re i t h e ro ft h et w o m e t h o d s f o r t h ，t h ea l g o r i t h mb a s e do i lt h eg a b o rw a v e l e tf o rf e a t u r ee x t r a c t i o na n dr b pn e u r a l i i i 东北大学硕士学位论文abs觚ct n e t w o r ka s c l a s s i f i e r , t a k ef u l l a d v a n t a g e so fr b pn e u r a ln e t w o r ks i m p l es t r u c t u r e , m u s c u l a r i t ya p p r o a c ho fn o n l i n e a rp h a s e - m a t c h i n g , g l o b a lc o n v e r g e n c ea n di t sh i g hs p e e do f c o n v e r g e n c e i ti sg o o df o rf a c e sc l a s s i f y i n g , w h i l ef e a t u r ee x t r a c t i o ni sb a s e do ng a b o r w a v e l e tt r a n s f o r m ，a n dt h ee x p e r i m e n tr e s u l t ss h o wt h a ti ti sa g o o da l g o r i t h m k e yw o r d s ：f a c er e c o g n i t i o n ；e l a s t i cm a t c h i n g ；g a b o rw a v e l e tt r a n s f o r m ；g e n e r a l i z e d p r i n c i p l ec o m p o n e n ta n a l y s i s ( g p c a ) ；e i g e n f a c e i v ， 东北大学硕士学位论文 目录 目录 独创性声明i 摘要i i a b s t r a c t i 第1 章绪论1 1 1 人脸识别研究背景和意义：l 1 2 人脸识别的应用现状1 1 3 人脸识别研究过程遇到的困难。3 1 4 本文的主要研究方法3 第2 章人脸识别的研究5 2 1 人脸图像的预处理。5 2 2 人脸识别的研究8 2 2 1 基于几何特征的人脸识别方法9 2 2 2 基于模板匹配的人脸识别方法1 0 2 2 3 基于特征脸的人脸识别方法1 0 2 2 4 基于隐马尔可夫模型的人脸识别方法1 l 2 2 5 基于神经网络的人脸识别方法1 l 2 2 6 基于弹性图匹配的人脸识别方法1 2 2 3 基础知识介绍。1 2 2 3 1 小波介绍1 2 2 3 2g a b o r 滤波和g a b o r 核函数13 2 3 3 距离函数的选取与方法介绍1 6 2 4 基于弹性匹配的人脸识别方法o 1 6 2 4 1 基于关键点的弹性图匹配1 7 2 4 2 基于模板的弹性图匹配“1 7 2 4 2 1 弹性模板匹配的理论基础1 8 2 4 2 2 改进的弹性模板匹配算法1 9 v 东北大学硕士学位论文 目录 2 4 2 3 小波分解的降维处理。2 l 2 4 2 4 实验结果与分析2 2 2 5 基于广义主成分分析的人脸识别方法2 4 2 5 1k - l 变换2 4 2 5 2 广义主成分分析的人脸识别算法2 5 2 5 3 改进的广义主成分分析算法2 6 2 5 4 实验结果与分析2 7 2 6 本章小结2 9 1 第3 章基于g a b o r 变换的人脸识别方法的改进3 1 3 1 基于g a b o r 和广义主成分分析的人脸识别算法改进3 l 3 2 基于g a b o r 变换和神经网络分类器的人脸识别方法3 2 3 3 实验结果与分析3 4 3 4 本章小结3 5 第4 章总结与展望3 7 参考文献3 9 致谢4 3 ， v i 东北大学硕士学位论文 第1 章绪论 第1 章绪论 1 1 人脸识别研究背景和意义 随着计算机和网络技术的发展，信息安全已成为一种前沿发展课题，国家安全、公 安部门的案件侦破、安全检查、保安监控等都需要严格准确的身份验证。我们日常生活 ， 中经常用到的i c 卡或密码，这些方式往往给我们带来很多不便，如容易遗忘或被仿制 ， 的问题。生物特征识别技术的发展，为我们提供了这方面更为便利的、安全的保护体系。 生物特征识别技术是利用人体特有的生理或行为特征进行身份识别，目前，用于身 份鉴别的生物特征主要分两类，即身体特征和行为特征，身体特征是与生俱来的，行为 特征通常是后天习惯养成的。身体特征主要为指纹、虹膜、人脸图像等；行为特征主要 是走路姿态、声音、笔迹等。从理论上讲，这些生物特征只要满足唯一性、稳定性、取 样方便性、用户可接受性、防伪性等条件都可以作为识别身份的特征。 相对于其它生物特征识别方法，人脸识别方法具有非接触式、侵犯行比较小、容易 让人接受、使用者无心理障碍等优点，成为一种友好方便的识别技术。然而，人脸识别 对外界环境，如光照、姿态、年龄变化等因素比较敏感，在识别过程中容易受装饰物、 摄影器材、图像传输条件等的影响，使人脸识别率不能达到预期目的；同一个人在不同 时期的照片不同以及不是同一个人照片有可能相似也构成了人脸识别技术中的困难。 如何建立自动人脸识别系统是一个极具挑战性的工作，虽然目前国内外已经有很多 实用性的识别系统问世，但也只能在比较苛刻的条件下完成，没有达到人们满意的效果。 识别过程遇到的困难，推动了模式识别、计算机视觉等各个领域的理论发展，其巨大的 市场价值和现实应用意义促使我们投入更多精力在识别体系的研究上。同时，人脸识别 、 也具有十分广泛的实用意义，可以应用于对犯罪分子、恐怖分子的追踪识别、机场安检 口身份证检查、智能视频监控、电脑网络安全、自动门卫系统等，都为我们的信息安全 一i 提供了更为便利、安全的保障。 1 2 人脸识别的应用现状 2 0 世纪6 0 年代，b l e d s o e 1 】提出了入脸识别的半自动系统模式与特征提取方法；7 0 年代，美、英开始重视人脸识别的研究工作，并设计出了人脸图像自动识别系统；8 0 年代初t u r k 6 1 研究出了更优的自动人脸识别系统；9 0 年代，人脸识别进入真正的机器 l - 东北大学硕士学位论文第1 章绪论 自动识别阶段，包括k - l 变换和神经网络技术。人脸检测识别主要由人脸检测和人脸 识别两个关键环节组成。人脸检测是指利用计算机在输入图像中确定所有人脸的位置、 大小，是人脸信息处理中的一项关键技术。人脸识别是指利用计算机分析人脸图像，进 而从中提取有效的识别信息，用来“辨识 身份的一门技术。 在现实应用方面，国外已有些人脸识别算法用于商业产品，如m i r i o 公司开发的人 口控制的t u r e - f a c e - g a t e w a t l 、视频监控系统z n s m a r t e y 。2 0 世纪9 0 年代，美国国防 高级研究项目组和美国军方研究实验室开展了f e r e t ( f a c er e c o g n i t i o nt e c h n o l o g y ) 计 划，建立了用于测试的人脸识别算法的标准人脸数据库f e r e t 人脸数据库是目前被认 为是比较权威的人脸数据库，其中每人8 张照片，两张正脸，3 张从右到左为不同侧面 角度的照片。该数据库中不包含戴眼镜的照片，人脸大小约束在规定范围内，而且照片 数量在逐年增长，但非美研究结构的获取不方便。英国剑桥大学a t & t 实验室制作的、 也是应用最广泛的o r l 人脸数据库，由4 0 个人，4 0 0 幅图片构成，图像尺寸为9 2 x l1 2 ， 图像背景为黑色。其中人脸脸部表情和细节均有变化，人脸姿态也有变化，其中深度旋 转和平面旋转可达2 0 度，也是本文应用的数据库，图1 1 给出了o r l 人脸库中的某一 个人的1 0 幅图像。 图1 1o r l 数据厍中部分人脸图像 一 f i g1 1 $ o i b op i c t l 麟o f o r lf a e 燧d a t a b a 国内在此方面的研究，起步虽晚但速度快，有些正在转化为商品软件。在理论研究 方面，赵海涛r 7 】等人通过提取人脸图像的形状和纹理特征，运用广义k - l 变换降低形状 和纹理空间的维数，避开人脸识别小样本集的局限同时，通过运用具有统计小相关性的 最佳鉴别变换，来抽取人脸图像的有效鉴别特征；杨健【1 川等人提出了一种基于图像矩阵 的图像投影鉴别分析方法，具有能够消除投影特征向量之间相关性的优点；谷春亮【1 1 1 一 等人将三维多分辨率模型与f i s h e r 线性判别结合起来，利用重采样技术构造了三维多分 辨率模型，同时结合f i s h e r 线性判别，更有效地排除光照、姿态的影响。 2 - 东北大学硕士学位论文第1 章绪论 1 3 人脸识别研究过程遇到的困难 人类能够准确地从背景中检测并识别出人脸，这种识别能力很强，且稳定性好，即 使在视觉上发生某种程度的改变，如：不同视角、表情、年龄增长、发型改变等，人类 也能很好的进行识别。如何构造出如人眼这样的自动识别机制来完成识别系统在目前仍 是个难题。 评价一个人脸识别系统的标准有两个：( 1 ) 正识率，即若待测人脸属于已知的人脸 库，系统能将其正确识别的概率；( 2 ) 拒识率，即若待测人脸不属于已知的数据库，系 统将其识别为不属于已知库的概率。现实研究中更看重正确识别的概率。 人脸识别的本质是将一个三维物体进行二维投影图像的匹配问题，在研究识别过程 中的主要问题有： ( 1 ) 同民族人的脸型有很大相似性。 ( 2 ) 人脸表情丰富、随年龄的变化而变化造成了入脸图像的不确定性。 ( 3 ) 人脸因装饰物( 发型、胡须、眼镜) 的不同引起人脸图像的多样性。 ( 4 ) 人脸图像在获取过程中的不确定因素，受光照强度、成像角度、摄影器材等条件的 约束。 ( 5 ) 二维人脸在重构三维人脸过程中存在数据丢失和不确定因素。 ( 6 ) 人脸识别还涉及到图像处理、计算机视觉、模式识别以及神经网络等多学科的知识。 ( 7 ) 在图像的频率域处理领域，人脸图像的细节在高频部分显示，很难与噪音分离。 ( 8 ) 复杂背景下，与人脸肤色相近的背景容易干扰人脸的检测和人脸特征的提取。 ( 9 ) 静态下的人脸识别不能直接应用于动态非静止的视频图像中的人脸识别。 1 4 本文的主要研究方法 本文主要研究静态的、采用o r l 标准人脸库中的人脸图像进行人脸识别。 第一，介绍了人脸识别系统在现实生活中的应用现状和应用背景以及国内外在人脸 识别算法的研究中的具体情况，并分析了当前人脸识别中所遇到的困难。 第二，根据各自的优缺点以及发展时间，介绍了六种常用的人脸识别算法，重点研 究了弹性匹配算法和广义主成分分析方法( 6 m c a ) ；对于这两种算法，本文在o r l 人 脸库上通过具体试验进行识别结果的比较，进行实验比对过程中，通过在主成分分析方 法的基础上做出的改进，进一步提高了正确识别率。 - 3 - 东北大学硕士学位论丈第1 章绪论 第三，提出了g a b o r 小波变换与广义主成分分析方法结合的人脸识别算法，并通过 小波变换对得出矩阵的进行降维处理，减小了运算量，在o r l 人脸库上的实验取得较 好结果 第四，提出了g a b o r 小波变换与r b p 神经网络分类器结合的人脸识别算法，充分 利用了g a b o r 的特性和r b p 神经网络分类器的优点，在o r l 人脸库上进行实验，得出 了细分规则2 中的取值大于l 时，人脸识别能够得到最好识别率。 第五，本文实验过程采用m a t l a b 数学软件对算法进行具体实现，m a t l a b 编程语言 简单、数学算法易于实现，是处理数学问题的较好工具。 4 东北大学硕士学位论文第2 章人脸识别的研究 第2 章人脸识别的研究 2 1 人脸图像的预处理 图像的平移，即在砂平面上图像中所有的点的坐标都加上缸缈， k 川叱，融习 眨， t ”，y ，= t 而y ，l c o s ：l o pcsi茗no口； c 2 2 ， (a)(” ( c ) 图2 1 ( a ) o s l 人脸库中的图像( b ) 对原始图像采用双线形插补运算旋转3 0 度后的图像( c ) 对原始 图像采用双立方插补运算旋转3 0 度后的图像 f i g2 1 ( a ) t h ep r i m a r yp i c t u r eo fo r l f a c e sd a t a b a s ec b ) p i c t u r ea f t e rb i l i n c a rm e t h o di n3 0 d e g r e e s p i c t u r e ( c ) p i c t u r ea f t e rb i - e u b i cm e t h o di n3 0d e g r e 燃 图2 1 给出了o r l 人脸库中的原始图像，以及图像经过双线形插补旋转和双立方 插补旋转3 0 度后的图像。 - 5 - 卜，。】：。五y ，。，：七0 三 。2 3 ， 【0 0 l j 以，：) ：互 ( 2 4 ) 其中，：为第i 个灰度级，氇为第f 几灰度的像素数，刀为这幅图像的像素总数，直方图变 = r ( 气) = 喜詈= 喜只，；) ( 2 5 ) 6 东北大学硕士学位论文 第2 章人脸识别的研究 原始图片 囵 01 加001 2 均衡盾的图片 ( a )( b )( c )( d ) 图2 2 ( a ) o r l 人脸库中的原始图片( b ) 原始图片的直方图( c ) 原始图片经直方图均衡化后的直方图 ( d ) 直方图均衡化后的图片 f i g2 2 ( a ) t h ep r i m a r yp i c t u r eo fo r l f a c e sd a t a b a s e ( b ) p r i m a r yh i s t o g r a m ( c ) h i s t o g r a me q u a l i z a t i o n ( d ) t h ep r i m a r yp i c t u r ea f t e rh i s t o g r a me q u a l i z a t i o n 灰度归一化 图像增强的方法主要包括灰度修正、平滑滤波和锐化处理等，在实际应用中可以采 用单一方法，也可以采用几种方法的联合处理，达到图像增强的效果，本文主要采用灰 度修正。 通过灰度变换，将不同图像的灰度分布参数调整为统一的预设的数值，设一个 m x n 的图像的灰度矩阵为l ( x ，y ) ，l j s m ，l y s ，这个图像的灰度均值和方差分 别为： 2 刍；莓地，力 ( 2 6 ) ( 2 7 ) 为了将图像的均值和方差都调整到给定的鸬，吼需要对图像进行如下变换： j ( 工，j ，) = 粤( ，( x ，j ，) 一) + 风 ( 2 8 ) 仃 通常在图像处理中取觞= 0 , o - 0 = l 。 灰度归一化可以使不同灰度分布的图像按照图像处理的要求做归一化处理，图2 3 为o r l 人脸库中的人脸原始图像和经过灰度调解后的图像，以及它们的直方图。 - 7 东北大学硕士学位论文 第2 章人脸识别的研究 厦始图片 图 原始瞳片的直方图 灰度调节宿的直方壅 灰度调节眉的豳 (a)(b) ( c )( d ) 图2 3 ( a ) o r l 人脸库中的原始图片( b ) 原始图片的直方图( c ) 经灰度均衡化的图片( d ) 灰度均衡化后 的直方图 f i g2 3 ( a ) t h ep r i m a r yp i c t u r eo fo r l f a c e sd a t a b a s e ( b ) p r i m a r yh i s t o g r a m ( c ) p i c t u r ea f t e r l i n e a r i z a d o no fg r a y ( d ) l i n e a r i z a t i o no fg r a y - 一l e v e lh i s t o g r a m 2 2 人脸识别的研究 人脸自动识别的研究大致分为人脸检测、人脸特征提取、人脸识别和表情分析等方 面。 图2 4 人脸自动检测和识别系统的构成 f i g2 4t h es y s t e mo fa u t o m a t i cd e t e c t i o na n dr e c o g n i t i o nf o rh u m a nf a c e si m a g e 人脸检测( f a c ed e t e c t i o n ) 就是从各种不同的场景中检测出人脸的存在并确定其位 置。在某些情况下由于图像( 照片) 的获取环境是可以人为控制的( 如身份证照片等) ，因 而人脸的定位可以轻易地做到，但在大多数场合中由于场景较复杂，人脸的位置是预先 不知道的，因而首先必须确定场景中是否存在人脸，如果存在人脸，再确定其位置。脸 部毛发、化妆、光照、噪声、面部倾斜和人脸大小变化以及各种各样遮挡等因素会使人 脸检测问题变得更为复杂。 人脸特征提取主要指采取某种表示方法表示检测出的人脸和数据库中的已知人脸。 通常的表示方法包括几何特征( 如：欧氏距离、曲率、角度等) 、代数特征( 如：矩阵特 加 帕 加 o 东北大学硕士学位论文第2 章人脸识别的研究 征向量) 、固定特征模板、特征脸等。 人脸识别( f a c ei d e n t i f i c a t i o n ) 就是将待识别的人脸与数据库中的已知人脸比较，得 出相关信息。其过程是选择适当的人脸表征方式与匹配策略。整个识别系统的构造与人 脸的表征方式密切相关。 表情分析( e x p r e s s i o na n a l y s i s ) 就是对待识别人脸的表情( 快乐、悲伤、恐惧、惊奇 等) 信息进行分析，并对其进行分类。到目前为止，由于该问题的复杂性，人们对表情 分析的研究还处于起步阶段。s c h l o s b e r g 1 8 】首先提出了表情描述的三个量化尺度：注意 拒绝( a t t e n t i o n - r e j e c t i o n , a - r ) 、高兴- 不高兴( p l e a s a n t - u n - p l e a s a n t ，p u ) ，活跃程度( l e v e lo fa c t i v a t i o n ) 目前，应用于实际商品中的主要是数码相机的笑脸识别技术。 物理分类( p h y s i c a lc l a s s i f i c a t i o n ) ，即对待识别的人脸按其生理特征进行分类，如性 别，种族，年龄等。有的时候我们还要求根据父母图像，推测出孩子随年龄变换出现的 面部变化的预期估算，由于涉及到很多学科知识的结合，这是人脸识别中非常困难复杂 的部分。 非运动图像的人脸识别方法主要有三个研究方向：( 1 ) 基于统计的识别方法，包括 特征脸法和隐马尔可夫模型方法；( 2 ) 基于连接机制的识别方法，包括一般的神经网络 法和弹性图匹配方法；( 3 ) 其它的一些综合方法。下面把这些方法作具体介绍。 2 2 1 基于几何特征的人脸识别方法 人脸的几何特征主要是指人脸的五官，即眼睛、鼻子、嘴巴、耳朵等的局部几何形 状特征、脸型特征以及五官在脸上分布的几何特征。基于几何特征的识别方法首先将人 脸用几何特征矢量表示，识别归结为特征矢量问的匹配。几何特征矢量是以人脸器官的 形状和几何关系为基础的特征矢量，其分量通常包括指定两点间的欧氏距离、曲率、角 度。人脸器官的关键点分别对应于不同的积分投影方式产生的波峰波谷，根据人脸结构 的先验知识，得出人脸各器官之间的几何位置关系。 p o g g i o 和b r u n e l l i 7 将( 1 ) 眉毛厚度及眉毛与眼睛中心的垂直距离，( 2 ) 鼻子的垂直 位置和宽度，( 3 ) 鼻子水平位置上脸的宽度，( 4 ) 鼻尖与眼睛的中间位置处脸的宽度，( 5 ) 嘴巴的垂直位置、宽度、及上下唇的高度，( 6 ) 1 1 个眉毛形状参数和1 1 个下巴形状描 述参数用积分投影提取出3 5 维人脸特征矢量用于模式分类得到了较好的结果。 基于几何特征的识别方法因其符合人类识别人脸的机理，易于理解；对每幅图像只 需存储一个特征矢量，存储量小；且对光照变化不太敏感在人脸识别技术前期被广泛应 9 东北大学硕士学位论文第2 章人脸识别的研究 用。但从图像中抽取稳定的特征比较困难，对强烈的表情变化和姿态变化的鲁棒性较差， 而且一般的几何特征只能描述部件的基本形状和结构关系忽略了局部细微特征造成部 分信息丢失，这些缺点使基于几何特征的识别方法只能用于粗分类。 2 2 2 基于模板匹配的人脸识别方法 模板匹配法主要是利用计算参考模板和测试图像灰度的相关量来实现识别功能。这 种方法要求两幅图像要有相同的尺度、取向和光照条件，预处理要做尺度归一化和灰度 归一化的工作。常见的模板主要分为两种：一类是将整个人脸看城市一个椭圆；另一类 是将人脸用一组独立的小模板表示，如眼睛模板、嘴巴模板、鼻子模板、眉毛模板等。 实际操作中的模板制作可通过在图像上手工取点法。 p i g g i o 和b r u n e l l i t j 比较了基于几何特征的和基于模板匹配的人脸识别方法，实验 结果表明在人脸尺度和光照、姿态稳定的情况下，基于几何特征的人脸识别方法识别速 度快、内存要求小，基于模板匹配的方法识别率高。增加几何特征对于基于几何特征的 人脸识别方法只能轻微的提高识别率，随着图像质量的下降和人脸的遮挡，基于几何特 征的人脸识别效果会大幅度下降。因此，模板匹配法要优于基于几何特征的人脸识别方 法。 2 2 3 基于特征脸的人脸识别方法 特征脸法本质是基于特征的方法，主成分分析法( p c a ) 是一种常用的方法。完整的 p c a 包括人脸图像预处理、训练形成特征子空间、把测试图像投影到特征子空间并选 则一定的距离函数进行识别三个步骤。 p c a 的实质是k - l 展开的网络递推实现，k - l 变换是图像压缩中的一种最优正交 变换，其生成的矩阵一般为训练样本的总体散布矩阵。其中，对应较大特征值的向量具 有人脸相似的形状，故称其为特征脸。 图2 5 采用p c a 方法得到的特征脸 f i g2 5t h ee i g e n f a c e so ft h em e t h o dp c a 由于特征脸法会随光照、角度和人脸尺寸等因素的引入，识别率急剧下降，因此， 1 0 东北大学硕士学位论文第2 章人脸识别的研究 特征脸法存在着理论上的缺陷，因此出现了相形歧义分析法【1 2 1 、双子空间法【1 4 1 、f i s h e r 脸方法f 2 8 1 、以及与几何特征结合的t p c a ( t o p o l o g i c a lp r i n c i p a lc o m p o n e n ta n a l y s i s ) 2 9 】 等。与k - l 变换相似的奇异值分解法( s v d ) 因具有：( 1 ) 人脸图像的奇异值有良好的稳 定性，当图像有i i t d , 的扰动时，奇异值变化不大；( 2 ) 奇异值表示了图像的代数特征， 并且同是拥有代数和几何不变性，即对图像灰度值的比例变化、平移、旋转和伸缩不变 性的优点，成为一种好的识别方法 ，2 2 4 基于隐马尔可夫模型的人脸识别方法 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 3 0 1 是用于描述信号统计特性的一组 统计模型，是一个双重的随机过程。在模型中，节点表示状态、有向边用来表示状态转 移，同一特征用不同状态表示时，其概率也不相同，又因为同一特征序列可能对应多个 状态序列，这又使得特征序列与状态序列关系的不确定性，因此，模型对状态序列是隐 性的。 h m m 模型：誓= ( z ，a ，p ) 下面为各元素表示含义，状态集z = 协，z 2 ，知 其中 为状态总数，模型在f ( 1 f t ) 时刻的状态s ( t ) z ，其中r 为观察序列的长度；初 始状态分布p = 锄) 其中a = 尸( & = 乃) ( 1 i 忉；状态转移矩阵a = ) 其中 n = p ( s j = z j i s , 一l = z al i ，j n 由概率的知识可知：o g a 簟1 ，且= 1 。 ，i i 对h m m 模型进行训练抽取观测向量后，计算每个给定的m m 人脸模型的观测序 列概率，具有最大概率的模型，该模型对应的人脸图像即为所识别的人脸图像。删 主要涉及评估、估计和解码三个问题，通常我们只关心用于解决识别问题的评估和用来 产生识别单元的估计这两个问题。 2 2 5 基于神经网络的人脸识别方法 最初的神经网络主要用于图像的复原，因其对部分受损的人脸图像、光照变化的人 脸图像的识别能力较好，才广泛的用于人脸识别。用于人脸识别的神经网络【3 5 】主要有 b p 神经网络、无监督监督( b c m b p ) 混合神经网络，自组织特征映射( s o v ) 神经网络， 决策神经网络，时滞神经网络( l a n ed e l a yn e u r a ln e t w o r k , 1 r i ) n t ) 等，以及两种神经网 络结合共同完成人脸识别的神经网络法。 1 1 东北大学硕士学位论文第2 章人脸识别的研究 神经网络人脸识别法，避免了复杂的特征提取工作，通过学习过程获得了优于其它 算法的人脸识别的规律和规则的隐性表达。由于神经网络采取并行运算来处理信息、使 人脸识别速度大大提高，除可用于人脸识别外，还可以用于性别和种族识别。 2 2 6 基于弹性图匹配的人脸识别方法 基于动态链结构的弹性匹配方法【3 r l ( d y n a m i cl i n ka r c h i t e c t u r e ，d l a ) ，将人脸用格 状稀疏矩阵图表示，图中的节点用图像位置的g a b o r 小波分解得到的特征向量标记，图 的边用连接节点的距离向量标记。弹性匹配主要是在图的匹配中，由于图的节点包含局 部的高分辨率灰度分布和全局的低分辨的灰度分布，从而对变形具有一定的稳定性。 弹性匹配方法对光照、位移、尺度变化不敏感，成为一种由于特征脸的人脸识别方 法，但因为对每个存储的人脸都要计算其模型图，使得计算量和存储量增大，识别速度 相对慢，改进后的弹性束匹配某种程度上克服了这个缺点，提高了识别速度。在接下来 的章节，本文将研究这种算法以及改进后的算法。 2 3 基础知识介绍 这部分主要为本文方法中用到的人脸识别的基础知识，主要介绍了几种常见的小 波、g a b o r 滤波以及它的核函数、以及识别阶段几种常见的距离函数，通过对这些基础 知识的介绍，有助于在具体实验阶段体会这些方法的优缺点。 2 3 1 小波介绍 小波分析是窗口面积固定但形状可以改变的时频局部化分析方法，在低频部分有较 高的频率分辨率和较低的时间分辨率，在高频部分有较高的时间分辨率和较低的频率分 辨率，对信号具有自适应性和自我调焦的功能。 设x ( t ) l ( r 2 ) 是平方可积的，沙( f ) 为母函数也称为基本小波函数，对函数工o ) 进行 小波变换的公式可表示为： 即一= - 去as x ( t ) ( 争t i t = ( m 虬( t ) ) ( 2 9 ) 其中a 为尺度因子，f 为平移因子反映小波函数的位移( 可取负值) ，( 工( f ) ，虬( f ) ) 表示工o ) 与9 ( 0 的卷积。 1 2 东北大学硕士学位论文 第2 章人脸识别的研究 常见的基本的小波母函数有以下几种： 墨西哥草帽小波 杪( f ) = ( 1 - t 2 ) 2 - p 哪f 样条小波族 一次样条定义为： m ，= 0 兰= 1 其它各阶样条函数为( f ) = ( f ) 宰一。( f )