（信息与通信工程专业论文）人脸图像的几何特征提取和校正及识别算法研究.pdf

摘要人脸识别技术是模式识别领域的一个前沿课题，有着十分广泛的应用前景，例如安全系统、罪犯识别、电视会议等，因而越来越成为当前模式识别和人工智能的个研究热点。由于人脸非常相似，再加上人脸图象的旋转和倾斜等原因，抽取用以表征人脸图象的识别特征向量和设计一个好的分类器是解决人脸识别问题的两个关、键。本文主要研究内容是：本文首先建立了一个基于人脸1 3 个关键点的三维人脸模型，在此基础上，根据一定的先验假设，提出了一种三角模型的人脸特征校正方法。此方法将人脸的眼睛和嘴巴宽度等特征值从偏转的人脸图象恢复到正面图象的特征值。分别就考虑鼻子和不考虑鼻子两种情况，各选出三组特征向量。根掘各类特征向量之间的距离来评价特征向量的优劣，然后各选出一组较优秀的特征向量。最后我们用b p 网络分类器实现了对人脸的分类，从模式谚 别的角度对前面的特征校正和特征向量的选取进行了验证。关键词人脸识别，特征校正，特征选取，b p 算法第1 页里堕型兰垫查盔兰竖壅生堕兰垡垒苎a b s t r a c tf a c er e c o g n i t i o nt e c h n o l o g y ( f r t ) i sf r o n t 一1 i n et a s ki np a t t e r nr e c o g n i t i o nd o m a i n ，w h i c hh a se x t r e m e l ye x t e n s i v ea p p l i c a t i o n ss u c ha ss e c u r i t ys y s t e m s 、c r i m i n a li d e n t i f i c a t i o n s 、t e l e c o n f e r e n c e sa n ds oo n 。t h u s ，t h es t u d yo ft h et e c h n o l o g yh a sg i y e nr i s em o r ea n dm o r ei n t e r e s t sf o rs e a r c h e r si np a t t e r nr e c o g n i t i o na n da r t i f i c i a li n t e l l i g e n c e 。b e c a u s eo ft h ea l i k e n e s si nt h ee x t r e m ea n dr o t a t i o na n dt i l to fh u m a nf a c i a li m a g e s ，e x t r a c t i o no ff e a t u r e sv e c t o rr e p r e s e n t i n gf a c i a li m a g e sa n dd e s i g n i n gag o o dc l a s s i f i e ra r et o wk e y st os o l v i n gp r o b l e m si nf a c er e c o g n it i o n 。t h em a i nc o n t e n tr e s e a r c h e di nt h i sa r t i c l ei s ：i nt h ea r t i c l ea3 - df a c em o d e lb a s e do n1 3f e a t u r ep o i n t si sf o u n d e df ir s t l y ，t h e no nt h i sb a s i sa n ds o m et r a n s c e n d e n t a lh y p o t h e s i s 。w eb r i n gf o r w a r dam e t h o db a s e do nt r i a n g l em o d e lt or e c t i f yf a c i a lf e a t u r e s 。r h i sn l e t h o dr e c o v e r sf e a t u r e ss u c ha st h ew i d t ho fe y e sa n dm o u t hf r o mr o t a t e da n dt i1 tf a c i a li m a g et of r o n t a li m a g e 。t h r e ef e a t u r ev e c t o r sa r es e l e c t e df o rc o n s i d e r e da n dn o tc o n s i d e r e dn o s er e s p e c t i v e l y 。t h e no n ef e a t u r ev e c t o ri ss e l e c t e dr e s p e c t i r e l yo nt h eg r o u n d so ft h ed i s t a n c eb e t w e e ne v e r yc l a s s sf e a t u r ev e c t o rt h a tu s e dt ov a l u ef e a t u r ev e c t o rq u a l i t y 。t nt h ee n dw ec a r r yo u tt h ec l a s s i f i c a t i o nf o rh u m a nf a c e sb yb pn e t w o r k sc l a s s i f i e ra n dv a li d a t et h ep r e c e d i n gf e a t u r e sr e c ti f i c a t i o na n dl e a t u r ev e c t o r ss e l e c t i o ni nt h ev i e wo fp a t t e r nr e c o g n iii o n 。k e y w o r d sf a c er e c o g n i t i o n ，f e a t u r er e c t i f y ，f e a t u r es e l e c t i o n ，b pa l g o t i t h m第1 i 页第一章引言人脸i ： 别在许多领域有实际的和潜在的应用i i 儿”。例如：人脸识别技术用于司法领域，作为辅助手段进行身份验证，罪犯识别等；而且j 刍：商业上也有许多潜在的应用领域，如银行信用卡的身份识别、安全识别系统、可视电话、医学、档案管理、电视会议人机交互系统等方面。正是由于人脸彭 别有着广阔的应用前景，越来越成为当前模式识别和人工智能领域的一个研究热点。虽然人类能够毫不费力的识别出人脸和其表情，但是人脸的机器自动识别仍然是一个高难度的课题。它牵涉到模式识别、图象处理及生理、心理等方面的诸多知识，与指纹、视网膜、虹膜、基因、声音等其他人体生物特征识别系统相比，人脸识别系统更加友好、直接，使用者也没有心理障碍。并且通过人脸的表情，姿态分析，还能获得其他识别系统难以获得的一些信息。剥人脸i ： 别来说，大部分应用领域所面l 临的问题是在一个人脸有多个视图的d 口提下二维图象匹配与识别。第一节人脸识别的研究范围1 1 - 1人脸识别的研究简单历史人脸 ： 别的研究已有很氏的历史，甚至可以追溯到上个世纪，g a l t o n 就曾经用组数字代表不同的人脸侧面特征。人脸识别的输入图象通常有两种情况：萨面( f r o n t a l ) 、侧面( p r o f i l e ) 。正面图象是指在人脸的正前面所拍下的人脸图象，侧面图象是指从和币面垂直的角度上所拍下的侧面人脸图象。实际上正面和侧丽部是相对的，对于人脸有一定旋转的图象而言，将其划分到比较接近的类别中。而事实上，列人脸j f 面模式识别的研究最多，它的大致发展情况可以分为三个阶段。第1 页宴堕型堂垫查盔堂婴茎竺些兰垡笙苎一第一阶段以b e r t i l l 0 1 1 、a l l e n i 和p a r k e t ”为代表，主要研究人脸识别所需要的面部特征。在b e r t i l l o n 的系统中，用一个简单的语句与数扪库中某一张脸相联系，同时与指纹分析相结合，提供了一个较强的识别系统。这一阶段的工作的特点是识别过程全部依赖于操作人员，显然这不是一种- j 4 以完成自动识别的系统。第二阶段是人机交互识别阶段。g o l d s t i o n ，h a r m o n 和l e s k 等用几何特征参数来表示人脸图象i ”i 。他们采用2 l 维特征矢量表示人脸的面部特征，并设计了该人脸表示方法的识别系统。k a y a 和k o b a y a s h i 则采用了统计的识别方法，用欧氏距离来表示人脸特征1 ”】，如人脸上各个器官之间的距离等。b a r o n i “l 先将人脸图象灰度归一，再用眼睛、鼻子、嘴巴和眉毛以下的整个脸部4 个掩模表示人脸，然后分别计算4 个掩膜和标准图象的相应的掩膜之问的关系系数，以之作为判断的依据。总的说束，这类方法需要利用操作人员的某些先验知识仍然不能摆脱人的干预。第三阶段是真正的机器自动识别阶段。近十多年来，随着高速度高性能计算机的迅速发展，人脸模式 = 别方法有了较大的突破提出了多种机器全自动识别系统【i ii 。根据人脸特征的表示方式的不同，人脸正面模式锡 别技术通常分为三大类：基于几何特征的识别方法、基于代数特征的识别方法和基于连接机制的识别方法。进入九十年代以来，随着硬件设备的迅速发展，人脸识别技术再次形成了个新的研究热潮。这次研究的主要领域为：在给定图象的人脸定位和分割及基本特征( 眼睛、嘴巴) 的提取；基于统计方法和神经网络的分类器研究；l ：1 2人脸识别的研究范围“人脸以别( f a c er e c o g n i t i o n ) ”的研究范嘲广义上讲大致包括以下5 方面的内容：第2 页里堕型兰垫查盔堂坚圣尘堕堂垡笙塞一( 1 ) 人脸检测( f a c ed e t e c t i o n ) ：即从各种不同的场景中检测口i 人脸图象的存在和其位置。对基于几何特征的人脸谚 别来说，还包括人腧器官和轮廓线的检测提取，即特征抽取( f e a t u r ee x t r a c t i o n ) 。这一任务j ：要受光照、噪声、面部倾斜度、各种各样遮挡以及场景中人脸的个数的影响。( 2 ) 人脸表征( f a c er e p r e s e n t a t i o n ) ：就是采用何种方式表示检测出人脸和数据库中的已知人脸。通常的表示方法包括几何特征( 如欧氏距离、曲率、角度) 、代数特征( 矩阵特征矢量、人脸图象奇异值等) 、刚定特征模板、特征脸、云纹图等。( 3 ) 人脸鉴别( f a c ei d e m i f i c a t i o n ) ( 通常意义上的“人脸识别”) ：即将待识别的人脸和数据库中的已知人脸相比较，得出人脸之间的棚关信息。该过程的核心是选择适当的人脸表征方式和匹配策略，系统的构造与人脸的表征方式密切相关。( 4 ) 表情姿态分析( e x p r e s s g e s t u r ea n a l y s i s ) ：即对人脸的表情和姿态信息进行分析，对其的心理状态进行分类。( 5 ) 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：对待泌别人脸的生理特征进行分析，获得性别、年龄等相关信息。由于“人脸鉴别”通常被称为“人脸识别”如果没有特别指明，本论文中的“人脸识别”即表示待识别人脸和数据库中的已知人脸之间的匹配问题。第二节人脸识别方法根据人脸识别中所用到的图象的不i 司，人脸l 别一般分为i i i j 止图象( s t i l li m a g e ) 的人脸识别和视频( 运动) 图象( v i d e oi m a g e s ) 的人胎识别。对静止图象的人脸识别来说，根据图象拍摄的角度的不同，又可以分为j e 面和侧面人脸以别。我们这里主要介绍儿种基于静止图象的j f 面人脸识别方法。i 2 1 基于几何特征的人脸正面识别方法第3 页里堕型兰丝查盔堂丛壅尘堕堂垡堕苎这类识别方法将人脸图象用一个几何特征矢量表示，用模式识别巾的层次聚类的思想设计分类器达到识别的1 7 1 的。这就要求所选取的j t , f i j 特征矢量具有一定的独特性，能够反映不同人脸的差别，同时又具有一定的孙性，以消除时间跨度、光照等的影响。几何特征矢量是以人脸器官的形状和几何关系为基础的特a f ：矢量，其分量通常包括人脸上的许多关键点中指定两点之间的欧氏距离、曲聋i 、角度及距离之间的比例关系等。人脸器官的关键点分别对应于不同的积分投影方式产生的波峰波谷，根据人脸结构的先验知识，可以得出人脸各器官之i u j 的几何位置关系。p o g g i o 和b r u n e l l i t m 提出用欧氏距离表征的3 5 维人脸特征矢量用于模式分类。p o g g i o 所采用的3 5 个几何特征分别为：眉毛厚度及眉毛与眼睛中心的垂直距离；眉毛弧度的1 1 个描述数据；鼻宽及鼻的垂直位置：嘴宽、上下唇厚度及嘴的垂直位置；下巴形状的1 1 个描述数据；鼻子位置的脸宽鼻子和眼睛中间位置的脸宽。s y l e e i 6 1 用两眼宽、嘴宽，眼睛到鼻子的距离和鼻予到嘴巴的距离作为特征矢量来表征人脸，并对人脸图象在旋转小于5 0 时进行了校i f 。分类器有近邻法分类器、神经网络分类器和模糊分类器等。1 2 2 基于代数特征的人脸正面自动识别方法这类识别方法仍然将人脸图象用特钲矢量表示，只不过用的是代数特征矢量。通过对人脸图象进行k l 变换或者小波变换，将人脸数壬| l ；压缩，作为人第4 页里堕型堂垫查盔堂业茎尘竖鲎堡笙苎一一脸的最优表示。其中y u r k 和p e n t l a n d l l l l 提_ l l ；的“特征脸”( e i g e n f a c e ) 方法是以人脸图象的训练样本集的总体散m i 矩阵为产爿i 矩阵，经k l 变换后得到组特征矢量。称为“特征脸”。这样，就产生了一个由“特征脸”向量张成的予f n l ，每一幅人脸图象向其投影都可以获得一组坐标系数，用这组坐标系数作为特征向量来表征人脸。该方法需要大量的学习样本和大量的计算，并且对图象的火小的变化比较敏感。1 2 3 基于连接机制的人脸正面自动识别方法这类识别方法将人脸图象用灰度图( 二维矩阵) 表征，利刚了神经网络的学习能力和分类能力。此方法的优势在于保存了人脸图象中的栩质信息及细微的形状信息，同时避免了复杂的特征提取工作。而且，由了：图象被整体输入，符合格氏塔( g e s t a l t ) 心理学中人类对人脸的识别能力的解释。与前两利，方法有两个明显的不同：信息处理方式是并行而非串行；编码存储方式是分布式。k o h o n e n 【”i 用自相关记忆( 全互联神经网络) 存储和重建人脸图象。c o t t r e l l等和f l e m i n g i ”i 采用了非线性前馈神经网络，经过b p 算法训练历，用于人脸灰度图象的识别。他们采用的前馈神经网络具有4 0 9 6 个输入神经元，8 0 个隐含层神经元，4 0 9 6 个输出层神经元。该方法仍存在着需要大量的学习样本和极大的计算量等缺点，1 3 1 课题研究任务第三节课题任务第5 页里堕型堂垫查盔堂业塞尘堕芏：焦丝苎一一一一一我们的研究对象是静止的i f 面的人脸图象，用基于儿何关系的特征向量来表示人脸图象。基于几何关系的特征识别方法的困难在于没有形成一个统一的、优秀的特征提取和形成标准。由于人脸的面部模式千变力| 化，即使同一个人的i f i i f i | ；图象，t l ：lt - h , - t f d j 、光照、脸j 二有否覆觞物( 如眼镜和胡须等) 、拍摄时的角度等的不同，加上面部的倾斜和偏转，很难用一个统一的模式来表达，造成了特征提取的困难。因而，在许多的研究中都刑人脸图象增加了限制，如二：右偏转不超过5 0 等，限制了识别系统的应用的范围。尽管b p 算法在模式识别中已经得到了广泛的应用，但是d l 于b p 算法本身所固有的收敛速度慢、容易陷入局部极小等问题，需要根据具体的应用来设计一个优秀的b p 算法。本课题的研究内容是对有较大的偏转和倾斜的人脸图象的几何特征进行校l f ，并且根据校正后的特征值选出比较完备的、优秀的特征向量用以标准人脸。然后针对人脸特征向量，设计一个较好的b p 算法。1 3 2 论文结构第二章先建立一个人脸模型，然后研究了对人脸图象的倾剁和左右偏转等情况如何进行校正，从而恢复出正面图象的特征值。第三章在特征校诈后的基础上，以特征向量之间的类内类问距离作为评价标准，从众多候选特征中选择用以代表人脸的特征向量。第四章参考了许多的对标准b p 算法改进的经验，根据人脸识别的实际情况，设计了一个较好的b p 算法。并且从模式u 别的角度列第二章的特征校正和第三章的特征选择进行了验证。第6 页里堕型堂丝查厶堂业茎竺堕笺垡堡苎一第二章人脸特征校正第一节人脸模型一般情况下，在正面人脸识别中，人脸图象被认为是一个平坦的二维平面t刘人脸图象的旋转有着严格的限制( 如限制在5 0 以内等) 。我们的人脸识别算法是基于正面的人脸图象，但是由于获取的图象的差异，在旋转或扭曲的情况下，必须恢复出入脸的币面特征向量。如图2 1 ( a ) 所示，我们建立一个人的头部三维模型。该模型大体上是一个圆柱状体，正面为有一定凸起的弧面，但是更加接近平面。这里定义s 为凸起度，当占= o 时，人脸区域为一个平面：当f = j 时，头部为一。个圆柱状体，即水平切面为一个圆形。这里用1 3 个特征点表示人脸：p o ，只最，b ：表示从左到右的4 个眼角点只，只：分别表示嘴巴的左右边界点；第7 页里堕型堂垫查盔堂业塞尘些堂垡丝苎r ：鼻子的下边线的中点，用以表示鼻予的位置r ，只。：嘴巴处脸的轮廓点一鼻：眼睛处脸的轮廓点f 、，只。：额头和下巴的中，心点。第二节人脸旋转角度的计算人脸正面图象有三种基本的扭曲类型。也就是人脸分别绕x ，y ，z 三个坐标轴旋转后，所得到的i f 面图象。当然也有更复杂的歧变图象，如绕两个以上坐标轴旋转后所得到的人脸图象。但是，这种图象的扭曲可分斛为上述三种基本的扭曲类型，分别予以解决。对于绕y 轴旋转的图象如果j ! 是单纯的从人脸图象上，机器是无法分辨出究竟是人脸的俯仰，或者还是这个人和另外个人的脸长的不同。因此本论文对此不进行讨论，同时为了避免它的影响，在提取特征向量时采用一部分和俯仰无关的特征值，如眼睛到鼻子的距离和鼻子到嘴巴的距离之间的比例等。下面分别讨论人脸图象绕x 轴和z 轴旋转时的校j f方法。2 2 1绕z 轴旋转的图象这种情况属于人的左右歪头动作。其特点是人脸上各个器官的大小和相对位置没有任何变化，只是在人脸二维图象的坐标系中有一定的旋转。其解决方法是将图象反向绕回该角度即可。现在的问题是如何求得该旋转角度。有两种方法可以求得旋转角度。，图2 2 绕z 轴旋转的人脸模型第8 页国防科学技术大学研究生院学位论文2 2 1 1 基于两眼的方法根据人脸的生理学知识，绝大多数人脸满足如下假设条件，即没有旋转的人脸j f 面图象上两眼位于一条水平直线上。所以，求出两眼于水平线的央角口，也就近似的等于图象绕z 轴旋转的角度，如图2 2 所示。卵s 抽。 黼j 叫，2 2 1 2 基于脸部中线的方法这种方法的假设条件是人脸是左右对称的，并且人脸各器官的中分线在没有旋转的情况下与y 轴平行。所以，中分线与图象垂线的夹角口近似的等于图象的旋转角度。为了减少误差，对上面两种方法求得的角度取平均，所以，图象绕z 轴旋转的角度日，可由下公式求出：p ：型望( 2 2 )2 2 2 绕x 轴旋转的图象这种图象的歧变主要是脸的各个器官的宽度发生了变化，i ：且有时有遮挡现象发生。其前提是假设人脸是左右对称的。2 2 2 1 求旋转角度如图2 3 头部在眼睛的横切面所示，图象绕x 轴旋转的角度为口。d 为两第9 页里堕型堂垫查盔兰塑壅生些兰堡垒塞一眼外眼点所在圆弧列应于圆心角的一半。d o ，d ， 分别对应于矗右外h 艮点和脸部左右轮廓线之间的距离。0 为切面圆的半径。根据人脸模型，有如下公式：d m = 【1 一s i n ( a 目) 】( 2 3 )d 。、= 【l s i n ( a + 0 ) ( 2 4 )解( 2 3 ) ，( 2 4 ) 式可得：口斗n 。( - 一针s n 。( ，一剀c z 吲斗n 。( 一针s i n 一。 一警 c z 吲图2 3 眼部的水平切面图图2 4 人脸的中分线的旋转如图2 4 所示，当人脸图象没有旋转时，脸部器官的中分线应当在人脸图象的中削；当图象偏转后，器官中分线和图象中分线之间有一个偏差，电为d 。根掘国2 3 和凸起率的性质，有：d “= f ( 1 一c o s o ! )( 2 7 )式中c 是眼角r ，只连线的中点；d 是器官中分线和眼部切面的交点。第1 0 页璺堕型堂垫查厶堂型窒尘型兰塑鱼墨一以，在y 轴上的投影氐为：行以，d 点的坐标为d o = d 。s i n o l ( 2 - - 8 )h 立孚“( 2 _ 9 a )儿= 学c z 嘞，人脸图象的眼部轮廓线的中点和d 点之间的距离在x y 面i 的投影为d 由如f 公式求得：d =在图2 , 3 中，0 点和d 点之间的距离d 。为( 2 1 ( ) )d 。d = d 。，+ d “= o c 0 s + s t ；( 1 - c o s a )( 2 一1 1 )所以根据器官中心线在眼部的偏转距离d 求得的旋转角度岛为删：s i n “( 2 - - 1 2 )同样，为了减少求得的旋转角度的误差，将上述两种方法求得的人脸图象绕x 轴的旋转角度0 ，、0 ：取平均。故可得旋转角度0 ：口：旦凸( 2 1 3 )2第三节人脸特征的校正旋转角度求出后，下一步就是将已经扭曲的特征恢复出正确的特征值。这第1 1 页里堕型堂丝查堂型塑尘! 曼堂丝兰苎一驻主要校j f 两眼的宽度和嘴巴的宽度。2 3 i基于圆柱人头模型的特征校正2 3 1 1 嘴巴宽度的校正嘴巴处人头的切面如图2 5 所示，嘴巴的宽度就是点只和，ib 之间的距离( 、在x y 面的投影d ，。口，分别是左右嘴角与y 轴的反向和难向的夹角。屁然在没有旋转的情况下，直线只只应该和坐标轴o l ，平行，即口= ；而旋转后，直线只e 和坐标轴臼】7 的夹角为旋转角度o ，此时口一= 2 一。记旋转之后的角度口、分别为d 。，、风，所以图象旋转前嘴巴的宽度d ，为：d 。= 2 q ，c o s a ( 2 - - 1 4 )图2 5 嘴部的水平切面图其中：，为嘴巴处切面圆的半径目图2 6 眼部的水甲切叭图b第1 2 页里堕型羔垫查盔堂型窒生堕堂焦兰塞一口= = 盟笋( 2 - - 15 a )2 3 1 2 眼睛宽度的校正s ( ，一警肛a r c c o s ( 一等 ( 2 - - 1 5 c )如图2 6 所示，左眼的宽度就是点p o 和点只之间的距离在】轴上的投影。口，分别是左眼的外点和内点与y 轴负向的夹角；d 矾，d o 1 分别是左眼的外点和内点和脸的左轮廓之问的距离。，：是眼部切面圆的半径，目为图象的旋转角度。所以可求出口= c o si j 以近似地求出口“c o s所以，左眼的宽度d 。的表达式为：d 。= r , c o s ( a 一口) 一c o s ( p 一目) 】( 2 1 6 )同样，可以求出右眼的宽度d d 。= g c o s ( o r ，+ 目) 一c o s ( ，+ 目) 】( 2 1 7 )其忆s “( 一警)p ，= c o sf 。一生1lj2 3 2 基于三角人脸模型的特征校正第1 3 页国防科学技术人学f ! j 究生院学位论文根据人脸的生理知口 ，人脸基本上是对称的。在没有旋转的时候眼睛的u q 个特征点可以近似的认为位于一个等腰三角t 髟f l , j 两个边上。这样特征的校i f仪和人脸图象的旋转角度有关，不再和眼睛和嘴巴所对应的圆心角相关。由于脸部存在一定的凸起度，因而求得的圆心角存在定的误差，这样就消除了圆心角误差带来的校正后的特征值的误差。兰八2 3 2 1 嘴巴宽度的校正图2 8 眼部的水平切面图h嘴巴处人脸的切面图如2 7 所示，从旋转后的人脸图象测 到的嘴巴的宽度为d 。，即点只和点b 之阳j 的距离如，、在x y 面的投影。在没有旋转的情况下，宴线只b 应该和坐标轴o l ，- t 行，此m 1d 。，= d 州，；而旋转币，直线j 话和坐标轴o j ，的夹角为旋转角度护如图所示。因此，有旋转后的嘴巴的宽度d 。= d ，f 、c o s 0( 2 - - 1 8 )所以嘴巴的校拒公式为丸= 互c o s o 一( 2 一1 9 )。一第1 4 页里堕型竺垫查鲎业堑尘堕主丝丝塞一_ - _ 一。其中以为校j e 后的嘴巴的宽度。2 3 2 2 眼睛宽度的校正i r 面图象眼睛的宽度分别记为d ( 左眼) ，d ：( 右眼) ，如图2 9 ( a ) 所示。y 为i 角形中腰所对应角度。旋转后的人脸模型如图2 8i ) 7 3 。身蟛图2 9 ( a ) 无旋转的眼睛模型图2 9 ( b ) 旋转后的眼睛模型显然在j 下面二维人脸图象中，眼睛的宽度分别为点间距离d d 一、，、在y轴上的投影，如图2 9 所示。由于在人脸模型中已经假设人脸誉本上是尼右列称的，故可以汜两眼睛的边界点之涮的距离为：r 鼻= b 只= d有：d o d , ( c = 。d 。c ( y o ) s 。( o 。+ p r ) ) 一( 2 - - 2 0 ) s i n ( y ) s i n ( o ) )= d ( c o s ) c o s p ) 一：d 。d t ( = 。d 。c p o ) s 。( o 。- p y ) ) + 。i 。p ) 。i 。p ) ) ( 2 - - 2 1 )= d ( c o s p ) c o s p ) + s i n p ) s i n p ) )所以，根据公式( 2 - - 2 0 ) ，( 2 - - 2 1 ) 可以得出：一嗽( 煳 ( 2 - - 2 2 )所以眼睛宽度的校i f 公式为：第1 5 页里堕型堂垫查鲎塑壅尘堕主些堡苎( f 。= 忑d e t f c o s 丽y ( 2 - - 2 3 )d z = 丽d e e c o s ( 2 - - 2 4 )第四节实验结果及分析根据i i 面两节所述的方法，可以求出人脸图象的旋转角度，许且加以校j f 。以校i f 后的特征值和j 下面人脸图象所得到的特征值相比较，判断校j f 后的特征值向i f 面图象的接近程度。2 4 1 校正前后误差度量这里用误差百分比来度量旋转后的特征值和该人正面图象钓。征值之i 训的距离，并且用以衡量校正方法的有效性程度。设为正面图象的某个特征值x 。为同一个人的有旋转的图象的相应特征值，x 为校正后的特自：值。所以校i f前后该特征值和正面图象之间的误差百分比分别为：k盟】oo(2-25)errr ，f 1 u u 7 0 oe ，：生二盟1 0 u o v ，o( 2 2 6 )r r = 一lul 上z o ，工0其中e r r , 。为校正前误差百分比；p 为校正后误差百分比。2 4 2 实验结果第1 6 页里堕型：兰丝查堂竺塞尘堕兰生兰塞一我们用个人的5 张照片，一张为i i i 面图象，向庄右旋转的图象各有2 张。其图象如下所示。2 4 2 1 水平倾斜角度水平倾斜角度也就是i 割象绕z 轴旋转的角度。如第二节所述，基- r 两眼所求 n 的角度记为角度1 ，基于脸部中分线所求出的角度记为角度2 ，其结果如表l 所示。表1人脸图象的水平倾斜角度( 单位：度)人脸图象abcde角度l4 44 2o 5 81 22 1角度24 64 10 2 l1 42 3i f ，均值4 54 1o 3 91 32 22 4 2 2 左右侧转的角度绕x 轴旋转的角度有两种求法，其结果如表2 所示。表2 人脸图象左右侧转的角度( 单位：度)人脸图象abcdeb一1 7 51 2 40 _ 2 91 7 11 9 o目21 6 6一1 1 1o 2 61 6 41 8 5、f 均值日一1 7 1一1 1 8o 2 81 6 81 8 8里堕型堂丝查盔兰业塑尘竖堂垡丝苎2 4 2 3 凸起度的选择在人脸模型中，凸起度s 的取值范围是o l 。根据实验，随着凸起度f 的变化，校正后的特征值和j f 面图象相应特征值之间的误差百分比也在变化。如图11 所示，坐标轴e 表示全部旋转图象两眼校讵后的宽度和正1 1 | f 图象之间的误9 08 07 o6 o5 0o0 1o 2o 30 40 50 60 70 80 9l ，0图1lh 起度对校正后两眼误差百分比的影晌差百分比之和。从图中可以看出，凸起度s 取为0 1 附近效果最好，我们在这里取为0 1 。2 4 2 4 特征校正结果h 艮睛和嘴巴的宽度的校j f 也有两种方法，基于圆柱模型的校正方法简称为方法l ，基于三角模型的校j f 方法简称为方法2 ，左眼校正结果如表3 所示右眼校i f 结果如表4 所示，嘴巴校正结果如表5 所示。表中的数扒是以两眼外点之问的距离( 图2 1 中r 和b 两点之间的距离) 归一化后的结果，关于归化标准量的选取讨论见第三章。第1 8 页垦堕型竺丝查竺竺塑兰! 堡：兰堡丝苎一表3 左眼校正结果图象校正前误差( )方法l误差( )方法2误差( )c ( j e 面)0 4 3 7 6a0 3 8 6 4“1 70 3 9 8 78 8 90 4 3 8 2o 5 5b0 3 9 8 58 9 40 4 2 6 82 4 70 4 4 3 00 5 7d0 4 4 3 5l _ 3 50 4 5 0 62 9 70 4 3 5 20 1 4e0 4 5 7 34 6 10 4 4 6 72 ，0 80 4 4 0 11 2 3平均误差6 5 24 1 00 6 2表4 右眼校正结果图象校正前误差( )方法1误差( )方法2误差( )c ( 证面)0 4 3 7 6a0 4 5 6 84 j 3 90 4 4 9 82 7 80 4 3 9 50 4 3b0 4 1 3 85 4 40 4 5 6 l4 2 20 4 4 0 00 5 5d0 4 2 7 02 4 20 4 5 7 94 6 40 4 3 7 80 0 5e0 3 8 9 41 1 00 4 5 1 53 1 80 4 2 5 22 8 3平均误差5 8 13 7 l0 9 7袭5 嘴巴校正结果图象校j 下前误差( )方法1误差( )方法2误差( )c ( j f 面)0 7 9 3 2a0 7 4 9 95 4 60 8 2 3 33 8 0o 8 1 2 42 4 2b0 7 8 8 80 5 6o 8 2 1 53 5 70 8 0 9 62 0 7d0 7 6 7 03 3 lo 8 1 9 33 2 90 8 0 0 90 9 7e0 7 3 3 57 5 30 8 1 0 22 1 40 7 9 8 8o 7 ls f 均误差4 2 23 2 01 5 4从上面眼睛和嘴巴的校f 结果可以看出，校f 的好坏和人胎模型有很大关系。圆柱模型和实际人脸相比存在一定的误差，尽管校正后特钶! 值有一定的改善，但是和基于三角模型的校正结果相比，仍有一定的差距。2 4 3 误差分析特征校j 下的本质思想是在人脸的基本器官特征值中，融合了脸部的其之特征。也就是说，利用了脸部的其他信息束校i f 扭曲的基本特征。在本文中利用第1 9 页国防科学技术人学研究生院学位论文_ - _ - _ l _ _ - - _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ - _ - _ _ _ - _ - _ _ _ - - _ - - _ _ - - _ _ _ _ _ _ 一一一了脸的轮廓信息。误差主要来源于三个方面。l 、图象的噪声和脸上的覆盖物。如眼部的轮廓线由于头发的覆盖，难以准确确定；鼻子是凸起的，旋转后遮挡鼻子的边界。2 、规一化度量的不确定性。人脸的特征必须经过规一化才具有和图象的大小无关性。舰一化度量的本身并不是绝对稳定的，因此不可避免的给舰一化后的特征值带来误差。3 、校正模型的近似性。由于人的干差万别，假设的模型的近似f i ：，不可避免的有许多误差。下一步的工作是尽量较少特征形成过程中所带来的误差，刘+ 特征向量采用信息融合的方法等提高特征向量的准确性和对人脸的表征度。该恢复方法的缺点是依赖于能够比较准确地提取出来脸部的轮廓线，但是能够恢复出偏转图象的f 面的特征值，扩大了i ： 别对象的范围。第2 0 页旦堕型堂垫查丛堂婴塞生堕堂焦丝第三章特征向量的形成在模式识别中，样本的特征向量强烈地影响者分类器的设计和性能。如果不同类别的特征向量之间的差别很大，那么就比较容易设计出。日涫较好的分类器。所以，人脸特征的选择是人脸识别中的一个关键问题。特征选择和提取的基本任务是如何从众多候选特征中找出那些最有效的特征。在实际应用中，一类样本有很多种特征值，如果全部采用的话，无论从计算的复杂度或者分类器的性能来说都是不合适的。因而尽量选用低维而又最具有代表性的特征向量，是提高分类器性能的重要的一步。在一些文献和书籍中，在不完全相刷的意义上使用“特征提取”，“特征选择”等名词。例如“特征提取”这一词在有的文献中专指特征的形成的过程；有的指从特征形成，经过选择或变换直到得到有效特征这一全过程。为了避免歧义，我们这里先对几个常用的名词加以解释，如果不特别指明，则代表下述含义。特征形成根据人脸图象进行图象处理，提取脸上的特征点的过程。这部分的工作有一些较好的算法，但是由于时间有限，我们没有做这方面的工作，直接手工从人脸图象上提取上第二章所述的1 3 原始特征点。特征提取原始特征点较多，为了降低维数，对原始特征点进行某种组合，得到一组特征值用以表征样本，这个过程就是特征提取。候选特征在特征提取过程中，变换后得到的特征值称为候选特征。我们这里主要用点和点之削的距离，距离的比例关系等来表示候选特征。特征选择从候选特征中挑选出一些最有效的最具有分类信息的特征以达到降低特征空间维数的目的，该过程称为特征选择。下面分别对人脸图象的特征提取和特征选择详细论述。第2 1 页里堕型堂丝查堂婴塑尘堕堂丝笙苎第一节候选特征的形成对图2 1 中所示的1 3 个特征点进行变换组合，可以得到如图3 1 所示的1 4个候选特征。其中下巴和额头的中点由于不能准确的提取，误差较大，因此舍弃不用。3 1 1 候选特征只4图3 1 人脸图象的候选特征在图3 1 中，1 4 个候选特征分别表示器官之f n j 的距离。这m 距离指的是欧氏距离。距离l ，2 ：分别表示左右两眼的宽度。距离3 ，5 ：分别表示鼻子下底线和眼睛、嘴巴之间的距离。距离4 ：表示嘴巴的宽度。距离6 ，7 ：分别表示左眼外眼点和左嘴角、右眼外眼_ 、i 和右嘴角之间的距离。第2 2 页t i 引l 1。旦堕型兰垫查盔兰塑筌尘堕堂堡笙奎距离8 ，9 ：分别表示眼睛处和l 嘴巴处轮廓线之问宽度的一半。距离1 0 ，1 1 ：分别表示眼睛和嘴巴处边界点和相应轮廓线之间的距离。距离1 2 ：表示眼睛中点和嘴巴中点之间的距离。距离1 3 ，1 4 ：分别表示鼻子下底线中点和左右两眼内眼点之间的距离。比例1 5 ：该特征值没有在图上显示，它表示距离3 和5 之间的比值。当图象有前后俯仰时，此特征值和俯仰无关，具有一定的稳定性。3 1 2 归一化度量的选取在形成候选特征值时，特征值应当具有图象大小无关性，刁：受人脸图象大小变化的影i 啊，因而必须剥特征值进行归一化。归一化标准量应当具有如下特征：当同一个人的不同人脸图象大小有变化时，该值和人脸图象大小( 如图象的宽度) 之间的比例具有相对稳定性：该值受到脸上覆盖物和表情的影响不太强烈。由于人脸的前后俯仰无法准确的确定，一般不选择垂直方i i 】的距离作为标准化参量。对于水平方向的距离来说，两眼外眼点之间的距离、两眼内眼点之间的距离、嘴巴的宽度、眼睛处的脸宽、嘴巴处的脸宽都有可能作为标准化参量。另一方面，归一化标准量在求特征值时作为分母，和未归一化的特征值相比，不应该太大和过小。当标准量太大时，归化后的特征值较小，剥特征值的变化反映不明显；标准量过d n ，归一化后的特征值受标准重i 的变化和误差的影响太强烈。因此标准量应当在两眼外眼点之间的距离和眼时处的脸宽之间选取。列两眼外眼点之问的距离来说，眼睛在基于几何特征的人脸识别中是最基本的必须能够较准确定位的特征点。再加上不考虑人脸样本带眼镜，眼睛上基本上没有覆盖物，所以和其他特征点相比，不受覆盖物的强烈影晌，同时表情对该值影响也不大。而嘴巴的宽度容易受嘴巴的动作的影响，如张v i 时嘴巴的宽度明显变小，另外，嘴巴的特征点在提取时受胡须的影响较大。因而一些第2 3 页堕堕型兰丝查厶兰丛壅尘堕堂垡丝苎文献中唧l ，将距离d ，：，、作为归一化度量。综上所述，我们这里仍以距离( ，、作为候选特征值的归一化标准量。3 1 3 校正后特征选取的变化在特征校正时，所根据人脸模型( 见第二章) 是大体上对称的。因而候选特征l o 、1 l 是根据校正后的人脸模型计算出的，左眼和右眼的外点和相应的脸的轮廓线之间距离是相等的。同样，嘴部的两个边界点和相应轮廓线之间的距离也足相等的。因此，校正后眼睛和嘴巴到轮廓线的距离各选一即可。但是在某些文献中，在限制图象限制角度的f j 提下，眼睛和嘴巴到相应轮廓线的距离并不是对称的，因而可以作为四个候选特征，而不是两个。第二节类内类间距离特征选择和提取的任务是从众多候选特征值中求出一组对分类最有效的特征，也就是形成在识别中所用到的用以表征人脸的特征向量。其目的是在低维空问中更好地进行分类，因此特征选择的有效性最好是用分类器的错误概率来衡量。但是错误概率的计算非常复杂，故不得不用其他的些h i i 贝u 来确定特征选择的方法。常用的方法有距离度量、概率可分性度量、熵度量等。尽管这些概念在直观上很容易理解，但是多数情况下和错误概率并没有直接的联系，用这些度量为基础所获得的最优化特征向量在识别时错误概率未必是最小的。因为我们所用的人脸候选特征是基于欧氏距离的，所以在衡量特缸向量的有效性时，我们采用基于距离的可分性判断一一“类内类间距离”。各类样本可以分开的原因是它们位于特征空间的不同区域，因而这些区域之问的距离越大，类别的可分性越大。类内距离越小，表明该类的样本越集巾，类内的紧密度越大，相应识别效果越好。我们所用的人脸数据库j 有2 0 个人的第2 4 页国防科学技术人学研究生院学位论文照片，每个人的图象分为类，故可分为2 0 类。令x ，x f 7 分别为q 类和珊，类中的d 维特征向量，j g ? ，x j ，j ) 为这两个向量之问的距离，则各类特征向量之间的平均距离为啪) = j 享i 嘻i p 去砉i 鼢 )i ，“g ) = f p = j b p忙，一“，i ，=，= i( 3 1 )其中为c 类别数，一为q 类中样本数，n ，为c o ，类中样本数，p ，p 是棚应类别的先验概率( 可以用训练样本数进行估计) 。当每类人脸中样本数相同时，有p = p = 三v f ，c 。多维空间中两个向量之间有很多距离度量，在欧氏距离情况下有：占0 ，x f ，) ) = 0 一z f ，) ) 7b l ) 一z j ( 3 2 )第f 类样本集的均值向量为 去弘( 3 - - 3 )所有各类的样本集总平均向量为：所以有= e p 月? ，( 3 4 )山g ) = 喜p 一1 智 、x 。( 0 一m ，) 7 似0 - m ) + b ，一m ) 7 似，一一1 ) c 。一s ，上式中的第二项是第f 类的均值向量和总体均值向量月z 之间的平方距离用先验概率加权平均后可以代表各类均值向量的平均平方距离：乏e ，一m ) 7m ，一脚) = 毒窆p 窆一b t n j ) 7 b ，一一) ( 3 6 坤if r r = l在选择特征向量时，能够使c 个类别的各样本之间的平均趴离j g ) 为最大的特征向量是最优的。即应当选择满足式( 3 7 ) 的特征向量x 2 5第页第三节特征向量的选择在选择特征向量时，要求尽量的低维，并且能够最大限度的代表人脸图象aa i i 金上有三个基本器官，分别是眼睛、鼻子、嘴巴，所以特征向量的选择和形成一般是以基本器官特征点所导出的候选特征值为基础。我们这里依据第二章所述的1 3 个特征点，构成了1 5 个候选特征值。然后按照用尽可能低维的特征向量包含人脸上的尽量多的特征值的原则，从中选出几组特征向量，最后比较它们的分类能力，挑选出最优的特征向量。由于在许多情况下，鼻子不能准确的提取出来，有的文献没有考虑有关丹予的特征值。但是在比较规范的照片中( 如证件中的照片等) ，舅子还是能够较好的提取出来。因此，我们根据考虑鼻予的与否，分两种情况讨论，分别选出一组较好的特征向量。特征向量中包含的人脸信息越多，则对人脸分类的能力越强，但是会造成特征向量的维数增大，增加了计算量。我们这里选用7 个特征值来形成特征向量，是因为这些特征值刚好能够覆盖人脸上的特征点所包含的信息。如果再增加特征向量的维数，则带来了脸部信息的冗余，增加了计算量，但是从特征值加权的角度考虑，如果能提高了识别率，总体上是否能够接受，则是进一步研究的内容。3 , 3 1考虑鼻予从如图3 1 所示的候选特征值中，形成的特征向量应将跟日1 1 f 、嘴巴、鼻子三个基本器官和相应的轮廓信息尽量包含在内。虽然跟睛在校m 时假设近似相等并且校正后的值也非常相近，眼睛的宽度只需要一个即可，仇是，眼睛是人第2 6 页国防科学技术人学研究生院学位论文脸上的最重要的特征，我们仍然取左右两个眼睛的宽度，尽管j j 一定的信息冗余，但是相当于将眼睛的特征加权了一倍。三组特征向量和相应的各类特征向量之间的距离s ( x 1 如表l 所示。表1 考虑鼻子时的特征向量比较组号特征向量j ( x )第一组1 ，2 ，3 ，6 ，8 ，9 ，153 7 4 8 2第二组1 ，2 ，3 ，4 ，1 0 ，1 1 ，1 33 5 9 3 l第三组1 ，2 ，5 ，6 ，8 ，9 ，1 33 4 2 6 5从表中可以看出，第一组特征向量的类内类间距离最大，可以用以表征人脸。因为第一组特征不仅包含了眼睛的宽度、眼睛和鼻子的相剥位置、眼睛和嘴巴的相对位黄、眼部和嘴部的脸宽等信