（计算机应用技术专业论文）基于主成分分析的人脸识别方法研究.pdf

基于主成分分析的人脸识别方法研究中文摘要基于主成分分析的人脸识别方法研究中文摘要人脸识别技术是利用计算机分析人脸图像，提取有效的识别信息来辨别身份的一门技术，具有重要的学术价值与广阔的应用前景。本文重点研究了利用主成分分析( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a ) 进行人脸识别的方法，主要研究工作如下：( 1 ) 提出一种基于p c a 投影法的人眼定位技术，通过对人脸五官像素进行p c a而找到人脸倾斜方向并进行姿态补偿、投影，使投影法得以应用到姿态有变化的情况。( 2 ) 研究二维主成分分析( 2 d p c a ) 方法，提出一种基于局部特征自适应加权2 d p c a 方法。该方法采用分块来融合基于整体模板的分类方法和基于几何特征的分类方法，通过虚拟样本自适应地计算出不同特征对识别的不同贡献并加权到分类器中。此方法既简单易行，又充分利用了局部特征信息；能够容忍一定表情、光照和外貌变化，且适用于并行计算。( 3 ) 提出两种监督式2 d p c a 方法，一种是从欧氏距离角度分析准则函数而提出的加权2 d p c a ，有效地增加了类间样本的识别距离，缩小了类内样本的识别距离；一种是将样本类间协方差和样本类内相关性融入到样本总体协方差中，使求得的投影向量本身蕴含着类别特征，从而更有利于进行分类。( 4 ) 分析2 d p c a ，列2 d p c a ，( 2 d ) 2 p c a 方法的优缺点，提出一种快速( 2 d ) 2 p c a方法，改变t ( 2 d ) 2 p c a 列变换时求解投影方向的方法。该方法能够大幅度地减少特征提取时间和存储空间。关键词：人脸识别；主成分分析；二维主成分分析；整体特征；局部特征作者：徐倩指导老师：邓伟a b s t r a c tr e s e a r c ho nf a c er e c o g n i t i o nm e t h o d sb a s e do np r i n c i p a lc o m p o n e n ta n a l y s i sr e s e a r c ho nf a c er e c o g n i t i o nm e t h o d sb a s e do np r i n c i p a lc o m p o n e n ta n a l y s i sa b s t r a c tf a c er e c o g n i t i o ni sat e c h n o l o g yt h a ta n a l y z e st h ei m a g ea n de x t r a c t se f f e c t i v er e c o g n i t i o ni n f o r 量n a t i o nt od i s t i n g u i s hi d e n t i t yb yc o m p u t e r i th a sh i g hv a l u eo fr e s e a r c h a n dg o o df u t u r eo fa p p l i c a t i o n t h i st h e s i sm a i n l yf o c u s e so nt h em e t h o df o rf a c er e c o g n i t i o nb yp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) t h em a i nc o n t r i b u t i o n sa r e ( 1 ) ar o b u s te y e sd e t e c t i o nm e t h o dc a l l e dp r o j e c t i o nb a s e do np c ai sp r o p o s e d f i r s t l y , t h i sm e t h o da p p l i e sp c at ot h ef a c i a lf e a t u r e p i x e l st of i n dt h et i l t e dd i r e c t i o nf o rh u m a nf a c e s e c o n d l y , i ti m p l e m e n t sg e s t u r ec o m p e n s a t i o n f i n a l l y , t h ee y e sa r ed e t e c t e db yp r o j e c t i o n s ot h ep r o p o s e dm e t h o dm a k e st h et r a d i t i o n a lp r o j e c t i o nm e t h o dd e t e c tt h ee y e sf o rh u m a nf a c ew h i c hh a sg e s t u r ec h a n g i n g ( 2 ) t w od i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i s ( 2 d p c a ) i sd e e p l yi n v e s t i g a t e d t h e na na d a p t i v e l yw e i g h t e d2 d p c am e t h o db a s e do nl o c a lf e a t u r e si sp r o p o s e d i tc o m b i n e st h es t r u c t u r a la p p r o a c hb a s e do ng e o m e t r i cf e a t u r ea n dt h es t a t i s t i c a la p p r o a c hb a s e do l lt e m p l a t et h r o u g hs e g m e n t a l i z i n go r i g i n a li m a g ei n t om u l t i b l o c k s i ti n t e n s i f i e st h a td i f f e r e n tf e a t u r e sh a v ed i f f e r e n tc o n t r i b u t i o n st ot h er e c o g n i t i o nw h i c ha r ec o m p u t e db yc o n s t r u c t i n gv i r t u a ls a m p l e s t h i sm e t h o dn o to n l yh a st h ec o m p u t a t i o ns i m p l i c i t y , b u ta l s oc o n s i d e r st h el o c a lf e a t u r e si n f o r m a t i o no fh u m a nf a c es u f f i c i e n t l y s oi tp o s s e s s e st h ea d v a n t a g e so ff a c i a le x p r e s s i o n ，i l l u m i n a t i o n ，a p p e a r a n c ec h a n g i n gt o l e r a n c e ，a n ds u i t a b i l i t yo fp a r a u e lc o m p u t a t i o n ( 3 ) t w os u p e r v i s e d2 d p c at e c h n i q u e sa r ep r o p o s e d o n ei saw e i g h t e d2 d p c am e t h o dt h a ti sp u tf o r w a r db ya n a l y z 堍t h er u l eo f2 d p c af r o mt h ep o i n to ft h ee u c l i d e a nd i s t a n c e i ti n c r e a s e st h er e c o g n i t i o nd i s t a n c e sb e t w e e ne v e r yt w os a m p l e sb e l o n g i n gt od i f f e r e n tc l a s s e sa n dn a r r o w st h er e c o g n i t i o nd i s t a n c e sb e t w e e ne v e r yt w os a m p l e si lr e s e a r c ho nf a c er e c o g n i t i o nm e t h o d sb a s e do i lp r i n c i p a lc o m p o n e n ta n a l y s i sa b s t r a c tb e l o n g i n gt ot h es a m ec l a s se f f e c t i v e l y t h eo t h e ri st os y n t h e s i z et h eb e t w e e n - c l a s sc o v a r i a n c ea n dt h es i m i l a r i t yo ft h ew i t h i nc l a s st ot h et o t a lc o v a r i a n c e t h i sm e t h o d sp r o j e c t i o nv e c t o r sc a l lc o n t a i nt h ec l a s sc h a r a c t e r sw h i c hp r o f i t st h ec l a s s i f i c a t i o n ( 4 ) t h ea d v a n t a g e sa n dd i s a d v a n t a g e so f2 d p c a ，a l t e m a t i v e2 d p c a ，( 2 d ) 2 p c aa r ed e e p l ya n a l y z e d t h e naf a s t ( 2 d ) 2 p c am e t h o di sp r o p o s e d i tc h a n g e st h ew a yo fc o m p u t i n gt h ep r o j e c t i o nd i r e c t i o n si nt h es e c o n dt r a n s f o r mo f ( 2 d ) 2 p c a i tc a ng r e a t l yr e d u c et h et i m eo ff e a t u r ee x t r a c t i o na n ds a v et h es t o r a g es p a c e k e yw o r d s ：f a c er e c o g n i t i o n ；p r i n c i p a lc o m p o n e n ta n a l y s i s ；t w od i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i s ；l o c a lf e a t u r e ；g l o b a lf e a t u r ei i iw r i t t e nb y ：q i a nx us u p e r v i s e db y ：w e id e n g苏州大学学位论文独创性声明及使用授权声明学位论文独创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责任。研究生签名：猃赁日期：墨翌墨：至：坦学位论文使用授权声明苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。期：型窭：鱼：壁：期：挫缈基于主成分分析的人脸识别方法研究第一章绪论第一章绪论1 1 人脸识别的研究背景及意义当今社会，随着科学技术的突飞猛进，计算机及网络的高速发展，信息的安全性、隐蔽性越来越重要，如何有效、方便地进行身份验证和识别，己经成为人们日益关心的问题。特别是美国9 1 1 事件后连续签署了三项国家安全法案，要求采用生物识别技术。2 0 0 3 年6 月，联合国国际民用航空组织已公布了其生物应用规划，将在个人护照中加入生物特征，并在入境时进行个人身份确认。生物特征识别技术受到了各国政府和科技界的普遍关注。目前人们研究和使用的生物特征识别技术主要有人脸识别、虹膜识别、手形识别、指纹识别、掌纹识别、签名识别、声音识别等。这其中，利用人脸特征进行身份验证妒是最自然最直接的手段。人脸识别技术就是利用计算机处理与分析人脸图像，从中提取有效的识别信息，用来辨别身份的一门技术。相比于其他生物特征识别，它具有直接、友好、方便和稳定性强等特点，易于被用户接受l l j ，特别是在不能接触识别对象时，更能体现出技术的优越性，对人脸识别技术的优点总结如下：1 、人脸获取是非接触式的、非侵犯性的、方便获取；2 、不需要人的刻意配合，对行为也没有限制，也没必要对正常的行为进行矫正；3 、是目前唯一可以用于监控系统的技术；4 、隐蔽性好，是反恐安防最重视的科技手段和攻关目标之一。人脸识别技术已成为计算机视觉及相关领域中的关键技术，具有广阔的应用领域和诱人的应用前景1 2 , 3 j ，人脸识别的具体应用主要有以下几个方面：1 、访问控制在安全性要求较高的地方如政府、医院，可以建立无门卫的门禁系统。对于来访者，可以通过人脸识别系统进行验证。在登录网络或计算机时，可以用人脸识别技术代替口令的输入，这样就不用担心口令的丢失、忘记或者被窃取，从而可以增加重要文件的安全性。2 、司法应用最常见的是罪犯识别，基本方法是对比目标特征和数据库存储特征的相似性，目标图像的自然属性是关键的，决定着整个过程的困难程度。比如，有时第一章绪论基于主成分分析的人脸识别方法研究候目标图像仅是通过目击证人的口头描述而勾勒出来的，显然不能和实拍照片相比。其它类似的应用程序有驾照、护照等识别。3 、电子商务在在线金融、贸易活动中，人脸识别可以提供客户的身份认证，并保证商业活动无拒付地良性运转。这对交易双方、银行都是很方便的，因为“n op i nt or e m e m b e r , n op i nt of o r g e t 。4 、视频监控监控一般是在当事人不知道的情况下进行的。利用人脸识别技术，监控者可以从大街上或进入大楼、机场的人群中找到自己要找的人。监控通常是一对多，或多对多的识别。图像质量是不可控的，并且一幅图像中存在多个人脸，具有姿态、视角、尺度、光照、遮挡等范围的变化。对比人脸识别，其它的生物特征识别技术很难在监控领域得到应用。5 、人机交互通常所说的人机交互主要指的是人与计算机之间用键盘、鼠标等的交互工作。然而，人类日常的交流一般是通过语言、手势、面部表情等非接触性方式实现的，相对于键盘、鼠标等接触性方式更加自然、亲切、方便。由此可见，如果采用人脸识别技术，让计算机能够自动识别出操作者的脸部表情、嘴唇动作等，则可以进一步扩展人机交互的手段，提高计算机的智能水平。综上所述，人脸识别具有极大的市场前景，甚至可能形成一个巨大的、对人类生活产生深刻影响的产业。同时，人脸识另i j 研究在学术上也有重要意义。它涉及到模式识别、图像处理、计算机视觉、生理学、心理学、以及认知科学和神经网络等多个领域的诸多知识，并与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系。因此人脸识别研究对于开拓新兴技术领域，促进跨领域的多学科综合发展具有重要的科学意义。1 2 人脸识别的研究历史及现状人脸识别的研究已有很长的历史，可以追朔到1 9 世纪法国人g a l t o n l 4 j 的工作。我国关于人脸识别的研究始于上个世纪计算机视觉兴起的8 0 年代，虽然起步比较晚，但是经过2 0 多年的研究，也取得了很多的研究成果。1 2 1 人脸识别发展的三个阶段人脸识别的输入图像通常有三种：正面、倾斜、侧面。人脸的正面图包含更多的2基于主成分分析的人脸识别方法研究第一章绪论特征，因此对人脸正面模式的研究最多。它的发展大致经历y - 个阶段1 5 6 j ：第一阶段以b e r t i l l o n ，a l l e n 和p a r k e 为代表，时间从2 0 世纪5 0 年代到6 0 年代，主要研究人脸识别所需要的面部特征。在b e r t i l l o n 的系统中，用一个简单的语句与数据库中某一张脸相联系，同时与指纹分析相结合，提供了一个较强的识别系统。为了提高脸部识别率，a l l e n 7 】为待识别脸设计了一种有效和逼真的摹写。p a r k e 8 j 用计算机实现了这一想法，并产生了较高质量的人脸灰度图模型。这一阶段工作的特点是识别过程全部依赖于操作人员，显然这不是一种可以完全自动识别的系统。第二阶段是人机交互式识别阶段，时间是2 0 世纪7 0 年代，代表性工作有：g o l d s t i o n 。h a r m o n 和l e s k1 9 j 等人用几何特征参数来表示人脸正面图像。他们采用21维特征向量表示人脸面部特征，并设计了基于这一特征表示法的识别系统。k a y a 和k o b a y a s h i 1 0 l 采用了统计识别方法，用欧氏距离来表征人脸特征。t k a n a d 1 1 j 设计了一个高速且有一定知识导引的半自动回溯识别系统，创造性地运用积分投影法从单幅图像上计算出一组脸部特征参数，再利用模式分类技术与标准人脸相匹配。k a n a d 的系统实现了快速、实时的处理，是一个很大的进步。相比之下，b a r o n i l 2 j 所做的工作较少为人所知，他先将图像灰度归一化，再用4 个掩模( 眼、鼻、嘴及眉毛以下的整个脸部) 表示人脸，然后分别计算4 个掩模与数据库中每幅标准图像的相应掩模之间的互相关系数，以此作为判别依据。总的来说，这类方法需要操作员的某些先验知识，仍然摆脱不了人的干预。第三段是真正的机器自动识别阶段。这阶段出现了不少新的人脸识别方法。2 0世纪9 0 年代以前的算法主要是基于特征的方法和简单的模板匹配方法。从1 9 8 7 年k i r b y 1 3 j 提出k - l 变换表示人脸到1 9 9 1 年t u r k 1 4 j 等提出特征脸方法开始，进入了子空间人脸识别的时代。在1 9 9 7 年前后涌现出很多经典的理论，如p e n s e v ”j 等的l f a方法、b e l h u m e u r 1 6 1 等的f i s h e r f a c e 法、v o r b m g g e n 1 7 】等的弹性图匹配法、m o g h a d d a m 1 8 l 等提出的b a y e s i a n 方法等等。这些方法的相继问世，掀起了人脸识别的一个高潮，呈现出百家争鸣的局面。1 2 2 国内外发展现状国外研究机构和公司从事自动人脸识别的研究与实践较早。国外的大学一般都有c o m p u t e rv i s i o n 研究组，并有从事人脸图像处理的课题研究小组，其中比较著名的有第一章绪论基于主成分分析的人脸识别方法研究m i t 、c m u 、m a r y l a n d 等。目前，国外的研究又取得了一重大突破，针对现有的人脸识别系统识别率易受人脸图像的光线变化和姿态变化的影响，提出了3 d 模型的重建算法，并根据重建的人脸3 d 模型判断人脸图像的类别。国内对人脸识别领域的研究起步较晚，但近十年来呈现飞速发展状态。国内很多教学科研机构都有人员从事人脸识别的相关研究。其中主要有清华大学，中科院自嗣化所和计算所，哈尔滨工业大学，南京理工大学等。目前，自动化所和一些研究机构，大学也展开了人脸3 d 模型重建的研究工作，极大地推动了国内计算机人脸识别技才的研究。文献1 3 , 1 9 j 对近年来国内外人脸识别取得的成果进行了总结。目前，人脸识别主要分为静态图像人脸识别和视频序列的人脸识别。本文主要握对静态灰度图像进行人脸识别。一个人脸识别系统框架可以用图1 1 来表示。图1 1 人脸识别系统框图人脸自动识别主要分为训练和识别两个过程，它们的研究大致又可以分为人脸的检测定位和预处理、特征提取、人脸识别等几个方面i( 1 ) 检测定位和预处理在实际的研究中，这一步可分可合。目的是检测输入图像中有没有人脸，将人脸从图像中分割出来，并进行预处理消除背景、头发、服装等干扰，保留人脸识别所需的主要信息，得到归一化的人脸图像，以利于后续的特征提取与识别。近年来，人脸检测已经成为独立的研究课题得到研究者的关注。图1 2 人脸图像预处理框图4基于主成分分析的人脸识别方法研究第一章绪论图1 2 是常见的预处理过程，其中至关重要的是特征点的精确定位。即使基于全局匹配算法也需要眼睛等重要特征来归一化人脸图像。( 2 ) 特征提取这一过程也可以称为人脸表征( f a c er e p r e s e n t a t i o n ) ，就是提取人脸的特征，将现实空间的图像映射到机器空间的过程。人脸的表征具有多样性和唯一性，只有保持这种多样性和唯一性，才能保证人脸图像的准确描述和识别。通常的方法包括几何特征( 如欧式距离、曲率、角度等) 、代数特征( 如矩阵特征向量) 、固定特征模板、本征脸、云纹图等。( 3 ) 人脸识别人脸识别就是将待识别的人脸与数据库中的已知人脸进行比较匹配得出相关信息的过程。这一过程的核心是选择适当的人脸表示方式与匹配策略。在匹配策略上，常见的有最近邻法，支持向量基方法，神经网络方法等。( 4 ) 表情姿态分析表情姿态分析( e x p r e s s i o ng e s t u r ea n a l y s i s ) 就是对待识别人脸的表情或者姿态信息进行分析，并对其进行分类。( 5 ) 生理分类生理分类( p h y s i c a lc l a s s i f i c a t i o n ) 就是对待识别人脸的生理特征进行分析，得出其年龄、性别等相关信息。本文的人脸识别是狭义的人脸识别，故不涉及表情姿态分析和生理分类两方面。虽然人类能够轻易地识别出复杂环境中的人脸，但是人脸自动识别却是难度极大的课题。其主要原因在于人脸属于三维非刚性对象，而且人脸识别一般呈基于视图模式的，受到很多不确定性因素的影响【2 叭，主要包括：1 、姿势人脸可能以不同的姿势出现，产生了人脸图像的外观变化；2 、装饰人脸的一些特殊的装饰或附属物会给识别带来严重的后果，比如胡须、眼镜、化妆等；3 、遮挡人脸在某些情况下会被遮挡，而使脸部特征缺损或丢失；4 、背景人所处的环境背景的复杂程度直接影响人脸检测和识别；5 、人脸表情人脸的外观会受到人的心理和表情的影响；6 、成像条件人脸在成像过程中，会受到摄像距离、拍摄方向、视场角度、光照强弱等条件的影响；7 、年龄跨度人脸会随着年龄的增长而有所变化。人脸识别受到内在生理变化和外界环境变化的影响较大，众多的未知因素使人脸识别成为一个极其有趣但却极富挑战的课题。第一章绪论基于主成分分析的人脸识别方法研究1 2 3 人脸识别的主要方法对众多的人脸识别方法进行精细的分类是很困难的，但可以从不同的角度来粗略分类。例如可以分为基于静态图像的方法和基于运动序列的方法；基于二维的方法和基于三维的方法；基于整体的方法和基于局部的方法；基于代数特征的方法和基于几何特征的方法等等。下面介绍几种主要的方法：1 、基于几何特征的方法人脸的几何特征包括各个面部器官的形状、灰度以及各个器官之间的结构关系( 如位置、距离和角度等) 。这些特征利用了人脸的先验结构知识，比较简单和直观，是最容易想到的人脸特征。g a l t o n 2 1 j 最早利用手工的方式在人脸的侧面轮廓上提取一组基准点，然后从这组基准点求得一组可用于识别的特征量度，如距离、角度和面积等进行识别。h a r m o n 2 2 , 2 3 1 在此基础上提出了一种自动的人脸侧面轮廓识别方法，并讨论了这些基准点特征的有效性。b l e d s o e 2 4 1 是最早提取正面人脸的几何特征并用于人脸识别的研究者之一。b r u n e l l 2 副的方法可以看作是几何特征提取方面的经典工作，他利用人脸边缘图的积分投影提取了3 5 个几何特征，其中既有反映器官形状的特征，也有反映位置关系的特征。他还提出了利用灰度模板来表示人脸几何特征的方法。基于几何特征的方法虽然比较直观，但在人脸识别的应用中效果不是很理想。因为人脸能够产生塑性变形，即使几何特征提取的再准确也将产生较大的误差，而且姿势的变化也会对几何特征的有效性造成影响。2 、基于代数特征的方法基于代数特征的方法把一幅人脸图像看作是以像素点的灰度值为元素的矩阵，把反映矩阵某些性质的数值特征当作人脸特征。这些特征反映了图像的整体性质。最有名的基于代数特征的人脸识别方法就是基于主元分析( p r i n c i p a lc o m p n o n e n ta n a l y s i s ，p c a ) 的特征脸法，这种方法假设人脸图像在高维中服从近似高斯分布。s i r o v i e h 和k i r b y i 对首先将k - l 变换用于人脸图像的最优表示。t u r k 和p e n t l a n d 1 4 j 进一步提出了“特征脸 方法，该方法以训练样本集的总体散布矩阵为产生矩阵，经k - l 变换后得到相应的一组特征向量，因其对应的图像很像人脸，被称为“特征脸”。此方法在实验中取得了不错的效果，但是它对人脸图像的归一化要求较高，其性能易受到光照的影响，因此近几年来学者们提出了各种改进版本或扩展算法，y a n g 等人提出了基于高阶统计的p c a 方法；t a k e s h i 等人1 2 6 j 贝0 将特征6基于主成分分析的人脸识别方法研究第一章绪论脸分解到两个正交的特征空间中以实现在不同的光照条件下鲁棒性识别；张辉等人【2 7 j 采用对称主元分析神经网络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识别；彭辉等人1 2 8 j 也提出了特征脸的进一步改进方法，采用类间散布矩阵作为产生矩阵，以降低运算量；杨健等1 2 9 j 提出了一种二维的p c a 算法，它不需要把图像矩阵转化成一维图像矢量，直接在二维图像矩阵的基础上求得图像的协方差；随后张道强、周志华又提出了一种新的二维p c a 算法1 3 0 j ，该算法是在图像矩阵的行和列两个方向上同时使用二维p c a 算法。h o n g 3 1 j 提出了一种利用奇异值分解( s v d ) 来获取人脸特征的方式，作为一种代数特征，奇异值具有代数和几何不变性，并且对噪声不敏感。该方法利用人脸图像的奇异值作为特征，采用基于最优鉴别平面的b a y e s 决策来进行人脸识别。此后，程永清1 3 2 j 等发展了h o n g 的方法，他们利用秩分解的方法进行降维以提取人脸图像的奇异值，还在s v d 的基础上提出了表示人脸的特征图像和投影图像的概念，并导出了基于投影图像的人脸特征提取方法。3 、基于神经网络的方法基于神经网络的人脸识别方法可以分成两类，一类是利用其它方法提取出人脸特征，然后把神经网络作为分类器来识别。这类算法包括l e e的模糊神经网、b r u n e l l i 的h y p e r b f 网络和a l t a f 的专用网络h a v n e t 等；另外一类方法就是把神经网络既当成特征提取器又当成分类器。c o t t r e l l 和f l e m i n g 3 3 驯首先利用3 层b p 网络来进行人脸的特征提取，b p 网络的输入和输出的神经元相同，以隐含层的输出作为特征。对网络进行训练使得它的输出逼近输入。这时，隐含层的输出可以看作是输入人脸图像的一种压缩表示。如果把单个隐含层神经元的响应传播到输出层，得到的图像和特征脸很类似，提取的特征再通过一个两层的神经网络进行分类。l a w r e n c e1 3 5 】等采用卷积神经网络来进行人脸识别，他首先利用s o m 对图像进行量化和降维，然后利用卷积神经网络判断和测试人脸图像和库中的标准图像的相似性以达到识别的目的。基本的卷积神经网络采用的是非监督学习方式。n e b a u e r i 3 6 j 提出了一种经过改进的新感知机n e o ，n e o 的输入不需要进行归一化，并且采用了s 型函数作为输出。在学习规则上n e o 采用了监督学习方式，用经过训练的三层压缩解压b p 神经网络的隐含层节点对应的权值作为期望输入，得到较好的效果。l i n 3 7 j 等提出了基于概率决策的神经网络模型p d b n n ，它的主要思想是采用虚7第一章绪论基于主成分分析的人脸识别方法研究拟样本进行强化和反学习，从而得到比较理想的概率估计结果，并采用模块化的网络结构加快网络的学习。这种方法在人脸检测和定位以及识别上都得到了较好的应用。4 、基于h m m 的方法隐马尔可夫模型( h m m ) 是一种有效的建模和识别方法，在语音信号处理方面得到了广泛的应用。s a m a r i a 3 8 j 等把h m m 用于人脸识别，它把人脸从上到下分成五个状态，分别对应前额、眼睛、鼻子、嘴巴和下巴。图像的每一横条代表一个状态的观测值，每一个人都建立一个对应的h m m 模型。在测试的时候，具有最大似然输出的模型所对应的人被称为是测试样本所属的类别。n e f i a n 3 9 j 等在上述方法的基础上提出了一种基于2 d 内置式h m m 的人脸识别方法。这种方法把s a m a r i a 的处理方法中的每一横条图像也用一个1 d 的h m m 来表示，这种方法的效果要优于s a m a r i a 的方法。5 、基于3 d 建模的方法。人脸图像实际上可以看作是人脸三维形状的二维投影，在这个投影过程中损失了很多有利于识另i j 的有用信息。因此如果能够得到人脸的3 d模型将有利于提高识别的性能。a t i c k 4 0 】扩展了特征脸的思路，提出了一种基于特征头( e i g e n h e a d ) 的人脸特征提取方法。他的思想是把正面人脸的形状甩一个三维空间中的函数来表示z = l ( x ，y ) ，然后用这个形状函数在二维平面上投影，即二维灰度人脸图像1 ( x ，y 1 来估计z 的参数。这是个从投影来恢复形状的问题，通常这种解不是唯一的，a t i c k 利用人脸的先验知识解决了这个问题。n a s t a r 4 l j 等提出了一种基于灰度平面的方法，将人脸图像建模为可变形的3 d 网格表面，从而将人脸匹配问题转化为可变形曲面的弹性匹配问题。他利用有限元分析的力一法进行曲面变形，并根据变形的情况来判断两张图片是否为同一个人的。1 3 主要研究内容及结构安排1 3 1 本文的研究内容人脸识别研究涉及到图形图像处理、模式识别、神经网络等研究领域，是具有重要的学术价值和广泛的应用前景，是极其富有挑战性的课题。因此，受到了研究人员的广泛关注。由于p c a 人脸识别方法具有简单、快速、易行的特点，并且从整体上反映了人脸图像的灰度相关性，因此一直以来受到很大的重视，也取得了很大的效果。8基于主成分分析的人脸识别方法研究第一章绪论本文的研究目的是改进基于p c a 基础上的人脸识别方法，内容涉及到人脸图像的预处理、特征提取方法、特征提取时间，其主要研究内容如下：1 、提出一种基于p c a 投影法的人眼特征点定位技术：首先通过基于p c a 的人脸姿态估计算法而找到人脸的倾斜方向，再进行姿态校正、投影，使投影法能够应用到头部有偏转的人脸图像。；，2 、提出一种基于局部特征自适应加权2 d p c a 人脸识别方法：采用分块把基于整体模板的统计分类算法和基于几何特征的结构分类算法融合起来，同时强化了不同特征对识别有不同贡献的，通过虚拟样本自适应地计算出贡献值并加权到分类器中。该方法充分利用了整体特征和局部特征，能够容忍一定的表情、光照和外貌变化。而且又适用于并行计算。3 、提出两种监督式2 d p c a 人脸识别方法。一种是从欧氏距离角度分析2 d p c a准则函数，从而提出加权2 d p c a 方法，在加权子空间中，有效地增大了类间样本的识别距离，减少了类内样本的识别距离；另一种在2 d p c a 准则中同时考虑了样本类内相关性和样本类问协方差，从而提出基于相关性的2 d p c a 方法，使求得的投影向量本身就能蕴含着类别特征，从而更有利于进行分类。4 、提出一种快速( 2 d ) 2 p c a 人脸识别方法。该方法的第二次列变换是在第一次行变换的结果上进行的，从而大幅度地缩短了特征提取时间，又减少了存储空间。1 3 2 本文的结构安排全文共分为七章，安排如下：第一章绪论，简要地介绍了人脸识别研究的背景及意义、人脸识别的研究历史、本文的研究内容和结构安排。第二章人脸图像预处理，介绍了灰度预处理、二值化、人眼特征点定位技术、尺寸预处理。重点介绍了人眼定位技术，提出一种基于p c a 投影法的人眼定位技术。详细阐述了该技术的原理及步骤，最后用i m m 人脸库对其进行验证及分析。第三章几种基于p c a 的人脸识别方法，主要介绍了p c a 人脸识别方法和2 d p c a人脸识别方法，并对它们进行实验分析和比较。第四章基于局部特征自适应加权2 d p c a 人脸识别方法，详细阐述了该方法的基本原理及步骤，并用o r l 、y a l e 、a r 人脸库验证其有效性，并对该方法与2 d p c a9第一章绪论基于主成分分析的人脸识别方法研究方法进行比较与分析。第五章监督式2 d p c a 人脸识别方法，主要介绍了两种监督式2 d p c a 方法：加权2 d p c a 方法和基于相关性的2 d p c a 方法的原理推导及步骤。最后用o i 也、y a l e人脸库上的实验证明其理论的可行性及优越性，并与2 d p c a 进行比较与分析。第六章快速( 2 d ) 2 p c a 方法，首先分析了2 d p c a 、列2 d p c a 、( 2 d ) 2 p c a 原理及其优缺点，然后详细阐述了快速( 2 d ) 2 p c a 的理论推导及步骤，最后用o r l 、y 甜e人脸库对这几种方法在特征提取时间、识别率、存储空间上进行比较及分析。第七章总结与展望，总结本文所做的主要工作及成果，同时也提出了进一步可以开展的工作。i o基于主成分分析的人脸识别方法研究第二章人脸图像预处理第二章人脸图像预处理预处理是模式识别过程中的一个重要步骤。输入图像从实际景物转换成数字图像信息时，由于设备条件不同，如光照明暗程度以及设备性能的优劣等，往往存在噪声、对比度不够等缺陷。另外，距离远近、焦距大小等又使得人脸在整幅图像中的位置和大小不确定。为了保证提取的特征脸在图像中的大小、位置和偏斜的不变性，及对光照条件的不敏感性，必须在提取特征之前对图像作预处理的工作，以便在同一条件下完成训练和识别。通常主要是对人脸图像进行灰度预处理、几何预处理以及消除噪声等处理，可视具体应用和环境而选择不同的方法。2 1 灰度预处理灰度预处理可以在一定程度上去除不同光照对人脸图像的影响，使得图像识别更加准确与可靠，本节主要介绍两种常用方法。在图像中取不同灰度值的像素的数目是不同的，灰度级的直方图是反映一幅图像中的灰度级与出现这种灰度的概率之间关系的图形，也就是表达图像灰度分布情况的统计图表。直方图均衡是以累积分布函数变换法为基础的直方图修正法1 42 | ，通过直方图均衡可以产生一幅灰度级分布具有均匀概率的图像，即改变了图像的灰度值，提高了图像的对比度。在预处理中采用直方图均衡，可以部分地减小不同人脸图像的亮度差别，使灰度值充分地占据灰度值范围，提高图像的对比度，如图2 1 所示。舅( a ) 原图像及其灰度直方图( b ) 直方图均衡化后的图像及其灰度直方图图2 1 直方图均衡化前后对比灰度归一化就是按照模式识别算法的要求，用线性的方法将图像的亮度( 均值)和对比度( 方差) 归一化到一定范围。灰度归一化可以对原始图像的光照不均进行补第二章人脸图像预处理基于主成分分析的人脸识别方法研究偿，使得待识别图像遵循同一或相似的灰度分布，能一定程度上克服光照变化的影响而提高识另i i 效果。对宽度为形，高为日灰度图的图像矩阵f ，( x ，y ) 表示点( x ，y ) 处的像素灰度值，图像像素韵均值为m e a n ，方差为沈加，假设期望的均值和方差分别为，吒。m e a l m e a n = 南h m ，y )( 2 1 )= 77 ，i x ，y ll z 1 ，鲁智一“7d e l t a =( 2 2 )把所有训练样本，测试样本的每个像素点的灰度值进行如下的线性变换：纸y ) = + f ( x 矿, y ) - m e a n 吒( 2 3 )7 ( x ，y ) 就是每一点灰度归一化的输出，厂，7 分别表示灰度归一化前后的图像矩阵。通过灰度归一化后人脸图像具有相同的均值和方差。2 2 二值化图像二值化是指通过设定阈值把灰度图像变成仅用两个值分别表示图像的目标和背景的二值图像，以便进一步对二值化了的图像进行边缘检测等，本文中眉毛、眼睛、鼻子、嘴巴等特征点的定位均是在二值图像的基础上进行的。二值化最关键的问题就是如何选择正确的灰度阈值，即灰度值的突变点。为此，国内外学者进行了广泛深入的研究和大量的实验，提出了多种阈值选取方法，如双峰直方图阈值分割法【捌、最大熵阈值分割法、模糊聚类分析法等。本文采用的是最大类间方差阈值分割法( o t s u ) ，又叫大律法，这种算法是由日本大津展之在1 9 8 0 年提出的，是在最小二乘法原理的基础上被推导出来的。其基本思想是将图像的直方图以某一灰度值作为阈值将图像分割成两组并计算两组的方差，当被分成的两组之间的方差比最大时，就以这个灰度值作为最佳阈值分割图像。假设原始图像灰度级为工，灰度级为，的像素点数为豫，则图像的全部像素数为：n = n o + 碍+ + ，屯一l( 2 4 )各灰度值的概率为：1 2基于主成分分析的人脸识别方法研究第二章人脸图像预处理a = 景，按灰度级用阈值t 划分为两类：c o - - ( o ，1 ，)c l = ( r + 1 ，r + 2 ，l - 1 )则c 0 组产生的概率和平均灰度分别为：协，2 寺2 善n吩xi b f窆伤c l 组产生的概率和平均灰度分别为：碍嵋2 岢2 丕a 。1 一整体平均灰度值为：碍fb f铲暂2 f nj上一l甜：y 防x i一i - - 0其中阈值为f 时灰度的平均值为：fz ，( f ) = p t x ii = oc o 组的方差为：c l 组的方差为：赤z 脚( i - 甜o ) p , -( 2 5 )( 2 6 )( 2 7 )( 2 8 )( 2 9 )( 2 1 0 )( 2 1 1 )=岛瑚第二章人脸图像预处理基于主成分分析的人脸识别方法研究所以采样的灰度平均值为：u2w o u o + 定义类内方差为：而= 靠+ 蠢类间万差为：2 = ( z ，。一甜) 2 + 嵋( “。一甜) 2= w l ( u 。一) 2类间和类内方差的比值为：s = 端选取不同的阈值，比较各个s 的值，则最佳阈值f 0 应满足条件：瓯= m a x ( s o ，s ，是5 5 )最后根据最佳阈值t o ，对图像进行二值化。即：g ( x ，y ) = 【2 0 5 , 5 f ，( x 【, y x ，) y o 乇图2 2 显示了一幅原图和通过o t s u 选取阈值的二值化图像。( 2 1 2 )( 2 1 3 )( 2 1 4 )( 2 1 5 )( 2 1 6 )( 2 1 7 )( 2 1 8 )( a ) 原图像( b ) 二值化的图像( t o = 7 3 )图2 2 原图像及二值化后的图像图像二值化后，人脸的主要特征如头发、眉毛、眼睛、鼻子、嘴巴等被明显地分割出来了，如图2 2 所示，这将有利于后续的特征点定位。其实，不同的图像二值化方法各有各的特点，对于同一幅图像的处理可取得不同的二值化效果。二值化效果的好坏取决于阈值的选择。1 4基于主成分分析的人脸识别方法研究第二章人脸图像预处理2 3 人眼定位技术在许多的人脸识别方法中，人眼定位常常是预处理中必不可少的一部分，在此基础上的特征提取和人脸识别将会变得更加容易和准确。人眼的精确定位是人脸识别预处理的关键步骤，是人脸角度预处理和尺寸预处理的前提。2 3 1 投影法定位技术目前，已有很多学者将投影函数成功地运用于定位面部特征。k a l l a d e 【1 1 】最早将投影函数成功地应用于人脸识别，他首先用拉普拉斯算子对原始灰度图像进行二值化，然后用积分投影函数( i n t e g r a lp r o j e c t i o nf u n c t i o n ) 对二值图像进行分析。b r u n e l l i和p o g g i o 2 5 】对k a n a d e 的算法作了修改，他们将积分投影函数应用于边界图分析，从而确定出面部各个特征的位置。f e n g 和y u e n 4 5 】将灰度方差引入投影分析中，并同时提出了一种利用方差投影函数( v a r i a n c ep r o j e c t i o nf u n c t i o n ) 定位眼睛的简单方法，从而提高了算法的精度。后来，耿新1 4 6 】等人又提出了一种多线索定位眼睛的方法，其中应用了一种眼睛方差过滤器，而这种过