（信号与信息处理专业论文）基于ndpca的人脸识别方法研究.pdf

大连理工大学硕士学位论文 摘要 人脸识别研究是数字图像处理、模式识别与计算机视觉等多个学科研究的热点，也 是当前最具有应用前景和实际应用价值的研究课题，它在人机交互，身份确认等方面都 有着广泛的应用前景。目前人脸识别方法有很多种，包括基于几何特征的方法，基于模 板匹配的方法，基于神经网络的方法等等。其中，主元分析方法由于其简单有效越来越 受到模式识别和计算机视觉领域的关注。 在传统的主元分析中，二维图像矩阵必须首先转化为一维向量，这样不但会破坏图 像数据的内在结构，还会使图像数据位于一个非常高维的空间中，从而导致了“维数灾 难 。在实际中，数据对象的本质特征往往是以二阶、三阶甚至更高阶的张量存在的。 基于以上原因，张量的概念被带入模式识别和计算机视觉领域，基于张量的主元分析方 法成为一个热点。 本文主要介绍了传统的主元分析方法，二维主元分析方法以及扩展的二维主元分析 方法，重点研究了基于张量的n 维主元分析方法，并从理论上分析了这些方法的优缺点。 在此研究基础上，利用b o o s t i n g 的思想，级联多个g 2 d p c a 分类器，能更进一步的提 高人脸识别率。另外，通过对人脸图像的纹理特征进行多线性分析，可以有效地的减小 光照以及姿态等其他因素的干扰，得到较好的识别效果。 最后，分别在o r l 人脸图像库和c m up i e 人脸图像库进行了试验，验证了本文提 出方法的有效性，实验表明，无论是在识别效果还是在对光照以及姿态的鲁棒性上，n 维主元分析方法都要优于传统的主元分析方法。 关键词：人脸识别；特征提取；主元分析；二维主元分析；n 维主元分析 基于n d - p c a 的人脸识别方法研究 r e s e a r c ho ff a c er e c o g n i t i o nb a s e do nn d p e a a b s t r a c t r e s e a r c ho ff a c er e c o g n i t i o ni st h er e s e a r c ha b o u tp a t t e r nr e c o g n i t i o n ，d i 酉t a li m a g e p r o c e s s ，c o m p u t e rv i s i o na n dt h eo t h e rr e l a t i v es u b j e c t s i ti st h em o s tp o p u l a rm s e a r c h s u b j e c tt o d a y ，b e c a u s e i th a st h eb e s tf o r e g r o u n da n dp r a c t i c e a p p l i c a t i o nv a l u e f a c e r e c o g n i t i o nh a saw i d er a n g eo fp r o m i s i n ga p p l i c a t i o n s ，s u c ha sh u m a n - c o m p u t e ri n t e r a c t i o n a n dp e r s o n a li d e n t i t yr e c o g n i t i o n t h ep r e s e n tf a c er e c o g n i t i o nm e t h o d sm a i n l ya r eb a s e do n g e o m e t r yf e a t u r e ，e l a s t i cg r a p hm a t c h , h i d d e nm a r k o vm o d e la n de r e b e c a u s eo fi t s s i m p l e n e s sa n de f f i c i e n c y ，p a t t e r nr e c o g n i t i o na n dc o m p u t e rv i s i o nh a v ew i t n e s s e dg r o w i n g i n t e r e s t si np r i n c i p a lc o m p o n e n t a n a l y s i s ( p e a ) + i nt r a d i t i o n a lp c a ，t h ei m a g em a t r i xi sf i r s t l yt r a n s f o r m e di n t oav e c t o r ，t h u st h ei m a g e o b j e c ti su s u a l l yd e s t r o y e di ni n t r i n s i cs t r u c t u r ea n dr e p r e s e n t e di nav e r yh i g hd i m e n s i o n a l f e a t u r es p a c e ，w h i c hr e s u l t si nt h ew e l lk n o w nc 1 s eo ft h ed i m e n s i o n a l i t yd i l e m m a f u r t h e r m o r e ；i nt h er e a lw o r l d ，t h ee x t r a c t e df e a t u r eo fa no b j e c to f t e nh a ss o m ei n t r i n s i c s t r u c t u r e sw h i c ha r eu s u a l l yi nt h ef o r mo ft h e2 - o r d e r , 3 - o r d e ro re v e nh i g h e r o r d e rt e n s o r d u et ot h er e a s o n sa b o v e ，t h ec o n c e p to f t e n s o r h a sb e e nb r o u g h ti n t op a t t e r nr e c o g n i t i o n a n dc o m p u t e rv i s i o n ，a n dp r i n c i p a lc o m p o n e n ta n a l y s i sb a s e do n t e n s o r b e c o m em o r ea n d m o r ep o p u l a r t h i sp a p e rm a i n l yi n t r o d u c e ss o m em e t h o d si n c l u d i n gp e a ，2 d p c a ，g 2 d p c aa n d n d p e ab a s e do nt e n s o r t h o s em e t h o d sa r ec o m p a r e dw i t he a c ho t h e rb yu s i n gs o m e e f f e c t i v ee x p e r i m e n t ，a n dt h ea d v a n t a g ea n dd i s a d v a n t a g ea r ea n a l y s e sb a s e do ne x p e r i m e n t r e s u l t s b a s e do nt h o s em e t h o d sa b o v e ，w ep u tm u l t i p l ec l a s s i f i e r sb a s e do ng 2 d p c a t o g e t h e ru s i n gt h em e t h o do fb o o s t i n gw h i c hc a no b t a i ng o o dp e r f o r m a n c ei nf a c er e c o g n i t i o n b e s i d e s ，w es t u d yt h em e t h o do fi m a g et e x t u r ef o rf a c er e c o g n i t i o nb a s e do nn d - p c a , a n di t i sr o b u s tt ot h ev a r i e t yo fv i e w p o i n t sa n di l l u m i n a t i o n s a tl a s t ，w ed os o m ee x p e r i m e n t si nt h eo r ld a t a b a s ea n dp i ed a t a b a s ea n dt h er e s u l t s o fe x p e r i m e n ti n d i c a t et h ev a l i d i t yo ft h em e t h o d sw h i c ha l em e n t i o n e da b o v e k e yw o r d s ：f a c er e c o g n i t i o n ；f e a t u r ee x t r a c t i o n ；p e a ；2 d p e a ；n d - p c a 大连理工大学学位论文独创性声明 作者郑重声明；所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 学位论文题目：基逊趟甾遂邂型杰基塑 作者签名： 蓬i 整 日期：皇型翌年且月必 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：茎量业二幽盟醺! i ：曼到壹这亟龌 作者签名： 匿2 遂日期：塑赴年班月幽 导师签名： 庄丝因丝1日期：丑年j 丛月业 大连理工大学硕士学位论文 1绪论 1 1人脸识别概述 人脸识别是计算机视觉与模式识别领域的一个重要研究课题，近几十年来己经成为 一个非常活跃的研究方向。所谓人脸识别技术，就是指利用计算机技术分析包含人脸的 静态图像或视频序列，从中提取人脸的个性化特征，并以此自动识别人的身份的一门技 术。尽管人类早在要幼儿时期就已经具有了辨识人脸的能力，但构建一个自动的、高识 别率的计算机人脸识别系统却并非易事，有许多困难仍未得到解决，因此人脸自动识别 也是一项极具挑战性的工作【l 韧。这些困难主要表现在光线、姿态、年龄、遮挡物等方 面。人脸识别研究跨越了图像处理、模式识别、计算机视觉、人工智能以及生理学、心 理学、认知科学等研究领域，并与其他基于生物特征的身份鉴别方法以及计算机人机感 知交互领域都有着密切的联系。 人脸识别研究从二十世纪六七十年代起就引起了诸多学科领域研究者的浓厚兴趣， 进入二十世纪九十年代后，随着各行业对人脸识别系统的迫切需求，人脸识别研究再次 成为热门课题。当前世界各国有许多研究机构在从事这方面的研究，这些研究受到军方 以及大公司的高度重视和资助，美国军方还专门组织了人脸识别竞赛以促进人脸识别研 究的发展。经过几十年的研究，人脸识别己经成为图像分析与图像理解领域最成功的应 用之一，研究人员提出了许多识别方法，建成了一些实脸系统，也有不少成功的人脸识 别商业软件己经投入市场。 人脸识别技术因其无需用户过多参与、非接触式的数据采集方式、对用户无任何损 害、便于隐藏等优点而普遍为人们所看好。人脸识别技术在国家重要机关、社会安防等 各种领域都具有广泛的应用。 1 2 人脸识别研究及发展现状 1 2 1人脸识别发展现状 人脸识别的研究已有很长的历史，甚至可以追溯到1 9 世纪。人脸识别的输入图像 通常有三种情况：正面、倾斜、侧面。根据实际情况的要求，对人脸正面模式研究最多， 它的发展大致可以分为以下三个阶段： ( 1 ) 第一阶段是研究人脸识别所需要的面部特征，以b e r t i l l o n 、a l l e n 和p a r k e 为代 表。b e r t i l l o n 的系统用一条简单语句与数据库中的人脸相关联，同时与指纹分析相结合， 提供了一个较强的识别系统。为提高脸部识别率，a l l e n 3 j 为待识别人脸设计了有效、逼 基于n d - p c a 的人脸识别方法研究 真的描写，p a r k e 用计算机实现了a l l e n 的方法，生成了较高质量的人脸灰度图模型。这 一阶段工作主要依赖于手工操作，还不能完成自动的人脸识别工作。 ( 2 ) 第二阶段是人机交互识别阶段，代表性工作是g o l d s t i o n 、h a r m o n 和l e s k q 的 几何特征参数来表示人脸正面图像。他们采用二十一高维特征矢量表示人脸面部特征； k a r a 和k o b a y a s h i 使用基于统计的识别方法，用欧氏距离表征人脸特征。t k a n a d e 5 】使 用积分投影方法计算出一簇人脸特征参数，再利用模式分类技术与标准人脸匹配。这此 方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预。 ( 3 ) 第三阶段是自动机器人脸识别阶段。近十余年来，随着高性能、高速度计算机 的快速发展，自动人脸模式识别方法取得了较大的进展。目前人脸自动识别技术主要分 为三大类：几何特征法、统计特征法和连接机制法。基于几何特征法如模板匹配法【6 】、 弹性图匹配法【刀等，基于统计特征法如主分量分析隋- 9 1 、独立分量分析1 m 1 2 1 、线性判别式 法分析f 1 3 】等，基于连接机制法如神经网络方法【1 4 阍、h m m 澍1 6 1 等。这些方法各有优长， 也各存不足，具体情况见表1 1 。为了使用于不同条件下的人脸识别，目前更多的人脸 识别系统是将各种方法有机地融合在一起，发挥优长，克服缺点，以适应不同条件下的 人脸识别需求，达到降低运算量，提高识别率的目的。 1 2 2 国内外人脸识别理论研究机构 目前，国内外许多科研机构都设立了专门的研究组从事人脸检测和识别的理论研 究。国外，著名的人脸检测和识别研究机构包括美国的卡奈基梅隆大学( c m u ) 机器人 研究所、麻省理工学院( m i t ) 媒体实验室和人工智能实验室、英国的s u r r e y 大学视觉 语音和信号处理研究中心、法国的i n r i a 研究所、瑞士i d i a p 研究所、日本a r t 研究 所、芬兰的赫尔辛基大学c i s 研究所等。一些模式识别、计算机视觉领域著名的国际会 议( 如国际计算机视觉会议i c c v 、国际计算机视觉和模式识别会议c v p r 、国际模式 识别会议i c p r 、亚洲计算机视觉会议a c c v 等) 和知名的国际期刊( 如i e e e 、p a t t e r n r e c o g n i t i o n ，i m a g ea n dv i s i o nc o m p u t i n g 等) 也纷纷设立了人脸识别专题。 国内关于人脸识别的研究开始于2 0 世纪8 0 年代，目前主要有清华大学、北京大学、 中国科技大学、大连理工大学、哈尔滨工程大学、南京理工大学、北方交通大学等高校， 中科院计算机研究所、自动化研究所及声学研究所等科研单位也开展了相关的研究。其 中中科院自动化研究所和计算机研究所的研究工作处于国内领先水平。 大连理工大学硕士学位论文 表1 1 各种识别方法优缺点比较 t a b 1 1a d v a n t a g ea n dd i s a d v a n t a g ec o m p a r eo f d i f f e r e mr e c o g n i t i o nm e t h o d s 1 2 3 国内外人脸识别系统产品发展现状 随着人脸识别技术的不断完善和成熟，国内外许多大学、科研所都设立了专门的研 究开发小组，许多研发公司也纷纷投入大量的人力和物力，进行商用的人脸识别系统的 开发，并已成功研制出很多实用的人脸识别系统产品。 国外，由于广泛的市场需求，商用的人脸识别系统发展较快，其应用范围也很广， 部分主要产品、公司及网址在表1 2 中列出。 基子n d - p c a 的入脸识别方法研究 表1 2 国外商用的人脸识别系统 t a b 1 2o v e r s e a sb u s i n e s sf a c er e c o g n i t i o ns y s t e mt a b l e 商业产品( 厂家) 网址 a c s y s f r s ( a c s y s 公司) f a c e v a c s ( c o g n i t e c 公司) f a c e s n a p ( c 叫i s 公司) m i r he y e ( 监控系列d r e a mm i r t h 公司) e p l ( e y e m a t i c 公司) i qi m a g e m a t c h e r ( i e o n q u e s t 公司) f a e e i t ( i d e n t i x 公司) h t t p ：w w w a c s y s b i o m e t r i c s c o r p 。c o m h t t p ：w w w c o g n i t i e c s y s t e r m s c o i n h t t p ：w w v c - v i s c o m h t t p ：w w w d r e a 衄i r t h c o m h t t p ：w w w e y e m a t i e c o m h t t p ：w w w i c o n q u e s t t e c h c o m h t t p ：w w w i d e n t i x c o m 我国从事人脸识别系统研究起步较晚，但随着识别技术的日臻完善及市场需求的不 断增加，商业人脸识别系统发展步伐较快，一些成型的产品也相序研制成功，其中由清 华大学电子系人脸识别课题组负责人苏光大教授主持承担的国家“十五 攻关项目人 脸识别系统，于2 0 0 5 年1 月1 8 日通过了由公安部主持的专家鉴定，并广泛应用到实 际生活中。据报导，2 0 0 8 年北京奥运会，我国将采用公安部成功的“人脸识别系统 为 奥运会保驾护航【1 7 1 。国内其他从事商业人脸识别系统开发的公司及相关产品有：航天金 盾开发的航天金盾人脸识别系列产品。如单机静态人脸比对系统( o f r s s 0 1 ) 、单机动态 人脸比对系统( g f r s s 0 2 ) 、人脸对服务器( g f r s - n 0 1 ) 等，广州超越数码科技有限公司 的b i o f a c e t m 面部识别系统系列，上海银晨智能识别科技有限公司的用于记录考勤的银 晨人脸识别考勤系统，北京时代杰诚信息科技公司开发的v g 门禁管理系统和主动式面 像管理系统，北京阳光奥森科技开发的奥森人脸识别系统a u t h e nf a c e l d 等产品。 1 3 人脸识别技术的应用 传统的身份验证一直以来都是通过目视识别持证人与其所持证件上的照片作比较 来完成的，所有基于照片对比的人脸识别工作均由人工肉眼逐张进行判别来完成。虽然 人工判断可以做到较为准确的比较及识别，但前提是判别人员必需经过长时间的专业训 练才能胜任此项工作，人的处理速度极其有限，无法长时间连续工作，精神是否集中也 会对判别结果造成影响；而随着时间的推移或借助于当今医学的整容技术，人的相貌可 能会发生很大的改变。所以，单靠人工辨别的方式根本无法在短时间内完成大量进出人 员的比对判别，也很容易会出现错判、漏判。而人脸识别系统就很好地解决了上述人工 目视识别的种种问题，系统具备操作简单、适用面广、支持一对一或一对多比对、支持 多点同时采集比对、带有数据库支持记录及查询功能，对采集现场环境要求较低，可在 大连理工大学硕士学位论文 极短的时间里判断出进出者的身份是否合法，杜绝使用他人钥匙、密码和磁卡等非法进 入。这样，系统一方面减轻了警卫人员的工作强度，另一方面系统不用依赖于警卫人员 工作时间长短、是否熟悉进出人员的长相。 人脸识别最初的应用源于公安部门关于罪犯照片的存档管理和刑侦破案。现在该技 术在安全系统、商业领域和日常生活中都有很多应用，主要有以下几类应用： ( 1 ) 刑侦破案。当公安部门获得罪犯的照片后，可以利用人脸识别技术，在存储罪 犯照片的数据库中找出最相像的人作为嫌疑犯，极大的节省了破案的时间和人力物力。 还有一种应用就是根据目击证人的描述，先由专业人员画出草图，然后用此图到库里去 找嫌疑犯。罪犯数据库往往很大，由几千幅图像组成。如果这项搜索工作由人工完成， 不仅效率低，而且容易出错，因为人在看了上百幅人脸图像后，记忆力会下降而由计 算机来完成则不会出现此问题。 ( 2 ) 证件验证。身份证、驾驶执照以及其他很多证件上都有照片：现在这些证件多 由人工验证完成。如果应用人脸识别技术，这项工作就可以交给计算机完成，从而实现 自动化及智能管理。当前普遍使用的另一类证件是用符号或者条形码标记的，比如信用 卡。这类卡的安全性比较低，可能遗失、被窃取，使用场合( 比如自动提款机) 的安全性 也比较差。如果在这类卡上加上人脸的特征信息，则会大大改善其安全性能。 ( 3 ) 入1 2 1 控制。需要入1 3 控制的范围很广，它可以是重要人物居住的住所、保存重 要信息的单位，只要人类觉得安全性比较重要的地点都可以进行入口控制，比较常用的 检查手段是核查证件。人员出入频繁时，保安人员再三检查证件是很麻烦的，而且证件 安全性也不高。在一些保密要求非常严格的部门，除了证件外，已经使用了生物特征识 别手段，如指纹识别、掌纹识别、虹膜识别和语音识别等。人脸识别与这些技术相比， 具有直接、方便和友好的特点。当前计算机系统的安全管理也备受重视，通常使用由字 符和数字组成的口令( p a s s w o r d ) 进行使用者的身份验证，但1 2 1 令可能被遗忘，或被破解， 如果将人脸作为口令，则既方便又安全。 ( 4 ) 电子商务。人脸识别在电子商务中也具有重要的应用。在在线金融、贸易活动 中，人脸识别可以提供客户的身份认证，并保证商业活动无拒付地良性运转。这对于交 易双方、银行都是很方便的，因为“n op i n t or e m e m b e r ，n op i nt of o r g e t 。电子商务 通常是一对一验证，图像质量较好。 ( 5 ) 视频监控。监控一般是在当事人不知道的情况下进行的。利用人脸识别技术， 监控者可以从大街上或进入大楼、机场的人群中找到自己要找的人。监控通常是一对多， 或多对多的识别。图像质量是不可控的，并且一幅图像中存在多个人脸，具有姿态、视 基于n d - p c a 的人脸识别方法研究 角、尺度、光照和遮挡等宽范围的变化。对比人脸识别，其他的生物特征识别技术很难 在监控领域得到应用。随着软件和硬件的不断发展，人像身份验证系统的应用领域会更 广泛，服务的行业也会越来越多。另外，人脸识别的研究还涉及心理学、生理学、人工 智能、模式识别、计算机视觉和图像分析与处理等多个学科领域，更是模式识别、人工 智能和计算机视觉的典型案例之一。对这一问题的研究和解决，有助于对其他对象识别 问题的研究分析和解决，人脸识别也因此成为这些基础研究领域的重要课题之一，具有 重要的理论研究价值。 1 4 人脸识别的主要困难 由于对人类认知、思维等神经活动机理认识得不足以及对其细节掌握的缺乏，目前 还不完全清楚人的视觉系统和大脑的工作原理等。使得人脸自动识别仍十分网难，目前 的识别效果不如其他的生物识别技术，如指纹识别，虹膜识别等。人脸自动识别的困难 主要表现以下几个方面： ( 1 ) 人脸本身差异性很大。虽然每张脸都有眼睛、鼻子、嘴，且都按照一定的空间 结构分布，但是从不同个体的肤色、大小、形状、性别到同一个体的表情等的差异都为 人脸自动检测、识别造成巨大的障碍。 ( 2 ) 同一个人的脸部附属物的存在和易于变动的特性造成的障碍。如胡须、发型、 眼镜等装饰对人脸造成遮挡：人脸随年龄增长而发生变化：姿态问题等。 ( 3 ) 人脸所成图像易受环境的影响。光照的差异、三维物体光照下的阴影不均匀。 成像角度、成像距离等。 ( 4 ) 人脸图像数据量大。目前出于计算量的考虑，人脸检测、识别算法的研究大多 使用尺寸很小的图像，因此很多算法的实时性很差。 总之，这诸多因素的影响使得人脸检测和识别具有一定的难度和复杂性，但相信对 这一问题的深入研究不仅会不断完善对这一问题的解决，而且将推动模式识别、计算机 视觉、人工智能、认知学等学科的发展。 1 5 典型人脸库简介 目前大部分人脸方面问题的研究和实验都是基于一个或若干个人脸图像库来进行 的。目前常用的人脸图像库主要有： ( 1 ) f e r e t 人脸图像库 为了促进人脸识别算法的研究和实用化，美国国防部的国防高级项目研究组和美国 军方研究实验室开展了人脸识别技术工程( f a c i a lr e c o g n i t i o nt e c h n o l o g y ) 计划，简称 大连理工大学硕士学位论文 f e r e t ，并建立了通用标准人脸图像库f e r e t ，f e r e t 人脸图像库是目前最大的人脸 图像库，其中每人8 幅图像，包括正面人脸图像，以及向左右侧面旋转不同角度( 不大 于4 5 度) 的图像，共包含1 4 0 5 1 张多姿态、光照的灰度人脸图像，是人脸研究领域应用 最广泛的人脸数据库之一。其中的多数人是西方人，在拍摄条件上也有一定的限制，每 个人所包含的人脸图像的变化比较单一，人脸的大小约束在某个规定的范围内。该图像 库的图像数目在逐年增加。 ( 2 ) o r l 人脸图像库 由英国剑桥大学a t & t 实验室创建，包含4 0 人共4 0 0 张面部图像，背景为黑色， 部分图像包含了姿态、表情和面部饰物等细节的变化。该人脸库在人脸识别的早期经常 被人们使用，但由于变化模式较少，图像数量也较少，多数算法的识别率都在9 0 以上， 在此图像库上进一步研究的价值不大。 ( 3 ) y a l e 人脸图像库 该人脸图像库是由耶鲁大学视觉与控制中心创建，包含1 5 个人每人1 1 幅图像，主 要包括光照条件、人脸表情和姿态的变化。 ( 4 ) y a l e 人脸图像库b 包含1 0 个人的5 8 5 0 幅多姿态多光照的图像，其中姿态和光照变化的图像都是在严 格控制的条件下采集的，主要用于光照和姿态问题的建模与分析。 ( 5 ) m a n c h e s t e r 人脸图像库 该图像库由3 0 个人的6 9 0 幅图像组成，图像有不同的光照条件和背景变化，并且 对同一个人而言，其前后两张照片的拍照时间间隔至少为三周，这就考虑了时间对人脸 的影响。其训练集和测试集是预先分开的，训练集对光源有一定的约束，而在测试集中 则没有任何约束。 ( 6 ) a r 人脸图像库 该人脸图像库由西班牙巴塞罗那计算机视觉中心建立，包括11 6 个人的3 2 8 8 幅彩 色图像，图像中包含了光照变化，佩戴墨镜，尺度变化，表情变化和佩戴围巾等情况。 采集环境中的摄像机参数、光照环境、摄像机距离等都是严格控制的。 ( 7 ) p i e 人脸图像库 该图像库由美国卡耐基梅隆大学( c m u ) 创建，包含6 8 个人的4 1 3 6 8 张多姿态、光 照、表情的面部彩色图像。其中的姿态和光照变化图像是在严格控制的条件下采集的， 目前已经逐渐成为人脸研究领域的一个重要的测试集合。 ( 8 ) m i t 人脸图像库 基于n d - p c a 的人脸识别方法研究 由美国麻省理工大学媒体实验室创建，包含1 6 个人的2 5 9 2 张不同姿态、光照和大 小的面部图像。 ( 9 ) c a s p e a l 人脸图像库 由中国科学院计算技术研究所一银晨科技面像识别联合实验室建立，是中国“8 6 3 ”课 题“中文平台总体技术研究与基础数据库建设”的一部分。该图像库包含1 0 4 0 个 人的9 9 4 5 0 幅人脸图片，包括姿态、表情、饰物、光照等多种变化子库，是目前具有较 大规模的东方人脸图像库。 1 6 本文的研究工作及结构 人脸识别研究是当前模式识别领域的一个热点研究课题，针对当前研究成果丰富繁 杂的特点，本文着重研究了利用主元分析方法进行的人脸识别研究，通过查阅国内外大 量参考文献，对有关基于主元分析的人脸识别的各种理论和方法进行了研究和实验。本 文的主要工作总结如下： ( 1 ) 系统地介绍了在人脸识别方面常用的一些人脸特征提取算法，并对前人提出的 关于人脸识别的算法进行了研究和总结。 ( 2 ) 研究了主元分析方法以及二维主元分析方法，通过实验( 识别率和图像重构) 对这两种方法进行了比较详尽的分析。 ( 3 ) 利用b o o s t i n g 思想，把多个基于二维主元分析方法的分类器级联起来，可以进 一步提高人脸识别率。 ( 4 ) 通过对二维主元分析方法的扩展，比较深入的研究了基于张量的n 维主元分析。 ( 5 ) 通过对归一化的g a b o r 特征进行c s a ，可以减小光照以及姿态的对识别结果的 影响。 ( 6 ) 提取图像的纹理特征，然后对其进行n 维主元分析，在一定程度上可以减小光 照以及姿态对人脸识别的影响。 本文的章节安排如下： 第一章为绪论，介绍了人脸识别的研究背景和意义、国内外研究人脸表情识别的机 构、研究现状、研究成果以及当前人脸识别存在的问题和难点，介绍了常用的人脸数据 库，给出了文章的结构。 第二章主要介绍了几种常用的人脸特征提取方法。 第三章详细介绍了几种基于主成分分析的人脸识别方法。 第四章为实验结果与分析，描述了本文的实验过程与实验分析。 大连理工大学硕士学位论文 第五章为总结与展望，对本文的工作进行了总结以及对未来工作进行了展望。 基于n d - p c a 的人脸识别方法研究 2 人脸图像的特征提取方法 人脸识别问题需要解决的一个关键问题是人脸特征提取。直观上讲，特征提取就是 把以像素描述的图像数据转化为形状、运动、纹理等更高级的表述，并尽量对庞大的图 像数据进行压缩 1 8 】。在数学上，特征提取就是从测量空间到特征空间的某种映射变换。 这种变换要符合两个主要准则，特征空间必须保留测量空间的主要分类信息；特征空间 的维数必须远远低于测量空间的维数。在模式识别问题中，由被识别的对象产生一组基 本特征向量，这些特征向量可以是通过数学表达式计算得到的，也可以是通过仪器或传 感器测量得到的，这样得到的特征称为原始特征。原始特征一般存在于高维空间，可以 通过映射变换将原始特征变换到低维特征空间，这个处理过程就称为特征提取过程。从 人脸识别的角度来讲，人脸主要的特征表达方法有：几何特征、统计特征、频率特征、 运动特征和纹理特征等。 2 1几何特征 在我们看来，表情的变化主要反映面部区域的形状及相对位置的变化上。在表情识 别的初期阶段，研究者们多提取面部的几何特征，基本思想是利用人脸的结构特征和先 验知识，通过对眼、鼻、眉毛、嘴等形状和位置的变化进行定位和测量，确定其大小、 距离、形状和相互比例的特征关系，进行表情识别，具体又可分为手动定义特征点和自 动提取特征点、基于几何轮廓特征的模板匹配等。 2 1 1手动定义特征点 文献【1 9 】在图像序列的第l 帧中手动定义2 2 个面部标定点，对于每个表情，计算其 平静和有表情帧之间的位移，作为特征进行分类器的训练。实验表明，手动标点提取的 位置信息分类准确率较高，而且训练和分类的延时较小。 2 1 2自动提取特征点 这个问题与人脸识别研究中人脸的检测与定位问题有共通性。由于人脸的几何结构 固定，因此可以利用先验知识( 如人脸的对称性，面部结构的“三庭五眼 等) 来初步确 定表情区域的大概位置，然后再精确定位各个特征点( 如瞳孔、嘴角) 的位置。自动的表 情区域定位方法有：积分投影方法，h o u g h 变换法，s u s a n 角点检测方法以及构造模型能 量函数的匹配方法等。图2 1 就是t i a n 等人对近似的人脸提取的5 个定位特征和1 2 个 形状特征。p a n t i c 【2 0 j 在以前工作的基础上改进并完善了一种自动提取脸部器官和轮廓基 丈连理工大学硕士学位论文 准点的方法，采川多检测器，从正面人脸提取1 9 个特征点，从侧面人脸提取出1 0 个特 征点。 褫 图2l 用于表情识别的面部几何特征 f i g 2 1 f a c i a lg e o m e t r y f e a t u r e f o re x p r e s s i o nr e c o g n i t i o n 213 基于几何轮廓特征的模板匹配 通过在手动标特征点的基础上进行改进，将图像用大量的标记点来描述主要的特 征，并通过对一系列的训练图像中的这些标记点位置进行统计分析，得到一个可变型的 模型来对人脸特征的形状及空间关系建模，模型通常包含灰度信息或局部灰度的轮廓参 数，这些人脸的面容参数可以反映出不同的姿态和表情。包括可变形模版方法、主动形 状模型f a s m ) 、主观表观模型( a a m ) 等等。活动形状模型( a c t i v es h a p em o d e l ，a s m ) 和活 动表象模型( a c t i v ea p p e a r a n c em o d e l ，a a 呻是近年来流行的对象形状提取算法，其核心 思想是在某种局部点模型匹配的基础上，利用统计模型对待分割的目标形状进行驱动与 约束，从而转化为一个优化的问题，并使得初始形状最终收敛到实际的目标上去。a s m 模型是由点的集合表示的，这些点组成一定的几何形状，该几何形状的性质由训练集图 像通过训练获得。通过模型的变形使得a s m 与图像中的目标形状逐渐吻台，而模型的 变化被限制在定的模式之中，这些变化模式是通过对训练集合训练得到的。而模型的 形变取决于当日口模型节点的图像信息与训练集中对应节点的灰度信息之间的匹配程度 叫。 提取几何特征的优点是直观，符合人眼进行表情识别的规律，很大程度l 减少了输 入特征，压缩了信息。但用有限的特征点柬代表人脸图像，些细微的表庸变化特征就 会丢失而月自动提取特征点对经验自较强的依赖性，精确程度不容乐观，在圈像质量 低和背景复杂的情况下难咀实现。同时几何特征忽略r 脸邪其他部分的信息如皮肤纹理 的变化等，幽此在以别细微1 叟化的表情时区分性币够高。 基于n d p c a 的人脸识别方法研究 2 2 统计特征 图像的统计特征多是基于整体灰度的，其基本思想是将人脸图像映射到特征空间， 将大量图像数据降维后进行模式分类。其中最常用的就是采用主分量作正交基的主成分 分析方法，独立成份分析方法等。 2 2 1主成分分析方法( p e a ) 主成分分析即p c a ，也称为k _ l 变换，是图像压缩中的一种最优正交变换。其目的 是在数据空间中找到一组向量以尽可能地解释数据的方差，从而用降维后的低维向量保 存原数据中的主要信息，使数据更易于处理。p c a 的主要原理就是基于对原始数据进行 统计分析，利用线性变换，对高维数据进行分析与压缩，一般认为具有如下功能： ( 1 ) 去除数据的相关性，利用p c a 得到的正交基原始高维数据就可以用一组新的数 据表示，而这组新的数据中每一维的取值都与其它维无关。 ( 2 ) 实现数据的降维，如前所述，我们得到的一组正交基代表的信息是不同的，如 果我们将其排序则我们可以取前面若干个来表示一个数据，这样我们在信息损失很小的 情况下得到了主要数据部分。在大多数实际应用当中，可以假设最开始的几个主成分代 表原始数据的大部分变化。 p c a 分析的结果得到一个新的向量集称之为主成分集，所有的主成分都是相互正交 的，因此没有冗余的信息。这些主成分合起来形成数据空间的正交基。 主成分分析过程如下瞄】： 首先直接对输入的图像像素构成的向量取均值与协方差矩阵 一 1 x = 寺五 ( 2 1 ) r _ 一 i 。 工y i = 1 1 一一 c o y = 去( z x ) ( 五一r ( 2 2 ) ，一、 j7 、7 1v 1 = i 求其特征值五及特征向量最，其中1 k n - 1 ，且有五五+ 1 ，巧丑= 1 由于较大的特征值对应的特征向量包含了较多的人脸特征信息，因此可以选取前t 个较大特征值所对应的特征向量就可以近似的表示任意的人脸特征信息组合。 x ，与x 的向量差用d x i 表示，我们用主成分的线性组合来表示： d = x i x = 包o p o + 包，只+ + b t 2 n - 1 只，一l = 尸包 ( 2 3 ) 大连理工大学硕士学位论文 这里，毋是第，曲个主成分，包，是异对第尹个基图像的加权。 其中t 维向量b 可看作是人脸特征向量的加权参数： b = p 1 ( z 一如 ( 2 4 ) b 的不同值代表了人脸特征向量的不同变化，这样就建立了一个人脸基图像模型， 通过变化参数b 我们就可以得到不同的人脸特征样本。 哈工大的赵力庄例等人，将特征脸多子空间分类方法用于面部表情识别，提出了静 态变维分类和动态变维分类两种方法改进传统的特征脸方法，取得了较好的效果。 2 2 2 独立成分分析法( ic a ) i c a 是一种多维信号处理方法，主要用于提取多维统计信号中的潜在成分，是在具 有较长研究历史的盲源分离问题( b l i n ds o u r c es e p a r a t i o n ，简称b s s ) 中浮现出的新的信 号分析技术。与传统的多维信号分析方法截然不同的是，经过i c a 处理得到的各个分量 不仅去除了相关性，还是相互统计独立的，并且是非高斯分布的。i c a 在许多方面对传 统方法的重大突破，使其越来越成为信号处理中一个极具潜力的分析工具。 i c a 算法是一种基于高阶统计量的去相关的多元数据处理方法，能提取统计信号中 潜在的细节信息。基本思想和p c a 相似，也是用一些基函数来表示一系列的随机变量， 而假设它的各成分之间是统计独立的或尽可能独立【2 3 1 。首先，通过p c a 将样本投影到 特征子空间，即 g = b x ( 2 5 ) 其中，丑是由p c a 的主成分集构成的正交矩阵，x 是由个训练图像构成的训练样本 矩阵x = k ，x 2 ，r 。对g 作i c a 分析，使 y = 矽g ( 2 6 ) 其中，矿是白化矩阵，将以上两式合并，有 y = s x 其中，s = b 反映了主成分集中的独立成分信息。 i c a 学习前要先对矩阵进行预处理，包括中心化和白化两个过程。 心化，求它的行均值m e a n ( b ) ，再求零均值矩阵 b = b m e a n ( b ) ( 2 7 ) 首先对矩阵b 中 ( 2 8 ) 基于n d p c a 的人脸识别方法研究 然后计算白化矩阵肜= 2 唪( c d v ( b ) ) 一( 均。求出b 的协方差矩阵c ，c 是一个对称矩阵， 将其分解为 c = z 奉d * z r ( 2 9 ) 其中，z 为特征向量组成的矩阵，d 为对角阵，元素为c 的特征值。继而对d 元素开方， 即 d = d q d ( 2 1 0 ) 从而得到协方差矩阵c 的方根矩阵f ， f = z 木d 掌z r ( 2 1 1 ) 则白化矩阵即为 形= 2 f 。1 ( 2 1 2 ) 至此，输入的数据被转换为 b = 矿宰b ( 2 1 3 ) i c a 的学习原理是：形= 形+ 刁f + ( 一2 百) 掌s 丁 母矿，因而有 形邓f + ( t 也专 呵卜 亿 其中s = 矽b ，r 是学习速率，设定其值为0 0 0 0 5 。学习矩阵形为单位阵。研为单位阵 与某整数肋阳乘，例n t 玟5 0 。为矩阵形所有元素组成的行向量。令c h a n g e = a a r ，该 算法即是通过判断c h a n g e 是否收敛于某点来确定训练矩阵形的。蹴是统计的正交基向 量，代表人脸的基图像模型。 统计特征提取的方法保留了更多的原始信息，处理过程也并不复杂。缺点主要是： 对于外在因素和表情本身带来的图像差异是不加任何区分的，对人脸表情图像的预处理 步骤提出了较高的要求，要将输入图像的灰度归一化，以减小光照的影响；人脸尺寸归 一化，以消除深度和不同人脸形状的差异等 大连理t 大学硕士学位论文 23 频率域特征 231 6 a b o r 小波特征提取方法 小波变换可将图像信息从空域变换到频域，然后对得到的小波系数进行处理，提取 图像的频率特征。和博立叶变换相比，g a b o r 小波分解是一种局部变换，某一局部测度 的范围可以由g a b o r 小波滤波器的尺度大小来定义。近年来的研究表明g a b o r 小波提供 了多精度、多通道表现图像空间动频率域特性的机制，与哺乳动物的视觉特性相似，较 好地反映了生物视觉神经元的感受野。与其它滤波方法相比，g a b o r 小波方法是一种多 分辨率的描述，并且能够较好地解决由于环境变化而引起的图像变化问题，对此已有充 分的理论依据并且能够有效地实现，所以采用它来进行人脸的识别可以获得较好的结 果。通过g a b