（通信与信息系统专业论文）基于矩阵主成分分析的人脸识别方法研究.pdf

武汉理工大学硕士学位论文 摘要 传统的生物特征识别技术是利用生物本身拥有的、能唯一标识其身份的生 理或行为特征进行身份验证的技术，在某种程度上，所提取的特征都是“人人 拥有、人各不同、长期不变的。作为一种与生俱来的生物特征，人脸的唯一 性和不易被替换、复制等优良的先决条件，使得人脸识别成为生物特征识别和 模式识别中最受关注的技术。应用领域包括：门卫系统、电子商务、超语言学、 文化背景研究、机器人研制、测谎、智能环境、招聘测试、多种方式人机接口、 智慧玩具等等。 本文首先讨论了人脸识别的主要研究内容，对其研究意义及研究现状进行 了回顾，研究了常用的人脸识别方法，对主成分分析、矩阵主成分分析、小波 包变换等识别理论进行了介绍和比较。在此基础上，本文提出了一种改进的类 内2 d p c a 重建的方法，该方法直接对二维图像矩阵进行处理，避免了将图像拉 伸成一维向量而造成计算复杂度高的问题。首先对训练图像依类别进行2 d p c a 降维和特征提取，得到每一类的投影空间，然后将待识别图像分别在各类训练 图像的投影空间中进行重建。由于图像在同类别的投影空间中的重建误差最小， 因此通过计算重建图像与原图像的差别，即可判定图像所属的类别。本文在 m a t l a b 实验平台上对改进方法和传统的类内p c a 重建方法进行对比，实验结 果显示，改进的方法在保证实时性的基础上提高了识别率。其次，本文对基于 小波变换的人脸识别方法进行了改进。传统的理论认为，图像经小波变换后， 主要内容集中在低频分量，忽略了高频分量携带的轮廓和边缘信息。本文针对 这一不足，提出了改进的小波包融合+ 2 d p c a 方法，先对图像进行二层小波包分 解，再选取最利于判别分类的4 幅高频子图进行融合，将融合高频子图与低频 子图分别进行2 d p c a 降维和特征提取，最后进行决策级融合，得到识别结果。 本文在m a t l a b 实验平台上，对小波+ p c a 方法、小波+ 2 d p c a 方法和本文的 改进方法进行对比实验，实验结果显示，改进的方法在保证实时性的基础上提 高了识别率。最后，本文对改进的矩阵主成分分析方法进行了总结。 关键字：人脸识别，主成分分析，矩阵主成分分析，小波变换，特征融合 a b s t r a c t t h et r a m t i o n a lb i o m e t r i c si st h et e c h n o l o g yu s i n gp h y s i o l o g i c a lo r b e h a v i o r a l c h a r a c t e r i s t i c so w n e db ya n i m a l sa n dp e o p l et or e a l i z ea u t h e n t i c a t i o n t os o m e e x t e n t ， t h ee x t r a c t e df e a t u r e sb e l o n gt oe v e r y o n ea n dc a l lc o n s t a n tf o ra l o n gt e r m b u tt h e y a r ed i 妇f e r e n tt oe a c ho t h e r a st 1 1 e b i o m e t r i co w n e db ye v e r y o n e ，t h ef a c e s u n i q u e n e s sa n dt h ea d v a n t a g et h a ti t sh a r dt ob er e p l a c e dm a k ei tb e c o m e t h em o s t a t t r a c t i v et e c h n o l o g yi nb i o m e t r i ci d e n t i f i c a t i o na n dp a t t e r nr e c o g n i t i o na r e a s t h e a p p l i c a t i o n a r e a si n c l u d eg u a r d s y s t e m ，e c o m m e r c e ，u l t r a l i n g u i s t i c ，c u l t u r a l b a c k g r o u n d ，t h e r o b o td e v e l o p i n gt e c h n o l o g y , p o l y g r a p h ，s m a r te n v i r o n m e n t ， r e c r u i t i n e n t ，t e s t ，t h em a n m a c h i n ei n t e r f a c ef o rav a r i e t yo fw a y s ，i n t e l l i g e n c et o y s a n ds oo n a tt h eb e g i n n i n g ，ii n t r o d u c et h em a i nc o n t e n t s ，s t a t u sa n ds i g n i f i c a n c eo ft h e s t u d y t h e n ，ia n a l y z eal o to fc o m m o n m e t h o d sa n dc h o o s et h em e t h o db a s e do n p c a ，2 d p c aa n dt h ew a v e l e tt r a n s f o r mt oc o m p a r et h e m w i t h e a c ho t h e r s e c o n d l y , ip r o p o s ea l li m p r o v e dm e t h o dc a l l e d2 d p c ar e c o n s t r u c t i o nw i t h i nac l a s s u s i n g t h i sm e t h o d 。w ec a nc o m p u t et h et w o d i m e n s i o n a li m a g em a t r i xd i r e c t l y , w h i c hc a n r e s o i v et h et o oh i g hd i m e n s i o np h e n o m e n o n t h ef i r s ts t e pi st od o2 d p c a i ne a c h t r a i n i n gs e t ；w ec a l lg e tt h ep r o j e c t i v es p a c ei ne v e r yc l a s s t h e nw e r e c o n s t r u c tt h e t e s ti m a g ei ns e v e r a lp r o j e c t i v es p a c e sr e s p e c t i v e l y a st h er e c o n s t r u c t i o ne r r o r1 1 1t h e s 锄ec l a s si sl e a s t ，w ec a ng e tt 1 1 ec l a s s i f i c a t i o nr e s u l t sa c c o r d i n gt ot h ed i f f e r e n c e s b e t 、e e nm er e c o n s t r u c t e di m a g ea n dt h eo r i g i n a li m a g e w ec a l lg e tt h ec o m p a r i n g r e s u l ti nm a t l a bb e t w e e np c ar e c o n s t r u c t i o nw i t h i nac l a s sa n di m p r o v e dm e t h o d i ts h o w st h a tt h em e t h o du s e db yt h i sp a p e rc a ni m p r o v et h er e c o g n i t i o nr a t ea n d t 1 1 e m e a n t i m ei tc a ne n s u r er e a l t i m e f i n a l l y , io p t i m i z et h ef a c i a lr e c o g n i t i o nm e t h o d b a s e do nw a v e l e tt r a n s f o r m a c c o r d i n gt ot h et r a d i t i o n a lt h e o r y , t h ei m a g e sm a i n c o n t e n t sa l ec o n c e n t r a t e di nt h el o wf r e q u e n c yc o m p o n e n t s ；w ec a ni g n o r et h e c o n t o u r sa n de d g ei n f o r m a t i o nc a r r i e db yt h eh i g hf r e q u e n c yc o m p o n e n t s f o rt h i s ，i p r o p o s ea ni m p r o v e dm e t h o db a s e d0 1 1w a v e l e tp a c k e df u s i o na n d2 d p c a f i r s t l y , i d os e c o n df l o o rw a v e l e tp a c k e td e c o m p o s i t i o no ft h ei m a g e ，a n dt h e nf u s et h ef o u ro f t h em o s tc o n d u c i v et ot h ec l a s s i f i c a t i o no fh i g h f r e q u e n c ys u b g r a p h s d o2 d p c a i n i i 武汉理工大学硕士学位论文 h i g h f r e q u e n c ya n dl o w - f r e q u e n c ys u b - g r a p h s f i n a l l y , w ed od e c i s i o nl e v e lf u s i o nt o g e tt h er e s u l t i nm a t l a be x p e r i m e n t a lp l a t f o r m ，ic o m p a r et h ei m p r o v e dm e t h o d w i t ht r a d i t i o n a lf a c i a lr e c o g n i t i o nm e t h o db a s e do nw a v e l e tt r a n s f o r m i t sc l e a rt h a t t h ea p p r o v e dm e t h o di se f f e c t i v e k e y w o r d s ：f a c i a lr e c o g n i t i o n ；p c a ；2 d p c a ；w a v e l e tt r a n s f o r m ；f e a t u r ef u s i o n i i i 武汉理工大学硕士学位论文 第1 章绪论 1 1 课题研究背景和意义 1 1 1 课题的研究背景 2 0 10 年上海世博会的成功举办，把一句标题口号“b e t t e rc i t y , b e t t e rl i f e 灌入人心。在科技无限、创意无限、奇迹无限的今天，人们与日俱增的，是对 美好生活、便捷生活、安全生活的需求和想往。上网用密码，办理银行业务出 示证件，开门需要钥匙等，这些传统的安全措施已经不能完全满足社会的需求。 与此同时，生物特征识别技术成为人们关注的焦点。 所谓生物特征识别技术，就是利用人体固有的生理特征或行为特征来进行 身份的鉴别和验证。生物特征不像密码会被忘记或混淆，不像证件和钥匙会被 盗取或丢失，通常情况下，它变不了，跑不掉，作为人的独特标签而存在。只 要满足安全性、唯一性、普遍性、稳定性、可获取性、可接受性等条件，人的 任何生理或行为特征就能作为生物特征识别的对象被处理，以达到身份鉴别的 目的。根据形成原因的不同，生物特征识别技术可分为基于生理特征和基于行 为特征的识别方法，前者针对不受环境干扰的先天性因素，如人脸识别、指纹 识别、虹膜识别、视网膜识别、掌形识别等；后者识别的特征则是由天长日久 的习惯累积而成的可变性因素，如语音识别、步态识别、签名识别等。 “以人类生物特征面相、指纹、语音等方式实现验证的生物识别技术， 在数年内会成为i t 产业最重要的技术革命 ，正如比尔盖茨所预言的那样，时下 热门的智能i c 卡将生物识别特征存储在卡内，既节省了成本，又提高了效率， 减少了密码泄露、新旧卡更换或丢失等带来的危害，是生物特征识别技术与传 统技术相结合的优良产物1 1j 。 和指纹、笔迹等其他生物特征识别技术相比，人脸识别有着易于操作、隐 蔽性好、结果清晰的优点。日常生活中，人的脸部特征为我们带来了丰富的信 息。我们不仅能通过对脸部信息的存储，进行记忆、辨识、分类、确认，也能 进一步分析出人的真实想法甚至潜在意识，即我们所说的“察言观色。人脸研 究的价值，在身份验证、档案管理和可视化通信等方面都有所体现，特别在刑 事侦破、信息安全、入境控制等国家安全领域，人脸识别技术正成为科研攻关 武汉理工大学硕士学位论文 要塞，应用前景广阔。 1 1 2 课题的研究目的、意义 人脸识别技术作为一种最常用的身份确认手段，是通过计算机提取人脸特 征，并根据这些特征进行身份验证的一种技术。一个完整的人脸识别系统框架 如图1 1 所示【2 】。 果 图1 1 人脸识别流程图 ( 1 ) 人脸检测( f a c ed e t e c t i o n ) ：确定待识别图像中是否存在人脸，如果存 在，确定人脸图像区域。 ( 2 ) 特征提取( f e a t u r ee x t r a c t i o n ) 从人脸图像中提取一组最能反映人脸 特征的数值来表征人脸。为减少计算量，我们要把表征人脸的原始特征对应的 高维空间中的数据进行特征降维，把原始数据进行筛选组合降低维数，提取出 最能表征人脸的低维数据。 ( 3 ) 人脸识别( f a c er e c o g n i t i o n ) ：选择合适的匹配条件，将特征提取得到 的人脸特征向量进行分类处理，确认该人脸的身份或所属类别，输出相关信息。 在学术价值上，人脸识别的研究对推动认知科学，生理学、心理学等相关 科学的发展有积极的影响。由于人脸是一类具有复杂细节变化的非刚体性自然 物体，人脸识别的研究成果将作为解决其他类似的复杂模式识别问题的重要参 考。 在应用前景上，人脸识别可用于开发更高效的人机交互界面，也可作为人 类行为研究的辅助手段。同时，人脸识别也是视频人脸检索和低带宽人脸数据 传输中的关键技术。另外，在人脸图像合成与动画、面部神经瘫痪诊断、智能 机器人、智能监控等多个领域，人脸识别技术都是重中之重。总体来说，人脸 识别技术具有高精度、易使用、高稳定性、高性价比等优点，市场前景可观。 人脸识别并不简单，它有许多难点【3 j ： 图像中人脸数目的不确定性；人脸在图像中的姿态、尺度的多样性；成像 条件的不可预知性、非统一性；人脸根据种族、外形、表情不同，具有模式可 2 武汉理工大学硕士学位论文 变性；人脸可能存在帽子、围巾、口罩、眼镜、胡须等附属物或遮挡物；图像 中多张人脸的粘贴、重叠、交错；图像中难以去除的噪声等。种种未知因素使 得人脸识别在实际运用中困难重重，尚存在许多未解决的问题。对人脸识别造 成影响的因素有很多，如：作为一个非刚性的柔性体，人脸受光照、姿态等因 素影响，难以建立精确的模型，要有效地提取面部特征有一定难度。 尽管人们在人脸识别领域做了大量工作，提出许多方法，但由于人脸图像 的多样性和图像获取过程中潜伏的各种因素，人脸在图像空间的分布异常复杂， 建立人脸在高维图像空间中的精确分布模型十分困难。现有系统仍存在鲁棒性 较差、对限制条件要求较严格、误检率过高等缺点，限制了人脸识别系统的应 用范围。所以进一步利用人脸的纹理、几何形状、灰度分布等知识，研究准确 度高、适应性强的高效算法仍是有待完成的工作。再者，人脸识别这个视觉过 程是人类独有的，要实现计算机自动识别，需要广泛利用相关学科知识来添砖 加瓦。另外，如何大容量大限度地融合多种人脸识别方法来优化算法也是难点 所在。在自然环境下要完全达到人脸的鲁棒性识别，还有许多地方有待研究者 探索与钻研。 1 2 国内外研究现状 1 2 1 国外的研究现状 在西方，人们相信是上帝塑造了人类并赋予人们不同的面孔，以示区别。 从古至今，用人脸来识别人的身份一直是人们最为习惯和常用的方法。为了更 便捷、准确地判断人的身份，科学家们进行了许多探索，做出了不少成绩。 早在1 2 0 多年前，g a l t o n 3 】就利用人的面部轮廓曲线，通过找到该曲线的 规范，来对其他人脸轮廓进行分类。真正的自动人脸识别( a u t o m a t i cf a c e r e c o g n i t i o n ，a f r ) ，即借助计算机辅助功能的人脸识别技术源于半个多世纪前。 1 9 6 5 年，c h a n 和b l e d s o e 在p a n o r a m i cr e s e a r c hi n c 发表的研究论文，打响了近 代自动人脸识别发展史的第一枪。自此，越来越多的研究人员不断致力于此， 总结、贡献出许多新的技术和方法，越来越多的大学院校和i t 产业公司研制、 开发出各种人脸识别系统。回顾人脸识别技术的发展历程，大致分为以下几个 阶段1 4 弓】如表1 1 所示。 3 武汉理工大学硕士学位论文 表1 - 1 人脸识别发展历史简表 阶段代表人物 成果 内容 2 0 世纪5 0 年代 b r u l l e r 心理学书籍人脸识别相关 开始 t h ep e r c e p t i o no f p e o p l e 的心理学研究 2 0 世纪6 0 年代 b l e d s o e 基于工程学的理论【6 1利用人脸器官的局部特征 初级阶段 f a c i a lr e c o g n i t i o np r o j e c t r e p o r t 描述人脸 a l i e n 研究人脸识别所需要的从感知、心理学角度 p a r k e 面部特征和视觉机理角度开展 2 0 世纪7 0 年代 机器识别 人脸的唯一性、人脸表情识 精神物理学家研究人类识别人脸的多个方面 别、婴儿如何观察人脸、利 神经科学家 用全局或局部特征分析的时 机、人脸记忆组织等等 马尔提出计算视觉框架利用计算视觉范例来 解释人脸识别 2 0 世纪8 0 年代 学科融合 h a r m o n 采用几何特征参数描述人脸设计基于多为特征向量描述 l e s k 人脸特征的识别系统 k a y a用欧氏距离表征人脸特征利用操作人员的先验知识， k o b a y a s h i 采用统计识别的方法 嗽 提出“特征脸”方法【7 j 人脸识别性能测试基准算法 p e n t l a n d 2 0 世纪9 0 年代 b r u n e u i 对基于结构特征的方法和基于模促进基于表现的线性子空间 自动识别 p o g g i o 板匹配的方法进行性能对比建模和基于统计膜识别技术 的人脸识别方法发展 b e l h u m e u r 提出“f i s h e r f a c e ”方法f 8 1主成分分析后进行线性判别 分析，是主流的方法之一 提出基于双子空间进行贝叶斯估将人脸图像的相似度计算转 m o g h a d d a m 计的方法1 9 j换为类内差和类间差的分类 问题，用贝叶斯决策 2 1 世纪 科研人员考虑光照、姿态、表情等非理想 支持向量机、b o o s t i n g 学习技 快速发展因素以及3 d 模型的人脸建模术、非线性建模、光照锥等 4 武汉理工大学硕士学位论文 目前，国外许多专家作了人脸识别的相关研究。关于人脸识别综述性的文 献如雨后春笋【协1 3 】。美国、日本、新加坡、韩国、欧洲国家等，纷纷在各高校 建立人脸识别研究室，并取得了相应研究成果。著名的研究机构包括：美国卡 内梅隆大学( c m u ) 的机器人研究院( h u m a n c o m p u t e ri n t e r f a c ei n s t i t u t e ) 、麻省 理工学院( m i t ) 的媒体实验室( m e d i al a b ) 、人工智能实验室等。国外有许多 人脸识别系统已经投入商业使用。著名的有1 1 4 j ：美国i d e n t i x 公司开发的f a c e i t 系统，可用于监控笔记本电脑的使用者是否为同一人，实现身份认证、存取控 制等；v i i s a g e 公司的f a c e f i n d e r 系统在驾照管理等签证验证系统、监控与门禁 系统中发挥着重要作用；n e v e nv i s i o n 公司的人脸识别系统在移动电话、摄像机、 安全领域等都有应用；z nb o c h u ng m b h 公司的识别系统可用于入口控制、人脸 检索、视频监控等；m i r i o 公司开发的t r u e f a c ew a t c h 是世界上第一套成功地实 现计算机网络与数据库安全保障的软件；美国规模最大的f a c e k e y 公司则是人 脸识别领域的领头羊，f a c e k e y 系统既便宜又好用，结合人脸识别和指纹识别于 一体：c o g n i t e c 公司开发的f a c e v a c s 实现了身份管理，能应对姿势变化、表情 差异、年龄不同及配饰的伪装遮挡等干扰信息。 1 2 2 我国的研究现状 我国虽然起步较晚，但随着经济实力、科技实力、综合国力的逐年上升， 对人脸识别技术的重视程度也逐渐加深。自2 0 世纪8 0 年代至今【1 5 。1 6 j ，不断有 科研机构和大学院校加入到人脸识别研究的大军，如：清华大学、北京工业大 学、复旦大学、南京理工大学，中科院计算所，中科院自动化所等。我国每年 在国际、国内相关期刊和会议上发表的论文数量也在大幅增加。针对识别环境 的复杂性，国内专家提出一种利用肤色和支持向量机s v m 以8 j 的人脸识别方法， 可从复杂背景中有效地检测出人脸，并能保证识别率和识别速度。另有基于小 波变换的人脸识别方法，同时在时域和频域描述人脸局部信息，且对细微表情 不敏感，还可根据人脸的局部细节保留人脸空间信剧1 9 】。 近年来，国内从事人脸识别研究的公司不断增多，为人脸识别领域的拓展 打开了一扇又一扇新的窗户【2 m 2 3 1 。作为我国第一家专门进行生物识别技术开发 的公司，上海银晨智能识别科技有限公司研制的天目系列人面识别系统在民政 部门、军事机构都已投入使用并取得不错效果。南京大学和江苏省公安厅刑事 警察总队共同参与开发的“基于单幅训练图像的多表情人脸自动识别系统 ， 5 武汉理工大学硕士学位论文 作为省“十五 科技攻关项目，已获得专家认定，有着广泛的应用前景。清华 大学苏光大教授承担的国家“十五 公关项目“人脸识别系统 也已被江苏省 公安厅刑警总队和南京火车站等机构采用。 随着信息安全、国家公共安全、电子商务等应用需求的增涨，人脸识别日 趋成为最具潜力的生物身份验证手段。这些应用背景均要求自动人脸识别系统 能够对一般环境中的人脸图像具有一定的适应力。我国科研工作者孜孜不倦的 努力使得人脸识别技术的研究工作获得了长足发展，不少理论研究成果已经融 入具体的实际产品开发中。有理由相信，在不久的将来，我们的生活环境，生 活方式、生活便捷度等都会因此得到改善。 1 3 人脸识别的研究内容 人脸识别【1 9 】属于图像模式识别的范畴，是高维大数据集模式识别的典型应 用。其研究内容之多、范围之广，促进了多学科合作、信息融合技术的发展。 贡献突出的有：计算机技术、图像技术、识别技术、生理学、心理学、法律伦 理学、光学器件、神经科学、精神物理学等等。随着信息技术的发展，当今的 人脸识别研究不但包括样本采集研究，还涉及信息加工技术研究。 从广义上讲，人脸识别的研究内容包括五个方面：人脸检测( f a c ed e t e c t i o n ) 、 人脸表征( f a c er e p r e s e n t a t i o n ) 、人脸识别( f a c ei d e n t i f i c a t i o n ) 、表情姿势分析 ( f a c i a le x p r e s s i o n g e s t u r ea n a l y s i s ) 、生理分类( p h y s i c a lc l a s s i f i c a t i o n ) 。 人脸检测部分，研究内容要考虑人脸图像受光照条件、噪声干扰、头部倾 斜度、人脸大小差异、表情变化、成像器材质量和遮挡物的影响。 人脸表征部分，主要研究对人脸的描述方式，常用的方法有：代数特征( 矩 阵特征矢量等) 、几何特征( 欧氏距离、角度、曲率等) 、特征脸、云纹图、固 定特征模板。 人脸识别部分，研究的是如何选择合适的人脸表示方式和匹配策略。 表情姿势分析部分，为使计算机能够分析人的表情和姿势，理解人的各种 情绪如：快乐、悲伤、愤怒、惊讶、厌恶、恐惧、中性等而进行研究。 生理分类部分，研究对人脸的生理特征进行分类的方法，从而获得人的年 龄、性别、种族、职业等信息。 6 武汉理工大学硕士学位论文 1 4 本文的研究内容及组织结构 本文围绕近年来得到广泛关注的热点人脸识别技术进行研究和探讨。 有效的特征提取技术是人脸识别的研究重点之一，而线性子空间方法由于方便 有效而得到快速发展，其中的代表性技术就是主成分分析方法。传统的主成分 分析方法( p c a ) 通过对人脸图像进行向量化处理而将其看作一组随机向量，对 其进行主成分分析得到一组特征图像，即主成分，将任意给定的人脸图像用主 成分的线性组合来表示，从而实现降维和特征提取的目的。然而长期以来，p c a 人脸识别方法一直受到计算复杂度高的困扰。为了更快速、稳定地实现人脸特 征降维和提取，基于矩阵的主成分分析方法( 2 d p c a ) 应运而生。和p c a 不同， 2 d p c a 无需经历将二维图像转换成一维向量的过程，而是直接将图像看作矩阵， 直接在二维图像矩阵上进行处理，成功的避免求取特征向量造成庞大计算量的 问题。因此本文主要研究基于矩阵主成分分析的人脸识别方法。 首先，本文对经典的主成分分析方法( p c a ) 和矩阵主成分分析方法 ( 2 d p c a ) 及其相关的改进技术和应用进行了介绍和分析，为接下来研究改进 的矩阵主成分分析方法打下基础。其次，针对目前存在的p c a 改进方法类 内p c a 重建方法存在的缺点和不足进行分析，结合2 d p c a 理论对其进行优化， 提出改进的类内2 d p c a 重建模型，并在实验平台中验证这一方法。最后，围绕 小波分析理论在人脸识别中的应用，对现存的小波+ p c a 方法、小波+ 2 d p c a 方 法存在的问题进行理论分析，结合小波包知识对其进行改进，提出改进的小波 包融合+ 2 d p c a 的方法，进行反复实验，证明其有效性。 本论文的结构安排如下： 第1 章绪论主要介绍了课题的研究背景及意义、国内外研究现状，并对人 脸识别的研究内容进行了概括。 第2 章主要介绍主成分分析和矩阵主成分分析的原理，结合小波变换在人 脸识别中的应用，通过对比实验，得到几种基本方法的性能总结。 第3 章对p c a 的改进算法类内p c a 重建方法进行分析，重点研究了基于矩 阵主成分分析的改进算法类内2 d p c a 重建方法，通过实验验证了改进的意义。 第4 章围绕小波理论在人脸识别中的应用，针对小波+ 2 d p c a 方法存在的不 足，提出改进的小波包融合+ 2 d p c a 模型，并进行实验验证。 第5 章是本文的工作总结以及对人脸识别发展方向的展望。 7 武汉理工大学硕士学位论文 第2 章基于主成分分析的人脸识别 随着模式识别和计算机科学技术的发展，越来越多的数学思想推广到人脸 识别的研究与应用中。其中，主成分分析的方法通过提取最有代表性的特征， 实现消除冗余降低维数的效果。由此还衍生出许多其他基于代数特征的方法， 在实际应用中前景看好。 2 1 基于主成分分析的人脸识别 主成分分析【2 4 】和线性判别分析、独立成分分析并称为基于代数特征的人脸 判定方法。所谓代数特征，就是利用各种代数变换或代数分解提取得到的图像 的代数特征，如特征值等。为了使人脸图像矩阵从高维空间变到低维空间以降 低计算量，基于代数特征的人脸识别方法需要寻找一种能良好表征人脸并且聚 类性好的变换。主成分分析方法最初由t u r k 和p e n t l a n d 用在人脸识别领域，既 可以降低空间维数又能够抽取人脸特征。 2 1 1p c a 的基本原理 主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 是统计学中用来分析数据 的一种常用方法。其本质是最大限度的去除原有元素或变量之间的相关性，从 而降低特征空间的维数、简化计算。从矩阵的角度来讲，p c a 也称k 。l 变换， 采用k l 变换后的图像作为主特征向量表示人脸特征，又叫特征脸法。p c a 利 用k l 变换得到的正交基的线性组合来描述、表示、逼近人脸，可以实现人脸 的判定和重建功能。 挑选一组尺寸为n = m xr 的图像作为训练图像，将每幅图像所有像素按 列首尾相接，拉伸为一个长为的列向量。那么每幅图像都可看成维空间中 的一点。将选取的训练图像集表示为矩阵的形式x = 【而，恐9 - e , 嘞】，薯为m 个训 练样本图像中的第f 个图像向量， 置i 汪1 ，2 ，m 。对x 的所有列取平均，得到 所有训练样本的平均图像向量 2 玄善m 薯 ( 2 - 1 ) 1 8 武汉理工大学硕士学位论文 令= 【，】，可得训练样本x 对应的协方差矩阵墨 墨= 研( x 一) ( x 一) 7 】= 万1 善m ( 毛一) ( 薯一) r ( 2 - 2 ) 其中，墨是维数为 r 的矩阵，要得到其特征值和正交归一的特征向量， 计算量将非常庞大，难以直接计算，我们运用s v d 定理化繁为简。 设4 为n x r 维矩阵，秩为厂，则存在两个正交矩阵、y 和对角阵a u = ( ，u 2 。，坼) 吼脚 u r u = i( 2 - 3 ) v = ( 叶，v 2 。， ，) 吼“7 vrv=i(2-4) a - - d i a g ( 3 - l ，五，乃) 孵脚五旯乃 ( 2 - 5 ) 满足关系 a ：u a i v r( 2 6 ) 五( 汪1 ，2 ，) 为矩阵朋r 和a r a 的非零特征值；和哆分别是州r 和4 r a 对应于元的特征向量。上式称为矩阵4 的奇异值分解( s i n g u l a rv a l u e d e c o m p o s i t i o n ，s v d ) ，a 的奇异值为五。 令x = ( x l - , u ，而一，一) ( 2 7 ) 那么，s 可表示为 墨：上删r ( 2 8 ) t m 由s v d 定理知，对于高维n n 的矩阵艇r ，可以通过计算维数相对较 低的m m 的外积矩阵x r x 的特征值和特征向量来求得图像的特征向量。 构造矩阵r = x r x 吼吖枷 ( 2 9 ) 求其特征值丑及相应的正交归一特征向量哆( f = 1 ，2 ，m ) ，由式2 - 6 可知， u ：4 刚1 ，那么，墨的正交归一特征向量为 哆= 她f = 1 ，2 ，m ( 2 一l o ) 、 即求得图像的特征向量职和特征向量矩阵u 。 每一幅图像，都可以投影到l l l ，屹，子空间中，即每幅图像都可以表示 为l f l ，哆，的线性组合。可以通过向特征子空间投影得到其系数向量j ，。 y = u7 ( 一) ， u = ( 1 | l ，。，) ( 2 1 1 ) 由于y 的维数远小于的维数，因此可以大大节省存储空间。y 称为厂在这 9 武汉理工大学硕士学位论文 组数据下，经p c a 变换后的结果。 将得到的特征向量嵋，吻，还原为训练图像大小的m x n 矩阵保存并显 示，可以看到其呈现人脸形状，因此称为“特征脸”，如图2 1 所示。 圃 图2 - 1 特征脸( 分别是第l ，2 ，2 0 ，5 0 ，9 9 分量，最后一张是平均脸) 图2 - 2 特征值曲线图 由于有m 个特征向量，虽然m 比n 2 小很多，但仍较大。在实际应用中 不需要保留所有。为实现降维的目的，须在保留原始主要信息的基础上降低 特征向量的个数。我们要去掉含信息量少的随机变量，即较小特征值对应的特 征向量，保留较大特征值对应的特征向量( 主成分) 创建特征子空间。根据随 机变量的方差越大，包含的信息就越多，我们可以根据方差的大小来判断特征 向量的重要性。由于原始训练数据在特征向量u 上的投影值的方差即是u 对应 的特征值名，绘制特征值曲线图2 2 知，特征向量的重要性随数目的增加呈指数 下降。 通常有以下几种主成分选择方法： 1 ) 保留前p 1 个较大特征值对应的特征向量。p 为训练样本的类别数。 2 1 丢弃前三个特征向量：根据某些研究数据显示，前面三个最大的特征值对 应的特征向量表现的是图像受光照影响的差异。因此去掉前三个特征向量，可 减少光照影响。 武汉理工大学硕士学位论文 3 ) 按照所含信息量来确定：将特征值由大到小排序，选择前k 个特征值对应 的特征向量，保证前k 个特征向量所包含的信息与总信息量之间的比值大于预先 设定的一个阈值1 3 c ，通常取仅= 9 0 或更高。公式计算为 五 l 0 (212)m 一一 、一 五 i = l 已知投影系数y 后，我们还可通过下式重构出原始数据 = u y + ( 2 - 1 3 ) 则投影系数为 r = 0 r ( ，一) ，疗= ( 1 l l ，u 2 ，魄) 重构图像为 f = u y + 2 1 2 基于p c a 的人脸识别方法 ( 2 1 4 ) ( 2 - 1 5 ) 将p c a 算法应用于人脸识别，是基于人脸可以处于低维线性空间且人脸与 人脸之间具有可分性。通过p c a ，对若干幅高维图像进行处理得到一组正交 基，保留部分主成分，生成低维人脸空间，那么一幅人脸图像可以表示为这组 正交基的线性组合。 具体实现步骤如下： ( 1 ) 将训练图像像素按列首尾相接，拉伸为列向量。将所有图像按列排列 形成矩阵x 。 ( 2 ) 计算训练图像的均值。 ( 3 ) 计算训练样本集的协方差矩阵墨。 ( 4 ) 计算矩阵( x 一) 的外积矩阵置对应的特征值和特征向量矩阵y 。 ( 5 ) 选取前k 个最大特征值及对应的特征向量。 ( 6 ) 计算特征值组成的对角阵彳，利用x 、彳和y 计算s 的特征向量矩阵 u ，u = x v a 一1 坨。 ( 7 ) 计算每一张训练图片x 在特征子空间的投影系数y = u r ( x - t ) 。 ( 8 ) 把待识别的测试图像以同样的方式投影到训练图像形成的特征子空间 中，生成投影系数。采用判别函数对投影系数y 进行判别。 武汉理工大学硕士学位论文 对于特征值即主成分的选择，本文通过计算信息量来确定。对于识别效果 最好的特征子空间维数，本文通过实验来获取、验证最佳维数。对于分类方法 的选择，采用最近邻分类器，由于其原理简单、计算快速且适用于任何分布的 数据，故被广泛使用。最近邻法通过计算测试样本y 与训练样本x 之间的距离， 寻找与y 最相近的训练样本，判定测试样本属于该类别。 2 2 基于矩阵主成分分析的人脸识别 传统的主成分分析方法必须将图像事先转换成一维向量，由于向量的维数 很高，只能通过引入奇异值分解的方法来近似估计协方差矩阵。然而相对协方 差矩阵的维数而言，训练样本的数目往往过小，因此用样本估计产生的协方差 矩阵并不准确，稳定性也不高，导致得到的特征值和特征向量不够精确。同时， 由高计算量带来的计算时间长，也成为制约p c a 发展和应用的因素。为了解决 这一问题，j i a ny a n g 和d a v i d z h a n g 等人提出了矩阵主成分分析方法一二维主 成分分析方法( 2 d p c a ) 2 6 1 。 2 2 12 d p c a 的基本原理 矩阵主成分分析( t w o d i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i s ，2 d p c a ) 是 主成分分析的推广方法。2 d p c a 的处理思想与p c a 相同，也需要计算图像的协 方差矩阵，求取其特征向量【2 7 1 ，不同之处在于口8 】：2 d p c a 省略了将图像拉伸成 向量的过程，直接对二维图像矩阵进行计算。因此，二者得到的协方差矩阵和 矩阵的维数都不相同。对于尺寸为n = m x 刀的图像，通过p c a 方法得到的协方 差矩阵维数高达mx n ，而用2 d p c a 方法得到的协方差矩阵维数仅为m 或g ，大 大减少了计算量。 挑选一组尺寸为n = 所刀的图像作为训练图像，将任一幅图像4 看作是一 个m x r 的矩阵。假设共有m 个训练图像样本，将选取的训练图像集表示为： a = 【a l ，a z ，如】，彳，为m 个训练样本图像中的第个图像矩阵， 4 ，i = l ，2 ，m 。对所有训练图像样本求均值，得到平均图像矩阵4 j ：百1 u4 ( 2 1 6 ) m 急j 我们的想法是将图像a ( m 行) 投影到向量x ( x r “1 ) 上，产生一个 列向量y ( m x l ) 。其中，x 是投影向量，l ，是投影特征向量。 武汉理工大学硕士学位论文 y = a x( 2 1 7 ) 那么，投影向量该如何选取呢? 因为分散程度可以用来衡量投影向量x 区 分样本能力的强弱，投影后的样本越分散越好，我们需要找到一个投影方向， 使所有训练样本在其上投影后得到的向量与向量之间的分散程度最大，即总体 散度特性最好，以便于后面的分类工作。 用投影特征向量l ，的迹可以描述样本投影后的分散程度，定义准则函数为 ，( x ) = 护( ) ( 2 - 1 8 ) 其中，足表示训练样本投影后的向量的协方差，护( 墨) 表示最的迹。 】，的协方差矩阵为 最= e l ( y - e ( y ) ) ( y e ( 1 ，) ) rl = e 似一e ( 似) 似一e ( 似) r ( 2 - 1 9 ) = e ( a - e a ) x ( a - e a ) x 7 。 故t r ( s x ) = x ，le ( 4 一幽) 2e ( a - e a ) l x ( 2 - 2 0 ) 令图像的协方差矩阵为g f ( 万，2 ) ，则 q = e i ( 彳一脚) 7 ( 4 一以) l ( 2 - 2 1 ) m r = 击善( 4 一彳) ( 4 一彳) 因此，2 1 8 式又可改写为 ，( x ) = x7 g f x ( 2 - 2 2 ) 上式定义为一般总体分散度准则( g e n e r a l i z e dt o t a ls c a t t e rc d t e r i o n ) ，最佳 投影向量b 即是使得，( x ) 最大化的归一化向量。也就是说，将所有训练图像 样本投影到上，得到的投影向量间的分散程度最大。根据文献【2 7 - 2 8 】，可知： k 是与g ，的最大特征值对应的特征向量。通常来说，最佳投影矩阵不止一个， 我们要找出一组最佳投影方向，组成投影向量集 x ，鼍，) 形成特征空间 j x i ( k ，置，髟) - a r g m a ) 【j ( x ) ( 2 - 2 3 ) 【x ，。x ，2 0 ，i j ；i ，j f = 1 ，2 ，d 满足条件的投影向量集 五，k ，局) 是与q 的前d 个最大的特征值对应 的正交化的特征向量，那么， x ，鼍，) 就可以用于特征提取。对一个给定 的图像样本4 ，有下式成立 k = a 鼍( 后= 1 ，2 ，d ) ( 2 - 2 4 ) 得到的一组投影特征向量，；，k ，匕，叫做图像a 的主成分向量。我们通过 武汉理工大学硕士学位论文 2 d p c a 选取一定数量d 的主成分向量，组成个朋d ，( d 1 ( 一) k = l 因为盈= k 鼍7 ，k = 1 ，2 ，d 与原图像4 的尺寸一致，是原图像的重构子图， 因此原始图像4 的重构图像可由d 个重构子图叠加产生，当d = 刀( g 特征向量 总数) 时，五= a ，则可以根据图像的主成分完全重构出原始图像；若d 刀， 则重构图像j 是原始图像4 的近似图像。 在j a f f e 人脸数据