（应用数学专业论文）基于优化的贝叶斯人脸识别方法(1).pdf

1 一 at h e s i si na p p l i e dm a t h e m a t i c s f a c er e c o g n i t i o nb a s e do no p t i m i z e db a y e s i a n m e t h o d b yq ii h i r u i s u p e r v i s o r ：p r o f e s s o rz h a n gx i a n g d e n o r t h e a s t e r nu n i v e r s i 锣 j u l y2 0 0 8 、 一 。 i p、!riii 一 j 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签名：未声夸? 多 日 期：油君。l ，7 。o 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 学位论文作者签名：柳嘞i 姊 导师签名：；以铴钮 签字日期：伽o 。6 签字日期：y 暂) 1 f；。 1，1； l-_-口d ， 东北大学硕士学位论文 摘要 基于优化的贝叶斯人脸识别方法 摘要 人脸识别是应用数学、数字图像处理和模式识别的交叉学科，是生物特征识别中一 个比较活跃的领域。生物特征是人的内在属性，具有很强的自身稳定性和个体差异性， 因此它是身份验证的理想依据。其中，利用人脸特征又是最自然直接的手段，与相比其 它生物特征相比，它具有直接、友好、方便等优点。人脸识别过程一般可以分为人脸的 检测和预处理、特征提取、匹配识别三个部分。本文对特征提取、匹配识别这两个过程 做了较为详细的介绍。 特征提取是人脸识别中的根本问题，提取的特征应保证最具有代表性、信息量大、 冗余量小，而且要求在干扰下也能保持一定的不变性和适应性。在本文中主要介绍了主 元素分析、线性判别分析以及这几种方法相结合的特征提取方法。通过实验并对这几种 方法的性能进行了比较。 识别匹配部分主要介绍了基于贝叶斯的人脸识别方法，由于模式矢量的维数太大， 所以首先我们要使用主元素分析的方法进行降低维数，在选择类内子空间时我们加上自 适应因子，这样得到的特征能够更好地描述图像特征的差异，从而提高了识别率。我们 还介绍了一种最大信息协方差矩阵估计的方法，将其应用在贝叶斯识别方法中不仅解决 了小样本问题而且大大提高了识别率。 关键词：贝叶斯；人脸识别；特征提取；主元素分析；线性判别分析；奇异值分解 0 ； j j l i _ 1 一 东北大学硕士学位论文abs帆ct f a c er c o g n i t i o nb a s e do no p t i m i z e db a y e s i a nm e t h o d a b s t r a c t f a c er e c o g i l i t i o nt e c i l i l o l o g ) ri st 1 1 ec r o s sd i s c i p l i n eo fa p p l i e dm a t l l 锄a t i c s ，d i 百t a li m a g e p r o c e s s i n g 锄dp a t t e n lr e c o 盟i t i o n 锄di s 锄e 晒n g 硒趾a c t i v er e s e a r c ha r e ai nm ef i e l do f b i o l o g i c a lp a t t 锄r e c d 弘i t i o n t i l eb i o l o g i c a lc h a r a i c t 鲥s t i c sa r em ei n h e r e n ta t t 衲u t 懿o f h u m 锄b e i n g s ，w r h i c hh a v es 仃o n gs e l b s t a b i l i t ya n di n d i v i d u a li n d 印e 1 1 d 锄c y t h e ya r em e i d e a ls o u r c eo fi n f 0 肌a t i o nf o ri dv e r i f i c a t i o n t h ep r o c e s so ff a c er e c 0 印i t i o nc 觚b ed i v i d e di n t of o u rs t 印s ：f a c ed c t e c t i o 玛 p r 印r o c 鼯s i n 吕f e a t u r ec x 也忙t i o n ，c l a s s i f i c a t i o n i nm i sp 印e rw ei n 仃0 d u c em e 佃os t a g 懿o f p r 印r o c e s s i n ga r l df c a t u r ee x 傲虻t i o ni n 伊e a td e t a i l f e a t u r ee x 仃a c t i o ni st l l em a i l lp r o b l e mo f f a c e r e c o g i l i t i o i l l ef e a t u r es h o u l d饥s u r ei t s e l fh 嬲r 印r c s c n t a t i v ea t t r i b u t e ，m o 他 i n f o 咖a t i o r i l e s sr e d u l l d 锄c y 蹰d m es t e a d ya t t r i b u t er 鼯i s ti n t c r f 打c e c o m p a r e dw i t l l 1 o t l l e rm o d 锄代c 0 印i t i o 玛 f a c e r o c 0 鲫i t i o n i st 1 1 em o s tn a n l r a l觚dd i r a c t i d e n t i t y a u t h e n t i c a t i o nm e t l l o d ，s 0i th 鹤d i 托c t ，衔e n d l ya j l dc o n v 咖tc h 缸a c t e 璐f i r s t ，w ei n 仃o d u c e 廿l em 础o do ff e a t u 他懿仃a c t i o i l f o re x a m p l e ：p r i n c i p l eo d m p o n e n ta n a l y s i s ，l i n e a r d i s c r i l n i n a t ca n a l y s i s ，s i n g u l a rv 砒u ed c c o m p o s i t i o n 锄d 廿l ec o m b i n a t i o no fm 懿em e t l l o d s a n d o n l a t w ec o m p a r c dm ep e r f - o 肌锄c eo ft l l 骼em e t l l o d s l 】r o u 曲e x p 耐m t s i l l l er e c o g n i t i o ns t a g ew em a i n l yi n 仃d d u c e 廿l ef a c er e c 0 9 n i t i o nb 弱e do nb a y 髓i 锄 b e c a u s et l l em o d 锄v e c t o 璐a 代v e 巧l l i g h - d i m e n s i o n a l ，w es h o u l du l em e t l l o do fp c a 锄dl d at 0r c d u c et l l cd i m 饥s i o n a l w h 饥s e l e c tt l l ei n t r a p e r s 0 n a ls u b s p a c c ，w ea d dt l l e a d 印t i v ef a c t o 璐t 0 t 1 1 e a v e r a g ei n 仃a p e r n a ls u b s p a c e0 b t a i n t l l e s p e c i f i ci n 仃印e r s o n a l 跚b s p a c e s ot 1 1 c 他c o g n i t i o nr a t ei si m p r 0 v e d l a t 盯w ei n 仃0 d u c et l l em a x i m 啪e n 昀p y c o v a r i 锄s e l e c t i o nm e m o d i i li t s 印p l i c a t i o ni nb a y c s i 锄m e m o d ，i tn o to n l ys o l v em e l i m i t c d 慨n i n gs a m p l 锶b u ta l i m p r 0 v ct l l er c c o 印i t i o nr a t e k e y w o r d s ：b a y e s i 锄；f a c er e c o g n i t i o n ；f h t u r ee x 讹c t i o n ；p d n c i p l e l i n e 盯d i s 丽m i n a t e 蛐a l y s i s ；s i n g u l 盯v a l u ed e c o m p o s i t i o n v ll，。 东北大学硕士学位论文 目录 目录 独创性声明i 摘要i i i a b s t r a c t - v 第1 章绪论1 1 1 人脸识别研究的内容1 1 3 人脸识别的应用及其意义3 1 3 1 人脸识别的应用3 1 3 2 人脸识别的意义4 1 4 人脸识别的技术挑战和发展趋势4 1 4 1 人脸识别的技术挑战4 1 4 2 人脸识别的技术趋势5 1 5 本文的主要工作6 第2 章基于子空间的特征提取方法9 2 1 引言9 2 2 基于主成分分析的人脸识别方法。9 2 2 1 主成份分析方法的主要原理9 2 2 2 主元素分析方法的算法实现。l o 2 3 基于线性判别分析的特征提取方法1 3 2 3 1 线性判别分析的基本原理1 3 2 3 2 线性判别分析方法的算法实现1 4 2 4 基于奇异值分解的特征提取方法l8 2 4 1 奇异值分解的主要原理l8 2 4 2 奇异值特征向量的重要性质1 9 2 4 3 基于奇异值和奇异值向量组合方法2 0 2 4 4 基于局部奇异值分解和的特征提取方法2 0 目录 东北大学硕士学位论文第1 章绪论 第1 章绪论 1 1 人脸识别研究的内容 人脸识别系统基本上包括以下几个方面【l 】：人脸检测、人脸表征和人脸识别( 分类) 等过程。图1 1 是一个最基本的人脸识别系统的构成，它的基本任务是对待检测图像进 行检测、分割，然后在分割出的人脸区域进行人脸识别并与数据库的人脸数据进行匹配， 看与数据库中的人脸图像哪张最相近。在基本的人脸识别基础上进行更深层次的研究。 型吗1 人脸检测i 丛马1 人脸表征i 堑乌1 人脸识别l 继马 图1 1 基本人脸识别系统 f i g 1 1b a s i cf a 玎x d g n i t i o ns y s t e m 人脸检测是人脸识别系统的第一步，它是指从不同的条件下获取的图像中，根据一 定的规则和先验知识，利用选择的特征进行检测。先确定有无人脸，若检测到人脸的存 在，则对人脸进行定位并获取尺度姿态等信息然后将人脸分为人脸区域和非人脸区域， 这一步预处理直接影响着后来的特征提取和识别工作，所以是极其重要的。但是因为一 些其它的各种因素导致人脸检测成为一件非常困难的事情。在检测的过程中会受到场 景、灯光、成像系统、人脸方向等问题都会对人脸检测问题造成影响的。总的来说人脸 检测必须快速准确，所以就需要我们寻找多种人脸检测方法减少不可控制的外界因素的 影响，从而来降低人脸检测的误差率。 人脸表征是指如何提取人脸的主要特征来描述人脸图像。这个过程我们称之为特征 提取，这些特征可以是人脸表面的几何特征比如鼻子、眼睛、嘴巴等主要特征之间的距 离位置，也可以是比较抽象的代数特征如k - l 变换得到的主成分特征和奇异值分解得 到的( s v d ) 特征还可以是模板特征、颜色特征、纹理特征等等。 人脸识别这一过程主要看待测的人脸图像与数据库中的人脸图像集中哪一张是最 相似，哪一张最匹配，实际上我们可以看作是一个分类的过程。根据对人脸特征的不同 表示方法我们选择的分类器也是不一样的可以是传统的最小距离法、最邻近法，也可以 是贝叶斯分类器、支持向量机、神经网络等分类器，也可以是多种分类器融合在一起的 分类器，这样的分类器可以改善识别效果，这也是我们最近研究的方向之一。 东北大学硕士学位论文第1 章绪论 1 2 人脸识别的发展过程与现状 人脸识别是模式识别研究领域的重要课题，也是目前非常活跃的研究方向【l 】。在计 算机领域，人脸识别有着卓著的发展历程，我们可以追述到1 9 6 0 s 。最原始的人脸识别 方法【2 刁】是依靠脸部的眼、鼻子、嘴巴等关键部位之间的几何形状以及它们之间的距离 来进行识别的。由于几何特征是直观性特征容易受到人脸表情、关照条件以及图片噪音 的影响并且对于测量的精度要求特别高否则就会影响识别率。k 雒a d e 最先研究出一种 全自动的人脸识别系统。随着人脸识别的发展，人们为了避免基于几何特征的人脸识别 的局限性研究了基于模板匹配思想【4 】的人脸识别方法。人脸识别进入了基于表观 ( a p p e a r a i l c e ) 描述的研究阶段。例如：基于灰度特征信息、d c t 变换、小波变换等底层 特征。这些特征跟几何特征比没有很直观的物理意义，但是包含更多的信息，对于模式 变形的描述存在着更好的鲁棒性。但是这些人脸识别方法在实践中进行识别的过程中， 人们发现基于表观的方法存在着维数过高的问题，这就需要我们寻求各种降低维数的方 法。同时人们又发现人脸图像各像素之间存在很强的相关性，人脸图像只是高位图像空 间的子空间而已。这时候t u r k 和p 锄t l a n d 提出了基于主元素分析( p r i n c i p a lc o m p o n e n t a n a l y s i s ) 的特征脸( e i g e l l f a c e ) 方法【5 。7 l 。特征脸方法的缺点是受光照角度强度变化、表 情变化和视角变化等严重影响，鲁棒性较差。为了避免这些局限性后来在它的基础上发 展起来其它的人脸识别方法。m a 曲a d d 锄用概率度量的相似度来取代e i g c l l f k e 方法中 的简单的欧式距离度量方法，从而发展了一种基于双子空间的进行贝叶斯概率估计的人 脸识别方法【2 4 】。该方法将两幅人脸图像的相似度计算问题转换为一个两类分类问题，即 类内差与类间差分类问题。如果我们将得到的类内差与类问差数据直接进行贝叶斯决策 判别，由于数据维数太大，几乎难以实现，所以首先用主元素分析( p c a ) 技术进行降 低维数，然后再用贝叶斯决策( 最大后验概率方法) 进行人脸识别。由于使用主元素分析 得到的特征是最佳描述特征但是不是最佳判别特征，为了避免这个问题，提出了线性判 别方法( l d a ) 这也是一种很好的降低维数方法，通过这个方法我们得到的特征是最佳分 类特征。即，这种方法是基于寻找一种线性变换使得每类的类间散度最大，而类内散度 最小的，这样使得更加容易进行人脸识别。从理论上说它好像比主元素分析方法更加适 合于人脸识别，但是当训练样本低于人脸图像数据维数的时候，这时候我所得到的散度 矩阵是奇异的，此时这种方法是不可行的。我们为了避免这个问题，将主元素分析方法 与线性判别方法相结合得到了一种f i s h 枷方法这样解决了小样本问题又提高了识别 - 2 东北大学硕士学位论文 第l 章绪论 率。然而主元素分析方法和线性判别分析方法都是二阶统计方法忽略了高阶统计信息， 但是高阶统计信息对于人脸识别来说也是很有用处的。再后来又发展了独立元素分析 ( i c a ) 方法，它主要是利用将混合的信息分为相互独立的成分，它强调的是各成分之间 的相互独立性。随着人脸识别的发展，人们又发展了基于局部特征方法、基于神经网络 方法、基于隐马尔克夫等方法。 1 3 人脸识别的应用及其意义 1 3 1 人脸识别的应用 目前人脸识别在现实生活中的应用越来越广泛从而显得越来越广泛。从简单的网络 虚拟角色向导到、远程虚拟通讯等到复杂的自动的人脸识别系统、人脸图像数据库自动 查询都涉及到了人脸表情的表征。国内外对于人脸识别已经做出了很多研究。 在当今社会信息安全问题备受人们的关注。自身安全和个人隐私保护成为这个时代 的热门话题。基于密码、个人识别码( p 创) 、磁卡和钥匙等传统的安全措施己不能完全 满足社会要求。在这样一个背景下，人们把目光投向了生物特征识别技术( b i o m 嘶c s ) 一利用人体固有的生理特征或行为特征来进行身份的验证。人脸识别技术在国家安全、 军事安全和公共安全领域的应用前景十分广阔，例如智能门卫、智慧视频监控、公安布 控、出入境管理、司机驾照验证等都是典型的应用。在民事和经济领域，各类银行卡、 金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险人的身份验证，电子商务和电 子政务等方面也具有重要的应用价值。在家庭娱乐等领域的潜力也相当大，比如能够识 别主人身份的智慧玩具、家政机器人、真实感虚拟游戏等。人脸识别技术在商业、案件 侦破、监控、保安等各个方面有广阔的利用空间和应用价值。人脸识别的具体应用主要 有以下几个方面： 1 银行等金融机构的监控系统、保密单位。 2 海关等重要部门和场所的安全门禁系统。 3 各种证件、信用卡的识别。 4 专家识别系统、电子排查。 5 因特网的应用，人群监视，面部照片匹配等。 6 目击人脸的重构。 - 3 - 东北大学硕士学位论文 1 3 2 人脸识别的意义 随着社会的发展，各个方面对于快速有效的自动身验证的要求日益迫切，由于生物 特征是人的内在属性具有很强的自身稳定性和个体差异性也是身份验证的理想依据。美 国政府在“9 1 l 事件之后连续签署了三项国家安全法案，要求采用生物识别技术。2 0 0 3 年六月，联合国民航国际组织已经公布了生物应用规划，将在个人护照中加入生物特征， 并在入境时进行个人身份确认。据国际生物集团的统计到2 0 0 5 年底生物特征识别市场 的资金将达到2 0 亿美元，并将以8 0 的速度增长，2 0 0 7 年可达到2 7 亿美元。据估计 近五年内在我过将形成近百亿的市场。 目前人们使用的生物识别技术主要有人脸识别、虹膜识别、手形识别、掌纹识别、 签名识别等。在这其中利用人脸特征进行身份验证又是最自然和最直接的手段。相比于 其它的人体生物特征，具有直接、友好、方便和稳定性好等特点，易于被用户接受，可 广泛用于医学、档案管理、身份验证、罪犯追踪、视频会议等各种场合，因而具有极大 的市场前景，甚至形成一个巨大的对人类生活形成巨大影响的产业。 整体上来看人脸识别这一方向涉及到数字图像处理、模式识别、计算机视觉、人工 智能等学科，同时这一方向也适应了计算机网络和通讯发展的需要，无论是从学术上还 是从实际应用价值上都具有极高的价值。从已有的研究来看，要完全实现一个全自动的 人脸识别系统难度还是相当大的，但是要是在一个特定的环境下实现自动的人脸检测和 识别还是完全有可能的，随着计算机网络的发展，图像视频内容在计算机网络的比重在 逐步的加大，这一研究方向必定会得到较快的发展。目前人脸识别的研究还处于实验室 研究阶段，很多理论还不够完善，与完全使用化还相差很大一段距离，成熟的商业成果 几乎没有。因此还需要众多研究人员的不懈努力。 1 4 人脸识别的技术挑战和发展趋势 1 4 1 人脸识别的技术挑战 根据现如今对人脸识别所作的研究以及实验结果表明，如果现有的人脸识别系统如 果在用户比较配合和照片采集条件比较理想的条件下人脸识别的结果还是比较理想的。 但是这只是_ 个理想的状况，在现实使用中将会遇到很多问题，所以以人脸识别还是一 个技术远未达到使用水平，还存在诸多挑战性的问题有待解决。 4 l 东北大学硕士学位论文 第1 章绪论 ( 1 ) 复杂条件下的人脸检测和关键点定位问题。 ( 2 ) 光照条件变化问题尤其是室外光照条件问题。 ( 3 ) 姿态多样化问题。 ( 4 ) 墨镜、帽子等物体带来的遮挡问题。 ( 5 ) 年龄变化问题。 ( 6 ) 低质量照片问题以及照片老化问题。 ( 7 ) 大规模人脸识别问题。 ( 8 ) 样本缺乏问题。 ( 9 ) 量信息学习问题。 ( 1 0 ) 人脸信息采集设备带来的问题。 ( 1 1 ) 化妆整容带来的问题。 1 4 2 人脸识别的技术趋势 目前，人脸识别实用化的主要障碍来自于非理想采集条件下识别性能的快速下降， 而这一问题的产生既有信号层面上数据获取本身的稳定性问题，也有识别所采用的人脸 描述特征对采集条件变化的鲁棒性问题，同时还与核心识别算法的泛化能力密切相关。 这些问题的解决一个方面有赖于对现有算法的改进，新算法、新模型的发现，另一方面 也有赖于全球科技水平的提高，以及基础理论研究的发展，特别是脑科学的突破。本文 认为未来人脸识别技术的发展方向可能有以下几个： ( 1 ) 传感器融合 多传感器融合技术包括两个方面：一个方面是，不同的传感器采集的图像质量不一 样，利用多个同种类型的传感器采集的图像，在特征级进行数据融合，以增强图像质量， 提高识别算法的性能；另一方面，充分发挥不同类型的传感器的优势( 如红外图像比可见 光图像受光照影响小) ，利用不同类型传感器采集的图像在特征级进行融合识别，以提 高系统的识别率和鲁棒性。 ( 2 ) 于视频序列的人脸识别与静态图像相比，视频可以提供更多的有用信息，比如 运动信息、祯相关信息，有效地利用这些信息可以有效地提高人脸的检测率和识别率。 ( 3 ) 于三维信息的人脸识别技术 从计算机图形学的角度上来看，人脸可以由形状和表面纹理来描述，人脸图像本质 上是三维物体在二维平面上的投影。如果能够得到人脸图像的三维信息，直接对形状和 - 5 一 东北大学硕士学位论文 第1 章绪论 纹理建模，那么就可以直接利用形状和纹理进行识别，同时解决光照、姿态和表情等问 题。在f r 、，t 2 0 0 2 测试中，3 d m o 印h a b l e m e d d 的出色表现证明了基于3 d 信息的人脸 识别技术的有效性。人脸的三维信息获取技术( 包括直接获取以及利用2 d 图像恢复) 比 较困难，阻碍了这类算法的发展。 ( 4 ) 脸部模型的流形学习技术 理论分析和实验证明，人脸图像在光照、姿态、表情和饰物等因素的影响下，在高 维空间中呈现非线性流形分布。如果能够从样本中学习出这种变化模式，那么我们就可 以很容易消除外界因素对人脸识别的干扰，使得样本之间的比对完全是在同一种外界条 件下进行，从而提高人脸识别系统的性能。 ( 5 ) 人脸样本的合成技术 统计学习方法是目前主流的人脸识别算法，算法的性能非常依赖于训练样本的数量 和质量。但是，目前一般能提供的训练样本数量非常有限，不能很好地代表样本空间中 的分布，从而导致了学习算法的识别性能受到影响，特别是对于在训练样本中没有出现 的情况，算法的识别率很低。如何利用现有的样本来生成新的样本，增强样本的多样性 和数量具有重要的意义。 ( 6 ) 分类器泛化能力分析 分类器的选择对于一个模式识别系统的重要性不言而喻。为了提高分类器的分类性 能，一种可能的做法是增加样本的数量，使训练样本的分布尽可能地覆盖测试样本的分 布。但是，在目前条件下，样本数量和种类都很有限，很难覆盖测试样本的分布情况， 因此分类器的性能受到很到的影响。另一种可能做法就是对分类器的泛化能力进行分 析，选择泛化能力比较好的分类器，从而提高分类器对未知测试样本的分类能力，提高 识别率。 ( 7 ) 模态生物特征识别技术和多传感器融合一样，单模态生物特征识别技术总是有 其局限性，结合其它生物特征识别技术可以大大提高人脸识别系统的识别率和鲁棒性。 1 5 本文的主要工作 本文中详细介绍了人脸识别过程中的特征提取以及匹配识别两个阶段的方法。在特 征提取阶段，特征提取是人脸识别中的根本问题，提取的特征应保证最具有代表性、信 息量大、冗余量小，而且要求在干扰下也能保持一定的不变性和适应性，在本文中主要 介绍了基于子空间的代数特征提取方法，即主元素分析( p c a ) 、线性判别分析( l d a ) 、 ；- 东北大学硕士学位论文 奇异值分解( s v d ) 以及这几种方法相结合 较。在识别匹配部分我们主要介绍了基于贝叶斯的人脸匹配方法，以及改进的贝叶斯识 别方法。我们采用s i s 代替a i s 应用在贝叶斯识别过程中，这样大大提高了识别率，后 来又提出了一种最大信息量估计协方差矩阵的方法，这样不仅解决了小样本问题中的协 方差矩阵奇异或者难以估计出来的问题，并且大大提高了识别率。 - 7 东北大学 2 1 引言 一幅图像可以看作是由灰度值组成的矩阵即由像素组成的矩阵，我们可以将其扩展 称为一个矢量，即一个珂刀像素的图像可以表示为维数为一2 的向量，我们就可以认为 这幅图像在刀2 维空间中，这种图像的向量表示原始的图像空间，但是这个空间仅表示 或者检测许多空间中的一个。这一章我们将介绍另外几种图像子空间的表示方法。 无论子空间的表示方法如何，这种方法用于人脸识别的基本思想都是一样的，首先 寻找一个最优的子空间，然后将图像投影在这个子空间上，然后利用对图像的这种投影 间的某种度量来确定图像间的相似度，最常见的就是各种距离度量。 这一章我们主要介绍几种基于子空间的人脸识别方法：主元素分析法( p r i n c i p a l c o m p o n e n ta n a l y s i s ) 、线性判别分析法( l i n e a rd i s 嘶m i n a t ea n a l y s i s ) 、奇异值分解法 ( s i n g u l a rv a l u ed e c o m p o s i t i o n ) 等。在本文中给出了它们的数学来源和基本算法。 2 2 基于主成分分析的人脸识别方法 2 2 1 主成份分析方法的主要原理 主元素分析的方法的主要思想是【6 】：利用一组为数不多的特征去尽可能精确地去表 示模式样本。主元素分析的方法是基于k l ( k 砌m 髓l u e v e ) 【7 】变换的，它通常采用训 练样本的协方差矩阵的特征向量作为展开基即k - l 基，那些对应最大特征值的特征向 量被称为主要成分。模式样本在主成份上线性投影后，所得的投影系数即为主成份特征。 从而原模式样本可以表示为主成份与投影系数乘积的代数和，这种表示在最小均差思想 下是最优的。由于k l 变化有一个很好的性质使它在模式识别中得以广泛应用。其中 最重要的一个性质就是展开系数是互相无关的。通过k l 变化使得我们得到的原样本 向量矩阵对角化了，也即消除了各向量的各分量之间的相关性，从而可能去掉那些具有 少量信息的坐标轴以达到降低空间维数的目的。如图2 1 所示，原坐标系中要用两个分 量玉、而来表示各个样本。而在k l 坐标系中只要用表示就可以，可以忽略方面 东北大学硕士学位论文 第2 章基于子空间的特征提取方法 的变化信息，因为去掉不会产生较大的误差信息。属于测量空间的任一模式都有唯一 的特征矢量与之对应，这一特性说明这一模式变化没有丢失分类的主要信息。正因为 k l 变化具有这样的性质使得主成份分析的方法具有了以下性质： ( 1 ) 主成份具有稳定性。 ( 2 ) 经过映射随着空间维数的降低，模式之间的距离也得到了减小，从而避免了在 多维空间上分类的复杂性。 ( 3 ) 最小化所有样本的重构误差，具有重建图像的能力，其重建的图像的质量与所 用的主分量的多少有关。 ( 4 ) 去除了模式之间的相关性。 关于p c a 方法的研究早已经开始，但是将其用于模式识别中还是近十几年的事情。 直到2 0 世纪9 0 年代初，k b i r y 和s i r o v i c h 等人才讨论了利用p c a 方法进行人脸表征的 最优问题。接着t u 幢和p 饥t l 锄d 探讨了用它表示的物理意义，这时候他们发现，经过 k l 变化之后得到的特征向量在还原为图像矩阵时竟然是一张标准人脸图像。这就揭示 了利用k l 变换展开表征的本质即：一系列标准的人脸图像通过加权叠加来表示人脸 图像用这些特征系数来表示人脸的特征来进行人脸识别。即：特征脸( e i g e n f a c 懿) 方法。 2 2 2 主元素分析方法的算法实现 假设人脸图像为朋刀如图2 2 所示，训练样本的个数为个，则把人脸图像可以 展开转化为埘刀维向量的形式，可以记为 f 。，吒，知) 。其中每一个q ，江l ， 均为m 拜维的列向量，该集合的平均值为沙2 专善，这个计算我们就得到平均脸如图 2 3 中给出。则每幅图像与该均值的差值易= 一j c ，。另外，在实际应用中为了消除整体 光照的影响，所以要对差值图像进行归一化谚2 向，i = 1 ，2 ，通过这些计算我 们就得到了规范化的图像如图2 4 。整个图像集作为一组随机向量观测值，它们得到的 协方差矩阵为= c = c 棚= 专喜谚谚r = 专州r ，其中矩阵彳= 【磊，红，九】一个 胁刀小刀维的是对称矩阵。然后要求该协方差矩阵的特征向量，由于删l 朋刀这个数字 通常是很大的，如果直接求出其特征值和特征向量计算量是相当大的，有的时候也是无 1 m 东北大学硕士学位论文第2 章基于子空间的特征提取方法 法实现的，这就要求我们必须寻找一种快速的计算方法。 ”z j 工2 i 、 烫 夕 7 图2 1 kl 变换消除分量间的相关性 f i g 2 11 1 1 e 的n s f 0 咖o fk - le l i m i l i a t e l er e l a t i o n s h i pk t 、嘲c o m p o n 锄t s v 圈2 3 平均脸 f i g 2 3m ni m a g e 一一圜一 圈圈一圆圈 一一 圈园一圈四囝圈 一圈圈一盈园 一圆圈一四 圈囡一一圈一 一一一一 图2 2 训练图像集 f i 2 2 2t l 麓i n i n 2s e t 第2 章基于子空间的特征提取方法 溷翟豳鞠蟊翻 盟翟翟翻冒翟 翟豳圈譬翟圈 麓翟翻冒警园 浊翻翟翻翻翟罐簟盔翻幽瑶翻缓期盗甾 替豳翻翟溷翻 溺翟翻溺窝豳 溜溜鹭 图2 4 规范化后的图像 f i g 2 4n o m a l i z e d 舰i i i i i l gs e t 溜冈爱因煎誊翻瀚 因圄溺翟豳嗣圈翻 圈蕊罄豳懑冒溺蚕 凰溺豳图豳溺圈围 图圈豳圜图溜圈盔 曝鼷翻圆翳豳圈翟 图囝疆罄豳函豳麓 豳蕊瞄曩 图2 5 特征脸 f i g 2 5e i g 饥f a c 髂 下面我们给出快速的计算方法： 在数学上有，口础( 州r ) = ，口放( 彳r 彳) 。因此，朋r 与么r 彳的非零特征值的个数相同。 设= 彳r 彳，则有： 所d = 儿 ( 2 1 ) 矩阵是一个实对称矩阵，有个非零的特征值，设，i 吒是矩阵的 个特征值的非递增顺序排列，v i 为矩阵的第k 个最大的特征值对应的特征向量，则 饥= 唯，将其代入( 2 1 ) 有： 1 2 翟翟暨馨留翟翟 东北大学硕士学位论文第2 章基于子空问的特征提取方法 例u 2 专咯彳唯 ( 2 2 ) 由公式( 2 2 ) 可以看出彳唯对应的c 的特征值专的特征向量，且专为c 的第个k 最 大的特征向量。从而求矩阵c 的特征值和特征向量转化为求的特征值和特征向量。c 的是朋刀研力而是的，而所刀所以，所以这样就大大减少了计算量。 通过上述的快速计算方法，我们可以求得协方差矩阵c 的个非零的特征值以及 其相对应的特征向量。假设其特征值的非递增顺序排列为 五厶，对应的特 征向量为h 鸬，纨；此时 2 专；以2 彳唯；气，咋分别为的特征值和特征向量， ( k = l ，2 ，) 通常情况下，并非所有的特征向量都有很大的意义，考虑到使用k - l 变换作为对人脸图像的压缩手段，是为了降低图像空间的维数，所以我们可以选取前k 个最大的特征向量，这就说明样本集在 前k 个轴上的整个能量的9 9 以上。 下面我们用这些选取的一部分特征向量做成一个子空间。然后把把训练图像集和测 试图像集投影到这个子空间中，每一幅人脸图像就对应于子空间中的一个点，同样子空 间的任一点也对应于一幅图像。由于由这些特征向量组成的图像很像人脸特别像人脸， 所以我们就把这组向量组成的图像成为特征脸如图2 4 所示，所以称之为“特征脸方法 。 有了这样一个降低维数之后的“特征脸”空间，任何一幅人脸图像都可以向其做投 影，并获取一组坐标系数，这组坐标系数表示了这幅人脸图像在这个子空间的位置，从 而作为人脸识别的依据。换句话说就是任何一幅人脸图像都可以表示为这些“特征脸 的线性组合，其加权系数就是k l 变换的展开系数，也可以称为该图像的代数特征。 这样原来的人脸识别的问题就转化为了依据子空间的训练样本进行分类的识别问题。最 后使用各种度量准则来进行人脸识别。 2 3 基于线性判别分析的特征提取方法 2 3 1 线性判别分析的基本原理 人脸图像一般都处在高维的图像空间中，由于背景、表情、光照、姿态能大幅度变 1 3 - 够 取选以可中子式个吝这 在 五一t 。争 得使 东北大学硕士学位论文第2 章基于子空间的特征提取方法 化引起的噪音，不利于分类，并且计算复杂，所以就需要我们寻找一种子空间用来降低 图像的维数，为后面的识别做铺垫。在上节中我们详细地介绍了基于主成份分析( p c a ) 的特征提取方法，但是这种方法的最大的缺点是，我们得到的特征在一般条件下是最佳 描述特征而不是最佳分类特征，并且我们把所有的样本放在一起，利用主成份分析可能 会抛弃很多有用的信息，为了解决这个问题我们在这节中介绍基于线性判别分析的特征 提取方法【l 。线性判别方法是以寻找最佳分类方向入手的。在线性判别分析方法中，我 们得到的那个特征子空间，当训练图像，在该子空间上投影之后，使得原来的模式样本 在该空间中，有最大的类间距离以及最小的类内距离，即该模式在该空间上得到的特征 是最佳分类特征。 基于线性判别分析的主要思想就是将刀维空间的数据投影到一条直线上，这样就可 以把以维数据压缩为一维数据。当然这样很有可能将刀维空间中分得很开的一些紧凑的 样本集会混杂在一起。但是通过近几年的研究表明，只要直线稍微转动一下，就可以找 到一个方向，在这个方向的直线上，各种数据能够很好的分开。 2 3 2 线性判别分析方法的算法实现 假设有c 类样本，对应的先验概率为b ，第f 类样本的数目为m ，f = l ，2 ，c 。样 本的总数目为。定义该样本集上的类内离散度矩阵和类间离散度矩阵分别为& 和瓯 如下： 总的散度矩阵为： cm i。 瓯= 只艺( 弓一肛) ( 弓一h ) 2 f = l = l 瓯：主b ( 膳一) ( 鸬一) r ( 2 3 ) ( 2 4 ) ) ( 一一) + 鸬一) ( 彩一朋+ “一) r ( 2 5 ) ) ( 一一肛) r + 专喜善( 以一) ( 鸬一) r 1 4 扣 叫 叫 氩闩 。瑚鸠同m，h擂蛙x氍堪 i l 一一& n 噜 = = = 东北大学硕士学位论文第2 章基于子空间的特征提取方法 这里是属于第f 类第个样本，一是第f 类样本的平均矢量，是总样本集的平均矢 量。 其中 一= 古善可 一2 万备爿 ：士主兰一 2 一乙乙爿 m q - 一 ( 2 6 ) ( 2 7 ) 如果乱是非奇异的，我们就选取一个正交变换矩阵，使得图像样本经过投影之后 使得投影样本的类间散度矩阵与类内散度矩阵的行列式之比达到最大，也就是说满足下 列式子： = a r g m a ) 【 。 w = ( w ，w ：，) ( 2 8 ) 小，= 高瑚 眨9 ， 的极值。这个极值是很抽象的下面我们定义一个拉格朗日函数： ( 形，a ) = 形r 墨矿一五( 矿r 瓯矿一c ) ( 2 1 0 ) 式中的a 为拉格朗日乘子。对上式求偏导得： 掣：咒一a & 矿 ( 2 1 1 ) a 驴 9 令偏导为零得： 瓯= 磊& ( 2 1 2 ) 这里的 mi 待l ，2 ，七) 是乱与瓯对应于k 个最大的广义的特征值 磊i f _ l ，2 ，七) 的特征向量集。这时候最优投影方向问题转化为上述广义特征值求取的问题。 应该注意的是这里最多有c 1 个非零广义的特征值，所以的足上限是c l ，c 是样 本的种类个数。但是在实际应用中乱与咒的维数往往是很大的。直接通过( 2 9 ) 式求变 换矩阵往往是比较困难的，有很多时候是难以实现的。为了解决这个问题到目前为止专 - 1 5 第2 章基于子空间的特征提取方法 家们提出了多种方法： 一、就是先将人脸图像投影到一个低维空间中【9 1 0 】，通常通过上节讲的p c a 的方法来实 现，这时候我们得到的低维向量构成的类内离散度矩阵是非奇异的，这样就解决了小样 本问题即人脸图像的数目往往低于人脸图像向量的维数的问题。这样投影之后我们就得 到了一个维数大大降低的满秩矩阵，而且这种投影保留了原来的识别信息，因而不会影 响最后特征的输出结果。该算法的步骤如下： 1 各类样本的均值肚和总样本的均值。 2 类训练样本进行中心化，也就是用各类样本减去类样本均值。 、寸x x t ，x i x ，i = x p l 3 类均值中减去总样本均值。 a t = t p 4 心化的训练样本人脸图像组成数据矩阵。 5 p c a 的方法为这个数据矩阵找一组正交基，设这组正交基为u 。 6 有的中心化图像投影到正交基u 上。 j = u r i 7 有的均值投影到正交基上。 叠l = u t 露t 8 类间离散度矩阵毛和类内离散度矩阵乱。对于第i 类有s = 齑r cc 则：轧= s ，最= 觑属口r 9 义特征值，计算广义特征值人和对应的特征向量y 。 s y = 九s y l o c 1 个最大的特征值，此时这些特征值对应的特征向量就是我们要求的正交基， 这就是我们所说的f i s h 盯基向量。 1 1 影到u 上得到的图像集，在投影到f i s h 盯基向量上。 上述这种特征提取的方法就是p c a + l d a 方法，也即f i s h 钌方法。 二、就是扰动法1 6 1 ，其基本思想就是，当类内散度矩阵乱为奇异的时候，我们就通过 1 岳 东北大学硕士学位论文第2 章基于子空间的特征提取方法 增加一个小的扰动，使得扰动后的矩阵变为鼠= & + 变为非奇异的矩阵从而将问题 转化为非奇异的情形进行解决。 扰动法是由下列定理保证的： 矩阵c 和c + h 具有相同的特征向量，他们之间的特征值具有下面的关系： 如+ h = 砧+ 七，( 砧+ 七o ) ，其中，是单位矩阵，k 是正数。具有的扰动方法如下： 对s 。进行奇异值分解，使得： 乱= u y r 其中，= 旃昭( ，乃，0 ，o ) ，且丑乃 令扰动量为= 幽昭( o ，o ，4 + ，以) ，其中一般取o 尸( q ei ) 等价于s ( ) 去，这时候我们就说模式矢量q ，否则 q ，。为了简单化上述式子，并且根据大量的实验结果表明，我们可以用： 爿( ) = 尸( i q ，) ( 3 3 ) 来作为相似度量