（信号与信息处理专业论文）改进的核函数算法及其在人脸识别中的应用研究.pdf

两北r 业大学硕十论文 改进的核函数算法及其在人脸识别 中的应用研究 摘要 本文在系统学习现有核函数及支持向量机相关理论的基础上，系统研究了自 适应选择核函数算法，通过引入朴素正则风险最小化准则，提出了一种改进的在 线核函数算法。算法采用截断误差最小化、合理选取拉格郎日因子等方法对新增 样本进行训练，有效地克服了现有方法收敛精度低和不能自适应选择样本的困 难。 根据独立分量分析的原理和特点，将改进的核函数算法引入人脸识别的研究 中，给出了基于i c a - s v m 的人脸识别算法及实现方法。 论文分别应用数值仿真及现有人脸数据库，分析了算法的数值特性并验证了 算法的可靠性和实用性。 本文数值仿真与分析软件基于m a t l a b 和l a b v i e w 虚拟仪器设计开发。 【关键词】： 支持向量机( s v m ) 独立分量分析( i c a ) 人脸识别 风险最小化算法 西北t 业大学硕七论文 i m p r o v e da l g o r i t h mb a s e d o nk e r n e lf u n c t i o na n d a p p i i c a t i o nf o rh u m a n f a c er e c o g n i t i o n a b s t r a c t b 嬲e do nt h et h e o r yo fk e m e lf h n c t i o n 觚d 鲫p p o f tv e c t o rm a c l l i n e ，a d 卸t i v e s e l 硎v ek e m e ln ”t h o di si n 、，e s t i g a t e di i lt l l i st h e s i s a ni m p r o v c da l g 删t h mo fo n l i n ck e r n e lf h n c t i o ni sp r o p o s e db yu s i n gn a v er e g l l l a r i z e dr i s km i n i l i l i z a t i o n a s 劬ew i n d o ws l i d e ，t h en e wo b s e n r a t i o n sc a nb e 协e dt l l r o u g ht h ea l g o r i t l l mw i t h p n l n i n ge r r o rl n i i l i m i z a ：t i o na n dl a 掣a n g ef k t o r l e c t i o n a n d ，协ea d a p t i v e r e a l i z a t i o no fs 锄p l ec h o i c ei sm s o l v e d 强dt l l el l i g l l c rc o n v e r g e n c ep r e c i s i o nc a nb e o b t a 协e dc o m p a r i i l gt h ep s e mm e t h o d f o c u s e do nt h ef c a t u r c s 觚dr e q i i i r c m e n t so fi n d e p e n d e n tc o m p o n e n ta n a l y s i s ， t h ei m p m v e da l g o r i m mi si n t r o d u c e df o rh l l l n 柚f 缸er e c o g i l i t i o n a n dt l l er c l a t i v c a l g o r i m mb a s e di c a s v mi sa l s od e v e i o p e d t h ec h a r a c 锄嘶c so fa l g o r i m m sp r e 辩n t e dh e r ca r ca i l a i y z e db ys e p a r a t e l yu s i n g c o m p u t c rs i m u l a i i o n 锄dt l l ed a t a b a e x i s t e do f h u m 锄f a c e t h er e s l l l t ss h o w l l sn l a t 吐呛a l g o r i t h m sa r er e l i a b l e 锄d 角a s i b l e t h er e l a t e ds o f t 、) 唧ei sd e v e l o p 司o nm a t l a b 6 5a n dl a b v i e ，7 1 【k e ，w o r d s 】： s u p p o r tv e 讲o rm a c h i i l e ( s v 岣 h l d e p e n d e mc o m p 咖e n ta n a l y s i s ( i c a ) f a c er c c o g 面i o n m i 曲n i 刎o na l g o r i t l l i n i i 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻凄学位期间论文t 作 的知识产权单位属于西北= 业大学。学校有权保留并向国家有关部门或机构送交论文的复 印件和电子版。术人允许论文被奇测和借阅。学校可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编奉学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业 人学。 保密论文待解密厉适用本声明。 学位论文作者签名指导教师签名； 2 口卯年3 月5 日w 呷年j 月厂口 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本 人在导师的指导f 进行研究上作所取得的成果。尽我所知，除文中止经注明引用的内容 和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成 果，不包含奉人或其他已申请学位或其他j _ i = i 途使用过的成果。对本文的研究做出重婴责 献的个人和集体均l 在文中以明确方式表叫。 本人学位论文与资料若有) f i 实，愿意承担一切相关的法律责任。 学位论文作者签名 细1 年3 月r 日 两北工业大学硕十论文 1 1 独立分量分析 第一章前言 盲信号处理( b l i l l ds i 即a lp m c e s s i n g ，b s p ) 是二十世纪最后十年迅速发展起 来的一个研究领域，应用范围广泛，具有重要的实用价值，已经成为当今学术界 的研究热点。而独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，l c a ) 则是盲信号 处理的一个重要分支。i c a 【习起源于著名的“鸡尾酒会问题”( c o c k 协i lp a n y p r o b l 锄) 。在嘈杂的鸡尾酒会上，许多人在同时交谈，可能还有背景音乐，但人 耳却能够准确而清晰地听到对方的话语。这种可以从混合声音中选择自己感兴趣 的声音而忽略其它声音的现象称为“鸡尾酒会效应”。 从数学的角度来分析，i c a 是一种多变量数据处理的非正交线性变换方法， 其主要目的就是确定一个线性变换矩阵，使得变换后的输出分量尽可能在统计上 独立。此外，i c a 可以看成是主分量分析( p r i n c i p a lc o n l p o n e ma n a l y s i s ，p c a ) 的 一种推广。p c a 只要求分解出来的各分量相互正交，即互不相关，该方法只考 虑了信号的二阶统计特性；丽i c a 分解出来的各分量不仅互不相关，而且是统 计独立的( 包括高阶统计特性) 。因此，i c a 具有更好的分离效果，并始终受到 人工神经网络、统计信号处理和信息论等相关领域的普遍重视。在过去的十几年 时闻里，有关的理论和算法研究都得到了较快的发展，包括问题本身的可解性以 及求解原理等基本问题已经在一定程度上得到了解决，并提出了许多有效的算 法。目前，i c a 已经成为国际上信号处理和人工神经网络等学科的研究热点，并 且在无线通信、地震、声纳、语音处理、图像处理和生物医学等领域具有广泛而 诱人的应用前景。 l c a 方法最早是由法国的j h e 忸1 l l t 和c j u t t e n 于二十世纪八十年代中期提 出来的，现在常称该方法为h j 算法，可以说是最经典的i c a 算法之一。 王- j 算 法应用一个带反馈的人工神经网络，通过梯度下降法调整网络的权值，使得网络 输出信号的残差最小，从而实现源信号的盲分离。 二十世纪，k 十年代中后期，i c a 方法已经在法国研究者中很知名了，但是在 国际上的影响却很小。在国际神经网络会议上发表的少数几篇有关i c a 的文献 西北下业大学硕士论文 被当时非常流行的反向传播b p ( b a c kp r o p a g a t i o n ) 算法、h o p f i e l d 网络和k o h o n e n 自组织映射网络s o m ( s e l f 二o f g a i l i z m gm 印) 等方面的大量文献所淹没。1 9 8 9 年， 在首届高阶谱分析国际学术研讨会上，j ec a r d o s o 和p c o m o n 发表了i c a 发展 史上的早期论文，提出了基于高阶累积量的代数方法，该方法最终形成了著名的 j a d e 算法。p c o m o n 后来比较系统地阐述了i c a 的问题，并提出了独立分量分 析的概念和著名的基于最小互信息的目标函数。二十世纪九十年代初期，一些学 者延续了八十年代的研究工作，提出了许多不同的算法。例如，a c i c h o l ( i 和r u n b e h a u e n 提出了至今仍非常流行的i c a 算法，但总的来说影响都不大。直到二 十世纪九十年代中期，a j b e l l 和t j s e j n o w s k y 提出了基于信息最大化原理的 i n f o m a 】( 方法。从此，i c a 得到了广泛的关注，并掀起了i c a 的研究热潮。随后， s a m 撕等用自然梯度( n 砸a lg r a d i e m ) 概念对i i l f o m a x 方法做了更精确的表 述。j f c a r d o s o 独立提出了与自然梯度算法相类似的相对梯度算法。1 9 9 7 年， a h y v a r i n c n 和e o j a 将不动点算法引入求解基于高斯矩的目标函数，提出了著 名的定点算法( f i x e d - p o i n t ) ，又称快速i c a 算法( f a s ti c a ) 。由于该算法在计算 上的高效性，对扩大i c a 方法的应用范围作出了很大的贡献。t w l 舭等提出 了可以分离亚高斯和超高斯混合信号的扩展i n f o n 嵋x 算法，以上这些从不同的出 发点研究得出的不同i c a 算法，经证明它们之间存在着紧密的联系。例如，j f c a r d o s o 证明i n f o m a x 法与最大似然方法是等效的。 自二十世纪九十年代中期以来，涌现出了大量与i c a 有关的文章、学术研 讨会和国际专题会议等。到目前为止，国际上己经成功举办了五次i c a 和b s s 的国际会议( i n t e m a t i o n a lc o n f e r e n c eo ni n d e p e n d e n tc o m p o n c n ta n a l y s i s 锄db l i n d s i 弘a ls 印a r a t i o n ) 。在最近几年的国际声学、语音和信号处理大会( i e e e i n t c m a t i o n a lc o n 胁e n c eo na c o l l s t i c s ，s p e e c h ，她ds i 印a lp r o c e s s i n g ，i c a s s p ) 上， 每次都有关于i c a 的专题。 1 2 支持向量机 机器学习问题可看作是应用有限观察样本来寻找依赖关系的问题，是人工智 能应用的重要研究领域，也是人工智能和神经计算方面的核心研究课题之一。机 器学习算法的基本思路是预测性学习，即从已知数据的相关性来预测未知数据。 两j ei 业大学硕士论文 目前，从机器学习的实现算法上来看，大体上可分为以下三种： ( 1 ) 经典参数估计法。该类方法基于传统统计学，已知参数值的相关形式， 使用训练样本来完成参数值的估计。由于所基于的渐进理论以及需要得到样本的 分布形式等因素，这类参数估计法在使用中存在一定的局限性。因此，在诸多样 本数目有限的实际问题中，参数估计法力不从心，基于参数估计的很多方法也达 不到满意的效果。 ( 2 ) 经验非线性方法。典型的是人工神经网络法( m 悄) ，该方法应用已知样本 建立非线性模型，克服了传统参数估计法的困难。不足的是，缺乏统一的数学理 论基础。 ( 3 ) 统计学习理论( s u 矿6 。1 羽。这种方法与传统统计学的不同之处在于：是一 种专门研究小样本情况下机器学习规律的理论，并形成了新的理论体系。在此体 系下的统计推理规则，不仅考虑了对渐进性能的要求，而且追求在现有有限信息 条件下得到最优结果。v 印i l i k 等人最早致力于此理论的研究，二十世纪九十年代 有了较大发展，同时由于神经网络等学习方法在理论上缺乏实质性进展，统计学 习理论开始受到广泛重视。 机器学习的目的是根据给定的训练样本，估计系统输入与输出之间的依赖关 系，使之能够尽可能准确地预测系统的未来输出。机器学习的基本模型，可以用 图1 一l 表示。图l 一1 中，系统是研究的对象，在给定输入x 下得到输出y 。在训 练过程中，输入与输出组成训练样本对( x ，y ) ，提供给学习机器。在测试过程中， 训练后的学习机器对于输入工给出预测输出y 。 图1 1 机器学习的基本模型 西北t 业大学硕十论文 图1 1 中，由产生器( g ) 产生随机向量x 彤，x 从固定但未知的概率分 布函数f ( j ) 中独立抽取。训练器( s ) 对每个输入向量工返回一个输出值j ，。产 生输出的根据，同时也是固定的条件分布函数f ( y i 功。学习机器( l m ) 是从一 定的函数集，( x ，疗) ，口a 取得的，其中a 是参数集合，可以是任意函数集。 机器学习问题就是从给定的函数集厂( 工，口) ，订a 中选择出能够最好逼近训 练器响应的函数，这种选择是基于训练集的。训练集由依据联合分布 f ( x ，力= f ( x ) f ( y x ) 抽取的n 个独立同分布的观察值( 五，乃) ，( 矗，以) 组成。 支持向量机【l 蛇7 】( s u p p o nv e c t o rm a c h i n e s ，s v m ) 是由v 抽p i k 领导的a t & t b e u 实验室研究小组在1 9 6 3 年提出的一种新型机器学习方法是对结构风险最 小化( 鼬眦t u r a l 融s km i 旋n iz a _ 吐o ni i l d u c t i v ep r i n c i p l e ) 的近似，其理论基础是统 计学习理论( s t a t i s t i c a il e a r i l i n g1 1 1 e o r y ，s l t ) ，主要应用于模式识别领域。由 于当时这些研究尚不十分完善，在解决模式识别问题中往往趋于保守，且数学上 比较艰涩。因此一直没有得到充分的重视。直到二十世纪九十年代，统计学习理 论的出现，以及为了解决神经网络研究所面临的难题，比如，如何确定网络结构 的问题、过学习与欠学习问题、局部极小点问题等，使得s v m 得以迅速发展和 完善。s v m 在解决小样本、非线性及高维模式识别问题中表现出许多特有的优 势，并能够推广应用到函数拟合等其它机器学习问题中，迄今已在许多领域( 生 物信息学，文本和手写识别等) 取得了成功的应用。 s v m 的关键在于核函数。低维空间向量集通常难于划分，解决的方法是将 其映射到高维空间。但这个办法带来的困难就是计算复杂度的增加，而核函数正 好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，就可以得到高维 空间的分类函数。s v m 训练的本质是解决一个二次规划( q u a d r a t i cp 朔伊a m m i n g ， q p ) 问题。在s v m 理论中，采用不同的核函数将导致不同的s v m 算法。 1 9 9 5 年，c o r t e s 和v a p n i i 【提出了c h l l i 】_ l ( i n g 算法，其出发点是删除矩阵中对 应l a g r a n g e 乘数为零的行和列将不会影响最终的结果。从而，可将一个大型q p 问题分解为一系列较小规模的q p 问题，然后找到所有非零的l a g r a n g e 乘数并删 除所有为零的l a 掣a i l g e 乘数。在算法的每步中，c h i l l l k i n g 都解决一个q p 问题， 两北工业大宁硕十论文 其样本为上一步所剩的具有非零的l a 舯i l g e 乘数的样本以及m 个不满足 k o h n t u c k e f 条件的最差样本。如果在某一步中，不满足k o l l l l t u c k c r 条件的最 差样本不足m 个，则这些样本全部加入到新的q p 问题中，每个q p 子问题都采 用上一个q p 子问题的结果作为初始值。在算法的最后一步，所有非零l a g m g e 乘数都被找到，从而解决了初始的大型q p 。c h u l l l ( i n g 算法将矩阵规模从训练样 本数的平方减少到具有非零l a 铲a n g e 乘数的样本数的平方。然而，在训练集的 支持向量很大时，c h 加k i i l g 算法在实现上仍然存在较大的困难。 1 9 9 7 年，q s u n a 等人证明，如果存在不满足k o h l l - t u c k e r 条件的样本，则 在将其加入到前一个子问题的集合中后，重新优化该子问题，可行点( f e a s i b l e p o i n t ) 将依然满足约束条件，且性能得到了改进。因此，如果每步至少加入一 个不满足k o h n t u c k c r 条件的样本，则利用一系列的q p 子闯题就可以保证实现 收敛。值得注意的是，c h l l i 】_ l c i n g 算法满足该定理，因此可以实现收敛。o s l l l l a 等 在此基础上提出了一种s v m 训练算法，即首先建立一个工作集( w o 凼n gs e t ) ， 保证其大小不变，并加入一个不满足k o h n - t u c k e r 条件的样本，再进行优化，该 算法存在效率问题，进行一次q p 问题的最优化只能使一个样本符合k o h n - t l l c k c r 条件。 1 3 人脸识别技术概述 作为生物特征识别的一个重要方面，人脸识别在近几年随着其在安全验证系 统、信用卡验证、自动门卫系统、医学、档案管理系统、人机交互系统、公安刑 侦、视频会议、图像检索以及银行、海关等领域和场所的巨大应用前景，己经成 为一个研究热点。比起如指纹识别、视网膜识别、虹膜识别等技术来说，人脸识 别相对更加直接，使用者亦更容易接受。事实上，不管是对人也好，还是对于计 算机也好，要实现对人的检测识别，最优先、最直接、也是最有意义的特征就是 人的面部特征了。而且，如果做更深入的分析，还可以从人脸获取更多的信息， 如表情、姿态、年龄等。 人脸识别( f a c er e c o g i l i t i o n ) 陋3 8 】的研究范围主要包括以下三个方面的内 容：( 1 ) 人脸检测( f ed e t e c t i o n ) ，即从各种不同的场景中检测出人脸的存在并确 定其位置。这一任务主要受光照、噪声、面部倾斜度以及各种遮挡物的影响。( 2 ) 西北t 业大学硕士论文 人脸表征( f a c er 印r e n 协t i o n ) ，即采取某种方式表示出检测到的人脸和数据库中 的已知人脸。通常的表示法包括几何特征( 如欧氏距离、曲率、角度) 、代数特征 ( 如矩阵特征矢量) 、固定特征模板、特征脸等。( 3 ) 入脸识别( f a c el d e m i f i c a t i o n ) ， 即将待识别的人脸与数据库中的己知人脸比较，得出相关信息。这一过程的核心 是选择适当的人脸表征方式与匹配策略。人脸识别系统的基本任务是对待检测图 像进行检测与分割，然后在所分割出来的相关人脸区域进行识别，并与数据库中 的标准人脸数据进行匹配，以确定该人脸是否已有记录。在基本的人脸识别研究 基础上可以进行更深层次的研究。 人脸检测是人脸识别系统的第一步工作，是指从不同条件下获取的图像中， 根据一定的规则和先验知识，应用选择的特征进行检测。先确定有无人脸，若检 测到有人脸存在，则对人脸进行定位并获取其尺度姿态等信息，将图像分割成人 脸区域和非人脸区域，这一步预处理的工作直接影响到后面的特征提取和识别工 作，所以是极其重要的。但是，由于各种因素的影响导致人脸检测成为一个极困 难的问题。因为在许多实际应用中，人们对于场景、光照、成像系统、人脸方向 等是不作限制的，也没有有关人脸的尺度、姿态、位置的先验知识，而且在多人 存在时还可能出现相互遮挡问题，这些都会给检测带来困难，可能造成漏检或虚 检的情况。总体来说，对于人脸检测，要求简单、快速、高效。对于人脸检测可 以针对不同的应用场合，选用不同的检测手段以便尽量减少不可控制的外界因素 的影响。 人脸检测系统首先要输入欲辨识的人脸图像，图像的来源可以由照片扫描、 数码像机拍摄、c c d 拍摄、甚至v r 拍摄等获得。然后将输入的图像做人脸检 测以找出人脸在图像中的位置并从图像中取出，再做图像标准化( n o 蛐a l i z a 虹o n ) 让图像中的人脸置中、大小一致，并且所有图像的大小维度必须相同。将噪声去 除并调整整张图像的亮度，使得光线对图像的影响降到最低。接下来将调整过的 图像经过特征参数选取或是降维处理，提取出来的特征图像或特征值就可以拿来 辨识图像的身份。 人脸表示是指采取某种方式表征检测出的人脸和数据库中的人脸，也可以把 其看作一个特征提取的过程。这些特征可以是较直观的人脸器官的几何特征，如 五官位置、形、距离等，也可以是比较抽象的代数特征，如k l 变换所得的主 西北工业大学硕十论文 成分特征、奇异值分解( s i i l g i i i a rv a l u ed e c o m p o s i t i o n ，s v d ) 得到的s v 特征等， 还可以是模板特征、颜色特征、纹理特征等。 人脸鉴别的主要工作是把待识别人脸数据和数据库中的已知人脸数据进行 匹配，以得到相关信息。实际上可以看作是一个分类过程，关键在于选择适当的 分类器和分类策略，对表示人脸的特征进行分类。根据对人脸的不同的特征表示， 分类器选择也不同，可以是传统的最小距离法、最近邻法等，也可以是较新的神 经网络、支持向量机等，而且应用多特征和多分类器组合来改善识别效果也是近 年来的一个研究方向。 国内外目前关于人脸识别的算法很多，根据人脸表征方式的不同，通常可分 为三类：基于几何特征的识别方法、基于统计特征的识别方法、基于连接机制的 识别方法。 基于几何特征的识别方法 这类传统识别方法将人脸用一个几何特征矢量表示，用模式识别中层次聚类 的思想设计分类器以达到识别目的。这就要求选取的几何特征矢量具有一定的独 特性，能够反映不同人脸之间的差别，同时又具有一定的弹性，以消除时间跨度、 光照等的影响。几何特征矢量是以人脸器官的形状和几何关系为基础的，其分量 通常包括人脸指定两点间的欧氏距离、曲率、角度等。人脸器官的关键点分别对 应于不同的积分投影方式产生出的波峰波谷，根据人脸结构的先验知识，可以得 出人脸各器官之间的几何位置关系。p o g g i 和b r u n e l l i 的系统获得了9 0 以上的 识别率。他们还将b a r o n 的模板匹配法加以改进，设计了一种自动模板匹配识别 系统，并与基于几何特征的识别系统做了性能比较。h 啪g c h 瑚g - h i i i 和 c h e n c l l i n g w e r 使用了另一种几何特征提取机制，即采用动态模板与活动轮廓模 型提取出人脸器官的轮廓。动态模板是参数化的简单模型，根据先验知识定义的 能量函数及相应的图象约束条件指导其收敛过程，主要用于提取眼睛和嘴巴轮 廓，而活动轮廓则是能量最小化的曲线，由能量函数指导其收敛到局部边界，主 要用于提取眉毛和下巴轮廓。在此之前，l l e 等首先应用动态模板进行特征提 取，c l h i l a l l g 则进一步提出了用动态模板与活动轮廓进行人脸几何特征细提 取的算法，用动态模板与活动轮廓提取出的人脸器官轮廓，对人脸具有较为精确 的描述能力，为几何特征矢量的生成奠定了基础。另外，g l o r i ac h o w 和) ( i b o l i 采用了自适应霍夫变换( a 血p t i v eh o u g l l1 h n s f o n n ) 与动态模板相结合的方法。 两北r 业大学硕士论文 同c l h u 锄g 类似，动态模板的作用是提取眼睛与嘴巴轮廓，而霍夫变换则主 要用于确定眼球、下巴的轮廓。 几何特征识别方法的优点是存储量小，且对光照不敏感。缺点是从图像抽取 稳定的特征比较困难，对强烈表情变化和姿态变化鲁棒性较差，部分信息易丢失， 适合粗分类。 基于统计代数特征) 的识别方法 基于统计特征的识别方法仍将人脸用特征矢量来表示，只不过用的是代数 特征矢量，即人脸图像在由“特征脸”张成的降维子空间上的投影。特征脸方法是 从主分量分析( p c 导出的一种人脸描述和识别技术。p c a 实质上是k l 展开的 网络递推实现，k l 变换是图像压缩技术中的一种最优正交变换，人们将其用于 统计特征提取，从而形成子空间模式识别的基础。若将k - l 变换用于人脸识别， 则需假设人脸处于低维线性空间，由高维图像经k _ l 变换得到一组新的正交基， 由此可以通过保留部分正交基得到正交k - l 基底。 如将子空间对应特征值较大的基底按照图像阵列排列，则可以看出这些正交 基呈现出入脸的形状，因此这些正交基也称为特征脸，相应的入脸识别方法也叫 特征脸方法。 特征脸方法的特点：基于统计方法，图像中所有象素被赋予同等地位，但角 度、光照、表情等干扰会使识别率下降；人脸在入脸空问的分布近似高斯分布且 普通人脸位于均值附近，而特殊人脸位于边缘分布。可见，越普通的人脸越难以 分别，特征脸方法本质上是抓住了人群的统计特征，反映了特定人脸库的统计特 征，但不具有广泛性、代表性。应用f i s h e r 判据是一种较好的改进方法，另一种 成功的改进方法是将人脸进行差异分类，即分为脸间差异和脸内差异，其中脸内 差异属于同一人脸的各种变形，脸间差异表示不同人脸的本质差异，而实际人脸 图的差异为两者之和。 隐马尔可夫模型( h m m ) 是用于描述信号统计特征的一组统计模型。h m m 使 用马尔可夫链模拟信号统计特征的变化，而这种变化间接通过观察序列来描述。 因此隐马尔可夫过程是一个双重的随机过程，其中之一是马尔可夫链，这是基本 的随机过程，描述状态转移。另一个随机过程描述状态和观测值之间的统计对应 关系，其中节点表示状态，有向边表示状态间的转移。一个状态可以有特征空间 的任意特征，对同一个特征，不同状态表现出这一特征的概率不同。对于同特征 两北工业大学硕士论文 序列，可能会对应许多状态序列，特征序列与状态序列之间的对应关系是非确定 的。这种模型对于状态序列来说是隐性的，故称为隐马尔可夫模型。 基于连接机制的识别方法 主要包括神经网络法( n n ) 和弹性图匹配法( d l a ) 。神经网络法是近几年 比较活跃的一个研究方向，应用神经网络进行人脸特征提取和分类器的设计有较 成熟的特征提取算法自适应主分量神经网络算法。研究人员应用传统方法和 神经网络设计了组合分类器，在识别效果的准确率、容错性、鲁棒性等方面取得 了一定的进展。神经网络方法在人脸识别上较其它方法有独到的优势，该方法避 免了复杂的特征提取工作，可通过学习获得其它方法难以实现的人脸识别的规律 和规则的隐性表达。但由于神经元数目多，故训练时间长。 弹性图匹配方法是一种基于动态链结构的方法，该方法在三维空间中定义了 一种对于通常的人脸变形具有一定不变性的距离，并采用属性拓扑图来代表人 脸，拓扑图的任一顶点均包含一特征向量，用来记录人脸在该顶点位置附近的信 息。拓扑图的顶点采用了小波变换特征，对于光线、尺寸、角度具有一定的不变 性。另外，弹性图匹配能够容忍表情的变化，并在一定程度上能够容忍视角的变 化。这也是弹性图匹配算法优于特征脸法的原因。此方法有一点改进，当特征脸 方法向人脸库中加入新的人脸时有可能需要重新计算特征脸，因为不能保证已有 的特征脸的通用性，而对于弹性图匹配的方法，则并不需要改变已有的数据，直 接加入新的模板数据即可。当然弹性图匹配方法也存在一个明显的缺点，就是由 于计算复杂度的提高需要更大的存储空间。 综合比较目前常用的几种人脸识别方法，可以看出，每种方法各有优劣，因 此，许多人倾向于将多种方法综合起来，如何同时应用不同类的特征以提高识别 率也是今后研究的方向。 1 4 本文的主要工作 本文基于对前人关于人脸识别算法的系统分析，拟重点研究可用于人脸检 测、特征提取和分类的k c c a i c a 与s v m 综合方法。 论文共分五章。第二章是理论基础部分，对独立分量分析( i c a ) 理论进行 了介绍和研究。从信息熵和统计理论的角度入手，针对传统的主元分析法( p c a ) ， 西北t 业大学硕士论文 分析了i c a 在处理高阶统计信息方面的优越性，简单介绍了常用的k c c a i c a 算法。同时，对统计学习与v c 理论进行了介绍和研究，从最优理论出发，介绍 了s v m 的理论基础。 第三章是本文的核心部分，介绍了自适应选择核函数方法与s v m 多类分类 器，并通过引入朴素正则风险最小化准则，提出了一种改进的在线核函数算法， 依据截断误差最小化算法，通过选取合适的拉格郎日因子对新增的样本数据进行 重新训练，有效地克服了现有方法收敛精度低和不能自适应选择样本的困难，能 广泛应用在分类、回归和奇异值检测中。 第四章是理论应用、实验仿真与结果分析部分。首先介绍了自适应选择核函 数算法在人脸识别多分类器中的应用。然后，对本文特征提取及识别所使用的 o r l 人脸库和自建的人脸库，并进行以标准化和白化为主的预处理。对人脸特 征提取及分类的算法实现进行了详细的实验仿真和结果分析，首先给出了人脸图 像的独立分量描述思路，然后基于m a t l a b 实现k c c a 算法，对人脸特征进行了 提取，接着进行了训练与分类。 最后，在总结全文的同时，对未来工作做了展望。 西北t 业大学硕十论文 第二章人脸特征提取与v c 理论 2 1p c a 概述 2 1 1p c a 简介 主成分分析口r i n c i p a lc o m p o n e n ta m a l y s i s ，p c a ) 有时又被称作k - l 变换 张a r h l l n e l l l o c v et r a l l s f 0 瑚a t i o n ) ，目的是寻找任意统计分布数据集合的主要分量 子集，将原始数据集合变换到主分量空问使单一数据样本的互相关性降低到最低 点。p c a 【3 9 蛔是一种经典的特征提取及数据表示方法，被广泛用于模式识别领域 和计算机视觉领域。该方法于1 9 0 1 年由p e a r s o n 提出，并于1 9 3 5 年由h o t c l l i n g 给出了实际的计算方法。s i m v i c h 和硒r b y 首先将p c a 应用于人脸图像的表示， 并说明任何人脸图像均可以通过加权的人脸基进行重构，而人脸基则是由一定数 量的人脸图像训练得到的。在此基础上，m t u r k 和a p e n t l 锄d 于1 9 9 1 年提出 著名的特征脸法进行人脸检测和识别，取得了比较好的效果。在此之后，p c a 便得到了更广泛的研究，并成为最成功的人脸识别方法之一。由于人脸图像样本 的维数很高，若直接对人脸图像进行处理则计算量很大并且运算时间很长，所以 近年来，很多人脸检测和人脸识别算法都首先采用p c a 方法进行降维，然后再 采用其它方法做进一步处理。 2 1 2 基于p c a 的降维方法 人脸识别最简单的方法就是将其转换为一个模板匹配问题，但是当匹配在高 维空间进行时就会出现问题，所以迫切需要将其进行降维处理，p c a 就是降维 的方法之一。若一人脸图像i 为维矩阵，将i 转换成2 l 维的向量r ，那 么，p c a 的基本思想就是使用低维空间来表示r ： r 一所e 册= q 一+ q 鲍+ q 以 | i “2 ( 2 - 1 ) 其中，m e 托为训练样本的平均值。 两北r 业大学硕十论文 具体的变换过程如下： ( 1 ) 先获得m 张人脸图像作为训练样本：l 。，i ：，i 。每张人脸图像必须裁剪 成同一尺寸。 ( 2 ) 将每张人脸图像i 。都表示为一维列向量r ，： 村 r ， ( 3 ) 计算平均人脸： t 2 气f ( 4 ) 将每张人脸减去平均脸得： ( 5 ) 计算协方差矩阵c ： 叩i ：中i = r f 一甲 ( 2 2 ) ( 2 - 3 ) c ：翟乒a a ( 2 x z 维矩阵) 肘 、 其中，a = 【吼，叩：p 。】( 2 m 维矩阵) 。 ( 6 ) 计算a a 。的特征向量u i 。由于矩阵a a 7 非常大，直接计算十分困难。为 此，先考虑矩阵a a ( m 肘维矩阵) ，并计算a a 的特征向量v 。u i 与v j 之 间存在以下关系： a a v i = v i 辛a a l a v i = a v ij c a v j = a v ic u i = u i ( 2 5 ) 可见，从7 和a 1 a 具有相同的特征值并且两者的特征向量之间有着这样的 关系：u 。= a v l 。值得注意的一点是，a a 7 最多具有2 个特征值和特征向量， 而a a 最多有时个特征值和特征向量，从7 的肘个特征值与从7 最大的肘个 特征值相对应a 因此，根据公式u i = a _ 就可以得到a a t 的m 个特征向量。 ( 7 ) 保留k 个特征向量( 与k 个最大的特征值相对应的特征向量) 。 每张在训练集中的人脸( 减去平均脸) 谚都可以被表示为这鬈个特征向量的 线性组合： f 纪一m 枷= 一u j ，( 匕= u h ) ( 2 6 ) 这里，称u j 为特征脸。 选取o 砌。人脸库的l o 张人脸作为训练样本，如图2 1 所示，根据上面的步 骤进行变换，保留7 个特征向量，即7 个特征脸，结果见图2 - 2 。 2 1 3p c a 优缺点分析 图2 1o r l 人脸库训练样本 图2 - 2 保留的7 个特征脸 由于主成分分析的基础是象素点信息的特征提取方法，所以对人脸表情变化 和光照变化都比较敏感，并且当图像的维数很大时，所花费的运算时间巨大。但 是，p c a 仍然成为特征脸法所采用的主要表示方法并一直受到关注。最近提出 的i c a ( 恤d 印e n d e n tc o m p 叫e n tm l a l y s i s 独立分量分析) 和k e m e lp c a 就是其中 的代表，b a r n c t c 等提出使用i c a 进行人脸表示，并发现使用余弦时效果要比p c a 方法要好。y 觚g 使用k e r n e lp c a 的方法进行人脸特征提取和识别并展示了与传 统p c a 方法相比的优势。 i c a 实质上是p c a 的一般化，两者同属多维数据的线性描述方法，但i c a 面对的是非高斯信号，使用了高阶统计特性，最终从多通道观测数据中分离出独 立元，而不仅仅是一、二阶意义上的统计独立，故被广泛用于人脸特征提取中。 两北_ 业大学硕十论文 2 2 独立分量分析方法( i c a ) 2 2 1 i c a 分析模型 由于i c a 是从盲源信号分离技术发展而来的分析算法，因此，本节从这个 角度分析其定义和模型，图2 - 3 为i c a 分析模型。 假设存在个独立的源信号，矢量形式为s ( ，) = h o ) ，岛( f ) ，如( ，) r ，源信号 独立意味着下式成立： p ( s ) = 兀b ( 丑) ( 2 7 ) 再假定有m 个观测信号x ( r ) - 【( 哦屯( r ) ，( f ) 】7 ，f = 1 ，2 ，r 。这些信号 由源信号线性混合而成，且是瞬时混合，即有： _ 五o ) = 一( 力f = 1 ， ( 2 培) 即，x ( f ) = 加( f ) 。式中，a 为混合阵并由混合系数组成，其每个行向量的个 元素作为个源信号的加权系数对源信号进行混合，得到对应的观测信号x 。 观测信号由于受到了混合将不再是独立的，即： p ( x ) 兀p f ( ) s ( f )x o ) ) ，( f ) aw 图2 3 i c a 分析模型 ( 2 9 ) 两北j 二业大学硕十论文 i c a 的目的就是寻找一个线性变换阵w ，称为“解混阵”，将其施加于观测 信号工) ，使锝各输出信号z ( f ) 间尽可能相互独立。从信号处理角度讲，w 是 空间滤波器；从神经网络角度讲，w 是输入输出间的连接权值。w 通过某种优 化算法得到，便有： ) ，( f ) = w x ( f ) = w 舢( r )( 2 - 1 0 ) 整个过程如图2 4 所示： = sy = w x = 咒 = s 图2 4 独立分量分析模型 式( 2 1 0 ) 中，输出信号) ，( f ) 是源信号j ( ，) 的一个估计。记p = w a ，则p 可以 用来衡量i c a 算法的分离性能，称为“性能矩阵”，显然，当p = i ( 单位阵) 时， 估计性能最优，有y ) ；s ( d 。实际上，由于没有独立源信号的先验知识，p 是 单位阵的可能性很小，只要是每行每列有且只有一个非零元素，即使y ( f ) 与j ( f ) 的各个分量次序不同或对应分量相差一个常数项都是允许的，因为由矩阵理论 知，对p 进行归一化和重排序，一定可以化为单位阵，这是i c a 问题的不确定 性。为消减不确定性，常假设s ( ，) 具有单位方差e 研 = 1 且各分量均值为零。 2 2 2i c a 的限制条件和可解性分析 除了“源信号相互独立”这一基本假定外，i c a 还有以下限定条件； ( 1 ) 源信号维数m 小于等于观测信号维数( 本文假设m = ) 。 ( 2 ) 源信号丑中最多只有一个高斯信号。 ( 3 ) 混合阵a 满秩且在短时观测范围内是非时交的。 墨如 两北r 业大学硕十论文 i c a 模型是不是可以求解，或在什么条件下才有解? 下面对这些问题作一 简单的分析。 为简单起见，只考虑无嗓模型。方程个数为膨，远远小于未知数的个数 ( 膨+ 1 ) ，严格说来这个问题是无法求解的。但是，已经有人证明，在满足一 定的假设条件下，可以通过某些特殊方法求得该问题的一个解。这些假设条件是： ( 1 ) 源信号j ( r ) 的各个分量在统计上是相互独立的。 ( 2 ) 混合矩阵a 是列满秩的常数矩阵。 ( 3 ) 源信号是非高斯信号或最多只有一个是高斯信号。 条件( 1 ) 是解决i c a 问题的关键，通常源信号都是从不同的物理系统产生的， 因此该假设具有一定的现实意义。条件( 2 ) 实际上是为了保证观测信号的个数不 小于源信号的个数，且i c a 模型是一线性时不变系统。对于条件( 3 ) ，如果源信 号都是高斯分布的，则混合信号也是高斯分布的，可以证明这种情况是不可分离 的，但如果只有一个高斯信号的话，i c a 问题也是可解的。在实际情况中，上述 三个假设通常都是可以满足的。 事实上i c a 的解不是唯一的，i c a 存在一个解的不确定性问题，又称为解 的等价性，即分离信号的排列次序和波形的复振幅( 幅值和初始相位) 是不确定 的。下面从数学的角度来说明这种不确定性。 当p 是一个广义置换矩阵( 每一行和每一列都只有一个非零元素) 时，可认为 i c a 分离成功，且称混合矩阵a 是可辨识的。由矩阵理论可知，可以分解为： p = w a = q d ( 2 - 1 1 ) 其中，q 为置换矩阵( 每一行和每一列都只有一个元素1 ) ，d 为对角矩阵( 对角元 素非o ，其它元素为0 ) 。将式( 2 - 1 1 ) 代入式( 2 一1 0 ) ： y o ) = w a 5 【f ) = q d s ( ，) 由上式可知，如果s ( f ) 的各个分量统计独立，则y ( f ) 的各个分量也相互独立。 从另一方面来说，如果分离矩阵w 是i c a 问题的一个解，那么q d w 也是i c a 的一个解，其中q 为置换矩阵( 每行每列有且只有一个元素1 ，其余为o ) ，d 为 对角矩阵( 对角元素都是1 ，其余为o ) 。 西北f ：业大学硕士论文 由于源信号和混合矩阵都是未知的，从物理角度来看，次序不确定性是同时 交换源信号和混合矩阵与之对应的列的位置，但所得到的观测信号不变；复振幅 不确定性相当于源信号和与之对应的混合矩阵的列之间互换一个比例因子，同样 所得到的观测信号不变。由于有用的信息主要包含在信号的波形中，所以这两种 不确定性对盲源分离技术的应用影响不大。 一种减小i c a 幅度不确定性影响的方法是假