（应用数学专业论文）最佳鉴别变换与分类器组合技术在人脸识别中的应用.pdf

硕士学位论文最佳鉴别变换与分类器组合技术在人脸识别中的应用 摘要 人脸识别技术是计算机模式识别领域的一个非常活跃的研究课题，在法 律、商业等领域有着广泛的应用前景。 在模式识别领域中，基于f i s h e r 鉴别准则函数的最佳鉴别变换有着重大的 影响。j 本文提出并讨论了基于f i s h e r 鉴别准则函数的改进的最佳鉴别平面和 改进的最佳鉴别矢量集，同时给出了它们的计算公式。f 实验结果表明此方法对 解决模式分类问题确有定的效果。 b p 神经网络是应用最广泛的一种人工神经网络，在各门学科领域中都具 有很重要的实用意义，其学习能力和容错能力对不确定性模式识别具有独到之 处。) 本文对b p 神经网络分类器、最小距离分类器和1 - n n 分类器在高维空间、较 少训练样本下的分类效果做了比较，并给出了相关的结果。同时本文也探讨了 如何加快b p 神经网络的收敛速度。给出了三种加快b p 神经网络的收敛速度的 方法。实验结果表明这三种方法都能起到良好的效果。 侈分类器的组合己成为模式识别领域的前沿研究课题，并在许多应用方 面，如字符识别、目标识别等领域，取得了较好的应用效果。目前，已有多种 多分类器组合方法被用来识别人脸，本文的最后一章从抽取具有统计不相关的 模式特征的想法着手，通过作基于小波变换的图象分解和k l 变换等处理避开 人脸识别的小样本集的局限，并通过运用具有统计不相关性的最佳鉴别变换抽 取人脸的有效鉴别特征。同时，利用多特征多分类器组合的方法对o r l 人脸图 象库进行了识别，实验达到了令人满意的效果。f 而且实验表明本方法对人脸的 姿态、表情等条件具有定的不敏感性。# 关键字：最佳鉴别变换，统计不相关，特征抽取，特征压缩，k l 变换，人 脸识别，分类器组合 预士学位论文最佳鉴别变换与分类器组合技术在人脸识别中的应用 a b s t r a c t f a c er e c o g n i t i o nt e c h n o l o g yi sav e r ya c t i v es u b j e c ti nt h ea r e ao fc o m p u t e r p a t t e r nr e c o g n i t i o n , w h i c hh a saw i d er a n g eo fc o m m e r c i a la n dl a we n f o r c e m e n t p o t e n t i a la p p l i c a t i o n s b a s e do nf i s h e r sd i s c r i m i n a n tf u n c t i o n , o p t i m a ls e t so fd i s c r i m i n a n tv e c t o r s h a v eg r e a ti n f l o e n c ei nt h ea r e ao f p a t t e r nr e c o g n i t i o n t h i sp a t ) e rf i r s t l yp r o p o s e da n i m p r o v e do p t i m a ld i s c r i m i n a n tp l a n ea n da ni m p r o v e do p t i m a ls e to fd i s c r i m i n a n t v e c t o r s t h e nt h i sp a p e rg a v et h e i rc o m p u t i n gf o r m u l a e x p e r i m e n t st oat h r e e c l a s s p r o b l e mh a v eb e e np e r f o r m e d t h e i rr e s u l t s h a v es h o w nt h a tt h en e wo p t i m a l d i s c r i m i n a n tp l a n ei sv e r ye f f e c t i v e ， b a c k p r o p a g a t i o n ( b p ) a l g o r i t h m , w h i c hi ss i m p l ea n de a s yt ob er e a l i z e d ，i s f r e q u e n t l yu s e dt ot r a i nf e e d f o r w a r dn e u r a ln e t w o r k i ti sv e r yv a l u a b l ei nm a n y s u b j e c t sa n di ti so n eo f t h em o s tu s e f u lm e t h o d sf o rp a t t e r nr e c o g n i t i o n t h i sp a p e r d e v e l o p e dt h r e em e t h o d st oa c c e l e r a t eb pa l g o r i t h m t h ee x p e r i m e n t a lr e s u l t sh a v e s h o w nt h a tt h e s em e t h o d sa r ew e l is u i t e dt on e u r a ln e t w o r ki m p l e m e n t a t i o n s t h i s p a p e ra l s op e r f o r m e de x p e r i m e n t sw h i c hc o m p a r e db pa l g o r i t h m w i t ho t h e rm e t h o d s i bc l a s s i f i c a t i o n t h i sp a p e rp r e s e n t e dt h ee x p e r i m e n t a lr e s u l t s t o o t h er e s e a r c ho nc o m b i n a t i o nm e t h o d so fc l a s s i f i e r si sah o ts p o ti nt h ea r e ao f c o m p u t e rp a t t e r nr e c o g n i t i o n i t h a saw i d e r a n g e o fa p p l i c a t i o n s ，s u c ha s h a n d w r i t t e nd i g i tr e c o g n i t i o n ，f a c er e c o g n i t i o n r e c e n t l ym a n yc o m b i n a t i o nr u l e s h a v eb e e nu s e di nf a c er e c o g n i t i o n b a s e do nf i s h e rd i s c r i m i n a n tc r i t e r i o n i no r d e r t oe x t r a c tf e a t u r e sb yu s i n gt h eu n c o r r e l a t e dd i s c r i m i n a n tt r a n s f o r m a t i o n , t h i sp a p e r u s e do r t h o g o n a lw a v e l e tt r a n s f o r m a t i o na n dk lt r a n s f o r m a t i o nt op r o c e s st h ef a c e i m a g e sa tf i r s t a c c o r d i n gt op e o p l e sr e c o g n i t i o ne x p e r i e n c e w eu s e dm u l t i f e a t u r e a n dm u l t i c l a s s i f i e rc o m b i n a t i o nt og i v eo u tt h ec l a s s i f i c a t i o nr e s u l t se x p e r i m e n t so n o r ld a t a b a s eh a v eo b t a i n e dg o o dr e s u l t s e x p e r i m e n t a lr e s u l t sh a v ea l s os h o w nl h a t t h i sm e t h o dd o e sn o ts e n s i t i v et ot h ep o s ea n de x p r e s s i o no f h u m a nf a c e s k e yw o r d s ：o p t i m a l d i s c r i m i n a n tt r a n s f o r m a t i o n , s t a t i s t i c a l u n c o r r e l a t i o n ， f e a t u r ee x t r a c t i o n ，f e a t u r ed i m e n s i o n a l i t y , f e a t u r ec o m p r e s s i o n ，k lt r a n s f o r m a t i o n ， f a c er e c o g n i t i o n ，c o m b i n i n gc l a s s i f i e r 硕士学位论文最佳鉴别变换与分类器组合技术在人脸识别中的应用 1绪论 1 1 人脸识别的研究内容 脸部是人类的一个独一无二的特征。即使是双胞胎的面部也是有曲别的， 脸部的独一无二性是其经常被用于识别不同人的一个重要原因。我们确认和区 另0 不同人的脸是一件十分轻松的事情，但对于机器识别来说却是一个较难完成 的任务。 自1 9 9 0 年以来，人脸识别领域变的异常活跃。所用的方法包括了基于k l 变换、神经网络、特征匹配等的多种方法。所讨论的人脸识别的范围也进一步 扩大，用到的图象包括了可获得的大量连续图象。同时，对于静态图象的研究 也有了较大的进展。 在讨论人脸识别问题时，我们必须将人脸识别与人的识别问题区分开来。 人的识别问题比人脸识别简单得多，这是因为在人脸识别当中只用到了视觉刺 激，然而在人的识别中其它的方面也起到了重要的作用，如人的声音、服装和 姿态等。当只有人脸和人的面部特征被用于分类时，它们是所能得到的用于分 类的全部特征。 正确的定位和确认人脸的系统可以广泛的应用于许多方面。目前对于可靠 的人脸识别系统的研究引起了人们对生物测定学的关注。生物测定学的研究包 括指纹、语音、笔迹和人脸等的识别。人脸识别被认为是种被动的、无侵害 的识别方法。它的这种性质是使它成为当前研究重点的一个主要原因。我们至 少可以列出人脸识别系统的两大类别： ( 1 ) 我们想要在大量的人脸当中找到我们所关心的那一个。这种系统的一 个明显的特点是它将返回一组最可能是我们所需要的人脸的图象。在 这种系统当中，经常是每个人只有少数的几张图象可以利用，但这种 系统并不要求识别实时完成。 ( 2 ) 我们想要( 如在安全监视系统下) 实时的进行人脸的识别，或我们想 允许一部人进入，而不允许另一些人进入( 如在进入一座建筑物时) 。 这种系统的特点是可获得的图象特别多，但识别的过程必须实时的完 成。 1 绪论 1 2 人脸识别的应用 如同人的指纹一样。人脸也具有唯性，可用来鉴别一个人的身份，人脸 识别技术在商业、法律和其它领域有着广泛的应用。人脸识别首先是法律部门 打击犯罪的有力工具，在毒品跟踪、反恐怖活动等监控中有着很大的应用价值。 人脸识别的商业应用价值也正在日益增长，主要是信用卡或自动取款机的个人 身份核对，与利用指纹、手掌、视网膜、虹膜等其他人体生物特征进行个人身 份鉴别的方法相比，人脸识别具有直接、友好、方便的特点，特别是对于个人 来说无任何心理障碍。人脸识别的具体应用主要有以下几个方面： 嫌疑犯照片的匹配 信用卡、驾驶执照、护照与个人身份证的识别 银行、商场安全系统 公众场合监控 专家识别系统 基于目击线索的人脸重构 嫌疑犯电子照片簿 电子排查 基于残留人脸的人脸重构 随年龄增长的人脸估算 这些应用包括了从静态的、受控背景的照片到动态的、非控背景的录相等各个 方面，每项应用都有着不同的技术难度、处理方法和分析理解方式。它们基本 上可分为两类：静态( 非视频) 匹配和动态( 视频) 匹配。 嫌疑犯查找是静态匹配中最常见的应用。显然，在嫌疑犯照片的拍摄过程 中，一般来说，可以控制照相背景、光照条件、摄象机的分辨率以及摄象机与 被拍照人之间的距离、角度等，获得多幅正面人脸图象或多幅侧面人脸图象。 在这些条件约束下来获取图象，可简化人脸分割和识别算法。 公众场合监控是典型的动态匹配应用。通过摄象机得到的视频图象质量一 般较差，而且背景比较杂乱，分割人脸就相当困难，但可以利用运动图象分析 来分割运动者的人脸，也可以利用现有的人脸模型，部分重建人脸图象，这在 某种程度上会比静态匹配更容易解决。这方面应用的难点是需要实时处理。 硕i 二学位论文最佳鉴别变换与分类器组合技术在人脸识别中的应用 1 3 人脸识别的技术和方法 人脸识别技术大致可以分为三个方面，一是从给定的图象中检测出人脸， 二是从人脸图象中抽取特征，这些特征包括统计特征，如k l 变换和奇异值 分解得到的特征等，以及结构特征，如鼻子、眼睛、嘴唇等特征。三是根据提 取的特征采用适当的方法进行识别。 1 3 1 检测 人脸的检测，作为人脸识别的基础，是人脸识别技术实用化所必须解决的 一个重要问题。但是，由于人脸的自然性和变化多样性，这一方面的研究相对 滞后，目前越来越受到人们的关注，研究者们从各种不同途径提出了多种方法。 模板匹配方法 早期方法主要是人脸模板的顺序匹配，利用一个可变的椭圆形模板检查图 象中是否存在人脸，其模板的建立一般是在对一定数量的人脸样本的灰度分布 等特征进行统计的基础上完成的。先抽取边缘图象，然后与模板匹配，找出人 脸的可能位置，在预期的位置上，检测眼睛、嘴等的边缘，进一步确认人脸的 存在。当物体的结构己知，而大小、位置和方向未知时，可变模板的模板匹配 对物体定位与描述是一个强有力的工具。k e l l y 介绍了一种从上到下的图象分 析方法 2 】用于从图象中自动抽取头部与身体的轮廓，再确定眼睛、鼻子、嘴巴 的位置。g o v i n d a r a j a 提出了一个在复杂背景下确定人脸的计算模型【”。s i r o h e y 用灰度图象及边缘图象从复杂背景中分割出人脸【4 】，人脸用椭圆来近似地表 示，预处理过程包括确定边缘上的断点，给相邻的边缘曲线段加上标记，在断 点处用最相似的边缘连接起来。t s u k a m o t o 综合了样本亮度和边缘强度的统计 数据，建立了包含多个量化特征参数的人脸量化特征模型q m f t ”，根据用q m f 对图象各个区域匹配得到的确认度进行检测。d a i 则把人脸图象看作灰度分布 具有特殊结构特征的区域，利用空间灰度共生矩阵s g l d 建立了人脸纹理特 征模型【6 _ 7 1 。 模板匹配方法的最大困难在于较难建立一个对人脸尺度、位置、角度以及 照f ! j j 等变化具有稳定性的人脸模板。在图象背景比较复杂的情况下，模板匹配 的1 l 寸问较长，要实现图象中多个人脸的检测尤其困难。 l 绪论4 基于规则的特征搜索方法 c o r d i n 描述了基于规则从手工素描中检测人脸的视觉系统【8 1 ，应用i f ， t h e n 规则处理任务。杨光正等则从人脸灰度网格分布的角度提出了一个多层 的基于知识的人脸定位系统【9 1 “，在充分利用人脸灰度分布、边缘等特征的基 础上，采用从粗到精的分步搜索和多级判断逐渐排除非脸区域的方式完成人脸 的检测，能够在预先不知道人脸数量与大小的情况下，在复杂背景中找寻人脸 位置。l e e 等则利用运动和色彩线索，基于知识，在监控视频图象的复杂背景 中，在实时景象中定位人脸区域】。 基于规则的特征搜索方法可以综合人脸图象的各种特征信息，有可能达到 比较稳定的检测效果，其关键在于选取何种特征以及如何建立规则进行各种特 征的组合。 人工神经网络方法 人工神经网络方法用于检测人脸是近几年才出现的。j u e l l 等利用了四个 子网构成的多层网络结构进行检测1 1 2 j ，各子网络采用误差反传算法训练三个 子层神经网络分别判别v i 、眼、鼻，父层神经网络进行子层网络判别结果的综 合，采用更加精细的结构构造神经网络可以达到更为良好的检测效果。r o u d e y t ”】 建立的三层误差反传网络以多种方式对人脸区域进行了划分和组合，各个区域 分别对应于不同的功能区结点，每次在大小为2 0 x 2 0 的窗口区域内检测大小 为2 0 2 0 ，双眼距离为1 2 x1 2 的人脸，通过将图象尺度按l ：1 2 的比例逐级 缩放，并在各个尺度上用2 0 x 2 0 的窗口扫描整个图象检测人脸的方式，保证 了图象中不同尺度的人脸区域总在某个缩放比例下基本完整地落入检测窗口， 从而解决人脸尺度问题。r o w l e y t l 4 1 最近提出了具有较少的弃真与存伪错误的 神经网络方法。 人工神经网络方法虽然在理论上可以通过大量样本的训练检测不同角度、 不同遮挡、不同脸型的人脸，但训练样本的选择和训练的收敛是一个困难的问 题。 1 3 2 特征抽取 在利用人脸的定位与检测方法将人脸从具有一定背景的图象中分割出来 后，有效地抽取人脸识别特征成了人脸识别的关键。人脸识别特征主要可分为 两类特征，一是人脸的直观特征，二是人脸的代数特征。 硕士学位论文 最佳鉴别变换与分类器组合技术在人脸识别中的应用 直观特征 b l e d s o e 提出了基于人脸特征点的间距、比率等特征，这些特征的抽取是 手工完成的【1 5 l ，所以允许脸部有较大的变化。k e l l y 的工作在框架上与b l e d s o e 的工作相似，但是不需要人工介入。k a n a d e 用几何量作为人脸的特征”“，这 些几何量包括眼角、嘴角、鼻孔、下巴这些点之间的距离以及所成的角。b u h r 用图表示法和描述树法”1 给出了人脸的3 3 个主要特征与1 2 个次要特征，其主 要特征包括了2 4 个基于眼睛、人脸中心、嘴的量测。y u i l l e 提出了包括头发、 鼻子、嘴并用弹簧连接边缘的全局入脸模板【1 8 】以抽取出眼睛与嘴。c r a w 提出 了更复杂的人脸模板【1 9 1 ，包含了头发线条、眼睛、眉毛、鼻子、嘴和面颊。最 近，l e e 等抽取人脸的5 个距离量测作为人脸识别特征【2 0 1 ，王华和李介谷给出 了人脸斜视图象的特征抽取方法【2 1 j 。 眼睛是最重要的人脸脸部特征，眼睛之间的距离不随脸部表情变化而变 化，可用来标准化所有的几何量测。n i x o n 用h o u g h 变换检测眼睛的周边【2 2 1 ， d a u g m a n 用圆边缘检测从粗到精地确定眼睛的位置l ，l a m 提出用基于眼角 信息估计的可变模板抽取眼睛边界，彭振云等1 在假设人脸图象可以通过阈 值分割将头发、眼睛与脸部明显分开的前提下，采用h o u g h 变换并利用人脸 的相似性和对称性约束确定两个瞳孔位置，然后利用积分投影方法得到嘴角的 精确位置。 代数特征 k i r b y 和s i r o v i c h 在k l 展开的框架下讨论了人脸图象的最优表示 2 “，任 何图象都可近似地用本征图线性表示，通过增加本征图的数量可以提高所给图 象的表示精度，他们讨论的重点是人脸的表示，对一幅给定的图象，其线性表 示的权重系数作为它的特征。t u r k 和p e n t l a n d 由实验人脸数据库中的人脸图 蒙得到了一个人脸平均图象，然后计算每个人脸图象与平均图象的差异，进而 对所求出的样本散布矩阵作k l 变换以求出本征矢量，即得到本征脸2 9 】；在 求得本征脸后，将人脸图象投影到每个本征脸上，人脸图象就可用一个权值矢 量来表示。如果将k l 变换直接用于没有标准化的人脸图象，则对图象的变形 没有较强的稳定性，可先做仿射变换，包括旋转、平移以及按尺度缩放，对人 脸的大小、位置和姿态进行标准化口“。 l a m a r q u e 研究了利用空间填充曲线将人脸图象转变成一维信号i ”j ，再利 j 目小波变换抽取人脸图象特征。高西奇等【3 2 1 也将小波变换用于人脸图象的特征 1 绪论6 抽取。 人脸的直观特征比较稳定，受入脸的姿态变化与光照条件等因素的影响 小，但不容易抽取，而且量测精度不高。人脸的代数特征容易得到，但稳定性 较差。j i a 和n i x o n t ”1 提出抽取由几何量测、眼睛区域、外部轮廓、侧面图象 这四组特征组成的特征矢量用于识别，其中侧面、轮廓和眼睛分别用w a l s h 功率谱、标准化的f o u r i e r 描绘子和标准化的矩描述。 1 3 3 识别方法 统计方法 t u r k 与p e m l a n d 用本征脸来检测与识别人脸【2 7 。2 ”，每个人脸都可用一个投 影权值向量来表示，将测试图象的权值向量与训练图象的权值向量作比较，确 定哪一幅训练图象与测试图象最接近。他们进一步发现人脸图象与非人脸图象 的投影向量明显不同。因此，绘出了一种在图象中确定是否有人睑的方法。实 验中使用2 5 0 0 个人脸图象的数据库，每类人脸包括3 种不同的照明亮度、脸 部方向和脸部尺寸变化，对于这3 种变化的识别率分别为9 6 、8 5 和6 4 。 本征脸的概念可以扩展到本征眼、本征嘴等，正如本征脸可被用于检测人 脸的存在性一样，本征眼、本征嘴可用于检测眼、嘴等。p e n t l a n d t ”1 建立了 个由3 0 0 0 人的7 5 6 2 幅图片组成的图象集并按照性别、种族、年龄层次等分类。 实验显示，对成年白人和黑人的识别率分别为9 0 和9 5 ，而亚洲成年人只 有8 0 的识别率。 基于统计模式识别方法设计分类器时，往往需要对模式进行统计分析， f o l e y s a m m o n 最佳鉴别矢量集是一种有效的模式分析技术o ”“，其基本思想 是在f i s h e r 最佳鉴别准则函数取极值的条件下，求得最佳鉴别方向，然后将 高维矢量投影到最佳鉴别方向上，构成低维的鉴别特征空间。人脸识别的训练 样本一般较少，属于小样本集问题。在小样本集的情况下，模式样本类内散布 矩阵一般为奇异矩阵，这样使得最佳鉴别方向的求解问题变得相当困难，因此 引起了人们的广泛兴趣。h o n g 和y a n g 提出在类内散布矩阵上加入奇异值扰 动m l ，并证明了当扰动满足一定条件时，最佳鉴别特征是稳定的。c h e n g 等提 出了秩分解方法1 3 8 1 ，l i u 等在用总散布矩阵取代类内散布矩阵生成新f i s h e r 准 则函数的基础上，用代数方法求解广义最佳鉴别向量 3 9 4 0 1 。 神经网络方法 坝j j 学位论义展住掺别变换0 分类器封【俞技术 人脆u ! 圳c i - f l , j j 训h7 人工神经网络( a n n ) 在人脸识别- 1 一主要被用j ：以卜几个办l 斫：性! i 1 j 分类、 脸部识别和表情分类等。最早的神经网络在人脸识别当一 1 的应刚是k o h o n e n 自组织映射( s o m ) ，即使在输入图象数量少目图象的效果不是 i 咀想的情 况卜，这种神经网络也达到了较精确的分类。 在w i l k i e 、a l e k s a n d e r 和s t o n h a m 的识别装旨中，坼层自遁j 、t 神经嘲络( 俅 个用二f 数据库中的一个人) 被用于人脸识别、表情分析和面部检验。这个系统 需要2 0 0 - - 4 0 0 个图象来训练每一个分类器，训练样本包括表情的变化。】6 个 分类器被崩于包括1 6 人的数据库。分类器的形成是通过使分类器的输出刈j 给定的输入图象达到最大值。但由于样本数过少，我们并不能对这种方法神! 人 样本情况下的效果作出结论。 另外，g o l o m b ，l a w r e n c e 和s e j n o w s k i 提h 了种串联的两个神经网络崩 f 性别分类。第一个阶段是运用一个用于j 压缩的神经网络，这个网络的隐层看 作是第：二个网络的输入。第二个网络号门用于性别分类。两个网络足完全连接 的。网络的训练是运用标准的b p 算法。这个性别分类器是一个4 0 f l 1 的 网络其中n 是隐层节点数，分别取值为2 ，5 ，1 0 ，2 0 ，4 0 。试验运用8 0 个训 练图象和1 0 个试验图象。试验证明这种方法是有效的，而且这种方法也被用 f 面部表情的分类。 b r u n e l l i 和p o g g i o 也给出了一个用于性别分类的神经网络，他们的方法是 运用一个包括1 6 个特征的向量。这些特征有眉毛的浓密程度，嘴和异予的宽 度等。他们训练了两个h u p e r b f 网络，每。个用于。种性别。在实际的试验 过程中特征的提取是完全自动的。2 1 个男性和2 1 个女性的样本被用于分类。 与训练集中的特征向量被用作试验向量，识别率可以达到9 2 5 。 h y p e r b f 网络也被用于人脸识别。为了除去视角引起的图象的变化，图象 阿先通过了二二维仿射变换。随后是对图象进行压缩。一个h y p e r b f 网络用f i 个人。这种网络的平均识别率只有7 9 。但此方法通过改进后，识剐率有 明显的提高。 模糊神经网络在人脸泌旯l j 中也得到了较多的应用。s ，y l e e 和y k h a m 等人就运用此方法对人脸进行识别，得到了满意的结果。在让 别过程“川r 血个 标准化的特征被用于模糊劂络中。这种系统具有良好的容错性和学习过程的商 效一。 s t e v el a w r e n c e ，c l e eg i l e s 等人提 i j 了一种卷积神经刚络用于人脸以别。 这个系统足先瑚s o m 自组织映射，然后再运用卷积神经网络进行i ： 别。s o m 1 7 l 组织映射的 ：要作用是降低原始图蒙的维数。用k l 变换代替s o m 冉组彩 1绪论8 映射也能得到相似的结果，但识别率稍有降低。由于卷积神经网络的应用使得 此系统具有高效性和可自动进行识别等特点。 对于实时的人脸识别，人们也提出了不少运用神经网络进行识别的方法。 p h i l i p d u n s t a n 和g e k l i m 等人给出了一种神经网络的应用。在应用当中神经 网络不仅被用于分类，而且还作为从大量图象中定位人脸的一个重要工具。这 个人脸识别系统的一个特点是运用了一种依据造句法的方法，其作用是减少图 象中不需要的信息和噪声，同时保留足够的有用的信息用于有效的分类。试验 证明这种方法能够在图象条件不很理想的情况下得到较为满意的结果。 另外，a l e x a n d r a p s a r r o u 和s h a o g a n gg o n g 也给出了一种实时人脸识别的 方法，他们的方法是运用一种部分循环的神经网络进行分类。这种网络的神经 元之间有前向和反向两种连接方式。由于这个原因，这种网络具有良好的容错 性和联想记忆的能力。此方法可以实时的检测出人脸，对于人脸识别来说具有 重要的意义。 多分类器组合方法 多分类器的组合已成为模式识别领域的前沿研究课题1 4 1 4 7 1 ，并在许多应用 方面，如字符识别、目标识别等领域，取得了较好的应用效果。目前，已有一 些文献采用多分类器组合方法来识别人脸：i n t r a t o r 等应用监督无监督混合神 经网络抽取入脸特征t , 4 “，进行人脸识别；y o o n 等【4 9 1 基于脸部部件的一般知识 抽取脸部特征，提出了基于隐m a r k o v 模型和神经网络的混合识别方法；g u t t a 和w e c h s l e r t 5 町提出了基于径向基函数网络与决策树的人脸识别混合分类器；丁 震提出了用于人脸识别的混合模糊神经网络【5 1 1 。 多分类器组合方法还有许多问题值得进一步的深入研究，对于人脸识别这 种类别数较多、而训练样本数较少的情况，怎样选择合适的组合准则才能保证 组合结果较优还是一个有待解决的难题。最近，k i t t l e r 提出了基于不同特征表 示的多分类器组合理论框架【5 2 】，现有的一些多分类器组合方法都可以看成该框 架的特例，实验表明所提出的组合分类器优于已有的其它组合分类器，并作了 灵敏性分析。 1 4本文的主要工作 本文探讨了基于f i s h e r 鉴别准则的最佳鉴别变换和b p 神经网络分类器在 硕士学位论文 最佳鉴别变换与分类器组合技术在人脸识别中的应用9 高维空间、较少训练样本下的分类效果，同时本文对如何加快b p 神经网络的 收敛速度也做了一定的研究。本文的最后一部分着重讨论了多特征多分类器组 合的方法在人脸识别中的应用。本文的主要工作有以下四个部分： ( 1 ) 本文提出了一种改进的最佳鉴别平面，对i r i s 数据的实验结果表明， 改进的最佳鉴别平面既优于s a m m o n 最佳鉴别平面，也优于l i u 广义最佳鉴别 平面，而不劣于具有统计不相关性的最佳鉴别平面。本文同时也提出了改进的 最佳鉴别矢量集，并给出了关于改进的最佳鉴别矢量集的计算公式。 ( 2 ) 本文对b p 神经网络分类器、最小距离分类器和i - n n 分类器在高维 空间、较少训练样本下的分类效果做了比较，并给出了相关的结果。 ( 3 ) 本文探讨了如何加快b p 神经网络的收敛速度。给出了三种加快b p 神 经网络的收敛速度的方法。实验结果表明这三种方法都能起到良好的效果。 ( 4 ) 对o r l 人脸图象数据库中的图象，本文从抽取具有统计不相关的模 式特征的想法着手，通过作基于小波变换的图象分解和k l 变换等处理避开人 脸识别的小样本集的局限，并通过运用具有统计不相关性的最佳鉴别变换抽取 人脸的有效鉴别特征。同时，利用多特征多分类器组合的方法对o r l 人脸图 象库进行了识别，实验达到了令人满意的效果。 2 般f f ? 螭别、r 向段坡任临圳久酣浆 2 最佳鉴别平面及最佳鉴别矢量集 2 1 引言 在模式识别领域中，f i s h e r 线性判别方法有着重大的影响，其基本思想就 是在f i s h e r 鉴别准则函数取极值的条件下，求得一个最佳鉴别方向，然后 l 将模式高维特征向量投影到该最佳鉴别方向上，构成一维的鉴别特征空m ，于 是模式鉴别分析可在维空间中进行。j ws a m m o n 在1 9 7 0 年发展了f i s h e r 线性判别方法1 3 4 1 ，在f i s h e r 鉴别准则函数取极值的条件卜，求得与f i s h e r 最佳 鉴别方向币交的第二个最佳鉴别方向，从而提f i ：；了最佳鉴别甲面技术，并将它 们用于解决两类问题。 目前，最佳鉴别平面方法主要用于模式高维特征的二维显示，其显著特j j i 就是可以直观地看到模式样本分布的情况，在最佳鉴别平面内构造分类器直观 性强。模式识别的1 个基本假设就足待议别的模式样本在分布k 要有定程度 的聚类性，若在二维显示中发现聚类性差或没有呈现聚类状态，蜕明所取的特 征对于识别问题而言不能反映类别的本质，应考虑重新选择特征。实际问题c l ， 提出的模式原始特征的维数一般较高，特征分量可能是相关的，有些特征分量 对分类识别可能起作用很小的，在最佳鉴别平面内构造分类器可有效地消除模 式原始特征分量中的冗余信息，可充分利用模式类别问的可分性信息。 s a m m o n 最佳鉴别平面技术在计算机模式识别领域得到广泛的应用与发 展，f o l e y 和s a m m o n 进一步研究了最佳鉴别矢量集】。在s a m m o n 最佳鉴别 平瓶技术中，两个最佳鉴别方向是l f 交的，但投影所得到的两个鉴别特征却足 统计相关的。在模式识别理论中，特征抽取的一般原则是所抽取的特征之间的 统汁相关性越小越好，最好是抽取1 i 棚关的特征。本文从f i s h e r 鉴别准则函 数f ；发，提了种改进的最佳鉴别平面和签别矢量集。 2 2 s a m m o n 最佳鉴别平面和最佳鉴别矢量集。5 堡主兰垡堕奎 墨垡鳖! ! 皇垫兰坌鲞堡垒全塾查垄叁堕墨型! 竖里曼旦 设模式x 为n 维矢量，模式类别有c 个；q ，：，珊。，模式类内散布矩 阵s 。、类间散布矩阵s 与总体散布矩阵s 分别为 s 。= 竞p 白) e i 一m 。x - - n 7y 甜，】 ( 2 2 1 ) s 。= 毫p ，勋，一跏勋，一m ) r ( 2 2 2 ) s ；：e 陋一m 融一埘) r l = s 。+ s 。 ( 2 2 - 3 ) 其中：p 白，) 为第i 类模式的先验概率 幔= 占( 卅国) 为第i 类模式的均值向量( i 2 1 ，2 ，c ) m = e ( x ) 为模式总体的均值向量 删= 杰p ( 国，) m ， ( 2 - 2 4 ) 设第i 类模式的训练样本有”。个，记为x 。( ，= 1 ，2 ，”。) ，则模式样 本类内散布矩阵s 。与类间散布矩阵& 估计公式为： s 。= 喜p 。，百三善( _ 一置) ( x , l - 2 , ) 7 ( 2 2 5 ) s 。= 杰p 白，取，一又酝，一对 ( 2 2 6 ) 其中，霄，躯分别是与聊的估计： 耻击私 q 2 7 掰= 牙= 窆| p ，) 牙， ( 2 2 8 ) 这里，第i 类模式的先验概率p ，) 一般地取为： 尸0 ；) = ( 2 2 9 ) 型旦生j 二l 一一 ! 墨堡鳖型! 堕墨墨堡鉴型叁墨塞 ! ! f i s h e r 鉴别准则函数定义如下： f 如) 2 而q ，s b ( p ( 2 21 0 ) 其中9 为n 维列向量。 使( 2 2 1 0 ) 式取到最大值的向量纯是f i s h e r 最佳鉴别方向，其物理意义是 模式样本集在p 。方向上的投影使得模式具有最小的类内散布和最大的类间散 布a p 是下列广义特征方程中最大的特征值对应的特征向量： 足p 1 = a s 。妒l( 2 2 1 1 1 在多类问题中，方程( 22 1 1 ) 无显式解。在两类问题中，由于有下式： s a = b 。一m 2 勋。一肼：) r ( 2 2 1 2 ) 所以可求出方程( 2 2 1 1 ) 的解为： 妒= as ：1 仞i 一卅2 ) ( 2 21 3 ) 这里口为归一化因子。 第二个最佳鉴别方向是在满足下列正交条件下的使( 2 2 1 0 ) 式取到最大值 的向量妒： p ；妒i = 0 ( 2 2 1 4 ) 其中p ：是下列广义特征方程中最大的特征值对应的特征向量： 尸是p2 = a s 。妒2r 22 1 5 ) 其中： p ：j 一慧r 尊s ( 22 1 6 ) p ；s ：1 p 1 。7 在多类问题中，方程( 22 1 5 ) 无显式解。在两类问题中，方程( 2 21 5 ) 的解 的形式为 p ：2 ( 吼一粤l f ) 1w ( p l s ? 妒一) 这里为归一化因子。 ( 2 2 1 7 ) 垃任嵴刖娈换j 分类器甜i 合技术n 人胎u 川，的j 0 s a m m o n 最佳签别平面技术就足将模式x 向两个最任鉴别力 维箍别特缸y ： y = y l 运用样的方法，我们还可以得到f o l e y s a m m o n 最fe 鉴别欠鞋集。 设妒足f 列j “义本征方程t ”最人的本征值对应的奉征向萋： ( 2 2 18 ) s 妒】= a s 。妒i 在求出r ( r 1 ) 个最佳鉴别方向奶，妒：，怫后，第r + 1 个最佳鉴别方阳 是a 0 菌足下列正交条件下的使f i s h e r 鉴别准则函数取到最大值的向量妒。： 妒1 竹= 0( f = 1 , 2 ，) 其物理意义是：在空i 日js p a n 妒，妒：，妒， 的币交补空l l h j 的所有向量中，模式样 本集在妒，+ 方向上的投影使得模式具有最小的类内散如和最大的类问散佰。天 于f o l e y s a m m o n 最佳鉴别矢量集的求解有下述定理： 定理2 1 ：f o l e y s a m m o n 最佳鉴别矢量集的第r + 1 个最佳鉴别方向p 。是h 列 广义本征方程中最大的本征值对应的本征向量： j d 墨仍+ l = a s 。伊( 2 21 9 ) 式l 1 ： p = ，一d 。( d s ：d7 ) 一d s 二。 往求k ( k n ) 个最佳鉴别方向妒l ，妒2 ，纯后，f o l e y - s a m m o n 最佳答 刖父嘬集就是将模式x 向这k 个最佳鉴别方向投影得到k 维鉴别特征y ： ，= y 1 y 2 ： y 女 引 ， 妒2 型翌生三l _ 一! 墨堡些型! 叵墨墨堡鳖型叁墨壅 ! 1 2 3 统计不相关的最佳鉴别平面和最佳鉴别矢量集【5 7 - s 9 1 定义2 1 ：如果两个随机变量f 与r 的协方差满足： 孵一e 善勋一e 7 7 ) 1 = 0( 231 ) 则称善与叩是统计不相关的。 容易证明s a m m o n 最佳鉴别平面y 的两个分量y 与y ，的协方差为： e 眇。一e y 。炒：一e y ：) = 西e 陋一e x x x - e x ) 7 b 。( 232 ) = 西墨妒。 一般地，( 2 32 ) 式不为0 ，所以s a m m o n 最佳鉴别平面y 的两个分量y l 与 j ，：是统计相关的。 为了得到统计不相关的两个鉴别特征，可在满f f t y 0 共轭正交条件下： p；j。p1=0(233 ) 求解使( 2 2 1 0 ) 式取到最大值的第二个最佳鉴别方向妒：。推导整理可得，妒：是 用下式代替( 2 21 6 ) 所得到的广义特征方程( 2 ，21 5 ) 中最大的特征值对应的特征 向量： p 斗燃 (234)s p ? 墨s ：1 ，9 。 、+ 。 将上述结论推广，我们还可以得到统计不相关的最佳鉴别矢量集。关于具 的统计不相关性的最佳鉴别方向的求解有如下的定理： 定理2 2 ：设伊是下列广义本征方程中最大的本征值对应的本征向量： 咒妒，= 船。妒，在求出r ( r 1 ) 个最佳鉴别方向吼，妒。”后，具有统计不 相关性的最佳鉴别矢量集的第r + 1 个最佳鉴别方向妒。是下列广义本征方程中 最大的本征值对应的本征向量： p s 6 妒= 船。吼+ l ( 235 ) 式中： 羔堕苎兰塑竺墅一墨堡鳖型变垫兰坌耋墅望全垫查垄堕塑型! 塑窒旦坚 尸= ，一s , d 7 ( d s ，s ：1 s ，d 7 ) d s ，s ： 这里：i 为单位矩阵，而且 d = h 驴：p ，r = 妒j p ； 2 4 l i u 广义最佳鉴别平面及广义最佳鉴别矢量集。3 ( 2 36 ) ( 237 ) 在得到f i s h e r 最佳鉴别方向p 后，l i u 定义了一个广义f i s h e r 鉴别准则函 数如下： 荆2 寰筹畿伊lo 。妒l + 伊j 。妒 第二个最佳鉴别方向是在满足正交条件下的使上式取到最大值的向量伊：，称 此p ：为广义最佳鉴别方向。广义最佳鉴别方向妒：是下列广义本征方程中最大 的本征值对应的本征向量： 其中： 这里 p ( u i + 邑) 伊2 = a ( v ，+ s 。) p 2 p ：i 一里垂丝苎掣 p ；( v i + s 。) 。纪 “= 妒i 咒妒。，v = p j s 。c , o 。 l i u 广义最佳鉴别平面就是将模式x 向f i s h e r 最佳鉴别方向妒。与广义最佳 鉴别方向p ：这两个最佳鉴别方向投影得到的二维鉴别特征y 。 将上述结论推广，我们还可以得到l i u 最佳鉴别矢量集。关于l i u 最佳鉴 别矢量集的求解有如下定理： 型翌堡l _ 一一! 垦堡篷型! 堕丝垦堡竺型叁星丝 ! ! 定理2 3 ：设伊；是下列广义本征方程中最大的本征值对应的本征向量： 戈妒t 2 船。妒。，在求出r ( r 1 ) 个最佳鉴别方向妒l ，伊2 ，妒，后，l i uf - y 最 佳鉴别矢量集的第r + 1 个最佳鉴别方向妒。是下列广义本征方程中最大的本征 值对应的本征向量： j 1 ) ( 口，+ s 6 ) 妒川= 五( ，+ s 。) 妒，+ 式中： p = ，d 7 d ( ，+ s w ) 一1 d 7 1 d ( ，+ s 。) 口，= 纪7 品妒。 i = i 卢，= 妒。7 s 。妒， i = l 2 5 改进的最佳鉴别平面及最佳鉴别矢量集 s a m m o n 最佳鉴别平面和统计不相关的鉴别平面的鉴别投影方向分别具有 正交和s 。共轭的特性a 我们不妨更进一步，求解同时满足正交和只共轭两个 条件的鉴别平面。由于类间散布矩阵是对称矩阵，所以满足上述条件的解是存 在的。 即在满足下列条件的前提下，求解使( 2 2l o ) 式取到最大值的第二个最佳鉴 别方向妒：。 妒；s ，妒，= 0妒；妒，= 0( 251 ) 所求的最佳鉴别方向妒：应是归一化的本征向量，