人脸识别gabor论文.doc

2010级本科毕业设计论文 第 35 页 共 34 页1 绪论1.1 研究背景及意义人脸识别是生物特性鉴别技术的一个主要方向，它涉及图像处理，模式识别，计算机视觉等多个研究领域，具有十分广泛的应用前景，多年来一直是一个研究热点。相对于其它人体生物特征识别技术，如指纹识别、虹膜识别、掌纹识别，人脸识别技术是最直接、最自然、最容易被人接受的。与其它技术相比，它具有侵犯性小、较少需要或不需要用户的主动配合、样本采集方便、应用场合广泛、潜在的数据资源丰富、设备成本低等优点1。人脸识别系统具备操作及流程简单、适用面广、支持一对一或一对多比对、支持多点同时采集比对、带有数据库支持记录及查询功能，对采集现场环境要求较低，可在极短的时间里判断出进出者的身份是否合法，杜绝使用他人钥匙、密码、磁卡等非法进入。人脸识别技术的安全性、可靠性较高，且拥有广泛的市场需求，它可以应用于公安部门的犯人档案管理、犯人辨认查找、刑侦破案、安全验证系统、信用卡验证、医学、档案管理、视频会议、人机交互系统、证件核对、保安监视、门禁控制及至自动柜员机（atm）等多种场合2。人脸识别对人类来说是件自然而然的事情，但对计算机而言，人脸识别却远非一个已解决的课题。所有的人脸都具有相似的结构，在纹理上也十分相近。另外图像受光照、成像角度及成像距离等外界条件影响，具有“一人千面”的特点，欲建立一种具有各种不变性的描述模型还是比较困难的。此外，人脸识别技术研究与相关科学的发展及人脑的认识程度紧密相关3。诸多因素都使人脸识别研究成为一项极富挑战性的课题，一方面信息化进程的日益加快，电子商务、重要场所的安全认证、智能化环境等许多应用领域对与人脸有关的信息处理提出了迫切要求；另一方面，硬件和软件技术的发展，为满足实际应用系统对人脸检测、跟踪及识别技术的实时化要求提供了可能性2。所以，人脸识别的研究不仅涉及心理学、生理学、人工智能、模式识别、计算机视觉、图像分析与处理等多个学科领域，更是模式识别、人工智能和计算机视觉的典型案例之一2。对这一问题的研究和解决，有助于对其他对象识别问题的研究分析和解决，人脸识别也因此成为这些基础研究领域的重要课题之一，具有重要的理论研究价值。1.2 国内外研究现状及发展趋势近30年来，人脸自动识别的研究取得了很大的进展，从工程索引（ei）上检索到的相关文献已达数千篇，包括ieee pami在内的重要国际期刊也有专栏甚至专刊报道人脸识别的最新研究进展，同时还出现了专门的国际学术会议，如人脸手势识别国际学术会议1。目前人脸识别领域内最著名的国际研究机构包括：美国麻省理工学院媒体实验室及人工智能实验室、南加州大学、cmu卡内基梅隆机器人研究及交互系统实验室、马里兰大学等。另外，一些国家或地区也有不少研究机构在人脸识别领域进行了大量的研究工作4。90年代中后期以来，国内的许多研究机构在自然科学基金、863计划、攀登计划等资助下，开始了对人脸识别的研究。其中主要包括清华大学计算机系、自动化系、电子系以及哈尔滨工业大学、南京理工大学信息学院、中科院自动化所、上海交通大学图像处理与模式识别研究所、中山大学数学系等，他们在人脸识别研究领域都进行了许多很有意义的尝试，积累了经验5。中科院计算所人脸识别研究小组2001年5月与专门从事人脸识别商业系统开发和销售的四川成都银晨网讯科技有限公司全面合作，在北京成立了ict-ycnc人脸识别联合实验室，专门研究和开发商业人脸识别系统。一年来，实验室在实时人脸检测与跟踪、人脸识别、人脸确认等方面进行了大量卓有成效的研究，并开发了一套具有良好鲁棒性的实时人脸检测系统；提出了一种新的基sfs的人脸识别方法，并基于该方法开发了一套实时人脸识别确认系统，目前已通过系统测试，并进入产品开发阶段。另外，实验室以成熟的“特征脸”人脸识别技术为基础，对其进行了很多改进和扩充，尝试了基于人工神经网络、支持向量机、线性判别分析、基于gmm的双子空间人脸识别方法等，研究了基于gabor小波变换和弹性图匹配的人脸识别技术，以及基于统计模型的人脸识别方法等5。1.3 人脸识别的常用方法（1）基于几何特征的方法几何特征最早是用于人脸识别的。人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以作为人脸识别的重要特征。将人脸用一个几何特征矢量表示，用模式识别中层次聚类的思想设计分类器达到识别目的6。这就要求选取的几何特征矢量具有一定的独特性，能够反映不同人脸之间的差别，同时又具有一定的弹性，以消除时间跨度、光照等的影响。几何特征矢量是以人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等6。（2）基于弹性模型匹配方法弹性模型匹配方法的思想是将人脸上的一些特征点作为基准点构成弹性图，每个基准点存储一串具有代表性的特征矢量，采用分级结构的弹性图，去除一些冗余节点，形成稀疏的人脸描述结构7。通过测试样本和特征样本的弹性匹配来完成识别。弹性模型匹配方法有很多，例如：在人脸图像上放置一组矩形网格节点，每个节点的特征用该节点处的多尺度gabor幅度特征描述，各节点之间的连接关系用几何距离表示，从而构成基于二维拓扑图的人脸描述，根据两个图像中各节点和连接之间的相似性进行人脸识别。还有将人脸图像表示为可变形的3d网格表面，将人脸匹配问题转换为曲面匹配问题，利用有限元分析的方法进行曲面变形，根据两幅图像之间变形匹配的程度识别人脸等。（3） 神经网络方法目前神经网络方法在人脸识别中的研究方兴未艾。valentin8,9提出一种方法，首先提取人脸的50个主元，然后用自相关神经网络将它映射到5维空间中，再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较好；intrator8,9等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提取，而监督神经网络用于分类。lee8,9等将人脸的特点用六条规则描述，然后根据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进行识别，效果较一般的基于欧氏距离的方法有较大改善；laurence8,9等采用卷积神经网络方法进行人脸识别，由于卷积神经网络中集成了相邻像素之间的相关性知识，从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的识别结果。神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为对人脸识别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般也比较容易实现。（4）基于线性和非线性子空间的方法基于子空间的方法是基于图像像素本身的，主要是利用计算模板和图像灰度的自相关性来实现识别功能，一般来说模板匹配法要优于基于几何特征法10。目前，在诸多子空间方法中，应用最广泛的是特征脸法（pca），这是针对人脸整体特征的研究，利用karhunen-lobve变换原理，将图像表示为一些低维的正交基组成的子空间，然后采用最小距离准则进行人脸识别。线性判别分析（lda）是一种较为普遍的用于特征提取的线性分类方法。它使投影后的模式样本的类间散布矩阵最大而类内散布矩阵最小，也就是说，投影后保证模式样本在新的空间中有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。线性判别分析提取的特征向量集强调的是不同人脸的差异而不是照明条件、人脸表情和方向的变化。因而，采用此方法对光照条件、人脸姿态等的变化不太敏感，从而有助于提高识别效果。但是传统的算法常常遇到的一个问题是样本类内散度矩阵通常是奇异的，即“小样本集合问题”。针对这一问题已有了许多改进方法并取得了很好的识别效果。独立分量分析（ica）是一种很有效的提取方法。与pca相比，ica有两个优势：一是ica获得的独立分量不需要满足正交关系，能够消除象素间的高阶统计相关性，而pca只能消除象素间的二阶统计相关性；二是ica获得的一组矢量比本征矢量更具空间局部描述性，具有更好的人脸描述能力。借鉴svm的kernel方法，pca、lda和ica等都被扩展到了核空间。与线性子空间方法相比，基于kernel的方法获得了更好的识别效果11,12。（5）其他方法brunelli等对模板匹配方法作了大量实验，结果表明在尺度、光照、旋转角度等各种条件稳定的情况下，模板匹配的效果优于其他方法，但它对光照、旋转和表情变化比较敏感，影响了它的直接使用。goudail等人采用局部自相关性作为人脸识别的判断依据，它具有平移不变性，在脸部表情变化时比较稳定。在最近的一些工作中，benarie等提出vfr的表示框架并将它用于人脸识别的工作中，lam等人研究了不同视点下的人脸匹配和识别问题，vetter等人讨论了由单幅人脸图像生成其他视点的人脸图像的可能性，mirhosseini等则探讨了多种信息融合的人脸识别方法13。1.4 本论文的主要研究工作本论文主要研究一种应用于人脸识别的特征融合算法，该算法提取人脸图像中关键特征点的gabor特征作为局部特征，提取人脸图像的奇异值特征作为全局特征，对这两类特征利用串行融合算法进行融合，并利用最近邻分类规则将图像进行分类。本论文研究内容的主要流程如图1.1所示。奇异值提取gabor特征提取输入人脸图像输入人脸图像串行融合最近邻分类输出分类结果图1.1 特征融合算法的主要流程2 gabor特征提取算法的实现2.1 gabor小波简介由于gabor特征对光照、姿态具有一定的鲁棒性7,13，因此gabor特征在人脸识别领域的应用非常广泛，目前已经成为了最为主流的人脸特征抽取方法。gabor特征具有良好的空间局部性和方向选择性7,13，可以很好的描述图像的纹理信息，因此许多人脸识别算法都采用gabor特征作为识别特征。egm是最早应用gabor特征进行人脸识别的算法之一，该算法仅对人脸图像中部分关键特征点进行gabor变换，并将人脸描述为以这些特征点位置为顶点、以其gabor变换系数为顶点属性、以其关键点位置关系为边属性的属性图，从而将人脸识别问题转化为图匹配问题。通过合理的选择特征点的位置，弹性图可以很好地同时对人脸的关键局部特征及其它们之间的关系进行建模，从而既利用了人脸的图像亮度分布特征，又利用了面部结构信息。gwn方法从最佳描述的角度，通过一个优化过程完全自动地确定特征位置及其相应的小波参数，并最终用这些参数作为人脸的描述来进行人脸识别。但gwn是一种基于参数优化的建模方法，计算复杂度很高，其用于人脸识别的有效性还需要更多的实践检验。gfc算法的基本思想是在粗略对齐人脸图像的前提下，逐像素计算每个像素点的多方向、多尺度gabor变换特征，形成gabor特征的人脸表示，然后进一步用fisher判别分析法提取特征，为了解决逐像素gabor特征维数过高的问题，liu采用了简单的下采样处理方法。adagabor算法采用adaboost算法对高维gabor特征进行选择的降维，该方法采用机器学习的方法更加客观地利用gabor特征，从而能在有效降维的同时提高识别性能。gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似。它在提取目标的局部空间和频率域信息方面具有良好的特性。虽然gabor小波本身并不能构成正交基，但在特定参数下可构成紧框架。gabor小波对于图像的边缘敏感，能够提供良好的方向选择和尺度选择特性，而且对于光照变化不敏感,能够提供对光照变化良好的适应性14。上述特点使gabor小波被广泛应用于视觉信息理解。二维gabor小波变换15是在时频域进行信号分析处理的重要工具，其变换系数有着良好的视觉特性和生物学背景，因此被广泛应用于图像处理、模式识别等领域。与传统的傅立叶变换相比，gabor小波变换具有良好的时频局部化特性。即非常容易地调整gabor滤波器的方向、基频带宽及中心频率从而能够最好的兼顾信号在时空域和频域中的分辨能力；gabor小波变换具有多分辨率特性即变焦能力。即采用多通道滤波技术，将一组具有不同时频域特性的gabor小波应用于图像变换，每个通道都能够得到输入图像的某种局部特性，这样可以根据需要在不同粗细粒度上分析图像。此外，在特征提取方面，gabor小波变换与其它方法相比：一方面其处理的数据量较少，能满足系统的实时性要求；另一方面，小波变换对光照变化不敏感，且能容忍一定程度的图像旋转和变形，当采用基于欧氏距离进行识别时，特征模式与待测特征不需要严格的对应，故能提高系统的鲁棒性16,17。 无论从生物学的角度还是技术的角度，gabor特征都有很大的优越性。jones和palmer的研究表明18，在基本视觉皮层里的简单细胞的感受野局限在很小的空域范围内，并且高度结构化。gabor变换所采用的核（kernels）与哺乳动物视觉皮层简单细胞2d感受野剖面（profile）非常相似，具有优良的空间局部性和方向选择性，能够抓住图像局部区域内多个方向的空间频率（尺度）和局部性结构特征。这样，gabor分解可以看作一个对方向和尺度敏感的有方向性的显微镜。同时，二维gabor函数也类似于增强边缘以及峰、谷、脊轮廓等底层图像特征，这相当于增强了被认为是面部关键部件的眼睛、鼻子、嘴巴等信息，同时也增强了诸于黑痣、酒窝、伤疤等局部特征，从而使得在保留总体人脸信息的同时增强局部特性成为可能18。图2.1即显示了这一结论。图2.1中的每一列代表一组实验，其中第一行代表脊椎动物的视觉皮层感受野，第二行是gabor滤波器，第三行是两者的残差。可见两者相差极小。gabor滤波器的这一性质，使得其在视觉领域中经常被用来作图像的预处理。图2.1 gabor滤波器和脊椎动物视觉皮层感受野响应的比较从图像处理的角度来看，gabor特征有如下好处：（1）gabor核函数由于去掉了直流分量，因此对局部光照的变化不敏感，常常被用在要求对光照有适应性的场合；（2）gabor滤波结果可以反映图像不同尺度、不同方向上的灰度分布信息。一般说来，大尺度滤波可以反映全局性较强的信息，同时可以掩盖图像中噪声的影响；小尺度可以反映比较精细的局部结构，但容易受到噪声影响。小波核函数在空域和频域上都有一定的局域性，这使得其对平移、拉伸、旋转和尺度变换都具有一定的鲁棒性。虽然平移变换对复向量的相位有一定影响，但在人脸识别这个问题中，平移对结果的影响是要考虑的，gabor特征仍然具有很好的刻画特性。正是由于gabor特征的这些特性，使得其在人脸识别中得到了非常广泛的应用。2.2 人脸图像的gabor特征二维gabor小波的定义为：（2.1）式中：是与小波频率带宽有关的常数；为空间位置坐标；确定了gabor内核的方向和尺度。在采用8个方向和5个尺度的采样时，某人方向和尺度上的可以写为。其中为采样尺度，为尺度标号；为采样方向，为方向标号。为最大频率，是频域中的内核间隔因子。令参数、，可以获得较好的小波表征和辨别效果。gabor变换与gabor内核的卷积为： （2.2）设的幅值和相位分别为和，则。组合不同尺度和方向的，构成图像在位置处的gabor特征矢量。定义gabor特征和在不考虑相位差时的相似性为： （2.3）在提取人脸图像的gabor特征时，通常采用多个在不同尺度和方向上的gabor滤波器组成滤波器组，并根据图像的特点和神经生理学的结论来选择参数。通常研究采用共包括8个方向（；）和5个尺度（；）的gabor滤波器组，并令，使滤波器的带宽约为1倍频程。由于gabor特征具有良好的空间局部性和方向选择性，而且对光照、姿态具有一定的鲁棒性，因此在人脸识别中获得了成功的应用。然而，大部分基于gabor特征的人脸识别算法中，只应用了gabor幅值信息，而没有应用相位信息，主要原因是gabor相位信息随着空间位置呈周期性变化，而幅值的变化相对平滑而稳定。所以本论文将输入图像依次与滤波器组的各个滤波器进行卷积，并取其幅值作为输出，即 ， （2.4）设图像的大小为，通过40个滤波器得到gabor特征的维数高达，计算量很大，且由于gabor特征在相邻像素间是高度相关和冗余的，所以通常只需要稀疏的提取部分节点上的gabor特征。一个人脸图像经gabor变换后就得到幅值特征和相位特征的维数都是，计算量很大，而且gabor特征在相邻像素间是高度相关的，所以必须对gabor特征进行降维。本论文所采用的降维方法就是对gabor变换系数进行简单的下采样，如对gabor特征进行固定行固定列均匀分布采样。提取单幅人脸图像的gabor特征的基本步骤如下：（1） 划分gabor特征的采样点本论文划分的采样点的个数为40*30 =1200个，采样点数目较多，目的是为了得到更加清晰的gabor图像。划分采样点后的人脸图像如图2.2所示： 图2.2（a） 原人脸图像 图2.2（b） 划分采样点后的人脸图像由于得到的gaobr特征的维数较大，下面实验将采用均匀下采样对gaobr特征进行处理，从而达到降维的目的。（2） 提取人脸图像的gabor特征 本文采用40*30 =1200个规则分布的采样点，在采样点上提取各个滤波器输出的值，联合起来组成列向量，从而得到每幅图像的gabor特征向量，并以此作为该人脸图像的局部特征向量。得到的人脸图像的gabor特征如下图所示： 图2.3（a） 单幅人脸图像的gabor幅值特征 图2.3（b） 单幅人脸图像的gabor相位特征由以上图像可见，与原图灰度值随位置的变换相比，滤波器输出的幅值随位置的变化要更小更不敏感；gabor相位信息随着空间位置呈周期性变化，而幅值的变化相对平滑而稳定。因此，即使采样点稍有偏移也不会使提取出的特征值发生太大变化。也就是说，gabor特征具有良好的空间局部性和方向选择性，而且对光照、姿态具有一定的鲁棒性，可以容忍更大的器官定位和对齐误差。3 奇异值特征提取算法的实现3.1 人脸图像的奇异值特征一个典型的模式分类系统包括预处理、特征提取、分类三部分。一个理想的特征提取器应该产生一个表达，以使得后续分类器的工作变得简单。通常情况下，特征的数目几乎总是少于用于描述完整的感兴趣的目标所需的数据量，特征选择和特征提取的基本任务是如何从许多特征中找出那些有效的特征。特征提取是模式识别中的关键，其目的是获取特征数目少而分类错误概率小的特征向量19。由于在很多实际问题中常常不容易找到那些最重要的特征，或者受条件限制不能对它们进行测量，这就使特征提取的任务复杂化而成为模式识别系统最困难的任务之一。特征提取的目的是获取一组“少而精”的分类特征。从统计特征方法考虑，目前用于图像识别的特征提取方法一般可以分为：（1）直观性特征：如图像的边沿、轮廓、纹理和区域等。这些都属于图像灰度的直观特征，物理意义明确，提取比较容易。（2）灰度的统计特征：如灰度直方图特征，将图像看作一种二维随机过程，引入统计上的各阶矩阵作为特征来描述和分析图像是目前普遍采用的方法。众所周知的有zerk 矩等。（3）变换系数特征：对图像进行各种数学变换，可以将变换的系数作为图像的一种特征，如离散余弦变换、傅立叶变换、霍夫变换等在图像特征抽取方面均有广泛的应用。（4）代数特征：反映了图像的一种内在属性，将图像作为矩阵看待，可对其进行各种代数变换，或进行各种矩阵分解，由于矩阵的特征向量反映了矩阵的一种代数属性，并且具有不变性，因此可以用来作为图像特征。如kl变换或主分量分析，实际上就是以协方差矩阵的特征向量作为空间基底的一种代数特征提取。基于奇异值特征的人脸识别方法是由hong首先提出来的。他们将人脸特征分为视觉特征、统计特征、变换系数特征以及代数特征四类，代数特征反映了图像的本质属性。因为图像本身的灰度分布描述了图像的内在信息，所以可以将图像作为矩阵看待，进行各种代数和矩阵变换后提取的代数特征是人脸的表征。奇异值分解是求解最小二乘问题的一种有效工具，在数据压缩、图像处理以及模式识别等方面得到了广泛应用，为提取人脸代数特征提供了一种有效的手段。矩阵的奇异值特征是一种有效的代数特征抽取方法20。奇异值之所以能够作为一种特征在图像识别中应用，其理论依据是：图像的奇异值具有良好的稳定性；奇异值反映了图像的一种代数本质，这种本质不是直观的，而是一种内在属性；奇异值具备代数和几何上的不变性。因此，矩阵的奇异值分解（svd）是一种有效的代数特征抽取方法，已经在图像数据压缩、信号处理和模式识别中得到了广泛的应用19。许多研究表明，矩阵的奇异值分解（svd）是一种有效的代数特征抽取方法，已经在图像数据压缩、信号处理和模式识别中得到了广泛的应用。任何一个实对称方阵都可经正交变换转化为对角阵，对于任意实矩阵，则可利用奇异值分解（svd）将其转化为对角阵。定理（svd） 令是实矩阵（不失一般性，设），且，则存在两个正交矩阵和及对角阵使下式成立： （3.1）其中，而称为矩阵的奇异值，是并且也是的非零特征值的全体，而为的个零特征值。，分别是和对应于非零特征值的特征向量。是为了表达上的方便而引入的个向量，可以设想它是对应于的特征向量。同理，为对应于的特征向量。将式（5）写成卷积的形式： （3.2）如果矩阵代表一幅人脸图像，式（6）就是对该人脸图像进行了正交分解，将矩阵中主对角线上的奇异值元素连同中剩余的个0构成一个维列向量： （3.3）其中，为中第一个阶子式，列向量，称为的奇异值特征向量（sv特征向量）。对于任何实矩阵，在的限制下，奇异值对角矩阵是唯一的，因此，原人脸图像对应于唯一的sv向量。3.2 奇异值特征向量的重要性质奇异值特征向量具有下列的重要性质20,21：用sv特征向量来描述人脸图像是稳定的；sv特征向量的转置不变性（即对图像矩阵作转置运算，sv特征向量不变）、旋转不变性（即对图像矩阵作旋转运算，sv特征向量不变）、位移不变性（即对图像矩阵作行或列的置换运算，sv特征向量不变）、镜像变换不变性等。下面对各性质进行证明。（1）奇异值特征向量的稳定性由于sv特征向量与原始人脸图像的一一对应关系，因此可用sv特征向量描述人脸图像。显然，能采用sv特征向量描述人脸图像的另一个关心的主要问题在于sv特征向量是否稳定；即当图像的灰度出现小的变化时，其sv特征向量是否会出现大的变化，若不出现大的变化，则称为之稳定的。svd扰动分析表明，sv特征具有良好的稳定性，下面的定理说明了这一点。记是所有阶实矩阵的全体。定理 设的奇异值分别是，则对于任何一种酋不变范数，有 （3.4）定理中的酋不变范数如果取为frobenius范数，则8式成为 （3.5）如果取为谱范数，则8式成为 ， （3.6）由于奇异值特征向量具有良好的稳定性，所以它对图像噪音、图像光照条件变化引起的灰度变化具有不敏感的特性。（2）奇异值特征向量的转置不变性根据svd定理，有可见，和有相同的奇异值，即对应同一个奇异值特征向量。（3）奇异值特征向量的旋转不变性首先引入初等正交变换，形如的方阵称为初等正交矩阵，或householder变换，其中为单位矩阵，是实维单位列向量。任一旋转变换矩阵都可以分解为两个正交矩阵的乘积。设原始图像矩阵为，对其作旋转变换相对于对左乘一正交矩阵，得到的图像为。于是有 （3.7）其中。可见对的正交变换导致了对（或）作正交相似变换，由于和有相同的特征根，因此图像和旋转后的图像有相同的奇异值特征向量。（4）奇异值特征向量的位移不变性对图像的位移变化归结为对图像矩阵做行（或列）的置换，变换矩阵的第，两行等价于在该矩阵的左边乘上矩阵 其中和分别表示单位矩阵第列和第列，变换后的矩阵为。已知，于是的特征方程为上式左边可简化为 所以，原始图像与其变换两行后的图像有相同的sv特征向量。同理可证队列的置换也有相同的结果。（5）奇异值特征向量的镜像变换不变性若对于任何一个垂直于的向量，存在有关系，其中是实常数，则称变换为镜像变换。householder变换的矩阵为，对于任何一垂直于的向量，有。因此，householder变换是一种镜像变换。根据性质（3）的推导可知，奇异值特征向量具有镜像变换不变性。对于图像的任何一种特征抽取，都要求抽取的特征具有代数和几何上的不变性。由于sv特征在描述人脸图像是稳定的，并具有转置不变性、旋转不变性、位移不变性、镜像变换不变性等重要性质，因此奇异值特征可以作为人脸图像的一种有效的代数特征描述。由于整体图像的奇异值向量反映的是图像整体的统计特征，对细节的描述还不够，而增加图像的尺寸，并不能明显地提高识别率，因为奇异值向量的识别特征是由前面几个较大的奇异值决定的。针对这个问题本论文所应用的具体的奇异值分解（svd）的方法为：对整幅图像进行奇异值分解，截取该向量的前10个较大的奇异值组成一个新的向量，作为该图像的整体特征向量；从而得到了该图像的一个奇异值向量，并以此做为该图像的全局特征向量。4 gabor特征与奇异值特征融合的实现4.1 图像融合的概念和意义 多传感器图像融合技术最早是被应用于遥感图像的分析和处理中22。1979年，daliy23等人首先把雷达图像和landsat-mss（multispectrai scanner即多谱扫描仪）图像的复合图像应用于地质解释，其处理过程可以看作是最简单的图像融合。1981年，laner23和todd23进行了landsat-rbv（return beam vidicon）和mss图像数据的融合实验。到80年代末，人们才开始将图像融合技术应用于一般图像处理（可见光图像、红外图像等）。90年代以后，图像融合技术的研究呈不断上升趋势，应用的领域也遍及图像处理、红外图像处理、医学图像处理等。尤其是近几年，多传感器（多源）图像融合技术已成为计算机视觉、自动目标识别、机器人、军事应用等领域的研究热点问题。在民用方面，多传感器图像融合已在遥感、智能机器人领域得到应用24。例如，美国于1997年在火星着陆的“火星探路者”机器人身上安装了5个激光束投影仪、两个ccd摄像机、多个关节传感器和加速度传感器。由于光从地球到火星的时间就达11分钟，所以在不少时间段内该机器人必须能够自主工作（无需来自地球的控制）。火星探路者是多传感器融合应用的典型例子。近年来已有多颗遥感雷达卫星jers-1，ers-1，radarsat等发射升空，在国民经济生活中起到了非常重要的作用。此外，多传感器图像融合技术在医学、制造业等方面也具有巨大的应用潜力。在制造业领域，图像融合技术可用于产品的检测、材料探伤、复杂设备诊断、制造过程监视、生产线上复杂设备和工件的安装等。在医学上，图像融合可通过ct和核磁共振（nmr）图像的融合帮助医生对疾病进行准确诊断，图像融合还可用于计算机辅助显微手术。在图像和信息加密方面，通过图像融合也可以实现数字图像的隐藏以及数字水印的图像植入。另外，图像融合也可用于交通管理和航空管制。国内众多的科研工作者以及科研机构都在军事、生物学、遥感、医学以及工业生产方面对图像融合进行了探索，但多数研究仍处于实验室阶段。其中涉及图像配准技术的研究，金字塔图像融合技术、小波变换图像融合技术、对比度调制技术、彩色空间变换融合技术以及整个融合系统的研究。随着神经网络和模糊理论的发展，也出现了采用自组织神经网络和模糊集理论进行图像融合的算法，但目前仍处于探索的初期，有待于进一步研究。总的看来，无论国内还是国外，都对图像融合技术的研究予以极大的兴趣。可以相信，随着对多传感器图像融合技术研究的不断深入，人们对图像融合技术会越来越关注，也就会有更多的专家学者加入图像融合研究的队伍，其技术将会有很大发展，而它的应用前景也会越来越广阔。图像融合是将相同目标源的多张图像融合成一张图像，它能提取比单一图像更多的信息。图像融合技术可以从多幅图像中提取单一图像更为准确可靠的信息，各幅单一图像提供的是被测对象各个侧面的信息，综合这些信息能获得被测对象全面的信息。另外，各幅图像中有用信息之间是相关的，而干扰不具有这种关联性，因此通过融合处理可以排除干扰。图像融合是指将多源信道所采集到的关于同一目标的图像或同一信道在不同时刻获得的同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成一幅图像以供观察或进一步处理的过程24。根据融合处理的数据类型和应用场合，图像融合系统可以分为以下三种形式25：（1）时间融合：指对来自同一传感器的、对同一目标或场景在不同时间的一系列图像进行融合处理。（2）空间融合：指在同一时刻，对来自多个相同（空间位置不同）或不同传感器的图像进行融合处理。（3）时空融合：指在一段时间内，对来自多个相同（空间位置不同）或不同传感器的图像进行融合处理。图像融合以图像作为研究和处理对象，它把对同一目标或场景用不同传感器所获得的图像，或同一传感器以不同方式所获得的多重图像根据需要通过融合规则合成为一幅图像，在这一幅图像中能反映多重原始图像中的信息，以达到对目标和场景的综合描述，以及精确的分析判断。有效地提高图像信息的利用率、系统对目标探测识别的可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类型传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，以增强影像中信息的透明度，改善解译的精度、可靠性以及使用率，以形成对目标清晰、完整、准确的信息描述。与采用单一传感器图像相比，来自多个传感器的图像所提供的信息具有冗余性和互补性，因而具有以下优点：（1）扩展了系统覆盖范围，能够更准确地获得被测对象或环境信息，并且具有比任何单一传感器获得的信息更高的精度与可靠性，提高了空间分辨率；（2）缩短了系统的响应时间，能以更少的时间，更少的代价获得与单一传感器系统相同的信息；（3）通过各传感器性能的互补，获得单一传感器所不能获得的独立的特征信息；（4）根据系统的先验知识，通过融合处理可以实现分类、识别、决策等单一传感器系统无法完成的任务；（5）提高了系统可靠性和鲁棒性，因为数据是从多个（种）传感器得到，系统的性能得到了提高，当一个或多个传感器失效或出错时，系统仍然能够继续工作，并自动降到较低级别上进行处理。图像融合关键的技术包括三个方面：图像配准、图像融合及处理以及图像的显示。（1）图像配准技术对于任何一种多传感器融合，数据的关联和配准都是融合的基础。对于具有不同分辨率、视场或更新率的图像，其配准是相对困难的。配准通常分为粗配准（宏配准）和细配准（微配准），粗配准是对于不同传感器的视场进行配准，细配准是在像素级基础上的配准。（2）图像融合及处理图像融合的核心内容是融合算法。目前，基于小波变换的算法己经成为研究的主流，但并不是唯一的方法，伴随着它发展的还有基于证据理论的图像融合方法、伪彩色融合方法、彩色空间变换法、对比度调制技术等。近年来，随着神经网络和模糊理论的发展，又出现了基于神经网络的图像融合技术以及基于模糊理论的图像融合技术等。（3）伪彩色显示技术通常融合后的图像采用灰度显示；把灰度图像中像素的灰度值与彩色空间中的各种颜色建立起一一对应的函数关系，将灰度图像转换到彩色空间。这样可以使某些细节更容易从背景中识别出来。图像融合的信息源可以是多种图像传感器的组合，基本上几乎所有的成像传感器都可以作为图像融合的信息源，所以图像融合技术获得了广泛的应用，其应用领域包括医学、遥感、夜视系统、目标识别和各类作战系统等。4.2 图像融合关键技术的发展随着科学的发展和技术的进步，采集图像数据的手段不断完善，出现了各种新的图像获取技术。但是，目前作为信息输出源的各种传感器的性能还不能完全满足人们的要求，这一方面是由于受到获取技术本身发展水平的限制，另一方面是因为任何一种获取技术都有一定的精度和适用范围且其信号都要受到周围环境的干扰。也就是说，一幅图像只能提供部分的、不完全精确的信息，因此不能排除对未知或部分未知环境描述的多义性。这就产生了如何从多幅图像中恢复原始图像的问题，即图像融合技术的问题。它的优越性非常明显，其作用类似于人脑在视觉产生过程中的作用，具有时空覆盖宽、目标分辨率高、重构性好、冗余性、互补性等突出的优越性2,26。从一般的角度出发，图像融合就是图像信息的综合处理过程，即将来自不同源、不同媒质、不同时间、不同表示方法的图像数据和图像信息按照一定的准则，结合知识库，分析、综合为一个全面的情报，最后得到对被感知图像的更为精确的描述，并在此基础上为用户提供需求信息，诸如决策、任务等。本质上来说它是一种数据综合和处理技术，其中涉及到模式识别、决策理论、估计理论、计算机科学、人工智能和神经网络、模糊数学等理论。高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高图像信息的利用率、系统对目标探测识别的可靠性及系统的自动化程度1,27。其目的是将单一传感器的多波段信息或不同类型传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，以增强影像中信息的透明度，改善解译的精度、可靠性以及使用率，以形成对目标清晰、完整、准确的信息描述。从融合算法角度来讲，融合算法经过了由简单的合成方法到基于bayesian优化方法的图像融合再到基于多分辨率分析的图像融合算法的过程28。（1）简单的图像融合这种融合方法实现起来非常容易，只需要对不同来源的图像进行加减、选取大值或小值、平均或者其他简单的线性、非线性合并运算。该方法直接在图像域上进行计算，对于某些情况下的应用已经足够，但融合效果很差，往往丢掉了源图像的重要细节特征，这是因为它没有对图像特征和视觉特性加以考虑，不能起到合并冗余信息，提取有用特征信息的作用。（2）基于bayesian优化方法的图像融合该方法把图像融合变为一个bayesian优化问题。使用图像数据和预先定义的融合结果的先验模型来优化一个能量函数。由于该问题不能普遍求解，就引入一些简化模型：所有的原图像都被视为马尔可夫随机场，并对该随机场定义一个能量函数。由于马尔可夫随机场与吉布斯随机场的等价性，能量函数可以被表示为所谓clique potential的总和。这样融合目标就是得到能够最大化该能量函数的图像。（3）基于多分辨率分析的图像融合在融合之前对图像进行多分辨率分析是由融合的特点和目标来决定的。从客观上来讲，因为图像特征是包含在不同尺度上的，不同分辨率的图像所突出表现的特征不一样。从主观上来讲，人的视觉系统对图像特征的理解也是分级的，在大尺度上，人眼对大的图像特征较敏感，在小尺度上，人眼对较小的图像特征敏感。正因为如此，要保留图像在各个尺度上的重要特征，就必须分别在不同尺度上对图像进行融合操作。人眼的分析功能能够集中在原图像上完成，正是由于人眼自身具有多分辨率分析的特点，能够根据需要自动调节观察尺度。图像的多分辨率分析正是对人眼的这一特点的模仿。由于图像多分辨率分析所具有的优点非常适合融合的特点，现有的融合方法多是在此基础上发展起来，如dolp（difference-of-low-pass）金字塔融合算法、rolp（ratio-of-low-pass）金字塔融合算法、moiphological金字塔融合算法和小波金字塔（特殊类型）融合算法。前面三个金字塔融合算法虽然相比较其他算法具有一定的优越性，在实际应用中也起到了重要作用，但是随着图像融合应用范围的不断扩大以及对融合图像要求的不断提高，前三个金字塔算法在实践中渐渐暴露出了一定的局限性：1）不同层次之间的数据是相关的，很难确定两层次之间的相似性是图像自身的特点还是来源于冗余性；2）金字塔算法不能保证不同层次之间的信息损失最小；3）金字塔的大小是源图像的4/3倍，增加了数据量；4）当不同源图像中存在明显差异时，融合图像会出现斑块效应；5）在重建图像时，有时出现不稳定性，尤其是对于特征显著性相似而对比度相反的图像之间的融合。4.3 最近邻分类规则特征提取以后采用最近邻分类器对提取的特征进行分类。最近邻分类器（nnc,nearest neighbour classifier）的分类规则就是将不同类的所有样本都作为代表点，通过与这些代表点的比较来确定待识别样本的所属类别，也就是将测试样本分到空间距离最小的训练样本所属的类别3,29。最近邻分类器是以所有训练样本作为参考点，这类分类器以对样本数据的参考点描述为基础。在分类时需要计算待识别样本到所有训练样本的距离（欧氏距离），结果就是与最近的训练样本所属于的类别29。最近邻法的推广是，即分类时按递增选出的个最近邻，看这个近邻中的多数属于哪一类，就把分到哪一类。具体说就是在个已知样本中，找出的近邻。由于实现简单，常常被用来与其他分类器进行比较，以评价其他分类器的性能。但是这种近邻法，每次识别时都要计算待识别样本与全部训练样本之间的距离并进行比较，因此需要很大的计算量30。最近邻分类规则是模式识别非参数法中一个重要的方法，该方法简单的说就是比较未知样本和所有已知类别样本之间的欧式距离，未知样本与离它最近的样本属于同类31，32。用数学语言描述为：设有个已知的模式类别，表示第类的训练样本数，训练样本图像的投影特征向量，第类投影特征向量的均值为，在投影空间内，最近邻分类规则是：若样本满足，则。4.4 实验结果及分析本论文主要是利用串行融合算法32,33对图像的gabor特征与奇异值特征融合进行融合。具体算法描述为：假设该图像的局部特征向量表示为：，全局特征向量表示为：，则利用串行融合算法进行融合后的特征向量表示为：。为了消除奇异值和gabor幅值在数值和量纲上的非均衡性带来的不利影响，在融合前，可先对两组特征奇异值和gabor幅值做如下标准化处理34,35： （4.1） （4.2）其中，分别为奇异值和gabor幅值的均值，分别为奇异值和gabor幅值的标准差。本论文采用了标准的orl人脸库。在orl人脸库中，有400幅分辨率为92*112，具有不同表情、不同姿势、稍许倾斜（不超过20 度）、稍许遮掩（眼镜）以及不同光照的人脸，具体为40个人，每人有10幅不同的人脸图片。本次实验中，我们从这个数据库中选择了同一个人的5幅图像做为训练图像和剩余5幅图像做为测试图像。因此用200幅图像做为训练图像集，将剩余的200幅图像做为测试图像集（训练图象集和测试图像集没有重叠）。为了对比实验结果，本论文同时测试了单独提取人脸图像的奇异值特征的识别率，以及单独提取人脸图像的gabor特征的识别率。利用串行融合进行特征融合的基本步骤如下：（1）单独提取人脸图像的奇异值特征进行人脸识别单独提取人脸图像的奇异值特征进行人脸识别，其识别率如图4.1所示：图4.1 提取人脸图像的奇异值特征进行人脸识别的识别率由图表4.1可知，当采样点的个数为10个的时，识别率为74.67%，优于其他采用方法的识别率。（2）单独提取人脸图像的gabor特征进行人脸识别单独提取人脸图像的gabor特征进行人脸识别，其识别率如图4.2所示：图4.2 提取人脸图像的gabor特征进行人脸识别的识别率由图表4.2可知，当采样点的个数为40*30的时识别率为98.67%，较其它的采样方法的识别率高。（3）利用串行融合算法进行人脸识别 由以上两个实验我们可以得到，当采样点的个数为：奇异值的前10个时识别率较高；当gabor特征为40*30时识别率较高，因此我们采用提取奇异值的前10个特征值与采用40*30的gabor滤波器得到的gabor特征进行特征融合。利用串行融合算法融合进行人脸识别的识别率如表4.3所示：表4.3 利用串行融合算法融合进行人脸识别的识别率算法识别率（%）提取人脸图像的奇异值特征 74.67%提取人脸图像的gabor特征 98.67%特征融合 100%由以上表格可知，采用特征融合算法所获得的识别率要优于单纯的提取奇异值或者gabor特征的识别率，且本论文所采用的特征融合算法的识别率要优于其他的特征融合算法。其原因可归结为：图像的奇异值特征是人脸图像在不同子空间上的表征，仅仅采用奇异值特征进行识别的方法则完全损失了包含在两个正交矩阵中的更为重要的有用信息；仅仅利用gabor特征进行人脸识别时，虽然能够保证原有图像信息被有效保存，但并不一定有利于识别的进行；而本论文采用的特征融合算法在进行人脸识别时，既解决了仅仅采用奇异值特征进行识别时完全损失的包含在两个正交矩阵中的更为重要的有用信息的问题，又有利于识别的进行，因此可以获得更好的识别效果。结 论基于生物特征的识别技术是一门利用人类特有的个体特征来证实个人身份的科学，它提供了一种基于惟一的、高可靠性和稳定的人体生物特征的新的身份鉴别途径，是身份识别的一种最安全的方式。人脸识别技术是生物特征识别技术的一种杰出代表