基于子图分割的.doc

基于子图分割的人脸特征提取算法性能比较研究摘 要人脸识别技术是国内外共同关注的一个前沿课题，在现代经济和社会的发展中有着十分广泛的应用领域和应用前景，如安全系统、罪犯识别、电视会议等，人脸识别技术也是当前模式识别和人工智能领域的研究热点之一。本文分析了人脸识别技术的研究现状，结合已有的研究基础提出了基于变异系数的人脸特征提取算法和基于奇异值分解的人脸特征提取算法，并结合子图分割思想和神经网络技术对算法进行了评价。在基于变异系数的算法中，选择合适的变异系数代表原图的特征减少了图像信息的冗余。进一步研究表明去除包含信息量少的子图能在一定程度上提高识别率并节约计算资源。在基于奇异值分解的算法中，将图像变换后的奇异值作为特征，这具有一些良好的性质，如稳定性、比例不变性和旋转不变性。和一些人脸识别方法相比，本文提出的两种人脸识别算法具有较好的性能，基于ORL人脸库的性能模拟实验表明，算法具有较高识别率。此外，本文在VC+ 6.0环境下，作者依据前期研究成果并结合图像处理和模式识别的基本原理开发了一个静态人脸图像识别演示系统。该系统能有效快捷的进行人脸识别。关键词：人脸识别，子图分割，变异系数，奇异值分解，反向传播神经网络Comparison Research on Performance of Face Feature Extraction Algorithms Based on Sub-image SegmentationAbstractFace recognition technology is front-line task in pattern recognition domain, which can be used in all kinds of fields, such as security systems, criminal identifications, teleconferences and entertainment. Face recognition is also one of hot spots in pattern recognition and artificial intelligence.This thesis analyzes the actuality of automated face recognition. Combined with the previous research, two face feature extraction algorithms (coefficients of variances (CV) and singular value decomposition (SVM) are proposed. Based on sub-image dividing idea and back-propagation neural networks, the performances of these algorithms are evaluated. In the face feature extraction algorithms based on CV, suitable coefficients are selected to denote images, which can reduce image information redundancy. The further research shows that the recognition rate can be improved and the computing recourse can be cut down if the sub-image including little information is removed. In the face feature extraction algorithms based on SVD, singular values of image have some good characteristics, such as stability, scale fixity and angle fixity. Compared with some algorithms, the proposed algorithms performances are higher. Based on ORL database, experiments results show that our algorithms have high recognition rate. Otherwise, a static face picture recognition system is developed based on the previous research. The system is realized by using VC+ 6.0 and theories of image proceeding and pattern reorganization. The system can recognize face image effectively and easily.Key Words: face recognition, sub-image segmentation, coefficients of variances, singular value decomposition, back-propagation neural networks目 录摘 要.IABSTRACT.II1. 绪论 111 课题研究背景 112 课题研究内容 213 论文组织结构 32. 人脸识别综述 421 特征提取算法 4211 基于几何特征的方法 4212 基于模型的方法 5213 基于统计的方法 5214 弹性图匹配方法 622 基于三维数据的人脸识别的方法 7221 基于曲率的方法 7222 基于模型合成的方法 723 分类算法 7231 基于神经网络的方法 7232 多分类器集成方法 824 总结 83. 神经网络概述 1031 人工神经网络概述 1032 神经元模型 1033 BP神经网络分类器 11331 BP神经网络模型 11332 BP网络学习算法 124. 基于子图分割的人脸特征提取算法与人脸识别系统 1541 子图分割思想 1542子图分割与变异系数相结合的人脸特征提取算法 15421变异系数的传统意义及其在图像处理中的应用 15422变异系数的几何意义及其在图像处理中的应用 16423变异系数的选取 1843 子图分割与奇异值分解相结合的人脸特征提取算法 20431 奇异值的代数特性及其在图像处理中的应用 20432 奇异值的降维压缩 21433 奇异值的选取 2244 系统框架 23441 图像预处理 23442 特征提取算法中系数选取的方案 24443 BP神经网络的结构设计 255. 性能分析 2751 人脸数据库 2752 实验结果 286. 静态人脸图像识别演示系统 3561 系统简介 3562 系统的基本技术要求 3563 系统中的关键技术 3564 系统的软硬件平台 3565 系统实现 36651 系统流程图 36652 系统总体编程框架 36653 程序使用说明 387. 总结 43致 谢 44参考文献 45附录 攻读学位期间的研究成果 47 1. 绪论11 课题研究背景人脸识别技术作为多学科领域的、具有挑战性的难题，它覆盖了数字图像处理、模式识别、计算机视觉、神经网络、心理学、生理学、数学等诸多学科的内容。同时人脸识别也具有十分广泛的应用意义。在国家安全方面，人脸识别技术可以应用于对罪犯、恐怖分子的追踪识别，对犯罪高发地区的监视或重大嫌疑犯重点地区的布控系统，机场安检口身份证检查及结合犯罪嫌疑人识别系统的安检口控制系统；在军事方面，人脸识别技术可以应用于数字化士兵的交互通讯，从而进行敌我识别，信息提取等；在公众安全方面，人脸识别技术应用于智能视频监控、电脑网络安全、访问控制、司机驾照验证、自动门卫系统，也可以应用于各类银行卡、金融卡、信用卡的持卡人的身份验证；在人机交互方面，计算机可以通过人脸识别确定目前是谁在它的视野当中，根据不同人的身份提供不同的服务；在家庭娱乐等方面，通过人脸识别，可以实现能够识别主人身份的智能玩具和机器人，具有真实人脸的虚拟游戏玩家等1,2。在六十年代初期，人脸识别就引起了研究者的强烈兴趣。最近几年来，人脸识别研究越来越受到学术和商业界的关注，人脸识别的输入图像通常有三类情况：正面、侧面、倾斜。目前，对正面人脸识别最多，它的发展主要分为三个阶段：第一阶段以Bertillon，Allen和Parke为代表，主要研究人脸识别所需要的面部特征。在Bertillon系统中，采用一个简单语句与数据库中的一张人脸建立联系，取得了较好的识别效果。Allen为待识别的人脸设计了一个有效特征，从而提高了人脸的识别率。Parke把它用计算机实现，并产生了较高质量的人脸灰度图模型。这一阶段的特点是识别过程几乎完全依赖于操作人员3,4,5。第二阶段是人机交互识别阶段。Goldstion等人用几何特征参数来表示人脸正面图像，采用21维特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统。Kaya和Kobayashi采用统计识别的方法，用欧氏距离来表征人脸特征。总的来说，这类方法需要利用操作员的某些先验知识，还是摆脱不了人的干预。第三阶段可以说是真正的人脸识别阶段，近几年来，随着高性能计算机的发展，人脸识别的方法有了较大的突破，目前已经提出了多种机器全自动识别系统。国内关于人脸自动识别的研究始于80年代，我国许多高校、研究机构在图像处理和模式识别领域有很好的研究基础，积极开展了对包括人脸识别在内的基于人体生物特征识别技术的基础研究和应用开发工作。本文相信在不久的将来，这一研究领域的研究和产品开发工作将处于世界的前列。总之，人脸识别技术有着非常广阔的应用前景，自动的人脸识别系统在各种不同的领域中的应用必将对人们的生活产生深远的影响6,7。12 课题研究内容人脸识别技术就是利用计算机分析人脸图像，进而从中提取出有效的识别信息，用来“辨认”身份的一门技术。从广义上来讲，人脸识别大致包括以下五个方面的内容3：(1)人脸的定位与检测：即从静态图片或者视频序列中是否检测出人脸的存在并且确定其位置，最后分离出来。然而，人脸是一个极为复杂的、多维的、典型的非刚性模式，其中蕴含的信息也远远多于人身体的其他部位。因此，要对人脸做出准确的检测与定位，将是一个非常具有挑战性的任务。首先，人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的喜怒哀乐表情，以及局部特征如眼睛、嘴的开和闭等。其次，人脸还受到光照和复杂的背景的影响。人脸定位检测是人脸识别的前期工作，所以人脸检测与定位是人脸识别过程的一个重要环节。(2)人脸的表征：确定表示检测出的人脸和数据库中的已知人脸的描述方式。通常表示的方法包括几何特征(如欧式距离、曲率、角度)、代数特征(矩阵特征向量)、固定特征模板、特征脸等。人脸图像信息数据量巨大，为了提高检测和识别的运算速度，提高图像传输和匹配检索速度，必须对图像进行数据压缩，降低向量维数，即用尽可能少的数据表示尽可能多的信息。人脸表征在提取人脸特征的同时，也实现了对原始图像的数据降维。(3)人脸识别：就是将待识别的人脸与数据库中的己知人脸进行比较，得出相关信息。这一过程的核心是选择适当的人脸表示方式和匹配策略。目前国内外研究人脸识别的方法层出不穷，根据人脸表征方式的不同常用的方法总体可以分为：基于几何特征的识别方法、基于统计特征的识别方法和基于连接机制的识别方法。基于几何特征的方法是通过人脸面部拓扑结构几何关系的先验知识，利用基于结构的方法提取人脸面部主要器官特征，将人脸用一组几何特征矢量表示。统计特征的识别方法将人脸用代数特征矢量来表示。代数特征有图像本身的灰度分布决定，它描述了图像的内在信息。这种识别方法通过对图像灰度进行各种代数变换和矩阵分解，从整体上捕捉和描述人脸的特征。连接机制的识别方法主要有弹性图匹配方法，这类方法采用属性拓扑图代表人脸，它对光线、尺寸、角度具有一定的不变性，并能在一定程度上容忍表情和视角的变化。(4)表情/姿态分析：即对待识别人脸的表情或姿态信息进行分析，并对其加以归类。(5)生理分类：即对待识别人脸的生理特征进行分析，得出其年龄、性别等相关信息，或者从几幅相关的图像推导出希望得到的人脸图像，如从父母图像推导出孩子的脸部图像、基于年龄增长的人脸图像估算等。13 论文组织结构本文的组织安排如下：第一章 绪论 讨论课题研究的背景历史和研究内容。第二章 人脸识别综述 主要介绍目前常用的人脸识别方法，按照识别特征的不同进行了分类综述，讨论各种方法的关键技术和优缺点。第三章 神经网络概述 阐述神经网络的基本理论和BP算法，讨论将反向传播神经网络应用于模式识别的理论。第四章 基于子图分割的人脸识别系统 详细介绍子图分割思想和本文提出的基于变异系数和奇异值分解的人脸识别方法，并介绍了人脸识别系统的整体结构和程序的运行流程。第五章 性能分析 融合子图分割思想和人工神经网技术分别对两个算法进行了模拟实验，给出实验结果及针对实验结果展开分析，根据分析结果对两种算法的性能进行评价，第六章 静态人脸图像识别演示系统 简要介绍了作者基于VC+开发的静态人脸图像识别系统的设计与实现。2. 人脸识别综述21 特征提取算法211 基于几何特征的方法基于几何特征的方法是早期的人脸识别方法之一8。常采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征。脸型特征以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的几何关系。识别所采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，本质上是特征矢量之间的匹配，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等。文献中记载最早的人脸识别方法就是Bledsoe提出的基于几何特征的方法，该方法以面部特征点之间的距离和比率作为特征，通过最近邻方法来识别人脸。以该方法建立的人脸识别系统是一个半自动系统，面部特征点必须由人手工定位。也正是由于人工的参与，该系统对光照变化和姿态变化不敏感。Kanade首先计算眼角、鼻子、嘴巴、下巴等面部特征之间的距离和它们之间的角度以及其它几何关系，然后通过这些几何关系进行人脸的识别工作。在一个20人的数据库上识别率为45%-75%。Brunelli和Poggio9通过计算鼻子的宽度和长度、嘴巴位置和下巴形状等进行识别，在一个47人的人脸库上的识别率为90%。然而，简单模板匹配方法在同一人脸库上的识别率为100。侧影(Profile)识别10也是早期基于几何特征人脸识别的一个重要方法，其基本原理是从人脸的侧影轮廓线上提取特征点，将侧影转化为轮廓曲线，从中提取基准点。根据这些点之间的几何特征来进行识别。由于侧影识别相对较简单且应用面小，对侧影识别的研究较少。基于几何特征的方法非常直观。识别速度快，内存要求较少，提取的特征在一定程度上对光照变化不太敏感。但是，当人脸具有一定的表情或者姿态变化时，特征提取不精确，而且由于忽略了整个图像的很多细节信息，识别率较低，所以近年来已经很少有新的发展。212 基于模型的方法隐马尔可夫模型(Hidden Markov Model, HMM)是一种常用模型，基于HMM的方法首先被用于声音识别等身份识别上，之后被Nefian和Hayes引入到人脸识别领域11。它是用于描述信号统计特性的一组统计模型。HMM方法的鲁棒性较好，对表情、姿态变化不太敏感，识别率高。主动形状模型(Active Shape Model，ASM)方法由Cootes等人提出12，Cootes对形状和局部灰度表象建模，用建立的ASM在新的图像中定位易变的物体。后来，Lanitis等将其应用于解释人脸图像，在使用ASM找出人脸的形状后，将人脸切割并归一到统一的框架，对这个与形状无关的人脸采用亮度模型来进行解释和识别。主动表象模型(Active Appearance Model，AAM)可以看成是对ASM 的进一步扩展13,14，是一种通用的非线性图像编码模式，通过变形处理将通用人脸模型与输入图像进行匹配，并将控制参数作为分类的特征向量。213 基于统计的方法基于统计的方法将人脸图像视为随机向量，从而用一些统计方法来分析人脸模式，这类方法有完备的统计学理论支持，已经有一些较成功的算法。特征脸(Eigenface)方法由Turk和Pentland提出。对于每一幅人脸图像，按照从上到下、从左到右的顺序将所有像素的灰度值串成一个高维向量，然后通过主成分分析(Principal Component Analy-sis，PCA)将高维向量降低维数。结合PCA的特征脸方法计算量低，使用方便，效果良好。但是它对于外界因素所带来的图像差异和人脸自身所造成的差异是不加区分的，因此外界因素(例如光照、姿态)变化会引起识别率的降低。Moghaddam等人提出了贝叶斯人脸识别方法是一种基于概率的图像相似度度量方法，将人脸图像之间的差异分为类间差异和类内差异，其中类间差异表示不同对象之间的本质差异，类内差异为同一对象的不同图像之间的差异，而实际人脸图像之间的差异为两者之和。如果类内差异大于类间差异，则认为两幅人脸图像属于同一对象的可能性大。进而提出了类间差异和类内差异度量的概率模型和计算方法。奇异值分解(Singular Value Decomposition，SVD) 15是一种有效的代数特征提取方法。奇异值特征具有良好的稳定性、转置不变性、旋转不变性、位移不变性以及镜像变换不变性等重要性质，因此奇异值分解技术也被应用到人脸识别领域。214 弹性图匹配方法弹性匹配法是一种基于动态链接结构的方法。该方法在二维空间中定义了一种对通常人脸变形具有一定不变性的距离。采用属性拓扑图代表人脸（图2.1），拓扑图的任一顶点包含一特征向量，用来记录人脸在该顶点位置附近的信息。弹性匹配法对光线、尺寸、角度具有一定的不变性，并能在一定程度上容忍表情和视角的变化。该方法采用网格作为模板，将图像之间的比较变为网格之间的比较，在二维空间中为人脸建立属性拓扑图。如图2.1把拓扑图放置在人脸上，每一节点包含一特征向量，它记录了人脸在该顶点附近的分布信息，节点间的拓扑连接关系用几何距离来标记，从而构成基于二维拓扑图的人脸描述。再应用弹性图形匹配技术将库中人脸和待识别的人脸的弹性图进行匹配，找出最相似的人脸图像。实验表明，弹性图匹配方法识别性能优于特征脸方法，但是计算量和存贮量都比较大，识别的速度慢。 图2.1 人脸识别的弹性匹配方法22 基于三维数据的人脸识别的方法基于三维数据的人脸识别方法特点是使用三维数据，为人脸识别展开了新的思路，但其信息来源困难，数据存储和计算量巨大。常用方法如下：221 基于曲率的方法由于曲率是表达曲面最自然也是最基本的局部特征。因此人脸曲面的曲率最早被用来处理3D人脸识别问题 Lee用平均曲率和高斯曲率值将人脸深度图上的凸区域从整个人脸分割出来。Tanaka还利用两个主曲率的方向。将人脸识别看作一个刚性的自由曲面的3D形状识别问题222 基于模型合成的方法这类方法的基本思想是：对输入的二维图像。用某种技术恢复或部分恢复人脸的三维信息。然后重新合成正面或指定姿态的、光照条件较好或指定光照条件的脸部图像。这类方法的典型代表是基于形状恢复的3D增强人脸识别算法和3D可变形模型。前者利用一个通用的3D人脸模型合成新视图的脸部图像，合成过程部分改变姿态和光源情况。后者首先通过200个的高精度3D人脸模型，训练建立一个可变形的3D人脸模型，对给定的脸部图像，用这个模型进行拟合，获得一组特定参数，然后合成任何姿态和光照条件的人脸图像。23 分类算法231 基于神经网络的方法神经网络在人脸识别领域有很长的应用历史，1994年就出现了神经网络用于人脸处理的综述性文章。动态链接结构(Dynamic Link Arehitecture，DLA)是用于人脸识别较有影响的神经网络方法16。DLA试图解决传统的神经网络中一些概念性问题，其中最突出的是网络中语法关系的表达。Lawrence和Giles等人17采用将自组织映射神经网络(SOM)与卷积神经网络相结合的混合神经网络方法进行人脸识别。SOM实现对图像的采样向量降维，且对图像样本的小幅度变形不敏感；卷积网络用来实现相邻像素间的相关性知识，在一定程度对图象的平移、旋转、尺度和局部变形不敏感。用于人脸识别的神经网络还有：MLP的一种变形时滞神经网络(Time Delay Neural Net-works，TDNN)、径向基函数网络(Radial Basis Function Network，RBFN)18。Ricanek等人19采用的Hopfield网络，能有效地实现低分辨率人脸的联想和识别。神经网络方法较其他人脸识别方法有着独特优势，通过对神经网络的训练可以获得其他方法难以实现的关于人脸图像的规则和特征的隐性表示，避免了复杂的特征抽取工作，并有利于硬件实现。缺点主要在于其方法的可解释性较弱，且要求多张人脸图像作为训练集，只适合于小型人脸库。232 多分类器集成方法将多个学习系统(例如分类器)组合是目前机器学习的热门课题之一，这种技术已经被广泛运用到模式识别之中。当前人脸识别方法都只能在特定约束条件下取得较好的性能，然而在现实应用中，人脸的表象会因为光照方向、姿态、表情变化而产生较大的变化，每种特定的识别器只对其中一部分变化比较敏感，因此，将可以整合互补信息的多个分类器集成能够提高整个系统的分类准确率。Gutta等人20提出将集成的RBF与决策树(Decision Tree)结合起来进行人脸识别。结合了全局的模板匹配和离散特征的优点，在一个350人的人脸库上测试，取得了较好的实验结果。Huang等人在多特征脸空间的基础上，采用神经网络集成(Neural Network Ensemble)的方法，实现了对多视角人脸的识别。首先将人脸深度方向的偏转角度人为的分为几组(多个视角)，然后为每个视角训练一个神经网络，最后对所有视角对应的多个神经网络的输出进行集成。实验表明，该方法不必预先估计偏转角度就可以取得较好的识别性能，而且能实现人脸偏转角度的自动断。24 总结人脸自动识别技术已取得了巨大的成就，随着科技的发展，在实际应用中仍然面临困难，不仅要达到准确、快速的检测并分割出人脸部分，而且要有效的变化补偿、特征描述、准确的分类的效果，还需要注重和提高以下几个方面：(1) 人脸的局部和整体信息的相互结合能有效地描述人