基于局部模式的人脸识别方法研究.doc

图书分类号：tp391.4u.d.c.: 681.39工学硕士学位论文基于局部模式的人脸识别方法研究硕士 研究生： 孟昕导 师： 高文教授申 请 学 位： 工学硕士学 科 、 专 业： 计算机科学与技术所 在 单 位： 计算机科学与技术学院答 辩 日 期： 2006 年 6 月授予学位单位： 哈尔滨工业大学classified index：tp391.4u.d.c.: 681.39dissertation for the master degree in engineeringlocal pattern for facerecognitioncandidate：supervisor：academic degree applied for：specialty：affiliation：date of oral examination：university：meng xinprof. gao wenmaster of engineeringcomputer science and technologycomputer science and technologyjune, 2006harbin institute of technology哈尔滨工业大学工学硕士学位论文摘要人脸识别具有重要的理论价值和广泛的应用前景。尽管近年来人脸识别技术取得了长足的进步，但现有算法的性能尚不能满足各种应用的实际需求。从某种意义上讲，人脸识别问题的核心是人脸建模问题，而近年来，基于人类视觉感知机理的产生式模型在视觉领域受到了广泛关注，尤其是基于局部建模的方法更取得了较大的成功。本文在分析现有的产生式方法的基础上，对基于局部建模的人脸识别方法进行研究，取得了以下研究结果：(1) 提出了一种基于稠密局部匹配（densely local matching，简写为dlm）的人脸识别方法。该方法通过对原始人脸图像进行稠密重采样，得到反映不同局部区域特征的子图像，并最终通过融合局部子图像匹配结果来得到最终的图像匹配相似度。本文对不同的图像分块策略（稠密和稀疏、分块大小等）以及融合策略（全部融合和部分融合）进行了实验分析，实验结果表明融合部分稠密采样的局部匹配方法可以取得更好的性能。(2) 提出了一种基于局部视觉基元（ local visual primitives，简写为lvp）的产生式模型，并用于人脸重建和识别中。该方法通过对密集采样的局部图像模式进行聚类来获得能够反映人脸局部变化模式的视觉基元，这些基元在视觉效果上与图像微视觉结构非常吻合，可以用于组合高层的语义特征（如眼睛，鼻子，嘴等），实验结果表明使用数百个lvps就可以很好的重建高维灰度人脸图像（原始维数为56x63）。此外，本文还提出了基于lvp的人脸识别方法，该方法通过对图像的lvp索引建立空间直方图模型，并采用直方图交计算相似度来实现人脸识别。在 feret人脸库上的实验结果表明，该方法具有较好的识别性能。上述初步研究结果表明，即使采用较为简单的分类识别策略，基于局部模型的方法仍能取得良好的识别性能。我们相信通过将局部模型与性能更优的判别分析技术、统计学习方法结合，有望取得更好的识别性能。关键词人脸识别；产生式模型；局部视觉基元；局部匹配-i-哈尔滨工业大学工学硕士学位论文abstractface recognition possesses crucial theoretical value as well as broadapplication prospects. though the techniques of face recognition have made greatprogresses, the performance of the existing algorithms cannot meet the actualrequirements of various applications. in some sense, the face-modeling problemlies in the key point of the problem of face recognition. in recent years,generative models based on human visual mechanism, especially the localmodeling method, have obtained increasing attention in the domain of vision.based on the analysis of those existing generative models, this paper conductsresearch on the local modeling based face recognition method, and obtains thefollowing results:(1) proposes a densely local matching (dlm) based face recognitionmethod, in which by densely sampling original images we can get several subimages, which reflect features of different local regions, and obtained the finalmatching similarity through syncretizing the results of local subimage matchingsimilarity. besides that, this paper makes a lot of experimental analysis ofvarying image-dividing strategy (densely, sparsely, and different size of subblocks etc.), and syncretizing strategies (entirely syncretize and partialsyncretize). the experimental results indicate that the local matching method ofpartial syncretizing the similarities of densely sampling sub blocks can get betterperformance.(2) proposes generative model based on local visual primitives (lvp) forface modeling and classification. the lvps, as the pattern of local face region,are learnt by clustering a great number of local patches. visually, these lvpscorrespond to intuitive low-level micro visual structures very well, and they areexpected to constitute those high-level semantic features, such as eyes, nose andmouth. we show that only by hundreds of these lvps can we reconstruct thehigh-dimensional face images (original dimension is 56x63) very effectively.furthermore, this paper processes a lvp based face recognition method, in whichspacial histograms is constructed by certain lvps indexes of images, and thenhistogram intersection is applied to implement the face recognition. primary- ii -哈尔滨工业大学工学硕士学位论文experiments on feret face database have shown that the lvp method canachieve encouraging recognition rate.the above primary experimental results indicate that even when adoptingrelatively simple classification strategy, local modeling based method can stillacquire good recognition performance. we believe that better performance wouldbe obtained by connecting local modeling with better discriminative analysistechnique and statistical leaning methods.keywordsface recognition; generative model; local visual primitive; localmatch- iii -哈尔滨工业大学工学硕士学位论文目录摘要 .iabstract . ii第 1 章 绪论 . 11.1 人脸识别技术研究现状 . 11.1.1 研究意义 . 11.1.2 研究内容 . 11.2 相关背景理论知识 . 21.2.1 计算机视觉理论基本概念 . 21.2.2 marr 视觉理论 . 41.2.3 基于推理的视觉理论 . 51.3 国内外研究现状 . 61.4 本文主要内容 . 6第 2 章 产生式模型概要 . 82.1 产生式模型概要 . 82.1.1 产生式模型及判别式模型定义 . 82.1.2 产生式模型特点 . 92.2 典型产生式模型算法 . 102.2.1 特征脸 (eigen face) . 102.2.2 主动形状模型(active shape models). 102.2.3 主动表观模型(active appearance models) . 112.2.4 3d可变形模板（3d morphable model） . 112.2.5 gabor小波网（gabor wavelet networks） . 112.2.6 高分辨率文法模型（high resolution grammatical model） . 122.3 本章小结 . 13第 3 章 基于稠密局部匹配的人脸识别方法 . 153.1 引言 . 153.2 基于稠密局部匹配的人脸识别算法 . 173.3 实验与分析 . 183.3.1 阈值选取 . 183.3.2 采样方法对识别性能的影响 . 20- iv -哈尔滨工业大学工学硕士学位论文3.3.3 子块大小对识别性能的影响 . 213.4 本章小结 . 24第 4 章 基于局部视觉基元的人脸重建及识别 . 264.1 局部视觉基元定义 . 264.2 建立基元词典库 . 274.3 基于局部视觉基元的人脸重建 . 284.3.1 基本思路 . 284.3.2 人脸重建算法描述 . 294.3.3 重叠部分的加权策略 . 304.3.4 实验人脸数据库 . 314.3.5 人脸重建实验结果 . 324.3.6 扩展实验 . 344.4 基于局部视觉基元的人脸识别算法 . 344.4.1 人脸模板的提取 . 354.4.2 模板匹配 . 364.5 实验设计及结果分析 . 364.6 识别算法的扩展 . 374.6.1 权值训练算法 . 374.6.2 比较实验结果 . 384.7 本章小结 . 39结论 . 42参考文献 . 44攻读学位期间发表的学术论文 . 48哈尔滨工业大学硕士学位论文原创性声明 . 49致谢 . 50-v-哈尔滨工业大学工学硕士学位论文第1章 绪论1.1 人脸识别技术研究现状1.1.1 研究意义自动人脸识别（afr）研究试图赋予计算机根据面孔辨别人物身份的能力。该研究具有重要的科学意义和巨大的应用价值。从学科建设与发展的角度看，afr 作为一个科学问题，是一个典型的图像模式分析、理解与分类计算问题，涉及模式识别，计算机视觉，智能人机交互，图形学，认知科学等多个学科。同时，作为生物特征识别关键技术之一的 afr 技术具有广泛的应用前景，在国家安全、军事安全和公共安全领域，智能门禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等是典型的应用；在民事和经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险人的身份验证等具有重要的应用价值；在家庭娱乐等领域，人脸识别也具有一些有趣有益的应用，比如能够识别主人身份的智能玩具、家政机器人，具有真实面像的虚拟游戏玩家等等。人们已经对其研究了 30 多年。其中恰当的能够反映出人脸本质属性的人脸表示对于这些相关的任务都起着至关重要的作用。1.1.2 研究内容人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人脸，如果存在人脸，则进一步的给出每个人脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴含的身份特征，并将其与已知人脸库中的人脸进行对比，从而识别每个人脸的身份。人脸识别的过程可以分为以下三个部分：1) 人脸检测：判断输入图像中是否存在人脸，如果有，给出每个人脸的位置，大小；2) 面部特征定位：对找到的每个人脸，检测其主要器官的位置和形状等信息；3) 人脸比对：根据面部特征定位的结果，与库中人脸对比，判断该人脸-1-哈尔滨工业大学工学硕士学位论文的身份信息。从应用的角度，人脸识别包括两大类：1) 人脸身份识别：即根据人脸图像识别出人物的身份，解决是谁的问题；2) 人脸身份确认/验证：判断图像中的人脸是否是指定的人，即解决是不是某人的问题。一个典型的人脸识别系统框架如图 1-1 所示。图 1-1 人脸识别系统工作框架图figure 1-1 flow chart of face recognition system1.2 相关背景理论知识1.2.1 计算机视觉理论基本概念计算机视觉就是用各种成像系统代替视觉器官作为视觉信息输入手段，由计算机来代替大脑完成处理和解释，并根据解释结果做出相应的决策。计算机视觉的最终研究目标就是使计算机能像人那样通过对视觉信息的处理来观察和-2-哈尔滨工业大学工学硕士学位论文理解世界，具有自主适应环境的能力12。人类的视觉系统是功能最强大和完善的视觉系统，但人们并不能描述和解释自身的视觉系统是如何对信息进行处理的，因此通过对计算机视觉的研究、模拟，人们有可能逐步地揭开人类视觉的信息处理机制，从而了解人类的思维机制、推理机制等。因此，用计算机信息处理的方法研究人类视觉的机理，建立人类视觉的计算理论，也是一个非常重要和有趣的研究领域。同样地，通过其他途径，如神经解剖学、心理学等方面对人类视觉的研究，也会给计算机视觉的研究提供启发和指导，两者有相互促进作用 3。除了神经解剖学、心理学，对计算机视觉的研究还要借助其它学科的知识，如图像处理、模式识别(图像识别)、图像理解(景物分析) 、图像生成等。1 图像处理图像处理技术把输入图像转换成具有所希望特性的另一幅图像。例如，可通过处理使输出图像平滑、或有较高的信-噪比，同时还可通过增强处理来突出图像的细节，以便于对图像特征的检验。在计算机视觉研究中经常需要利用图像处理技术进行预处理和特征抽取，如各种数学变换技术等2 模式识别（图像识别）模式识别技术根据从图像抽取的统计特性或结构信息，把图像分成预定的类别。例如，人脸识别、文字识别或指纹识别等。在计算机视觉中模式识别技术经常用于对图像中的某些部分进行处理，例如分割区域的识别和分类。3 图像理解（景物分析）给定一幅图像，图像理解程序不仅描述图像本身，而且描述和解释图像所代表的景物，以便对图像代表的内容做出决定。在人工智能视觉研究的初期经常使用景物分析这个术语，以强调二维图像与三维景物之间的区别。图像理解除了需要复杂的图像处理技术外还需要具有关于景物成像的物理规律的知识以及与景物内容有关的知识。4 图像生成根据图像的特性如对称性、纹理渐变性以及图像目标的动力学知识以及其它的先验知识，可以生成一副图像，或者当图像信息存在部分缺失时，能够将缺失的那一部分信息补上，从而得到完整的图像信息。例如，对于二维图像，通过图像生成技术能够得到其三维结构信息，这一点如应用在模式识别研究中，能够大大地提高识别系统的鲁棒性。-3-哈尔滨工业大学工学硕士学位论文1.2.2 marr 视觉理论marr 的视觉计算理论4立足于计算机科学，系统地概括了心理物理学、神经生理学、临床神经病理学等方面已取得的所有重要成果，是迄今为止最系统的视觉理论。marr 的理论的出现对神经科学的发展和人工智能的研究产生了深远的影响。marr 认为视觉是一个信息处理过程，这个过程根据外部世界的图像产生对观察者有用的描述，而且这个处理过程是有层次的。整个处理过程如图1-2示：模型3d 表示2.5d 简图场景图1-2 marr 视觉信息表示过程figure 1-2 the process of representing marrs visual information低层视觉（即视觉处理的第一阶段）的目的就是要确定图像信息的变化是由哪些因素引起的。这个过程要经过两个步骤来完成：第一步是获得表示图像中的变化和结构的表象。这包括检测灰度的变化，表示和分析局部的几何结构，以及检测照明的效应等处理，第一步得到的结果被称为初始简图（primalsketch）的表象。第二步对初始简图进行一系列运算得到能反映可见表面几何特征的表象，这种表象被称为二维半（2.5 d）简图，这些运算中包括由立体视觉运算提取深度信息，根据灰度影调、纹理等信息恢复表面方向，由运动视觉运算获取表面形状和空间关系信息等。这些运算的结果都集成到2.5 d 图像这个中间表象层次，因为这个中间表象已经从原始的图像中去除了许多的多义性，是纯粹地表示了物体表面的特征，其中包括光照、反射率、方向、距离等。根据2.5 d 图像表示的这些信息可以可靠地把图像分成有明确含义的区域（分割），从而可得到比线条、区域、形状等更为高层的描述。这个层次的处理称为中层视觉处理(intermediate processing）。marr 视觉理论中的下一个表象层次是三维模型，它适用于物体的识别，-4-哈尔滨工业大学工学硕士学位论文当图像数据具有与目标模型相同的表示形式时，就能够对图像进行识别。这个层次的处理涉及物体本身，并且要依靠和应用与领域有关的先验知识来构成对景物的描述，因此被称为高层视觉处理。marr 的视觉计算理论虽然是首次提出的关于视觉的系统理论，并已对计算机视觉的研究起了巨大的推动作用，但还远未解决人类视觉的理论问题，在实践中也已遇到了严重困难。bruce、young 等人5认为marr 的三层表示模式是对目标的一种较粗略表示，对于一般的目标识别可能是有效的，但对于需要很精确地对目标加以描述，从而进行识别的情况却可能不适用，例如对于人脸图像的识别，不同目标具有相同的形状，同时同一目标具有不同的表现形式，单纯地使用上述的三层表示模式将无法区分不同的人脸图像。1.2.3 基于推理的视觉理论由于只根据图像数据本身不能对相应的物体空间结构提供充分的约束，也就是说这是一个约束不充分（under constrained）的问题。因此，为了理解图像的内容必须要有附加的约束条件。gestalt 心理学家发现的感知组织现象是一种非常有力的关于象素整体性附加约束。从而为视觉推理提供了基础。gestalt 心理学家所研究的出发点是形，他们认为任何形都是知觉进行了积极组织或构造的结果或功能，而不是客体本身就有的。在视觉研究中gestalt理论认为把点状数据聚集成整体特征的聚集过程是所有其它有意义的处理过程的基础。人的视觉系统具有在对景物中的物体一无所知的情况下从景物的图像中得到相对的聚集（grouping）和结构的能力。这种能力被称为感知组织。感知组织把点状的传感数据变换成客观的表象。在这些表象中用于描述的词藻不是在点状定义的图像中的灰度，而是如形状、形态、运动和空间分布这样的描述。感知组织通过对传感器数据进行了整体的分析，得到一组宏观的表象。这样的宏观表象就是进行认知的活动时的基本构件，用它们可构成对外部世界的描述。gestalt 理论反映了人类视觉本质的某些方面，但它对感知组织的基本原理只是一种公理性的描述，而不是一种机理性的描述。因此自从在本世纪二十年代提出以来未能对视觉研究产生根本性的指导作用。但是研究者对感知组织原 理 的 研 究 一 直 没 有 停 止 。 特 别 是 在 80 年 代 以 后 ， lowe6 ， witkintenenbaum7，等人在感知组织的原理，以及在视觉处理中应用方面取得了新-5-哈尔滨工业大学工学硕士学位论文的重要研究成果，同时它也是本文的理论出发点。1.3 国内外研究现状由于本文提出的模型属于产生式模型，所以首先在这里简要介绍一下产生式模型的国内外研究现状。产生式模型是通过从单一类别的数据学习该类个体的表示。简而言之，在人脸识别领域中产生式模型通常是通过方程来逼近人脸ni =1机视觉中，产生式模型流行的原因有多个方面，包括他们能方便地融合先验知识，能处理对象各部分和各特征之间的对应，能够方便的进行图像的重建等。但是，现有的产生式模型通常在分类任务中次于判别式模型。在现有的人脸表示的方法中，一些产生式模型已经受到了广泛的关注。他们能够用一些模型参数精确的重建输入的人脸图像。表 1-1 给出了其中一些经典的方法：表 1-1 现有基于产生式的人脸建模方法table 1-1 methods of generative model based face modeling特征脸eigen face主动形状模型asm主动表观模型aam3d 形变模型小波网gwn高分辨率文法模型利用主成分分析(pca)方法对图像降维，找到数据表示最佳的投影方向89对形状和纹理联合统计(表观)模型参数进行优化使得模型与输入最佳对3d 形状、纹理、成像参数等形成的形变模型参数进行优化，使得合成的模型图像最佳匹配输入图像，从而得到人脸3d 形状和纹理2223用一组加权的小波函数表示人脸图像2425两个附加层扩展了主动表观模型，实现了几乎无损的高分辨率人脸图像编码261.4 本文主要内容自动人脸识别（afr）研究试图赋予计算机根据面孔辨别人物身份的能力。该研究具有重要的科学意义和巨大的应用价值。人们已经对其研究了 30多年。其中恰当的能够反映出人脸本质属性的人脸表示对于这些相关的任务都起着至关重要的作用。在现有的人脸表示的方法中，一些产生式模型已经受到-6-图像，(例如 gwn 中: f = wi i ),然后用方程中的参数来表示人脸。在计算全局形状统计模型约束局部纹理匹配的结果10 17匹配，得到形状和纹理18 21哈尔滨工业大学工学硕士学位论文了广泛的关注。在计算机视觉中，产生式模型流行的原因有多个方面，包括他们能方便地融合先验知识，能处理对象各部分和各特征之间的对应。本文给出了其中一些经典的产生式方法，值得注意的是其中“gabor 小波网”和“高分辨率文法模型”这两种产生式方法是最新提出的产生式算法，他们在人脸建模方面都取得了瞩目的成就。与以前传统方法相比，这两种方法都是以局部模式，而不是以人脸的整体模式作为出发点。因为随着研究的深入，从人类视觉感知的角度出发进行进一步的研究是一个必然的趋势，而局部模型恰恰非常符合人类视觉感知原理，在人脸识别领域局部建模必将成为主流研究方向。所以本文对基于局部模型的人脸识别方法进行了系统而深入的研究。提出了基于稠密局部匹配的人脸识别方法，并通过分别改变算法中的重要参数：子块大小、采样间隔、保留子块的数目做了三个主要的实验，对“验证部分大于全部”，“密集采样对识别率的影响”，及“不同块大小对识别率的影响”做了系统全面的分析和说明。最后提出一种更好的符合人类感知原理的局部模式：局部视觉基元（local visual primitive），并将其成功地应用在人脸重建和识别之中。实验结果表明此方法不仅可以很好的重建图像，其识别性能也与已知的最好结果相当，进一步说明了基于局部模式的人脸识别方法研究的意义及潜力。-7-哈尔滨工业大学工学硕士学位论文第2章 产生式模型概要2.1 产生式模型概要视觉识别算法是从一系列训练样本中学习模型。产生式模型通过从单一类别的数据学习他们的表示。在计算机视觉中，产生式模型流行的原因有多个方面，包括他们能方便地融合先验知识，能处理对象各部分和各特征之间的对应等。近些年来产生式模型由于其特有的优点已经引起研究者的广泛关注，特别在物体类别识别等方面已成为主流研究方法之一。此外产生式模型在人脸这个单一类别中识别不同人身份的人脸识别领域也出现了很多典型的算法。下文将分别介绍产生式模型的定义、特点、及现有的典型产生式算法在人脸识别领域中的具体应用。2.1.1 产生式模型及判别式模型定义产生式模型和判别式模型是识别领域中已经有了非常广泛的应用。现存的最主要的经典算法几乎都可以划分到这两类解决问题的方法之中，而且为了结合两者的优点衍生出很多这两种模型的结合算法2931。究竟产生式模型和判别式模型的本质差异在哪里，这就需要对这两种模型的具体定义加以研究。现在学术界中对于两种模型并没有统一的定义，在不同的研究领域中他们的定义就会有不同侧重。在本章中将给出在识别领域中产生式模型和判别式模型最主流的两种定义方法。它们分别从不同的角度阐释两种模型本质上的差异。从概率的角度出发，两种模型的建模过程本质上都属于一种概率密度估计。他们的区别体现在：产生式模型实际上是一种类内概率估计，而判别式模型则属于类间概率密度估计。具体意义我们可以通过下面给出的简单例子来更加形象地加深对两种模型的理解：(a) 对于产生式模型，假设类 a（例如人脸类）的类内概率密度形式为y=sin(x).（此函数是未知的） 当 x 随机变化时将产生很多点，即我们用于建模收集的样本点，产生式模型就是利用这些点来进行曲线拟合，最终估计出最好的产生这些点的模式，即估计出反映该类本质的概率密度。所以当样本数不够多，或者不能具有代表性的时候，这种-8-哈尔滨工业大学工学硕士学位论文产生式的概率密度估计方法就不如判别式了。例如在物体类别识别领域中，由于除该类物体以外的背景图像情况过于复杂，收集到所有背景图像是不可能的，产生式就很难对背景进行建模。但是对于单一类别的领域例如人脸重建和识别这种问题就不明显了。(b) 对于判别式模型，它更关心的是类别之间的概率密度估计。更形象的说就是这种方法只关心两种类别在边界附近的情况，即估计边界是怎样更好的划分的，而并不关心两类各自的概率密度的具体形式。例如支持向量机(svm)就是通过使正例和反例之间的隔离边缘最大化来确定最佳决策面，而并不侧重于估计两类各自的概率密度的具体形式。从理论的角度出发，另一种定义产生式模型和判别式模型的方法如下：假设 x 代表数据，y 代表类别(a) 产生式模型：首先估计类条件概率 p(x|y)，然后在计算后验概率p(y|x)。(b) 判别式模型：直接估计后验概率 p(y|x)。与第一种定义方法相比，这种定义方法更有理论深度，但也更加抽象不易理解。2.1.2 产生式模型特点产生式模型具有很多优点，总结如下：（1）可以更好的从语意层次出发，更容易利用先验知识；（2）计算简单；（2）模型可以以增量的方式学习；（3）可以处理缺失数据的情况；（4）可用于复杂问题模型的构造；（5）对于部分遮挡和视角变化鲁棒；（6）可以容忍较大类内变化；（7）可以用于图像重建。但是，产生式模型通常在分类任务中次于判别式模型。而且虽然现有的经典产生式方法在人脸识别领域中已经取得了非常可观的成就，但还是存在很多自身的缺点。下面本文将首先介绍一下在人脸识别及重建方面的应用的现有的经典产生式算法原理，特点，及其存在的问题等。-9-哈尔滨工业