基于深度相机的三维人脸识别系统.doc

。：墨旦垒基金鱼翌主至旦主皇坐旦垒皇鱼旦！呈里皇二兰二里至主垒堡皇！垒：丛翌里坠圣垒旦：里乜望主金！金旦曼旦：浙江大学硕学位论文，伊，浙江大学硕十：学位论文目录目录摘要第章绪论课题背景论文主要工作及内容安排本章小结第章深度相机应用研究及人脸识别综述深度相机种类及原理介绍深度相机应用简介二维人脸识别算法三维人脸识别算法本章小结第章一对多人脸识别系统系统流程简介深度数据的预处理去噪人脸检测人脸区域提取特征提取特征滤波识别方法与实验本章小结第章实时一对一人脸识别系统自适应增强算法算法实验与讨论本章小结。浙江人学硕：学位论文目录第章总结和展望本文工作总结未来工作展望本章小结参考文献攻读硕士学位期间主要的研究成果致谢浙江大学硕：学位论文图日录图目录图深度相机图深度相机相位测量原理图深度测量的系统误差图反射率不同造成的测量误差图相机得到的三类数据图积分时间对数据质量的影响图使用单个深度相机的发型扫描图使用单一深度相机的人脸追踪图的几个例子图的几个例子图基于神经网络方法的基本框架图几个滤波的例子图滤波响应的强度表示：共个方向，个尺度图图片（左）和模型（右）图三维网络分割的例子图面部表面信息的表示】图的匹配过程图一对多系统程序框架图图三维数据去噪结果图几种不同的特征图级联分类器框架图轮廓法线图高斯金字塔模型图亮度图上的特征点图细化的人脸区域图算子的计算过程图亮度数据应用算子的结果图算子的计算过程图部分样本的结果，包含了和层图滤波与滤波的频域响应对比图滤波响应，个方向，个大小图数据库中数据图一对一系统程序框架图图算法的训练过程图直方图浙江大学硕士学位论文图日录图使用三维重建效果图同一个体在不同时间旱得到的结果图（），（），（）练时间浙江大学硕学位论文表：录表目录表一对多人脸识别实验结果表一对一人脸识别实验结果浙江人学硕上学位论文第章绪论第章绪论近年来，生物特征已经成为一个研究热点并且在各种不同的场合被广泛的应用。它最普遍的应用是通过一些能够区分不同人体的身体属性来进行身份验证【】。人脸识别是其中最为重要的应用之一。随着新型三维数据获取设备的出现，如何有效利用三维信息来进行生物特征识别的研究也越来越多。本章将阐述所选课题的研究背景，并且对论文的内容安排和创新点进行简单的介绍。课题背景常用的人体生物特征有人脸、手形、掌纹、虹膜等。在这众多的生物特征中，人的脸部特征是被研究和应用得最为广泛的生物特征之一：首先，使用一个普通的数码摄像头就可以很方便地获取高质量的人脸数据：其次与其他的特征相比，使用人脸特征具有非侵入性，对用户也更加友好。正是因为有了这些优点，人脸识别是当下一个非常活跃的研究领域，其中涉及到多个学科的内容，如图像处理、模式识别、计算机视觉、机器学习、心理学及生理学等。近些年来关于通用的物体识别方法的研究中，也常常将人脸识别作为它们验证其算法有效性的应用。作为模式识别和图像处理领域中最成功的应用之一，人脸识别在过去的年里一直都是一个研究热点。有大量实际的应用系统已经被部署在商业、安保和法律领域。常见的人脸识别系统采用的技术包括以视频为基础的建模、处理和识别【】【】。根据应用的场合不同，人脸识别可以分为两种：人脸验证（）和人脸辨认（）。在前一种情况下，用户首先向系统输入一个身份标识，如身份编号或用户名，然后由这种一对一的系统来判断用户提供的身份是否正确；另一类系统是一对多的识别系统，由系统来根据用户的输入数据来判断用户的身份信息。本质上两者是非常相似，只不过实现的方式有所不同而已。前人关于人脸识别的研究工作大多仅利用到了人脸的二维灰度信息，但是二维人脸识别有其本身固有的缺点，如易受光照、角度等影响。三维数据相对于二维数据，可以带来更多对识别有益的信息，而且三维数据浙江人学硕：学位论文第章绪论相对二维数据来说会更加稳定。同时，在计算机图形学与计算机视觉中，如何获取现实环境中物体的三维信息，也是一项核心的任务。随着三维数据获取设备越来越普遍，并且价格也相对越来越便宜，关于三维数据的人脸识别研究也引起更多的重视。随着一款新型深度探测装置深度相机的出现，本文在前人研究成果的基础之上，将该设备应用到人体生物特征识别领域。本文的目标就是根据一款新型的三维数据获取设备一深度相机，开发出快速、高效的三维人脸识别系统。由于深度相机可以实时地获取数据，对于实时性要求较高的生物特征识别应用，所开发的系统具有较大的利用和研究价值。论文主要工作及内容安排随着三维信息越来越普遍的被应用，传统三维信息采集工具及获取方法由于其自身缺点，将会阻碍这些应用的发展。作为一种新近出现的硬件设备，深度相机在越来越多的领域都引起了广泛地注意。本文的研究课题是针对其中一种有代表性的深度相机，研究如何将其应用到生物特征识别这个领域中，并开发出二套完整的基于深度相机的人脸识别系统。有别于传统二维系统，本文开发的系统充分利用了深度相机提供的人脸的二、三维信息，具有实时性、鲁棒性等优点。全文的结构安排如下：第一章首先概述本课题的研究背景及研究依据，并且列出本论文的组织结构安排。第二章首先通过对深度相机原理的介绍，阐述不同深度相机的不同特点以及一些深度相机的相关应用；接着通过分析当前人脸识别领域的研究现状，介绍人脸识别的经典方法，并比较二维和三维人脸识别技术的区别与各自特点。第三章中介绍如何利用深度相机构建一套一对多的人脸识别系统。首先大致介绍系统流程及实现步骤；然后再详细描述系统中所用到的方法，如预处理、特征提取和识别过程中使用的具体实现方法，以及数据集的建立和实验结果。第四章介绍在一对多的系统的基础之上，利用深度相机获取的数据，使浙江大学硕学位论文第章绪论用框架构建一套实时的一对一人脸识别系统，从而克服了第三章所构建的一套一对多的人脸识别系统处理速度较慢的缺陷。第五章的主要内容是对本文的工作进行总结，对未来的研究工作做进一步展望。本文的创新点为将深度相机引入人体生物特征识别领域，并且开发出完整的人脸识别系统，包括一对多与实时一对一的人脸识别系统，分别使用了不同的方式来实现。与传统的人脸识别系统相比，我们的系统更好地融合了人脸数据中的二维和三维信息，并且本系统对外部环境光线的变化不敏感，鲁棒性更好。再者，深度相机的采集速度非常快，采用多线程技术可以提高算法和系统的运行效率。值得注意的是，本文提出的系统实现方法具有通用性，与具体的使用设备关联度小，能够很容易被移植到新的三维设备上，因而在实际的应用中更具可行性。本章小结本文的研究课题针对生物特征领域最热门的应用之一一人脸识别，利用新型的三维数据获取设备川深度相机提供的人脸三维数据，开发具有完备功能的三维人脸识别系统，借此来克服传统二维人脸识别的缺陷和不足。本章中主要阐述了本课题的研究背景，以及将深度相机应用于人脸识别领域的原因，也是本文的主要创新点所在。另外，在本章中还简单介绍了论文的组织结构以及各章的主要内容。浙江人学硕：学位论义第帝深度相机心用研究及人脸识别综述第章深度相机应用研究及人脸识别综述如今，越来越多的计算机图形学与视觉应用，都依赖于对三维场景数据快速且准确地分析。以往通过基于图像的分析或由激光技术来获取场景的三维数据，代价高昂并且需要消耗大量的时间。作为距离测量中一种新出现的设备，深度相机拥有传统三维相机所不具备的优点，如采集速度快、易使用等。它的出现极大地促进了相关研究领域的发展。因此，在本章中首先对深度相机做详细介绍，之后通过比较和阐述二维人脸识别与三维人脸识别的研究现状和经典方法，从而得出本文所丌发出的系统的优越性。曲深度相机种类及原理介绍对于计算机图形学以及计算机视觉中很多应用来说，能否非常便捷地获取真实世界的三维数据是一项关键任务。显而易见，如果能有一个方便使用，并且能准确、实时地获取场景深度数据的设备，将会为更多的应用带来益处。然而，即使对于静止的场景，市场上也很难找到现有的设备能同时满足价格低廉、宽视野测量、精度高，并且能实时获取数据这些特点。例如，使用激光器进行三角化测量的技术，它的原理是通过激光束逐行扫描场景中的物体，但是这个过程需要较长的时间，对于真实场景中的应用来说通常是不可行的。所谓（）技术是指：首先由发光器发射出一束调制好的光线，经过场景中物体返回到探测装置后，根据发射光与反射光的时间间隔来测量深度信息。这一原理已经被应用在光学定向及高精度的深度测量装置上。近年来，这一原理又被应用到一种新型深度检测设备上，也就是本文中所使用的深度相机，通过或者技术得以实现。目前，实现技术主要有两种方式，一是利用调制过的非相干光，通过测量入射光与反射光的相位变化来测量时间间隔，从而可计算深度信息；另一种方法是基于光学快门的技术。由于基于前一种方式来实现技术被较多设备制造商所使用，如【】（见图左），【（见图右），因此后续探讨的浙江人学硕：学位论文第章深度相机心用研究及人脸识别综述原理仅针对前一种。这些不同型号的深度相机，已经被应用在各种各样的场合中，如机器人工业】，人机交互商业应用吲和汽车工业的应用中【。图深度相机例如，由科技公司生产的（图左）型号的相机，其最大测量距离最高可达米，足以满足大多数实际应用的要求。由近红外光（）发光器发出的经调制后的入射光信号，经过场景中的物体反射后，带有内部相位差的反射光信号，再经由一个芯片内的相关（或混合，）变换操作。以上描述就是的光强度调制原理（如图所示）。图深度相机相何测彗原理其深度数据的具体计算过程如下列公式所示：浙江大学硕上学位论文第章深度相机应用研究及人脸识别综述（）舰（）（）（）假设与都是一个弦信号，如：（）（；），（）（；矽）（）在公式（）中，五是事先设置好的调制频率；代表入射光的信号强度；代表相关偏误；是与反射物体深度相关的一个相位差。再由以上两个公式可以得出：（）昙（厶矽）（）公式（）中相关函数表示的解调过程是通过累积四个连续的、带有不同相位变化的数据帧样本来计算的。（木罢），汪，；（）矽（，鸽），二生二生半，（）（）其中，表示经发光器发出的近红外光（）的强度。经过以上的计算步骤，就可以从相位差中计算出物体的深度值，则有：；矽（）、，在公式（）中，代表光速。值得注意的是，有很多厂商为他们的深度相机提供了（）部件，从而可以在室外环境光较强的情况下使用。使用基于光调制原理制造的深度相机通常会遇到以下几个问题：）低分辨率：到目前为止，生产出来的相机的分辨率在到之间。显然，这个分辨率要远远低于普通的彩色相机。）系统误差【】：由于理论上要求发射出去的近红外光必须是标准的正弦信号，浙江大学硕上学位论文第审深度相机应用研究及人脸识别综述但是实际上这几乎是不可能的。因此测量出来的深度数值并不能反映真实的数值，而是带有系统本身的误差（如图所示），也称之为“扭动（）”。图深度测量的系统误差）亮度相关的测量误差：由于深度值的计算需要依赖于反射光的数量。这一误差由深度相机中使用的半导体探测器及相机电子元器件不同的物理性质决定的。如图所示，在棋盘格的深度图中，由于黑色块与白色块反射率不同，在同一位置处的深度测量产生了差异。图反射率不同造成的测量误差使用中值滤波来处理数据，利用了相邻像素问的相关性来提高数据质量：】提出了一个误差模型，同时使用得到的深度信息和亮度信息来校正深度数据中的误差。这个误差模型由若干个样条曲线构成，每一个样条的参数是由它们的初始位置来进行估计。本文中使用的相机型号为】，它能够以高达每秒帧的速度捕获三种类型的数据（见图）。这三种类型数据中，最重要的是场景的深度图，其中每个像素存储的是物体表面与相机镜头之间的距离。第二项数据是亮哮强蕴譬誓锄幽一一浙江人学硕学位论文第章深度相机心用研究及人脸识别综述度图：若该像素的亮度值越高，即表示有更多的反射光被镜头捕获到，这就反映该点处测得的深度数据越可靠。显然，如果场景中存在着距离过远的物体，则几乎没有近红外光被返回，得到的亮度信号数值就会接近于。第三项数据是强度数据，它与普通意义上的灰度数据非常类似，更多的光到达某个像素，则该点的强度值就越大。但是对于装置有部件的深度相机而言，该类数据并不如亮度数据可靠。图相机得剑的二类数据该相机最重要的参数之一是积分时间（）。但是，并没有一个完美的解决方案可以用来确定该参数该如何选择，这是因为在数据的获取过程受到太多因素的影响。如图所示，不同的积分时间对数据质量产生不同的影响。图积分时间对数据质颦的影响上图中，从左到右，其积分时间分别设置为，以及。可以看出，不合适的积分时间造成了左图中较低的信号强度以及右图中过分饱和的信号强度。因此在实际使用时，需要首先根据使用的实际场景做出相应的测试，以便选择合适的积分时间值。浙江人学硕：学位论文第章深度相机心用研究及人脸识别综述深度相机应用简介鉴于深度相机能实时地获取场景的三维数据，因此对于计算机图形学及计算机视觉应用具有非常重要的研究价值。目前深度相机已经被广泛的应用于一些相关的研究领域：）几何特征提取及三维重建；）人机交互：）面向人体的数据分析。深度相机可以被应用于静态和动态场景，等人【提出的建模方法，在整个场景的三维数据都被相机捕获之后，可以将全部的三维数据在统一的坐标系统中重建出完整的三维模型。等人【】提出一种多传感器融合的方法，他们使用多个普通彩色相机和单个深度相机，之后再将这些数据融合在一起。由于深度相机本身的分辨率及数据质量不是非常好，为了通过深度相机获得更高质量的三维模型，等人【】提出一种简便的三维模型扫描方法：他们使用单个相机，将其围绕着所需扫描的物体缓慢转动一圈，最后将这些数据处理之后进行优化融合。（）（】是另一种高质量三维重建的方法。但是该类方法的一个缺点就是缺乏对尺度的测量，通过使用深度相机则可以来弥补这个缺点。奄晶提出了使用单个深度相机进行三维重建的方法，并且将这种方法应用到人体发型扫描上，如图所示。图使用单个深度相机的发刑扫描等人使用深度相机来捕获人手的移动轨迹，并且在此基础之上开发出一套互动交互系统；提出了类似的方法用于三维医学可视化领域。等人提出使用深度相机的三维人脸追踪算法：他们采用了配准算法及规范化方法来优化用于三维人脸追踪的深度数据，图中显示的是浙江大学硕上学位论文第章深度相机席用研究及人脸识别综述文献【】中的实验结果。和】提出一个融合深度及彩色数据的模型来检测及计算人体的位姿。图使用单一深度相机的人脸追踪二维人脸识别算法通常可以将人脸识别任务分为以下两类：和。前者是一对一的匹配，通过将一张人脸图片与一张模板图片进行比较，来辨认两者是否属于同一个体；而后者是一对多的匹配问题，通过将输入的人脸图片与数据库中的已注册的模板进行比较，来判断该输入数据的身份。在过去的若干年内，关于二维人脸识别的研究已经非常成熟，很多系统能够在实际应用场合下达到以上的识别率。以下按方法属性分类介绍该领域内的经典方法。）线性非线性投影方法自动人脸识别可以被看成是一个模式识别问题，但是鉴于该问题的非线性性质，一般不易直接得到其结果。如果将图片看成是图像空间这个超高维空间中一点，人脸识别可以被当成一个高维空间的模板匹配问题。高维度空间中的匹配会带来较大的计算量，因此通常需要在进行匹配之前进行降维操作。例如，一张分辨率为胪的图片可以看成一个木的向量，表示为空间内的一点。然而，比较并非直接在这个高维空间内进行，而是先通过（）技术，将其投影到一个低维空日里来表示。以上所描述的就是经典的方法。这种方法将整个数据库中样本的协方差矩阵的特征向量称为浙江人学硕士学位论文第章深度相机应用研究及人脸识别综述（如图所示），这些特征向量构成了这个低维空间的基，其中每个样本可以看成是这些的线性组合。当一张新图片被测试时，先计算出它在低维空间内的投影，再基于某种距离测量方法与数据库已有的模板进行比较。图的几个例子（）方法【】被提出作为的替代品。二者最大的区别是，方法是有监督的学习过程，而则是无监督的学习过程。算法的目标是找到一组向量基来表示整个数据集中的数据，并且保持类与类之间的最大区分度。该方法的目标是最大化不同类之间的差距，同时保持同一类的差距最小化。通常，在性能上被认为会超过方法，但是事实上，只有在训练数据集包含的数据足够多时，才可以带来更好的分类效果。人脸识别领域的另一个经典算法【】将二者结合到一起，首先应用算法对初始数据集进行降维操作，在得到的低维数据集上应用算法，之后再进行真正的识别工作，如图所示。等【】提出一个方法的变种，它可以看成是（）与（）方法的联合，通过一个权值函数来避免产生一些过于接近的类别产生，以此来减小错分率。图的儿个例子（）代表了这类方法的进一步发展。浙江大学硕：学位论文第章深度相机麻用研究及人脸识别综述的核心思想是提取同一类数据的相似特征，撇除其不相似处。每一类均可以由一个共同向量（）来表示，这些共同向量是由散布矩阵计算得到的。当使用一张新图片来进行测试时，首先需计算其对应的特征向量，则与其最近的共同向量所代表的类别即为所求。以上这些方法，如和等，其最大的缺点在于它们的线性性质。例如，方法通过分析协方差矩阵来将输入数据投影到一个低维空间上，所以它最多只能利用到二阶统计特征。和说明了一阶和二阶统计特征中仅能包括图像中的亮度谱（）信息，而未将谱相图（）信息考虑在内。但是通过有关生物学的实验，已经表明了人类识别物体的能力主要是对谱相图的分析产生。）基于神经网络的方法另一类非线性人脸识别方法一基于神经网络的方法（见图），被广泛应用各种模式识别问题之中。与线性的方法相比，神经网络可以减少相邻类间的误分率。此类方法的基本思想是将人脸图像中每一个像素看作一个神经元，并且在训练过程进行之前首先对输入数据进行降维处理。等【提出了最早的解决方案，在这个方法中引入了自相联（）模式下的二阶神经网络。提出了基于概率决策的神经网络模型，并将其用于三种不同类型的应用。】所提出的混合方法，首先通过提取出最重要的特征，将这些特征作为（）神经网络的输入数据。神经网络在人脸识别问题上通常会有较好的表现，因为它们有紧凑的拓扑结构并且学习速度很快。图基于神经网络方法的基本框架）基于滤波的方法浙江大学硕：学位论文第章深度相机心用研究及人脸识别综述滤波是一种非常强大的图像编码工具，因为它可以获取图像中很多重要的视觉特征，如空间局部特征、空间频域特征及方向选择性。可以使用滤波来提取人脸数据中的重要特征信息，其基本计算公式如下所示：）：噬一呼，沙：可础】（）其中，和表示滤波内核的方向和尺度。图列出几个不同配置的滤波内核。通常会将多个不同尺度、不同方向的滤波应用到图像上来提取图像的局部特征，其滤波响应结果如图所示。、。鸭魄。图几个滤波的例子曩曩曩曩墨曩墨目譬譬鬻霸薯薯霉目鬻蠢黧网黧鬻蓦目冒露翻圈翻囊冒国霍霍盈圆圜蛋冒图滤波响应的强度表示：共个方向，个尺度提出一种基于图的算法。首先将人脸的图像分成若干个特定区域，浙江人学硕：学位论文第章深度相机心用研究及人脸识别综述将每个区域视为刚性网络上的一个结点，再对不同的区域分别使用滤波。这些结点互相连接在一起构成动态链接结构（，），之后可以采用图的匹配方法来匹配测试的人脸图片及数据库中模板图片。】进一步扩展了结构，提出一种基于小波的弹性约束图匹配方法（），以这个模型为基础来标识和识别人脸。通常，使用结构的方法会比其他方法获得更优的效果，尤其是本身具有旋转不变性。然而，该方法最大的缺点就是匹配过程比较耗时。将这个可变形模型进一步扩展，原理上与很相似。他们提出的模型是基于隐式马尔可夫模型的双向扩展，将一种基于概率的可变形模型用于人脸匹配。等人【】提出一种快速的基于小波变换的方法，在仅针对人脸下面图像，并且在外界环境光源相对稳定的情况下可以达到较好的效果。三维人脸识别算法目前关于二维人脸识别的技术已经相当成熟，但是二维人脸识别仍然存在一些困难：易受外界光照变化影响，很多方法在光照条件稳定的情况下表现非常好，但是一旦出现严重的光照变化，其性能就大打折扣：姿势的变化，因为投影造成的变形和自身遮挡都会造成性能损耗；另外脸部表情的变化也会对人脸识别方法的有效性带来影响。因此，越来越多的研究人员开始对三维人脸识别算法进行研究【】【】。三维人脸识别的算法相对于二维最主要的优点是三维模型保留了人脸的全部的几何信息。通过实验分别使用亮度图和深度图来进行人脸识别任务，以观察两种不同数据的识别能力。通过实验，得到的结论是相对于亮度图而言，使用深度图能更鲁棒地来表达人脸的特征，因为亮度图极易受到光照变化的影响，而深度图则不受此影响。然而使用深度数据来实现人脸识别系统最大的缺点在于用于获取高精度三维数据的三维扫描仪器过于昂贵，不易被应用到实现的系统之中。目前，大多数关于三维人脸识别的研究工作，所使用的互联网上公开的数据库，均采用的是激光或者结构光扫描设备来获取数据。虽然立体视觉也是符合成本效益原则的一种浙江人学硕：学位论文第章深度相机应用研究及人脸识别综述获取数据的方法，但是众所周知这样的系统必须要能保证精确的相机校准以及一个鲁棒的方法来解决对应问题，并且同样相当耗时。在三维人脸识别中用于表示人脸模型通常有两种形式：和图片，如图所示。一幅的图片（深度图）用二维图片的形式来表示三维点云数据，平面上每个像素存储的是该点对应的深度值。特别的是，从一个单一视点获取的图片仅能表示人脸的表面区域，而不能表示人的全部脸部信息，不能包括视域外的其它部分。通过多视点来捕获多组数据，将多帧数据结合起来，重建出人脸的全部三维模型。最简单的表示三维人脸的形式是三维多边形面片表示，由相互连接的边构成。以上两种数据表现形式有两个不同点：模型是整个面部的一个全局的表现形式，而图片由外部形式及对应的视点所决定；当脸的姿势不是完全正面的时候，模型不会受到脸部其余部分自遮挡的影响。图图片（左）和模型（右）对于使用或者图片来实现人脸识别任务时，可以将不同的方法分为以下三类：）形状匹配（）。这类方法的核心思想是以渐近的方式将一个三维点云维模型逐点匹配到一个模板点云模型上。这类形状匹配方法可以看成无需特征提取过程的模式识别方法。当训练样本数足够大的时候，可以优化相似度的测量。这类方法有以下几个缺点：计算的代价过大：需要非常精确的点对点匹配方法；保证在参考模型和测试数据之间的确存在着非常多的对应点。）基于特征的方法。此类方法的核心思想与形状匹配很类似，与前一类方法的浙江入学硕学位论文第帝深度相机心用研究及人脸识别综述不同点在于基于特征的方法不需要处理全部数据，而仅针对某些特征区域。例如，脸部的重要区域如眼睛、鼻子、前额、或者脸部的侧面轮廓像，从人脸数据上检测到这些关键区域，再提取对应特征进行处理。和形状匹配方法类似，基于特征的方法也需要鲁棒的匹配方法。由于这些特征需要在预处理阶段被计算出来，在后面的识别过程中不可能再被更改。）基于图像的方法。使用统计学习的方法，在无需交互的情况下，提取出脸部数据集中的关键特征。基于图像的方法只需要很少或者不需要预处理的步骤，可以将全部的人脸图像数据用于统计学习。而且此类统计学习方法已经被成功应用于很多二维人脸识别应用中，证明了算法的鲁棒性和有效性。通常，使用人脸数据的主要目的是为了提高系统对于光照、位姿和表情变化的鲁棒性。提出一种形变模型，初始训练集旱每个对象仅包括一张正面数据，再合成出各种不同的面部变化后的人脸数据，再交由训练器进行训练。最终的识别结果是通过计算数据库中的模板数据与测试数据的形状和纹理参数的距离来决定的。【】提出的方法通过一张正面的人脸面部数据生成人脸的三维模型，再由这个三维模型合成出新的数据来模拟不同姿势、不同光亮和表情下的人脸数据。该方法在识别率上大大超过了基于的方法。】提出的方法从一张正面和一张侧面图像出发，根据一系列面部特征点的三维坐标将一个可变形模型拟合到真实的人脸表面上。最终根据脸部的关键区域如嘴、鼻子和眼睛，利用特征点之间的欧氏距离来计算识别结果。（）】算法经常被用来在不同模型阳进行对齐操作。使用算法可以减少对齐过程中产生的误差以及近似体积差异。提出基于算法的关键特征点匹配方法，以此来构建三维人脸识别系统。首先，根据整个脸部的点云数据进行一个粗略的点对匹配过程，很容易计算出对齐后的模型数据。之后，通过点集距离（）来计算两个点云之间的距离，以此作为最终的分类依据。以上的方法均直接利用三维人脸模型的几何数据来进行匹配，另一类关于三维人脸识别的方法主要通过分析三维人脸的表面数据来提取关于脸部形状的特浙江火学硕：学位论文第章深度相机麻用研究及人脸识别综述征。已有的部分方法是基于曲率信息来将整个面部区域分割为若干基准区域（）。等人【】使用高斯曲率（）来分割人脸区域，分割结果如图所示。图三维网络分割的例子】提出一种新的模型一来表示人脸数据，他们用一种叫做规范化图像（）的形式来表示人脸数据，并且模拟出由脸部表情及角度变化所引起的人脸变形信息，见图中所描绘的结果。提出的算法中利用隐式马尔可夫模型（）来综合处理人脸的深度数据和亮度数据。图面部表面信息的表示【】提出的一种基于三维数据表面测地距离的新特征（耽拗把）来表示人脸数据。是源于，简单的说，对于二维坐标而言，两个点之间的关系可以用坐标值之间的大小关系来表示，在和方向上分别有：大于、相等和小于。因此两个点之间的相对关系有种。对浙江大学硕上学位论文第章深度相机应用研究及人脸识别综述于两个点集之间的相对关系可以用如下公式来计算：，）声（一），（）（）“，则可以得到一个的矩阵（，），将它称之为，可以用来表示两个点集之间的相对位置关系。对于三维数据而言，将轴的信息加入其中就可以得到的矩阵。从这个矩阵中提取两类权值：和；前者表示在分布在前后、左右、上下不同方向上的点对的百分比；后者表示同方向分布点的百分比。该种方法对人脸的建模过程如下，首先确定人脸的鼻尖位置所在，然后根据测地距离（），将整个人脸数据的顶点分为若干子集，即将距离鼻尖的测地距离在某个预先设定范围之内的点构成一个集合（），因此可将整个人脸的顶点划分为若干个子集合，即使在面部出现表情等变化时，也能保持子集的相对稳定。从图中可以看到其划分结果。蚀图的匹配过程对人脸模型的匹配，是由如下公式来计算的：肿，）意粪砌（所酬繇剖）茄誊薯脚眦别，亿公式（）不仅计算了带内的相关性还计算了带间的相关性。浙江大学硕二学位论文第章深度相机心用研究及人脸识别综述以上所述的各种方法都是基于单一特征进行识别，但是单一的人脸识别特征在识别中往往会有自身的局限性，因此通过将各种不同特征进行融合，可以提高识别率。常俊彦【提出基于深度图像的全局特征与基于测地线的局部特征进行融合方法。通过实验表明，这种方法可以很好的结合全局特征与局部特征的互补信息，识别效果要优于各单一特征的分类性能，并且系统鲁棒性大大提高。本章小结在本章中，首先介绍了本文所使用的设备一深度相机的成像及测距原理，以及该相机的优缺点。由于实时获取三维数据对很多应用都至关重要，所以目前关于深度相机各个方面的应用和研究已经有很多，在本章中也对其做出了简单地介绍。关于人脸识别的研究已经开展了多年，尤其是关于二维人脸识别技术的研究已经相当成熟。但是二维识别技术因为其自身存在很多缺陷，而关于三维人脸识别技术的研究证明其更加鲁棒和可靠。本章中对典型的二维人脸识别算法及三维人脸识别算法进行了简单回顾，阐述了不同方法之间的异