（计算机应用技术专业论文）基于三维形变模型的多姿态人脸识别.pdf

摘要 摘要 经过三十几年的发展，人脸识别技术取得了巨大的进步，在理想的成像条件 下，已经取得了显著的成果。但非理想成像条件下( 如光照条件不理想，人脸的 姿态发生变化等) 的人脸识别技术还远未成熟，有许多科学问题需要研究。本文 基于三维形变模型，针对多姿态人脸识别问题，主要做了以下几方面的工作： 提出了一种基于三维部件技术的多姿态人脸识别方法，该方法根据面部部件 对姿态变化的不敏感性，利用部件的三维信息作为特征进行人脸识别。识别过程 中结合人脸的局部特征和全局特征，统计各个部件的识别率，根据单个部件的识 别率确定其在整体分类中的权值，基于整脸信息进行识别，与基于二维部件技术 的识别方法相比，进一步改善了识别效果。 提出了基于部件的三维形变模型。在模型匹配过程中，定义相同视点下获得 的三维部件图像与给定部件图像的误差作为目标函数，由于每个部件维数比较 低，与整个面部的三维形变模型相比，目标函数的规模相对较小，优化效果得到 改善，提取的三维部件特征更准确。采用上面提出的基于三维部件技术的多姿态 人脸识别方法，结合两层分类方法，将部件羹建结果应用于人脸识别，取得了更 好的识别效果。 关键词三维形交模型：人脸识别：部件技术 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 它人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：至长垒日期：盟匹。j 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其它复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 躲涨名：掣隅础 第1 章绪论 1 1 研究意义及背景 人脸识别技术就是利用计算机分析人脸图像，从人脸图像中提取有效的分类特 征，帆而对待识别人脸图像进行分类，最终来达到对个人身份进行鉴别的目的。人 脸识别技术的研究有重要的理论研究意义和广泛的应用价值。 首先，人脸识别具有广阔的应用前景，可以应用在公安、安全验证系统、信用 卡验证、医学、档案管理、视频会议、人机交互系统等方面。其次，生物特征因为 自身的稳定性和差异性，已经成为身份验证的主要手段：人脸作为一种自然形体，具 有很强的共性，与其它利用视网膜识别( 无法确保对人体的安全性) 、指纹识别( 涉 及个人隐私) 等的生物特征进行身份验证相比，人脸具有直观、友好、方便等特点， 正越来越受到关注。 虽然人类能毫不费力地识别出人脸及其表情，能够记住并且识别上千个不同的 人脸，但人脸的自动机器识别却是一个具有极大难度的研究课题。人脸具有复杂的 三维表面结构，同时面部肌肉的运动使得人脸成为一种非刚体目标，与刚性目标识 别相比，非刚性目标的识别更困难。人脸表情丰富，而且随着年龄增长而变化，以 及受光照、成像角度以及成像距离等因素的变化的影响，所得到的人脸图像会有很 大变化。此外，所有人脸都具有相似的结构特征，而同一人的不同面部图像由于采 集条件的变化会发生较大的变化，所以人脸识别算法必须挖掘不同类别间微妙丽可 靠的差别。所有这些都极大地增加人脸识别工作的难度。另外，人脸识别还涉及到 图像处理、计算机视觉、模式识别以及神经网络等学科。也和人脑的认知程度紧密 相关，这些诸多因素使得人脸识别成为一项极富有挑战性的课题。 由于个体的差异及外界因素的影响使人脸图像具有比较复杂的模式变化，在实际 应用中，友好的人脸识别系统是不对用户有任何要求的，甚至是在用户不知的情况 下进行的，这样就不能保证系统输入是正面的人脸图像。当人脸的姿态发生变化时， 人脸图像的外观也会随之发生很大变化，导致图片信息降低，研究表明，同一个人 在不同视点下的两张人脸照片的差异，往往会超过了不同人脸之间的差异，这导致 在不同视点下的两张人脸照片的差异，往往会超过了不同人脸之间的差异，这导致 北京工业大学工学硕士学位论文 了很多经典人脸识别方法无法有效的识别。受采集条件的限制，人们无法获得每个 样本所有姿态下的人脸图像，如何利用有限的人脸图像资源，解决姿态变化的人脸 识别问题，成为当前人脸识别的一个热点问题。 1 2 国内外研究现状 计算机人脸识别研究始于1 9 6 6 年p r j 的b l e d s o e 【1 1 的工作，三十多年来，科研工 作者在人脸识别方面进行了大量的研究，取得了丰硕的成果【2 6 口其中m r r 媒体实 验室【7 1 2 等、m i ta i 实验室的【1 3 1 7 】等、c 【1 8 】、m 卿a n d 大学【1 9 也o 等的贡 献尤为突出，国内的主要工作有：清华大学、南京理工大学 2 l 以3 、广州中山大学 2 4 、 中科院计算所、哈尔滨工业大学等，其中南京理工大学在用s v d 提取代数特征进行 入脸识别、广州中山大学在用频谱脸方法进行人脸识别等方面开展了一些开创性的 工作。 1 2 1 人脸识别方法 早期的人脸识别研究主要有两个方向：一是提取人脸几何特征的方法。包括 人脸部件归一化的点间距离和比率以及人脸的一些特征点，如眼角、嘴角、鼻尖等 部位所构成的二维拓扑结构了；二是模板匹配的方法，主要是利用计算模板和图像 灰度的自相关性来实现识别功能。实验证明，基于模板匹配的方法要优于几何特征 的方法。 到9 0 年代初，t u r k 、p 刚a n d 等人提出的特征脸方法( e i g f a c c ) 栩，被认为是人 脸识别中里程碑式的工作，该方法通过主成分分析来进行特征提取，从某种意义上 讲，该方法提取到了有利于分类的特征，克服了一些因数变化对识别结果的影响a 使其成为人脸识别领域中最具代表性和影响力的方法之一，但是e i g e n f ；峙e 方法本身 也有一些不足，首先e i g e n f a c e 的表示能力受训练的样本集影响，当样本人脸集不能 够很好的覆盖测试人脸时，该方法的性能就会急剧下降。 近年来，随着研究的不断深入，又涌现出许多新的人脸识别方法。一是弹性图匹 配方法 2 卯。该方法通过小波变换特征来描述人脸的局部信息，并利用人脸网格的不断 变形，在图像上搜索特征点。由于它采用变形匹配方式，能在一定程度上容忍姿态 的变化，而且由于小波变换的特性，能容忍一定的光照变化。二是以e i g e n f x 北京r t 业大学工学硕士学位论文 分类信息，在一定程度上能克服多姿态对人脸识别的影响，是目前最成功和最具实 用性的二维多姿态人脸识别方法。p e i l t l a i l d 【3 3 】提出了基于视点的特征脸方法，该方 法是由传统的e 谵e n f a c e s 方法扩展到基于视点的e i g e n f a c e s 来解决多姿态人脸识别 方法，对于每个姿态，建立一个单独的特征予空间；w i s k o t t 提出一种基于弹性图 匹配( e b g m ) 的人脸识别方法，e b g m 的核心是微小位移估计算法，对于小角度 的姿态变化，识别效果很好，当姿态变化较大时，识别率将急剧下降，同时每个特 征点的精确定位，是个很复杂的过程，定位的准确性将影响识别效果；t v e t t 一3 5 1 提 出了一种基于线性组合的方法，将3 d 线性组合的特性扩展到其二维投影图像，该方 法类似于主动形状模型，将特征点形状的线性组合延伸到整个图片的形状和纹理上， 为保证组合的有效性，需要采用光流算法实现输入图片与参考图片之间的对齐： p o g 西。等人【3 6 】提出了一种图像表示形式，将一幅图像分解并表示为几何形状矢量和 与形状无关的纹理矢量，使得一类图像可以通过这些矢量进行线性组合运算，利用 组合结果增加虚拟样本。 第二类方法是当前最流行的二维多姿态人脸识别方法，该类方法训练中需要尽可 能多视点的图片，在连续的姿态变化中寻找规则，依据该规则组合出库中每个人相 应视点下的图片。基于组合方法的前提是认为在整个训练集和测试集中，组合规则 是不变的。实际上，这个规则不一定具有通用性，限制了这种方法的应用范围。 第三类方法是基于单幅图片的方法f 3 8 】【5 4 1 ，该类方法试图寻找一种与姿态变化无 关的特征，来解决多姿态识别问题，由于该类方法计算的复杂度比较高，而且只能 应用于姿态变化较小的情况，未受到广泛的关注。 二维多姿态人脸识别一般需要采集大量的数据，计算量也比较大，实际应用中会 受到限制，如何在库中仅有单个视点的照片时，来解决多姿态人脸识别，成为人们 关注的问题。人脸姿态的变化，会导致人脸图像信息的降低，由于二维照片的固有 属性，很难有效的恢复损失的图片信息。近年来，人们开始利用三维人脸模型来解 决多姿态人脸识别问题，提出了一些比较典型的三维模型。h a l l i 姐【39 】等提出了三维 弹性图匹配的方法，只能解决小嵌的姿态变化，l e e 【4 0 】等的三维模型，将边缘模型、 颜色模型以及网络模型结合起来，分别对人脸图像进行分析；c m u 的x i a o ”l 】提出了 利用二维人脸图像生成三维模型的方法，加大了人脸姿态估计的尺度，但识别效果仍不理想。 第1 章绪论 获得三维人脸的形状、纹理参数以及相应的光照、姿态等信息。使用形变模型的变 形系数作为特征进行人脸识别，可以分析更大范围的人脸姿态。但在实际应用中， 形变模型的优化是很复杂的过程，数值求解难以达到最优解，得到的变形系数并不 能很好的代表人脸的特征。 针对上述问题，本文提出了种三维形变模型h 3 1 和部件技术 5 5 】【5 6 啪结合的多姿 态人脸识别方法。在三维上提取人脸部件，把部件的几何信息和纹理信息作为识别 的特征。在分类中，采用两层分类方法，即考虑了人脸的局部特征，又结合了人脸的 全局特征，从而达到更好的分类效果。 1 3 本文的主要工作 本文主要就三维形变模型以及人脸多姿态识别方面展开了研究，做了以下几个方 面的工作： l 、提出了基于三维部件技术的多姿态人脸识别方法，利用形变模型重建三维人 脸，将部件的三维信息作为特征进行人脸识别，在识别过程中，结合了人脸的局部 特征和全局特征，采用两层分类方法，进一步改善了识别效果。 2 、提出了基于部件的三维形变模型，定义相同视点下获得的三维部件的投影图 像与给定部件图像的误差作为目标函数，降低目标函数的复杂性，在目标函数的优 化过程中，采用梯度下降法，优化效果得到了改善，应用到多姿态人脸识别中，取 得了更好的识别效果。 1 4 本文的组织安排 本文内容共四章，各章节内容安排如下： 第一章绪论。介绍了人脸识别技术的研究背景及意义，概述了当前一些经典的 人脸识别方法，及多姿态人脸识别方法。 第二章基于形交模型的三维人脸重建方法。介绍了三维形变模型的原理及重建 过程。首先给出了三维形变模型的总体框架，在该框架下叙述了模型的建立和模型 的匹配。然后针对模型存在的问题，提出了改进方法。 第三章基于三维部件技术的多姿态人脸识别方法。首先介绍了基于部件的人脸 识别，然后详细描述了三维部件技术的人脸识别方法的实现过程。识别中采用了两 层分类方法，并结合f i s h e r 线性判别对分类方法作进一步的分析，最后通过实验， 北京工业大学工学硕士学位论文 割。本文通过交互的方式进行人脸分片，首先在人脸纹理图像上标定一些关键特 征点作为分割结点，然后计算出其它的分割结点和分割线，最后通过纹理映射找 到三维人脸上的分割结点和分割线。如图2 3 所示是三维人脸分割的结果，一个 人脸被分为1 2 2 个面片。 图2 3 三维人脸分片巍 l | 结论与展望，对本文的 x 第2 章基于形变模型的三维人脸重建方法 人，扫描光源使用的是扫描仪自带光源，采用重采样进行稠密点对应后，三维人 脸表示为统一的形状和纹理向量形式，每个人脸大约1 3 0 ，o o o 个点，2 5 0 ，0 0 0 个三角面组成，如图2 - 4 所示是数据库中的典型人脸。 图2 4 三维人脸数据库中的人脸 f i g u r e2 - 4 n e3 d 缸e i n 血e d a 诅b a s e 2 3 三维形变模型建立 直观地，对于具有( 2 1 ) 的向量形式的原型人脸( n 1 2 0 0 ) ，通过其形状向 量和纹理向量的线性组合即可产生新的人脸向量( s 一，t 。) ： s 。：窆a ，墨l 。= 芝6 f i ( 2 2 ) s 。= a ，墨l 。= 6 f i ( 2 2 ) 其中皤，6 ，是原型人脸的组合系数，且q = 6 f = 1 ，这是形变模型的基本思想。 由于在上面线性组合中，原型人脸数量比较大，且原型人脸数据间有一定相 关性，因此采用了主元分析方法口c a ) f 4 6 】对模型中的人脸向量进行处理，即对形 状分量和纹理分量进行p c a 变换。p c a 变换一方面可以压缩模型的数据量，另一 方面可以通过p c a 变换的正交性来消除数据的相关性。p c a 变换的具体过程如 下： 首先计算个形状和纹理向量的协方差阵： g = 专善( s i ) ( 墨一_ ) 7g = 专善( 巧一亍) 何一- ) 7 ( 2 - 3 ) 北尿工业大学工学硕士学位论文 其中i = 专喜i ，亍= 寺姜王是平均形状和纹理向量。然后分别求g ，g 的特 征值和特征向量，并按特征值由大到小的顺序取前m 1 个最大的特征值 五= 眠，毛一) ，口= p l j a 。) 及相应的特征向量i = ，屯，j 。) ， i = 瓴，f ：，f 。) 作为变换后组合模型的基底。 由主成分分析知道，形状和纹理空间中的任一形状s m 叫。和纹理丁o 。可近似 表示为： s 删d ：i + 窆叩，d ：亍+ 窆砒 ( 2 4 ) 其中j = 专姜墨，亍= 专善互为平均形状和纹理向量。，i 按照 ( s 。，s ：，) 和( 互，正，矗) 的特征值t ，4 由大到小顺序排列的标准 特征向量( 1 只= 墨一i ，互= 墨一于) 。 厅= ( 口，口：，口。一。) ， = ( 。，卢：，。) 是组合参数，且，肛满足高斯分布， 即 p 函) = e x p _ 三喜( ，) 2 】，尸西) = e x p 卜圭喜( ) 2 】。由高斯分布的性质， a ，岛的变化范围是【一3 ，3 五 ，卜3 q ，3 c r f ，这是对形状和纹理变化的合 理性约束。( 2 _ 4 ) 式即为三维人脸模型的最终表示形式，只要给定模型组合参数 舀，卢即可产生模型人脸( 最。，z k 。) 。 2 4 三维形变模型匹配优化 形变模型的匹配过程实际上就是针对特定人脸图像的三维人脸建模过程，即 将模型与特定人脸图像进行匹配得到模型组合参数。这里先给出模型匹配的误差 形式，然后对误差进行最小优化。 2 4 1 模型误差 有了三维人脸形变模型，对于给定的人脸图像要进行三维建模，就是要调节 模型组合参数，使模型三维人脸在相同视点获得的图像与给定人脸图像的误差最 小。如果使用图像对应像素点的灰度差的平方和作为两图像的误差，则要求模型 第2 章基于形变模型的三维人脸重建方法 组合参数使得下式最小： e j = 。l | ，哪o ，y ) 一，训( w 耵 ( 2 - 5 ) 其中泐。，是给定人脸图像，。o d “是三维人脸模型在某视点观察得到的人脸图 像，它由光照模型和摄像机模型来决定。 为了得到三维模型产生的人脸图像，首先要确定摄像机模型，这里对摄像机 模型作如下假设：焦距可调，视点可变，但视点与人脸中心距离固定，视方向由 视点指向人脸中心，图像平面垂直于视方向。这样的摄像机模型可以获得人脸不 同大小，不同视点的人脸图像。确定了摄像机模型，就可以确定三维人脸模型上 的点( z ，y ，z ) ( 对应纹理值为，g ，b ) ) 在图像平面上的投影点仁，y ) 。有了摄 像机模型，还要确定光照模型，考虑到计算的复杂性和图像的实际效果，这里采 用p h o n g 光照模型，此时模型图像。0 d 酣在点( 芹，y ) 的颜色值有下面形式： ，m o d 。，( x ，y ) = ( 厶，m o d “( x ，y ) ，g ，。o d d ( x ，y ) ，丑聃d “( 工，y ) ) ( 2 6 ) 其中，r 。d d o ，y ) 由p h o n 龇照模型计算： ，月。o d 。，( x ，y ) = 尺( ，衄+ ，d h 诹( 三) ) + k ，d 凇( f 矿) 4 ( 2 7 ) 这里k 、船r 是环境光和直射光的强度，墨是镜面反射系数，己、，、 矿分别是点，y ，z ) 的入射方向、法向、反射方向和视方向，订是表面光滑系数。 厶，。埘0 ，力，? 。d 0 ，力的计算类似。 有了三维人脸模型的图像表示形式，则( 2 5 ) 式中的误差可以看作关于摄像机 参数和光照参数( 一起用芦表示) ，以及模型组合参数蜃，万的函数，记为 e ( 西，芦，卢) ，从而使用形变模型来匹配特定人脸图像的问题就变成了对函数 e 暖，多，刃的最小优化问题。 2 4 2 随机优化 对( 2 5 ) 式的最小优化问题，采用随机梯度下降法【4 7 1 来解决。 在实际计算中，为了在三维人脸模型的投影图像上获得均匀的随机点，根据 三维人脸模型的三角面在图像平面上投影面积的大小，随机选择定数量的三角 面，并使用三角面的重心点来计算模型人脸图像和给定人脸图像的误差，即用下 北京工业大学工学硕士学位论文 式代替e ，： e 。* 峙。( - ，瓦) 一j ，列2 ( 2 - 8 ) i e 芷 “ 其中k 是随机点集，( 孔，y 女) 是随机三角面片的重心点在图像平面上的投影 点。使用随机梯度下降法可以大大加速最小优化的效率。 2 5 模型匹配中存在的问题 由于形变模型的原型人脸数据量非常大，模型由2 0 0 个原型人脸组成，而每 一个原型人脸由维数约为1 3 0 ，0 0 0 的形状向量和纹理向量表示，但注意到( 2 5 ) 中的求和要计算三维人脸模型的投影图像，且使用模型匹配人脸图像的过程是多 参数的非线性优化问题，其计算复杂度很高，要进行所有点的光照和投影计算显 然开销很大，因此采用了随机梯度下降法4 7 1 来解决上面的最小优化问题。选取 6 4 个随机三角面片的重心，依据每个面投影后的面积占所有随机面投影后面积 的和的比例来影响梯度的变化。在迭代开始前计算一次所有面的面积，以后每迭 代1 0 0 0 步计算次面积。这样虽然可以大大加速最小优化的效率，但在每一步 的迭代过程中，随机选择若干点进行优化，无法准确的反映整个目标函数的梯度 方向。本文在第四章给出种基于部件的三维形变模型，将部件作为重建目标， 在目标函数的最小值优化过程中，采用梯度下降法，使模型取得更好的匹配效果。 2 6 本章小结 作为一种新的人脸建模方法，形变模型具自动化、真实感好等许多优点。 本章主要介绍了三维形变模型的基本原理，对形变模型建立过程中的各个环节进 行了详述，包括三维数据库的建立，模型的建立和模型匹配等几个方面。并指出 形变模型在实际应用中存在的问题。 第3 章基于三维部件技术的多姿态人脸识剐 第3 章基于三维部件技术的多姿态人脸识别 本章主要介绍了基于三维部件技术的多姿态人脸识别方法，该方法提取人脸 的三维部件作为识别的特征，采用两层分类方法进行分类，并利用f i s h e r 线性判 别闭对两层分类方法做了进一步分析。 3 1 相关研究工作 人脸的识别是一个整体识别和局部特征识别共同作用的结果；具体来说，远 距离人脸识别，主要是整体识别，而在近距离的人脸识别中，特征部件的识别则 更重要。人脸各部件对识别的贡献也各不相同，如眼睛和嘴巴的重要程度大于人 的鼻子，人脸上半部分的重要性大于人脸下半部分【4 9 l 。基于部件人脸的人脸识别 比基于整体的方法更直观，它提取并利用最有用的特征，如关键点的位置及部件 的形状分析等，基于整脸特征的人脸识别，由于把整个人脸图像作为模式，那么 光照、视角以及人脸尺寸会对人脸识别有很大的影响。但基于部件的人脸识别方 法也有很多困难，其难点在于如何建立好的模型来表达、识别部件，近年来的一 个趋势是将人脸的整体识别和局部特征分析的方法结合起来。勋n a d a 【5 0 1 分析了 人脸区域中各个子区域的识别能力，并以此为基础得到了一种鲁棒的多姿态人脸 识别方法。 h e i s d e 【5 3 等提出了一种基于部件的多姿态人脸识别方法，该方法首先利用基 于部件的检测模板从输入人脸图像中检测人脸，并提取各个人脸部件作为最终的 人脸识别的特征。相对于整脸，基于部件技术的人脸识别可以达到较好的识别效 果：但该方法需要采集大量样本，当目标人脸跟库中样本的姿态差别比较大时， 识别率急剧降低；分类中，把部件的整体组合作为识别特征，忽略了各个部件的 局部特性。 由于二维图像的固有属性，当两个人脸样本姿态差距较大时，难以实现两个 样本的有效对齐，对识别的效果影响很大，近年来人们开始利用三维模型来解决 该问题。t v c t 【e r 提出了基于三维原型人脸库的形变模型，使用原型人脸建立人 脸组合模型，通过模型匹配实现了从一幅人脸图像重建三维特定人脸。该方法利 北京工业大学工学顾士学位论文 用三维人脸数据包含的形状信息和纹理信息，以及三维数据的可变性以及三维真 实性，较大程度上排除了光照和姿态的影响。如图3 1 ，不同姿态的二维人脸差异 较大，但重建三维人脸并抽取人脸三维部件后，对主要部件而言，差异相对较小 ( 图3 - 1 d ) ，因此识别中可以增加这些部件的权重，同时降低受姿态影响较大的 部件的权重。 ( a ) 所有三维部件( b ) 多姿态人脸照片 ( c ) 主要三维部件( d ) ( b ) 对应的三维人脸的主要部件 图3 1 不同姿态的人脸对应的主要三维部件 f i g u r e3 一lm a i n3 d 而【c ec 唧蚰e n t s1 】n d e rd i 蝤e n tp o s e s 利用形变模型重建的三维人脸进行识别，增加了深度信息，同一个人，几何 数据是一致的，纹理数据与几何数据是一一对应的，任意姿态照片重建的三维人 脸，都可以与正面人脸重建的三维人脸直接比较，结合部件对姿态的鲁棒性，一 定程度上能克服可以姿态变化的影响。在分类算法中，将人脸的局部特征和全局 特征结合起来，可以取得了更好的识别效果。 3 2 人脸特征提取 本文的三维形变模型，采用了基于分片重采样的三维人脸对齐方法，所有三 维人脸具有统一的拓扑结构。人脸的分片以人脸的特征区域为准则，各个部件以 分片为基础来划分，整个三维人脸定义为所有部件的组合，表示人脸的全局特征， 每个部件代表着人脸不同的区域特征，表示对于姿态的变化具有一定鲁棒性的局 第3 章基于三维部件技术的多姿态人舱识别 部人脸特征。在基于三维形变模型的多姿态人脸识别中，人脸边缘信息受姿态影 响较大，在重建过程中还受到背景信息的影响，重建效果不理想，因此如果将整 脸信息作为为单一向量作识别特征，将影响识别效果。我们采用三维部件技术可 以较好好的解决该问题。 3 2 1 基于a s m 的三维分片 本文的形变模型是以重采样为对齐方式的，分片是重采样的关键步骤，三维 部件提取是以分片为基础的，分片的准确性影响到部件的提取。本文根据原型脸 包含三维形状信息与纹理信息两部分数据的特点，利用a s m 【3 0 】在纹理图上辅助 标定特征点，以特征点的连线作为分片边界，然后将该边界映射到三维空间中进 行分片，相对简单易行。歇而保证分片与特征区域的一致，使三维部件的提取更 加精确。 主动形状模型( a s m ) 是一种基于统计模型的图像搜索方法，通过对具有一 定代表性的同类目标物体图像进行统计来进行建模。从而得到反映目标物体图 像二维形状变化规律的形状统计模型，以及反映特征点局部区域的灰度变化规律 的局部纹理模型。在目标搜索过程中利用先验知识进行模型初始定位，然后利用 局部纹理模型进行特征点搜索，并利用形状模型对形状进行合理的近似调整。利 用a s m 定位特征点主要包括特征点标定、建立形状模型、建立局部纹理模型以 及目标搜索四部分。 ( 1 ) 特征点标定 为实现对待搜索的目标图像的形状建模，首先利用其位置坐标来实现对待搜 索物体的表述( 如图3 - 2 ) ，其形状向量墨可以表示五= 。，矗。) ，* l ，) 。 ( a 】原型人脸( b ) 标定特征点后的人脸 图3 2 纹理图上特征点的标定 f i g r e3 - 2f t u r ep o i i l t sm a 成e do nt h r em a p 第3 章基于三维部件技术的多姿态人脸识别 3 2 2 三维人脸部件的划分 利用三维形变模型完成三维人脸重建后，所有三维人脸具有统一的拓扑结构， 每个三维人脸共有1 2 5 6 0 1 个点、2 4 9 8 5 6 个三角面片。在三维形变模型建模过程 中，将人脸划分为1 2 2 个片，依据该分片规则，本文将整个人脸划分为3 6 个部 件( 如图3 4 ) 。 部件划分原则如下： ( 1 ) 为了保证人脸的信息完整，关键特征如眉毛、眼睛、鼻子等需要被划分 到同一个部件。 ( 2 ) 在额头，面颊等区域，人脸的纹理信息过渡平缓，而且这些区域受姿态 变化影响相对较小，可根据情况，适度划分部件。 ( 3 ) 在边缘区域，受姿态变化影响较大，对识别效果可能会产生负面影响。 因此，我们将边缘部位某些具有连接关系的分片划分到同一部件中。 图3 - 4 三维人脸部件分布图 f i g u r e3 - 43 d 蠡垃ec o m p o 乜d i s 扛协u t i n g 鲫h 在训练过程中，给定n 张二维正面照片，利用形变模型重建每张照片对应的 三维人脸，提取人脸各个部件c ，每个部件用其几何向量和纹理向量乃表示： 其中f = l ，2 朋，州为三维人脸的部件数，_ ，= l ，2 ，( ，) 是和顶 点( b ，z 排) 对应的r ，g b 颜色值，2 为每个部件的点数。 种钟 搿如妨 磊再麓驴铲 北京工业大学工学硕士学位论文 基于上述分类器进行人脸识别，可以确定每个部件的识别率，根据该识别率， 确定每个部件在整体强分类器中的权值仍，最后整体分类器的分类公式为： m g 。( c ) = m n ( ：d 。+ 伊，) 其中如= f l 。一国前jj + l 。一国。l ( 3 8 ) 任何一个三维部件c ，都可以表示为相应特征子空间的线性组合，其加权系数 为部件的代数特征。实验证明，该特征是人脸部件表示的最佳特征，而对于分类 来说并不是最佳的，所以这种人脸识别方法的结果不是很理想。为了改善识别效 果，我们在分类中采用f i s h e r 线性判别作迸一步的分析。 3 3 2f i s h e r 线性判别 f i s h e r 线性判别的思想是寻找特征空间的个投影空间，使得投影后样本的 类间散度矩阵和类内散度矩阵的比值最大，也就是在投影空间中，属于不同类别 的样本尽可能的分开，而属于同一类别的样本尽可能的聚集在一起，因此可以在 此投影空间中得到较好的分类结果。下面介绍f i s h 口线性判别的实现过程： 设有训练样本集“，屯，屯，x 。) ，分别属于c 种不同的类别 q ，f = l ，2 ，c ，而m 是类q ，中样本的个数，p r ( q ，) 是类q ；的先验概率密度。 那么定义各类样本均值为肛2 音艺黾，扛1 ，2 ，c 。总样本均值为 川氲 ：专兰工，类内样本协方差矩阵为，= 争( 矗一胁) ( h 一“) r ，样本类 胪专酗类样本协方差矩阵舭，2 寿荟p 胁) ( 矿脚7 ，样本类 内离散度矩 ；藿季i 萋美慧吲鳓。，醇冀丽穗措谓孺；t；登爿叁季萋鬟攀0餐掣鍪零裔檠醛鍪 翟i懿攀。喜!萋髓一：盒甥丢菝骖髻绻磬毛：i幅搭l男嗽粥湃演同撤哟：霆静职嬖爸萋钟臼驰勤蓉：磨嚣擘翁镫衙澄陪峪臻淄灞。掣糍囊jii情僵溥獾名 时希望各类样本内部尽量密集，即希望类内离散度越小越好。因此可以定义f isher准则函数为，()：氅三垒璺，那么最优的投影矩阵定义为 北京工业大学工学硕士学位论文 3 4 2 三维部件技术与整脸识别比较 三维形变模型在重建过程中，将二维输入图像与三维模型进行匹配，获得 三维人脸的形状、纹理参数以及相应的光照、姿态等信息，形变模型的变形系数 可以作为特征进行人脸识别。这里所指的整脸识别就是指使用该特征进行人脸识 别，3 d 部件技术是指按照本文的部件划分原则，抽取各个部件后，各个部件赋 予相同的权值，识别结果如表3 2 ： 表3 - 2 基于3 d 部件技术与整体人脸识别的比较 t 曲l e3 - 2r 艇o g n i 酊o nm t eo f 3 dc o m p o n 扎t s 小船e da dw h o l e3 df a c j 前矿趔 整脸识别3 d 部件技术 最近邻法 5 4 3 8 3 3 f i s h e r 线性判别 5 8 5 8 5 2 三维形变模型在获取变形系数的同时，充分考虑外部条件的交化，比较彻底 的排除外部条件的干扰，所以变形系数是三维人脸的一种很好的表示形式。但变 形系数表示人脸也存在一些问题，一个主要的因素就是受原型人脸样本集的影 响，在我们的试验中，采用2 0 0 个原型人脸建立形变模型，经过主元分析后，形 状基向量个数为6 4 ，纹理基向量的个数为1 0 9 ，而实际三维人脸是由维数约为 1 3 0 ，0 0 0 的形状向量和纹理向量表示，可以看出，变形系数对人脸数据的压缩很 大，造成了一些三维人脸信息的丢失，最终影响人脸识别的效果。本文的三维部 件技术，以真实的三维人脸数据为识别对象、并考虑了不同部件对人脸识别的影 响，相对于变形系数，取得了较好的识别效果。 3 4 - 3 单个部件识别率分析 我们将单个部件分别作为分类器，按照3 2 2 节介绍的方法提取特征后，利 用公式( 3 7 ) 进行分类，为了进一步改善识别效果，采用f i s h e r 线性判别作进 一步的分析，能够取得更好的分类效果。在f i s h e r 线性判别中，需要计算f i s h e r 投影矩阵，对于训练库中的正面照片，我们重建三次，既可以降低在特定人三维 重建过程中出现的误差对识别的影响，也配合了f i s h e r 投影矩阵的计算。识别结 果如表3 3 、表3 4 。其中表3 4 中部件a ，b ，c ，d ，e ，f ，g 是一些位于边 缘部位的部件( 如图3 6 ) 。 第3 常基于三维部件技术的多姿态人脸识尉 影响：在分类中，采用两层分类方法，根据每个部件的识别率决定其在整体分类 中的权值，然后基于整脸信息进行识别。 通过实验结果，我们可以得出以下结论： ( 1 ) 本文通过形变模型重建每张二维人脸对应的三维特定人脸，利用三维 部件解决人脸识别问题，与二维基于部件的多姿态人脸识别相比，由于增加了深 度信息，对于各个姿态的人脸，识别率也比较接近，而且在不增加训练样本的情 况下，识别效果取得了明显的改善。 ( 2 ) 与三维模型变形系数的比较可知，变形系数虽然是三维人脸的一种很 好的表示形式。但它对人脸数据的压缩很大，造成了一些三维人脸信息的丢失， 最终影响人脸识别的效果：本文的三维部件技术，以真实的三维人脸数据为识别 对象、并考虑了不同部件对人脸识别的影响，取得了更好的识别效果。 ( 3 ) 采用本文提出的两层分类方法，把人脸的局部特征和全局特征有效的 结合起来，进一步改善了识别效果。 2 9 第4 章基于部件的三维形变模型 第4 章基于部件的三维形变模型 模型匹配是形变模型的关键步骤，匹配效果将对模型的应用产生很大的影 响。本文在分析原形变模型的基础上，提出了基于部件的三维形变模型，降低目 标函数的复杂度，一定程度上改善了匹配效果。 4 1 问题的提出 形变模型的原型人脸数据量非常大，模型由2 0 0 个原型人脸组成，而每一个 原型人脸由维数约为1 3 0 ，0 0 0 的形状向量和纹理向量表示，但注意到( 2 5 ) 中的 求和要计算三维人脸模型的投影图像，且使用模型匹配人脸图像的过程是多参数 的非线性优化问题，其计算复杂度很高，要进行所有点的光照和投影计算显然开 销很大，因此采用了随机梯度下降法【4 9 1 来解决上面的最小优化问题。随机梯度下 降法虽然能够减少计算量，加快优化速度，但在每一步循环中，随机从函数集合 中选择其中的某些函数来改变循环变量x 的值，x 向量是随机变化的，无法保证 目标函数沿正确的梯度方向移动，最终影响三维模型的匹配效果。由此可见，形 变模型优化问题的瓶颈在于原型入脸数据量非常大，导致日标函数复杂度很高， 要解决该问题，其中一个有效的方法，就是降低目标函数的复杂度。 另外，由第三章的识别结果我们可以看出，在多姿态人脸识别中，边缘部件 受姿态影响较大，重建结果很不理想，如果这些部件参与人脸识别的最终分类， 可能会对人脸识别造成一定的负面影响；同时，图3 1 的1 4 个部件能基本反映 整个三维人脸的主要特征，因此，我们可以考虑简化模型的形式，只重建关键特 征区域的三维信息。 4 2 基于部件的三维形变模型 由前一节的分析可以看出，在多姿态人脸识别结果中，原三维形变模型的重 建结果 x 北京工业大学工学硕士学位论文 4 5 1 模型参数的定义 部件的形状和纹理是通过参数口，届来表达的。而构成投影参数的其他所有 外部条件用参数芦来表示，其中包括摄相机位置( 方位角和高度) ，对象缩放尺 度，图像旋转和平移，环境光强度f r ，耐，。，。，直射光源强度f ，。，f 。，。 为了应对在复杂情况下拍摄的图像，这里的乃也需要包括颜色的不同分量 脚，g 理e 6 缸e 的对比度。其他参数，比如摄像机距离、光源方向以及人脸皮肤 的材质，是需要事先的人为估计。 光照调节以及纹理提取：人脸中有一些特殊的特征点在三维模型中是考虑不 到的，比如面部特征中的痣；而这些特征在三维模型中的展现是在匹配过程后期 的纹理适应阶段来获得的。人脸图像中的纹理提取技术在利用二维人脸图像生成 三维模型的算法中被广泛应用。然而，为了能够任意改变姿态和光照，需要能够 将纯粹的黑点与由于光照与姿态变化导致的阴影区分开。由于我们的方法能够估 计出人脸的三维形状、姿态以及光照条件，这个需求很容易被满足。在做匹配投 影之后，对于每一个三维点f ，都可以通过比较其在三维模型中的亮度，一与输 入图像中相应点灰度值，( p 妒p ，j ) 的差别，来决定下一步对模型变形值进一 步的修改。在图像生成过程中，被遮挡的区域可以根据模型的三维结构以及实际 的姿态来进行估计。 4 5 2 与二维图像的匹配 在参数( 厅，扫，卢) 给定的前提下，根据透射投影以及p h o n e 光照模型的规则， 能够生成投影后的二维图像： “d ( 工，力= ( 删( x ，y ) ，“( x ，y ) ，厶。一亿y ) ) 1 ( 4 - 4 ) 生成的这幅图像需要利用( 4 3 ) 式与输入图像作不断的逼近。 在人脸向量空间中，根据先验概率p ( 厅) ，p ( 声) 以及外部条件估计p ( p ) 。在 给定输入图像的前提下，根据贝叶斯估计的原理，需要找到最大后验概率情况下 的最佳变形系数以及外部参数。变形系数西，口和外部条件芦是模型生成图像 ，。的决定因素。这里假定一个正态分布，令标准差为盯。，这样输入图像的分 第4 章基干部件的三维形变模型 型使用了形状和纹理向量的前m 个主元作为组合的基底，分别建立六个部件模 型，利用相应的模型，重建各个三维部件。如图4 - 2 ( a ) 为输入二维照片，( b ) 为 对应的六个主要部件，( c ) 为应用本文的基于部件的重建的结果。 ( a ) 二维人脸( b ) 二维部件 ( c ) 基于部件重建的三维结果 图4 2 基于部件的重建结果 f i g m4 - 2r e c o 璐帆c tf ；e s u i fo f b a s e dc o m p o n e n t s 我们比较了基于部件的形变模型与原基于整脸的形变模型的在重建过程中 的匹配效果。这里我们称原基于整脸重建的模型为原模型，基于部件的形变模型 为部件模型。判别准则采用形变模型的误差函数来表示，即 日= 。0 j 岫，( x ，y ) 一，。( x ，_ y ) ，其中，是给定人脸图像，。“是三维部件 在某视点观察得到的投影图像。形变模型重建过程中关键的一步是三维模型与二 维图像的匹配工作。为了得到二维图像中部件的三维结构，需要缩小模型变形结 果与实际部件图像的差别，因此将模型误差作为判别准则能真实的反映三维模型 的匹配效果。原模型原型人脸共有1 2 5 6 们个点、2 4 9 8 5 6 个三角面片，最小优化 过程中，随机选择6 4 个点计算目标函数值。本文的部件模型中每个部件共2 1 7 8 个点，4 0 9 6 个三角面片。 对于原模型，整脸重建完成后，需要抽取相应的六个三维部件，分别向二维 作投影，与原始输入图像相应的部件计算误差；对于部件模型也采用相 喜专( 戌一尼) ( 风一器i j i 拢事些悉用卒文的基蠢j 嬲婴磊爱黪蚤 鋈二，随蜀一：霉；州懈趣一域罐峦卿乏譬，攀暴臻剿眢j鬟丽苛丽蓬将鞑留餐点；本文的基于部件的三维形变模型，相应部件的 匹配效果优于整脸重建的效果。 由此可见，随机梯度下降法，在提高匹配速度的同时，一定程度上降低了匹配的 精度，在整脸数据中随机选择若干象素点计算误差，难以保证整个人脸在各个部 x 北京工业大学工学硕士学位论文 方法采用梯度下降法，选择单个部件的所有象素点参与目标函数的计算，在输入 条件相同的情况下，能保证目标函数最快达到某个最优解，从而使每个部件能达 到相对较好的匹配效果。 表4 - 1 部件k ，与o d 误羞值 t a b l e4 - 1a v e m g ee n d rb e t 、v e e ni n p u ti m a g e 柚dr e c o n s t r l l c t e d3 dc o n l p o n e n ti m a g e 、部件 误亲椿 左眉右眉左眼右眼鼻子 嘴 原模型 5 5 9 1 1 5 77 1 2 5 3 8 96 1 9 4 2 7 75 5 3 2 9 7 35 9 8 1 1 4 0 1 5 4 3 3 8 6 部件模型 4 8 0 3 5 7 l5 3 4 6 8 5 95 6 3 1 4 7 04 1 2 2 6 1 85 1 2 3 0 7 51 4 7 6 6 3 7 4 6 2 识别效果比较 另外，我们采用第三章提出的基于三维部件技术的多姿态人脸识别方法，结 合两层分类方法，应用中科院计算所c s p e a l 数据库5 7 1 对应用本章方法重建的结 果做进一步的分析。 我们选取1 0 0 个人正面人脸作为训练样本，水平方向士2 2 5 0 、士4 5 0 的人脸图像 作为测试样本，提取眉毛、眼睛、鼻子、嘴等六个部件后，利用本章提出的基于 部件的三维形变模型重建各自对应的三维部件，在对纹理向量和几何向量分别进 行k - l 变换后，采用第三章提出的两层分类方法，进行识别，并与第三章的识别 结果进行了对比。 表4 2 主要部件的识别率比较 t a b l e4 - 2r e c 0 弘i 廿0 nm t eo f s i xm a i nf a c ec o m p o n e n 乜 飞i 蔚率部件 左眉右眉左眼 右眼 鼻子嘴 、 原模型 3 6 2 3 5 7 4 8 1 4 6 5 5 5 4 5 6 2 部件模型 3 7 1 3 6 3 4 9 4 4 7 9 5 7 8 5 8 4 表4 - 3 整体识别与两层分类识别的比较 t a b l e 如3c o m p a r i s ol e 如3c o m p a r i s o n0 f t e c o 印i 日o nr e s m t sb a s e do nw h o l e f 缸ea n dt w o l l a y e t c l 笛s i e c a t i o n 蕊秘制两层分类 原模型 725 7 5 1 部件模型 7417 6 6 从表42和43的结果可以看出，相对与原模型，部件模型可以取得较好的 第4 章基于部件的三维形变模型 无论是单个部件的识别，还是采用两层分类方法，都取得了更好的识别效果。 4 7 本章小结 本文提出的基于部件的三维形变模型，以单个部件作为重建对象，大大的降 低了模型的复杂度。在模型的匹配过程中，定义相同视点下获得的部件图像的与 给定部件图像的误差作为目标函数，在目标函数的最小优化过程中，采用梯度下 降法，取得了更好的匹配效果，应用于基于三维部件技术的多姿态人脸识别中， 使提取的三维部件更加精确，相对于整脸重建的结果，识别效果也有了一定的改 善。 结论与展望 本文工作是在实验室的三维形变模型的基础上，围绕解决多姿态人脸识别问 题而展开，实现了基于三维部件技术的多姿态人脸识别方法以及基于部件的三维 形变模型方。 本文结合三维型变模型和基于部件技术的人脸识别方法，实现了基于三维部 件技术的多姿态人脸识别方法。利用三维形变模型重建每个二维人脸图像对应的 三维人脸，将三维部件作为识别的特征。与一些二维识别方法，由于三维人脸增 加了深度信息，同时结合部件对姿态的不敏感性，一定程度上克服了姿态变化对 人脸识别的影响，可以大大减少对样本的依赖。同三维整脸识别的比较可知，形 变系数是虽然是一种很好的三维人脸的表示形式，但对三维人