（计算数学专业论文）基于视频图像的三维人脸模型的构建与身份认证的实现.pdf

硕士论文 基于视频二维图像的三维人脸模型的构建与身份认证的实现 摘要 人脸的计算机模拟长期以来一直是计算机图形学领域一个非常活跃的课题。 近年来，以详尽的脸部信息来重建人脸模型取得了许多成果，但其成本昂贵，只 能适合一些特殊场合的应用，还有一些方法如单张照片或正侧面照片建模，又对 人脸的角度进行了严格的限定，并不能满足实际情况的需要。鉴于此，本文将通 过从一段视频中提取两张照片进行三维人脸建模，并在此基础上实现通过人脸进 行身份识别。 本文首先分析了三维人脸建模的应用前景、发展历史及其现状。接着依据人 体测量学、人体解剖学等关于脸部特征的原则定义了脸部特征点。 其次从一段人脸视频中利用n a g a s a k a 方法提取出两张人脸图像，估算出人脸 旋转角度，利用几何学中关于物体旋转和计算机图形学中立体视觉的知识列出入 脸旋转方程，进而求得人脸特征点的三维坐标，再利用c a n d i d e 3 人脸模型的知 识建出人脸网格模型，用改进的l o o p 细分对粗糙的原始网格模型进行细分，并用 纹理映射生成具有真实感的人脸模型。 最后我们对用人脸进行身份识别进行了研究。用前面的方法算出人脸的三维 坐标与一些正面人脸模板进行比对，定义了误差公式，用这个误差公式来判定一 段视频的人脸是否在我们的正面模板中。并取了两段视频进行试验，取得了不错 的效果。 关键词：三维人脸模型，视角差，l o o p 细分，纹理映射，身份识别 a b s t r a c t 基于视频图像的三维人脸模型构建与身份认证的实现 a b s t r a c t h u m a nf a c es i m u l a t i o no nc o m p u t e rh a sa l w a y sb e e na na c t i v i t yp r o b l e mi n c o m p u t e rg r a p h i c s i nr e c e n ty e a r s ，m a n yr e s u l t sh a v eb e e n a c h i e v e di n3 df a c e c o n s t r u c t i o nw i t hp a r t i c u l a rf a c ei n f o r m a t i o n h o w e v e r ，g e t t i n gs om u c hi n f o r m a t i o n i se x p e n s i v e ，a n di t o n l yc a nb eu s e di ns o m ep a r t i c u l a rs i m u l a t i o n s o m eo t h e r m e t h o d sl i k eu s i n go n ef r o n t2 df a c ei m a g eo ro n ef r o n t2 df a c ei m a g ea n do n ef r a n k 2 df a c ei m a g eh a v el i m i t e dt h ea n g l eo ft h ef a c ei m a g e ，i tc a n tw i d e l yu s i n gi nt h e r e a l i s ml i f e s oi nt h i sa r t i c l ew ew i l ld i s c u s st h ec o n s t r u c t i o na n dr e c o g n i t i o no ft h e 3 dh u m a nf a c eb yp i c k i n g u pt w of a c ep h o t o sf r o mo n ev i d e o f i r s t ，t h i sa r t i c l ei n t r o d u c e st h ea p p l i c a t i o n ，h i s t o r ya n ds t a t u so f3 df a c em o d e l a n dw ed e f i n ef a c ef e a t u r ep o i n t sb a s e do nt h ea n t h r o p o m e t r ya n dt h ea n a t o m y s e c o n d ，w ep i c k u pt w oh u m a nf a c ep h o t o sf r o mo n ev i d e ob yt h en a g a s a k a s m e t h o d ，c o m p u t et h ed e g r e e sr o t a t i o no f t h e s et w op h o t o s ，a n ds o l v e3 dc o o r d i n a t eo f h u m a nf a c ef e a t u r ep o i n t sb yt h ek n o w l e d g eo f c o m p u t e rg r a p h i c sa n dg e o m e t r y a n d w ec o n s t r u c tt h eh u m a nf a c em o d e lu s i n gt h em e t h o do fc o n s t r u c t i n gc a n d i d e 一3 m o d e l f o rt h i ss p a r e dm e s h ，w eu s eam o d i f i c a t i o no fl o o ps u b d i v i s i o nt oh o l dt h e o r i g i n a ls h a p eo ft h em o d e l t h ef a c em o d e li sm o r er e a l i s t i ca f t e rt e x t u r em a p p i n g f i n a l l y ，w ed e f i n eaf o r m u l ao fe r r o ra n dc o m p a r e3 dc o o r d i n a t eo fh u m a nf a c e f e a t u r e p o i n t sb e t w e e nc o m p u t e da n ds o m ef r o n tf a c ep h o t o si no r d e rt ot h e r e c o g n i t i o no ft h e3 dh u m a n a n dw eg e tag o o dr e s u l ti no u re x p e r i m e n t s k e yw o r d s ：3 dh u m a n f a c em o d e l ，a n g l ed i f f e r e n c eo fv i e w ，l o o ps u b d i v i s i o n ， t e x t u r em a p p i n g ，f a c er e c o g n i t i o n 图表日录基于视频图像的三维人脸模型构建与身份认证的实现 图表目录 图2 1 视频人脸建模过程5 图2 2 人脸的“三庭五眼”8 图2 3f d p 中的特征点定义8 表2 1 本文脸部图片所采用的人体测量学中部分测点9 表2 2m p e g 4 中特征点位置1 0 图3 1e a n d i d e 3 人脸模型1 2 图3 2 正面照片取特征点1 2 图3 35 6 个特征点的c a n d i d e 3 模型“1 3 图3 4 正面图像水平旋转l3 图3 5 视频1 的部分帧1 6 图3 6 视频l 选取的两帧图像1 6 图3 7 正面照片平面旋转姿态1 7 图3 8 侧身度旋转姿态旋转1 8 图3 9 侧面照片垂直深度旋转”1 8 图3 1 0 正面照片垂直深度旋转1 8 图3 1 1 两幅人脸图像的旋转角度”1 9 图3 1 2 正侧面图像归一化示意图”1 9 图3 1 3 重建的人脸模型2 0 表3 1 经典细分方法分类2 2 图3 1 4 l o o p 细分规则2 3 图3 1 5 细分结果2 3 图3 1 6 原始图像l o o p 一次细分后的图像l o o p 两次细分后的图像2 4 图3 1 7 原始图像改进l o o p 一次细分后的图像改进l o o p 两次细分后的图像 “2 4 图4 1 实现身份认证的流程2 7 图4 2 部分人脸模板2 8 表4 1 视频l 误差表3 0 图4 4 视频2 的部分帧3 0 图4 5 视频2 选取的两幅人脸图像3 0 表4 2 视频2 误差表3 2 声明尸明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：铋起 硝年加加 硕士论文 基于视频图像的三维人脸模型构建与身份认证的实现 1 绪论 自7 0 年代以来，人脸识别和建模得到了广泛的关注，许多研究者提出了各种 不同的人脸识别和建模的方法。而如何用最低的成本，最快的速度，最准确的对 人脸进行建模，一直是各个研究者追求的目标。本文将选择从一段人脸视频中提 取两张人脸照片进行建模研究。 1 1 选题背景和研究意义 3 0 年来，人脸的造型和动画作为计算机图形学的一个独特分支越来越受到 人们的重视。受电影和录像中高频率出现虚拟人物，廉价的桌面处理能力和人机 交互中需要的影响，人脸造型和动画技术的研究成为近年来的一个新热点。 人脸是人类相互交流的重要渠道，是人类喜怒哀乐等复杂表情和语言的载 体。长期以来，人们对人脸的复制一直都抱有浓厚的兴趣。早期采用的方法主要 包括粘土雕塑手工绘画。随着技术的发展，出现了照片和电影，但其复制机制仅 限于二维产品。而从二十世纪中旬开始，计算机技术得到了迅猛的发展，人们使 用计算机在人脸复制方面的研究也随之增多，取得了丰厚的成果。第一个三维人 脸动画是p a r k e 在1 9 7 2 年创建出来。到了1 9 7 3 年，g i l l e n s o n 发展交互系统用于 安装和编辑线画人脸图像。在1 9 7 4 年p a r k e 发展了一个参数化的人脸模型。在 2 0 世纪八十年代，p l a t t 提出了第一个基于物理的肌肉控制的人脸模型和b r e n n a n 的人脸漫画技术。到了八十年代后期，w a t e r s 发展了一个新的基于肌肉模型，而 n a d i am t l l a l m a n n 和她的同事则进一步发展了一个抽象的肌肉模型。l e w i s 和 h i l l 发展了人脸说话的合成方法。九十年代人脸的动画技术得到了突飞猛进的发 展，电影“玩具总动员”中人脸的动画技术发挥了重要的作用。1 9 9 3 年，美国国 家自然科学基金委员会还专门组织了脸部建模的研讨会。m p e g 4 标准中也专门 制定了人脸模型参数规范。 下面是人脸建模和识别的一些典型应用： 影视广告：计算机生成的三维虚拟人物在影视、广告中的应用越来越普遍。 人物面部动画是影视处理中最繁琐的工作，能否得到真实感的绘制效果是影响影 视制作的一个关键因素。 游戏领域：传统游戏中的二维场景和虚拟人物很难使游戏者达到身临其境 的感觉。随着图形硬件设备的快速发展，在游戏中使用三维场景和虚拟人物已成 为一个趋势。 安全认证：由于人脸识别技术自身的优点，例如隐蔽性、非接触方式等特 第一章绪论 硕上论文 点，使人脸识别成为近年来生物特征识别领域的研究热点。传统的人脸识别方法 很难处理人脸识别中的姿态、光照、表情等问题。基于三维人脸模型和的人脸识 别方法为解决这些难点问题提供了可行性。 刑侦破案：人脸识别技术在该领域的应用非常广泛。首先，它在罪犯的追 逃工作中可以发挥巨大的作用。公安部门可以利用人脸识别技术扩大追逃效果， 这样可以避免假身份证、假姓名带来的漏洞。 视频会议和可视电话：随着网络带宽的提高和网络技术的发展，视频会议 和可视电话等应用越来越受到欢迎。如何传输人脸图像和接收人脸图像是这些应 用中的核心问题。基于模型的人脸编码系统是实现实时、低比特率可视应用的可 行方案。 视频监视：在许多银行、公司、公共场合等处都设有2 4 小时的视频监视。 另外，侦查员在破案时也要用摄像机进行追踪。对图像进行集体分析时，就必须 用到人脸的检测、动态追踪和识别技术。 医学：人脸建模和动画技术可以进行头颅手术和人脸组织外科手术的模拟。 通过对手术进行仿真，然后做出详细准确的手术方案，提高手术的准确性，减少 风险。 新一代的人机交互：新一代的人机交互应该是类似自然人的交互方式，而 人脸作为信息和情感表达的最重要的载体，是这种智能交互方式的重要组成部 分。人脸建模研究为这种交互的情感分析和表达提供了可行性。 1 2 国内外研究现状 由于人脸形状复杂，面部能够自由形变，因此要建立一个精确地人脸模型 非常的困难。但经过国内外从事这项研究的学者们不懈的努力，还是取得了显著 的成就。 就国际而言，有许多著名的研究单位( 如微软研究院、华盛顿大学、瑞士联 邦技术研究院、多伦多大学、i b m 研究院等) 都设立有专门研究人脸三维建模 的课题组。还有许多著名国际会议如a c ms i g g r a p h ，i c c v ( i n t e r n a t i o n a l c o n f e r e n c eo nc o m p m e rv i s i o n ) 等，著名国际期刊如p a m i ( i e e et r a n s a c t i o n so n p a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i j c v ( i n t e r n a t i o n a lj o u r n a lo fc o m p u t e r v i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、i e e et r a n s a c t i o n so n v i s u a l i z a t i o na n dc o m p u t e rg r a p h i c s 、c o m p e e rg r a p h i c s 等，每年都会出现相当 数量的三维人脸建模论文。 国内在这方面的研究则起步较晚，但发展还是较为迅速。浙江大学、清华大 学、中国科学技术大学、中国科学院计算技术研究所和中国科学院自动化研究所 2 硕上论文基于视频图像的三维人脸模型构建勺身份认证的实现 等在三维人脸的数据获取和建模方面都已经取得了些的成果。浙江大学 c a d & c g 国家重点实验室在曲线曲面建模、真实感图形绘制、计算机动画等方 面也取得了较大得的进展【l 疋五卅；清华大学则利用三角样条曲面进行了面部建模 和动画研刭习；中国科学院计算技术研究所进行的表情分析与识别研究取得了一 些进展【6 ，刀；中国科技大学从正面和侧面两幅图像出发合成了三维人脸模型并制 作了简单的面部表情动画峭堋；中国科学院自动化研究所研制出了基于激光扫描 的三维数据获取方法i i 。但是目前国内都还只限于理论方面的研究，实际应用则 很少涉及。近年来已有相关组织如计算机学会、中国图像图形学学会等专门负责 包括此领域在内的相关学科的学术活动。在此领域国内相关的刊物和学术会议有 计算机学报、计算机辅助设计与图形学学报、中国图像图形学报和c h i n ag r a p h 等，有力地促进了学术交流和发展。 尽管近些年出现了一些新颖的模型和方法。但标准模型和二维数据的拟合， 仍然是一个难点。至今三维人脸建模完全自动化的系统还没有出现。 建立逼真的三维人脸模型主要有以下几个方面的难点： ( 1 ) - - 维面部数据的获取。数据是分析问题的基础。但到目前为止，还没有 一个简单、便捷、实用的二维获取装置。 ( 2 ) 恢复结构信息。获取的三维点数据，只是一些分散的点，没有结构信息， 为了使恢复后的模型具有生机，就必须恢复其结构信息。一种做法是通过变形已 有的标准模型，以形成特定的人脸模型。但为了得到贴切的标准模型，就必须加 大顶点的个数，这样又会使调整模型的复杂度增大。因此，如何将标准人脸模型 调整到特定的人脸模型也是一个令人关注的课题。 ( 3 ) 表情的合成。模拟逼真人脸的表情是三维人脸建模的一个主要的目的。 通过建立模型、协调各部分的运动，以达到逼真的效果，是许多研究者追求的目 标。 ( 4 ) 纹理的合成。从多幅图像出发，如何合成三维人脸面部的纹理，给人以 更好的视觉体验，这是建立三维模型必须面对的一个问题。 1 3 本文的研究路线和内容安排 本文借鉴了一些已有的三维建模方式，期望从一段视频中提取出两张人脸 图像，利用几何学中关于物体旋转的知识和计算机图形学中关于立体视觉的知识 算出人脸图像的特征点的三维坐标，然后对人脸进行建模，最后再实现基于人脸 的身份识别。具体内容如下： 第一章，绪论。分析了三维人脸模型的应用前景和国内外发展的现状，并 对现有的三维人脸重建技术进行了研究，提出了自己的研究内容和目标。 第一章绪论 硕十论文 第二章，三维人脸重建技术回顾和人脸特征点的选取。回顾了三维人脸建 模的发展过程，介绍了人脸的生理结构和人脸的面部特征点定义以及人脸特征点 的选取。 第三章，基于视频的人脸三维建模。从视频中选出两张人脸图像，读出特征 点二维坐标，利用几何学和计算机图形学的知识列出人脸旋转方程，进而算出入 脸的三维坐标并进行建模。再对模型进行细分和纹理映射，以达到真实感的目的。 第四章，基于人脸的身份认证。用第三章的方法算出一段视频中人脸的特 征点的三维坐标，利用我们定义的误差方法，将其与一些正面人脸模板进行比对， 以实现身份认证。 文中所有实验采用的硬件环境均为p e n t i u mi v3 2 0 g h zc p u ，1 g b 内存的 p c 机，软件环境为w i n d o w sx p 操作系统，软件开发平台是v i s u a lc + + 6 0 + o p e n g l 。 4 硕士论文 基于视频图像的三维人脸模型构建1 0 身份认证的实现 2 三维人脸建模技术回顾及特征点的选取 2 1 三维人脸建模技术概论 由于人脸形状复杂，面部表情丰富并且有无数细微的皱纹，因此建立精确的 人脸模型和真实感人脸模型非常困难。目前，用计算机合成真实感人脸已经取得 了一些成就。p a r k e 首先使用人脸参数模型生成了人脸图像；p l a t t 和w a t e r 等人 提出使用肌肉模型来建立虚拟人脸；h o r a c e 等人用两张一些正交照片合成了人 脸；b l a n z 等人提出了一种基于统计归纳的人脸建模方法。最近又出现了用数字 化仪器( 如3 d 激光自动扫描仪、立体摄像机等) 获取人脸全景轮廓信息，进行三 维人脸重建，但这需要昂贵的设备采集数据，离一般实用还有一定的距离。到目 前为止，已有的人脸建模方法根据初始输入方法不同主要分为以下两类： ( 1 ) 直接采集真实人脸的数据进行建模。这种方法着眼于准确的人脸形状，能 够生成精度高的、逼真的人脸，可以满足一些特殊场合的需要。但由于其需要专 门的三维扫描设备，成本昂贵，耗时多，不利于推广。 ( 2 ) 根据人脸的相似性，以一张或多张照片作为输入，结合人体的几何特征进 行建模。该方法价格低廉，不需要专门设备，应用面广。 l 三维重建人脸i l - 一 图2 1 视频人脸建模过程 人脸建模发展至今，主要经历以下几个阶段：7 0 年代的参数模型，8 0 年代 的肌肉模型和近年来的基于图像的建模和绘制技术。 ( 1 ) 2 0 世纪7 0 年代的参数模型 该模型以p a r k e 为代表【l l , 1 2 】，在人脸参数模型中，要考虑两种参数：特定人 第二章三维人脸建模技术同顾和特征点的选取硕上论文 标志参数和人脸表情控制参数。这些人脸模型由于只把人脸描述为一种几何的线 框结构，仅将面部行为用简单的表面几何形状来模拟，而没有从生理上对人脸面 部行为的驱动机制进行考虑，这样就降低了建模的真实感。 ( 2 ) 2 0 世纪8 0 年代的肌肉模型 面部是由骨头、软骨、肌肉、神经、血管、腺体、脂肪组织、结缔组织、 皮肤和头发组成的复杂几何。目前还没有用于面部动画的，完全包括这些脸部部 件的、完整的、详细的模型、但是，已经开发出一些基于面部骨骼结构、肌肉和 结缔组织的简化模型，这些模型主要基于面部肌肉，具有模拟面部表情的能力 1 3 , 1 4 , 1 5 , 1 6 】。 ( a ) 人脸表情编码系统 广泛使用的描述人脸表情的方案是由e k m a n 等人提出的【1 7 】，它描述了4 4 个能够独立运动的面部动作单元。这些单元与导致脸部表情的肌肉结构紧密相 连。在这个系统中，e k m a n 等人还研究鉴别了6 中基本表情，分别为怒、厌、怕、 喜、哀、惊。e k m a n 等人研究开发这个系统作为描述和编码面部表情的手段，它 包含了所有独立控制人脸肌肉的运动。这个系统虽然不是专门为计算机人脸动画 设计的，但它为计算机人脸表情控制奠定了基础。 ( b ) 简单肌肉模型 1 9 8 1 年，p h a n 和b a d l e r 开发了一个部分脸模型【l3 1 ，其人脸表面的顶点弹性 相连，并且通过其具有收缩性和弹性的肌肉链接到基本骨骼上，脸部表情通过把 力作用于有基本肌肉弹性连接的皮肤网格进行控制。到了1 9 8 7 年，w a t e r s 等人 对上述模型进行了改进，以人体解剖学为基础，开发了一个新的人脸模型。这个 模型既考虑了肌肉的活动，还考虑了脸部结缔组织对肌肉运动的影响 ( c ) 伪肌肉模型 19 8 8 年，m a g n e n a t t h a l m a n n 等人又开发了一种肌肉模型，其中控制参数 是“抽象肌肉运动”过程，这些过程与人脸表情编码系统有些类似，但不是完全相 同。这个系统的过程不是独立的，其中的运动顺序很重要。 ( 3 ) 近年来的基于图像的建模和绘制技术。 这种方法主要是利用一张或多张照片进行建模，根据利用图像的数目和建 模的方法不同，主要分为以下几类： ( a ) 基于单张照片的建模 由于只利用单张照片，投影时必定丢失了深度信息。这就必须利用一些人 脸的先验知识进行建模。比较典型的是b l a n z 和v e t t e r 的形变模型f 1 8 1 。他们利用 原型人脸进行线性组合得到人脸的参数模型，将模型与特定人脸图形进行优化匹 配，从而实现了人脸的三维重建。 6 硕士论文 基于视频图像的三维人脸模型构建与身份认证的实现 ( b ) 基于正面和侧面的人脸建模 这是人脸建模中用到比较多的一种建模方法，一般是从正面得到人脸的x ， y 坐标，侧面得到人脸的y ，z 坐标。这种方法建模简单，但由于信息还是比较 少，人脸的有些部位还是不能准确的确定。 ( c ) 基于多张照片的人脸建模 利用多张照片，就可以得到更多的信息，这样建出的人脸模型就会更准确。 p i g h i n 等人开发的系统【1 9 】，从5 个角度进行拍摄，在每张照片上手动标定1 3 个 特征点，通过特征点的对应，对一般人脸进行变形得到了特定的人脸。 ( d ) 基于单目视频的人脸建模 微软研究院的l i u 等人【2 0 】用人脸视频作为输入，用户需要在其中两帧中各 标出5 个特征点，然后在视频中计算对应角点就可以自动生成与视频相应的三 维人脸模型。该方法操作简便，但是由于角点的自动提取误差较大，导致模型几 何表面的误差也比较大。 ( e ) 基于双目视频建模 除了单目视频之外，也有研究者开始使用双目视频进行三维人脸建模。如， 张辉【5 l 提出了一种基于多线索的、精确的人脸三维信息获取和融合方法。他使用 了上下置放的两个摄像头来采集人脸视频序列，逐步求精地修正一个通用模型使 之拟合到特定人脸。 2 2 人脸的生理结构和特征点的选取 人脸有颅骨、肌肉和皮肤组成。颅骨决定人脸的外观轮廓，如我国传统的“人 像八格”的区分就是由颅骨来确定的；肌肉依附在颅骨上，其各种变动产生了表 情的变化和动作；皮肤则富有弹性，它表征人脸的外部的细微特征。颅骨和肌肉 的组织形态基本决定了人脸的造型特征【2 1 ，2 2 1 。人脸特征点的定义，必须要建立在 头部的颅骨和肌肉的组织结构特征之上。 颅骨由2 3 块扁骨组成，除了下颌骨和舌骨外，基本部分借缝隙和软骨紧紧相 连。同时颅骨又分为脑颅骨和面入股两部分：脑颅骨包括额骨、筛骨、蝶骨等， 其形状呈圆形并围成颅腔，起到容纳和保护脑的作用；面颅骨包括上颌骨、鼻骨、 颧骨等，形成了面部的基本轮廓，是眼眶、鼻腔、口腔的基本支架。 人体的肌肉根据其结构功能的不同，又可分为平滑肌、心肌和横纹肌。平滑 肌分布在内脏和血管壁上；心肌为心脏所持有；横纹肌则主要分布在体壁和四肢 上。由于它绝大部分依附于骨头上，故又被称为骨骼肌。人脸的肌肉组织为骨骼 肌，依附在颅骨上，按功能可分为表情肌和咀嚼肌两部分：表情肌位于面部皮下。 其收缩可以牵引皮肤、眼睛的开闭，产生各种表情。咀嚼肌则可以产生嘴巴闭合、 7 第= 章= 维人胜建横技术州顾和特艇点的选取 l 论女 下颌前伸等运动。 下面介绍一下人脸的“三庭五眼”，在人脸的j 下面图像中，人脸轮廓近似一个 椭圆，双眼在椭圆水平轴上：眉心、鼻尖和下巴尖在竖直轴上。在竖直方向上， 发际到眉弓、眉弓到鼻尖、鼻尖到下巴尖点的距离都相等，称作“三庭”：在水平 方向上，两眼之间、两眼外角分别到双耳的距离都相等，均为一眼宽，这样，加 上两个眼睛自身的宽度，称为“五眼”。人脸的“三庭五眼”规律参见图2 2 图2 2 人脸的“三庭五眼” 此外，还有一些类似的比例关系 分之一单位处为上下嘴唇连接线，二 如鼻底到下颚骨这一段，由鼻底算起，三 分之一单位处为下唇f 缘。头高二分之一处 、渗誊墨窍j l 、奎”。o 蛩遴、二零，。l 。o + j 。 ，：鬻_ ：! 鬟y - 一，”“。- t r 。 。“一7 砖，l 。，乒。l 多 硕上论文 基于视频图像的三维人脸模型构建。j 身份r i l e 的实现 在m p e g - 4 标准中，f d p ( f a c ed e f i n i t i o np a r a m e t e r s ) 定义了人脸面部几何 特征信息，其中定义了8 4 个特征点。f d p 是一种复杂的几何参数，提供了人脸 特征、网格、纹理、人脸动画定义表等一系列的数据，还可以用于对人脸进行测 量或是在网上传输时的编码与解码。 人脸面部特征点应该选择最能代表人脸特征的某些位置。根据人脸的骨骼和 肌肉组织的特点，并结合人体解剖学、人体测量掣2 5 2 6 2 7 ，2 8 1 及上面提到的m p e g 4 中对人脸面部特征点的定义给出了本文所采用的特征点。其中采用人体测量学中 的2 0 个特征点，如表2 1 所示。 表2 1 本文脸部图片所采用的人体测量学中部分测点 测量点简称具体位置 眉间点 g鼻根与两眉之间的的眉间正中线上，侧面看最向前凸出的 点 发际点 t r 眉间点正上方，额头上的发根处 头顶点 v 头部正中的最高点 眼内角点 e n 眼裂内角上，上下眼睑交合点 眼外角点 e x 眼裂外角上，上下眼睑交合点 框下点0 r 眼眶下缘的最低点 颞嵴点 f t 额部两侧颞嵴弧最向内的两个对称点 鼻梁点 s e 鼻梁的最凹点 鼻尖点 p r n头部以眼耳平面定位时，鼻尖上向前最突出的点 鼻下点 s n 在正中矢状面上，鼻中膈与上唇皮肤所构成的角的最深点 颧点 z y 颧弓上向外侧最突出的点 鼻翼点 a l鼻翼最外侧点 口角点e h口裂的外角上，上、下唇粘膜缘在外侧端相接的点 耳屏点 t 耳屏软骨上缘，耳轮脚基部向颅侧部皮肤过渡的点 上唇中点 l s 上唇粘膜缘两弧的切线与正中矢状面的交点 口裂点s t o 上、下唇闭合时，口裂的正中点 下唇中点 l i下唇粘膜缘与正中矢状面的交点 下颌角点 g o下颌角向外、后方最突出的点 颅侧点 e u颅侧部最向外突出的点 对上面提到的m p e g 4 中所定义的特征点我们选择了其中的1 4 个点如下表3 2 给出： 9 第二章三维人脸建模技术| 口1 顾和特征点的选取 硕十论文 2 3 小结 表2 2m p e g - 4 中特征点位置 特征点 号文字描述 2 1下巴底端点 2 2上嘴唇内侧中点 2 3下嘴唇内侧中点 2 4嘴唇内侧左角点 2 5嘴唇内侧右角点 2 6 上嘴唇内侧2 2 与2 4 的中点 2 7上嘴唇内侧2 2 与2 5 的中点 2 8 下嘴唇内侧2 3 与2 4 的中点 2 9 下嘴唇内侧2 3 与2 5 的中点 2 1 0 下巴突出点 2 1 1下巴左角点 2 1 2 下巴右角点 2 1 3颚骨左角点 2 1 4颚骨右角点 本章主要介绍了三维人脸建模的应用前景、发展历史及其现状，接着依据人 体测量学、人体解剖学等关于脸部特征的原则定义了脸部特征点。 l o 硕1 二论文基于视频图像的三维人脸模型构建与身份认证的实现 3 基于视频的人脸三维建模 本文是利用视角差进行人脸建模，这是计算机立体视觉中的一部分，下面简 要介绍一下计算机立体视觉。 计算机立体视觉的开创性工作是从2 0 世纪6 0 年代中期开始的。麻省理工学院 的r o b e r t 把二维图像分析推广到三维景物的研究分析上，标志着计算机立体技术 的诞生。到了8 0 年代，该学院人工智能实验室的m a r r 又提出了一种视觉计算理论 并应用于双眼匹配上，使得两张有视差的平面图像能产生有深度的立体图像，奠 定了双目立体视觉的发展【2 9 , 3 0 】。 ( 1 ) 视差理论 双眼视差理论：人两眼从两个不同角度去观察同一个物体，由于几何光学的 投影，使得离观察者不同距离的物体在左右两眼视网膜上就会成像在不同的 位置上。这种两眼视网膜上位置的差就称为双眼视差，它反映了客观景物的 深度。基于视觉误差理论的计算机立体视觉，是一种运用两个或多个摄像机 对同一景物从不同的位置成像获得立体像时，通过各种算法来匹配出相应的 像点，计算出视差，然后采用基于三角测量的方法来恢复深度信息。现在大 多数的立体视觉都是采用的这个原理。 ( 2 ) 频差理论 1 9 7 0 年，b l a k e m o s e 报道了人左右双眼观看频率上少有差别的两张条纹图会感 受到一排条纹斜站在面前。低频的一边离人远些，高频的则离人近些。在这 个实验中，他解释了这完全是两边的频差所引起的深度倾斜感知，而不是左 右两边的条纹有“视差”而形成的深度感知。1 9 7 9 年t y l e r 进一步用更细致的实 验证实了这是由两眼频差所引起的深度体现了。 3 1 模型的选取 本文采取的建模方法是通过从视频中选取两张不同角度的人脸图像利用视 角差和几何学中关于物体旋转地知识来建出三维人脸模型。参照的一般人脸模型 是c a n d i d e 3 人脸模型。 c a n d i d e 是一个面向f a c s 的参数化模型，它仅有少量的三角形定义，便于快 速计算和人脸重构。其形状是受一些全局和局部行为单元所控制：全局a u s 控制 绕三个轴旋转，局部a u s 贝, i j 用来控制面部的各种底层行为，来得到各种表情。并 且它兼容于m p e g 4 标准，故这个模型被广泛应用于人脸识别和人脸动画的科研 中。最初的c a n d i d e 模型只包括7 5 个顶点和1 0 0 个三角形：开始流行的版本 c a n d i d e 1 含有7 9 个顶点和1 0 8 个三角形：后来考虑到头发、牙齿、肩膀，c a n d i d e 2 一4f m 狮的 畹镕址 艘l 论i 包含了1 6 0 个顶点和2 3 8 个j 胄j 形。c a n d i d c 一3 则考虑到视频特征口h 踪应用背；： 简化了些小必要的细节，最后也含了1 1 3 个顶点和1 6 8 个二角形。( 见图31 ) h31c a n d i d e - 3 人舵倒7 h 埘十二维照片的自动标定特征点的，思路涉及到人脸检测和器t 标定的研究， 受到光照、人脸的表情姿态和头部的装饰等因索的影响，其抖法的稳定性根难得 到保证。目| j i 已有的人脆特征点的自动提取方法1 ，基于统汁模型的a s m , l 1 a a m 两种力法取得了一定的效果。化这些方法都是基于j f 山】图像的方法，不能处理带 有一定角度的人脸图像。同时山于摄像机拍摄时会受到白噪声的影响，有些部位 ( 如鼻了) 就会出现扭曲的现象，这都给人脸自动杯定特征点带来了川难。故奉 文为了精确起见，采用了人机交互的办法米提取脸部特征点，返也是与| j i 在人脸 建模过程中缔常采用的一种特征点的提取办法。 恻3 2 止而娥h 收特祉点 我们参照c a n d l d e 3 模型和脯面我们所定义的腑郴特仆c l i 拒i l i l l l i l 到像中选取 ml 论文埔r w 频h 隙的= 维 幢掣柑吐曲甜“l m 的炎现 f 5 6 个特 _ e 点，如图32 所示。对f 特征点的选取当然是越多，建的人舱模，州越 精确，但这辫必会使得算法的复杂性和计算世的增加，而太少! | ! i | 会使模型的结果 很小精确。故综台上述因素，本文选取t 5 6 个特征点。旧33 是 | j 遂5 6 个特征 点生成的c a r t d i d e 一3 模型。 陋 嘲3 35 6 个特征 的 3 2 人脸旋转方程的建立 幽3 4l e 面图像水平旋转 现确的阜十j f 侧面建模是利用从f 面得到x ，y 坐标，从侧面得到弘。坐标。 而我们返单得到的两幅图像并不是刚好证丽和侧叭它在二个平面 - 女l l 有旋转 角度。l 图足1 1 面图像水平旋转自口后的图像，这驻我们选取眼睛的巾点为原点， 跬原始图像的世标为f z ，y ，：) ，山几何知谚 我们知道，当旋转角度为0 1 时，旋转 历的n 枷为( x ，一，。) 满足式( 3 】) 。 f ，= x c o s ( o , ) 一y s i n ( o ) ， = xs i n ( o 】) + y c o s ( 0 1 ) ( 31 ) 1 ：22 第三章基于视频的人脸三维建模硕上论文 同理，当人脸侧身度旋转岛时旋转后的坐标为( x ：，y ：，z ：) 满足式( 3 2 ) 。 l x 2 = x c o s ( 0 , ) 一z s i n ( 0 2 ) y 2 = y ( 3 2 ) 【z 2 = x s i n ( 0 2 ) + z c o s ( 0 2 ) 当人脸垂直深度旋转0 3 时旋转后的坐标为( x ，y 3 ，z 3 ) 满足式( 3 3 ) 。 f 工，爿 y 3 = y c o s ( 0 3 ) 一z s i n ( 0 3 ) ( 3 3 ) 【z 3 = y s i n ( 0 3 ) + z c o s ( 0 3 ) 而若人脸在三个方向上都有旋转，这时就需将上面三个式子综合起来即可以 得到这点的坐标( x 。，y 。，z 。) ，见式( 3 4 ) 。 刚憾0 ：熟0 ( c o n s ( 0 2 习兰警；：秽 x 4 = x e o s ( e , ) c o s ( 0 2 ) 一y s i n ( 0 1 ) c o s ( 0 2 ) 一z s i n ( 0 2 ) y 4 = x ( s i n ( 0 1 ) c o s ( e 3 ) 一c o s ( e 1 ) s i n ( 0 2 ) s i n ( 0 3 ) ) + y ( c o s ( 0 1 ) c o s ( a 3 ) + s i n ( 0 1 ) s i n ( 0 2 ) s i n ( 0 3 ) ) 一zc o s ( 0 2 ) s i n ( 0 3 ) ( 3 5 ) z 4 = x ( s i n ( , 9 i ) s i n ( 0 3 ) + e o s ( a 1 ) s i n ( 0 2 ) c o s ( 3 3 ) ) + y ( c o s ( 0 1 ) s i n ( 0 3 ) 一s i n ( s j ) s i n ( 0 2 ) c o s ( e 3 ) ) + zo o s ( o ：) c o s ( a 3 ) 我们从图像中得到的坐标值就是上面的( x 。，y 。) ，而要想解出原始图像的 ( x ，y ，z ) ，我们这时就需要两幅图像。 3 3 视频中图像的选取 对于一段视频，我们首先要将其分割为镜头，然后在镜头中选择关键帧，目 前关键帧的选择主要有以下几种方法： ( 1 ) 基于镜头边界提取关键帧：n a g a s a k a l 3 1 1 等把一段视频分割成镜头后，将 每个头的首帧末帧作为镜头的关键帧。该方法实现起来较为简单且快速，无论镜 头的内容如何，关键帧的数量都是一定的。但效果不是很稳定，因为每个镜头的 首帧或末帧不一定总是能够反映镜头的主要内容。 ( 2 ) 基于图像信息提取关键帧：这种方法基于每一帧的颜色、纹理等视觉信 息的改变来提取关键帧，当这些信息有显著变化时，当前的帧即可作为关键帧。 z h a n g 等t 3 2 】提出基于帧的颜色和运动等图像信息来提取关键帧。首先镜头的第一 帧总是被选为关键帧，而后的关键帧是由如下两个标准来决定的：第一，基于颜 1 4 、j x y z v i o i 0 八q 0 o 1 王 ，l 世l 论z毕十 频h 像的= 维 接掣构徙oj 身份认i 】f 的实现 色的标准：计算前一个关键帧与当前帧之起，如粜差值大于某个阂值，! _ ! i | 选取浚 帧为关键帧：第二，基于运动的标准：对f 放大镜头至少选取首帧o 术帧这两个 关键帧一个刚柬表现全局，另个则j h 柬表现聚焦的局部：对j ：摇镜头，交迭 小十3 0 的帧都被选取作为关键帧。这种方法可咀根据镜头内容的变化程度柬选 择相应数日的关键帧，但是所选择的帧4 ；一定都有代表意义，而且当镜头运动时， 容易选择过多的关键帧。 ( 3 ) 基f 运动分析提取关键帧：w o l l = 3 3 1 通过光流分析来计算镜头中的运动量， 在运动量取局部最小值处选取关键帧。它反映了视频数据中的静止部分。通过摄 像机在一个新的位置的停留或通过任务的某一动作的短暂停留柬强调其本身的 重要性。然而改方法在分析运动时，所需的计算量较大，而且局部最小值也不一 定准确。 ( 4 ) 基于镜头活动性提取关键帧：g r e s l e 和h u a n g 3 4 , 3 5 1 通过定义镜头活动性的 度量标准，利刚镜头活动量的局挪最小值来确定关键帧。 ( 5 ) 基于视频无监督聚类提取关键帧：z h a n g 等和h a m a l i c 等利用一种被 广泛应用在模式识别、语音分析和信息榆索中的非常有效的技术即聚类算法米提 取笑键帧。通过镜头聚类将镜头中的帧序列分到m 簇中( m 的大小是由预先给 定的闽值决定) ，再选取离中心最近的帧作为关键帧。使用该技术提取关键帧的 方法，能反映视频镜头的主要内容。但该算法比较复杂，实现起来有一定的困难， 而且计算量较大。 ( 6 ) 基于m p e gh 缩流的宏块统计特性提取关键帧：j s a l k o 等【圳利用帧中宏 块的编码方式不刚生成帧差度量柬提取) 毛键帧。这种方法是在压缩域处理，曲省 了解压缩时间，可以进行实时关键帧提瞅。 本文r f l 需要从视频l 1 提取出两帧图像，选择了第一种方法，即坩卣帧和术帧 做为所要的两帧图像，木文中的视频中的部分帧如罔35 ，按照方法选择的帧如 图3 6 当然，对于实际情7 兄而占，第帧图像和最后帧剖像往往会出现人脸小 见的情况，这时我们也可以选取段视频t p 的1 4 处和3 4 处两幅图像。 涵瀑澄疋 第= t 坫十秕颏的 脸= 雅建模l 论i 目i 。5 船i 。蒜分帧胁“3 0刚3 视频的