（计算机应用技术专业论文）基于mpeg4的人脸动画.pdf

摘要 人脸动画是计算机图形学和计算机视觉领域最根本的难题之一，也是近年来 较为活跃的研究热点，在电影、广告、计算机游戏、视频会议等诸多领域有着广 阔的应用。面向m p e g 一4 的人脸动画技术中所定义的人脸是一个合成的三维视觉 对象，利用人脸定义参数和人脸动画参数来描述、控制人脸对象的变形生成人脸 动画。本文的研究目的是基于m p e g 一4 人脸动画技术，给出算法模型并建立人脸 动画系统，研究内容包括两部分：人脸建模和表情动画生成。 在人脸建模方面，利用三维扫描数据和径向基插值算法进行人脸模型的特定 化。由于三维扫描数据的准确性和基于多次径向基插值的渐进性微调，基本可以 实现具有真实感的人脸建模，取得了较好的效果，但是该方法的缺点在于对不同 特定人都要重复执行相同的处理过程。为了实现人脸建模的自动化，本文提出基 于三维重建模型的面向m p e g - 4 的自动化人脸建模方法。该方法针对面向 m p e g 4 的人脸动画所采用的人脸模型拓扑结构，通过对基于重采样的形变模型 重建得到的特定人脸模型进行网格简化，获得用于人脸动画的模型，实现了面向 m p e g 一4 的自动人脸建模，大大减少了建模的工作量。 在表情动画生成方面，实现了基于伪肌肉模型和插值模型的层次化人脸动画 生成，按照网格点所处的不同作用域和变形规则使用不同方法分层进行驱动，获 得了较好的灵活性和真实感，该方法的缺点在于将人脸运动割裂为不同区域的单 独运动，缺乏人脸表情的全局性控制。为了进行人脸动画的全局调整和运动特性 分析，本文提出基于局部训练的控制点运动扩散算法和基于独立分量分析( i c a ) 的人脸全局动画驱动模式。通过基于局部训练建立面部动画参数控制点与非控制 点之间的运动关系模型，基于独立分量分析抽取人脸动画基本模式，构建可以组 合表达真实人脸运动的独立分量主元，给出更加紧致准确的一般人脸动画表达模 式，改善人脸动画的真实性。 在以上各项研究的基础上，本文最终构建了面向m p e g 4 人脸动画系统。该 系统可以完成特定人脸建模、表情合成和基于f a p 流驱动的人脸动画生成等功 能。 关键词：m p e g 4 ，人脸动画参数，人脸建模，人脸动画 a b s t r a c t a b s t r a c t f a c ea n i m a t i o ni st h er e s e a r c hf o c u si nc o m p u t e rg r a p h i c sa n dc o m p u t e rv i s i o n i tc a nb ew i d e l yu s e di nm a n ya r e a s ，s u c ha sf i l m ，a d v e r t i s e m e n t ，c o m p u t e rg a m ea n d h u m a nc o m p u t e ri n t e r f a c ee t c m p e g 一4i san e wg e n e r a t i o nm u l t i m e d i ac o m p r e s s i o n s t a n d a r d ，i nw h i c hh u m a nf a c ei sas y n t h e s i z e d3 dv i s u a lm o d e la n du s e sf a pa n d f d pt od e f i n et h ec h a r a c t e r sa n dm o t i o n so ft h eh u m a nf a c e t h i sp a p e rm a i n l y r e s e a r c ho nm p e g 一4f a c ea n i m a t i o nt e c h n i q u e s ，i n c l u d i n gf a c em o d e l i n ga n df a c e s y n t h e s i s d u r i n gt h er e s e a r c ho nf a c em o d e l i n g ，w eu s e3 ds c a n n e dd a t aa n dr a d i a lb a s i s f u n c t i o nt op e r s o n a l i z et h eg e n e r i cm o d e la n dg e tm p e g - 4b a s e df a c em o d e l t h e d i s a d v a n t a g eo ft h i sm e t h o di st od ot h es a m ep r o c e d u r ef o rd i f f e r e n tp e o p l e i no r d e r t or e a l i z ea u t o m a t i cf a c em o d e l i n g ，w ep r o p o s eaf a c em o d e l i n gm e t h o db a s e do n3 d m o r p h a b l em o d e l a i m i n ga tt h en o r m a l i z e df a c em o d e ld a t ab a s e do nr e s a m p l i n g ，w e p r o c e s sm e s hs i m p l i f i c a t i o ns ot h a ti tc a nb eu s e do nf a c er e c o n s t r u c t i o nf o rm p e g 一4 f a c ea n i m a t i o na n dw ec a ns a v eal o to fr e d u n d a n tw o r k s d u r i n gt h er e s e a r c ho nf a c es y n t h e s i s ，w ep r o p o s eam e t h o do fc o m b i n i n g p s e u d o m u s c l ew i t hi n t e r p o l a t i o nm o d e lt os y n t h e s i z ef a c ea n i m a t i o n m e s hv e r t e x ， a c c o r d i n gt oi t sa c t i o nf i e l da n dd r i v e nr e g u l a t i o n ，i sd r i v e nb yd i f f e r e n tm e t h o d b e c a u s et h em e t h o dn e g l e c t st h eg l o b a l i z a t i o no fh u m a ne x p r e s s i o n ，w ep r o p o s e c o n t r o lp o i n t sp e r v a s i o nm o v e m e n ta l g o r i t h mb a s e do nl o c a lt r a i n i n ga n dg l o b a lf a c e a n i m a t i o nb a s e do ni n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) f i n a l l yw ec o n s t r u c ta s e to fi n d e p e n d e n tc o m p o n e n t sc a nb ec o m b i n e dt oe x p r e s sr e a l i s t i cf a c em o v e m e n t a n dc a ng i v em o r ec o m p a c ta n da c c u r a t eb a s i cf a c ea n i m a t i o nm o d e st oi m p r o v et h e r e a l i s mo ff a c ea n i m a t i o n b a s e do na l lo fa b o v er e s e a r c h e s ，w ec o n s t r u c tam p e g 4f a c ea n i m a t i o n s y s t e m t h i ss y s t e mc a r la c h i e v et h ef o l l o w i n gf u n c t i o n s ，i n c l u d i n gs p e c i f i cf a c em o d e l i n ga n d f a c ee x p r e s s i o ns y n t h e s i sb a s e do nf a c ea n i m a t i o np a r a m e t e r sd r i v i n g k e yw o r d s ：m p e g 一4 ，f a c ea n i m a t i o np a r a m e t e r , f a c em o d e l i n g ，f a c ea n i m a t i o n 1 1 1 插图 图卜l p i x a r 工作室的作品一2 图卜2 最终幻想中的人物形象3 图卜3 人脸动画在可视电话中的应用3 图卜4p a r k e 的人脸模型。5 图卜5 w a t e r s 的肌肉模型6 图1 6 自由变形模型7 图l 一7 插值技术8 图2 - i 人脸定义参数1 2 表2 一l 特征点的位置约束关系13 图2 2 人脸动画参数单元1 4 表2 2 人脸动画参数单元1 4 表2 - 3f a p 集的描述1 5 表2 4 基本表情的描述1 6 图2 - 3 m p e g 一4 人脸动画流程图1 6 图3 一l 通用网格模型2 0 图3 2 激光扫描仪21 图3 3 几何信息和纹理信息2 2 图3 - 5 柱面投影2 4 图3 - 6 通用模型的标定点2 5 图3 - 9 基于重采样的三维人脸建模2 9 图3 一l o 两类网格之间的对应3 0 图3 - 1 1 基于可控网格简化的自动人脸建模3 1 图3 一1 2 局部滤波器的设计3 2 图4 - 1 功能区域划分示意图3 6 表4 - 1f a p 的分组和面部器官的关系3 7 图4 - 2 基于功能区分割的人脸动画控制层次3 8 图4 3 功能区域变形3 9 图4 4f a p 流的结构41 图4 - 5f a p 帧的结构4 1 图4 - 6f a p 系统构架 4l 图4 7 系统界面4 2 图5 - 1 人脸动画的控制层次4 6 图5 - 2 动画驱动框架一4 7 图5 - 3 数据获取4 8 图5 - 4p c a 和i c a 投影方法的比较5 4 图5 - 5 第一条i c a 主元对网格变化的影响一5 6 图5 - 6 动画生成界面6 1 图5 7 不同的独立分量对表情变化的不同影响6 2 图5 - 8 不同方法得到最大误差的对比6 3 图5 - 9 不同方法得到平均误差的对比6 3 v l i 独创性声明 本人声磷所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其它 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：熏鱼鱼! 望日期 关于论文使用授权的说明 2 。节6 、g 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其它复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：耄 金金i 丑导师签名：星丛f _ = j 期：点：皇：! 、3 第一章绪论 人脸的计算机模拟长期以来一直是计算机图形学以及人机交互中非常活跃 的研究领域，逼真的面部合成是计算机图形学中最根本的问题之一，同时也是最 困难的问题之一。 本文的目的是研究面向m p e g 一4 的人脸动画技术，并在此基础上给出算法模 型，建立面向m p e g 4 的人脸动画系统。 1 1 人脸动画研究背景及意义 人脸是人类喜、怒、哀、乐等复杂表情和语言的载体，是人类相互交流的重 要渠道，所以对于人脸的描述和刻画一直得到人们的广泛关注。随着计算机技术 的迅速发展，人们试图通过各种不同方法在计算机上实现人脸模型，并寻找人脸 表情、动作等动态信息的描述和表示方法，最终建造真实感的虚拟人脸。 计算机虚拟人脸能够丰富人机接口，增强系统非e l 语语言通信及表情信号 的能力，使人机接口更令使用者感兴趣，且更易于使用。可以提供友好的人机交 互方式，可以提高人和机器交流的效率，对实现机器的智能化有着重要的意义。 文献 1 】对1 9 0 个人进行了实验，以探求面部动画的益处。实验结果表明，面部 动画有助于用户理解噪音环境下的讲话内容，有效地使等待时间更乐于为用户所 接受，使得服务对用户更具有吸引力，特别是当用户直接比较有面部动画和没有 面部动画的相同服务时，情况更是如此。 然而生成具有真实感的人脸动画却是一个极具挑战性的课题。 首先，人脸具有非常复杂的生理结构。人脸是一个复杂的层次结构，一般可 分为头骨、肌肉层、结缔组织层和外部皮肤层。人脸表情的产生是由脸部多个肌 肉群的协作变形引起的。产生人脸表情或动作涉及到的主要肌肉有口轮匝肌、鼻 肌、颧肌、眼轮匝肌、皱眉肌等。 其次，人脸的几何很复杂，而且每个人的几何均不相同。特别是头发、嘴巴、 耳朵、眼睛的几何很难用一个恰当的模型来表示，它们的几何数据也很难获得。 人脸运动时的几何变化则更难以模拟。人脸的运动包括刚性的人脸姿态变化和非 剐性的人脸器官和肌肉运动，这些由人脸的皮下肌肉和人脸皮肤的动力学特性决 北京工业大学工学硕士学位论文 定的运动很难用模型来表示。 最后，人脸的光照特性也很复杂。人脸的皮肤存在着皮下散射和折射，眼睛 的光照特性很难获得，人脸的复杂几何以及皱纹、胡子、眉毛和脸部细毛使人脸 的光照特性非常复杂。目前还没有比较好的方法来直接测量人脸的光照特性，现 有的人脸模型和系统一般都不能很好地处理人脸的真实光照问题。 所以，人脸的计算机模拟长期以来一直是计算机图形学以及人机交互中非常 活跃的研究领域，逼真的面部合成是计算机图形学中最根本的问题之一，同时也 是最困难的问题之一。 除了具有重要的科学研究意义，人脸动画还具有广阔的实际应用。人脸动画 在电影、广告、人物动画、计算机游戏、视频会议、可视电话、人机交互、医学、 公安安全等许多领域都具有广阔的应用前景。下面是人脸动画的一些典型应用。 影视广告 计算机生成的三维虚拟人物在影视、广告中的应用越来越普遍。人物面部动 画是影视处理中最繁琐的工作，能否得到真实感的绘制效果是影响影视制作的一 个关键因素，但一般情况下只能获得近似的模拟。如图1 一l 所示是p i x a r 工作室 应用人脸动画技术制作的多部作品。 幽1 一lp i x a r 工作室的作品 f i g u r e1 - 1w o r k so f p i x a rh o u s e 游戏领域 传统游戏中的二维场景和虚拟人物很难使游戏者达到身临其境的感觉。随着 图形硬件设备的快速发展，在游戏中使用三维场景和虚拟人物已成为一个趋势。 最典型的例子是视频游戏最终幻想，在该游戏中游戏人物的外形和运动都显 得非常逼真，如图1 2 所示。 第一章绪论 幽卜2 晟终幻想中的人物形象 f i g u r e1 - 2c h a r a c t e ri n f i n a lf a n t a s y ” 新一代的人机交互 新一代的人机交互通过语音、表情、手势、姿势等多个模式、多个通道进行 自然的交互。人脸动画研究为这种交互的情感分析和表达提供了可行性。实际上 近年来的研究工作已经在这方面取得了一定进展，例如t a l k i n gh c a d 2 卅、多模态 的信息处理4 。 以及情感计算方面吲的研究。虽然这种新一代的交互方式目前还 存在许多需要解决的问题，但从长远看这种交互方式是一种必然的趋势。 视频会议和视频电话 鉴于人脸动画的巨大应用前景，国际标准化组织( i s o ) 在它的m p e g 一4 9 1 标准 中引进了人脸表情动画。m p e g - 4 所定义的人脸是一个合成的三维视觉对象，通 过人脸表情动画参数来控制人脸对象的变形，希望在极低的数据率下获得理想的 人脸动画效果，以达到实时可视化通讯的目的。如图1 3 所示是人脸动画在可视 电话中的应用。 圈卜3 人脸动画在可视电话中的应用 f i g u r e1 - 3a p p l i c a t i o no f f a c ea n i m a t i o ni nv i s u a lp h o n e 总之，作为当前计算机视觉和计算机图形学领域的研究热点，人脸动画研究 不但具有理论研究意义，同时也具有极大的实际应用价值。 北京工业大学工学硕士学位论文 1 2 国内外研究发展现状 历史上，p a r k e 7 罐1 是第一个用计算机模拟生成人脸表情动画的人，他引入了 人脸参数模型，通过两种参数便可生成比较真实的人脸表情动画。自此以后，经 过3 0 多年的发展，很多学者在这个领域做出很多的研究工作，进行了许多创造 性的工作，同时研究重点也由最初研究如何使用计算机表示人脸的外观，转移和 集中到人脸生理规律的计算机模拟和真实感人脸建模和动画上，提出了许多不同 的人脸动画生成方法。 1 2 1 人脸动画的一般生成步骤 建立一个人脸动画系统一般都会经历两个步骤：人脸建模和表情动画合成。 人脸建模就是把真实人脸的框架标准化，然后用网格表示出来，作为将来生成真 实感人脸和面部动画的基础。表情动画合成就是以人脸模型的几何和纹理为基 础，采用动画技术使得人脸模型产生整体的或者局部的形变，达到模拟人脸运动 的目的。 人脸模型可以用两种方法获得。一种是用扫描设备，譬如激光扫描仪【，直 接获取人脸的几何和纹理数据。另一种方法是基于图像的方法【，从图像中分析 出人脸的几何信息，同时也由图像得到人脸的纹理。对于三维人脸建模来说，为 了把人脸表达地生动和细腻，总是希望采用数量多的网格来表示其几何结构，但 是考虑到生成人脸动画的计算代价，不可能无限地增加网格的数量。 表情动画合成是人脸动画技术的关键，为了实现模型控制和动画生成，必须 设计一个计算模型，把人脸的几何表示和它的变形联系起来。不同的计算模型形 成了不同人脸动画技术，各种各样的人脸动画技术的目的就是在动画序列的每 帧中准确地控制人脸模型的变形。下面将介绍几种经典的人脸动画方法。 1 2 2 典型的人脸动画方法 在人脸动画技术研究的历史上主要出现了三种典型的计算模型：参数模型、 生理肌肉模型和插值模型。下面以人脸动画技术的发展过程为线索，对这几种模 型进行分析和评述。 第一章绪论 参数模型 参数模型是最早出现的计算机表示的人脸模型。p a r k e l 8 1 最初使用一种非常初 级的多边形来表示人的头部结构，并实现了第一个参数化的人脸模型，如图1 - 4 所示。人脸参数模型的基本思想是通过参数来描述不同的人脸特征和人脸表情变 化，因此人脸参数模型一般包括两类参数，人脸构造参数和人脸动画参数。人脸 构造参数用来描述特定人脸的几何特征，包括脸型的整体大小以及五官的具体大 小和形状，用于产生各种各样的个性化人脸形状。人脸动画参数描述面部器官的 运动情况，譬如，眨眼，眉毛的抬起，下巴的拱起等动作，用于产生人脸的各种 表情动画。 图i 一4p a r k e 的人脸模型 f i g u r e1 - 4p a r k e r sf a c em o d e l 自p a r k e 以后出现了不同的人脸参数模型，对原有的人脸参数模型进行了诸 多改进，并应用于许多不同的人脸动画系统中【1 2 - 1 3 。虽然参数模型通过选择适 当的参数可以使人脸模型变形产生许多面部表情，但面部表情的变化通常需要很 多的参数来控制，直接控制大量的参数给生成面部动画带来不便。另外，使用简 单的表面几何形状来模拟面部表情，而没有从生理角度对人脸面部表情的机制进 行考虑，必然降低了人脸模型和动画的真实感。 生理肌肉模型 根据生理规律，人脸的表观、表情和动作是由面部和头部的骨髂、肌肉、神 经、血管、结缔组织、皮肤和头发等部件共同表达的结果。因此，要建立理想的 人脸动画计算模型必须研究人脸的生理结构。 ( 1 ) 肌肉模型 在分析人脸生理结构的基础之上，p l a c t n b a d l e r 在1 9 8 1 年提出了最原始的人 北京工业太学工学硕士学位论文 脸肌肉模型。该模型中，人脸由人脸皮肤表面顶点相互弹性地连接，并且通过 具有弹r 性和收缩性的3 8 块肌肉连接到基本骨骼上。通过施加肌肉力来控制和变形 弹性皮肤网格得到各种人脸表情和动作。 基于p l a n 的人脸肌肉模型，1 9 8 7 年w a t e r s 等人提出了向量肌肉模型【1 5 1 。该模 型使用多边形网格来表示人脸，并用肌肉向量来控制其变形。这里的肌肉被定义 为向量的形式，包含起点和插入到人脸网格中的控制顶点。不同肌肉的运动仅限 于一个局部的变形区域，这个变形范围是按c o s i n e 函数因子定义的一个圆锥体形 状。同时w a t e r s 将嘴巴等器官的变化使用一个圆环形的轮匝肌来模拟，轮匝肌围 绕个椭球中心收缩。通过基于向量肌肉和轮匝肌的收缩变化来控制人脸网格上 的顶点，可以产生生气、害怕、惊奇、高兴等表情动画。图1 5 显示了一个嵌于 人脸网格的肌肉模型的实例。在向量肌肉模型中，如何按生理学的规律正确放置 肌肉向量是一项非常困难的工作，目前还没有一个有效的方法将肌肉向量放置到 非特定的人脸网格中去，而且不正确的肌肉向量定位，会出现不自然的表情动画， 甚至出现不可能发生的表情动画，因此，实现向量肌肉模型需要大量的反复实验 来得到比较好的效果。 幽卜5w a t e r s 的肌肉模型 f i g u r e1 - 5w a t e r s m u s c l em o d e l ( 2 ) 伪肌肉模型 通过模拟人脸的生理变化过程，人脸肌肉模型可以产生真实感的人脸表情动 画，但是要实现人脸肌肉模型，需要大量的细致的手工调节工作，而且调节结果 只能针对特定人脸。为了克服这些缺点，出现了人脸建模的伪肌肉方法 。2 ”。 伪肌肉模型不涉及人脸内部复杂的生理结构，但使用类似于肌肉的方式对人脸网 格实施变形，而且变形只发生在局部网格上。 m a g n e n a t t h a l m a n n 等人开发了一个肌肉模型1 6 川1 ，其中控制参数是“抽象 肌肉运动( a m a ，a b s t r a c tm u s c l ea n i m a t i o n ) ”过程，这些a m a 过程与f a c s 0 2 4 2 5 1 运动单元有一定的相似性，但又不完全相同。这些a m a 过程间并不独立，而且 运动的顺序非常重要。该模型允许通过控制低级a m a 过程和高级“表情”参数 来进行面部控制。 图卜6 自由变形模型 f i g u r e1 - 6f r e ef o r md e f o r m a t i o n 另一种伪肌肉模型是自由变形模型。自由变形( f f d ，f r e ef o r md e f o r m a t i o n l 通 过控制点的操作对物体对象进行变形【1 8 1 。概括地说，就是将一个可变形物体嵌于 一个假想的由控制点组成的三维网格弹性控制盒中。当挤压，弯曲和扭曲控制盒 时，内嵌的物体也相应地变形( 图1 - 6 ) 。f f d 能变形多种曲面体素，包括多边形、 二次曲面、参数化模型、隐式曲面和实体模型。c o q u i l l a r t 提出的拓广自由变形 ( e f f d ) 将控制盒由立方体扩展为圆柱等形状，增j 1 t f f d 的适用范围吟】。有理自 由变形( r f f d ) , 受i j 对每一个控制点增加了一个权重因子，即在变形时增加了一个 自由度，从而可以通过改变权重因子而不仅仅是改变控制点的位置来进行变形。 k a l r a l 2 1 2 3 】等人使用有理自由变形用来模拟肌肉变形的局部视觉效果。- 与w a t e r s 的肌肉模型相比，操作控制点的位置和权重比操作一定影响区域内的肌肉向量要 简单。 总之，人脸肌肉模型通过研究人脸生理运动变化规律使用不同的计算模型 将人脸行为内在的变形机制引入入脸的动画和模拟中，由肌肉变形可产生非常丰 富的人脸表情和动作。但肌肉模型的缺点是实现起来相对比较复杂，需要大量计 算，模型的特定化也需要大量的交互工作。 插值驱动模型 插值技术为脸部动画提供了一个直观的方法。定义在单位时间区间上的个 北京工业大学工学硕士学位论文 插值函数指定了位于极端的两幅关键帧之间的光滑运动。 中性的 脸插值的人齄 馘笺的人艟 p _ j n t m _ p o l a t e d ( t ) = ( 1 一t ) + p _ n e u n a l + t + p _ s m i l e0 = t 亡1 图卜7 插值技术 f i g u r e1 - 7i n t e r p o l a t i o nt e c h n i q u e s 图1 7 显示了对肌肉向量执行线性插值的结果。由于线性插值非常简单，所 以使用很广泛1 2 缸”】，而使用c o s i n e 或类似的复杂一点的插值函数可以使动画在 开始和结尾处有加速和减速的效果。当有四帧画面时，就可以使用双线性插值了， 双线性插值比线性插值更能表达丰富多样的脸部表情。而双线性插值与图像的变 形结合后，能表达出许多真实感脸部表情的变化。 通过改变插值函数的参数能产生插值图像，几何插值直接修改人脸网格上网 格点的二维或三维位置，面采用参数插值则可间接地移动顶点的位置。例如，s e r a 等人口8 1 对弹簧的肌肉拉力参数进行线性插值，而不是直接对顶点的位置进行插 值，更能真实地反映嘴巴的动画。尽管插值迅速，而且容易产生基本脸部动画， 但它不能创建大范围肉各釉真实感的人脸形状，所以其应用受到了限制。而且该 方法在不同的人脸运动叠加作用时，很难产生组合。若基于少数关键帧产生小范 围内的一组动画，插值仍不失为一个好方法。 1 2 3 研究现状 人脸动画技术除了上节介绍的几种典型方法外还有很多种方法，文献 3 2 对此进行了详细综述。 当前，国外的人脸动画技术研究已经达到了一个较高的水平，在人脸动画的 真实感方面已经有了一定的突破，同时也出现了几个比较成熟的人脸动画系统。 其中，p i g h i n 【m 3 4 】提出了一个基于图像的真实感人脸建模和动画系统。这个 系统通过人脸几个角度的图像和一个一般的人脸几何模型交互地建立特定人脸 的几何模型，然后用各角度的图象合成这个几何模型的纹理。人脸的动画通过关 键帧技术实现人脸模型在三维空间上的变形，最后这个人脸模型还可以用来估计 视频序列中的人脸的位置、姿态和表情。 而s z i j a r t o t ”1 、r o b e r t op o c k a j t 3 6 】和p e t e r 3 7 】各自提出了与m p e g 一4 兼容的三 维的人脸动画系统。该类系统使用使用低码率的m p e g 4 数据流驱动人脸模型， 生成具有一定真实感的人脸动画。 此外，微软亚洲研究院口8 1 、德国的n p ii n f o r m a t i k 研究室 3 9 。1 等多家研究 机构的人脸动画系统也取得了很好的效果。 人脸动画技术的研究在很长一段时间内主要集中在欧美地区的研究机构， 国内关于人脸动画的研究相对比较晚，最早的人脸动画研究始于9 0 年代末。 近年来，人脸动画也引起了国内研究者的极大兴趣，不同的研究机构在人脸建 模和动画方面作了许多研究工作，并实现了些人脸建模和动画系统。典型的 人脸动画研究机构有哈尔滨工业大学 4 1 - 4 2 1 、中科院计算所 4 卜4 、浙江大学4 5 4 “、中国科技大学和北京工业大学【4 8 哪! 等研究机构。国内人脸动画主要采 用经典的人脸动画方法，尤其是以肌肉模型驱动的人脸动画方法比较多见，但 在生成人脸动画的真实感上仍有待改进。 经过几十年的努力，虽然人脸动画方面的研究取得了很大进展，但每一种 人脸动画方法还或多或少地存在一些缺点和问题，需要进一步的研究和完善， 尤其是人脸建模的自动化、人脸模型的特定化、人脸动画的真实感等都是需要 深入研究和探讨的问题。 1 3 文章的研究内容和组织结构 文章所涉及的研究课题属于国家9 7 3 项目“基于模型的流媒体编码与传 输”。研究的主要目标是试图给出一套面向m p e g 一4 标准的人脸动画理论方法 与算法模型：研究内容包括两部分：人脸建模和表情动画生成。论述了三维人 脸模型的建立及特定化技术、如何设计计算模型驱动三维人脸模型生成人脸动 画等内容。 主要贡献有三点： 北京工业大学工学硕士学位论文 ( 1 ) 基于重采样的三维重建人脸，实现了m p e g 4 人脸动画的自动建 模。 ( 2 ) 结合伪肌肉模型和插值模型，实现了一种m p e g 4 人脸动画的多层 次模型生成方法。 ( 3 ) 引入了独立分量分析( i c a ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 算法， 实现了基于i c a 空间的m p e g 4 人脸动画生成。 文章由六章组成，各个章节内容安排如下： 第一章介绍了本文的研究背景与意义：分析了国内外人脸动画方面的研究 进展和研究现状；给出了本文的主要研究内容。 第二章介绍了m p e g - 4 人脸动画技术，重点描述m p e g 一4 人脸动画技术 的参数标准。 第三章研究了基于三维扫描数据和径向基插值算法的m p e g 一4 人脸建模 及特定化方法。同时基于重采样的三维重建人脸，实现了m p e g 一4 人脸动画的自 动建模。 第四章结合伪肌肉模型和插值模型，给出了利用多层次模型生成人脸动画 的方法。 第五章研究t n _ 过驱动面部动画参数，提出了基于i c a 分析的人脸动画 基本模式的抽取方法，然后基于训练的方法得到映射矩阵描述，实现了基于i c a 空间人脸动画生成。 第六章对整个论文主要工作和成果的进行了总结，并对进一步的研究进行 了展望。 釜三耋兰：2 ：兰蛰雪兰銮 第二章m p e g - 4 人脸动画技术 m p e g 一4 t 5 0 1 是一个真正地把视频和声音以及计算机三维图形和图像结合在 一起的多媒体标准。该标准的提出，进一步拓宽了虚拟人脸的应用，使得即使在 低带宽的网络上也可以实现高质量的人脸动画。在m p e g 一4 中特别的定义了和人 脸有关的一些标准，它用6 8 个人脸动画参数( f a p ，f a c ea n i m a t i o np a r a m e t e r ) 就刻 画了复杂的人脸表情，并且还用人脸定义参数( f d p ，f a c ed e f i n i t i o np a r a m e t e r ) 来 描述人脸模型和人脸纹理。虽然m p e g 4 给出了这些和人脸有关的标准，但是并 没有给出利用人脸动画参数来产生丰富的人脸表情的算法，这使得我们有了一定 的空倒把人脸动画技术运用到与m p e g - 4 f 1 关的一些应用中去。 2 1 人脸参数标准 人脸对象是m p e g 4 中一个非常重要的对象，m p e g 4 用f d p 、f a p 和队p u 来描述它的几何和纹理以及表情，这些参数对人脸的表示和动画做出详细的定 义。 2 1 1 人脸定义参数 人脸定义参数( f d p ，f a c ed e f i n i t i o np a r a m e t e r ) 描述人脸的几何和纹理信息， 有时还可以包括场景的信息，它提供人脸特征点、网格、纹理和人脸动画定义表 等数据，有了这些数据就可以把一般人脸模型转化为特定人脸模型。在m p e g 4 中定义了1 1 8 7 x 且 8 4x 且 8 8 x 表2 一l 特征点的位置约束关系 t a b 2 1f a c ed e f i n i t i o np a r a m e t e r 在与m p e g 4 兼容的人脸动画系统中，人脸模型的特定化和人脸模型的变形 都是以中性状态的人脸模型为参考的。在m p e g 一4 中一个中性状态的人脸模型 是这样定义的( 参照图2 1 ) ： 夺目光注视z 轴方向； 夺所有脸部肌肉处于放松状态； 夺眼睑与虹膜相切： 夺瞳孔直径为虹膜直径的三分之一； 夺上下嘴唇接触，唇线处于水平状态并且与两边嘴角处于同一高度； 夺嘴巴关闭，上下牙齿接触； 冷舌头平直，处于水平状态，并且舌尖接触上下牙齿的交界处。 2 1 2 人脸动画参数单元 为了使f a p n 司l 以应用到不同的模型上，并且能够产生同样的表情，而不使 北京工业大学工学硕士学位论文 表情由于不同的模型产生走样，m p e g ，4 定义了人脸动画参数单元( f a p u ，f a c e a n i m a t i o np a r a m e t e ru n i t ) ，这样f a p 独立于具体的模型，具有通用性，这也是 m p e g 4 追求的一个目标。f a p 的值是以f a p u 为单位的。f a p 与模型无关，而 f a p u 则是与模型相关的。f a p u 是人脸上某段特征长度在1 0 2 4 尺度上的量化 值。具体来说，m p e g 4 标准中定义了6 个f a p u ，分别是i r i s d 、e s 、e n s 、 m n s 、m w 和a u 。它们的物理意义见图2 2 和表2 2 。 图2 - 2 人脸动画参数单元 f i g u r e 2 - 2f a c ed e f i n i t i o np a r a m e t e ru n i t i r i s d 0虹膜直径i r i s d = i r t s d o 1 0 2 4 e s 0 两眼之间的距离 e s = e s 0 1 0 2 4 e n s 0 眼睛与鼻子之间的距离e n s = e n s 0 1 0 2 4 m n s 0 嘴巴与鼻子之间的距离 m n s = m n s 0 i 0 2 4 m w o 嘴巴的高度 m 怍m w 0 1 0 2 4 a u角度单位1 0 e 一5 弧度 表2 - 2 人脸动画参数单元 t a b 2 - 2f a c ed e f i n i t i o np a r a m e t e ru n i t 2 1 3 人脸动画参数 m p e g 4 的人脸动画参数与脸部肌肉动作有密切的关系。个人脸动画参数 描述的是脸部肌肉的一个小动作，是一个小的运动单元。人脸动画参数定义了 一个完整的基本面部表情的动作集合。每一种表情都可以由这些人脸动画参数来 釜三耋罂：2 ：兰翌雪彗銮 描述，多个人脸动画参数的组合可以得到一系列的人脸动画表情。用人脸动画参 数不仅能够产生人类自然表情，还可以产生一些很奇异和夸张的表情。 m p e g 4 共有6 8 个r a p ，具体的定义见表3 3 。其中前面两个被称作高级 f a p ，分别是唇形( v i s e m e ) r a p 和表情( e x p r e s s i o n ) f a p 。除高级r a p 外， 其他的普通r a p 分别定义了人脸一些小区域的运动和头部的转动。这些运动描 述了人脸表情很细致的变化，譬如眉毛的上翘和嘴角的撅起，并且这些f a p 都 和f d p 中定义的组有密切的关系。两个高级f a p 的作用是更方便地表现一般的 唇动和表情，当然这些唇动和表情也可以用普通f a p 实现。但是对于复杂的唇 动和表情，则只能用普通的f a p 来实现 f a pn a n l ef a pd e s c r i p t i o nf a p um o r i o n g r o u p s e to fv a l u e sd e t e r m i n i n gt h em i x t u r eo ft w o1 v i s e m e sf o rt h i sf r a m e e x p r e s s t o r t as e to fv a l u e sd e t e r m i n i n gt h em i x t u r eo f l t w of a c i a le x p r e s s i o n o p e n j a w v e r t i c a lj a wd i s p l a c e m e n t ( d o e sn o ta f f e c tm o u t hm n s d o 、v n 2 o p e n i n g ) l o w e r tm i d l i p v e r t i c a lt o pm i d d l ei n n e rl i pd i s p l a c e m e n tm n sd o w n2 lr a i s e - b _ m i d l i p v e r t i c a lb o t t o mm i d d l ei n n e rl i pd i s p l a c e m e n tm n s u p 2 s t r e t c h1c o r n e r l i ph o r i z o n t a ld i s p l a c e m e n to f l e ri n n e rl i pc o r n e rm wl e r s t r e t c hrc o r n e r l i p h o r i z o n t a ld i s p l a c e m e n to f r i g h ti n n e rl i pc o m e rm w r i g h t 2 l o w e rt1 i pi m v e r t i c a ld i s p l a c e m e n to fm i d p o i n tb e t w e e nl e rm n sd o w n2 c o m e ra n dm i d d l eo f t o pi n n e rl i p i o w e rtl i pm lv e r t i c a ld i s p l a c e m e n to fm i d p o i mb e t w e e nr i g h tm n sd o w n 2 c o r n e ra n dm i d d l eo f t o pi n n e rl i p r a i s e b 1 i p l r l lv e r t i c a ld i s p l a c e m e n to fm i d p o i n tb e t w e e ni e rm n s u p 2 c o m e ra n dm i d d l eo f b o r o mi n n e rl i p r a i s eb l i p r i l lv e r t i c a ld i s p l a c e m e n to fm i d p o i n tb e t w e e nr i g h tm n s u p c o r n e ra n dm i d d l eo f b o r o mi n n e rl i p 表2 - 3r a p 集的描述 t a b 2 3d i s c r i