（精密仪器及机械专业论文）虚拟人脸表情合成研究.pdf

摘要 摘要 人脸作为人类最重要的外部特征，在人与人的通信交流中起着极其重要的作用。心理学 研究表明，人类人部分的表达与交流都是通过表情进行的。随着情感计算等相关领域的研究 深入，人脸表情的分析与合成，已成为计算机视觉和模式识别领域的一个备受关注的研究方 向，在视频会议、虚拟现实、人机交互、基于内容的图像检索、医疗等方面都有着广阔的应 用前景。 本文的研究目的是基于m p e g _ 4 人脸动画标准与面部动作编码系统，给出算法模型并建 立人脸表情合成系统，研究内容主要为人脸建模和人脸表情合成。 在三维人脸表情建模方面，研究了m p e g - 4 人脸表情动画的国际标准，为人脸的三维 建模提供理论基础。深入研究了人脸模型的构造方法，使用参数化及f f d 方法在通用人脸 网格模弛的基础上构建个性化人脸模型，并通过相应的纹理贴图构建完整的人脸三维模型。 在表情合成方面，在建立好的个性化三维人脸模型的基础上，结合面部动作编码系统， 对人脸模犁进行功能分区，并将其合成表情运动单元，通过对特征点的刚体运动和非特征点 的插值，控制表情运动单元变化，合成丰富的人脸表情，然后对运动单元再次进行分组，调 整新的权值，实现了同一表情不同程度的合成。而后研究了基于模糊神经网络的表情合成i jr i 练方法，对已有表情图像进行训练，生成期望表情。 在以上研究的基础上，本文研究了人脸检测与表情识别方法，构建了基于视频的人脸表 情合成交互系统，验证本论文研究的各种表情。实验结果表明，本文研究的人脸表情合成方 法可以有效的对人脸表情模拟合成。 关键词：m p e g - 4 ，f a c s ，f f d ，参数化模型，神经网络，表情合成 a b s t r a c t a b s t r a c t a st h em o s ti m p o r t a n te x t e r i o rc h a r a c t e r i s t i c ，h u m a nf a c ei sp l a y i n gt h ee x t r e m e l yv i t a lr o l e i i l p e r s o n sc o m m u n i c a t i o n s t h ep s y c h o l o g yr e s e a r c hi n d i c a t e st h a th u m a n i t y sm a j o r i t yo f e x p r e s s i o n sa n dc o m m u n i c a t i o n sa r cb a s e do nt h r o u g ht h ee x p r e s s i o n a l o n gw i t ht h er a p i d d e v e l o p m e n to fe m o t i o nc o m p u t a t i o n ，f a c i a le x p r e s s i o ns y n t h e s i z eb e c o m e s a l la c t i v er e s e a r c ho n c o m p u t e rv i s i o na n dp a r e r nr e c o g n i t i o nf i e l d i tp l a y sa ni m p o r t a n tr o l ei i ls m a r ts u r v e i l l a n c e s y s t e m ，v i d e oc o n f e r e n c e ，v i r t u a lr e a l i t y , m a n - m a c h i n ei n t e r f a c e ，m o d e l - b a s ei m a g es e a r c h ， m e d i c a lt r e a t m e n ta n ds oo n t h i s p a p e rm a i n l yr e s e a r c h e do nm p e g - 4f a c ea n i m a t i o nt e c h n i q u e s ，i n c l u d i n gf a c e m o d e l i n ga n df a c i a le x p r e s s i o ns y n t h e s i s d u r i n gt h er e s e a r c ho i lf a c em o d e l i n g ，w eh a v es t u d i e dt h em p e g 4f a c i a le x p r e s s i o n a n i m a t i o ni n t e r n a t i o n a ls t a n d a r da n df a c s t h i sw o r kh a sp r o v i d e dt h et h e o r yf o rf a c e st h r e e d i m e n s i o n a lm o d e l i n g t h e ns t u d i e dt h em e t h o d so ff a c em o d e l i n g ，u s e dp a r a m e t e r i z a t i o na n d f f dm e t h o db u i l ds p e c i a lf a c eo nt h eg e n e r a lf a c eg r i dm o d e l ，a n dc o m p l e t e d3 df a c em o d e lw i t h t h ec o r r e s p o n d i n gt e x t u r em a p p i n g i nt h e e x p r e s s i o ns y n t h e s i sa s p e c t , b a s e do nm p e g - 4f a c i a le x p r e s s i o n a n i m a t i o n i n t e r n m i o n a ls t a n d a r da n df a c s ，w ed i v i d e dt h ep a r a m e t e rm o d e li n t os e v e r a le x p r e s s i o na c t i o n u n i t s ；t h o u g hm a k i n gt h ef e a t u r ep o i n t sr i g i dm o v i n ga n di n t e r p o l a t i n gt h eo t h e rc o n t r o lp o i n t s ， c o n t r o l l e dt h em o v e m e n to fa c t i o nu n i t s ，s y n t h e s i z e dp l e n t yo ff a c i a le x p r e s s i o n s w h a t sm o r e ， w ed i v i d e da u sa g a i n ，a d j u s tt h ew e i g h t ，s y n t h e s i st h ed i f f e r e n td e g r e eo fe x p r e s s i o n s t h e nw e s t u d i e de x p r e s s i o ns y n t h e s i s t r a i n i n gm e t h o db a s e do nf u z z y n e u r a ln e t w o r k , t r a i n e dt h e e x p r e s s i o ni m a g e st os y n t h e s i st h ea n t i c i p a n te x p r e s s i o n b a s e do na l lo fa b o v er e s e a r c h e s ，w eh a v es t u d i e dt h ef a c ed e t e c t i o na n df a c i a le x p r e s s i o n r e c o g n i t i o nm e t h o d ，a n dc o n s t r u c t e d af a c i a le x p r e s s i o ns y n t h e s i si n t e r f a c es y s t e m i th a s c o n f l r m e dr e s e a r c h e si nt h ea r t i c l e t h ee x p e r i m e n t a lr e s u l ti n d i c a t e dt h a tt h i sa r t i c l e sr e s e a r c h e s o nf a c ee x p r e s s i o ns y n t h e t i cm e t h o da r ev e r ye f f e c t i v e k e y w o r d s ：m p e g - 4 ，f a c s ，f f d ，p a r a m e t e rm o d e l ，n e u r a ln e t w o r k , e x p r e s s i o ns y n t h e s i z e 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特，l j j j n 以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 研究生签名婴二! 1 日期：里星：旱 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 以电子信息形式刊登) 论文的全部内容或中、英文摘要等部分内容。论文的公布( 包括以电 子信息形式刊登) 授权东南大学研究生院办理。 研究生签名：颦二! 悟师签 日期： 第一章绪论 1 1 论文研究背景及意义 第一章绪论 人脸的表情作为人类重要的外部特征，是- e 语言交流中的一种有效手段，传递着最广泛 的信息。通过人脸表情，可以鉴别出个人身份，甚至判断出一个人的喜怒哀乐、精神状态等。 心理学研究表明，人类人部分的表达与交流都是通过表情进行的，在人们的日常生活中起着 至关重要的作用。 随着计算机科学技术的迅猛发展，人们认知自然、改造自然的方式也随着发生变化，计 算机在人类生活中开始扮演着越来越重要的角色。为了使人类与计算机问更加智能、自然的 交互，新型的人机交互技术正逐渐成为研究热点。而自然化的人机交互，需要计算机拥有理 解和表达情感的能力。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，并 能够自主适应环境，这将从根本上改变人与计算机之间的关系，将人脸表情、声音、视线、 人体姿态等信息结合起来可以获得更高效、更人性化的人机交互的目的，使计算机能够更好 的为人类服务。人脸表情合成技术就是计算机对人类心理活动机器模拟的一个重要方面，它 反映了有表情识别能力的情感机器对于外界的情感刺激，在人i l l , t = i , 理情感模型驱动下，所做 出的自然的感情流露，在情感机器中体现为人脸表情合成模拟，用以同用户进行更好的沟通 与交流。随着计算机、情感计算等相关领域的研究深入，真实人脸模型的建立和表情合成一 直是计算机图形学领域一个富有挑战性的课题，吸引着全世界的技术人员对其进行深入的研 究。 除了重要的科研意义之外，人脸表情合成技术还有着广泛的实际应用，例如娱乐影视， 游戏，网络通讯，虚拟主持人等等。主要应用在如下领域： ( 1 ) 娱乐领域 人脸表情合成技术最为人熟知的应用是在电影、广告及游戏制作等方面。随着计算机多 媒体技术的迅猛发展，虚拟角色成为了屏幕上的新宠，如近几年上演的指环王、怪物史 瑞克等等，制作者运用表情动画技术为角色制作了活灵活现的表情，为电影增添了新的魅 力。同样的，在游戏中使用三维虚拟角色以及场景也成为了游戏发展的趋势，典型的如最 终幻想，优美的人物造犁，逼真的表情与场景，增强了用户的沉浸感。 ( 2 ) 网络通讯领域 随着网络技术的发展，信息高速公路的逐步完善，人们希望能通过网络进行可视化的交 流。因此，视频通讯成为人脸动画在工业上最大的应用。视频传输中，为了充分利用有限的 网络带宽，必须对信息进行处理，为此，人们提出了人脸表情参数化的面部压缩思想，减少 表现脸部图像所需的信息，力图在发送端从实际视频实时提取面部形状、表情参数，在接收 端用实时恢复相应的参数，得到面部表情结果，以达到实时可视化通讯的目的。世界各大无 线通信、计算机公司都有专门的课题组致力于相关产品的研究与开发。 ( 3 )虚拟主持人 近年来，虚拟角色成为了计算机视觉与图形学热门研究课题之一。新世纪初，英国推出 了世界上第一个虚拟主持人阿娜诺娃( a n a n o v a ) ，日本推出了寺井有纪( y u k i ) ；美国推 出了薇薇安( v i v i a n ) ；韩国推出了露两雅( l u s i a ) ，我国也兴起了虚拟主持人的热潮。虚拟 主持人亲和的形象，丰富、生动的表情，快捷、便利、全天候的个性化服务吸引了千万人的 目光，达到了相当好的传媒效果。 东南大硕士学位论文 ( 4 )医学领域 在医疗诊断领域，计算机模拟面部运动可以辅助实际的面部外科手术，预演脸部整形手 术及诊治的过程，使得在手术前就可以大体知道手术效果，提高手术成功率，一定程度缓解 病人的矛盾心理；心理学家也可以利用面部表情动画系统进行心理学与表情变化间相互关系 的辅助研究。 ( 5 ) 代理化身 继图形用户界面( g r a p h i c a lu s e ri n t e r f a c e ) 和多媒体用户界面( m u l t i m e d i au s e r i n t e r f a c e ) 之后，人们正在研究使用代理( a g e n t ) 的人性化用户界面，具有真实感的人脸作 为计算机的代理，能够与用户交谈并且做出各种反应。 在网络虚拟社区、三维语音动画聊天室等虚拟世界进行交流时，由于设备条件的限制和 心理保护作用，人们往往会使用虚拟人脸作为自己在虚拟世界的化身( a v a t a r ) ，人脸表情 就是a v a t a r 的最好的交互方式。 本文的研究工作在综上所述许多领域都有着广阔的应用前景和重大的应用价值，同时， 也有着丰富的理论研究意义，具有很高的研究价值和实用价值。 1 2 人脸表情合成方法综述 用计算机来分析、合成面部表情是一个非常复杂的问题，它关键在于建立一个人类的情 绪( h u m a ne m o t i o n s ) 模型并把它们同人脸面部特征及表情的变化联系起来。 人脸表情动画合成的研究大致可以从基于几何、基于图像、基于运动跟踪【1 】【2 】这三个角 度来分类。其中，几何操作是指由顶点组成多边形并展示其表面的三维模型的处理，大致可 以分为三类：关键帧插值法，参数化方法，肌肉模型法；图像操作是指从二维图像或照片进 行变换，可分为：图像变形，动态纹理映射，面色变化的表情等。下面介绍几种典型的表情 动画合成技术： ( 1 ) 关键帧插值法 关键帧插值法【4 】是人脸表情动画合成中较为简单和常用的一种方法。它指的是三维空间 中获取空间顶点，并将它从一个位置移动到另一个特定的位置，计算机计算这两点之间的所 有点，得到点的轨迹，然后将该点沿轨迹运动。插值技术为脸部动画提供了一个直观的方法， 其基本实现形式为：给出时刻t l ，t 2 的两个关键帧，通过插值技术产生t l ，t 2 间的各个过渡 帧。 ( 2 )参数化模型法 参数化模型的基本思想【5 】是通过少量控制参数来生成各种不同的人脸和人脸的各种表 情，这样就可以方便地建立人脸模型、产生人脸动画。在人脸参数模型中，包括两种参数： 人脸形状参数和人脸表情控制参数。其中，形状参数用于控制个性人脸的大小、形状、各个 特征的相对位置以及高度、宽度等等，而表情参数则用来控制表情的变化，描述面部器官的 运动情况，如眨眼、张嘴，皱眉等等。它可以对特殊的人脸形状给予精确的控制，而且经过 少量的计算，参数的组合就可以提供较大范围的面部表情。 ( 3 ) 基于伪肌肉变形的方法 通过模拟人脸的生理变化过程，肌肉模型的方法可以产生真实感的人脸伪肌肉模型，不 涉及人脸内部复杂的生理结构，使用类似于肌肉的方式，在人脸的局部网格上实施变形，达 到控制人脸面部表情运动的目的。如常见的自由变形模型【6 】( f f d ，f r e e f o r md e f o r m a t i o n ) ， 通过对控制点的操作对人脸进行变形等等；还有如拓广的自由变形( e f f d ) ，有理自由变形 ( r f f d ) 等等。 ( 4 ) 行为驱动的方法 该方法捕捉在各种面部表情下真实人脸的特征，来驱动脸部模型产生真实的脸部表情。 2 第一章绪论 主要作法是在一个表演者的脸上设置许多特征点，在表演者表演各种面部表情时，捕捉这些 特征点的运动向量，然后使用这些运动向量来驱动脸部模犁的相应特征点产生脸部表情。它 提供了一种直观和有效的方式直接控制脸部表情的产生【7 】。而且，它们不依赖于特定的方法 实现，也就是说，既可以用基于图像的方法实现，也可以用基于几何学的方法实现。 ( 5 ) 基于图像的m o r p h i n g 方法 m o r p h i n g 3 】方法包括2 d 和3 dm o r p h i n g ，这种方法实现了两个指定图像或者模型之间 的变形转换。首先，需要手工标定，在两个图像或模型上确定一套特征点集；其次，用映射 函数建立两个目标对象之间几种特征点的对应关系：然后用相关函数确定中间图像的特征点 位置或纹理空间的坐标值；最后用插值函数计算非特征点的位置或纹理空间的坐标值。以此 来生成真实感较强的人脸表情。 在生成人脸表情的各种不同的方法之间并没有严格的界限，因而为了产生更好的结果， 往往需要融合多种方法。 1 3 国内外研究现状 近些年来，国外许多学者都致力于人脸表情合成的研究，并取得了很好的效果。 w a t e r s 在1 9 8 7 年最y - 提出了一种肌肉模型来模拟人脸表情产生过型引，从而生成逼真 的人脸动画，而后又进行了改进，提出了一种更为高级的人脸模型9 1 。这种模型将人脸描述 为一种层状结构的实体，层与层之间有许多弹簧相连。采用这种模型通过跟踪视频图像中非 刚性的面部特征运动，可以达到合成瞬间表情的目的。k o c h 等人在w a t e r s 肌肉人脸模犁的 基础上，采用了有限元的方法来产生人脸表情引。t e r z o p o u l o s 等人旧1 通过对肌肉模型引入 解剖学原理得到更加真实的人脸变形。他们提出的三层可变形网格对人脸细微的解剖结构和 动力系统进行了建模。k a l r a 等人将有理自由变形和基于区域的方法结合起来用于交互模拟 肌肉变形的视觉效果。w i l l i a m s 采用行为驱动的方法，从视频流中获得几何、颜色、纹理 等人脸表情数据，然后用高质量可变形的有动态纹理映射的多边形网格，真实的再现人脸表 情。“u 等人1 用人脸视频作为输入，在手工标记5 个特征点后可自动生成三维人脸模型， 同时产生与视频相应的人脸动画。 此外，微软亚洲研究院“圳、德国的m p ii n f o r m a t i k 研究室u 蚴1 等多家研究机构的人脸动 画系统也取得了很好的效果。 人脸表情合成的研究在很长一段时间内主要集中在欧美地区的研究机构，近年来，也引 起了国内研究学者的极大兴趣。中科院的高文、哈尔滨工业大学的晏洁 1 2 - 1 4 i 等人提出交互式 编辑算法，通过模拟人脸皮肤的粘弹特性，允许模拟者在交互方式下将一般人脸几何模型和 预先提供的特定人脸多方向图像之间进行特征校准，得到特定人脸三维模型。还提出从多个 方向的特定人脸图像上选择纹理信息映射到三维模型上以减少纹理的扭曲变形。中国科学院 计算技术研究所干兆其m 1 的研究组正在研究带有表情和动作的虚拟人。中国科学院自动化研 究所谭铁牛的研究组主要从事基于生物特征的身份验证。浙江大学c a d & c g 国家重点实 验室的梅丽等人【1 5 j 【1 6 】用多分辨率样条技术产生无缝的人脸纹理镶嵌图，进而，通过组合特 定人脸的肌肉向量的运动变形模型，组合出特定人脸的各种表情。另外北京工业大学旧引多媒 体技术与图形学实验室在人脸识别与建模及人脸动画方面也有深入研究。 1 4 论文主要研究内容 人脸表情合成是跨学科且富有挑战性的前沿课题，如何提取人脸特征对面部进行三维建 模，纹理映射生成真实感人脸，捕捉人脸面部的运动信息，合成丰富的表情都是表情合成技 术需要解决的问题。 3 东南大硕j ：学位论文 人脸表情合成技术的发展离不开计算机视觉、图像处理技术、生理学等学科知识的理论 基础支持。m p e g - 4 人脸动画标准的提出，f a c s 面部运动编码系统的出现，生理学中的人 脸器官特征等因素都是本文的重要依据。前人在计算机图形学、人工智能等领域所作的研究 与实践，得出的理论和经验，都为本文研究提供了很人的帮助。 概括起来，本文在人脸表情合成研究方面的主要研究内容包括： l 、研究人脸表情动画的国际标准和面部动作编码系统，为人脸的三维建模提供标准； 2 、研究三维人脸建模方法，使用参数化及f f d 方法构建个性化人脸模型，通过相应的 纹理贴图构建完整的人脸三维模型； 3 、研究控制运动单元的人脸表情合成方法，合成各种不同表情以及同一表情的不同程 度变化，并研究了基于模糊神经网络的表情合成训练方法： 4 、研究人脸检测与表情识别算法，构建基于视频的人脸表情合成交互系统，验证本论 文研究的各种表情。 1 5 文章组织结构安排 本论文分为六章，具体安排如下： 第一章介绍了本文的研究应用背景和意义，说明了人脸表情合成技术的发展历史和研究 现状。 第二章对m p e g - 4 人脸动画标准进行了详细的研究，介绍了人脸定义参数以及人脸动 画参数，并阐述了m p e g - 4 人脸动画的基本原理。研究了面部运动编码系统，以及其中涉 及到的运动单元，对下面的章节起到了指导作用。 第三章详细介绍了人脸建模方法与基于通用人脸网格模型的特定人脸模型建模，介绍 c a n d i d e 3 参数化模型并对其进行了修改。而后对f f d 自由变形算法的基本思想进行了阐述。 本文采用f f d 自由变形算法，对参数化通用人脸网格模型进行整体以及局部的网格变形调 整，生成个性化头像，并对人脸模犁进行纹理映射。 第四章介绍了对个性化参数模型进行表情合成的方法。根据m p e g - 4 与f a c s 中运动 单元的概念，提出一种人脸区域划分的概念。对变形后的个性化网格模型提取a u ，调整权 值来控制人脸模型表面的：i 了点，合成不同的表情，接着对运动单元再次分组，调整权值，合 成同一表情的不同程度的情况。然后采用基于模糊神经网络的表情合成训练方法，采用改进 的b p 算法对多层模糊神经网络进行学习，生成人脸表情。 第五章建立了人脸表情合成交互系统。该系统分为表情信息获取和表情合成两大部分， 对由摄像头输入的视频进行实时的人脸检测与表情识别，并把检测到的信息反馈，用 c a n d i d e 3 模型对当前表情进行模拟合成。 第六章对论文进行了总结，并对进一步的研究做出了展望。 4 第二章m p e g - 4 人脸动i 画标准及面部动作编码系统 第二章m p e g - 4 人脸动画标准及面部动作编码系统 m p e g - 4 t 2 l 】是m p e g 组织( m o v i n gp i c t u r ee x p e r t s u p ) 所提出的新一代多媒体数据 压缩标准。m p e g - 4 中一个重要的概念就是对象。一个m p e g - 4 场景包含一系列的视频和声 音对象，他们通过场景描述文件组织起来。以视频对象为例，它就包含了时空域上的形状、 运动和纹理信息。这种基于对象的编、解码方法非常适合交互式的多媒体应用环境。m p e g - 4 的另一个特点是他同时支持对自然的和合成的视觉、声音对象的编码，并可以将两者结合到 同一个场景中去。 m p e g - 4 主要应用于数字电视、低比特率下的移动多媒体通信、视频电话、i n t e r n e t 上 的视频流传输与可视游戏、交互式多媒体应用等等，它利用很窄的带宽，通过帧重建技术压 缩和传输数据，使得能够以最少的数据获得最佳的图象质量。它是一个真止地把视频和声音 以及计算机三维图形和图像结合在一起的多媒体标准。 面部动作编码系统( f a c i a la c t i o nc o d i n gs y s t e m ，简称f a c s ) 是e k m a n 等人【2 2 】对脸部肌 肉群的运动及其对表情的控制作用做了深入研究的基础上，制定出的一个尽最大可能区分面 部运动的综合系统，它是迄今为止最为详尽、最为精细的面部运动测量技术，能够测量和记 录所有可观察到的面部行为。 2 1m p e g - 4 中定义的人脸参数标准 m p e g - 4 中，面向3 d 人脸动画，其人脸对象是用三维网格来表示的，它特别的定义了 和人脸有关的一些标准【2 1 1 。为实现人脸动画，m p e g - 4 中定义的人脸参数包括f d p ( f a c i a l d e f i n i t i o np a r a m e t e r ，人脸定义参数) 、f a p ( f a c i a la n i m a t i o np a r a m e t e r ，人脸动画参数) 以及f a p u ( f a c i a la n i m a t i o np a r a m e t e ru n i t ，人脸动画参数单元) 。 2 1 1 人脸定义参数f d p 人脸定义参数f d p 是对三维人脸模型拓扑结构的定义，它提供了人脸特征点、网格、 纹理、人脸动画定义表等数据，有了这些数据就可以把一般人脸转化为特定人脸。f d p 是 一个静态参数，用来定义人脸模型，也可以用来下载一个人脸模型，以及定义如何根据后续 的一系列f a p ，产生活动图像的一套规则。f d p 出现在场景序列的开头，而且通常只需要 传送一次，而紧接着f d p 之后传送的就是经过压缩的f a p 。若编码器没有提供模型下载， 也可以用f a p 定义的特征点坐标来调整解码端的人脸模型，使之成为特定人脸模型。也就 是说，f d p 可以携带模型信息或模型调整信息，若解码器没有收到f d p 信息，也可以根据 收到的f a p 和本地的人脸模型解释f d p ，这样，可以在整个过程中使用最小的操作。 在一个f d p 域中包含以下5 方面内容： ( 1 ) f e a t u r e p o i n t s c o o r d 。指定网格中所有特征点的坐标。 ( 2 ) t e x t u r c c o o r d s 。指定所有特征点在纹理上的坐标。 ( 3 ) u s e o r t h o t e x t u r e 。指定纹理的类型。如果u s e o r t h o t e x t u r e 值为f a l s e ，则纹理采 用圆柱投影，如果u s e o r t h o t e x t u r e 值为t r u e ，则纹理采用正投影。知道纹理类型，才可 以正确地计算非特征点在纹理上的坐标。 ( 4 ) f a c e d e t t a b l e s 。即人脸动画定义表，描述f a p 对人脸网格变形的控制方式和参数。 ( 5 ) f a c e s c e n c g r a p h 。包含一张纹理图像或者一个上色的人脸模型。 在m p e g - 4 标准中定义了f d p 的8 4 个人脸特征点。如图2 1 所示，对于其他网格、纹 理、人脸动画定义表等内容没有具体的限定，这给研究者提供了开展多种方法研究的空间。 5 东南大学硕一t - 学位论文 1 5 a ，1 2 3 o r i g h te y e 5 3 9 l e f te y e n o s e 龟口眈 t e e t h 1 1 0l 口 f e a t u r ep o i n t sa f f e c t e db yf a p s t l lo t h e rf e a t u r ep o i n t s 图2 - 1 人脸定义参数f d p 2 1 2 人脸动画参数f a p f a p ( f a c i a la n i m a t i o np a r a m e t e r ) 是m p e g - 4 标准中定义的一组人脸动画参数，是接 受端驱动人脸动画的参数，被设计用来产生人脸运动、表情、情绪和语音重构。类似于人脸 运动编码系统( f a c s ) ，f a p 建立在人脸微小动作的基础上，并且非常接近于脸部肌肉的运 动。因此，几乎每一种表情都可以由这些人脸动画参数米描述。 6 第二章m p e g - 4 人脸动i 面标准及面部动作编码系统 表2 - 1 人脸动画参数f a p 分组 g r o u p n u m b e ro ff a p s 1 ：v i s e m e sa n de x p r e s s i o n s2 2 ：j a w , c h i n ，i n n e rl o w e r l i p ，c o m e r l i p ，m i d l i p 1 6 3 ：e y e b a l l s ，p u p i i s ，e ”l i d s 1 2 4 ：e y e b r o w 8 5 ：c h e e k s4 6 ：t o n g u e 5 7 ：h e a dr o t a t i o n3 8 ：o u t e rl i pp o s i t i o n sl o 9 ：n o s e4 1 0 ：e a r s4 m p e g - 4 共有6 8 个f a p ( 见表2 1 ) 。6 6 个与嘴唇、下颚、眼睛、嘴部、脸颊、鼻子等 等有关的低级f a p ，两个与视位和表情有关的高级f a p ，分别是唇形( v i s e m e ) f a p 和表情 ( e x p r e s s i o n ) f a p 。低级f a p 主要和脸部的局部运动有关，一般由特征点来表征，两个高 级f a p 的作用是更准确、方便地表现一般的唇动和表情，这些唇动和表情用普通f a p 也可 以实现。但是对于复杂、不规则的唇动和表情，则只能用高级的f a p 来实现。表2 - 2 列出 了f a p 列表的一部分，包括名称，简要的描述，相关的f a p u 等等。 表2 - 2 人脸动画参数f a p 列表 f a p n a m ef a pd e s c r i p t i o nf a p um o t i o n g r o u p s e to fv a l u e sd e t e r m i n i n gt h em i x t u r eo ft w o v i sc ：n l e l v i s e m e sf o rt h i sf r a m e as e to fv a l u e sd e t e r m i n i n gt h em i x t u r eo ft w o e x p r e s s i o n 1 f a c i a le x p r e s s i o n v e r t i c a lj a wd i s p l a c e m e n t ( d o e sn o ta 自f e c t o p e n _ j a w m n sd o w n2 m o u t ho p e n i n g ) l o w e rtm i d l i pv e r t i c a lt o pm i d d l ei n n e rl i pd i s p l a c e m e n tm n sd o w n2 r a i s e b m i d l i p v e r t i c a lb o t t o mm i d d l ei n n e rl i pd i s p l a c e m e n tm n s u p 2 s t r e t c hic o m e r l i ph o r i z o n t a ld i s p l a c e m e n to fl e f ti n n e rl i pc o m e rm wl e f t2 h o r i z o n t a ld i s p l a c e m e n to fr i g h ti n n e rl i p s t r e t c h _ r c o m e r l i p m w r i g h t 2 c o m e r v e r t i c a ld i s p l a c e m e n to fm i d p o i n tb e t w e e nl e f t l o w e r _ t _ l i p _ l m m n sd o w n 2 c o m e ra n dm i d d l et o pi n n e rl i p v e r t i c a ld i s p l a c e m e n to fm i d p o i n tb e t w e e n l o w e r _ t _ l i p _ r m m n sd o w n2 r i g h tc o m e ra n dm i d d l et o pi n n e rl i p v e r t i c a ld i s p l a c e m e n to fm i d p o i n tb e t w e e nl e f t r a i s e _ b _ l i p _ l m m n s u p 2 c o m e ra n dm i d d l eb o t t o mi n n e rl i p v e r t i c a ld i s p l a c e m e n to fm i d p o i n tb e t w e e n r a i s e b l i p _ r m m n s u p 2 r i g h tc o m e ra n dm i d d l eb o t t o mi n n e rl i p 人脸模型的特定化和变形都是以中性人脸模型为参考的。当所有的f a p 集合为0 时， 对应了中性人脸，中性人脸模型定义如下： ( 1 )眼睛平视前方( z 轴正方向) ； 7 东南大学硕l ：学位论文 ( 2 )所有脸部肌肉松弛； ( 3 )眼睑与虹膜相切； ( 4 )瞳孔是虹膜直径的l 3 ； ( 5 ) 上下嘴唇互相接触，唇线水平，与嘴角处于同一高度； ( 6 ) 嘴是紧闭的，上下牙齿闭合： ( 7 ) 舌头平直，舌尖在上下牙齿之间。 中性的人脸模型可以形变为所需要的任意的人脸模型。 2 1 3 人脸动画参数单元 m p e g - 4 定义了人脸动画参数单元f a p u ( f a c i a la n i m a t i o np a r a m e t e ru n i t ，人脸动画参 数单元) ，目的是使同样的f a p 参数应用到不同的模型上，产生的是同样的唇动和表情，而 不会因为模型的不同而使唇动和表情走样。这样就使f a p 具有了通用性。f a p 的值是以f a p u 为单位的，它与模型无关，而f a p u 则是与模型相关的，是人脸上某段特征长度在1 0 2 4 尺 度上的量化值。 具体来说，m p e g - 4 标准中定义了6 个f a p u ，分别是l r i s d ( 虹膜直径) 、e s ( 两 眼之间的距离) 、e n s ( 眼睛与鼻子之间的距离) 、m n s ( 嘴巴与鼻子之间的距离) 、m w ( 嘴 巴的高度) 和a l l ( 角度单位) 。它们的值定义为：瓜i s d = 瓜i s d o 1 0 2 4 ，e s = e s 0 1 0 2 4 ， e n s = e n s 0 1 0 2 4 ，m n s = m n s o 1 0 2 4 ，m w = m w 0 1 0 2 4 ，a u = 1 0 一。它们的物理意义如图2 2 所示。 2 2 肝e g 一4 的动画原理 图2 - 2 人脸动画参数单元f a p u 在m p e g - 4 定义的人脸动画参数中，根据f a p 控制的人脸运动类型的不同，6 6 个普通 f a p 又分为两类：第一类控制人脸某些区域的旋转、平移和缩放等简单变换，该区域点的运 动具有简单的统一规则，比如转头、转动眼珠等；第二类控制人脸某些区域的非简单变换， 该区域点的运动没有简单的统一规则，比如皱眉、眨眼、张嘴等。用户在得到一组f a p 的值后，需要用到f d p 域中的人脸动画定义表( f a c ea n i m a t i o nd e f i n i t i o n1 a b l e ) 来控制人脸 8 第二章m p e g - 4 人脸动画标准及面部动作编码系统 网格的变形，从而得到相应的表情。 对于第一类f a p ，人脸动画定义表中定义了f a p 的运动类型，包括旋转、缩放和平移 三种。如果运动类型是旋转的话，还需要定义旋转轴和旋转因子，如果运动类型是缩放和平 移的话，只需要定义三维比例冈子就可以了。 对于第二类f a p ，人脸动画定义表中定义了3 部分内容： ( 1 ) f a p 的值域分为哪几段； ( 2 ) f a p 控制哪些网格点； ( 3 ) f a p 控制的网格点在每段中的运动因子是多少。 对于每一个f a p ，需要在人脸动画定义表中查找出这三部分内容，然后根据m p e g - 4 中提供的算法，计算出由该f a p 控制的所有网格点的位移。对于一组f a p ，每个f a p 都计 算出影响网格点位移的人小，将这些位移霍加起来就可以得到一个生动的人脸表情。 2 3 面部动作编码系统 1 9 7 8 年，美国心理学家p a u le k m a n 和f r i e s e n 对脸部肌肉群的运动及其对表情的控制 作用做了深入研究，开发了面部动作编码系统( f a c i a l a c t i o nc o d i n gs y s t e m ，f a c s ) 来描述面 部表情。他们根据人脸的解剖学特点，将其划分成若干既相互独立义相互联系的运动单元 ( a u ) ，并分析了这些运动单元的运动特征及其所控制的主要区域以及与之相关的表情，编 码者可以手工对所有可能的人脸表情显示进行编码，并给出了大量的照片说明。许多人脸动 画系统都基于f a c s ，它是迄今为止最为详尽、最为精细的面部运动测量技术，能够测量和 记录到几乎所有可观察到的面部行为。 人的面部表情以及变化相当复杂，恐惧的情绪可能同时伴随着悲伤、生气、厌恶等等， 混合情绪可能包括恐惧和高兴，从而产生出混合表情，最为经常的是恐惧和惊奇的混合表现， 即惊恐的表情。1 9 8 4 年，e k m a n 和f r i e s e n 又提出了特定的f a c s 动作单元的组合表示着具 有情感的表情，首次提出人的情绪大体可以分为六种，并且每一种都有与其对应的人脸表情。 一般称这入种情绪为“基本情绪”，即，高兴、愤怒、恐惧、厌恶、惊奇以及生气。相应地， 人们将人脸表情分为这六种“基本表情”，后续的很多有关研究大体也都是按照这六种“基 本表情”的假设展开的。 表2 3 表情的分类及结构特点 表情 额头、眉毛眼睛脸的下半部 眉毛抬起，变高变弯眉毛下眼睛睁大，上眼皮抬高，下眼皮下下颌下落，嘴张开，唇和齿 惊奇边的皮肤被拉伸，皱纹可能落，眼白可能在瞳孔的上边和或下分开，但嘴部不紧张，也不 横跨额头边露出来拉伸 眉毛抬起并皱在一起 恐惧 额头的皱纹只集中在中部，上眼睑抬起，下眼皮拉紧 嘴张，嘴唇或轻微紧张，向 后拉：或拉长，同时向后拉 而不横跨整个额头 上唇抬起，下唇与上唇紧闭， 在眼皮下部出现横纹，脸颊推动其推动上唇向上，嘴角下拉， 厌恶眉毛压低，并压低上眼睑 向上，但并不紧张唇轻微凸起，鼻子皱起，脸 颊抬起 眉毛皱在一起，压低 下眼皮拉紧，抬起或不抬起 唇有两种摹本的位置：紧闭， 愤怒上眼皮拉紧，眉毛压低 唇角拉直或向下，张开，仿 在眉宇间出现竖直皱纹 佛要喊 眼睛瞪大，可能鼓起 鼻孔可能张大 9 东南 学碰i ：学竹论文 t t 边日能有皱纹，可能鼓起 唇自向口拉并抬高嘴日脆 高* 眉毛参考；稍微下弯但并不紧张 被张大，牙齿能鳝出；一 道镀纹从鼻了一直延伸到嘴 鱼尾纹从外角向外扩张 角外部，脸颊被抬起 眉毛内角皱在起，抬目，嘴自f 悲伤 h 角内的_ ：眼皮抬高 带动措毛下的盘肚嘴角可能颤抖 面部动作编码系统( r a c s ) 在制订过程中详细地研究了面部肌肉运动与面容变化的关 系。在实际测量时，它以面部活动为单位，称为运动单元( a c t i o nu n i t ，简称a u ) ， 个单 一的活动单位可毗包括一块或几块肌肉组织。由于多数面容变化是几个活动单元叠加发生 的，从而又可以把那些可以明显辨认的叠加的活动单位刘成复台活动单竹。 f a c s 包含“个基本动作单元( a u ) ，不同动作单元的组台产生不同的脸部表情。例如： 组台动作单元a l l l ( 内部眉端提升)