（计算机科学与技术专业论文）面向中国手语合成的真实感人脸动画研究.pdf

独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：王振 日期：塑丛二肿 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：壬援 导师签名：日期： 摘要 摘要 手语是有听力障碍的人互相交际和交流思想的一种重要工具。但是当今社 会中信息传播的主要方式都是建立在自然语言之上，对听力障碍者接受信息、 融入社会主体造成极大的困难。手语合成为听力障碍人提供了一种准确高效的 生成手语表达的方法，促进其与社会群体之间的交流。在手语合成中，生成真 实准确的人脸动画对增强整个手语合成的可懂度影响很大，具有重要的研究意 义。 人脸动画一直是虚拟现实领域的热门研究课题，受到许许多多研究人员的 关注。它的应用非常广泛，包括电影、游戏、广告、远程会议、虚拟主持人、 计算机辅助教学、远程医疗等领域。本文针对手语合成这一特殊需求，在广泛 阅读了国内外人脸动画的文献之后，提出了基于m p e g _ 4 标准的面向中国手语 合成的人脸动画生成，力求增强手语合成的效果。 本文基于m p e g 4 人脸动画标准，设计实现了面向中国手语合成的人脸动 画实现方案，使用m o t i o n a n a l y s i s 公司的h a 、以数字动作捕捉系统进行面部数 据的采集工作，采集得到的特征点运动数据通过本文提出的f a p 参数提取算法， 为人脸动画平台提供动作数据。在此基础之上，分别通过分析汉语语音的特点 和手语表情的特点，建立手语口型库和表情库。最后提出了口型和表情的人脸 动画参数f a p 的融合算法，实现了融合口型、基本表情和手语表情等多种元素 的面向中国手语合成的人脸动画，取得了较为理想的效果。 关键词m p e g 一4 ；面部捕捉；中国手语合成；表情动画；人脸动画 北京t q k 大学t 学硕j j 学位论文 i i ， a b s t r a c t a b s t r a c t s i g nl a n g u a g ei sa ni i l l p o r t a n tt o o lf o rp e o p l ew h o2 u r eh e 撕n gi i l l p a j r e dt 0 c o m m u n i c a t ea j l de x c h a n g ei d e a s t h em a i nf o 珊o fi n f o 咖a t i o nd i s s e m i n a t i o na r e b a s e do nn a n l 脚l a n g u a g e ，州c hi nt o d a y ss o c i e t yb i n d e rt h eo b s t a c l eo fh e 撕n g r e c e i v m gi n f o r m a t i o na n di 1 1 t e 铲a t i n g i i l t o s o c i e 吼s i g nl a n g 咙喀e 越m a t i o n p r o v i d e st h eo b s t a c l eo fh e 撕n ga 1 1e 雎c t i v ew a yo fs i g l ll a n g u a g ee x p r e s s i o n i i l s i 印l a n g u a g ea i 】i m a t i o n ，t l l eg e n e r a t i o no fr e a la i l da c c u r a t ef a c i a j 卸j m a t i o ni s i m p o r t a n tf o rt h eu n d e r s t a n d i n go fs i 朗 l a n g u a g e n er e s e 2 l r c hi so fg r e a t s i g l l i f i c a n c e f a c i a la n i m a t i o nh a sb e e nap o p u l a rf i e l do fv i r t u a lr e a l i t yr e s e a r c ht o p i c sa r e l ec o n c e mo fm a n yr e s e a r c h e r s i ti s w i d e l yu s e di 1 1f i l m s ，g 锄e s ，a d v e r t i s i n g ， r e m o t em e e t i n g s ，v i r t i l a lh o s t ，c o i i l p u t e ra l s s i s t e dm s t r u c t i o n ，t e l e m e d i c i n e ，e t c i n m i sp a p e r ，t 1 1 es p e c i a l r e q u i r e m e n to fs i g nl a n g u a g es y n m e s i s ，i nt t l e e x t e n s i v e r e a d i n go ft 1 1 el i t e r a _ t l u 汜a th o m ea n da b m a da r e rm ef 配i a l 越m a t i o ni sp r o p o s e d b a s e do nm p e g - 4 删a r df o rm ec m n e s es i g nl a n g u a g es y n t h e s i sf a c i a la 1 1 i m a t i o n g e n e m “o n ，a n ds t r i v et 0e i l h a n c et 量l ee 丘 e c to fs i g nl a n g u a g es y n t h e s i s t 1 1 i sp 印e rd e s i g n e da n di m p l e m e n t e dac k n e s es i 踮l a n g u a g e s y n t t l e s i s o r i e n t e df a c i a la 1 1 i m a t i o ns y s t e m 、v m c hi sb a s e do nm p e g 4f a c i a la m m a t i o n s t a n c i a r d 1 1 1 ef j 丑c i a lm o v e m e md a t ai so b t a i n e db yu s i n g 1 em o t i o na n a l y s i s s h 踟，km o t i o nc 印t u r es y s t e m t h ed a t at l l e ni sp r o c e s s e db yr 廿e x t r a c t i o nm o d u l e t oe x t r a c tf a pp a r 锄e t e r s o nt h j sb a s i s ，t h j sp 印e r b u i l d st l l ec 1 1 i n e s es i 印l a i l g u a g e l i b r a r yo fl i ps h 印ea n df a c i a le x p r e s s i o nb ya 1 1 a l y z i n gc m n e s ep r o 眦l c i a t i o na n d e x p r e s s i o n i i lc m n e s es i 口l a n g u a g e f i n a l l y ，w ep r o p o s e do u rb l e n d i i 玛a n d s y n c l l r o m z a t i o nm e m o dt oi n t e g r a t ef a c i a la 1 1 i m a t i o ni m os i 弘l a i l g u a g es y n t l l e s i s s y s t e m ，w 1 1 i c ha c k e v e sab e t t e rr e s u l t k e y w o r d sm p e g _ 4 ；f a c i a lc a p t u r e ；c l l i n e s es i g nl a n g 眦喀es y n m e s i s ；e x p r e s s i o n 砌m a t i o n ；f 犯i a la 面m a t i o n i i i 北京工业大学1 二学硕十学位论文 i v ， ， 目录 目录 摘蓦要。i a b s t r a c t i i i 第1 章绪论1 1 1 研究背景及意义1 1 2 国内外研究现状2 1 2 1 三维人脸建模3 1 2 2 三维人脸动画一5 1 2 3 面部运动捕捉9 1 2 4 基于m p e g 4 的三维人脸动画11 1 3 本文的主要工作1 2 1 4 本文的内容安排和组织结构1 3 第2 章基于m p e g 4 的人脸动画系统的设计与实现1 5 2 1 引言1 5 2 2m p e g 4 人脸动画原理1 5 2 2 1 人脸定义参数f d p ( f a c i a ld e f i 血i o np a r a m e t e r ) 16 2 2 2 人脸动画参数单元f a p u ( f a c i a la m m a t i o np a r 啪e t e r su 血t ) 1 8 2 2 2 人脸动画参数f a p ( f a c i a la 1 1 i m a t i o np a r 锄e t e r ) 19 2 3 人脸动画系统的整体框架1 9 2 4f d p 与f d t 的手动标定一2 1 2 5 基于m p e g 4 的人脸动画驱动模型2 2 2 6 本章小结2 3 第3 章面部数据的采集、处理与参数提取2 5 3 1 人脸运动数据采集2 5 3 2 采集流程2 6 3 3 采集数据的处理2 7 3 3 1 采集数据的格式2 7 3 3 2 降噪和平滑处理2 8 3 3 3 去旋转处理2 8 3 4 人脸运动参数( f a p ) 的提取2 9 3 5 数据重定向3 0 3 6 基于m p e g 4 的人脸动画实时编辑3 1 3 7 实验结果与分析3 1 3 8 本章小结3 2 第4 章面向中国手语的口型库与表情库的建立3 3 4 1 引言3 3 4 2 中国手语口型库3 3 v 北京工业人学t 学硕士学位论文 4 2 1 汉语音节的特点3 3 4 2 2 汉语音节的聚类分析3 3 4 2 3 音节口型库的建立3 5 4 3 中国手语表情库3 5 4 3 1 基本表情3 6 4 3 2 手语词根级表情3 7 4 4 口型与表情的融合3 9 4 5 人脸皱纹绘制研究4 0 4 6 实验结果与分析4 1 4 7 本章小结4 3 结论。4 5 参考文献4 7 攻读硕士学位期间发表的学术论文5 l 致谢5 3 v i 第1 章绪论 1 1 研究背景及意义 第1 章绪论 中国拥有世界上最庞大的聋人群体，根据的全国人口普查统计，全国大约 有听力障碍者2 0 0 4 万人【l j ，包括弱听、重听、老化聋等。手语是聋人在自身成 长过程中自然习得的，聋人对它有亲切感，已成为聋人的主要交际工具。 然而普通人只使用自然语言进行交流，对手语往往并不了解，这对听力障碍 者接受信息、融入社会主体造成极大的困难。在这种环境下，手语合成应运而 生，为听力障碍人提供了一种准确高效的生成手语表达的方法，促进其与社会 群体的交流。 在手语交流中，交流双方者不只使用手势表达，往往在手语中附加相应的 表情和口型，通过表情和手势的共同发挥作用，增强表达力。手语研究人员指 出，当两种手语打法相近时，手语交流者们往往依赖口型和表情去判断对方在 打哪个手语词。由此可见，人脸动画能够提高虚拟人打手语的可懂度，对于手 语合成非常重要，是实现手语无障碍交流平台的重要组成部分。 人脸是人类的喜、怒、哀、乐等复杂表情和语言的载体，是人们相互交流 和沟通的重要渠道，所以对于人脸的描述和刻画一直得到人们的广泛关注。 自从1 9 7 2 年f r e d e r i c ki p a r k e 【2 】用计算机产生了第一个三维人脸动画模型 以来，由于电影特技的需求、电脑和网络技术的飞速发展以及由此引出的广泛 的商业应用前景等，使三维人脸动画技术得到了快速的发展。基于三维人脸模 型建立的人脸动画系统可以提供友好的人机交互方式，大大提高了人和机器交 流的效率，对实现机器的智能化有着重要的意义。1 9 8 9 年，心理学家的研究表 明，物理世界中人与人人之间的直接交流主要有文本传递、语音传递( 听觉) 和 表情体态传递( 视觉) 三种模式。他们提出一个公式：情感表达= 7 文本+ 3 9 语音+ 5 4 表情动作【3 1 ，由此可见，人脸的表情动作在情感表达中占有重要地 位。 人脸动画建模在计算机图形学、图像处理、计算机视觉等领域中有着广泛 的应用，主要表现在以下几个方面： ( 1 ) 数字娱乐 计算机生成的三维虚拟人物在影视、游戏、广告业的应用越来越普遍。代 表作如影视作品功夫熊猫、美剧罗马等，游戏有寂静岭系列。 ( 2 ) 多媒体通信 计算和通信技术的迅猛发展，使传统的音频信号扩展至多媒体应用，如远 程会议和视频电话等，目前彩屏的无线传输已经商业化。多媒体通信中，视频 北京下业人学t 学硕l ：学 7 ：论文 信息对人类的信息交流尤为重要。视频传输正成为新的热点，为了充分利用有 限的网络带宽，必须对视频信息进行图像压缩。为此人们提出了人脸表情参数 化的压缩思想，在发送端从实际视频实时提取面部形状和表情参数，在接受端 实时恢复相应的参数，最终得到面部的表情结果。这一设想有望获得高度的压 缩比，但仍有许多技术问题有待解决，它也是计算机科学和网络通信技术领域 中一个极具挑战性的课题。诺基亚、摩托罗拉、i b m 、i n t e l 、d e c 、s o n y 等大 型无线通信、计算机公司都有专门的课题组致力于该研究。 ( 3 )医疗诊断 计算机模拟面部运动可以辅助实际的面部外科手术。心理学家可以利用面 部表情动画系统进行进行心理学与表情变化问相互关系的辅助研究。 ( 4 ) 人机交互 现在，计算机的操作越来越方便，但仍然脱离不了鼠标、键盘。这使得在 许多应用环境中硬件设备的配备以及操作都不够便利，如交通导向机、取款柜 员机、手机以及上肢伤残人操作等。友好、多通道的操作界面是下一代人机交 互的主流。面部的理解是实现更友好的人机界面的重要研究课题。 ( 5 ) 计算机辅助教学 为促进聋哑人与正常人之间的交流，人脸动画还用于设计聋哑人辅助教学 系统。 总而言之，作为当前计算机视觉和计算机图形学领域的研究热点，人脸动 画不但具有理论研究意义，同时也具有极大的应用价值。 本课题来源于国家自然科学基金重点项目：“普适计算研究一手语无障碍信 息服务的普适计算”。人脸动画作为手语无障碍信息服务系统的一个重要组成部 分，是肢体语言必不可少的补充，对于聋人理解手语起着重要的作用，并且可 以用于表达许多无法用语言表达的情感，具有重要的理论研究意义和实践应用 价值。 1 2 国内外研究现状 1 9 7 2 年，p 破e 【2 j 引入人脸参数模型，首先开始了人脸动画的研究。此后的 几十年中，众多学者在这个领域做出许多创造性的研究工作。当前包括美国、 欧洲各国、日本在内的很多国家展开了有关人脸建模和人脸动画的研究，取得 了很多突破性的进展和成果，著名的研究机构有美国麻省理工学院的媒体实验 室和人工智能实验室，卡内基梅隆大学的人机交互研究所，微软研究院，英国 剑桥大学等。 人脸动画技术的研究在很长一段时间内主要集中在欧美地区的研究机构， 国内关于人脸动画的研究相对较晚，最早的人脸动画研究始于2 0 世纪9 0 年代 第l 荦绪论 末。近年来，人脸动画也引起了国内研究者的极大兴趣，国内的一些研究机构 在人脸建模和动画方法做了许多研究工作，并实现了一些人脸建模和动画系统。 国内典型的人脸动画研究机构有哈尔滨工业大学、中科院计算所、浙江大学、 中国科技大学、北京工业大学等研究机构。国内人脸动画的研究主要采用经典 方法，但在生成动画的真实感上仍有待改进。 人脸动画研究领域的主要研究内容包括对人脸的几何形状与纹理表现模式 进行建模，并建立人脸表情、动作等动态信息的描述和表示方法，以求生成能 够满足各种需求的人脸表情和运动。纵观目前存在的各种方法，建立一个三维 人脸动画系统一般都会经历两个步骤：人脸建模和人脸动画。人脸建模就是把 真实人脸的框架标准化，然后用网格来表示几何特征，用带有颜色的纹理刻画 出人脸对于光照的反射性质，从而作为将来生成真实感人脸和面部动画的基础。 不同的模型决定了产生人脸动画方式的不同。人脸动画就是以人脸模型的几何 和纹理为基础，采用动画技术使得人脸模型产生整体的或者局部的形变，达到 模拟人脸运动的目的。 1 2 1 三维人脸建模 三维人脸模型包括三维几何网格和二维纹理图像两个主要组成部分。对于 三维人脸建模来说，为了把人脸表达的生动和细腻，总是希望采用数量多的网 格来表示其几何结构，但是考虑到生成人脸动画的计算代价，不可能无限的增 加网格的数量。因此，三维人脸建模的基本要求是用最少的数据量来尽可能多 的表达人脸的一些基本特征。根据三维人脸模型的几何和纹理数据的获取来源 不同，可以将三维人脸建模方法分为三类：完全采集的建模方法，仅采集纹理 的建模方法，完全构建的建模方法。 1 2 1 1 基于数据捕获的人脸建模 完全数据捕获的建模方法，一般是通过三维激光扫描仪( 例如c y b e r w 打e 【4 j ) 直接获取真人的三维人脸数据【5 】。这种激光扫描仪可以一次扫描得到 头部的几何信息和彩色纹理信息。利用三维激光扫描仪获取三维人脸模型的方 法和由二维图像重建三维模型的方法相比，得到的数据更加准确，获取过程也 更加直接。但是由于目前三维扫描仪一般还比较昂贵，并且扫描过程所需时间 相对较长，采集环境也比较苛刻，所以该方法还不普及。 北京t 业大学工学硕十学位论文 1 2 1 2 对纹理采样的建模方法 对纹理采样的建模方法，抓住了人脸的纹理图像相对于几何网格在采集方 面的便利性，以及在表达和区分不同人脸时处于更加重要的地位这样两个特点 而发展起来。 仅采集纹理的建模方法，在几何构建中一般采用通用人脸网格，或者借助 一些三维建模工具来构造特定的人脸几何模型。著名的三维建模软件工具包括 a u t o d e s k 公司的3 d sm a ) ( 【6 】、m a y a 【7 j 等。屡获殊荣的3 d sm a x 是当前世界上销售 量最大的三维建模，动画及渲染解决方案，广泛应用于视觉效果、角色动画以 及下一代的游戏。而m a y a 是一个强大、集成的三维建模、动画、视觉特效和 渲染解决方案，应用对象是专业的影视广告，角色动画，电影特技等。m a y a 功能完善，工作灵活，易学易用，制作效率极高，渲染真实感极强，是电影级 别的高端制作软件。通过这些功能强大的建模工具，人们可以方便的通过人机 交互的可视化界面，创造出想象中的任何造型，很大程度上降低了三维几何构 建的复杂性。 另一方面，在仅采集纹理的建模方法中，人脸的纹理图像获取一般可以采 用光学仪器捕捉的方法，比如利用照相机采集的多角度静态图像或摄像机采集 的动态图像作为基础数据，经过图像处理生成纹理图像。这种纹理采集的方法 所需要的高性能的照相与摄影装备在今天已经变得较为普遍。 p i 蛳n 瞵j 提出了一个基于图像的真实感人脸建模系统。这个系统通过人脸几 个角度的图像以及一个一般人脸的几何模型，交互的建立特定人脸的几何模型， 然后用各角度的图像合成这个几何模型的纹理。 b l a n z 和v e t t e r l 9 】提出了一种能从图像自动生成带纹理的三维人脸模型的方 法。这个方法的最大特点是可以从一幅或多幅图像自动生成真实感很强的人脸。 这种方法以一个三维人脸库为基础，对人脸库中的模型做线性组合而得到新的 人脸模型，然后新的人脸模型和图像进行匹配，最终可以达到最优的状态。 1 2 1 3 手工构建的建模方法 手工构建的建模方法，对于几何网格和纹理图像均采用手工创建，主要应 用于卡通动画角色的制作，通常需要功能强大的建模工具的辅助支持，并且需 要造型师具有比较纯熟和高级的建模技术。 篼l 章绪论 1 2 2 三维人脸动画 人脸动画合成方法是人脸动画技术的关键，为了实现模型控制和动画生成， 必须设计一个计算模型，把人脸的几何表示和形状变化联系起来。不同的计算 模型形成了不同的人脸动画技术，各种各样的人脸动画技术的目的就是在动画 序列的每一帧中准确的控制人脸模型的变形。到目前为止，人脸动画的主要方 法有：基于关键帧插值的方法，基于参数控制的方法，基于肌肉模型的方法， 基于变形的方法，基于表演驱动的方法等。 1 2 2 1 基于关键帧插值的方法 关键帧技术来源于传统的动画制作，这种方法的基本思想是由定义在单位 时间区间上的一个插值函数来计算位于端点的两幅关键帧之间的光滑运动。由 于线性插值非常简单，所以使用很广泛，图1 1 显示了对关键帧执行线性插值 的结果。使用余弦函数或类似的复杂一点的插值函数可以使动画在开始或结尾 处有加速或减速的效果。当有四个关键帧时，就可以采用双线性插值，双线性 插值比线性插值更能表达丰富多样的脸部表情。双线性插值与图像变形技术结 合后，也能表达出许多真实感脸部表情的变化。 f o f i n t e 巾o i a b d f 1 图1 1 关键帧的线性插值 f i g u r el lk e y 触n el i n e a ri n t e 叩o l a t i o n 通过改变插值函数的参数能产生不同效果的插值图像。几何插值直接修改 人脸网格点的二维或三维位置，而采用参数插值则可以间接的移动网格顶点。 例如，s e r a 等人【1 0 】对肌肉的弹性拉力参数进行线性插值，而不是直接对顶点的 位置进行插值，更能真实的反映嘴的动画。 尽管基于关键帧插值的方法比较简单，容易产生基本的脸部动画，但它不 能生成大范围内各种真实感的人脸表情，所以其应用受到了限制。而且该方法 在不同的人脸运动叠加作用时，很难产生组合。不过如果需要根据少数关键帧 北京工业大学t 学硕士学位论文 产生小范围内的一组动画，插值仍不失为一个好方法。 1 2 2 2 基于参数控制的方法 p a r k e 最早将参数化方法引入到三维人脸合成中，在1 9 7 2 年首次提出了计 算机表示的人脸模型引，并于1 9 8 2 年对参数化人脸模型进行了改进【i l 】。p a r k e 指出有两种参数应被考虑：特定人标识参数和人脸表情控制参数。特定人标识 参数因人而异，用于描述特定人的眼睛大小，鼻子高低，额头、下巴的形状等 依赖特定人的独立特征。人脸表情控制参数则用于描述眼睛的开合，眉毛的位 置变化，脸颊的运动等情况。参数模型建立在网格模型基础上，面部表情的生 成是通过挤压、变形代表面部表情网格的相应区域实现的。p 砌提出的人脸参 数模型如图l 一4 所示。 图1 2p a r k e 提出的人脸参数模型 f i g u 陀l 一2p a r k e sf a c i a lp a r a m e t e rm o d e l 1 9 7 8 年，e k m a n 和f r i e s e n 提出了著名的面部运动编码系统【1 2 1 ( f a c s ，f a c i a l a c t i o nc o d i n gs y s t e m ) ，它描述了4 4 个能够独立运动的面部动作单元。这些单 元与导致面部表情改变的肌肉结构紧密相连，在这个系统中，e k m a n 和f r i e s e n 还研究归纳了六种基本表情，分别表达为怒、厌、怕、喜、哀、惊。 基于参数控制的方法克服了简单插值的一些限制，通过选取并组合一组独 立的参数值，就能构造出人脸表情。但使用纯几何模型的参数化方法忽略了人 脸的现实层状结构和皮肤的柔韧性，很容易产生不自然的表情，从而降低了真 实感，而且需要大量的手工调节去设置参数值。 1 2 2 3 基于物理模型的方法 在分析人脸生理结构的基础之上，p l a t t 和b a d l e 一1 3 1 在1 9 8 1 年提出了最原始 的人脸肌肉模型。在该模型中，人脸由皮肤表面顶点相互弹性的连接，并且通 过具有弹性和收缩性的3 8 块肌肉连接到基本骨骼上，通过施加肌肉力来控制和 第1 章绪论 变形皮肤网格，从而得到各种人脸表情和动作。 基于p l a t t 和b a d l e r 提出的人脸肌肉模型，1 9 8 7 年，w a t e r s l l 4 j 提出了一种向 量肌肉模型，利用肌肉向量去控制人脸表情，根据人脸组织和肌肉的物理特性 来模拟人脸肌肉运动。这是基丁物理属性的面部结缔组织与基丁解剖学的面部 肌肉活动的结合。这里的肌肉被定义为向量的形式，包含起点和插入到人脸网 格中的控制顶点。不同肌肉的运动被限制在一个局部的变形区域，这个变形区 域的范围是按余弦函数因子定义的一个圆锥体形状。同时，w a t e r s 将嘴等器官 的变化使用一个圆环形的轮匝肌来模拟，轮匝肌围绕一个椭球中心收缩。通过 基于向量肌肉和轮匝肌的收缩变化来控制人脸网格上的顶点，可以产生生气、 害怕、惊奇、高兴等表情动画。w r a t e r s 提出的人脸肌肉模型如图1 3 所示。在 向量肌肉模型中，如何按生理学的规律正确放置肌肉向量是一项非常困难的工 作，目前还没有一个有效的方法将肌肉向量放置到非特定人脸的网格中去，而 且不正确的肌肉向量定位会出现不自然的表情动画，甚至出现不可能发生的表 情动画。因此，实现向量肌肉模型需要大量的反复实验来得到比较好的效果。 图1 - 3w a t e r s 提出的人脸肌肉模型 f i g u r el 一3 、吐e r s sf k i a lm u s c l em o d e l l e e 等人【”，1 6 】随后改造了w a t e r s 提出的肌肉模型，进一步改进了基于生理 肌肉模型的三维人脸合成方法。在原来基于生理的肌肉模型的基础上，增加了 皮肤层和颅骨层，将一般人脸模型按照激光扫描数据进行变形，并增加了脖子、 眼睛、眼睑、牙齿等辅助器官。这种利用肌肉运动原理的方法可以生成具有更 强真实感的人脸动画，但是该模型需大量的计算和大量的调节才能生成一张特 定的三维人脸。通过模拟人脸的生理变化过程，基于肌肉模型的方法可以产生 真实感的人脸表情动画，但是要实现人脸肌肉模型，需要大量细致的手工调节 工作，而且调节结果只能针对特定人脸。 为了克服肌肉模型需要大量人工调节的缺点，出现了伪肌肉模型。伪肌肉 模型不涉及人脸内部复杂的生理结构，但使用类似于肌肉的方式对人脸的局部 网格实施变形，而且变形只发生在局部网格上。t h a l n l 锄等人l l7 j 在1 9 8 8 年开 北京工业人学t 学硕_ f 学位论文 发了一个伪肌肉模型，其控制参数是抽象肌肉运动( a m a ，a b s t r a c tm u s c l ea c t i o n ) 过程。这些a m a 过程与f a c s 运动单元有一定的相似性，但又不完全相同。 这些a m a 过程间并不独立，而且运动的顺序非常重要。该模型允许通过控制 低级a m a 过程和高级表情参数来进行面部控制。虽然伪肌肉模型相比肌肉模 型在计算的复杂程度上有所改善，但总体来讲控制过程还是比较复杂。 s i f 酞i s 等人1 8 1 使用t e m 等人【1 9 1 的更加一般的肌肉构造原理构造了一个在 解剖学上非常精确的人脸肌肉模型。该模型是基于有限元算法，其肌肉行为能 与环境交互，也就是说，肌肉的运动能够受碰撞等外界产生力的影响。 在基于肌肉的建模与动画中，普通人体动画与人脸动画有许多相似的研究 问题，如肌肉和软组织的变形等。然而人脸动画与人体动画也有许多不同的地 方，如参与人脸表情的肌肉数量更多，软组织变形要求更强的真实感，人的头 部具有多自由度等等，这些性质决定了采用肌肉模型方法在建模和动画生成上 的较高复杂度。 1 2 2 4 基于变形的方法 1 9 8 6 年，s e d e r b e r g 和p a r r y 提出了自由变形i 2 u 1 ( f f d ，f r e ef o 衄d e f o n i l a t i o n ) 算法，这种算法日后应用于人脸建模和人脸动画领域。该算法的思想是：先构 造一个由三维控制顶点组成的长方体，这个长方体的体积是可以伸缩的，然后 把要变形的物体放置其中，通过移动长方体的控制顶点使得长方体变形，物体 也随之产生变形，如图l 一4 所示。这种方法的控制点在物体之外，属于间接控 制物体的方法。f f d 的优点是，可与任何实体造型系统一起使用；对于任何形 式，任何幂次的曲面都可以进行变形；可以用于曲面或者多边形建模；可以整 体或者局部应用；参数曲线、参数曲面经过f f d 变形后，不会改变它们的表达 形式。f f d 的缺点是，这种间接控制物体变形的方法很难达到高精度。 图l - 4 自由变形( f f d ) 计算模型 f i g u r el 一4f r e e f o n i ld e f o 叽a t i o n ( f f d ) m o d e l k a h 等人【2 l 】提出了一种有理自由变形( r f f d ，胁i o n a l f r e ef o 舯 8 第l 币绪论 d e f o 肌a t i o n ) 的三维人脸运动模型。该模型在脸部肌肉的影响区域周围定义一个 长方体控制框架，通过移动控制点或改变控制点的权因子模拟该肌肉的运动， 使得对应的表面区域产生拉伸、挤压、扩展、压缩等变形。有理自由变形产生 的效果与自然的肌肉运动非常接近，但是移动控制点或改变权囚子却比设定肌 肉运动要容易。有理自由变形模型并不提供肌肉的精确模拟和皮肤的行为，从 而不能对皱纹等皮肤细节变化进行模拟，而且该模型仅仅实现曲面的表面变形， 对于人脸体积随肌肉变化的一致性也不能很好地模拟。 基于变形方法瞄】的缺点在于，需要大量的人工操作才能获得一个成功的动 画效果。目前已经可以对渲染算法进行改进，但是只考虑到了几何学信息幽j 。 1 2 2 5 基于表演驱动的方法 1 9 9 0 年，w i l l i 锄s 【2 4 】首次提出了基于表演驱动的人脸动画方法。这种方法 从连续视频图像序列中提取信息，作为动画系统的控制输入。通过跟踪表演者 面部的各个特征点并将图像纹理映射到多边形模型上，仅仅需要很少的计算消 耗且只需少量分析就可以得到实时的面部动画。通常，基于表演驱动的人脸动 画方法将被跟踪的三维特征运动进行滤波或变形，从而产生驱动特定动画系统 的运动数据。 m a r s c l l i l e r 等人【2 5 】提出了一个人脸动画系统，该系统用表演驱动技术来获 得人脸的运动信息，用基于图像的双向反射分布函数( b i m f ，b i d i r e c t i o 砌 r e n e c t a 吼c ed i s t r i b u t i o nf u n c t i o 山测量技术来获取人脸皮肤的反光特性。这个系 统可以从一定程度上实现任意视角、任意光照条件下的人脸动画。但这种方法 不能准确建立人脸的反光模型，不能很好处理眼睛、眉毛、头发、耳朵的建模 和动画问题。 z h a n g 等人【2 6 1 将基于图像的技术和基于几何学的技术相结合，利用多张不 同的人脸表情图像中的皱纹等细节信息产生更具真实感的人脸表情，人脸特征 点在这些表情图像中的几何位置必须被事先标定。 基于表演驱动的方法可以创建生动的脸部动画，生成的动画受控于被跟踪 的表演者。运动数据可直接用于产生脸部动画，或经过分析转化为面部动画参 数而产生脸部表情。精确跟踪特征点的运动对于采用基于表演驱动的方法获得 一致而生动的人脸动画至关重要。 1 2 3 面部运动捕捉 面部运动捕捉是表演动画系统中最关键的技术，它实时地检测、记录表演 北京丁业大学工学硕f 二学位论文 者的肢体在三维空间的运动轨迹，捕获表演者的动作( 甚至包括方向信息) ，转 化为数字化的“抽象运动”，以便动画软件将它“赋予模型，使模型做出和表 演者一样的动作，并生成最终的动画序列。运动捕捉的对象不仅仅是表演者的 动作，还可以包括物体的运动，表演者的表情，以及相机、灯光的运动等。 w i l l i 锄s 【2 7 1 ，s t u n i l a n 【2 8 】，p a t t e r s o n 【2 9 】等研究者在运动捕捉的问题上做了深入而 细致的研究 从工作原理来看，目前常用的方式主要有机械式、声学式、电磁式和光学 式运动捕捉。各种技术均有自己的优缺点和适用场合。因此对于不同的方法， 一般只能从成本、实时性、使用的方便程度、精度等方面进行比较。 1 2 3 1 机械式运动捕捉 机械式运动捕捉依靠机械装置来跟踪和测量运动。典型的系统由多个关节 和刚性连杆组成。在可转动的关节中装有角度传感器，可以测得关节转动角度 的变化。装置运动时，根据角度传感器的数据和连杆的长度，可以得出a 点在 空间中的运动轨迹。实际上，装置上任何一点的运动轨迹都可以求出。刚性连 杆也可以换成长度可变的伸缩杆，用位移传感器测量其长度的变化。 这种方法的优点是成本低，装置定标简单，精度也较高，可以作到实时测 量，还可以容许多个角色同时表演。但其缺点也非常明显，主要是使用起来非 常不方便，机械结构对表演者的动作阻碍、限制很大。而且较难用于连续动作 的实时捕捉，需要操作者不断根据剧情要求，调整机械臂的姿势，很麻烦，主 要用于静态造型捕捉和关键帧的确定。 1 2 3 2 光学式运动捕捉 光学式是通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。目 前常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中 一个点，只要它能同时为两台摄像机所见，则根据同一瞬间两相机所拍摄的图 象和相机参数，即可以确定这一时刻该点的空间位置。当相机以足够高的速率 连续拍摄时，从图象序列中就可以得到该点的运动轨迹。 典型的光学式运动捕捉系统通常有乱8 个相机，环绕表演场地排列，这些 相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者 穿上单色的服装，在身体的关键部位，如关节、髓部、肘、腕等位置贴上一些 特制的标志或发光点，视觉系统只识别和处理这些标志。系统定标后，相机连 续拍摄表演者的动作，并将图象序列保存下来，然后再进行分析和处理，识别 1 0 第1 章绪论 其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了 得到准确的运动轨迹，要求相机要有较高的拍摄速率，一般要求达到每秒6 0 帧 以上。 而在表演者的脸部表情关键点贴上m 酞e r ，就可以实现表情捕捉。光学式 运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，使用很方便。 其采样速率较高，可以满足多数体育运动测量的需要。m a r k e r 价格便宜，便于 扩充。 光学式运动捕捉的缺点在于捕捉设备的运行和维护成本较高，例如一套 c o n 运动捕捉设备商业报价高达上百万元【3 0 1 ，此外，还需要附加设备操作人 员的人力资源成本，这就必然造成了运动捕捉数据采集成本费用的上升【3 。 1 2 3 3 基于视频分析的运动捕获 基于视频的人脸运动信息获取方法根据是否往脸上加标记点又分为两种：一 种是未标记的人脸运动数据获取方法，这种方法对视频中的人脸图像使用光流跟 踪等技术提取人脸特征点运动信息。对人脸特征点检测的研究结果表明，根据人 脸面部特征的先验知识和肤色的变化信息，可以提取较为明显的特征点的运动信 息，如：嘴角，眼角，鼻尖，下巴等特征点。另一种是直接在真实人脸上标定特 征点，然后在视频中跟踪特征点的运动。这种基于标记点的人脸特征运动数据获 取方法需要在人脸上标注荧光点或彩色点，然后在特征点标注好的人脸图像上提 取这些点信息。b g u e n t e r 等人【3 2 】为取得真实感较强的人脸动画效果，在人脸上 标注大量的取样点，并使用六台摄像机同时在不同角度拍摄人脸运动图像，用于 人脸运动合成，取得较好的效果。p y h o n g 等人【3 3 1 利用计算机视觉技术跟踪放在 真实人脸上的标记点，跟踪的结果可以直接用来对人脸模型进行变形。如果每时 每刻所有的人脸特征点都可以被检测出来，那么提取出来的数据可直接与人脸模 型参数建立一种映射，此时，这种方法可以得到很好的结果。这一方法的优势在 于可以根据实验目的明确需要提取的特征点的位置，并能取得精确的跟踪结果， 同时实现相对简便。 通过对视频分析的方式获取人脸特征点的运动数据，优点在于花销低廉， 采集过程简单，视频数据源广泛，但缺点也很明显，不能满足实时要求，精度 比较低，难以保证数据的准确性。 1 2 4 基于m p e g 4 的三维人脸动画 1 9 9 9 年，基于对象的多媒体压缩标准m p e g 一4 获得国际标准化组织i e c 活 北京丁业大学t 学硕j 二学位论文 动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ，m p e g ) 的通过。由于人自身在 多媒体中占据着十分重要的位置，所以m p e g 一4 对三维人脸动画格式定义了一个 国际标准【3 4 35 | 。在m p e g 一4 中，人脸对象是用三维网格模型来表示的，它通过一 系列的参数来刻画一个人脸以及人脸运动的形式化表达方式。这种人脸动画实 现方法通用性强，数据量小，运算复杂度低，特别适合用于通过网络播放的实 时人脸动画。 s z 罚缸6 【3 6 j 提出了一个与m p e g 一4 标准兼容的人脸动画系统，该系统使用低 码率的m p e g 4 数据流驱动人脸模型，可以生成具有一定真实感的人脸动画。 该方法对计算机硬件以及网络带宽的要求比较低，可以应用到计算能力相对较 小的移动终端设备上，具有很好的应用前景。 p o c k a i 等人【”j 用径向基插值的方法实现了m p e g - 4 中所有的低级人脸动画 参数，开发了一个基于m p e g 4 的人脸动画系统。该系统具有较好的兼容性， 可以嵌入到一些具体的应用中。 在g u t i e 玎e z o s u n a 等人【3 8 1 的系统中，用含有满足m p e g _ 4 规范的面部特征 点的多边形模型，通过肌肉运动可以得到人脸表情，这些肌肉运动与m p e g 一4 规范相一致。 姜大龙等人【3 9 j 在m p e g 一4 人脸动画标准的基础上，对其做出一些改进，提出 了一种构造人脸动画定义表的方法，该方法的操作结合了自动计算和手工调整， 并实现了具有一定真实感