（计算数学专业论文）运用dffd与刚体运动的三维人脸造型及动画技术研究.pdf

中文摘要 中山大学硕士学位论文 运用d f f d 与刚体运动的三维人脸造型及 动画技术研究 专业 学位申请人 导师及职称 计算数学 曹佳 关履泰教授 李小福副教授 摘要： 三维计算机动画是计算机图形学领域内的一个重要的研究课题，三维人脸 动画更是动画研究领域中的熟点难点问题，对动画的效果起着关键性的作用。 由于人脸的表面结构十分复杂，人们对人脸的外观及细微的变化又十分的敏 感，从而对三维人脸动画的真实感和算法的复杂度要求更高。 本文在利用3 d sm a x 建立三维人脸模型的基础上展开对三维人脸动画 技术的研究。本文利用面向对象的思想，将三维人脸模型按功能区划分为 不同的对象，在一定程度上降低了问题的复杂度；并在此基础上提出了针对 不同的运动特性施以不同方法进行运动模拟的算法，对于简单的刚体运动采 用刚体运动方式来模拟，对于比较复杂的肌肤运动采用狄利克雷自由变形算 法删r i c m e f r e e f d r md e ，o r m 耐t m ( 以下简称d f f d ) 来模拟。人脸模型是 通过移动控制点来驱动的，控制点的选取及驱动则参考m p e g 一4 标准，具有 一定的通用性。选用的d 洲c m 矗自由变形算法( d f f d ) 从根本上克服了自由变 形算法但f 奶的局限性，对于控制点的拓扑结构不再有限制，可直接利用上一 步选取的控制点对物体进行变形，模拟出肌肤运动，产生表情。实验证明，本 文的算法实现了具有一定真实感的三维人脸动画，并且复杂度较低，计算量较 小。但是对于脸部不同功能区对象间的关联运动的模拟还需进一步的研究讨 论。 关键词： 三维入脸造型及动画、面向对象、刚体运动、狄利克雷自由变形、控制点 驱动 薹塞垫塞 3 df a c i a lm o d e i i n ga n da n i m a t i o n 。r e c h n i q u e r e s e a r c hb a s e do nt h ed f f da n dr i g i db o d y m o t i o n m a j o r ； c o m p u t a t i o n a lm 砒e m a t i c 8 n 锄e：c a oj i a s u p e i s o r ：p r o f e s s o rg l l a i i t a i a s s o c i a t ep r o f e s s o rl ix i a o m a b s n 鼍c t ： 3 dh 啪觚f a c i a la n i m a t i o ni sb o t l lah o tt o p i ca n dad i 伍c u l tp r o b l e mj nt l l er e s e a r c hf i e l do f c o m p u t e rg r a p h i c s a st h ec o n s 仃1 l c t i o no f h u m a n 蠡l c el sc o m p 】i c a t e d 卸d w ea r es e n s i d v et oi t sm i c r o - c h a n g e s ，s ot h e r ci sh i g h e rr e q u e s ti nr e a l i t y 柚dc o m p l i c i 可 o f3 d i a l3 n i 做t i a k 砸出m 1 n 廿1 i s 脚e r t h e3 df a c i a la n i m a t i o nt e c l l n i q u er e s e a r c hi so nt l l eb 髂i so fa3 d f a c i a lm o d e lw h i c hi sc o n 蛳坨db y3 d sm a x a c c o r d i l l gt om eo b j e c t0 r i e n 把d t h i i l l ( i n g ，t h i sp a p e rd j v i d e s 廿l c3 df k i a lm o d e l i n t os e v e r a lf i l n c 6 0 n a lr e g i o n sa si n d 印e n d e n to b j e c t s ，w l l i c hd e c r e 船e sm ec 彻1 p l i c 时t os o m e “t e n t 1 1 1 锄p r o p o s e sah y b r i da l g o r i t h mw h i c hi st 0u s ed i 虢r e n tm e t h o d st os i 瑚u l a t cd i f f e r e n tm o t i 衄c h a r a c t e r i s t i c s f 0 rs i n 币l e 一舀db o d ym o t i o nt ou s er i g i db o d ym o t i o ns i 仃m l a t i o n ：f o rm o r e c o d 叩l i c a t e d 鼬i a ls k i nm o t i o nt 0t l s ed 抽c l l l e tf r e e _ f o md e f o 衄a 廿o n ( d f f df b r s h 础) a l g 础m m t h ea n j 脚廿o no ff a c i a lm o d e li s “v b yc 伽昀lp o i l l t sw h j c hi s s e l e c t e d 强dc o n h o l l e da c c o r d j n gt 0m p e g 4 ，c h 吐 a l g 商m mi s 伽西e r 鼢1 d f f d c o n q u e r e dm el o c a l i z a t i o no f f r e e - f m l l ld e f o n n a t j 硼卵f d ) a l g 鲥m mr 删c a l l y ，d f f d l l a sn ol i r n i tt ot h et o p o i o 纠o ft l l ec o n 灯o ip o i n t s ，s ow ec a nd i p e c t l yu s et l l ec o n 奸o 【 p o i l l t s 廿l a tw ec h o o s ej l ll a s ts t e pt os i m u l a t e 州nm o t i o na n de x p r e s s i o n s w i 也t l l i sa l g o r i t l l m ，r e a l s t i c 蠡w i a l 雠眦a t i o nc a l lb ca c h i w e di n 锄e 伍c i 朋tw a y t h er c l a t i o n s h i p b e t w e e nd i 目色r e m 如n c t i o n a lr e 百o no b j e c 协s t i l ln e e dt ob ed i s c u s s e d k e y w o r d s ： 3 d 缸i a im o d e l 吨a n da i l i m a t i o n ，0 b j e c to r i e n t e 蛳g i db o d ym o t i o n ，d i r j c h l e t f e e f o 强d e f 0 1 m 撕o n ，c o n 口o lp o 如t s 幽v i n g ， i i i 第一章绪论 1 1 计算机动画技术 第一章绪论 人的视觉系统如果用比较短的时间间隔使其依次观看具有连续动作的静止 画面，就有宛如运动一样的感觉。这种感觉叫做视觉暂留效应。动画就是利用 这种视觉系统的特性，通过所描述的一帧一帧的静止匦面连续的显示来表示动 作。静止画面( 帧) 的显示间隔如果达到每秒钟8 1 0 帧以上的话，就可以感觉 到动作比较平滑、流畅。计算机动画简单理解就是指用程序绘制生成出一系列 连续的画面。是计算机技术与艺术相结合而发展起来的，是伴随蓑计算机硬件 技术和图形算法高速发展起来的一门高新技术，它不仅综合了计算机科学和艺 术，并且涵盖了数学、物理学、生物学、心理学等等许多学科的知识。 计算机动画用计算机生成绚丽多彩的连续的虚拟真实画面，给人们带来 了极大的视觉享受同时也提供给人们一个充分发挥想象力的空间。近几十年 里，计算机动画始终是计算机图形学中研究的一个热点难点问题。在全球图形 学的盛会s i g g r o p 上，几乎年年都有计算机动画的专题。同时计算机动画的 发展也是非常迅速的，并且取得了硕多成果。早在1 9 9 8 年，a g m 卯r 印h 计 算机图形杰出奖的获得者m t 吐n e z f g o n 在该年度s i 9 9 r o p 会议上曾说： “在g g r o p h 过去的2 5 年历史里，我们的世界发生了韶天覆地的变化。在电影 屏幕上，当恐龙以不可思议的真实朝我们走来时，很少有人会表示惊讶，对穿 梭于电视屏幕上闪闪发光的三维标志人们已经习以为常。”这充分说明，计算 机动画已经渗透到人们的生活中【1 】。目前，计算机动画已经形成了一个巨大的 产业，并有更广泛的发展前景，不仅在电影特技，特效广告、电视片头、动画 片、游艺场所上有广泛应用，并且还被应用在科学技术及医疗中的数据可视 化，在商业及教育中的演示，在多媒体及j 眦e r 礼e t 中的信息呈现等，渗透到生 产和生活的各个领域。 计算机动画是在传统的卡通动画基础上发展起来的。传统的卡通动画，要 根据剧本将动画内容分成一个一个的镜头，再根据每一个镜头塑造动画造型， 绘制出关键帧的造型，然后再设计从一个关键形状到另一个关键形状的过渡， 完成着色和画面合成工作。其后，将一帧帧画面连续播放就得到动画。这个 过程需要庞大的人力资源与漫长的时间，为了提高效率，1 9 6 4 年，贝尔实验室 第一章绪论 的k k n o 彬；亡帆首次尝试利用计算机来辅助动画的制作。那时还是以二维卡通动 画设计为主，利用计算机进行形状插值和区域自动填色，担当助理动画师的工 作。2 0 世纪7 0 年代后期，随着计算机图形学和硬件技术的发展，计算机造型技 术和真实感图形绘制技术得到了长足的进步，出现了与卡通动画有质的区别的 三维计算机动画【1 1 。8 0 年代后，三维计算机动画领域出现了一系列不平常的作 品，到了9 0 年代，进一步优化了动画制作的效果，现在已经可以制作出以假乱 真的影视特技和震撼人心的效果，如侏罗纪公园等电影就淋漓尽致的展现 了计算机产生图像与真实动作完美结合的例子，让我们难以区分哪些是自然存 在的景象哪些又是人造的。到此，对三维计算机动画，图像的创作已经是一个 成熟的专业化领域，他要求大量的投入和边缘学科的技术【“。 三维计算机动画可分为关键帧动画、变形动画、过程动画、关节动画和人 体动画、基于物理的动画f 3 】。对一个人的关键动作，在称为关键帧的画面上， 将动作的主要变化点进行描绘，在参考这个画面的同时按照不失真的原则确 定两个相邻关键帧之闻插入的中间帧的帧数，将多个辅助动作绘制在这些中间 帧画面上，这种操作并行地，反复地进行制作出的动画是关键帧动画【4 】，中间 帧的制作有参数化插值，样条驱动插值等方法。变形动画与物体有着密切的联 系，通过移动物体的一些控制点使物体变形，此外，还有b 样条变形方法和对 物体所在空间进行变形的自由变形方法f f d 【5 】等。过程动画是指用一个过程去 控制物体动画，这个过程基于一定的数学模型和物理工程，不同于变形动画可 由设计师来设计变形过程。人体动画一直是研究的热点，并且仍有许多问题未 能很好解决人体构造复杂。肌肉随运动而变形，并且个性表情千交万化，是 计算机动画中最有挑战性的课题之一【3 】。基于物理模型的动画不同于传统的基 于几何传统动画，他考虑了真实世界中物体的物理属性，能够逼真的模拟出现 实的物体，不过相对较为复杂。 计算机动画内容多，范围广，本文集中讨论计算机三维人脸动画技术。 1 2 三维人脸动画技术 在计算机动画的种种应用中无不看到人脸动画的身影，并且人脸动画的效 果极大程度上决定了计算机动画的质量。三维人脸动画因为它的真实感和所带 来的视觉效果，有着更为广泛的应用领域，可制作虚拟环境中的各种人物如虚 拟播音员，也可运用于可视电话、远程网络会议等。有着广泛应用前景的三维 人脸动画是动画研究领域中的热点难点问题。众所周知，人脸的表面结构十分 一2 一 第一章绪论 复杂，人们对人脸的外观及细微的变化又十分的敏感，因此，实现三维人脸动 画是要进行大量工作并攻克很多难点问题的。自从1 9 7 2 年，r e 出r 钯j p 自e 制 作出第一个三维人脸动茴以来【6 ，研究者们在该领域做了大量的研究工作，并 取得了很大的进展。随着近些年来计算能力的飞速提高和网络应用的蓬勃发 展，这一领域再次成为研究的热点【7 】【”。 实现三维人脸动画的工作由两部分组成【9 】：人脸的造型建模和人脸的运动 模拟。 1 2 1 三维人脸造型方法 人脸表面结构极其复杂，无法用具体的几何参数来描述。如何将真实的人 脸在计算机中建立三维模型，是实现人脸动画首先要解决的问题。这个问题发 展到今天，己经产生了许多种不同的方法【1o 】，下面将近几十年来的方法归纳如 下： 1 利用3 d 扫描仪进行人脸造型方法i l n 。 3 d 扫描仪器对人脸进行三维立体扫描可得到人脸的三维几何信息和纹理信 息，存储为大量的三维数据点，称为云海数据。首先要对这些数据进行处理， 因为他们包含噪声和因扫描不全面而缺少一些关键数据，处理完后要建立这些 离散的三维数据之间的联系，进行三角剖分形成曲面片，然后对网格体做细分 处理、光滑处理进行完善，使其逼近所扫描的真实的人脸。目前3 d 扫描仪器的 价格昂贵，并且后续的处理完善工作复杂，但这种方法进行建模造型的精确度非常 高。不过随着激光测距扫描仪的日益普遍使用，现在已形成实体造型( 包括人 脸造型) 的一种新方法一一激光测距法【1 2 l 。 2 基于实拍图像及图像序列的特定人脸造型方法f 13 】【1 4 1 。 这种方法利用三维重建原理。首先输入一系列从不同角度拍摄的照片，然 后在一个二维网格上计算出各点的深度，由此得到人脸的三维几何模型。这种 方法易于理解，最大的优点是建立特定表情的人脸模型容易，因为当输入的图 像序列是某一种特定表情时，就可以得到这种表情的三维模型序列。其缺点是 图像序列匹配过程复杂，要计算出网格各点的深度计算量相当大，当计算不够 精确时导致模型误差偏大。 3 基于统计的人脸造型方法。 y o e rb z o 和t 洲sy e t t e r 在s ，g g r a p 日7 9 9 中提出了这种基于统计 第一章绪论 的人脸造型方法。他们先建立了一个三维人脸库，然后利用一张人脸的正面照 片，用库中人脸模型的线性组合的投影来逼近这张照片。这种组合生成的人脸 模型就认为是照片中的人脸模型。这种方法只需要一张人脸照片，但是三维人 脸库的建立是一个庞大复杂的工程，目前人脸库只局限于同一年龄层的人。 4 基于解剖学的人脸造型方法q 。 l 等人提出过人脸解剖学多层人脸物理模型的方法，将人脸模型分为表皮 层、肌肉层和骨骼层，再根据不同模型层的生物物理特性进行计算模拟，真实 感较好但是数据量很大。另外，该多层结构模型的构造也较为困难，除了皮肤 层可以由仪器扫描得到之外，其余各层的建立以及物理参数的设定都需要较多 的工作。 5 基于三维设计软件的人脸造型方法。 目前，市面上流行的三维设计软件有很多，可粗略分为小型、中型、大型 三种。 小型三维设计软件数量最多，如t u r e s p e 、r o g d r e o m3 d 、f 甜m z 、 b n c e3 d 、g o d f3 d 、p o s e r 等等。这些软件最大的特点是价格便宜、体积小、 简便易学，但缺点是往往只注意某一个方面的功能而忽略了其他特性。当然， 小型设计软件也有优点，b n 舭3 d 擅长于山水自然景观的制作、，计m z 支持的 文件格式非常多、e 0 d z3 d 在制作三维文字和网页设计中表现出色、p o s e r 则侧 重人物造型。 中型三维设计软件包括工i g s c 印e 和n 9 n u e 。前者专长于渲染的三维 设计软件，不能制作，只能输入其他三维软件的作品赋予材质、灯光进行渲 染，是一流的渲染器，能产生出真彩色照片般的效果。后者是出自a 疵o d e s 公 司的软件，是一款世界领先的、面向可视化设计和数字化创作人员的、具有照 片级光照真实感模拟效果的应用软件。该软件与a u 幻e a d 、3 d 牡威oy ，z 软 件有数据交互共享能力。是专门面向建筑师、设计师和数字化工作创作者，供 他们探索并创建极其卓越的真实感图形渲染。l 细 t o e 的特点是操作界面简 明扼要，容易掌握、擅长渲染，但在造型的柔韧性上较欠缺，功能的全面性稍 显不足，而且国内参考书太少，交流起来不方便。 大型三维设计软件包括s o ，跣m n 俨、m o 。和3 ds t u d i om a x 。s o ，t i m o g e 是由s g ，工作站移植到个人电脑上的重量级软件，只能运行于t 删洲s 丁 上，功能十分强大，长于造型和渲染，但较难掌握且对p g 硬件要求偏高，不适 4 第一章绪论 合初学者学习。a 位d d e 8 自公司麾下的d i s c r e e t 公司推出的3 d s 比如d m a x 软件 和a f t o s n 口e ，r 公司推出的m 唧n 软件是时下很流行的三维设计软件。它们 功能完善，工作灵活，易学易用，制作效率极高，渲染真实感极强，特别是其 造型功能可谓出神入化。 熟练掌握三维设计软件，可高效地生成具有高质量的人脸造型，但要想逼 真的设计出个性化的人脸造型还需要雄厚的美术功底。在本文的设计中，就是 利用3 ds t 出om a x 软件进行人脸造型建模的。具体的造型建模过程将在后面 详细展开。 6 其他方法。 有基于中性人脸模型修改的人脸造型方法【1 6 l l 。这种方法是先建立一个 一般的人脸模型，在此模型上定义一系列控制点，通过移动这些控制点，可以 形成具有不同特征的人脸模型。这种方法直观，易于理解。但因为人脸是一个 整体，当移动一些控制点时要关联到其他的些控制点，如何控制好这些控制 点，使他们逼近所要表示某个特定的人脸模型是这个方法的关键。随着应用和 发展，出现了这种方法的改进方法，就是为整个人脸模型进行交互式修改而建 立平衡方程。微软研究院研制出利用人脸视频作为输入，用户在输入的两帧中 标出五个特征点就可以形成人脸模型的方法【18 l 。 以上介绍的多种人脸造型的方法各有优点和不足，但所生成的模型无非是 两种【1 l 】【”l ：层次模型和单曲面模型。层次模型是根据人体的生理组织建立的物 理模型，每个层次具有不同的功能。单曲面模型是用一系列曲面来表示人脸表 面，是几何模型。一般几何模型都是用三角网格或四方网格来表示的，即由许 多网格组成的三维曲面体。本文所设计的也是四方网格表示的单曲面模型。 1 _ 2 _ 2 模拟人脸运动方法 据上文分析，在人脸造型建模的基础上模拟出人脸的运动，就可以制作出 脸部动画。但是如何在三维人脸模型上实时的模拟出真实的人脸运动和表情是 最大的难点。虽然目前模拟人体运动的方法很多，但能很好的应用到人脸运动 的方法并不多。由于人脸复杂的结构特征和动作表情的丰富多彩，现在还未找 到具有很强真实感的权威方法，研究者们在此领域还在不断的研究和探讨。目 前存在的模拟人脸运动的方法有： 1 基于层次模型的模拟人脸运动方法【l l 】。 一5 一 第一章绪论 上一部分介绍了l e e 等人提出了人脸解剖学的层次模型。模型将人脸模型 分为皮肤层( 包括表皮、真皮、皮下组织和筋膜) 、肌肉层和骨骼层a 在该模型 上模拟人脸运动，结合物理学，生物学等知识分层计算影响入脸运动中的多种 力，然后计算人脸模型在力作用下的运动。该模型的运动真实感较好，但计算 量较大。 2 基于弹性网格的模拟人脸运动的方法 “。 这种方法将人的脸部模拟为一个弹性体，为使计算简化，又将人脸表面依 其生理特征分为八个子块。脸部运动所产生的五官动作模拟为弹性体的形变， 并建立相应的弹性形变模型。当脸部运动引起脸部各子块形变时，每个子块上 的各点将发生位移，于是利用该模型计算这些点的位移量，由此获得动画中的 每一帧画面。脸部动作由该形变模型控制不需存储表情动画中的各个画面， 提高了系统的效率。在浙江大学g a d & g g 实验室的研究中，基于弹性模型模 拟人脸运动的方法是在通过参数改变从而使脸部形状发生变化的。如模拟人眨 眼的运动时，眼球有转动和张闭两个运动。眼球的转动即在表示眼球的三角形 网格沿x ，y ，z 方向平移或绕其旋转。但对眼皮张闭运动要在表示眼睛的三角 网格模型中的两条边界线近似为两段抛物线，通过控制抛物线的参数来改变眼 睛的运动状态。利用参数控制运动方便，但对细微的运动的刻画不够理想。 3 通过运动捕获技术模拟人脸运动【2 l 】【2 2 】【2 3 】。 运动捕捉有光学方式和传感器方式。通过运动捕获技术生成的动画具有高 度的逼真性，但运动捕获技术获得的数据是一大堆庞大的原始数据，对其编辑 处理具有很高难度。g 仳疵e r 等人提出的方法是先在真实人脸预先设定好一些 采样点，通过运动捕捉技术实时跟踪人脸上的采样点的运动，然后对整个人脸 模型进行线性插值模拟人脸的运动。 4 用变形法模拟人脸运动【2 4 】。 变形法是使图像徐徐地变化，首先要确定开始时的图像和终了时的图像的 对应点，伴随着帧的不断进行，渐渐的改变形状。研究者们在形状变形方面 已做了不少出色的工作，如迈克尔杰克逊的音乐带黑与白这首歌中1 3 个 不同性别和种族的人的相互渐变。大部分变形方法与物体的表示有密切的关 系，为了能很好地结合到造型和动画系统中，近十年来，人们提出了许多与 物体表示无关的变形方法。自由变形方法【3 l f f d ( ，r e e ，o r md e ，m o t t m ) 就是与物体表面无关的变形方法，适用面广。f f d 方法不是对物体直接进行变 6 第一章绪论 形，面是对物体所嵌入的空间进行变形。f f d 方法中的z 啦i c e 块的形状为长方 体，这在一定程度上限制了它的应用。e 叼刎口r t 提出的拓广的f f d 方法( 简 称e f f d 】消除了对长方体z 以i 的限制，使得初始的z 口t 托凹允许棱柱和圆柱这 种形状，因而增加了f f d 的适用范围。工o m d u s i n 提出了基于 r u r b s 的f f d 方 法f f d ，f f d 提供了更有效的控制。但基于f f d 的变形动画方法总是需要 移动许多控制顶点，当控制顶点较多时交互就变得很差。l n z n r s 等所提出的 基于轴的变形方法( a $ d ，) 提供了一种直观的变形技术。该方法的优点在于把物 体的变形用其轴线的变形来控制，而对轴线设置动画是比较容易的。该方法对 鱼的游动进行模拟，取得了很好的效果。f r n t n 等人提出了狄里克雷自由变形 法d f f d ，它是对物体的拓扑结构没有限制的局部变形技术，这秘方法的特性 适于引入人脸肌肉运动的模拟中。自从& d e r 蚰r 口提出f f d 以来，f f d 方法已 显示出其广泛的应用前景。 5 其它方法。 模拟人脸运动的方法还有肌肉模型的方法、有限元的方法、神经网络机器 学习驱动的方法等等。基于机器学习的人脸运动驱动方法利用聚类和机器学习 的方法- 特别适用于模拟人说话时唇动及脸部表情和语音信号之间的同步关 系。在有大规模音视频同步数据库的基础上，利用无监督聚类发现了能有效表 征人脸运动的基本模式，采用神经网络学习训练，实现了从含韵律的语音特征 到人脸运动基本模式的直接映射，学习的结果可以直接驱动人脸网格。 模拟人脸运动的很多方法都是利用自身的优点和特色适用于一定的应用领 域。限于篇幅和本文的研究工作的内容，在此不一一列举。 1 3 本文的研究内容及组织结构 论文的第一章概述，介绍计算机动画及三维人脸动画的特点和一般原理。 并分别从人脸造型建模和人脸运动模拟两个层面上，对近年来问题的主流解决 方法进行介绍分析。 第二章主要介绍d 打记h z e 泊由变形算法的思想，同时回顾了d t r 。c h e 泊由 变形算法的数学基础y d r 帆o i 图和d e z q u n d 图以及s f 6 s m 局部坐标的概念。 第三章主要介绍m p e g 一4 人脸动画技术。二、三章是本文研究工作的基 础。 第四章介绍本文的研究工作之一：利用3 d sm a x 软件基于面向对象思想 一 一 第一章绪论 按功能区进行三维人脸建模实验。 第五章介绍本文的研究工作之二：根据人脸不同的运动情况采用不用 的方法进行运动模拟。采用刚体运动模拟入摇头和点头运动时的情况，采 用d 洲c m e t 自由变形算法d f f _ d 模拟嘴部产生表情时肌肤运动情况。 最后对本文的主要工作进行总结，对将来的工作做出设想。 8 第二章d 订 c f d 自由变形算法 第二章d i 州c m e t 自由变形算法 2 1 自由变形算法 自由变形算法( f r e e f o r md e ，0 r m o t 帆，f f d ) 【2 5 】【2 6 】【2 7 l 是由s e d e r 6 e r 口 和p o r r 于1 9 8 6 年提出的，是目前广泛采用的一种曲面造型技术。f f d 的基本 思想是：先构造一个由三维控制顶点构成的长方体控制框架，将要变形的物体 嵌入控制框架中，并假设物体和框架由同一种材料做成，移动控制点使框架产 生变形，物体也随之变形。f f d 有许多优点：可与任何实体造型系统一起使 用；可对任何形式、任何幂次的曲面进行变形，既可以整体使用也可以局部使 用：可应用曲面和多边形模型：可估计体积变化的程度，并存在一类保持体积 不变的变换；参数曲线、曲面经过f f d 变换后仍是参数曲线、曲面。 尽管f f d 有许多优点，但是f f d 只能够运用长方体作为框架，这一点 严重束缚了f f d 的应用范围。研究人员不断的探索改进。提出了许多扩展 的自由变形算法，从不同的角度来继承f f d 的优点，克服其不足，扩展 其应用范围。g 叫u n r 提出的扩展f f d 算法e f f d 【2 8 】，消除了使用非长方 体控制框架的限制，允许棱柱和圆柱这种形状，因而增加了f f d 的适用范 围；戚o r 等提出的有理f f d 算法r f f d 【2 9 】给每个控制点都附加权因子，从 而可以通过移动控制点和修改权因子两种方法来控制变形；日s “等提出直 接f f d 算法d 打e df f d ，可以让用户直接控制物体上的点而不再是框架的控 制点，通过物体自身上点的变化来计算物体上其他点的变化：工n 仇s 讥提出了 基于u 尼b s 的f f d 方法f f d 3 0 】，使用非均匀有理b 样条基函数作为控制顶 点的基函数，使得在进行局部变形时无需考虑连续性条件，并且控制点是非均 匀分布的，因此可以根据变化的复杂性决定控制点的分布。 以上的f f d 的改进算法都是在功能上进行了某种扩展，并没有从本 质上突破。本文所使用的自由变形算法是d i r c m e 泊由变形算法d f f d ， 是m d o c d z 莳等提出的，试图利用数学知识从根本上克服f f d 的局限性，下面先 介绍d i r l c m e 泊由变形算法的数学基础知识。 第二章d i r t c 船时自由变形算法 2 2y o r o 观。涸及d e z 佻n 删图 y 卯o l 图口i 】的定义：设平面上两点p 1 ，砌，l 是线段两两的垂直平分 线，l 将平面分成两部分，l - 和岛，位于三1 内的点p l 具有特性：d ，p 1 ) o ( o t n ) i = 0 并且 u 严1 i = 0 n + l 维向量u = ( u o ，u 1 ，。) 构成了点p 相对于s 曲s m 邻居的s 曲s 帆坐标。 三维情况与二维情况相似，只是在计算n + 1 维向量u = ( “o ，“，) 时要 用y o r 嘶单元的体积 型霉搀燠掣 y d f ( 矿( 只) ( 力) 一 y ( p ) 0 ) 仍表示在y 凹饥o i 图y ( p ) 中点p 所在的y o r 饥单元，y o z ( ) 返回给 定y o r m o 单元的体积。同样有 并且 n p = 蛐， u o ( o 礼) = 0 t “= 1 i = 0 如图2 4 从几何图形的角度来解释s 访s o 佗局部坐标几何的意义。图示是比较 直观的二维情形，三维情况同理。 第一幅图是点集p = 如1 ，m ，p 3 ，p 4 ) 的y o r m 反图，p 是点集p 的凸包内任意 一点；第二幅图是加入p 后的y o r d n o i 图，由于p l ，m ，p 3 ，m 所在单元都是与p 所在 的v 凹o n o t 单元相邻，所以他们都是p 的s 曲s m 邻居；第三幅图是前两幅圈的叠 加，表示p 点加入后y o r 帆o i 的变化，阴影部分即为p 4 对点p 所在v w 肌d 单元的 贡献，这个贡献在点p 所在y w m o i 单元中的比例就是p 相对域m 的s 曲s o n 局部坐 标。 第二章d i r i c ，“自由变形算法 、 蝻 ， 、0 - 舢卜吐 ， 占、n p l 豳9 v 咖m f 堋 裔。哪l 翻 蜘o f 撕p v o 删d 的情m hp 1 ”p a 喇p v o t 一c 硝 图2 4尉6 s m 局部坐标的几何意义 2 4d 勿i 如l e t 自由变形算法 瑞士日内瓦大学m j 础l a b 的m 2 e 等提出利用s 曲5 局部坐标系进行 自由变形的算法称为d i r i c f e 泊由变形算法d f f d 3 3 】 3 4 1 。 d f f d 的思想是【2 6 】：给定控制点集合p 和其凸包内一点p ，可以确 定p 的s 曲s m 邻居集合 r 一 戤f o f n 并计算出p 相对于s 曲s 邻居的坐标地( 0 i 礼) 。当移动r 中一个或多个控 制点之后。假设控制点的新位置 p ：= a + 鼽( o n ) 其中a 可以等于零。 该控制点p 的新位置p 可以由下式得： n p = m p l p = p 十却( 2 3 ) t = 0 使用d f f d 算法对物体进行变形的基本步骤为： s 蛔) 1 ：设计控制点。控制点的集合就是一系列点的集合，不需要在控制点 集合上定义特殊的拓扑结构。控制点可以定义在要变形物体的表面上，也可以 在其外部或内部，但是物体需要变形的部分必须在控制点集合的凸包内。 8 据理：计算s 曲s 邻居。对物体上的每个点确定其s 曲s 邻居集合，利 用5 1 2 2 计算s 6 s m 局部坐标。 一1e 一 第二章d t r i c z e 亡自由变形算法 s t 印3 ：移动控制点。即使肌产生a 的变化。 s t 印4 ：对物体进行变形。依据2 3 计算物体上点的新位置，从而引起物体的 变形。 1 6 第三章m p e g 一4 人脸动画技术与脸部功能区划分 第三章m p e g 一4 人脸动画技术与脸部功能区划分 3 1m p e g 一4 人脸动画技术 m p e g 一4 出现之前，在人脸建模与动画制作方面没有统一的国际标 准。m p e g 一4 的出现成为世界上第一个基于对象的多媒体压缩标准【3 5 】口6 1 【3 刀。 该标准可对各种自然的或合成的音频、视频分别独立编码，然后再将它们有机 的集成到一个场景当中。由于人脸动画的广泛应用及其重要性，m p e g 一4 还 专门对人脸的特征点及人脸动画参数定义了一套国际标准。 m p e g 一4 是首先定义了中性人脸模型，在中性人脸模型上定义了一系列 特征点作为参考点。定义了人脸动画参数集合，每一个动画参数对应于特定的 一个人脸部动作，只要连续不断的根据人脸动画参数的值改变人脸模型，就可 以进行人脸动画或人脸变形。下面就简要介绍下人脸定义参数f d p ( f o c i 以 d e ，e 礼饿m p n r o m e 把r s ) 和人脸动画参数f a p ( f a 西o f n t 竹m t f 帆p 盯o m e 钯r s ) 。 3 1 1 人脸定义参数f d p 人脸定义参数f d p ( f d 叫d e n 捌mp n r l e t e r s ) 【3 8 】提供人脸特征 点、网格、纹理、人脸动画定义表等数据，有了这些数据就可吐把一般人脸转 换为特定人脸。f d p 在m p e g 一4 的一段动画中通常只需要传送一次，丽紧接 着f d p 之后传送的就是经过压缩的f a p 。 在一个f d p 域中包含一下五部分内容： ( 1 ) f e 越 ep d n sg o 啊d ，指定网格中所有特征点的坐标。 ( 2 ) n 正地r ea d d r d s ，指定所有特征点在纹理上坐标。 ( 3 ) u s eo r t ot e z w e ，指定纹理类型。 ( 4 ) f o c ed e ，t 0 6 f e s ，即人脸动画定义表，描述f a p 对人脸网格变形的控制 方式和参数。 ( 5 ) f 口s c e n eg r n 矾，包含一张纹理图或者一张上色的人脸模型。 在m p e g 一4 标准中定义了f d p 的8 4 个人脸特征点，如图所示3 1 ，这些特 征点为定义人脸动画参数提供参考空间。这8 4 个特征点被分为了若干组，如嘴 巴，鼻子，脸颊等。对于其他网格、纹理、人脸动画定义表的内容则没有具体 的限定。 第三章m 尸e g 一4 人脸动画技术与脸部功能区划分 爨缝 瓣舔 蒯，二嘉 ，” 。赫h 刚舭蚋l i t 即f ，l 匿寥。秽3 图3 1f d p 特征点 一1 8 第三章m p e g 一4 人脸动画技术与脸部功能区划分 3 1 2 人脸动画参数f a p m p e g 一4 的人脸动画参数基于最小可感知动作的研究，共定义了6 8 个 人脸动画参数f a p 【”l 【蚓。其中唇型f a p 和表情f a p 被称为高级f a p 。对于唇 型f a p 来说，可以预先定义好一些基本的、不同的唇型，其它的唇型可以由这 些基本的唇型线性组合而成；表情f a p 也是样的原理，可以由几种基本的表 情线性组合出多种丰富的表情。除高级f a p 外其它的普通f a p 分别定义了人 脸某一小区域的运动。 f a p 的值是以人脸动画参数单元f a p u ( f o d 口2a 俄m o i mp l e 盯u n t 1 为单位的。f a p u 被定义为关键脸部特征之间距离的分数。以f a p u 为单位的 目的是使同样的f a p 应用到不同的模型上。产生同样的表情和动作变化，不会 因为模型的不同而使表情和动作走样。这样，f a p 具有了通用性。 根据人脸运动类型的不同，6 6 个普通f a p 又分为两类【3 8 】，一类使控制人 脸某些区域的旋转、平移和缩放交换，这种运动具有简单的统一规则；另一 类是控制人脸某些区域的非简单变化，这些运动没有统一的规则。在定义人 脸运动变化的时候需要用到f d p 域中的人脸动画定义表( f o d e ，t 曲l e s ) 来控制变形。对于第一类f a p ，需要根据运动的不同定义旋转轴、旋转因子 或三维比例因子等。对于第二类f a p ，人脸动面定义表中定义了f a p 值域 的分段，f a p 控制的网格以及础p 控制网格在每段中的控制因子。最后根 据m p e g 一4 提供的算法，计算出f a p 控制的所有网格的位移，累加起来就可 以产生运动的变化。 3 2 脸部功能区划分 人脸是一个整体，人脸复杂的表情和动作是由眼、耳、鼻、口、眉毛、额 头、脸颊、牙齿、下颚等脸部多个器官的运动共同构成的。在本文的研究中认 为人脸也是个弹性体，当脸部模型任意一点发生变化后，人脸的整个弹性模 型都产生了变化，要计算整个人脸模型上每个点的位置变化，在实际计算过程 中开销极大【4 0 】。并且脸部的不同部位具有不同的运动特征，正如m p e g 一4 标 准定义的那样，根据不同的部位定义不同的运动变化。本文的算法也是根据人 脸不同部位的运动具有不同的运动特征来进行模拟运动的，人脸的某些区域通 常做简单变换，以刚体运动为主要特征；而有些区域则通常进行非简单交换， 1 9 第三章m p f g 一4 人脸动画技术与脸部功能区划分 是拌有肌肤复杂变化的运动，因此对于不同的部位和区域也应采用不同的技术 来模拟运动。 对人脸功能区进行分块可以解决上述问题，减小计算量并且可以将不同的 算法运用在脸部具有不用运动特征的部位。依据人脸五官的一般位置，依照面 部肌肉的分布，可将人脸分解为额头、左右两边鬓角、左右两只眼睛、左右两 道眉毛、左右两边脸颊、嘴部、鼻子、耳朵、下巴。这样的划分方式可以反映 出每个点和面片属于哪个功能区，同时，也可以获知每个功能区包含哪些点和 三角形。由于每个功能区对于相邻的其它功能区具有一定的运动独立性或不同 的运动特征。这样，可以将功能区视为单独的对象，根据不同的对象运用不同 的技术来模拟运动。当某点发生运动变化时，也不用重新计算整个弹性模型中 所有点被连锁发生的变化，而只要计算这一点所在功能区内点的变化就可以 了。 进行脸部功能区划分使脸部器官能够分而治之，有许多用途。如可以建造 器官库，用单独的部分组合成各种不同的人脸。在医学领域也有很广阔的应用 前景，如单独进行器官造型等。本文进行人脸模型制作时，也采用了这种思 想，先局部制作一些功能区( 脸部器官) 再整体融和制作到一起，这样的方式 制作模型也为后面制作人脸局部部位的动画奠定了基础。 2 0 第四章基于面向对象思想按功能区进行三维人脸造型建模 第四章基于面向对象思想按功能区进行三维人脸造型建模 4 1 前言 在第一章绪论部分已经介绍分析了多种近年来流行的三维人脸造型方法， 这些方法各有优点与不足，很多还都在研究发展的阶段中，对于其中单一方法 的讨论，如基于实拍图像及图像序列进行三维人脸造型方法的讨论都足以完成 一篇论文。而本文是要进行三维人脸动画技术的研究，三维人脸造型只是本文 工作的一个部分，并且是基础性的一部分工作。因此鉴于研究工作及篇幅，本 文决定是运用发展得比较成熟的三维设计软件结合脸部功能区划分的思想进行 三维人脸造型建模。 前面已经从小型、中型、大型三个层面介绍并分析了目前市面上流行 的三维设计软件。通过比较最后选为使用3 ds t 击om a x 的6 版本( 以下简 称3 d s m 口z ) ，这是在圣地亚哥开幕的s j g g r a p 日2 0 0 3 上，d t s 口e 时公司发布的 著名的3 d 软件黝s m 凹的新舨本，标志如图4 1 所示， 图4 1 自1 9 9 6 年由k 仇e t 缸推出3 d s m d 茹1 o 版本，3 d s m n o 前进的步伐一直没有停 止过，在随后的2 5 和3 o 版本中3 d s m o z 的功能被慢慢完善起来，将当时主流 的技术包含了进去，比如增加了被称为工业标准的f r b s 建模方式。其中 的3 1 版是一个非常优秀的版本，其卓越的稳定性致使现在有许多人还在使用此 版本。在随后的升级中3 d s m o o 不断的完善扩大功能，并把优秀的插件整合进 来。3 d s m n 。在操作性能、渲染上都有了极大的提高，新增加了扩展的骨骼系 统，同时也隐退了一些界面旧元素，做了较多的改进。 目前3 d s m 口z 已经是市场上最流行的三维造型和动画制作软件之，也是当 2 l 第四章基于面向对象思想按功能区进行三维人脸造型建模 前世界上销售量最大的三维制作解决方案之一 4 l 】。拥有强大功能的3 d s m o 。被广 泛地应用于多种行业当中。除此之外，本文选择使用3 d s m 进行论文实验中人 脸造型建模的工具，还因为其有以下的优势：首先3 出”m z 对硬件系统的要求相 对来说不高，一般普通的配置的p c 可以满足学习的需要了；其次是3 d s m n o 容易 上手，操作界面简洁清晰，制作流程十分高效，虽然全面的功能使其有一大堆 命令，但只要操作思路清晰使用起来是不难的，它是面向对象工具，可以针对 选取的对象选择不同的命令进行操作；最后因为3 d s 仇n z 在国内拥有最多的使用 者，便于交流，教程也很多。我在学习使用的过程中，很容易找到很多学习资 料，也互联网上得到很多帮助。虽然3 d s m n 的缺点是在渲染方面不如m a y a 等 做得更出色，但本文的工作并不涉及渲染的效果。因此，3 如m 口。是最恰当的选 择。 4 23 d sm a x 的准备知识 4 2 13 d sm a x 的建模方式 众所周知，条条大路通罗马，而3 d s m a 】【的建模也有多种方式。在高级建模 领域3 如m o z 提供三种主要的建模方法【4 2 】：多边形p 0 f 鲫o n 建模、面片p o t c h 建 模及c ，r b s 建模，此外还有为满足特殊需要的外挂p l “9 饥模块形式支持的建 模方式。多边形p o f 9 帆建模、面片p 8 c 建模及u r b s 建模各有特点，也都 有不足之处。为了能在人脸造型设计中选择合适的方法恰当的使用3 幽m o o ，就 要理解掌握每种建模方式的工作原理以及长处与不足。值得一提的是，虽然三 种建模方法在实现技术上是不同的，但是它们并不是相互分