（计算机软件与理论专业论文）自由变形算法研究及其在头像生成系统中的应用.pdf

摘要 摘要 随着计算机全面进入3 d 时代，计算能力的飞速提高和网络应用的蓬勃发展， 三维人脸建模和动画己成为计算机图形学领域的研究热点。今天，在娱乐产业、 人机交互、多媒体、通讯等领域中三维建模和动画获得了越来越广泛的应用。真 实感的三维头像可以应用于诸如电影特技、虚拟电话会议、互联网增值业务和移 动互联网增值业务以及软件操作界面等相关领域。 在几何造型和计算动画领域中，变形技术已经成为一种越来越重要的工具。 通过变形技术可以模拟传统造型和计算机动画技术难以实现的变形效果，如柔性 物体的变形、动物的爬行、人脸部运动、表情动画等，因此引起了人们的广泛兴 趣和重视。 本文研究自由变形算法及其在三维人脸建模和动画中的应用。众所周知，二维 空间d i r i c h l e t 自由变形算法是一种应用非常广泛的变形算法。和其它算法相比该 算法允许用户根据需要设置控制点，抛弃了对控制框架的拓扑结构的限制，使用 更为一般的s i b s o n 局部坐标系( s i b s o nl o c a lc o o r d i n a t es y s t e m1 ，因而该算法更具灵 活和通用性。关于d i r i c h l e t 自由变形算法的研究，目前主要集中在二维情形，本 文将二维空间的d i r i c h l e t 自由变形算法推广到三维空间中，给出了三维空间中的 d i r i c h l e t 自由变形算法的具体实现。这种推广远不是一种简单的平行推广! d i r i c h l e t 自由变形算法思想的核心在于求控制点的s i b s o n 坐标，也即控制点对物体点的影 响值。在二维空间中s i b s o n 局部坐标值是v o r o n o i 单元的面积之比，v o r o n o i 单元 是由三角划分得到的三角形的中垂线相交构成，计算简单直观。但推广到三维空 间中，s i b s o n 局部坐标值变为v o r o n o i 单元的体积之比，而且v o r o n o i 单元由三角 划分得到的四面体棱的中垂面生成，v o r o n o i 单元由面变成体，直观性差，计算也 变得相当复杂。因而，从二维d i r i c h l e t 自由变形算法到三维d i r i c h l e t 自由变形算 法的推广具有较强的挑战性。 本文将文中提出的三维空间的d i r i c h l e t 自由变形算法进一步应用到三维人脸 建模和动画中，在此基础上开发了c i l a b 虚拟头像生成系统。该系统采用v i s u a l c + + 开发，利用开发式图形库接口o p e n g l 来处理头像的光照、纹理贴图等，使生 成的头像具有较强的真实感。可以方便地应用到各种领域，或提供给用户进行二 次开发。 摘要 关键词：自由变形算法，d e l a u n a y 三角划分，v o r o n o i 图，s i b s o n 局部坐标系， 真实感 i i a b s 仃a c t a b s t r a c t w i t ht h ea d v e n to f3 de p o c hi nc o m p u t e rs c i e n c e ，t h er a p i da d v a n c eo fc a l c u l a t i n g a b i l i t ya n dt h ef l o u r i s h i n gd e v e l o p m e n to fn e t w o r k sa p p l i c a t i o n ，3 df a c em o d e l i n ga n d a n i m a t i o nh a v eb e c o m eo n eo ft h eh o t t e s tt o p i c si nc o m p u t e rg r a p h i c sr e s e a r c hf i e l d n o w a d a y s ，3 dm o d e l i n ga n dc o m p u t e ra n i m a t i o nh a v eg o tw i d e l ya p p l i c a t i o n s ，s u c ha s e n t e r t a i n m e n ti n d u s t r y , m a n - m a c h i n ei n t e r a c t i o n ，m u l t i m e d i a ，c o m m u n i c a t i o ne t c t h e t h i r dd i m e n s i o nh e a dp o r t r a i th a sb e e na p p l i e dt oc o r r e l a t i v ea r e a s ，f o re x a m p l e s ，m o v i e s p e c i a le f f e c t s ，v i r t u a lc o n f e r e n c ec a l l ，i n t e m e ti n c r e m e n tb u s i n e s s ，m o b i l ei n t e r n e t i n c r e m e n tb u s i n e s sa n ds o f t w a r eo p e r a t i o ni n t e r f a c ee t c i nt h ef i e l d so fg e o m e t r i cm o d e l i n ga n dc o m p u t e ra n i m a t i o n ，t h ed e f o r m a t i o n t e c h n o l o g yi sa ni m p o r t a n tt o o l ，t h ed e f o r m a t i o nt e c h n o l o g y c a l ls i m u l a t em a n y d e f o r m a t i o n ss u c ha st h ed e f o r m a t i o no ff l e x i b l eo b j e c t s ，w h i c hi su n a b l et oa c h i e v eb y t r a d i t i o n a lm o d e l i n ga n dc o m p u t e ra n i m a t i o nm e t h o d ，s oi ta t t r a c t sp e o p l e se x t e n s i v e i n t e r e s ta n dr e c o g n i t i o n t h i st h e s i ss t u d i e st h ef r e ef o r md e f o r m a t i o na l g o r i t h ma n di t sa p p l i c a t i o ni nt h r e e d i m e n s i o n a lf a c em o d e l i n ga n da n i m a t i o n i ti sw e l lk n o w nt h a t2 dd i r i c h l e tf r e ef o r m d e f o r m a t i o na l g o r i t h mi sa ne x t e n s i v e l yu s e da l g o r i t h m t h i sa l g o r i t h ma l l o w st h eu s e r s d e s i g nt h ec o n t r o lf r a m ef r e e l y c o m p a r e dw i t ho t h e ra l g o r i t h m s ，i ta b a n d o n st h e l i m i t a t i o no ft o p o l o g i c a ls t r u c t u r ea m o n gt h ec o n t r o lp o i n t sa n du s c ss i b s o nl o c a l c o o r d i n a t es y s t e m ，s oi ti sm o r ef l e x i b l ea n du n i v e r s a l s of a r , t h er e s e a r c hw o r k so n d i r i c h l e tm e t h o da r em a i n l yc e n t r a l i z e di nt w o d i m e n s i o n a ls p a c et h i st h e s i se x t e n d s t h i s a l g o r i t h mf r o mt w o d i m e n s i o n a ls p a c et ot h r e e d i m e n s i o n a l ( 3 d ) s p a c e t h e r e a l i z a t i o no ft h em e t h o di n3 ds p a c ei sg i v e ni nd e t a i l s t h i se x t e n s i o ni sn o tas i m p l e w o r ka ta 1 1 t h ec o r eo fd i r i c h l e tf l e ef o r md e f o r m a t i o ni si nt h ec a l c u l a t i n go ft h e s i b s o nl o c a lc o o r d i n a t ev a l u eo ft h ec o n t r o lp o i n t ，i e t h ei n f l u e n c eo nt h eo b j e c tp o i n t b ys i b s o nn e i g h b o r s i nt w o d i m e n s i o n a ls p a c e ，t h es i b s o nc o o r d i n a t ev a l u ei st h er a t i o b e t w e e nt h ea r e a so fv o r o n o ic e l l s ，a n dt h ev o r o n o ic e l li sm a d eu po ft h ep e r p e n d i c u l a r b i s e c t o ro ft r i a n g l e s b u ti n3 ds p a c e ，t h es i b s o nc o o r d i n a t ev a l u ei st h er a t i ob e t w e e n t h ev o l u m e so fv o r o n o ic e l l s ，a n dt h ev o r o n o ic e l li sm a d eu po ft h ep e r p e n d i c u l a rf a c e l l i a b s 仃a c t o ft h ee d g eo ft e t r a h e d r o n s t h ev o r o n o ic e l lb e c o m e st h r e e - d i m e n s i o n a lp o l y h e d r o n f r o mt w o d i m e n s i o n a l s p a c ep o l y g o n ，i sn o ti n t u i t i o n i s t i c ，a n d t h ec a l c u l a t i o no f v o r o n o ic e l li sc o m p l i c a t e d s o t h eg e n e r a l i z a t i o no fd i r i c h l e ta l g o r i t h mf r o m2 dt o3 d h a ss o m ec h a l l e n g e s m o r e o v e r , t h i st h e s i sa p p l i e st h ep r o p o s e dt h r e e d i m e n s i o n a ld i r i c h l e tf r e ef o r m d e f o r m a t i o na l g o r i t h mt o3 df a c em o d e l i n ga n da n i m a t i o nt od e v e l o pt h ec i l a b v i r t u a lh e a dp r o d u c i n gs y s t e m t h em a i nd e v e l o p m e n tt o o li sv i s u a lc + + t h i ss y s t e m u s eo p e n g lg r a p h i cs o f t w a r ed e v e l o p m e n tp a c k a g et od i s p o s et h et h i r dd i m e n s i o no f h u m a nh e a d ，s u c ha si l l u m i n a t i o n ，t e x t u r em a p p i n ge t c s ot h eh u m a nh e a dp r o d u c e db y t h i ss y s t e mc a na p p l yi nd i v e r s i f i e df i e l d sc o n v e n i e n t l yo rs e c o n d a r yd e v e l o p m e n t k e yw o r d s ：f r e ef o r md e f o r m a t i o n ，d e l a u n a yt r i a n g u l a t i o n ，v o r o n o ig r a p h i c s s i b s o nl o c a lc o o r d i n a t es y s t e m ，t h i r dd i m e n s i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 6 年1 - 月位日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：新签矿盈导师签名： 妊l 垒 日期：7 钳存f 月，h 第一章绪论 1 1 选题意义 第章绪论 在几何造型和计算动画领域中，变形技术已经成为一种越来越重委的工具。 在几何造型中，变形技术可以用张模拟力学中常见的变形，如拉伸，翘转和弯曲 等。并且w 以给出这些变形的数学表示。在计算机动蘑领域，变形技术赠可以用 来模拟柔瞧物体的变形，有很大豹应用价值。例魏，在自然界中，动物的舰岗是 柔性的，动物运动时，其肌肉的变形是一种柔性变彤，如动物的爬行、人的四肢 运动、人的脸部表情变化等。这些变形效果的模拟通过传统造型和计算机动画技 术难以实现。变形技术则较好她适应了这种需要，从而引起了人们的广泛兴趣和 重视。 近年来，计算枧图形学已经在缀多领域取得了突酸往送展。僵由于人脸表面 的复杂性和人脸表情的丰富性，使得逼真地显示特定人的人脸，并赋予定表情的 研究仍是这一领域一个极具挑战性的课题。由于真实感人脸动画应用十分广泛， 所以引起了研究者们极大的兴趣。3 0 多年来，研究者在该领域做了大爨的研究工 蕈，并取镪了很大黪进震。逐年来，随着计算能力的飞速提高和霹络癍魂鼹蓬勃 发展，这一领域再次成为礤究躲热点。 三雅模型的变形与动画是当前计算机视觉与计算机图形学领域的一个研究热 点，在娱乐产业，人机交互，多媒体以及通讯等领域都具有广泛的应用。而真实 感的三维头像生成应用于诸如电影特技、广告人物动画、网络互动游戏、真人玩 具制造业、纛掇电话会议、电视节靼、辅助教学系统以及心理学、认翔秘学等许 多领域。商发粪实感静三维头豫动西系统轾够丰富人枧接口，增强系统棼口语语 言通信及表情信号的能力。诧夕 ，由计算机自动生成的数以千万计的逼真的、有 明显区别的三维头像可以被互联网增值业务( 网络游戏角色生成、个性化电子邮 件、个性化即时通讯、网络虚拟形象a v a t a r 等) 和移动互联网增值业务( 彩信增 值业务、v r 等) 以及软件操于挈器蘧( 应用软件、踊页、操诈系统等) 广泛采臻。 因此研究这一领域有着很重要斡醑究意义。 自出变形算法( f f d ) 是醪豁物体变形方法中最实瘸的方法之一。f f d 方法不对 物体鸯接进行变形，而是对物体所嵌入的空间进行变形。f f d 方法中的控制框架 电予科技大学硕士学位论文 的形状为平行六面体，该方法通过移动控制框架顶点使之产生变形，进而达到对 嵌入其中的物体产生变形。d i r i c h l e t 自由变形算法( d f f d ) 是f f d 诸多改进算法 中应用比较广泛的一种，该方法剔除了对控制框架( 长方体) 的限制，傻用者可 以结台囊已兹实际壤况来设嚣不同黥控毒l 框架，缀j | ：对复杂物体的形变产生了很 好的效栗。 本文把d i r i c h l e t 自由变形算法推广到三维空间变形中予以实现，并把它应用 到三维头像的建模和动画中，研究开发了一个可以自动生成三维真实感的头像的 系统，用予生成大量可区别性较大的、具有真实感的三维头像，取得了缀好的效 果。 自由变形算法已经是计算枫图形领域的一个研究热点之一，目前关于d f f d 算法的二维空间的应用已经有许多文章做了详细的介绍，但该算法在三雉空间的 使用，几乎没有文献资料可供参考。所以本文以分析二维的d i r i c h l e t 自由变形算 法起点，进丽研究如何把它推广到三维空间并予以实现。 1 2 变形算法与计算机动画及其应用 1 2 1变形算法的发展 早期，计算机动画的研究者躺在形状变形方丽做出了不少出色豹工作，并在 电视、电影、广告帮m t v 中褥到了广泛的应用。簸初应庵比较多粒变辫算法蔻 m o r p h i n g ( 渐变) ，它是一季申由一幅图像渐变至另一f 隅图像的动态交形技术。二维 图像的自然渐变在教育和娱乐方面都是一种非常有用的技术。如迈克尔杰克逊的 音乐带“黑与白”这首歌中1 3 个不同性别和种族的人的相互渐变；电影终结者i i 中机械杀手t - 1 0 0 0 由液体变为金属人，由金属人变为影片中的其它角色( 1 i | a l i a s 软件裁佟) ；e x x o n 公司的影撬广告中，一辘银色鹊轿车缓缓浸行激变成一只老虎 等等，都罴聚用的这种技术。当黠应的两个物体缓容荔造型虽对度荚系容爱建立 时，形体渐变是一种可行的方法，因此二维图像的m o r p h i n g 技术已经比较成熟， 但由于三维渐变技术往往对物体中多边形的个数、拓扑结构和顶点之间的对应关 系附加苛刻的限制，再加上许多时候需渐变的物体很复杂，两个物体之间的对应 关系缀难确定，所以具有强意撼卦鹣两个三维物体之麓豹m o r p h i n g 技术还有凳子 进一步的发矮。 对于由多边形表示的物体，物体的变形可通过移动其多边形顶点来达到。但 2 第一章绪论 是，多边形的顶点以某种内在的一致性相关连，不恰当的移动很容易导致三维走 样，比如原来共面的多边形变成了不共面的。参数曲面表示的物体可较好地克服 上述问题。移动控制顶点仅仅改变了基函数的系数，曲面仍然是光滑的，所以参 数曲面表示的物体可处理任意复杂的变形。但是，参数曲面表示的物体也会带来 三维走样问题，由于控制顶点的分布一般比较稀疏，物体的变形不一定是我们所 期望的；对于由多个面拼接而成的物体，变形的另一个约束条件是需保持相邻曲 面间的连续性。f o r s e y 和b a r t e l 【4 】提出的层次b 样条变形方法是b 样条曲面变形方 法的一大发展。他们解决了变形的范围问题，即用户可在更局部的范围控制曲面 的变形，并且无需产生过多的控制顶点。实践表明，多边形和参数曲面表示各有其 优缺点。参数曲面不能表示拓扑结构比较复杂的形体，对于非矩形域的拓扑结构， 参数曲面表示起来较为困难；而多边形则可以表示拓扑复杂的物体。 大部分变形方法与物体的表示有密切的关系，如通过移动物体的顶点或控制 顶点来对物体进行变形。为了使变形方法能很好地结合到造型和动画系统中，近 十几年来，人们提出了许多与物体表示无关的变形方法。b a r r l 2 l j 提出的整体和局部 变形方法是这一方面最早的工作。b a r r 方法的创新性在于当对物体的各部分实施 变换时，变换矩阵不再是一个恒定值，即成为位置的函数。这种变形算法的优点 是能与常规的几何造型系统结合。可整体使用，界面透明性好。另一种重要的与 物体表示无关的变形方法为自由变形方法( f f d ) 【6 ，该方法已经被广泛地应用于计 算机动画和几何建模领域中，是目前物体变形中最实用的方法之一。f f d 的优点 是可与任何实体造型系统一起使用，可对任何形式、任何幂次的曲面进行变形， 可整体也可局部使用，可应用于曲面或多边形模型等。但由于f f d 对控制盒的形 状有限制( 长方体) ，移动控制盒上一个顶点将影响到整个物体( 整体变形) ，变形过 程不直观，难以操纵( 间接变形) 等，针对这些局限性，许多学者又对f f d 进行了 扩充，相继提出了许多扩展的自由变形算法，从不同的角度来继承f f d 的优点， 克服其缺点，扩展f f d 的应用范围。主要有：c o q u i l l a r t i l 叫提出的扩展 f f d ( e x t e n d e df r e e f o r md e f o r m m i o n ，e f f d ) 算法，消除了对平行六面体控制框架 的限制，使得初始的控制框架允许棱柱和圆柱这种形状，在一定程度上增加了f f d 的适用范围；k a l a r ” 等提出有理f f d ( r a f i o n a lf r e e f o r md e f o r m m i o n ，r f f d ) 算法 给每个控制顶点都附加了权因子，用户可以通过移动控制顶点或者修改权因子来 控制变形，与f f d 相比，权因子提供了另一个控制变形的自由度；f f d 通过移动 控制顶点使控制框架产生变形时，变形传递给嵌入其中的物体，是一种间接的变 形方法，难以准确控制物体的形状。h s u ”1 等提出的直接f f d ( d i r e c tf f d ) 算法， 电子科技大学硕士学往论文 可以让用户赢接操作物体上的点而不是控制顶点，由物体上点的位置变化来计算 其它位置点变化，来达到变形。l a m o u s i n 1 3 提出了基于n u r b s 的f f d 方法n f f d ， 该算法使用非均匀有理b 样餐基函数作为控毒顶点的基函数，使褥在避 亍局部变 形对无嚣考虑连续牲条 牛，著量出于控裁顶点是饕均匀分布的，困魏霹戳在交纯 较复杂的区域应雳较多的控制顶点。b e c h m a r m 8 1 提斑了c o n t i n u o u sf f d ( c f f d ) ， 该方法基于重心坐标和贝塞尔四面体实现。允许建立任何形状的控制框架，但必 须保持约束控制点位移的四面体之间变形的连续性。从上可知，各种改进算法都 只是对f f d 算法的功能进行了巢种扩展，但是并没有在本质上有所突破，它们很 多仍然锭溺长方俸控翩框架，蕊麓控锻点的坐标仍然要转豫为控螽l 梃祭鼹部坐标 系的坐标，鼯都要一个原坐标系到局部坐标的转换。这显然使得使用 # 常复杂。 1 9 9 7 年m o c 。o z e t 【3 】等结合f f d 方法和d i r i c h l e t 平筒提出了d i r i c h l e tf r e e 。f o r m d e f o r m a t i o n s ( d f f d ) 算法，它既保留了f f d 的优点，又从根本上避开f f d 的缺 点。d f f d 抛弃了控制点集之闻的拓扑结构，使用更为一般的s i b s o n 局部坐标系 ( s i b s o n l o c a lc o o r d i n a t es y s t e m ) ，只需要计算出控铡熹的s i b s o n 坐标作为对物俸点 的影响镶，不褥需要坐标系闻盼转换，具有更大的灵活往和通用| 琏。本文在第三 章将对该算法做详细的介绍。 1 2 ，2 三维变形与计算机动画 虽然讨“舅枫图形学已经在缀多领域取褥了突破性避袋。毽由于人鼹袤孺的复 杂性和入腔衷情驰丰富性，三维人黢的动画实现仍楚一个其有魏袋往懿谍题。实 现三维人脸动画的难点主要有两个：人脸建模和人脸动画。 1 2 。2 1 三维变形与人脸建模 从1 9 7 4 年p a r k e l 2 。1 首先胄j 计算机生成人照图像以来，3 0 多年闽诗黧穰图形工 手# 者在这方鬣敬得了缀多耄翼的磅究成果。p i g h i n 【2 ：1 等人从实掐的照片合成了人 脸，并开发了套系统，通过多幅照片来进行人脸的三维重构，最后司以生成具 有相当真实感的三维人脸模型和人脸表情，但是需骚大量的手工工作。近几年里， l e e 2 3 等人用3 d 扫描仪来创建人脸的模型，并提出了一种处理和改进扫描结果的 方法。他们豹入验动画粟用基予物理飘两的模型。t , a k i m o t o 2 4 】用两强人黢照片来 建立久验模黧。但两张照片登颈保疆是扶正、髑礴个互糨垂直的方两箱掇。这种 方法的优点鼹简单易行，但是模型误差偏大。r m k o c h 2 5 】等人在w a t e r s 肌肉模型 的基础上，采用了有限元的方法来产生人脸表情。他们的这种方法相对于质点肌 4 第一章绪论 肉模型更加精确，但是计算量大，实时性差，目前已经应用于医学研究。vb l a n z ”l 等人提出了一种新的基于统计的人脸建模方式。他们建立一个三维人脸库，对一 张正面人脸照片，用库中人脸模型线性组合的正面投影去逼进这张照片。最后把 组合的人脸模型人为是照片中的人脸的模型。这种建模的方法的优点是输入简单， 只需要一张正面照片，而且合成的人脸模型不会有奇异的失真。缺点是建人脸库 比较麻烦，而且目前人脸库只能局限于同一年龄层的人。国内近几年在人脸动画 方面也有很大的发展。哈尔滨工业大学的晏洁在人脸建模、人脸表情、唇动、纹 理映射等方面做出了一些成绩，提出了一种人脸模型个性化的方法和多方向纹理 映射的算法。北京工业大学的尹宝才等人研究人脸建模和人脸纹理映射的方法。 中国科学院计算机研究所提出了基于m e p g - - 4 的三维人脸动画实现方法【1 ”。这些 方法生成的三维人脸时都需要手工输入图像，或在图像上标记出一些特征点，所 以仍然不能满足对完全自动人脸建模的需要。因此本文希望通过对模型施以变形， 以生成不同的、区别性大的真实感人脸。本文利用自由变形算法对3 d 头像网格的 各个部位比如脸、下巴、鼻子、眼睛等实施变形，进而达到整个头像的变形，生 成不重复的头像模型。 1 2 2 2 三维变形与人脸动画 在计算机图形学研究中，三维变形和动画的研究问题主要包括以下三个方面： 一、如何生成可用于动画的自然的变形效果。这一问题主要集中在对物体变 形方法的研究。针对不同的应用背景，研究人员提出了不同的方法。例如，有限 元方法( f i n i t ee l e m e n tm e t h o d s ，f e m ) 、自由形变方法( f r e e f o r md e f o r m a t i o n ， f f d ) 、参数化方法等。现在，随着计算机辅助几何设计和图形学的发展，f f d 方 法已经广泛地应用在几何造型、计算机动画、科学数据可视化等领域。该方法受 到人们重视的原因在于：首先，在对物体进行整体和局部的形状修改时，自由变 形方法突破了传统方法的局限性；其次，自由变形方法是独立于物体表示的，所 以容易集成到现有的系统中。另外，该方法在产生物体的形状动画方面，具有良 好的交互性和可控性。 二、如何提供人性化的动画驱动方式。早期的计算机动画系统因其硬件性能 较低多数采用关键帧技术。制作人员运用特定的变形方法离线生成不同状态下的 角色或场景。然后通过插值在线渲染成动画。随着计算机性能的飞速发展，当前 的许多动画系统已经能够达到实时绘制的要求。在这一背景下，研究人员开始关 注由视频或者运动捕获设备直接从现实世界中提取物体的运动数据来驱动动画的 电子科技大学硕士学位论文 研究。如何跟踪和检测视频中的特定角色，如何从视频中提取当前角色的运动参 数，如何建立二维的运动参数与三维物体形变之间的映射关系，是当前基于视频 的动画研究中豹核心闫题。利用运动播获设备，人们可以鞲确均获取不同时刻囊 色运动的三维信怠，驮两生成较离屡量的三维动压。然瓤魏俺自动或者拳蠡动的 完成动画系统的裙始化工俸( 包括建立角色的对应关系，运动捕获数据的颈处理 等) 是目前数据驱动方式需要进一步解决的问题。 三、如何选择好的插值方式。遮问题包括两个方面；帧内插值和帧间插值。 帧内插值指角色在间一对刻需要通遗已知的某些部分的运动信息去插值得臻整个 物俸的运动。通常梭内插篷需要儇持韵酉角色凡 可变形趣乎滑性。梭润撼蕊指兔 色在不同时亥i 之间的过渡，主要包括线性插值、二次魏线插值、基于圈的鬣优路 径的插值等方法。相对于线性插值，非线性的插值方法往往能够更为真实的仿真 角色的物理运动。通过调节不同的插值曲线，可以得到非常逼真的动画效果，但 这类方法通常嚣要较大的计算开销。 三维变形移动西在娱乐、远程会议、入辊交互苇彝纛掺现实等方面都裔重要弱 应用。在当今电影大片中无处不在的电影特效，计算机合成斡说话a 头，农线游 戏中具有个性的玩家化身，以及电视新闻中的虚拟播音员等都是三维变形与动画 技术在娱乐产业当中具有吸引力的实际应用。图1 - 1 中的两张图片分别是电影x 战警和蜘蛛侠中用计算机台成的虚拟角色，它们惟妙惟肖的表演为送两部 大片的成功增色不少。 图1 - 1 曼娥计算机动画的应用 三维变形鞠韵菡钓另个痰弼怒基于模型的低弼率编码。例如，在远糕会议 系统中，参热老静久脸模墅可以 擘为静态场象的一部分预先传输。在会话时。可 以分析出模型的总体运动，以及羼部遮动和表情改变时人脸形状和纹理的细微变 第一章绪论 化，之后只需将这些动态变化擞参数化并编码传输，然后在接收端进行动画合成。 这种非常低码率的编码方式，能够适用于带宽资源不足的网络环境。 另夕 ，具有真实感的人脸动掰是自然人机交墨中豹关键技术，它将经计算机 获褥更有效驰瘦弱。当前普遥采用的入掇交互方式仍主要依赖于键盘帮陵标，其 特点是让人来适应计算祝，效率较低。而隧人类习惯的、比较宣然的方式与计算 机进行交流，使计算机能够主动地适应人的要求，正是人机交互研究所要达成的 长远目标。为实现该目标，我们不仅需要有硬件技术方面的发展( 主要是计算能 力、显示技术和各种智能接口设备) ，丽且需要语音分析与合成、人脸识别秘验证、 表薅和行为分辑、人脸和人体建模与动画等算法方落麴进步。稳对于上述提及的 其它方面，人脸建模与动画是人枫交互系统中直接与焉户沟通的视觉留翻，其重 要性不言而喻。例如，如果计算机不仅使用文本和声音，还能通过表情对人的行 为做出反馈，这无疑会使人机问的交流更为自然而生动。 1 ，3自由蜜彩算法在虚拟头豫系统中的应羽 随着近几年各种3 d 游戏，3 d 虚拟主持人等的的推出，3 d 头像模型的应用已 经越来越多，相应地3 d 模型的研究越来越热。假由于人脸的复杂性、人的形状不 规则等使得人体和动物动画的许多问题没有得到很好的解决。因此目前3 d 人头像 酶应用还不是很成熟，好多谫戏中人物角色的头豫足一样的，只是附鸯霹了发型、 服饰等整体搭配看起来不一样。本文把童由交形冀法庭雳到三缍头豫驰生成中， 通过对人头像的变形，自动生成不同的三维头像模溅。 传统的人脸建模多是通过昂贵的c t 核磁共振、三维激光扫描仪等设备建立起 来的，模型复杂，精确度高。而对于人们在虚拟世界中进行交流这个应用来说， 更希望以小的代挽来建立相对不是那么精确的入黢模型。因此，有入利用人的正 耍和铡嚣l l 奇照片台藏具有一定遴l 爨魔蟾三维人脸校嫠，劳在这一摸黧上实现眨隈、 抽鼻子、微笑、蹙眉、短语句的发音等简单动画。倦这对用户来说仍不方便。也 有人提出建立一个三维人脸库，对张正面人脸照片，用库中人脸模型线性组合 的正面投影去逼进这张照片，最后把组合的人脸模型人为是照片中的人脸的模型。 但是建三维人脸库非常麻烦，丽且霹前都没有这方掰比较完整的数据。困戴虽然 雷内努研究人受在某些方瑟获氇取褥了一定的成绩并出现了一些实丽豁系统，但 是现有的技术和产品离用户的臻求仍有较大距离。本文希望研究开发一个系统可 以自动生成三维真实感的人脸，而不需要用户过多的手工干预。本文通过应用 电子拳 技大学硕士学位论文 d i r i c h l e t 自由变形算法来达到这个目的。通过对三维头像模型进行变形，生成大量 可区别性很大的三维头像模型。而且由于d i r i c h l e t 算法自身的特性，也可以对头 像上某个部佼进行局部变形，生成个性化的头像。变形所需要豹三维人脸潮捂模 型，采用蠢p o s e r 导出静o b j 文体格式静模型，该模型宙若于三维网播点( v e r t e x ) 和网格点围成的多边形面( f a c e t ，主要为三角形和四边形) 构成。 根据d i r i c h l e t 自由变形算法特点，可以通过对物体上各个区域设鼹控制点， 由物体局部变形进而达到物体的整体变形效果。而人脸的复杂表情和动作是由眼、 耳、鼻、霸、耀毛、额头、脸颊、牙齿、下颚等多个器官的运动共同构成，不同 器宫具有不瓣豹运动特征。困鼗零算法将嗣搭摸型分成著于个鼹格片功能区， 分别代表不闷的器官。然后对备个功能区应用d i r i c h l e t 自由变形算法。进而达到 头像的整个变形，而产生简单的动画。本文将在笫五章对该变形算法在头像生成 系统中的应用做详细介绍。 1 4 论文主要工 睾及本文续摘 1 4 1 论文生要工作 本论文在对变形算法研究的基础，把d i r i c h e l t 自由变形算法推广到三维空间 中，然后疲髑到c i l a b 虚于 l 头像生成系统中。本人做了翔下工作： 1 、深入辑究变形算法；渐变接术( m o r p h i n g ) ，彝由型变形算法，以及该算法 盼各种改进算法等。 2 、通过对各种变形算法的理论研究和实现，选择d i r i c h l e t 自由变形算法( 该 算法是自由变形方法的一种改进算法) 作为本文的研究重点。本文也实现 了二维空间的m o r p h i n g 算法，虽然二维图象的m o r p h i n g 已经比较成熟， 毽三三缀m o r p h i n g 方法两移在各种各样的漱陷，因此具有任意瓤手 的嚣三 继物体之闼黪m o r p h i n g 撩术还有待子避一步的研究和发震。 3 、研究二维空间的d i r i c h l e t 自由变形算法( d f f d ) ，该算法最成功的改进之处 为采用了s i b s o n 局部坐标系，而s i b s o n 局部坐标的计算涉及到计算几何 中d e l a u n a y 三角划分和v o r o n o i 图的生成，为了使该d f f d 算法在实际应 用中取得很好的效果，本文瞧深入分辑了d e l a u n a y 三角划分算法。然后选 择了p a u lb o u r k e 予1 9 8 9 年提出的一种有效的三角划分算法，该舞法效率 较高。而本文系统的实现中多次对物体点进行d e l a u n a y 三角划分，因此使 第一章绪论 用该三角划分算法的效率要高，随机生成头像模型的时间也较短。 4 、鉴于近几年3 d 技术的广泛应用，本文把d i r i c h l e t 自由变形算法推广到三 维空间中实现。并且在三维空闯中实现- yd e l a u n a y 三角划分箨法，翻 v o r o n o i 图的生成算法。 5 、把d i r i c h l e t 自由变形算法在三维空闻中的推广算法应焉到三维空闯的虚拟 头像生成系统中，用来生成可区别的三维头像模型和简单的人脸的表情。 本系统采用v i s u a lc + + 开发，并利用开发式图形库接口o p e n g l 来处理头 像的光照、纹理赔图等，使生成的头像具商真实感。 1 4 2 本文结构 本文共分六章，具体内容如下： 第一章：绪论。本章主要介绍了论文的选题意义，自由变形算法的发展及在 人脸建摸稻端画中的应用，荠简臻禽绍了如何把变形算法应用到虚拟头像生成系 统中，最螽对论文的整体结掏徽令概括。 第二露：自由变形算法。本牵首先介绍了m o r p h i n g 变形技术及对该技术的实 现工作。随后介绍了本文的研究蓖点，自由变形算法的原理，以及由其扩展出来 到的各种改进的自由变形算法的恩想。通过对这贱算法的比较，本文选择d i r i c h l e t 自由变形算法作为研究重点，并把它推广到三维空阈实现。 第三牵；= 维空闻的d i r i c h l e t 囊壶变形算法。本文介绍d i r i c h l e t 鑫凌变形算 法的思怒及在二维空闻的实袋。该算法首次结合谤箨凡何方面的知识：d d a u n a y 三角划分、v o r o n o i 图。因此本章详细介绍这两个相关知识的概念和原理。然后介 绍d i r i c h l e t 自由变形算法如何结合这些知识来实现，使其更具灵活性和通用性。 第四章：d i r i c h l e t 自由变形算法在三维空间的撼广。本章详细论述了如何把 d i r i c h l e t 囊由变形算法推广到三三缭空阉中，及在三维窆问中斡实现，包括d e l a u n a y 三角划分、r b r o n o i 图在三维窝闻中的实现，是本文的一个翻耨点。 第五章：三维d i r i c h l e t 自由变形算法在虚拟头像生成系统中的应用。本章详 细介绍了三维d i r i c h l e t 自由变形算法在虚拟头像生成系统的应用及系统的实现， 并展示头像的变形的效果；包括内容： l 、系统框架分绍； 2 、交澎模块介绍； 3 、功能区的划分和控制盒的设置： 9 毫予科技大学硕士学位论文 望。 4 、算法的实现流程； 5 、应用o p e n g l 图形函数库，处理头像的真实感； 6 、在v i s u a lc * 6 0 平台下实现。 第六章：论文惑结。对整篇论文傲一个整体总结，并对进一步豹王髂给予震 1 0 第u ：二章自由变形算法 第二章自由变形算法 在几何造型和计算动画领域中，变形技术已经成为一种越来越重要的工具。 变形技术较好模拟各种传统造型和计算机动画技术难以实现的物体。有很重要的 理论研究价值和广阔的应用前景。 下面几个小节将介绍变形技术的发展背景和各种变形算法的数学原理。 2 1 m o r p h i n g 渐变技术 图像变形( m o r p h i n g ) 的先驱，纽约理工学院( n y i t ) 的t o mb r i g h a n l ，在1 9 8 2 年的s i g g r a p h 年会上，首次展现了他制作的胶片：将一个女人变成了一只大山 猛。氆采露了图片拉 率的软件技术来实现关键帧之润髓变换。之后，以i l m f i n d u s t r i a ll i g h t a n dm a g i c ) 公司为代表的许多公司的豹科磷人员在图像怒理中莱焉 变形技术，来实现各种震撼人心的图像效果。 2 1 ，1 纂于特征的m o r p h i n g 渐变技术 “m o r p h i n g ”是臻来描绘图像翅曲与像素融合攘结合豹溪像处理过程，楚动茴 领域中实现一襁豳向另一褥鬻变形瓣典型的图橡处理技巧。其思想是羽一个特定 的变形算法把一幅图扭曲成第二幅图，在变形过程中，第一幅图形状逐渐向第二 幅图扭曲，色彩逐渐消失，而第二幅图形状逐渐向第一幅图靠拢，色彩逐渐增强。 图像变形包禽骶个过程：对两幅原始图进行变形处理使他们具有相同的“形状”， 再对产生鲍结暴图进行色彩酶鞠夏融含。在变形过程中关键润题是如何确定各个 像素在每羧戮像中的正确经嚣，如何确定起始强矛委爨标图像素之间的对瘟关系， m o r p h i n g 方法允许动画师对变形进行直观的控制，通过交互的指定图像变形特征 ( 线对) ，可以较方便地达到动画师预期的视觉效果 l i w i n o w i c z 2 7 】曾用摄像机掇得一真人讲话、做某种表情时的动作，然后用交互 方式勾划出该人魏特征线，并用这些特征线去控制剐的入、动物或卡遗鞠，敬褥 了一定的效鬃。s h a w nn e e l y 却撬出了一静基于特钲的豳像变形技术，并撼