（计算机应用技术专业论文）人脸模型校准研究.pdf

摘要 摘要 计算机人脸动画是计算机图形学个具有挑战性的问题。特别随着互联刚的 迅猛发展，虚拟人脸技术的应用领域已经拓宽到诸如电影与广告、视频会议、可 视电话、人机接口、虚拟环境、游戏娱乐等方面。而在一定的条件下，将一个一 般人脸模型变形( 校准) 成另外一个特定人脸模型是解决这一问题非常重要的一 步，校准的可视性效果好坏直接影响到虚拟人脸同特定人脸的逼近程度。本论文 所做的主要研究工作就是从一般人脸模型到特定人脸模型校准。 本文详细地介绍了两种人脸模型校准的算法：基于d f f d 自由变形的算法和 基于径向基函数离散数据插值的算法。其中基于径向基函数的离散数据插值又分 为单步插值和多步插值。国内外已有很多有关基于d f f d 自由变形算法和基于径 向基函数单步插值的人脸模型校准的研究，但是基于径向基函数多步离散数据插 值应用到人脸模型校准的却很少。本文提出把基于径向基函数多步插值方法应用 到人脸模型校准，并把多步离散数据插值方法和d f f d 算法以及单步离散数据插 值的校准效果和优缺点进行了比较。实验结果表明，基于径向基函数多步离散数 据插值的人脸模型校准的可视性效果很好。因此，在此基础上我们开发了一个基 于径向基函数多步离散数据插值的特定人脸模型校准系统。 为了更好地了解算法，在介绍算法的过程中，我们对相关的基础知识： v o r o n o i 图和d e a u n a y 图、s i b s o n 局部坐标、以及径向基函数离散数据插值也 进行了介绍。 为了使用户对我们的特定入脸模型校准系统有一个清楚的思路。在文中第四 章我们把系统按照开发的流程，分成几个子系统进行了介绍。对各个子系统所遇 到的问题进行了解决。并且各个予系统都能以控件的形式提供给用户，用户在研 究其它的变形算法时可以直接调用。 本文的主要创新点有： ( 1 ) 在基于径向基函数单步离散数据插值算法人脸模型校准的基础上，我们 提出了将基于径向基函数的多步离散数据插值算法应用于人脸模型校 准，和基于径向基函数单步离散数据插值以及d f f d 自由变形算法的人脸 模型校准相比较，这种校准算法既保证脸部局部区域变形的精确性和平 滑性，又减少了运算的复杂度，并且校准可视性非常的好。 ( 2 ) 在人脸模型校准的过程中，取特征点时，在我们的系统中所取特征点并 不完全基于m p e g 一4 定义的8 4 个特征点，由于在系统中采用了基于径向 基函数的多步离散插值的算法，系统对鼻子、眼睛、嘴部以及边界的可 视性效果要求比较赢，所以我们在取特征点时，要求我们在这些局部区 域取的特征点密一些，如有必要还可以增加一些辅助点，而在其它要求 可视性效果不太严格的地方( 脸颊) 就少一些。这样使系统在局部区域 进行校准时，保证了脸部局部区域变型的精确性和平滑性，对脸部边界 的处理也比较流畅。 本课题得到安徽省自然科学基金和中国科大青年科学基金的资助。 塑坐生一 a b s t r a c t f a c i a la n i m a t i o ni so n eo ft h em o s tc h a l l e n g i n gp r o b l e m si n c o m p u t e rg r a p h i c s w i t ht h e r a p i dd e v e l o p m e n to fi n t e m e t ，t h ep r a c t i c a la r e ao fv i r t u a lf a c i a la n i m a t i o nh a sb e e nw i d e l v s p r e a d e dt ot h es t a g eo fm o v i ea n da d v e r t i s e m e n t ，v i d e om e e t i n g ，v i r t u a le n v i r o n m e n t ，g a m e sa n d s oo n u n d e rc e r t a i nc i r c u r m o n s t a n c e s , a g e n e r a lf a c i a lm o d e lc a nb ec a l i b r a t e dt oa n o t h e rc e r t a i n o n e ；a n dt h i si st h em o s ti m p o r t a n ts t e p t h ev i r t u a le f f e c to fc a l i b r a t i o na f f e c tt h e f i d e l i t yv i r t u a l f a c et ot h ec e r t a i nf a c e t h ee s s a ym a i n l yt a l k sa b o u tt h ec a l i b r a t i o na g e n e r a lf a c i a lm o d e lt oa c e r t a i no n e t h ee s s a yi n t r o d u c e st h ea r i t h m e t i co ff a c i a lc a l i b r a t i o ni nt w ow a y s ：a r i t h m e t i cb a s e do n d i r i c h l e tf r e e - f o r md e f o r m a t i o na n da r i t h m e r l eb a s e do us c a t t e r e dd a t a i n t e r p o l a t i o nu s i n g c o m p a c t l ys u p p o r t e dr a d i a lb a s i sf u n c t i o n s a n ds c a t t e r e dd a t ai n t e r p o l a t i o nu s i n gc o m p a c t l y s u p p o r t e dr a d i a lb a s i sf u n c t i o n sc a nb ed i v i d e di n t ot w op a r t s ：s i n g l ea n dm u l t i s t e p t h e r eh a v e b e e nal o tr e s e a r c ha b o u tf a c i a lc a l i b r a t i o nb a s e do nd i r i c h l e tf r e e f o r md e f o r m a t i o na n d a r i t h m e t i cb a s e do ns c a r e r e dd a t ai n t e r p o l a t i o nu s i n gc o m p a c t l y s u p p o r t e dr a d i a lb a s i sf u n c t i o n s w o r l dw i d e l y b u tf e wu s e sm u l t i - s t e ps c a t t e r e dd a t ai n t e r p o l a t i o nu s i n gc o m p a c t l ys u p p o r t e d r a d i a lb a s i sf u n c t i o n s s ow ed e v o t e do u r s e l v e st od ot h i sr e s e a r c h ，a n da l s oc o m p a r e dt h ew e a k a n ds t r o n gp o i n t so f m u l t i - s t e p ，s i n g l e s t e pa n dd f f d a f t e rt h ee x p e r i m e n t ，w ec o n c l u d e dt h a t t h ev i s u a le f f e c tb a s e do na r i t h m e t i cb a s e do nm u l t i - s t e ps c a u e r e dd a t a i n t e r p o l a t i o nu s i n g c o m p a c t l ys u p p o r t e dr a d i a lb a s i sf u n c t i o n si sq u i t eg o o d s ow ad e v e l o p e das y s t e mo fc e r t a i n f a c i a lc a l i b r a t i o n i no r d e rt ou n d e r s t a n da r i t h m e t i cc l e a r l y , w ei n t r o d u c es o m eb a s a lk n o w l e d g ei nt h ea r t i c l e f o r e x a m p l e ：v o r o n o if i g 、d e l a u n a yf i g 、s i b s o nc o o r d i n a t e 。a n dr a d i a ib a s i sf o n c t i o n s i no r d e rt ou n d e r s t a n do u rs y s t e mo fc e r t a i nf a c i a lc a l i b r a t i o nc l e a r l y w ed i s p a r tt h es y s t e m j n t os o m es u b s y s t e m si na c c o r d a l i c ew i t ht h ef l o wo fs u b s y s t e m s a n dw ah a v er e s o l v e dt h e p r o b l e m st h eu s e r sm a y m e e tw i t h w ei n t r o d u c et h e s es u b s y s t e m sa n dt h e yc a nb ep r o v i d e df o r u s e r s t h em a i nd i s t r i b u t i o na n df n n o v a t i o f lo f t h i st h e s i sa r ei i s t e db e l o w ： ( 1 ) o n l h eb a s i so fa r i t h m e t i cb a s e do ns i n g l e s t e ps c a t t e r e dd a t ai n t e r p o l a t i o nu s i n gc o m p a c t l y s u p p o r t e dr a d i a l b a s i sf u n c t i o n s ，w ep r e s e n ta r i t h m e t i cb a s e do nm u l t i - s t e ps c a t t e r e dd a t a i n t e r p o l a t i o nu s i n gc o m p a c t l ys u p p o r t e dr a d i a l b a s i sf u n c t i o n s ，c o m p a r e dm u l t i s t e pt ot h e s i n g l e o n ea n dd e f da r i t h m e t i c ，t h ef o l i n e ro n en o to n l yg u a r a n t e et h es m o o t h n e s sa n d d e c i s i v e n e s so f r e g i o n a lf a c i a lc a l i b r a t i o n b u ta l s od e c r e a s et h ec o m p l e x i t yo f t h ea r i t h m e t i c a n dt h ev i d e oe f f e c ti sq u i t eg o o d ( 2 ) d u r i n g t h ep r o c e s so ff a c i a lc a l i b r a t i o n ，t h ew a yw ec h o o s et h ec h a r a c t e ri sn o tt o t a l l yb a s e d o nt h e8 4c h a r a c t e r so fm p e g - 4 b e c a u s et h ea d o p t i o no fa r i t h m e t i cb a s e do nm u l t i s t e p s c a t t e r e dd a t ai n t e r p o l a t i o nu s i n gc o m p a c t l ys u p p o r t e dr a d i a l b a s i sf u n c t i o n s ，t h es y s t e m r e q u i r e sh i g h e rv i s u a l e f f e c to nn o s e s ，e y e s ，m o u t ha n ds i d e s w h e nw ec h o o s e ，w ec o u l d m a k et h e s ea r e a sd e n s e r , a n do t h e ra r e a s ，s u c ha sc h e e k s ，r e q u i r er e l a t i v e l ys p a r s e l yv i s u a l e f f e c t ，c o u l db eal i t t l et h i n n e r i fn e c e s s a r y , w ec a na l s oa d ds o m e a s s i s t a n tp o i n t s ，w h e nt h e s y s t e mi sm a k i n g t h er e g i o n a lc a l i b r a t i o n ，t h e s ep o i n t sg u a r a n t e ep r e c i s e n e s sa n ds m o o t h n e s s o fr e g i o n a lc a l i b r a t i o n ，a n dt h et r e a t m e n tt ot h ef a c i a ls i d ew i l lb em o r ef l u e n t l y t h i ss t u d yi ss u p p o r t e db ya n h u ip r o v i n c i a ln a t u r a ls c i e n c ef o u n d a t i o na n du s t c y o u t h s c i e n c ef o u n d a t i o n 2 1 绪论 计算机人脸动画是计算机图形学一个具有挑战性的问题。特别随着互联网的迅 猛发展，虚拟人脸技术的应用领域已经拓宽到诸如电影与广告、视频会议、可视 电话、人机接口、虚拟环境、游戏娱乐等方面。而在一定的条件下，将一个一般 人脸模型变形成另外个特定人脸模型，是解决这一问题非常重要的一步，人脸 变形( 校准) 实质上是一个空间变形( s p a t i a ld e f o r m a t i o n ) 问题，即：在已知 三维人脸空间网格模型的所有网格点和n + 1 个特征点的位置情况下当特征点从 老位置p ，移动到新位置p t ( o i n ，p 。可以等于p ；，表示该控制点没有移动) 时，如何求出网格点p 的新位置p ? 也可以表达为：已知特征点的位移 p l = p t 一p ( o i r l ，p 可以等于0 ，表示该特征点没有移动) ，如何求出网格 点p 的位移p ? 关于空间变形的算法有很多，其中有代表性的有以下几种： 1 非线性的整体和局部变形 b a r r 模拟力学中常见的几种变形，如拉伸，均匀张缩，扭转和弯曲等， 并给出了这些变形的数学表示 b a r r 8 4 。非线性变形的基本思想是根据实施变 形的位置的不同而改变线性变形的参数。这种变形方法的优点是：能结合常规 的几何造型系统，可整体使用，界面透明性好。 2 自由变形 1 9 8 6 年，s e d e r b e r g 和p a r r y 提出了一种自由变形方法( f r e ef o r m d e f o r m a t i o n ，简称f f d ) 。其基本思想是：待变形的物体被镶嵌在一个称为控 制盒的框架中，外力并不是直接施加在物体上，而是施加在控制盒上，然后控 制盒产生形变，并将这个形变传递到物体上。关于自由变形的详细描述可见第 二章。f f d 的优点是：可与任何实体造型系统一起使用。可对任何形式任意幂 次的曲面进行变形，可整体也可局部使用，可应用于曲面或多边形模型等等。 虽然f f d 有很多优点，但是也存在许多局限性，比如说：控制盒的形状有 限制( 长方体) ，移动控制盒上一个顶点将影响到整个物体( 整体变形) ，变形 过程不直观，难以操纵( 间接变形) 等。针对这些局限性，许多学者又对f f d 进行了扩充。常见的一些有：扩展的f f d ( e f f d ) ，有理的f f d ( r f f d ) k a l r a 9 2 ， 直接的f f d ( d i r e c tf f d ) m o c c o z e t 9 6 、 m o c c o z e t 9 7 ，基于n u r b s 的f f d ( n f f d ) l a m o u s i n 9 4 等等。 3 基于径向基函数离散数据插值的变形 基于径向基函数离散数据插值分为：单步插值和多步插值。用离散数据插 值方法在求高维近似和求近似曲线和曲面时，我们经常用到。p i g h i n p i g h i n 9 8 等提出把基于径向基函数的单步离散数据插值应用到人脸变形- 效果很好，由 此我们可以扩展，即把基于径向基函数多步离散数据插值 a r m i n 0 0 w e n d l a n d 应用到人脸变形。具体内容在第三章我们进行了详细的叙述。 人脸变形的算法还有好多，我们在这里不再赘述。在人脸模型校准技术的研究 中，我们发现变形算法的选取非常重要，因为变形算法的好坏直接关系到校准的 效果。对变形算法的研究，我们首先从实验室已经采用的基于d f f d ( d i r i c h e l e t f r e ef o r md e f o r m a t i o n ) 自由变形算法的人脸模型校准来进行研究。d i r i c h l e t 1 绪论 自由变形 m o c c o z e t 9 6 、 m o c c o z e t 9 7 是s e d e r b e r g 和p a r r y 提出的自由变形 ( f r e e f o r md e f o r m a tio n ，f f d ) s e d e r b e r 9 8 6 的变种。 经过研究，我们发现基于d f f d 自由变形算法的人脸模型校准，有一定的缺陷， 即不能保证人脸的边界处轮廓线处理的平滑性，以及人脸上面的局部区域，例如 能够明显表现人脸特征：鼻子、眼睛以及嘴巴等周围区域校准的效果不是很好。 所以为了达到更好的校准效果，接着我们又研究了基于径向基函数( r a d i a lb a s i s f u n c t i o nd e f o r m a t i o n ，简称r b f ) 离散数据插值的人脸模型校准技术，并分别采 用单步和多步插值的方法进行了人脸模型校准。在此基础上，我们开发了一个基 于径向基函数多步离散数掘插值的特定人脸模型校准系统。 本文的组织结构如下： 第1 章为绪论，首先简要介绍了几种常见的人脸变形方法，从而得出选题的依 据，接着叙述了本文的组织结构。 第2 章介绍基于d f f d 自由变形算法的人脸模型校准，在此章中我们还介绍了 v o r o n o i 图和d e l a u n a y 图、s i b s o n 局部坐标的知识。 第3 章介绍了基于径向基函数插值算法的人脸模型校准。基于径向基函数的插 值方法又分为单步的离散数据插值和多步的离散数据插值，我们分别进行了介绍。 在此章中，我们还把基于径向基函数的多步离散数据插值的人脸模型校准，同基 于d f f d 自由变形和径向基函数的单步离散数据插值的校准进行了优缺点和校准效 果的比较。 第4 章叙述了我们开发的一个特定人脸模型的校准系统。为了使用户对我们的 系统有一个清楚的了解，我们是按照系统开发的流程，分成子系统来分别介绍系 统功能、原理和相关的技术，每一个子系统都可以控件的形式提供给用户。 第5 章为结束语，对本文工作进行了总结，并提出进一步的工作方向。 2 挂于d f f d 人脸模型校准 2 基于d f f d 的人脸模型校准 d i r i c h l e t 自由变形 m o c c o z e t 9 6 、 m o c c o z e t 9 7 是s e d e r b e r g 和p a r r y 提出 的自由变形( f r e e f o r md e f o r m a t i o n ，f f d ) s e d e r b e r 9 8 6 的变种，自由变形是 目前广泛采用的一种曲面造型方法。本章首先简要介绍自由变形及其扩展；接着 介绍d i r i c h l e t 自由变形的基础v o r o n o i 图和d e l a u n a y 图；然后介绍s i b s o n 局部坐标的概念：最后介绍d i r i c h l e t 自由变形算法。 2 1 自由变形及其扩展 画售 图2 1 自由变形 1 9 8 6 年，s e d e r b e r g 和p a r r y 提出了自由变形算法 s e d e r b e r 9 8 6 。如图2 1 所示，该算法的基本思想是：先构造一个由三维控制顶点网格构成的长方体框架 ( 称为控制框架) ，然后将要变形的物体嵌入控制框架中，移动控制顶点使控制框 架产生变形，物体也随之产生变形，就好像物体是控制框架的一部分并且由同一 种材料做成。 f f d 的优点是：可与任何实体造型系统起使用；可对任何形式、任意幂次的 曲面进行变形；可整体也可局部使用；可应用于曲面或多边形模型：可估计体积 变化的程度，并存在一类保持体积不变的变换；参数曲线、曲面经f f d 变换后仍 是参数曲线、曲面；可应用于美学f f | 面和光顺曲面，也可能应用于大多数功能性 曲面 朱心雄0 0 。 尽管f f d 有许多优点，但是也有一些缺点，因此研究人员相继提出了许多扩展 的自由变形算法，从不同的角度来继承f f d 的优点，克服其缺点。 f f d 只能使用长方体控制框架，c o q u i l l a r t 提出的扩展f f d ( e x t e n d e d f r e e f o r md e f o r m a t i o n ) 算法 c o q u i l l a r t 9 0 可以使用非长方体控制框架，从而 扩展了可能产生的变形。 k a l r a 等提出的有理f f d ( r a t i o n a lf r e e f o r m d e f o r m a t i o n ) 算法 k a l r a 9 2 给每个控制顶点都附加了权因子，用户可以通过移动控制顶点或者修改权因子来 控制变形，也就是说，与f f d 相比，权因子提供了另一个控制变形的自由度。 f f d 通过移动控制顶点使控制框架产生变形，从而使物体产生变形，是一种间 接变形的方法，难以准确控制物体的形状。h s u 等提出的直接f f d ( d i r e c t f r e e f o r md e f o r m a t i o n ) 算法 h s u 9 2 可以让用户直接操作物体上的点而不是控 制顶点，由物体上点的位置变化反算出控制顶点的位置变化，再计算出物体上其 它点的变化。 f f d 使用b e r n s t e i n 基函数作为控制顶点的基函数，l a m o u s i n 等提出的n u r b s 2 壮_ 二d f f d 人脸模型枝准 f f d ( n u r b sf r e e f o r md e f o r m a t i o n ) 算法 l a m o u s i n 9 4 使用非均匀有理b 样条 基函数作为控制顶点的基函数，使得在进行局部变形时无需考虑连续性条件，并 且由于控制顶点是非均匀分布的，因此可以在变化较复杂的区域应用较多的控制 顶点。 以上简要介绍了自由变形及其扩展，关于自由变形的更详细的内容请参阅参考 文献 朱心雄0 0 、 m o c c o z e t 9 6 。 2 2 v o r o n o i 图和d e i a u n a y 图 f f d 使用了长方体局部坐标系 s e d e r b e r 9 8 6 ，因此控制框架也必须是长方体。 m o c c o z e t 等提出的d i r i c h e l e t 自由变形 m o c c o z e t 9 6 、 m o c c o z e t 9 7 试图从数学 基础上来克服f f d 的局限性，d f f d 使用了更为一般的s i b s o n 局部坐标系( s i b s o n l o c a lc o o r d i n a t es y s t e m ) s i b s o n 8 0 ，因此具有更大的灵活性和通用性。 s i b s o n 局部坐标也称为自然邻居坐标( n a t u r a ln e i g h b o rc o o r d i h a t e ) ，是 建立在v o r o n o i 图和d e l a u n a y 图的基础之上的 s i b s o n s o 。 v o r o n o i 图和d e l a u n a y 图的定义方法有很多种，这里我们引用b o i s s o n n a t 的 定义方法 b o i s s o n n a t 8 4 ： “在n 维欧氏空间e 中考虑包含m + 1 个点p ( 0 4 i m ) 的点集p ，令v - 为e 中所有距离p ，最近的点组成的集合，即 r。、 v = p f l w ，0 ，肌，d ( p ，p j - o ( o s i s 胛) 并且坼= 1 ( 2 2 ) j = 0i = o n + l 维向量u = ( u 。，u 。) 就构成了点p 相对于s i b s o n 邻居的s i b s o n 局部坐 初；。 也可以通过i ) e l a u n a y 图来定义s i b s o n 局部坐标。p 是点集p 的凸包内的一点， 如果点p 落在p ，的影响区域内，即点p 落在经过p ；的d e l a u n a y 圆内，那么p ，称 为p 的s i b s o n 邻居( 自然邻居) 。在得到点集p 对应的d e l a u n a y 图之后，如果点 p 落在一个d e l a u n a y 三角形的三个顶点确定的d e l a u n a y 圆内，那么这三个顶点都 是p 的s i b s o n 邻居( 自然邻居) 。在点集p 中加入点p 之后重新构造新的v o r o n o i 图时，只有点p 及其s i b s o n 邻居所在的v o r i n o i 单元会发生变化，其余点所在的 v o r o n o i 单元保持不变，也就是说，根据点p 及其s i b s o n 邻居就可以唯一地确定 点p 相对于s i b s o n 邻居的s i b s o n 局部坐标。新的v o r o n o i 图中增加了点p 所在 的v o r o n o i 单元，点p 的s i b s o n 邻居所在的v o r o n o i 单元会减小，减小部分贡献 给了点p 所在的v o r o n o i 单元，某一个s i b s o n 邻居的贡献在点p 所在的v o r o n o i 单元中所占的比例就是点p 相对于该s i b s o n 邻居的s i b s o n 局部坐标。 2 ，拱于d f f d 人脸模型校准 d e l a u n a yt r i a n g u l a l i o nf o rp l ，p 4 b 、- p 4 - 瑚， _ p 1 卜吐弋。- 点、p 3 v o r o n o ie d g e s v o r o n o id i a g r a mf o rp 1 ，p 4 ( d ) - p 1 p 2 t p v o r o n o ic e l l d e l a u n a yd i a g r a mf o rp l p 4a n dp v o f o n o id i a g r a mf o rp l - 一p 4a n dp c o n t r i b u t i o no fp 4t opv o r o n o ic e l 图2 5 计算s ib s o n 局部坐标 图2 5 给出了计算点p 的s i b s o n 局部坐标的过程：图2 5 ( a ) 是点集 p l ，p 2 ， p 3 ，p 4 ) 的d e l a u n a y 图，因为点p 落在d e l a u n a y 三角形p l p 2 p 3 的三个顶点确定 的d e l a u n a y 圆内，也落在d e l a u n a y 三角形p 2 p 3 p 4 的三个顶点确定的d e t a u n a y 圆内，所以p l 、p 2 、p 3 、p 4 都是p 的s i b s o n 邻居：图2 5 ( b ) 是点集 p l ，p 2 ，p 3 ， p 4 ) 的v o r o n o i 图；图2 5 ( c ) 是加入p 点后的d e l a u n a y 图：图2 5 ( d ) 是加入p 点后的v o r o n o i 图，因为p 1 、p 2 、p 3 、p 4 所在的v o r o n o i 单元都与p 所在的v o r o n o i 单元相邻，所以它们都是p 的s i b s o n 邻居；图2 5 ( e ) 是将图2 5 ( b ) 与图2 5 ( d ) 重叠起来的结果，表示加入点p 之后v o r o n o i 图的变化，阴影部分为p 4 对点p 所 在v o r o n o i 单元的贡献，该贡献在点p 所在v o r o n o i 单元中的比例就是p 相对于 p 4 的s i b s o n 局部坐标。 2 4 d ir i c h i e t 自由变形算法 由于v o r o n o i 图也称为d i r i c h l e t 图，因此瑞士同内瓦大学m i r a l a b 的 m o c c o z e t 等将他们提出的利用s i b s o n 局部坐标进行自由变形的算法称为 d i r i c h e l e t 自由变形算法 m o c c o z e t 9 6 、 m o c c o z e t 9 7 。 d f f d 算法的基本思想为： 给定控制点集合p 和其凸包内的一点p ，可以确定p 的s i b s o n 邻居集合p n 2 p ， 0 i n ，并计算出点p 相对于s i b s o n 邻居的s i b s o n 局部坐标u 。( o i n ) 。 2 捧于d f f d 人脸模型技准 当移动p 。中一个或多个控制点之后，假设控制点的新位置为p 。= p 。+ p ，( o i n ，控制点p 。的位移p 。可以等于0 ，表示该控制点没有移动) 。点p 的新位 置p 由下面的公式确定： 印= q 卸， ( 2 3 ) p7 = p + p ( 2 4 ) 使用d f f d 算法对物体进行变形的基本步骤为： ( 1 ) 设计控制点集合。如前所述，控制点集合就是一些点的集合，不需要在控 制点集合上定义特殊的拓扑结构。控制点可以在待变形物体的表面上，也 可以在物体的内部或外部，但是物体需要变形的部分必须在控制点集合的 凸包内。 ( 2 ) 计算s i b s o n 局部坐标。对物体上的每个点确定其s i b s o n 邻居集合，利用 公式( 2 1 ) 计算s i b s o n 局部坐标。 ( 3 ) 移动控制点。可以使用任意方法移动一个或一组控制点。 ( 4 ) 对物体进行变形。根据公式( 2 3 ) 和( 2 4 ) 可以计算出物体一f = = 点的位移和新 位置，从而引起物体变形。 m o c c o z e t 等将d f f d 算法首先应用在人手建模与动画中，后来，m i r a l a b 的l e e 等将d f f d 自由变形算法应用在人脸模型校准中 l e e 9 8 。l e e 等在一般人脸模型上 选择一些特征点作为控制点，根据需要移动一个或一组控制点到新的位置，使用 d f f d 算法可以计算出网格点的移动，这样一般人脸模型就变成了特定人脸模型。 在使用d f f d 算法校准人脸模型时，需要注意如下两点 l e e 9 8 ： ( 1 ) d f f d 算法只能对控制点集合的凸包内的物体进行变形。虽然人脸模型的大 多数网格点在特征点集合的凸包内，但确实有一些点在凸包之外。为了能 对整个人脸模型进行控制，需要增加一些辅助点形成新的控制点集合，使 得新的控制点集合的凸包包含人脸模型的所有点。一种简单有效的方法是 在人脸模型的外围加一个长方体包围盒，即增加8 个辅助点。当然也有其 他的方式增加辅助点，只要新的控制点集合的凸包能够包含人脸模型的所 有点。 ( 2 ) 由于人脸的复杂性，表示人脸的模型一般都有几千个点和面，精细的模型 甚至有一万以上的点和面。因此计算所有网格点的s i b s o n 坐标是非常耗时 的。一种改进的方法是利用s i b s o n 坐标的局部性 f a r i n 9 0 。设网格点p 的s i b s o n 邻居集合为p 。，所有特征点集合为p ，p n 是p 的子集，根据p 。+ 辅 助点计算p 的s i b s o n 坐标与根据p + 辅助点计算p 的s i b s o n 坐标，结果是 相同的。但i p 。i 要远远小于p l ，所以前者可以节省很多的时间。试验的结 果也证实了这一点，对一个由1 4 3 4 个点，1 5 9 6 个多边形构成的模型，硬件 环境是p i i l 5 5 0 ，6 4 mr a m ，原始的算法需要1 0 分钟左右，改进的算法只需 2 - 3 分钟。但是这离实时性的要求还相差很远，进一步的考虑是利用s i b s o n 坐标的不变性，即在对物体进行变形时，s i b s o n 坐标保持不变。因此对一 个人脸模型只需要计算一次s i b s o n 坐标，将得到的坐标值与模型数据保存 在一起。以后除非更换模型，否则不需要重新计算s i b s o n 坐标，这样就可 以做到实时的变形。 ( 3 ) 在使用d f f d 算法校准人脸模型的过程中，发现移动某些控制点会产生一 些不希望的变形，特别是在眼部和嘴部尤为明显。比如移动下嘴唇的控制 2 摧十d f f d 人脸模型校准 点时，上嘴唇的网格点也随之移动。这是因为d f f d 算法只考虑了点的空间 位置，没有考虑点的连接关系。一种解决方案是采用双控制点技术，如2 6 所示，2 6 ( a ) 和( b ) 表示原来的情况，当控制点向下移动时，会产生不希 望的变形，2 6 ( c ) 和( d ) 采用了双控制点技术。新加的控制点起了一个隔 离的作用，将原来控制点的影响区域限制在某个范围之内，新控制点可以 对用户是透明的，不必移动。 舳嘭 甲4 图2 6 双控制点技术 因为d f f d 算法使用的是s i b s o n 局部坐标系，所以物体的变形也具有局部性， 也就是说，移动一个控制点只会对它的影响区域内的那些点产生影响。当需要动 态地、交互地调整控制点的位薰并不断观察变形效果时，可以采用d f f d 算法。 2 5 人脸模型校准的实现 基于以上对d i r i c h l e t 自由变形的分析，实验室已采用d i r i c h l e t 自由变形来 实现人脸模型校准 王奎武0 1 。具体如下： 图2 7 在人脸模型上定义特征点 如图2 7 所示，根据m p e g 4 m p e g 关于人脸特征点的定义，在一般人脸模型 上选择相应的网格点作为特征点，这些特征点就是d f f d 自由变形算法的控制点。 然后在人脸模型的外围加了一个长方体包围盒，即增加了8 个辅助点，以保证人 脸模型的所有网格点都包含在控制点集合的凸包内；同时还在人脸模型的眼部和 嘴部采用了双控制点技术。接着，求控制点集合对应的v o r o n o i 图和d e l a u n a y 图， 刘于每一个网格点，记录该网格点的s i b s o n 邻居以及对应的s i b s o n 局部坐标； 对于每一个控制点，记录该控制点的影响区域，即受该控制点影响的网格点，将 9 2 耩于d f f d 人脸模型梭准 这些信息保存为新数据文件。由于求v o r o n o i 图和d e l a u n a y 图不是在人脸校准与 动画中需要研究的主要问题，并且对于一种人脸模型只要求执行一次即可。对执 行速度没有什么特别要求，因此使用了从i n t e r n e t 下载的q h u l l 软件包来求 v o r o n o i 图和d e l a u n a y 图，该软件包可以从明尼苏达大学几何中心的网站下载 ( j ! ! ；z 型! ! g ! ! 婴：女业：! 业丛i ! i ! ! 臼啦! ! ) 。下面是关于q h u l l 的简单介绍： “q h u l l 计算凸包、d e l a u n a y 三角剖分、v o r o n o i 图、最远位置d e l a u n a y 三角 剖分和最远位置v o r o n o i 图，可以运行在二维、三维、四维、甚至更高维空间中。 它实现了计算凸包的q u i c k h u l l 算法，处理了浮点数运算的舍入误差，可以计算 凸包的体积和表面积。” ( a ) 正面照片( b ) 侧面照片( c ) 校准后的模型 图2 8 用正面和侧面照片校准模型 如在三维空间构造一个假想的包围一般人脸模型的最小长方体，该长方体称为 包围体。如图2 8 所示，特定人的正面照片表示x y 平面，侧面照片表示z y 平 面，将人脸模型的包围体分别投影到正面和侧面照片上，得到正面和侧面照片上 的红色长方形。分别在正面和侧面照片上调整红色长方形的位置和大小，使其包 围正面和侧面人脸，这样就使得三维空间的包围体与正面和侧面照片上的红色长 方形对齐并调整了包围体的大小，使得包围体的宽度、高度和厚度之间的比例符 合特定人的比例。再将人脸模型的部分或全部特征点分别投影到正面和侧面照片 上，在正面和侧面照片上动态地、交互地调整特征点的位置，使其与特定人的脸 部特征相匹配。使用d f f d 算法可以由控制点的移动计算出网格点的移动，这样一 般人脸模型就变成了特定人脸模型。图2 8 ( a ) 和( b ) 中的红色点表示右眼处的四 个特征点( 3 8 、3 1 0 、3 1 2 、3 1 4 ) ，图2 8 ( c ) 表示校准后的人脸模型。 2 基于d f f d 人脸模型校准 2 6 分析 d f f ) 算法作为个强大有效的变形工具，在计算机造型领域具有广阔的应用 前景。它的主要特色在于： 1 对控制点的位置不作限制。 2 不需要明确定义一个控制盒( 相对于f f d ) 。 3 局部变形算法。根据d e l a u n a y 图，每个控制点只有局部的影响区域。 4 特别适合于控制点是不规则分布的情况。 5 在人脸校准的过程中，能够进行实时的校准。 通过上面的实验，同时我们也发现基于d f f d 自由变形算法的人脸模型校准有 以下两个缺点： 1 ) 人的视觉对人脸的一些突出部位，如：鼻子、跟睛、嘴部周围以及人脸轮 廓特别敏感。这些部位校准的精确程度，决定了可视性效果。在使用d f f d 自由变 形算法对人脸进行校准时，特征点的选取被限制在m p e g - 4 定义的8 4 个特征点， 然后通过特征点的移动来带动网格点的移动。这样就使得在人脸边界轮廓线的处 理不是很流畅，同时一些局部区域的校准不够精确和平滑，以致于虚拟人脸的可 视性效果不是很好( 如图3