（计算机软件与理论专业论文）动漫人物面部表情变形控制技术的研究及应用.pdf

动漫人物面部表情变形控制技术的研究及应用 摘要 本论文以已有的c v i d r a w 中的图形变形交互技术为基础，深入系统地研究 了一系列更加灵活和可控的动漫人物表情变化方法。在传统的动漫人物图形图 像中融入变形和约束信息，使其能够在用户的交互控制下灵活地变形，以便高 效地获得各种动漫人物表情式样，形成新型的更加灵活的动漫图形动画制作模 式。全文从以下三个部分进行了研究：第一部分是人脸表情变化过程中面部特 征点运动规则的获取：第二部分是有约束的动漫人脸可变形模型的构造；第三 部分是对无约束的动漫人脸造型的网格驱动变形技术。三部分相辅相成，共同 构成了一套完备的动漫人物面部表情变形的控制方案。其中主要的研究工作和 观点有： ( 1 ) 采用一种基于m p e g - 4 和p c a 的动漫人脸变形规则的获取技术。在获 取动漫人脸的变形规则时，对从真实人脸表情变化图象序列中提取的兼容 m p e g 一4 人脸动画标准的特征点的位置信息，使用p c a 技术获得特征点变化的主 成分，并在此基础上求解量化的情绪参数与主成分的系数向量之间的逼近函数， 再采用插值方法计算出特定情绪参数下的人脸特征点位置。 ( 2 ) 构造了一个基于c v i d r a w 的动漫人脸可变形模型，并在实际卡通动 漫人物制作过程中得到应用。提出了一种基于关键点位置矩阵的可变形图形的 生成方法，有效地解决了可变形图形的最优控制点的自动化获取问题。再结合 人脸表情变形规则，将变形规则嵌入到动漫人脸模型中去，使得用户只需简单 地交互控制人脸图形上的控制点，便可方便地得到各种卡通动漫人脸表情式样。 ( 3 ) 提出一种基于特征点运动分解和散乱灰度数据插值的网格图象变形算 法，以改进传统的两步扫描网格变形法在扫描顺序和变形效果上的不足。将原 始图象的象素坐标一次性映射至目标图象，再对映射后得到的散乱坐标点的灰 度进行散乱数据插值以恢复目标图象的象素信息。为了提高灰度映射的效率， 引入一种基于d e l a u n a y 三角剖分的三角线性插值的方法来处理大规模散乱数 据的插值。为把基于特征点变化的动漫人物面部表情生成方法应用到更为一般 的、无约束的动漫造型上提供了可行的底层支持工具。 大量的实例制作和在c v i d r a w 中的应用情况表明本文所提出的动漫人物面 部表情变形的控制方案具有较强的技术性和实用性。 关键词：动漫人物表情变形表情动画图象变形智能可视定制平台c v i d r a w r e s e a r c ha n d a p p l i c a t i o no ff a c i a le x p r e s s i o n d e f o r m a t i o nc o n t r o lt e c h n o l o g yf o rc a r t o o n c h a r a c t e r a bs t r a c t t h i sd i s s e r t a t i o nm a k e sas e r i e so fi n d e p t hs t u d i e so nf a c i a le x p r e s s i o n d e f o r m a t i o nc o n t r o lt e c h n o l o g yo fc a r t o o nc h a r a c t e r , w h i c hi so nt h eb a s i so f i n t e r a c t i v eg r a p h i c sd e f o r m a t i o nt e c h n i q u ei nc v i d r a w p u tt h ed e f o r m a t i o na n d r e s t r i c t i o ni n f o r m a t i o ni n t ot h et r a d i t i o n a r yc a r t o o nc h a r a c t e rp i c t u r e s ot h a tt h e c a r t o o nc h a r a c t e rc a nd e f o r m a t i o nf l e x i b l yb yu s e r sc o n t r o l ，a n du s e rw i l lg e t v a r i o u sf a c i a le x p r e s s i o no fc a r t o o nc h a r a c t e re f n c i e n t l y i nt h i sw a y , am o r e f l e x i b l ep r o d u c em o d eo fc a r t o o nc h a r a c t e ra n i m a t i o ni sb u i l tu p t h ef u l lt e x t d i v i d ei n t o3p a r t s t h ef i r s tp a r ti sg e tt h em o v e m e n tr e g u l a t i o no ff a c i a lf e a t u r e p o i n t t h es e c o n dp a r ti sc r e a t ead e f o r m a b l ec a r t o o nf a c i a lm o d e lw h i c hi si n c l u d e r e s t r i c t i o ni n f o r m a t i o n t h et h i r dp a r ti sp r e s e n tam e s hi m a g ed i s t o r t i o nm e t h o do f c a r t o o nf a c ew h i c hi sw i t h o u tr e s t r i c t i o ni n f o r m a t i o n t h e s e3p a r t sc o m p l e m e n t e a c ho t h e r ，t h e y c o n s t i t u t et h ef a c i a le x p r e s s i o nd e f o r m a t i o nc o n t r o lt e c h n o l o g y o fc a r t o o nc h a r a c t e rt o g e t h e r t h ek e yw o r ka n dp o i n to ft h i sa r t i e l ei sa sf o l l o w s ： ( 1 ) p r e s e n tan e wt e c h n i q u ef o ro b t a i n m p e g 4a n dp c a g e n e r a t en e wc a r t o o n d i s t o r t i o nr u l eo fc a r t o o nf a c eb a s e do n c h a r a c t e rf a c i a le x p r e s s i o nb yl o c a t i o n d a t ao ff a c i a lf e a t u r ep o i n t u s et h ep c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) t e c h n i q u e o nl o c a t i o nd a t ao ff e a t u r ep o i n t t h e nal i n e a rr e l a t i o n s h i pb e t w e e nq u a n t i t a t i v e e m o t i o np a r a m e t e ra n dc o e f f i c i e n tv e c t o ro fp r i n c i p a lc o m p o n e n tw a sc o n s t r u c t e d n e wl o c a t i o nd a t ao ff a c i a lf e a t u r e p o i n tw e r eg e n e r a t e db yu s i n g l i n e a r i n t e r p o l a t i o na n de x t r a p o l a t i o nm e t h o d ( 2 ) ad e f o r m a b l ec a r t o o nf a c i a lm o d e lb a s e do nc v i d r a ww a sc o n s t r u c t e d ，a n d i th a sb e e na p p l i e dt oc r e a t ec a r t o o nc h a r a c t e r an e wm e t h o dt h a te s t a b l i s h b y k e yp o i n tm a t r i xw a sp r e s e n t e d s ot h a tw ec a ng e tt h eo p t i m a lc o n t r o lp o i n to f t h e d e f o r m a b l eg r a p h i c sa u t o m a t i c a l l y t h e nc o m b i n ei tw i t ht h ed i s t o r t i o nr u l eo f c a r t o o nf a c e e m b e dt h ed i s t o r t i o nr u l ei n t oc a r t o o nf a c i a lm o d e l ，i nt h a tc a s e ，u s e r c a ng e tv a r i o u sf a c i a le x p r e s s i o no fc a r t o o nc h a r a c t e rb yd r a gt h ec o n t r o lp o i n t c o n v e n i e n t l y ( 3 ) am e s hi m a g ed i s t o r t i o na l g o r i t h mb a s e do nm o v e m e n td e c o m p o s i t i o no f f e a t u r ep o i n ta n ds c a t t e r e dd a t ai n t e r p o l a t i o nw a sp r e s e n t e d t oi m p r o v et h e p e r f o r m a n c eo ft r a d i t i o n a l2 p a s ss c a nm e s hd i s t o r t i o nm e t h o d 。w h i c hh a s d i s a d v a n t a g eo ns c a ns e q u e n c ea n de f f e c to fd i s t o r t i o n p i x e lw a sm a p p e df r o m o r i g i n a li m a g et ot a r g e ti m a g e t h e nu s es c a t t e r e dd a t ai n t e r p o l a t i o na l g o r i t h mt o t h es c a t t e r e dp o i n ti no r d e rt or e s u m et h ep i x e li n f o r m a t i o no ft a r g e ti m a g e t o i m p r o v et h ee f f i c i e n c yo fg r e ym a p p i n g ，w ep r e s e n t e dat r i a n g l el i n e a ri n t e r p o l a t i o n b a s e do nd e l a u n a yt r i a n g u l a t i o nt od e a lw i t hl a r g e - s c a l es c a t t e r e dd a t a l a r g en u m b e r so fp r o d u c ei n s t a n c ea n da p p l i c a t i o ni nc v i d r a ws h o wt h a tt h e f a c i a le x p r e s s i o nd e f o r m a t i o nc o n t r o lt e c h n o l o g yo fc a r t o o nc h a r a c t e rw h i c hw a s p r e s e n t e di nt h i sa r t i c l eh a sag r e a tt e c h n i c a l i t ya n dp r a c t i c a b i l i t y k e y w o r d s ：c a r t o o nc h a r a c t e r ；e x p r e s s i o nd e f o r m a t i o n ；f a c i a la n i m a t i o n ；i m a g e d i s t o r t i o n ；c v i d r a w 插图清单 图3 1m p e g - 4 的中性表情及f a p u 1 3 图3 2m p e g - 4 的人脸特征点1 3 图3 3 动浸入脸模型及其特征点1 4 图3 4 一个嘴部表情变化图像序列1 6 图3 5c v i d r a w 系统中对特征点的标注1 6 图3 - 6 表情变化过程中特征点位置的变化1 7 图3 7 系数向量元素与情绪值之间的近似线性关系1 8 图3 8 在m a t l a b 中实现的交互程序1 9 图3 - 9 调整p c a 空间后嘴部特征点变化结果2 0 图4 1 图形关键点的位置矩阵的定义2 2 图4 2 带拐弯的可变形箭头2 8 图4 3 拥有4 个关键点的眉毛图形对象3 2 图4 4 左边眉毛图形对象的创建3 3 图4 5 右边眉毛图形对象的添加。3 3 图4 。6 下唇图形对象的添加3 4 图4 7 上唇图形对象的添加3 4 图4 8 鼻子图形对象的添加3 4 图4 9 单控制点的表情控制效果3 5 图4 1 0 单控制点控制实现动漫人脸表情变化3 5 图4 1l 二维动漫人脸的三层结构3 6 图4 12 毛发层图形构件3 6 图4 1 3 图层构件匹配3 7 图4 1 4 对可变形模型层的色彩填充与效果渲染3 7 图4 1 5 三层叠加后形成的可变形的动漫人脸3 7 图5 1 变形规则映射到网格上再驱动图形图像变形3 9 图5 2 网格变形的原始图象。4 l 图5 3 按先水平后竖直的顺序变形4 l 图5 4 按先竖直后水平的顺序变形4 l 图5 5 特征点的运动分解4 2 图5 6 逐行( 列) 扫描确定网格边界4 3 图5 7 象素的坐标映射4 4 图5 8 散乱数据点的v o r o n o i 图4 5 图5 - 9 散乱数据点的d e l a u n a y 三角剖分4 6 图5 1 0 散乱灰度数据的插值4 7 图5 1 1 本文的网格变形算法的变形效果4 7 图5 1 2 基于散乱数据插值的网格图象的变形方法在人脸表情变形方面的应用4 8 表格清单 表3 1 本文采用的动漫人脸模型与m p e g - 4 人脸模型的参数对应1 4 表3 29 种情绪值下1 8 个标志点的水平方向位置信息1 7 表3 3 各主成分的特征值、贡献率和累积贡献率1 7 表3 - 4 前2 个主成分的系数与情绪值之间的映射关系1 8 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得 金目里工业太堂 或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示谢意。 学位论文作者签字：徘签字日期：2w 脾石月n 学位论文版权使用授权书 本学位论文作者完全了解金胆王些太堂 有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借 阅。本人授权金目巴王些太堂 可以将学位论文的全部或部分论文内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名： 铷躲伽以 签字日期丕色脾月j 1 签字日期：识弼年占月多日 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编： 致谢 值此论文完成之际，首先要衷心感谢我的导师欧阳一鸣副教授。是欧阳老 师将我引入科学研究的殿堂，使我在科学研究上有了明确的目标和正确的态度。 欧阳老师严谨的治学态度、踏实诚恳的工作作风、敏锐的学术洞察力、开阔的 学术思维，深深地影响和感染了我。他对我的指导和帮助，将使我终身受益l 要特别感谢中山大学的杜晓荣教授给予我的悉心指导，并提供了c v i d r a w 系统平台作为本项科研工作的软件支持。杜老师对我的研究方向和论文内容提 出了诸多宝贵的指导性意见，并多次对我的毕业论文进行了悉心的审阅和修改。 从我的科研的选题、定题到论文的修改以及最终完成，每一步都离不开杜老师 的敦敦教诲和热心指导。杜老师饱满的智慧、渊博的专业知识、严谨的治学态 度将对我以后的工作、学习和生活产生深远的影响。从他一丝不苟的工作中， 从他平易近人的交谈中，我感受到了他扎实的知识、对工作的责任感和积极乐 观的生活态度。在我的硕士论文中，倾注了杜老师大量的心血，在此谨向杜老 师表示真挚的谢意! 感谢梁华国教授和系统结构研究室的全体师生。他们的工作态度，工作方 法，特别是他们的工作激情，深深地感染了我。他们的指导和帮助，将使我收 益匪浅。还要感谢计算机学院的胡学钢教授、王浩教授等老师在我研究生课程 的学习期间给予我的多方面支持和帮助。 感谢中山大学的余世杰教授、沈玉棵教授、史斌宁教授以及周毅人、郑寿 森、祁新梅等老师在我实习期间给予我的生活上的关怀和学术上的帮助。同时 感谢中山大学电力电子及控制技术研究所的全体师生给我的帮助和支持。 感谢我的父母，在我成长的道路上一刻也没离开过他们的殷切希望和默默 支持。多年来他们对我的鼓励、理解和支持使我能以最佳状态投入到学习和研 究工作之中。在此向他们表示衷心地感谢! 弹指一挥间，三年的研究生学习生活即将结束。回想过去，感慨万千。众 多的老师、同学、朋友和亲人对我的关怀，使我难以忘怀。这些关怀是我人生 不可多得的财富，更是我学习、工作和生活的永恒动力! 张永 2 0 0 8 年4 月 第一章导论 1 1 本论文研究的背景、目的 传统的动漫人物动画制作是一个复杂的过程，漫画家往往需要投入大 量重复的工作去绘制相同动漫人物角色的不同表情造型。计算机图形图像 处理中的变形技术为动漫人物的表情绘制提供了新思路，对原始动漫造型 运用变形技术使其变化为具有新的面部表情的动漫人物造型，能大幅提高 卡通动漫作品的创作效率，减少漫画家在创作过程中的大量重复绘制工 作。 目前动漫创作行业所使用的创作方式除传统的手绘创作方式外，使用 的主流计算机辅助设计软件有国外的c o r e l d r a w 、a d o b ei l l u s t r a t o r 、 m a e r o m e d i af l a s h 和a d o b ep h o t o s h o p 等软件。虽然这些主流的图形图像辅 助设计软件提供了丰富且良好的变形工具，但终究因其在变形过程中并未 考虑到人脸的结构特征，而只将人脸造型作为普通的图像图形来处理，故 当其用于动漫人物的面部表情变形处理时的开发效率并不高，而且要求用 户有一定的艺术感悟能力才能把握住变形的尺度。国内外也有极少数的软 件在变形处理时考虑了人脸的结构，其中相对较为知名的有台湾甲尚科技 开发的人脸表情修改软件f a c ef i l t e rs t u d i o 1 1 ，该软件为用户提供了4 个可 交互标定的人脸特征点( 分别在左右眉梢和左右嘴角上) ，再以软件内置 的变形规则对整幅图像进行变形处理，形成新表情图象。用户无需关心底 层的变形规则，只需指定高层的表情参数，因而更加适合普通的用户使用。 但因其能接受的人脸特征点的数量过少，所以用户难以控制精确的面部局 部变形，这在一定程度上限制了其应用范围。另外该软件只适合处理一小 类经过相当标准化处理后的真实人脸，而应用于标准化程度不高的夸张的 动漫人脸的变形时其效果并不理想。 鉴于此，本论文的研究在已有的基于c v i d r a w 的可视对象变形及交互 控制技术1 2 j p j 的研究基础上，深入系统地研究了一系列更加灵活和方便的 动漫人物表情造型的生成方法。在传统的动漫人物图形图像中嵌入变形和 约束信息，使其能够在用户的交互控制下灵活方便地变形，并能依托变形 网格来驱动造型更为一般的非约束的动漫人物图形图像变形，以便高效地 获得各种动漫人物的表情式样，形成新型的更加简单灵活的动漫人物图形 动画的创作模式。该项研究可大幅简化复杂的动漫人物表情的创作过程。 未来的卡通动漫作品将向更为细腻，更加逼真，更具可控性的高品质 动画趋势上发展。将逐步形成一系列创作更加高效，操作更加简易，用户 更加普及的卡通动漫辅助设计的创作平台和核心技术，以辅助卡通动漫设 1 计人员和企业更加高效地创作出卡通动漫作品。因而该项课题的研究对推 动卡通动漫产业的持续、健康、稳步发展，尤其是促进国内动漫软件开发 企业逐步形成一套具有自主知识产权的动画处理核心技术等方面具有一 定的现实意义。目前该项目的技术研究与国内知名的软件企业珠海金山软 件公司的技术合作正在持续进行中，并得到珠海市产学研项目：图形动画 可视定制的关键技术及其应用( p c 2 0 0 6 1 0 0 6 ) 和基于c v i d r a w 的卡通人 物聪明变形的关键技术及应用( p c 2 0 0 7 2 0 16 ) 的支持。 1 2 本论文的研究内容及拟解决的关键问题 1 2 1 研究内容 ( 1 ) 动漫人物面部表情变形规则的自动生成技术； 采用基于m p e g 4 和p c a 的动漫人脸变形规则的获取技术。在获取 动漫人脸的变形规则时，对从真实人脸表情变化图象序列中提取的兼容 m p e g 4 人脸动画标准的特征点的位置信息，使用p c a 技术获得特征点变 化的主成分，并在此基础上求解量化的情绪参数与主成分的系数向量之间 的逼近函数，再采用插值方法计算出特定情绪参数下的人脸特征点位置。 该方法是一种较为实用的特征点运动规则的获取方案。这部分的研究内容 体现在本文的第三章。 ( 2 ) 动漫人脸可变形模型的构造方法； 构造一个基于c v l d r a w 的动漫人脸可变形模型。首先采用一种基于关 键点位置矩阵的可变形图形的生成方法，有效地解决了可变形图形的最优 控制点的自动化获取问题。再结合之前所研究获取的人脸表情变形规则， 将变形规则嵌入到动漫人脸模型中去，使得用户只需简单地交互控制人脸 图形上的控制点，便可方便地得到各种动漫人脸表情式样。并将动漫人脸 可变形模型与分层匹配与遮罩的方法相结合，以达到更加良好和实用的的 应用效果。这部分的研究内容体现在本文的第四章。 ( 3 ) 对无约束信息的动漫入脸造型的网格驱动变形技术。 用网格图象变形方法成功地解决了把前文所研究的基于特征点变化 的动漫人物面部表情生成方法应用到更为一般的、无约束的动漫造型上的 问题。在已有的动漫人脸造型上经过简单的标定来关联不同大小的网格， 将特征点的运动映射到网格边界上，再以网格变形挤压实际的图形图像的 变形。采用一种基于特征点运动分解和散乱灰度数据插值的网格图象变形 算法，以改进传统的两步扫描网格变形法在扫描顺序和变形效果上的不 足。将原始图象的象素坐标一次性映射至目标图象，再对映射后得到的散乱 坐标点的灰度进行散乱数据插值以恢复目标图象的象素信息。为了提高灰 2 度映射的效率，引入一种基于d c l a u n a y 三角剖分的三角线性插值的方法来 处理大规模散乱数据的插值。最后通过实例证明该算法的变形效果较两步 扫描网格变形法有显著提高。这为把本文所研究的基于特征点变化的动漫 人物面部表情生成方法应用到更为一般的、无约束的动漫造型上提供了可 行的底层工具。这部分的研究内容体现在本文的第五章。 1 2 2 本论文拟解决的关键问题 目前在国内开发的c v i d r a w 软件专业版中既可建立基于聪明图形的 规则变形【4 1 ( 类似于m i c r o s o f tv i s i o 中的可变箭头等) ，也可定制动漫人脸 部件以及组装而成的复杂图形，能通过控制点变化获得不同人物表情以及 各种人物姿态的图形。本项目所研究的动漫人物面部表情变形的控制技术 以c v i d r a w 中图形变形交互技术为前期研究基础，拟解决的问题为： ( 1 ) 动漫人物面部特征点运动规则的自动获取技术； 采用兼容m e p g 4 人脸动画标准【5 】的特征点定义方式。运用p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ，主成分分析) 1 6 】方法找出描述表情变化过 程中特征点变化的主成分，并在此基础上求解量化的情绪参数与主成分的 系数向量之间的逼近函数，再采用插值方法计算出特定情绪参数下的人脸 特征点位置。以此自动化地求解人脸特征点的运动规则。 ( 2 ) 可变形的动漫人脸模型的构造； 采用可变图形的交互定制技术，将之前获得的变形时所需的约束及规 则信息嵌入动漫人脸模型中。在c v i d r a w 的可视对象变形及交互控制技术 的研究基础上，构造一个动漫人脸可变形模型，用户可通过改变模型上的 控制点的位置来改变动漫人脸的表情式样。为了更加高效和自动化地得到 可变形图形的最优控制点，采用一种基于关键点位置矩阵的可变形图形的 生成方法。对位移矩阵进行解析和运算，得到满足变形需求的最佳控制点。 ( 3 ) 基于网格变形的人脸特征点的图像局部变形算法。 采用网格图象变形方法来解决把之前所研究的基于特征点变化的动 漫人物面部表情生成方法应用到更为一般的、无约束的动漫造型上的问 题。在已有的动漫人脸造型上经过简单的标定来关联不同大小的网格，将 特征点的运动映射到网格边界上，再以网格变形挤压实际的图形图像的变 形。为了改变传统的两步扫描网格变形法在变形结果的细节上与扫描顺序 有关的瑕疵1 7 】，采用一种基于特征点运动分解和散乱灰度数据插值的网格 图象变形算法。将原始图象的象素坐标一次性映射至目标图象，再对映射后 得到的散乱坐标点的灰度进行散乱数据插值以恢复目标图象的象素信息。 为了提高灰度映射的效率，引入一种基于d c l a u n a y 三角剖分的三角线性插 3 值的方法来处理大规模散乱数据的插值。最终得到了良好的变形效果。 1 3 本论文的篇章结构 全文围绕动漫人物面部表情变形的控制技术展开讨论，分别从以下三 个部分进行了研究( 对应正文的第三、四、五章) g 第一部分是入脸表情 变化过程中面部特征点运动规则的获取；第二部分是有约束的动漫人脸可 变形模型的构造；第三部分是对无约束的动漫人脸造型的网格驱动变形技 术。其中第一部分的规则获取是基础。第二部分是将第一部分的应用落脚 点放到有约束的动漫人脸模型上，为有约束的动漫人脸模型提供了交互式 的变形控制方法。第三部分是将第一部分的应用落脚点放到无约束的动漫 人脸模型上，为无约束的动漫人脸模型提供了底层的变形工具。这三部分 一脉贯通，相辅相成，共同构成了一套完备的动漫人物面部表情变形的控 制方案。 文章从第二章开始综述了常见的虚拟人物面部表情生成及动画技术， 常见的基于特征点的图象变形技术。在正式介绍本文的算法及系统之前， 先对本文所涉及的研究领域作简要的概述。 第三章采用一种基于m p e g 4 和p c a 的动漫人脸变形规则的获取技 术。在获取动漫人脸的变形规则时，对从真实人脸表情变化图象序列中提 取的兼容m p e g 4 人脸动画标准的特征点的位置信息，使用p c a 技术获 得特征点变化的主成分，并在此基础上求解量化的情绪参数与主成分的系 数向量之间的逼近函数，再采用插值方法计算出特定情绪参数下的人脸特 征点位置。是一种较为实用的特征点位置获取方法。 第四章构造了一个基于c v l d r a w 的动漫人脸可变形模型，并在实际动 漫人物制作过程中得到应用。采用了一种基于关键点位置矩阵的可变形图 形的生成方法，有效地解决了可变形图形的最优控制点的自动化获取问 题。再结合本文第三章所研究的人脸表情变形规则，将变形规则嵌入到动 漫入脸模型中去，使得用户只需简单地交互控制人脸图形上的控制点，便 可方便地得到各种动漫人脸表情式样。 第五章采用一种基于特征点运动分解和散乱灰度数据插值的网格图 象变形算法，以改进传统的两步扫描网格变形法在扫描顺序和变形效果上 的不足。将原始图象的象素坐标一次性映射至目标图象，再对映射后得到的 散乱坐标点的灰度进行散乱数据插值以恢复目标图象的象素信息。为了提 高灰度映射的效率，引入一种基于d e l a u n a y 三角剖分的三角线性插值的方 法来处理大规模散乱数据的插值。最后通过实例证明该算法的变形效果较 两步扫描网格变形法有显著提高。为把基于特征点变化的动漫人物面部表 情生成方法应用到更为一般的、无约束的动漫造型上提供了可行的底层工 4 具。 第六章是全文总结部分，并对未来的研究工作作出展望。 5 第二章国内外相关领域的理论研究及应用产品分析 2 1 引言 为了对计算机动画技术有个基本的认识，本章解释计算机动画中实现 人物表情变形的常用方法及其相关技术。综述了常见的虚拟人物面部表情 生成及动画技术，常见的基于特征点的图象变形技术。在正式介绍本文的 算法及系统之前，先对本文所涉及的研究领域作简要的综述。 2 2 相关理论的研究现状 2 2 1 常见的虚拟人物面部表情生成及动画技术 运动学建模、解动力学方程和编辑处理运动捕获数据是虚拟人面部表 情生成技术的三种主要研究方向【8 】。 运动学模型是依照生物机械学的数据信息而建立，模型由每一个在指 定的关键时间点上的关键值( 如肌肉的拉伸、挤压值) 组成。这种方法效 率高，但无法保证表情变化的真实性，导致了过渡机械的变化效果【9 1 。 解动力学方程是寻找一个合适的力和力矩来提供给肌肉和骨骼，使其 运动达到理想的位置。这种方法能产生出流畅的变化效果，但容易出现依 照人类肌肉和骨骼的生理极限所不可及的情况，因而必须人为地对最终产 生的表情变化结果进行检查和修正【1 0 】，【1 1 】。 编辑处理运动捕获数据是期望通过统计学原理找到运动变化的一般 规律，再由此规律指导新变化的完成。t r o j e c l 2 l 提出一种方法，使用3 d 运 动捕获数据，将每个动作序列分解进一个p c a 空间，产生一个低维空间， 在这个空间中定义判别函数，用于计算对于一个给定的参数( 如：男人 女人，高兴悲伤，放松紧张) 的相应系数。g l a r d o n 1 3 】等人利用p c a 算 法处理3 d 运动捕获数据，提出一种虚拟人行走引擎。 当前主流的虚拟人物面部表情动画生成方法有：插值方法【1 4 l 、参数化 方法i l5 j 和行为驱动的动画方法【l 引。 ( 1 ) 插值方法是实现传统的关键帧动画的方法，需要定义一定数量的 关键帧。线性插值是传统的关键帧动画常采用的插值技术。虚拟人脸表情 动画可以采用对关键帧的多种插值方式。一个新的人脸表情不但可以通过 插值两个关键位置生成，而且可以对四个关键位置插值生成( 双线性插值) ， 插值八个关键帧( - - 线性插值) 来生成。插值算法可以是线性的、非线性的 或混合的。插值方法的优点是迅速，操作直观，只需定义少数关键帧，即 6 可产生一段基本脸部动画。插值方法的缺点是它不能在大范围内创建各种 真实感的人脸形状。 ( 2 ) 参数化方法是采用一组参数来建模和驱动动画，常用的主要有直 接参数化模型1 1 7 】和自由变形( f r e e f o r md e f o r m a t i o n ，f f d ) 1 8 1 等： 直接参数化模型是包含一组控制参数，允许用户通过改变参数的 值，直接、方便地创建各种脸的形状和表情。参数值可以通过对脸的直接 观察来确定。该模型有两类参数。表情参数控制表情，形状参数则用于控 制个性人脸的形状。如，眼睛区域的表情参数包括：眼帘睁开、瞳孔的大小、 眉毛的形状和位置等。形状参数包括入脸的大小、形状、入脸各个特征的 相对位置以及控制人脸全局特征参数，如高度、宽度比等。直接参数化模 型基于经验描述虚拟的人脸特征，不考虑各个区域之间的低层次的连接关 系。 自由变形( f f d ) 方法是通过控制点的操作对具有一定体积的物体进 行变形。概括地说，就是将一个可变形物体嵌于一个由控制点组成的假想 的三维网格的弹性控制盒中。当挤压，弯曲和扭曲控制盒时，内嵌的物体 也相应地被变形。f f d 能对变形多种曲面体素实施变形操作，包括多边形、 二次曲面、参数化模型、隐式曲面和实体模型。最初等引入的是基于三变 量b 样条的变形工具l a t t i c e ，其形状为平行六面体，这在一定程度上限制 了它的运用。传统的f f d 应用于人脸动画时的缺点在于：因为它是一个全 局的变形方法，不能考虑细节、局部的、复杂的变形【l9 1 。使用f f d 的一 个主要优点是；将变形控制的形式从对实际的曲面的描述转移到不再依赖 于曲面本身的形式。 参数化技术克服了简单插值的一些限制，它通过选取一组独立的参数 值来定义人脸表情。它的优点在于：不像插值技术，参数化方法不仅能对 特殊的人脸形状给予精确的控制，而且经少量的计算，参数的组合就能提 供较大范围的脸部表情。参数化的缺点是：当两个参数施加于同一顶点产 生表情冲突时，很难有一个系统的方法去裁决。此时，参数化方法常常会 产生不自然的表情，对此，人们曾试图加以改进【20 1 ，如只在特定的脸部区 域使用参数化方法，但这样又会在脸部表面形成运动边界；参数化方法的 另一个限制是：基于人脸网格的拓扑选择参数集，完全参数化是不可能的。 而且，由于设置参数值时涉及大量的手工调节，可能导致不真实的运动或 形状。 ( 3 ) 行为驱动的动画是利用从演员的运动获取的数据控制虚拟人物。 该方法利用跟踪设备或计算机视觉的技术捕获数据。行为驱动的动画利用 从表演者的实际运动数据控制计算机生成的虚拟人物。用于运动捕捉的设 备包括：运动跟踪器、操纵杆、激光扫描仪和数字手套等。数据的获取也可 7 以来自于视频摄像头t 2 1 】。为了鲁棒地跟踪人脸特征，可以直接在演员脸上 施加一些标识点【2 2 1 。摄取下人脸的行为后。标识点的位置可以通过图像分 析离线地抽取。该方法一般要求脸的图像在限定的环境下摄取。 p a r k e 2 3 1 在1 9 7 4 年实现了第一个参数化的人脸模型，通过模型参数的 变化可以产生基本的人脸动画。之后一段时间出现的人脸物理肌肉模型可 以比较真实地模拟人脸的运动变化。2 0 世纪9 0 年代以后真实感人脸建模 是人脸建模研究的主要目标。1 9 9 5 年，l e e 等人提出基于人脸解剖学的多 层人脸物理模型【2 们。该模型将人脸模型分为皮肤层( 包括表皮、真皮、皮 下组织和筋膜) 、肌肉层和骨骼层，计算影响人脸运动中的多种力，然后计 算人脸模型在力作用下的运动。该模型的运动真实感较好，但计算量较大， 难以满足人脸动画实时性的要求。另外，该多层结构模型的构造也较为困 难，除了皮肤层可以由仪器扫描得到之外，其余各层的建立以及物理参数 的设定都需要较多的工作。g u e n t e r 等人提出的方法【2 5 】是实时跟踪真实人 脸上预先设定好的采样点的运动，然后对整个入脸模型进行线性插值模拟 人脸的运动。p i g h i n 等人提出的方法【2 6 j 是从照片上提取人脸上若干的特征 点，然后根据特征点的对应关系在人脸各种表情之间对整个人脸模型做三 维变形( 3 dm o r p h i n g ) 。随后出现了基于一般几何模型变形的人脸建模方 法，该方法使用不同角度的人脸图像提取人脸特征点，并恢复这些点的位 置，然后修改一般人脸模型。该方法是到目前为止研究和应用最为广泛的 方法。 国内研究者也在这方面做了一定的工作，其中浙江大学实现了基于实 拍图像的人脸真实感重建【2 7 】【2 8 1 。中国科学院计算所实现了基于图像的三 维人脸编辑生成系统。虽然基于一般模型的三维人脸建模方法可产生真实 感的人脸，但建模过程需要大量的入机交互工作。此外，目前众多的 “f a c e t o f a c e 系统都是基于面部模拟和处理进行的。面部结构、表情变 化的共性是最重要的约束信息，姿态、表情的变化是面部处理最困难的因 素。现有的研究多是围绕着利用、分析、解决这些问题进行的【2 9 1 、【3 0 1 【3 。 国内外学者在虚拟人脸自动生成这一领域已经做了很多研究，主要集 中在从照片或先验模型识别人物部件，之后，再通过合成方式或组装的方 式构造人物形象，能通过变换进行基于人物图像的相似变形( 如将人脸变胖 等) ，也能从表情库中替换已有的表情，从而获得不同的人物形态，这种合成 或组合的方式，即将存储在图库中的各种人脸图形构件从图库中调出来， 组合成一个虚拟人面部式样，如要改变这个表情，就必须从图库中调出相 应的表情部件，组合成一个新的入脸表情。人物的原型是固定的，性别、 年龄段、表情和动作的类型变化有限，也不够智能。为了实用，必须制作 大量的表情库。 8 2 2 2 常见的基于特征点的图象变形技术概述 d f f d ( d i r i c h l ef r e ef o r md e f o r m a t i o n ，直接操纵的自由变形) 【3 2 1 、 径向基函数法f 3 3 】和两步扫描网格变形法【3 4 】是当前应用最为广泛的几种以 特征点的运动带动图象变形的变形算法。这类图象变形算法的基本思想是 通过改变图象上有限的控制点，使图象的其余部分在某种规则约束下自动 调整，且改变控制点的位置仅影响该点附近的一个小区域内的图象。 d f f d 算法所使用局部坐标系，变形具有局部性。控制点对其周围的 小块区域施加影响，其范围在二维情况下由控制点集的d e l a u n a y 图根据 d e l a u n a y 圆规则确定。但是d f f d 算法中只考虑了点的位置，而没有利用点 与点之间的连接关系( 边) ，因而在某些场合的变形效果上( 尤其是在人脸 图象的复杂表情变形的处理上) 仍不尽如人意【3 5 1 。 基于径向基函数的图象变形方法在图象上指定一系列特征点，再利用 径向基函数决定每个象素的偏移量。径向基函数常用对称高斯函数【3 6 1 ，一 般关键点对周围象素偏移量的影响随它们距离的增大而减弱，关键点的影 响范围也限定在一个圆形区域内。该方法控制简单，但不易产生精确的局部 变形。 网格变形方法的思想是通过网格的方式来描述图象块的形状。网格是 定义在图象区域上的一组横向和纵向直线段构成的闭合网状结构，图象被 网格分解成多个的图象块，每个网格控制图象中的一个图象块。网格的交 错点为控制点，改变其位置可控制网格的形状变化，进而控制了图象相应 区域的图象块形状的变化，从而达到控制整幅图象形状变化的目的。这种 变形控制方式较为直观，易于操纵，整体和局部变形都较为方便。本文的 大量前期研究表明，这类网格图象变形方法在处理基于特征点变化的动漫 人脸表情变形时有良好的应用效果。 2 2 相关软件产品的性能分析 当今的动画制作行业，正在从传统的动画制作方法向计算机制作动画 的方向发展。大量动画软件的出现，为动漫行业的高速发展提供了有力的 工具。当前动漫软件大体可分为网页动画软件和商业动画软件，前者用于 网页动画的制作，如：m