（计算机应用技术专业论文）基于视频的人脸卡通动画研究及实现.pdf

浙江人学颁i j 学位论文 摘要 摘要 基于视频流的卡通动画制作方法是新兴的一种计算机辅助卡通动画方法，也 是当前计算机辅助卡通动画研究的热点问题之一。这种方法旨在运用计算机视觉 和图像处理等技术，获取视频中的色彩、纹理和运动等信息，来完成卡通动画的 制作。 本文借鉴基于视频流的卡通动画制作方法来探索基于视频流的人脸卡通动 画制作方法。为此，本文设计了一个基于视频的人脸卡通动画系统，旨在通过跟 踪并提取出人脸视频中的表情特征，来驱动特定的卡通人脸模型，实现表情的卡 通化模拟。 为了实现上述目标，我们将人脸的运动情况分为三种情况：1 ) 无表情的头 部转动运动；2 ) 正面人脸表情运动；3 ) 表情变化的同时伴有头部的转动。针对 第一种情况，主要要解决的问题是人脸朝向的估计，为此本文研究了人脸姿态估 计方法，并实现了基于摄像机定标的人脸姿态恢复；对于第二、三种情况，主要 的问题是如何利用源视频的表情特征驱动卡通人脸模型，这主要涉及到脸部动画 参数的获取，因为从源视频中获取的运动数据不能直接应用到卡通模型上。为此 本文主要研究了脸部动画参数获取的方法，并实现了正面人脸表情动画模拟。 为了得到源视频的脸部运动运动数据，人脸特征检测和人脸特征跟踪是两个 先决条件。为此，本文主要研究了基于主动形状模型( a c t i v es h a p em o d e l ) 的 人脸特征检测算法和基于l u c a s k a n a d e 的光流跟踪算法。然后基于特征跟踪得到 的脸部运动参数驱动卡通模型实现人脸表情动画的模拟。 关键词：卡通动画，人脸动画，人脸特征检测，人脸特征跟踪，表情动画，人 脸姿态估计，a s m ，光流跟踪 浙江人学硕， ：学位论文a b s t r a c t a b s t r a c t v i d e o b a s e dc a r t o o na n i m a t i o ni so n eo ft h en e w l ya p p r o a c h e si nc o m p u t e ra i d e d c a r t o o na n i m a t i o n a n di ti sa l s oo n eo ft h ef o c u sa r e a si nr e c e n t l yr e s e a r c h e s i nt h i s a p p r o a c h ，c o m p u t e rv i s i o nt e c h n i q u e sa n di m a g ep r o c e s s i n gt e c h n i q u e sa r eu s e dt og e t u s e f u li n f o r m a t i o n ，s u c ha sc o l o r , p r o f i l e ，m o t i o na n ds oo n ，f r o mt h es o u r c ev i d e oa n d t h e na c c o m p l i s ht h ec a r t o o na n i m a t i o nw i t ht h i si n f o r m a t i o n i nt h i sp a p e r , w ew i l lu s et h e a p p r o a c ho fv i d e o - b a s e dc a r t o o na n i m a t i o nt o a s s i s t e df a c i a lc a r t o o na n i m a t i o n i no u rp a p e r , w ed e s i g n e das y s t e mo ff a c i a lc a r t o o n a n i m a t i o nb a s e do nv i d e o ，a n dw ew a n tt ou s et h ed a t aw h i c he x t r a c t e df r o mt h ev i d e o t od r i v et h ec a r t o o nm o d e l ，s ow ec a ns i m u l a t et h ee x p r e s s i o nf r o mt h es o u r c ev i d e o i no r d e rt oa c h i e v et h ea b o v eg o a l ，w ed i v i d et h ef a c i a la n i m a t i o ni n t ot h r e e s i t u a t i o n s ：1 ) n o n e x p r e s s i o nw h e nf a c er o t a t e s ；2 ) n o n - r o t a t i o nw h e ne x p r e s s i o n c h a n g e s ；3 ) e x p r e s s i o nc h a n g e sw i t hh e a dr o t a t i o n i nv i e w o ft h ef i r s tk i n do fs i t u a t i o n ， t h em o s ti m p o r t a n tp r o b l e mi st oe s t i m a t et h eo r i e n t a t i o no ft h ef a c e s oi nt h i sp a p e r , w es t u d i e dt h ea p p r o a c ho fh o wt oe s t i m a t et h ep o s eo ff a c e ，a n da l s ow eu s e da n a p p r o a c hw h i c hb a s e do nc a m e r ac a l i b r a t i o nt oe s t i m a t et h eo r i e n t a t i o no ff a c e r e g a r d i n gs e c o n d ，t h i r dk i n do fs i t u a t i o n ，t h ed i f f i c u l t yi sh o wt ou s et h ee x p r e s s i o n d a t aw h i c ha r ee x t r a c t e df r o mo r i g i n a lv i d e ot od r i v et h ec a r t o o nm o d e l t h i si n v o l v e s h o wt oo b t a i nt h ef a c i a la n i m a t i o np a r a m e t e r s i no u rp a p e r , w em a i n l yi n t r o d u c e dt h e s o l u t i o na b o u th o wt oe x t r a c ta n i m a t i o np a r a m e t e r s i no r d e rt oo b t a i nt h ef a c i a lm o t i o nd a t af r o mt h es o u r c ev i d e o ，w em u s tf i r s tc a r r y o u tt h ed e t e c t i o na n dt r a c k i n go ff a c i a lf e a t u r e f o rt h i sr e a s o n ，w es t u d yt h ea l g o r i t h m o ff a c i a lf e a t u r ed e t e c t i o nw h i c hb a s e do na c t i v es h a p em o d e l ，a n dt h el u c a s k a n a d e o p t i c a lf l o wt r a c k i n ga l g o r i t h m a n df i n a l l y , w ec a nu s et h em o t i o nd a t at od r i v et h e c a r t o o nm o d e lt oa c c o m p l i s ht h ef a c i a lc a r t o o na n i m a t i o n k e y w o r d s ： c a r t o o na n i m a t i o n ，f a c i a la n i m a t i o n ，f a c i a lf e a t u r ed e t e c t i o n ，f a c i a l f e a t u r et r a c k i n g ，e x p r e s s i o na n i m a t i o n ，a s m ，o p t i c a lf l o wt r a c k i n g 浙江人学硕十学位论文图目录 图目录 图1 1 系统输入输出示意图3 图2 1 基于卡通运动捕捉的动画生成示例9 图2 2 由表演驱动的脸部表情动画生成实例1 1 图3 1 系统流程图1 4 图4 1 形状表示示意图1 6 图4 2 形状对齐迭代过程1 7 图4 3 特征点法向方向定义示意18 图4 4 局部纹理搜索示意1 9 图4 5a s m 迭代搜索过程2 0 图4 6 金字塔图像中各层的局部纹理模型2 1 图4 7 图像序列金字塔模型2 4 图4 8 图像金字塔生成示意2 5 图4 9 人脸特征检测结果2 8 图4 1 0 脸部朝向特征点跟踪结果2 8 图4 1 1 加入人脸结构约束前后的效果对比图3 0 图4 1 2 表情特征点跟踪结果图3 0 图5 1 摄像机透视投影模型3 5 图5 2 基于特征点的人脸几何模型3 7 图5 3 两个实验人脸模型3 8 图5 4 人脸在各个方向上的关键帧3 9 图5 5 填色后的卡通人脸4 0 图5 6 脸部朝向驱动2 5 d 卡通人脸结果4 1 图5 7 脸部朝向驱动3 d 模型结果一4 2 图6 1 待跟踪的1 7 个特征点示意4 3 图6 2 人脸表情动画流程一4 5 图6 32 5 d 卡通模型表情模拟结果51 图6 43 d 卡通模型表情模拟结果5 2 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝姿盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：黔俘殇签铀期： 椰年 学位论文版权使用授权书 6 雨 | 日 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘堂可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者虢船爷裆 一期：万年唧日 导师签名： 一rp 胪矿卜 签字同期：己g 年6 月( 。日 浙江人学硕 j 学位论文第l 章绪论 第1 章绪论 1 1 研究背景 卡通动画已成为一种大众文化产品，并具有巨大的文化影响力和市场商机。 在国家“十一五”文化发展规划纲要中，动漫产业被列为重点发展的文化产业 之一。 传统卡通动画的制作主要采用基于关键帧的方法：即主动画师确定人物造型， 并绘制出表现卡通人物感情和性格的关键帧；助理动画师根据关键帧和时间间 隔，将所有动作连贯起来，详细地绘出所有的中间帧【l 】。该制作过程枯燥繁琐， 制作效率很低，而且要求动画师具有丰富的实际生活体验和高超的绘画技巧。这 就使得制作一部高质量的卡通动画需要很高的花费和成本，大大限制了卡通动画 产业的发展。随着计算机图形学相关技术的发展，卡通动画制作过程中的许多任 务和工作都可以由计算机辅助完成，但是计算机在卡通动画设计和制作过程中所 起的作用仍然非常有限，大多数时候只是扮演“辅助支持”的配角【2 l 。 为改变这一状况，研究人员近年来纷纷努力开拓和探索新的卡通动画绘制技 法、生成方法和制作途径。人们在探索新型的计算机辅助卡通动画制作方法时， 很自然地想到了利用视频流生成具有特定风格的卡通动画创作方法。因为视频流 不仅提供了色彩、纹理和轮廓等视觉信息，也提供了这些视觉信息随时问变化的 情况，这样可以为卡通动画的制作，在各个维度上( 包括时间维) 提供相应的参 考信息。因此，近几年来，基于视频流的卡通动画制作方法被研究人员广泛关注， 它综合运用计算机视觉、模式识别、图像处理和图形绘制等相关技术，基于视频 流输入的信息，来探索全新的、由表演直接驱动的卡通动画制作流程。 若能借鉴基于视频流的卡通动画创作方法来探索基于视频流的人脸。暑通动画 创作方法，将为计算机辅助人脸卡通动丽提供一种全新的制作途径。本文的研究 问题就是基于这一思想提出的，这种方法通过让系统自动从视频流中提取人脸的 特征以及运动元素，一边指导用户生成近似三维人脸模型，并结合先验脸部模型 浙江大学硕t 学位论义第l 章绪论 夸张人脸特征，生成具有夸张效果的卡通人脸模型，一边自动从视频流中提取脸 部运动数据，然后驱动卡通人脸模型生成与源视频对应的具有卡通效果的人脸动 画。 若此项技术成熟，不仅可以为计算机辅助人脸卡通动画提供新的制作途径， 加速卡通动画制作流程。同时也可以大大降低制作卡通动画的门槛，让普通的用 户也可以亲手制作一段生动有趣的卡通动画，例如通过让用户自己模拟出一段搞 笑的人脸动画视频，然后将跟踪得到的运动数据驱动一个自己心仪的卡通人脸 ( 比如花木兰) ，实现人脸表情动画的卡通化模拟。 1 2 研究问题概述 本文拟借鉴基于视频流的卡通动画制作方法来探索基于视频流的人脸卡通动 画生成方法。本文的目标是研究如何从用户输入的一段人脸动画视频中，跟踪并 提取出视频中每一帧的人脸表情特征数据以及人脸位姿数据，然后利用跟踪得到 的运动数据驱动特定的卡通人物模型，最终得到与源视频对应的一段卡通人脸动 画。 为此，本文将设计一个基于视频的人脸卡通动画系统( v i d e ob a s e df a c i a l a n i m a t i o ns y s t e m ，简称v b f a ) 。该系统的最终目标是接受用户的输入，并输出 符合用户需求的卡通数据。图1 1 形象地示意了系统的输入输出情况。 输入：一段真实的人脸动画视频，其中要求视频第一帧图像为正面人脸中 性表情图像； 输出：一段对应的人脸卡通动画，要求能够模拟出原始视频中的所有表情 变化以及人脸朝向的变化。 2 浙江人学硕i 学f 逆论文第1 章绪论 图1 1 系统输入输出示意图 根据视频序列自动地恢复出人脸的位姿和表情变化是一个比较困难的问题。 而通常人脸的运动被表示为人脸的三维刚性运动( 头部转动) 加上局部的非刚性 运动( 表情变化) 。基于这一点，我们可以将该问题予以分解，以便于问题的分 析和解决。我们可以将其分解成以下三个规模较小的问题，然后循序解决这些问 题，最终达到整个问题的解决。 1 ) 问题：头部转动，但无表情变化。这种情况f 只涉及到头部的刚性 运动变化，因此只需要考虑恢复人脸的朝向变化( 刚性运动参数) ，然 后自动绘制出卡通人物相应朝向的面面，即可实现头部转动动画； 2 )l 、u 题：头部位姿保持f i 变ff 呆持i 卜面朝向) ，但表情发 ：变化。这时 n j j 题转化为只需在f 面视，c 7 i | 、i 恢复出每帧i 1 人脸的表情特征f 非刚性 1 浙江人学硕士学位论文第l 章绪论 运动参数) ，然后利用这些特征数据驱动正面视点下的卡通人物，实现 正面人脸表情动画； 3 )问题三：头部转动的同时，表情也在发生变化。在这种情况下，不仅 需要恢复人脸的姿态，同时还要得到人脸的表情特征，而这一问题就 是系统追求的最终目标。该问题的难点就是如何在头部不断转动的情 况下准确地跟踪脸部表情特征以及如何利用跟踪得到的特定姿态下人 脸的二维运动数据驱动卡通模型。问题一和问题二的解决将为该问题 的解决奠定技术基础。 为了实现上述目标，本文主要针对以下几个问题进行了研究： 1 人脸特征检测。 在执行人脸特征跟踪之前，需要确定被跟踪的特征点。为此对于一段视频序 列，我们首先需要在其初始帧图像上确定人脸特征的位置，包括脸部轮廓、眼睛， 嘴巴，鼻子，眉毛等基本特征。接着才能利用特征跟踪算法跟踪这些特征点。为 此，本文研究了基于主动形状模型( a c t i v es h a p em o d e l ，简称a s m ) 1 5 , 6 1 的人脸 特征检测算法。 2 人脸特征跟踪。 为了完成视频驱动的人脸卡通动画，需要在原始视频中跟踪人脸的多个特征 从而得到原始视频中人脸的运动数据。为此，本文主要研究了基于l u c a s k a n a d e 的金字塔迭代光流跟踪算法【7 1 ，实现了人脸特征的跟踪。根据以上对子问题的描 述，针对不同的子问题，需要跟踪不同的特征点，从而分别完成各个子问题的目 标。对于光流跟踪中可能出现的跟踪漂移或跟踪丢失的情况，本文在系统实现中 加入了人脸结构约束，实现了较为准确的脸部特征跟踪。 3 脸部朝向跟踪与提取。 对于问题一和问题三，我们需要估计视频序列在每帧中人脸的朝向。因此， 4 浙江人学硕i 等! 位论义第l 章绪论 本文研究了人脸姿态估计算法，提出利用跟踪5 个特征点( 两个内眼角点，两个 嘴角点以及鼻尖) 来实现人脸姿态的估计，从而实现脸部朝向的跟踪与提取。 4 表情动作数据的驱动。 由于卡通人物的表情主要是通过眉毛、眼睛和嘴巴的变形来刻画的，为此， 本文通过跟踪眉毛、眼睛和嘴巴区域等1 7 个特征点获得源视频的2 d 特征运动数 据，来驱动特定的卡通模型实现表情的模拟。从源视频中跟踪得到的特征运动数 据不能直接驱动卡通模型，为此，本文主要研究了脸部动画参数的获取方法，包 括2 d 运动参数到3 d 动画参数的转换，动作数据的比例变化以及非特征点的运动 参数的获取等。利用输入的这些少量的控制点的数据，可以有效的驱动卡通模型 生成嘴部、眼睛和眉毛区域的表情动画。 解决问题三是我们的最终目标，而问题一和问题二的解决将为问题三的解决 奠定坚实的基础。本文，我们将逐步分析以上三个问题，提出了各个问题中所要 解决的关键问题以及采用的技术思路和相关算法。在系统实现上，我们实现了问 题一和问题二，即实现了头部转动动画的模拟以及正面人脸表情动画的模拟。对 于问题三，我们还未具体实现，但是提出了具体的技术思路和算法，系统实现将 在后续工作中完成。 1 3 论文组织 本文后续的章节是这样安排的： 1 ) 第二章：介绍了目前计算机辅助卡通动画技术的相关研究工作； 2 ) 第三章：介绍了基于视频的人脸卡通动画的总体的解决方案及流程； 3 ) 第四章：主要介绍了系统所采用人脸特征检测和跟踪算法及其算法实现 效果； 4 ) 第 章： 效果； 5 ) 第六章： 主要介绍了系统所采用的人脸朝向估计的算法，并给出了实现 介绍了系统中实现驱动卡通人脸表情动画的技术思路及关键算 浙江人学硕i ：学位论文第1 章绪论 法，并给出了实现效果 6 ) 第七章：总结和展望。对全文工作进行了总结，并对未来的工作方向提 出了展望。 6 浙江大学硕l ：学位论义第2 章计算机辅助卡通动画技术综述 2 1 引言 第2 章计算机辅助卡通动画技术综述 计算机辅助卡通动画制作的研究始于上世纪6 0 年代引。早期的研究工作一般 基于传统的卡通动画制作流程，主要研究辅助着色与中间帧辅助生成的方法【3 1 。 在自动半自动着色方面，最近的工作有基于范例学习的黑白卡通动画自动着色方 法【9 】，利用基于特征的区域匹配算法的二维卡通动画自动着色方法等；在中间 帧的生成方面，有基于笔画相关和匹配的中间帧轮廓线生成方法【1 1 】，基于视频纹 理和动作图的中间帧自动生成方法【1 2 1 等。 近年来，为充分发挥计算机在卡通动画设计和制作中的应用，研究人员纷纷 努力突破传统的制作流程，引入其它辅助信息和计算技术，开拓和探索新的卡通 动画生成方法和制作途径【2 1 。研究的领域涉及计算机辅助设计、非真实感图形学、 计算机动画、图像视频处理等多个学科分支。从研究方法和技术路线上，可把这 些有别于传统卡通动画设计和制作流程的新方法大致上归纳为以下几类： 1 ) 结合动画人物的几何信息辅助卡通动画制作的方法； 2 ) 具有卡通风格的非真实感动画的绘制技法模拟； 3 ) 基于素材重用的卡通动画制作方法； 4 ) 基于视频流来辅助制作卡通动画。 2 2 基于几何信息的方法 在卡通动画制作中，艺术家能把手工绘制的人物变成栩栩如生的动画，其中 一个很重要的因素是其心中的几何描述，但基于关键帧的卡通动画制作方法是缺 少这些信息的。因而一些学者提出将动画人物的几何信息引入卡通动画的制作 中，从而解决传统流程中缺乏几何要素的问题。目前的研究工作可归纳为以下两 种技术路线： 浙江大学硕f ：学位论文第2 章计算机辅助卡通动i 田i 技术综述 1 ) 通过构建近似三维模型表达卡通人物的三维几何信息的方法 d if o i c e 等【”1 提出了通过自由笔画建立近似三维模型，并辅助轮廓线的绘制 和着色，产生保持体积和时序一致性的动画。p e t r o v i c 等【1 4 】利用类似的方法，构 建了三维模型并指导卡通投影的生成。c h e n 等【1 5 】则提出利用输入多个视点的矢 量图建立一组一致的三维模型，支持复杂效果的绘制，并保持用户指定的特征及 一致性。 2 ) 基于视点相关几何的卡通动画方法 为更好地展现卡通动画的艺术化绘制特点，一些学者补充了视点相关几何信 息，以体现卡通动画中与观察视点相关的变形特征。r a d e m a c h e r 等【1 6 1 首先提出了 视点相关几何学，利用基本三维模型和关键变形信息模拟了与视点相关的特定变 形，并综合多个视点来生成指定视点下的卡通动画。“等【1 7 1 模拟卡通动画中的运 动风格，通过骨架编辑以及网格模型的变形生成j x l 格化的动画。c h a u d h u r i 等【1 8 】 在此基础上利用了计算机视觉技术，实现了骨架和网格的自动变形。 2 3 基于非真实感绘制的方法 近年来，非真实感绘制逐渐成为了计算机图形学界的研究热点之一。该领域 的很多研究人员提出了自动模仿卡通艺术风格，特别是线绘图风格的绘制技术， 形成了两大类线绘图绘制方法： 1 ) 基于三维对象空间的线绘图绘制方法 h e r t z m a n n 等【旧1 利用了网格模型中顶点法向与相应视线方向，通过插值方法 找到轮廓线上的点，将其连接得到平滑的轮廓线；d e c a r l o 等2 0 1 分析了隐含的线 绘图关于视点变换的运动，并提供了改善动态笔划质量的技术；j e o n g 等【2 1 1 将输 入网格转化成多分辨率表示形式，控制通过线绘图描绘的形状特征大小。 2 ) 基于二维图像空间的线绘图绘制方法 n o r t h r u p 等1 2 2 1 在图像空间中对边进行处理，使得轮廓线成为更连续的路径， 浙江人学f i ! i i 。学化论文第2 争计算机辅助号通动i 哂技术综述 创建类似自然画刷的笔画；y u a n 等【23 】利用二维图像的规则性，借助大量的图像处 理工具辅助实现线绘图的绘制。另外很多线绘图绘制方法中都提出了不同视点之 问的一致性问题，例如k a l n i n s 等【2 4 l 提出把笔画进行参数化，并使用优化方法对 帧与帧之问的笔画参数进行调整，使得局部变化最小，从而绘制出保持时序一致 性的线绘图。除了线绘图的绘制以外，很多研究者还研究了具有卡通风格着色技 术 2 5 , 2 6 27 1 ，并应用于很多动画与游戏中。 2 4 基于素材重用的方法 传统的二维卡通动画已经积累了大量的素材，如果能把它们应用到新动画的 制作中，将会大大提高制作效率。该类方法所涉及的关键技术可分为基于视觉内 容的重用和基于运动内容的重用。 1 ) 基于运动内容的重用 b r e g l e r 等【2 8 】提出了一种“卡通运动的捕捉和重新映射”的技术，它可以从传 统的动画序列中跟踪和捕捉卡通人物的运动，把运动风格转化为一种标准的表达 形式，并能够像动作捕捉技术那样应用到新的卡通动画的制作中去，如图2 1 所 示。也有人【2 9 】提取出各个线绘笔画的运动向量，然后建立目标和源动画序列之问 的关联性，并重新作用到新动画的绘制中。d ej u a n 等从视频纹理得到启发， 提出了卡通纹理的方法，町以利用现有的二维卡通数据库生成新的动画序列。 蓼 i 冬i2 1 琏丁k 通运动捕捉的动画生成示例 秘 默 缸 浙江大学硕t ：学位论文第2 章计算机辅助卡通动画技术综述 2 5 基于视频流的方法 视频流不仅提供了物体的色彩、纹理和轮廓等视觉信息，也提供了这些信息 随时间的变化情况，因而能为卡通动画的制作在各个维度上( 包括时间维) 提供 相应的参考信息。基于视频流的技术可归纳为以下三种主要方法： 1 ) 直接卡通绘制 按照基于图像空间的艺术化绘制算法，把视频流的内容自动转换为具有卡通 风格的画面序列。h e r t s m a n 等【3 3 】把静态图像的艺术化处理方法扩展到了视频流， 将画面自动按照画家的绘画方式直接进行绘制。h a y s 等则提出了使用频率域分层 次构造艺术化绘制效果的方法，估计每一个笔画的运动矢量，并根据光流场的变 化来生成相关的笔耐3 4 1 。w i n n e m o l l e r 等则提出了将视频进行卡通风格抽象的实 时方法【3 5 l 。 2 ) 视频信息提取绘制 提取出视频流中有用的参考信息，用于卡通动画的制作。a g a r w a l a 提出和实 现了一个半自动的运动轮廓线跟踪和绘制的系统，可以自动模拟用户的绘制技法 进行绘制【3 6 1 。w a n g 等综合运用计算机视觉和图像处理技术对源视频中的信息进 行分析处理，最后应用各种绘制风格产生卡通动画序n t 3 7 1 。 3 ) 表情驱动绘制 由表演驱动的表情动画方法。它利用一些绘画图片，以及有限的参数来描述 特定的人脸及表情，然后通过视频信息记录和跟踪表演者的脸部表情的变化，并 映射到这些脸部照片中，从而驱动这些特定脸部模型，形成一个动画序列。b u c k 等在2 0 0 0 年就首先实现了一个由表演驱动的具有手工绘制效果的实时卡通绘画 的系统3 8 1 ，它把各种表情和手绘的关键帧的脸部标注相结合，通过一个多源的 m o r p h i n g 算法，来实时产生模拟用户表情的动画。b l a n z 等提出了一种从视频 流中提取人的嘴部运动和面部表情，在三维人脸模型的指导下，驱动图像中的面 部表情方法，如图2 2 所示。 1 0 浙江人学顾f j 学位论义第2 曝计算机辅助卡通动l 田j 技术综述 醴醴圈国 日网圈网 幽2 2 由表演驱动的脸部表情动画生成实例 上述的研究现状表明，突破传统制作流程，引入第三维的辅助信息( 如近似 的i 维几何信息、视频流、情感等) 与计算技术，开拓和探索新的卡通动画创作 方法，是当前计算机辅助卡通动画研究的主流方向之一。但是目前的这些研究工 作尚未形成系统性的研究成果，还有不少的问题有待深入研究。例如，在引入几 何信息的方法中，如何建立卡通人物的近似三维几何模型并避免僵硬的绘制效 果；在基于视频流的卡通动画中，如何保持绘制画面的时序一致性等。 浙江人学硕i ：学位论文 第3 章基于视频的人脸卡通动画方法概述 第3 章基于视频的人脸卡通动画方法概述 3 1 问题描述 本文，我们主要要解决的问题是实现基于视频的人脸卡通动画，即对于用户 输入的一段真实的人脸动画视频，通过恢复该视频中每一帧人脸的表情特征及姿 态特征，来驱动一个特定的卡通人物形象，从而产生一段对应的卡通人脸动画。 如何准确快速地获得源视频中的脸部运动参数，以及如何利用已获得的运动数据 驱动已有模型是解决本文提出的问题的关键所在。本章，我们将从总体上介绍本 文所采用的技术思路及系统流程。 3 2 系统的总体技术思路 人体是一个连接型的非刚性系统，生物力学研究表明人体的不同部分往往表 现为不同的运动方式。人的躯干部分往往表现为较为平滑的平移和旋转运动，我 们称之为刚性变换。而人的四肢部分和关节处则更多的表现为非刚性变换。而人 脸的运动通常也遵循人体的这种运动方式，通常人脸的运动被表示为人脸的三维 刚性运动( 旋转或平移) 加上局部的非刚性运动( 皮肤的变形) 。因此，在处理 人脸动画时，我们将其分为人头转动动画( 刚性变换) 和人脸表情动画( 非刚性 变换) 。 对于头部转动动画，要解决的关键问题是如何得到视频序歹l j 中每一帧图像中 人脸的姿态，即求出当前帧下人脸的旋转矩阵和平移矩阵。当仅仅考虑人脸的转 动运动时，其实人脸的转动相当于摄像机的转动，因此人脸姿态估计问题转化为 求虚拟摄像机的外参矩阵的问题。因此，本文结合摄像机定标算法和特征跟踪技 术( 跟踪包括两个内眼角点、两个嘴角点和一个鼻尖点等5 个特征点) ，得到每 帧图像下人脸的刚性变换矩阵，然后利用该矩阵变换卡通人脸模型，得到卡通人 脸相应朝向的画面，从而完成驱动卡通人脸的转动运动。 对于人脸的表情动画，其关键问题是如何利用特征跟踪得到的运动数据驱动 浙江人学硕十学位论文第3 章綦寸二视频的人脸卡通动l 田方法概述 特定的卡通人物形象。在跟踪阶段获取的运动参数不能直接应用于卡通人脸模型 上【删，这是因为：1 ) 从源目标获取的运动向量和目标对象大小、比例不一致；2 ) 跟踪得到的运动向量是2 d 表示的；3 ) 卡通人脸模型通常包含更多的顶点数据。 因此，对于跟踪阶段得到的运动参数( m o t i o np a r a m e t e r s ，m p s ) ，需要执行一系 列的变换，包括2 d 运动参数到3 d 动画参数的转换，动画参数的比例变换等。再 利用得到的与卡通模型相匹配的动画参数驱动卡通模型，生成卡通人脸动画 3 3 系统流程及关键技术 根据以上的描述，结合系统的需求，整个系统主要包括以下四个模块： 人脸特征检测：完成脸部特征的初始定位。对于用户输入的视频，我们要 求该视频的第一帧图像必须包含正面朝向的含有中性表情的人脸，然后利 用基于a s m 的人脸特征检测算法完成脸部特征点的自动提取，本文提取 了包括脸部轮廓、五官部位的关键点等6 8 个特征点。 人脸特征跟踪：完成脸部特征的实时跟踪。首先判断跟踪类型，对于人脸 朝向跟踪和人脸表情跟踪，我们采取跟踪不同特征点的策略来满足其需 求。若为人脸朝向跟踪，则跟踪包括两个内眼角点，两个嘴角点，鼻尖点 等5 个特征点；反之，则跟踪眉毛、眼睛、嘴巴等几个表情丰富区域的 1 7 个特征点来获得表情特征的运动信息和人脸朝向的信息。 特征数据处理：对特征跟踪阶段跟踪得到的运动数据作一系列的处理，从 而得到能直接驱动专通人脸模型的动画参数。对于人脸朝向跟踪，需要利 用跟踪得到的运动数据估计人脸的朝向，因此需要利用跟踪得到的5 个特 征点的位置，结合摄像机定标的思想，恢复出视频序列中每一帧人脸的姿 态；对于人脸表情跟踪，需要对跟踪得到的运动向量作一些变换( 包括比 例变换，二维运动数据到三维动画数据的变换) ，最终获得与卡通模型相 匹配的动画参数。 驱动卡通人脸模型：利用特征处理后得到的动阑参数( 包括头部朝向变 化量以及表情动正面参数) 驱动卡通模型，得到人脸卡通动画。 浙江人学硕i j 学位论义第3 章基于视频的人脸卡通动画方法概述 整个系统的流程如图3 1 所示。 图3 1 系统流程图 整个流程中用到的几个关键算法将在接下来的几章中详细描述，其中第四章 主要描述了基于a s m 的人脸特征定位算法及人脸特征跟踪算法，第五章主要描 述人脸朝向估计算法；第六章描述了表情特征驱动卡通模型的相关方法。 1 4 浙江人学硕 学位论义第4 章脸部特征检测与跟踪 第4 章脸部特征检测与跟踪 4 1 问题描述 视频序列中的人脸运动参数是通过人脸特征检测和人脸特征跟踪获取的，本 章将主要介绍本文所采用的脸部特征检测及跟踪方法。人脸特征检测的主要任务 是在输入的视频序列的初始帧中提取出人脸的区域及其特征的具体位置、大小等 信息，作为后续帧跟踪的初始状态。特征定位的准确与否直接关系到后续工作的 可靠性，在本文中则关系到人脸特征跟踪的可靠性，进而影响到人脸姿态估计和 表情特征运动参数的获取。本章第- d , 节将会详细描述本系统采用的基于主动形 状模型( a c t i v es h a p em o d e l ，a s m ) 的人脸特征检测算澍5 6 】。人脸特征跟踪是 指在输入的图像序列中确定某个特征点的运动轨迹及大小变化的过程，从而确定 特征点的运动向量。当人脸特征检测正确之后，就可以进入特征跟踪阶段。在本 系统中，我们采用了基于l u c a s k a n a d e 的金字塔迭代光流跟踪算法f 7 1 ，该算法将 会在第三小节详细描述，同时将给出跟踪效果。 4 2 基于主动形状模型的人脸特征检测 主动形状模型( a c t i v es h a p em o d e l ，a s m ) 算法是一种基于统计模型的方法， 它最初是由t e c o o t e s t 5 】等人在1 9 9 5 年提出的。该算法通过对训练样本集中的图 像手动或自动地标定特征点，然后对其所描述的形状实例进行统计，建立起反应 目标形状变换规律的形状统计模型和反映灰度分布规律的局部纹理模型。在搜索 过程中，首先利用局部纹理模型匹配得到各个特征点的最佳位置，经过相似变换 对齐后，利用统计形状模型对其做一个整体上的形状约束，然后再次用局部纹理 模型进行匹配，如此循环迭代，直至得到最佳的匹配结果，从而完成特征点的定 位。因此，a s m 建模包括局部纹理建模和形状建模。接下来我们将介绍形状建模 过程和局部纹理建模过程，h 时将给出a s m 目标搜索过程。 浙江人学硕i j 学位论文第4 章脸部特征检测与跟踪 4 2 1a s m 形状建模 在a s m 中，形状被表示为一组二维特征点集( x ，y a i = l ，l ，并且表示为一 个2 n x l 的向量x = ( 五，x 。，y ，y 。) 7 。图4 1 中我们给出一个简单的形状表示 法。在图中，左边是一个带有三个特征点的形状，中问的图给出了三个特征点的 二维坐标，而右边则是形状的向量表示。 暑p 三o ；i ：n t 警l 兰x ；王0 001020季；量 o o ；磊 p o i n t 2 3 o 二磊 p o i n t 3 2 o i 磊 图4 1 形状表示示意图 在形状建模之前，需要执行两个预操作。首先对训练集中每幅图像手动或自 动或半自动地标定出形状，然后对标定好的形状执行对齐操作。 形状特征点的选取存在一定的原则，首先特征点应是那些用肉眼可以直接分 辨出的特征点。如眼角、鼻尖等明显特征；二是这些关键点之间应尽量均匀分布， 以保证形状的完整性。三是特征点分布的密度要适当，密度过大将增加标定工作 量及算法的效率，密度过小将无法达到理想效果。根据以上原则，对于人脸图像， 我们可以在眼角、嘴角、以及眼睛、鼻子、嘴巴、眉毛和脸部轮廓边界上选取一 定分布较均匀的特征点。 由于训练样本中的人脸存在大小、位置、方向上的差异，若直接进行统计建 模是不合理的，不能反映其形状变化的规律。因此，为了使不同样本中的特征点 间具有可比性，需要将所有标定好的图像进行对齐( 归+ 化) 处理。所谓的对齐 就是在不改变标定图像形状的前提下，通过旋转、缩放、平移操作使两幅图像的 形状尽量接近。为了对齐训练样本中的图像，其基本思想足最小化所有形状到平 均形状的距离，即最小化公式( 4 1 ) ： d = lx ，一工1 2 1 6 公式( 4 1 ) 2 b 、 一 、 ， 、 ， ， r ， 分 浙江入学硕士学位论义第4 章脸部特征柃测0 跟踪 而这可以通过图4 2 给出的形状对齐迭代过程实现。 图4 2 形状对齐迭代过程 对齐后的图像，再利用主成分分析法( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 来找出反映形状变化的统计信息及规律，最终得到形状模型，其数学表达形式如 下： x = x + o b 公式( 4 2 ) 其中x 表示平均形状，即对齐后的样本形状x 的平均值，表示为： ；：上艺x ， x = 一7 x j n s 枷百 是训练形状的协方差矩阵最的特征向量矩阵，其中 公式( 4 3 ) 驴以一，n 沙t “r c j 一巩一矽 公舯4 ) 然后利用p c a 的思想，选取和墨的较大特征值所对应的特征向量，组成矩阵。 b 是形状参数向量，相当于权值向量，它可以通过公式( 4 5 ) 求出： b = 7 ( 一石)公式( 4 5 ) 通过变换形状参数b ，再利用公式( 4 2 ) ，就可以得到不同的形状模型。当然，b 的 变化有一定的范围，变化的范围取决于训练样本，通常b 的范围被限定在 1 7 浙江人学硕i j 学位论文第4 章脸部特征检测j 跟踪 3 石( kl ，疗一1 ) 内，其中乃是协方差矩阵墨的特征值。 4 2 2a s m 局部纹理建模 局部纹理模型是为了在形状搜索时作为启发式信息更新每个特征点的位置， 它是每个特征点在其领域内的图像灰度分布模型，通常可以考虑特征点法线方向 上的灰度信息( 如图4 3 ) ，找出该特征点在此区域内的灰度分布规律，这样，在定 位特征点时只要找到最符合该分布规律的点即是该特征点的位置。 图4 3 特征点法向方向定义示意 局部纹理的建模流程具体如下： 1 ) 首先对训练样本集中的每个样本的每个特征点f ，沿其法线方向采样以该 特征点为中心的2 七+ 1 个点的灰度值，得到该样本该点的局部狄度向量g ，； g f = 【g n ，g ，g f ( 2 ) 】r 公式( 4 6 ) 2 ) 为了减少光照改变对其的影响，对灰度向量求沿其法向的导数，得到梯度 向量g j ： g f = 【g j 2 - g i l ，g f 3 一g f 2 ，g f ( 2 “1 ) - g i ( 2 t ) 】7 公式( 4 7 ) 3 ) 对其进行归一化处理，得到归一化后的梯度向量g ： 盱聋 ig 咖i 公式( 4 8 ) 4 ) 对训练集中的所有图像的所有特征点求平均灰度梯度向量和协方差矩阵： 浙江人学硕i ：学位论文第4 章脸部特征检测与跟踪 巧= 专喜g ， 岛= 专喜( g # - g 从g o - g 公式( 4 9 ) 公式( 4 1 0 ) 可以假设归一化后的灰度梯度向量整体上满足高斯分布，因此，对于某一候 选点对应的归一化灰度梯度向量g ，它与平均归一化灰度梯度向量的马氏距离 为： d = ( g f g ，) r s 西_ 1 ( g f - g j ) 公式( 4 1 1 ) 这一距离反映了该候选点是目标特征点的概率，其值越小，说明是目标点的概率 越大。因此，在特征点定位过程中，可以判断距离最小的点位最佳候选点。 在搜索时，我们需要采样以当l j i 点为中心的2 m + 1 个点( m k ) ，然后考察 2 m + 1 个点，选择与局部纹理模型最匹配点即马氏距离最小的点作为新的特征点 位置( 如图4 4 所示) 4 1 】。 s a m p l e dp r o f i l e 图4 4 局部纹理搜索示意 4 2 3a s m 目标搜索过程 a s m 算法搜索过程是在形状模型和局部纹理模型的共同作用下完成的，其整 个搜索迭代过程如图4 5 所示。 1 9 浙江人学硕i j 学位论文第4 章脸部特征检测与跟踪 图4 5 a s m 迭代搜索过程 4 2 4 多尺度空间的a s m 搜索 上述传统的a s m 算法对搜索区间的长度具有较高的要求。如果搜索区间太 短，容易出现找不到正确的点的情况；反之，如果搜索区间过长，不仅会增加计 算复杂度，同时一些不想要的点也会干扰匹配的效果。因此，为了改善传统的 a s m 算法的效率和鲁棒性，提出了在多尺度( 多分辨率) 空间下实现a s m 搜索。 多分辨率a s m 算法的基本思想是对原始图像进行多尺度表达，建立一个原始 图像的高斯金字塔图像层( 关于图像的金字塔构造方法可以参考4 3 2 小节) ，然 后对每一层图像分别建立局部纹理模型。通常原始图像作为第o 层。在图像匹配 搜索过程中，首先在高层图像( c o a r s el e v e l