（计算机应用技术专业论文）基于视频驱动的卡通人脸动画研究.pdf

摘要 所谓视频驱动就是对视频中的人脸进行跟踪，利用人脸的表情信息驱动卡通 人脸模型，使其产生一致的动画效果。视频驱动的人脸动画一直是计算机图形学 和计算机视觉研究领域中的难点，并成为近年来的研究热点，在视频会议、网络 游戏、数字娱乐等诸多方面有着非常广泛的应用。本文重点研究三个方面的内容： 人脸特征定位及人脸匹配、视频人脸特征跟踪以及基于m p e g - 4 的二维卡通人脸 动画技术。 在人脸特征定位中本文先对a s m 进行改进，然后设计一个层次人脸特征编辑 工具。并将改进后的a s m 与h a u s d o r f f 距离相结合提出一种人脸相似度匹配的算 法。 在视频人脸特征跟踪中，使用a s m 对人脸进行定位，根据特征点所在人脸部 位具有不同的纹理特征进行分组，提出在不借助任何外部条件( 如贴标记点) 的 情况下对不同组特征点采用不同的跟踪方法。首先，对于纹理变化不大的眉部等 一组特征点，采用光流方法进行跟踪，同时对其进行了改进，将通常只参考前一 帧图像改为利用初始帧和前一帧的加权和进行预测，提高了光流跟踪的准确性。 其次，对于嘴部特征点，通过分析其多样的纹理信息，采用弹性图匹配的方法进 行跟踪。该方法中，g a b o r 变换能够提取特征点周围丰富的频域特征而助于跟踪， 但速度慢，无法实时。本文通过光流预测、j e t 值估计等方法提高了匹配时的搜 索速度以满足实时要求。再次，对于眼皮上的特征点，因眼睛周围有着特殊的 边缘纹理特征，可采用二值化方法得到特征点的大致位置以达到跟踪的目的。实 验表明，将这三种方法相结合进行人脸特征点的跟踪是有效的。 在基于m p e g - 4 的二维人脸动画技术中，本文将针对于三维人脸设计的 m p e g - 4 人脸动画机制中的f a p 和f d p 参数进行了修改，使其符合本文的二维 卡通人脸动画。这样，既满足了实际需要的同时，又提高了表情动画的合成速度。 最后，在以上各项研究的基础上，构建了视频驱动下的卡通人脸动画系统。 该系统可完成视频人脸的定位及跟踪，f a p 流驱动的卡通人脸动画等功能，具有 很强的娱乐色彩。 关键词人脸匹配；人脸跟踪；人脸动画；光流；弹性图匹配；m p e g - 4 a b s t r a c t v i d e o d r i v e nc a r t o o na n i m a t i o nm e a n st r a c k i n gf a c ei nv i d e oa n du s i n gf a c i a l e x p r e s s i o n si n f o r m a t i o n d r i v e no “a l t o o nf a c em o d e lt op r o d u c ec o n s i s t e n ta n i m a t i o n e f f e c t s v i d e o d r i v e nf a c i a la n i m a t i o ni sad i f f i c u l tp r o b l e mi nc o m p u t e rg r a p h i c sa n d c o m p u t e rv i s i o na l lt h et i m e , a n di th a sb e e nr e s e a r c h e df r o mm a n yw a y si nr e c e n t y e a r s t h e r ea r em a n ye x t e n s i v ea p p l i c a t i o n so ff a c i a la n i m a t i o nt oa l o to fi n d u s t r i a l f i e l d s ，s u c ha sv i d e oc o n f e r e n c e ，c o m p u t e rg a m e ，d i 百t a le n t e r t a i n m e n t ，a n ds oo n i n t h i sp a p e r , f o u ra s p e c t sa r em a i n l ys t u d i e d ：f a c i a ll 沁a t l 】r el o c a t i o na n df a c em a t c h v i d e o - b a s e df a c i a lt r a c k i n ga n d2 df a c i a la n i m a t i o nb a s e do nm p e g 一4 t h i sp a p e ri m p r o v e da s m m e t h o d ，a n dd e v e l o p e da t o o lf o rf a c i a lf e a t u r ee d i t t h e na s i m i l a r i t ym a t c h i n ga l g o r i t h mb a s e do n m o d i f i e dh a u s d o r f f d i s t a n c ew a s p r e s e n t e d i nv i d e o - b a s e df a c i a lt r a c k i n g , u s i n ga s mt ol o c a t ef a c e ，a f t e ra n a l y z i n gt h e d i f f e r e n tt e x t u r ef e a t u r eo fd i f f e r e n tf e a t u r ep o i n t s ，w eu n i t et h e s ep o i n t si n t ot h r e e g r o u p sa n dp r e s e n tu s i n gd i f f e r e n tm e t h o d s t ot r a c kp o i n t si nd i f f e r e n tg r o u p sw i t h o u t a n ys p e c i a lm a r k e r s f i r s t , f o rt h es e to fp o i n t sa r o u n dt h ee y e b r o w , w eu s eo p t i c a l f l o wm e t h o dt ot r a c ka n di m p r o v et h i sm e t h o da tt h es a m et i m e w er e f e r e n c et h ef i r s t f r a m ea n dt h ep r e v i o u sf r a m ei n s t e a do fo n l yt h ep r e v i o u sf r a m eo r i g i n a l l yt oi m p r o v e t h et r a c k i n gv e r a c i t y s e c o n d ，f o rt h es e to fp o i n t sa r o u n dt h em o u t h ，e b g ma r e u t i l i z e db ya n a l y z i n gv 撕o u si n f o r m a t i o na b o u tt e x t u r e t h i sm e t h o di sp a i da t t e n t i o n f o re x t r a c t i n gh e l p f u lf e a t u r e si nf r e q u e n c yf i e l db yg a b o rt r a n s f o r m b u tt h es p e e di s t o os l o w i nt h i sp a p e r , p r e d i c t i o nw i t ho p t i c a lf l o wa n de s t i m a t i o no fj e ta r eu s e dt o a c c e l e r a t et h et r a c k i n gs p e e df o rs a t i s f y i n gt h ep r a c t i c a lp u r p o s e t h i r d ，f o rt h es e to f p o i n t so nt h ee y e l i d s ，i m a g eb i n a r i z a t i o nm e t h o db a s e do nm a x i m u me n t r o p yi su s e d t ot r a c kt h ep o i n t so nt h ee y e l i d sf o rt h es p e c i a le d g et e x t u r eo fe y e s e x p e r i m e n t a l r e s u l t sd e m o n s t r a t et h a to u rc o m b i n e dt r a c k i n gm e t h o di se f f e c t i v e i n2 df a c i a la n i m a t i o nb a s e do nm p e g - 4 ，w ea m e n dt h ef a pa n df d pi n m p e g 一4s t a n d a r dw h i c ha i m st o3 df a c ea n i m a t i o na n dm a k et h e ms u i t a b l ef o r2 d f a c ea n i m a t i o n i nt h i sw a y , n o to n l yp r a c t i c a lp u r p o s ec a nb es a t i s f i e d ，b u ta l s ot h e s p e e do fe x p r e s s i o ns y n t h e s i z i n gc a n b ea c c e l e r a t e d b a s e do na l lo fa b o v er e s e a r c h e s ，w ec o n s t r u c tav i d e o d r i v e nc a r t o o nf a c e a n i m a t i o ns y s t e m t h i ss y s t e mc a na c h i e v et h ef o l l o w i n gf u n c t i o n s ，i n c l u d i n gf a c e l o c a t i o n ，f a c et r a c k i n ga n dc a r t o o nf a c ea n i m a t i o nb a s e do nf a p , e ta 1 e x p e r i m e n t s s h o wt h a tt h er e s u l ti sr e c r e a t i o n a l k e y w o r d s ：f a c em a t c h ；f a c i a lt r a c k i n g ；f a c i a la n i m a t i o n ；o p t i c a lf l o w ；e b g m ；m p e g - 4 i i 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导 下，独立进行研究所取得的成果。除文中已经注明引用的内容 外，本论文不包含任何其他个人或集体已经发表或撰写过的科 研成果。对本文的研究在做出重要贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到本声明的法律责任由本 人承担。 论文作者签名： 日 关于学位论文使用授权的声明 本人完全了解贵州大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权贵州大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：盈4 玄盘塑导师签名： i i 第一章前言 基于视频驱动的人脸动画就是对视频中的人脸进行跟踪，利用人脸的表情信 息驱动卡通人脸模型，使其产生一致的动画效果。视频人脸跟踪及虚拟人脸动 画长期以来都是计算机图形学以及人机交互中非常活跃的研究领域，将其 二者合一而产生的视频驱动人脸动画更是这些年来的研究热点，被应用到 现实生活中的各个领域。其中，视频跟踪的准确性与逼真的面部表情合成 是研究中最根本的难点问题。 随着现代生活信息化程度的不断深入，数字娱乐逐渐成为信息技术发 展的一大主题，虚拟人脸动画在计算机图形学、数字图像处理和计算机视 觉中越来越受到重视，并且有着极为广泛的应用领域，与人们的生活密切 相关。传统的人与人之间通过移动设备交流的方式是语音或者文本信息， 然而简单的文本或者语音已经不能满足人们之间全方位交流的需求。 事实证明，在大多数情况下，阻碍计算机用户生产力提高的最大因素 不是计算机的处理能力，而是用户与计算机交互的方式。从二十世纪八十 年代，图形用户界面g u i ( g r a p h i cu s e ri n t e r f a c e ) 的诞生极大地促进了 计算机的生产力，但是g u i 还远远不同于人与人之间的交互方式。本文所 研究的虚拟人动画的合成，比以往g u i 界面更接近于自然人与人之间的交 互方式，同时还具有娱乐效果，势必将极大缩小人与机器的距离，从而向 理想和谐的人机界面形式迈进了一大步。 近年来，非真实感人脸合成动画成为计算机图形学和计算机动画研究 的热点问题。其成果可以广泛应用于数字娱乐、电影广告、电子游戏、虚 拟会议、辅助教学等领域。非真实感人脸合成技术为现代化的移动数字娱 乐提供了新的思路。人脸面部动画作为人体语言的一部分，对于交流信息 的理解和辅助交流有着重要意义。真实感面部动画有助于用户理解噪音环 境下的讲话内容，计算机合成的网上播音员a n a n o v a 可以2 4 小时连续发 布新闻 5 0 ，人物动画也已经用于通信系统的接口，如a v a t a r s 5 1 ，5 8 。 具有娱乐效果的卡通人脸动画还将使服务对用户更具吸引力。 本章内容是按以下方式组织的：首先介绍本文的研究背景、意义；接 下来分别从人脸特征定位、人脸跟踪、人脸建模以及人脸动画等方面介绍 国内外的研究发展现状；最后是文章的研究内容和组织结构，并简要阐述 层次细节技术所涉及的内容及本文的创新之处。 1 1研究背景及意义 人脸是人类喜、怒、哀、乐等复杂表情和语言的载体，是人类相互交流和沟 通的重要渠道。通过人脸，可以鉴别出个人的身份、推断他的个性。因此，人们 对于人脸的研究一直抱有浓厚的兴趣。 随着计算机图形学在建模、渲染、动画等方面的发展，视频驱动的人脸动画 在远程会议、视频电话、数字娱乐、电影、广告人物动画、计算机辅助教学、医 疗诊断等众多方面都取得了广泛的应用。研究表明：人脸动画系统可以提供友好 的人机交互方式，可以让人们更好地理解噪声中的语言，吸引人们的注意力，提 高人机交互的效率，对实现机器的智能化有着非常重要的意义。近年来，网络技 术的发展和推广使得人们越来越多地通过网络进行交流，而人脸动画技术可以为 这种通信方式提供更丰富、更直接的面部信息，让使用者有近距离交流的感觉。 然而这些应用都要求发送端的人脸控制参数可以实时提取并在低带宽下进 行传输，同时要求接收端的人脸动画模型必须计算高效、并能够准确合成人脸多 样的表情变化，即对于给定的人脸行为视频序列，如唇动、表情变化、眼睛的运 动、头部的运动等等，怎样实时而生动地在现到虚拟人脸上。要完成这个任务， 必须解决多方面的问题，也因此面临着极大的挑战。 总之，作为当前计算机视觉和计算机图形学领域的研究热点，视频驱动的人 脸动画研究不但具有理论研究意义，同时也具有极大的实际应用价值。 1 2 国内外研究发展现状 实现视频驱动的卡通人脸动画，必须解决下面几个方面的问题： 1 ) 如何定位出视频中的人脸? 2 ) 如何从视频中准确地获取人脸的运动数据? 3 ) 卡通人脸如何建模? 4 ) 准确捕获了运动数据后，应如何映射( 即如何用这些运动数据驱动二维 卡通人脸动画) ? 围绕这四个问题，视频驱动的人脸动画系统也相应的主要由三个内容构成： 人脸定位与跟踪、人脸建模以及人脸动画。流程图如图1 1 所示。 人脸视频厂厂 广 拿燃 刮卡攀p 人脸动画； y |及跟踪广一yl 建模广【 “8 图1 1 视频驱动人脸动画系统的一般流程图 1 2 1 面部特征定位 人脸面部特征定位，就是通过计算机在一幅人脸图像中自动地定位出人 脸各个器官的准确位置。其中包括眼睛、鼻子、嘴巴、下巴、耳朵以及人脸外轮 廓等所有需要提取特征点的位置。面部特征定位可以为人脸识别、姿态表情分析、 人脸跟踪等研究工作提供相应的基础数据：面部特征定位的研究始于基于几何特 征的人脸识别方法的研究。早在上世纪六十年代末，k a n a d a 【2 就提出了基于几何 特征的人脸识别方法。其中采用的方法就是基于灰度变化信息来定位面部特征点 的方法。该方法主要利用人脸不同区域灰度分布的不同特性来提取特征点的位 置。该方法有与直接利用灰度的变化来分析，因而对于光照的变化，其鲁棒性受 到限制。k a s s 3 7 】等人在1 9 8 7 年首先提出了称为s n a k e 的主动轮廓线模型( a c t i v e c o n t o u rm o d d ) ，s n a k e 是能量极小化的一种模型，内力约束它的形状，外力引 导它的行为，图像力将其拖向显著的图像特征。s n a k e 模型的引人之处在于它对 范围广泛的一系列视觉问题给出了统一的解决方法。近年来，它已经被越来越多 的研究者成功地应用于计算机视觉的诸多领域。w o n - s o o kl e e 【4 l 】等1 9 9 7 年提出 了一种由正面和侧面人脸图像的结构化s n a k e 模型来进行人脸面部特征定位。基 于可变形模板的特征提取首先是由a l y u i l l e 【一1 2 】等人在1 9 9 2 年提出，用来提取 眼睛和嘴巴的特征位置。针对人脸器官的复杂性，有些区域的灰度对比度比较低， 因而无法直接检测到边缘，即使获得了较明显的边缘，也很难从中自动地获取精 度很高的特征点位置。为此，用弹性可变形模板进行特征提取就显示其优越性， 可变形模板用一组根据特征形状的先验知识设计的参数所定义，这些参数是可调 的，为了定义出最符合特征形状的参数，需要利用图像的边缘、峰值、谷值和先 验知识设计合适的能量函数。参数向能量函数减小的方向做调整，当能量函数达 到最小时，这组参数对应的模板就最符合所关心的特征形状。l w i s k o d 4 2 等人 在1 9 9 7 年提出了利用g a b o r 小波变换系数进行人脸识别的弹性图匹配方法，在 该方法中利用了一组不同频率和相位下得到的的g a b o r 小波变换系数作为特征， 来进行面部特征点的精细定位，进而进行识别。vk r g r n 利用g a b o r 小波进行 人脸图像的表示与重建。根据重建系数的相似性来进行人脸特征定位。 另一种人脸特征定位的方法是基于主动形状模型的方法。主动形状模型 ( a s m ) 是一种基于统计模型的方法，是由t e c o o t e s t 锯 7 l 】等人在19 9 5 年提出， 该方法对训练集中大量所描述的形状实例进行统计，建立起反映目标形状变化规 律的形状统计模型和反映灰度分布规律的局部灰度模型。在搜索过程中，首先利 用训练得到的局部灰度模型进行搜索，之后利用形状模型来对搜索到的形状进行 近似表达，同时对其合理性进行判断，对不合理的形状进行调整以保证形状在统 计意义上的合理性。通过循环迭代，得到理想的匹配结果。在主动形状模型基础 3 之上，t e c o o t e s 7 2 】等人在1 9 9 8 年中提出了主动表观模型( a a m ) 。在此方法中， 不仅建立了反映形状变化的形状统计模型，同时建立了反映全局纹理变化的全局 纹理模型，以充分利用全局的纹理信息。并对形状模型及纹理模型结合起来建立 表观模型。得到的表观模型去处了形状和纹理之间的相关性，可以准确地生成形 状及纹理变化的目标图像。在a a m 搜索过程中，利用训练得到的图像灰度差值 与表观参数变化的线性关系，不断变化表观模型参数以及二维几何位置和尺度等 参数。直至得到理想的匹配效果。 本文将采用a s m 方法进行人脸面部特征定位，首先，对a s m 方法进行改 进，其次，基于改进的a s m 方提出一种人脸匹配算法。 1 2 2 人脸跟踪 人脸跟踪问题最初源于人脸识别，但目前，人脸跟踪的应用背景已远远超出 了人脸识别系统的范畴，成为计算机视觉中的一个重要的研究课题，在智能人机 交互、视觉检测、视频会议、安全监控等多方面有着非常重要的研究价值和经济 价值。 人脸跟踪的难点在于： _ 跟踪目标并不是确定不变的，而是可能会随着时间发生平移、旋转、缩放甚 至是表情、姿态等变化； 人脸图像可能会受到光照、噪声和复杂背景的影响； 遮挡问题，各种类型的遮挡成为跟踪算法中最大的难点。 人脸跟踪大致可分为三类【5 】： _ 头部的跟踪。这里主要跟踪头部的平移、转动等一系列的刚体运动。 人脸特征跟踪。这里主要涉及跟踪非刚体的运动，如由说话、表情变化而引 起的脸部变形。 完全跟踪。既涉及头部的跟踪，又涉及人脸特征跟踪。 对于人脸的跟踪主要有基于颜色信息的方法、基于人脸特征的方法、基于 可变形模板的方法、基于光流的方法、基于轮廓分析的方法等。 ( 1 ) 基于颜色信息的方法 肤色是跟踪中的一个强有力的提示。一些研究表明：肤色通常都可以很好的 与背景分离开来。使用颜色信息跟踪的方法主要分为基于统计的和基于模型的两 大类。其中，基于统计的又可以进一步分为利用直方图分析的【3 8 , 5 2 , 5 9 、利用颜色 概率分布分析的【1 7 , 5 7 , 7 3 1 和利用高斯模型分析的【6 0 - 6 2 。 ( 2 ) 基于人脸特征的方法 这类方法主要是结合眉毛、眼睛、虹膜、嘴巴、鼻子等一些特征或其组合来 4 达到跟踪的目的【1 3 , 6 3 , 7 9 。 ( 3 ) 基于可变形模板的方法 该方法通过选用适当的参数来定义一张特定人脸【3 4 ，3 9 一。然而这种方法由于 将特征跟踪转为模板匹配，因而在实际使用中不够稳定。 ( 4 ) 基于光流的方法 光流可以从单个象素的角度进行图像的跟踪，因而被广泛地应用于头部的跟 踪上【6 ，7 , 6 4 , 8 1 1 。最早，通过在人脸上贴一些标记点的方法来进行跟踪。但是标记点 的使用在某些场合又不太现实。然而如果不使用标记点，一些区域太光滑难以精 确地估计光流，有时候一些局部外观变化太大，又不能给出可靠的光流。后来， 一些研究者将光流跟踪和一个事先建好的模板结合起来，以此来弥补光流本身其 跟踪各特征点之间无内在约束性而导致产生较大误差的缺陷。 ( 5 ) 基于轮廓分析的方法 主动轮廓( 或s n a k e ) 是一种可变形的轮廓或曲线，它受内力和外力的共同 作用而发生增长和收缩【9 ，1 0 , 4 0 , 4 9 。其中，内力利用的是轮廓的平滑性约束，而外 力牵引着轮廓使其与明显的图像特征相匹配。这类方法大都需要在脸上或嘴唇上 做一些彩色的标识，用于辅助发生表情变化时的跟踪，然而在人脸上做标识不太 切合实际，因而使其使用受到了限制。 s n a k e 等方法主要考虑了跟踪目标的形状信息，而基于表面特征的跟踪 2 7 , 3 5 拍7 4 捌则重视了整个对象区域内的信息，在有些文献中也被成为纹理特征。 在跟踪的过程中，人脸区域的纹理肯定会发生变化，文献【1 4 , 7 5 假设区域变化符合 仿射变换。a a m 3 5 , 7 4 1 模型也是采用主元分析来学习表面特征的变化。 1 2 3 人脸建模 人脸是一个层次化的结构，由头骨、肌肉层、覆盖的结缔组织和外部的皮肤 层组成，而人脸表情的产生则是由于脸部肌肉变形而引起的。通常人脸建模包括 脸部数据的获取和几何建模两部分： 对于三维人脸，脸部数据获取方法主要包括基于手工的方法、基于特征的方 法、基于扫描的方法以及基于统计的方法等。三维人脸的几何建模是把人脸的框 架标准化，然后用网格表示出来，作为人脸动画的基础【引。通常情况下，为了将 脸部表情刻画的更加生动、具体，希望网格数越多越好。但是这样做的代价是计 算量大幅度上升。为提高速度，需对网格进行有效地精简，同时还要保证能够表 达清楚脸部的明显特征。常用的网格生成方法有多边形建模技术【5 3 1 、曲面建模 技术【3 l 】等。 虽然人脸建模的趋势主要是建立三维人脸模型，但近年来，随着数字娱乐产 5 业的蓬勃发展，非真实感图像处理，尤其是利用计算机来模仿画家绘制出基于真 实人脸图像的二维卡通肖像，已经成为图像理解与图形学研究领域的热点问题， 并在众多领域有着广泛的应用。如图12 所示。 毫参叟 图12 一维卡通人脸 卡通人脸的绘制过程中，画家能够抓住被画者与众不同的特征并加以夸张、 变形，从而产生出具有幽默或讽刺效果的卡通肖像画。在卡通人脸生成方面，人 们进行了许多相关研究工作，主要有基于规则的方法和基于样例学习的方法。 ( 1 ) 基于规则的方法 基于规则方法主要是通过人为指定夸张变形参数，并将其应用到脸部任何待 夸张区域。该方法生成卡通人脸笔调生硬，难以表现画家多样的夸张模式。 b r e n n a n 6 5 1 在1 9 8 2 年首先提出了一套交互式的卡通肖像生成系统。e r g u n a k l e m a n z 2 1 采用线对变形的方法进行夸张。m u r a k a m i t 2 8 】提出了卡通肖像产生系统 p i c a s s o ，通过比较输入人脸与平均人脸的差异进行夸张。江佩颖等 s 4 l 利用统计 方法对人脸形状进行夸张，因而形状夸张不具有风格化的效果，风格的转换仅仅 通过选用不同的卡通纹理来实现。 ( 2 ) 基于样例学习的方法 基于样例学习的方法将从训练样本中学习到的夸张模式运用到输入的真实 人脸上，从而得到具有这种画家风格的卡通人脸肖像画。l i n l 4 3 】通过p l s 方法分 析真实人脸形状与其对应夸张人脸形状之间的关系，来对画家的夸张风格进行学 习，进而指导夸张变形。h o n gc h e n 坤】的# 通肖像生成系统分为脸部和头发两个 子系统。此方法的最大特点在于对头发单独建模，并产生了较好的效果。还有人 提出了种产生具有画家风格的卡通肖像画的方法，先在库中找出与该人脸各部 分组件相似的人脸图像，然后将搜索出的库中所有真人相应幽默肖像画的对应部 件进行重组。采用样例学习的方法效果颇佳，但学习画家的风格需要画家绘制大 量的训练样本，代价很高。 本文要驱动的二维卡通人脸模型采用基于m e p g4 的动画参数模型，手动选取 一张画家绘制或者计算机生成的卡通肖像，用本文第二章定义的层次编辑工具产 生卡通人脸模型。 1 24 人脸动画 i 9 7 2 年，p a r k e 首先开始了人脸动画的研究，引入人脸参数模型。此后的几 十年中，众多学者在这个领域做出许多创造性的研究工作。 到目前为止，人脸动画方法主要有：关键帧差值方法、参数控制方法、肌肉 模型方法、伪肌肉模型方法、变形方法以及表演驱动方法等。 ( 1 ) 关键帧插值方法【1 5 ，2 4 ，3 0 】：关键帧技术来直接源于传统的动画制作。这 种方法是利用最多的一种动画技术，实现起来非常简单。其基本思想是对人脸的 表情在某两个时刻进行建模，得到相应的几何模型，然后在这两个时刻的模型之 间进行插值，得到中间时刻的几何模型，由此可以得到某种处于两种人脸表情之 问的一种新的人脸表情，传统动画的实现方案基本上都是关键帧插值方法的应 用。近年来，有许多数学方法被应用到这一技术中，以达到更好的差值效果，如 最早的线性插值，到样条曲线插值、双线性插值等。 ( 2 ) 参数控制方法 2 3 , 2 s 郅3 2 3 3 】：参数化技术客服了简单插值的一些限制，通 过选取一组独立的参数值，经过少量的计算参数的组合就能构造出人脸表情。但 参数化方法很容易产生不自然的表情，而且需要大量的手工调节去设置参数值。 p a r k e 在1 9 7 2 年引入人脸参数模型，指出有两种参数应被考虑：特定人标识参数 和人脸表情控制参数。特定人标识参数因人而异，用于描述特定人的眼睛的大小， 鼻子的高低，额头、下巴的形状等特定人的独立特征。表情控制参数则用于描述 眼睛的开合、眉毛的位置变化、脸颊的运动等情况。参数模型建立在网格模型基 础上，面部表情的完成是通过挤压、变形代表面部表情网格的相应区域实现的， 使用这种纯几何模型忽略了人脸的现实层状结构和人脸皮肤的柔韧性，从而降低 了真实性。p a r k e 的人脸模型如图l3 所示。 一 圈13p a r k e 的人脸模型 ( 3 ) 肌肉模型方法和伪肌肉模型方法1 5 5 釉j 6 j 8 】：p l 砒和b 枷盯在1 9 8 1 年提出 了最原始的人脸肌肉模型。该模型中，人脸由皮肤表面顶点相互弹性地连接，并 且通过具有弹性和收缩性的3 8 块肌肉连接到基本骨骼上，通过施加肌肉力来控制 和变形弹性皮肤网格得到各种人脸表情和动作。1 9 8 7 年，w a t e r s 提出了一种向量 肌肉模型，利用肌肉向量去控制人脸表情，通过模拟人脸组织和肌肉的物理特性 来模拟人脸肌肉运动。这是一种基于物理属性的合成面部结缔组织和一组基于解 剖学的面部肌肉活动的结合。这里的肌肉被定义为向量的形式，包含起点和插入 到人脸网格中的控制顶点。不同肌肉的运动仅限于一个局部的变形区域，这个变 形范围是按c o s i n e 函数因子定义的一个圆锥体形状。同时w a t e r s 将嘴巴等器官的 变化使用一个圆环形的轮匝肌来模拟，轮匝肌围绕一个椭球中心收缩，如图1 4 所示。在向量肌肉模型巾，如何按生理学的规律正确放置肌肉向量是一项非常困 难的工作，不正确的肌肉向量定位，会出现不自然的表情动画，甚至出现不可能 发生的表情动画，因此需要反复实验来得到比较好的效果。要实现人脸肌肉模型， 需要大量的细致的手工调节工作。为克服这些缺点，出现了伪肌肉模型。伪肌肉 模型不涉及人脸内部复杂的生理结构，但使用类似于肌肉的方式对人脸的局部网 格舞施变形。m a g n e n a t t h a l m a n n 等人开发了一个肌肉模型，其控制参数是“抽 象肌肉运动( a m a ，a b s t r a c tm u s c l ea n i m a t i o n1 ”过程，这些a m a 过程与f a c s 运 动单元有一定的相似性，但又不完全相同。这些a v i a 过程问并不独立，而且运 动的顺序非常重要。该模型允许通过控制低级a m a 过程和高级“表情”参数来 进行面部控制。 图i4w a t e r s 的肌肉模型 ( 4 ) 变形方法【6 6 】：计算机动画中另一类重要的运动控制方式是变形技术。 变形可以是二维或三维的。基于图像的w a r p i n g 和m o r p h i n g 是常用的二维动画技 术。图像本身的变形称为w a r p i n g ，图像之间的插值变形称为m o r p h i n g 。对图像 作w a r p i n g ，首先需要定义图像的特征结构，然后按特征结构变形图像。两幅图 像间的m o r p h i n g 方法是首先分别按特征结构对两幅原图像w a r p i n g 操作，然后从 不同的方向渐隐渐显地得到两个图像系列，最后台成得至t l m o r p h i n g 结果。常用的 二维和三维变形方法有基于网格的方法、基于特征线对的方法、径向基函数的方 法和f f d 方法等。m o t p h i n g 技术在电影特技处理方面得到了广泛的应用。 ( 5 ) 表演驱动方法1 8 , 1 9 , 4 4 7 】：这种方法通过从连续视频图像序列中提取信息 作为动画系统的控制输入。通过跟踪表演者面部的各个特征点并将图像纹理映射 到多边形模型上仅仅需要很少的计算消耗且不需分析就可以得到实时的面部动 画。表演驱动的方法可以创建生动的脸部动画，其中动画受控于被跟踪的人。通 常将被跟踪的二维或三维特征运动进行滤波或变形，产生驱动特定动画系统的运 动数据。运动数据可直接用于产生脸部动画，或经过分析转化为面部动画参数而 产生脸部表情。精确跟踪特征点的运动对于获得一致而生动的动画至关重要。 1 3文章的研究内容和组织结构 本文所涉及的研究课题得到了国家自然科学基金“三维卡通形象合成中的 迁移学习方法研究一( 基金编号6 0 7 7 5 0 2 7 ) 及上海市青年科技启明星计划项目“数 字卡通人脸动画研究及其应用”( 基金编号0 5 q n c k l 4 4 7 ) 计划资助。研究的主 要目标是试图给出套基于视频跟踪的卡通人脸动画理论方法与算法模型；研 究内容包括四部分：基于视频的人脸特征定位、人脸匹配、人脸跟踪及入脸表 情动画合成。 本文的工作总结如下： ( 1 ) 利用a s m 方法进行人脸特征定位，为人脸跟踪提供特征点，并在此基础 上进行人脸匹配研究。实现了一个基于a s m 的层次性人脸特征编辑工 具。本文在改进的a s m 方法基础上实现了基于单张人脸图片的人脸 特征编辑工具，该工具具有基于a s m 的自动人脸特征点检测功能， s m 原始模型( 1 0 3 个特征点) 到本文新模型( 1 1 8 个特征点) 的自 动匹配功能，特定人脸模型的打开与存储，按层次手动编辑特征点 等功能。 ( 2 ) 根据人脸特征点所在区域的不同特征进行分组，对不同组的特征点提出 了分别采用光流、弹性图匹配以及图像二值化方法进行跟踪点的跟踪，获得了较 好的跟踪结果。 ( 3 ) 对光流跟踪特征点方法进行了改进，将通常的只参考其前一帧改为参考 初始帧和前一帧两帧，即将这两帧的加权和作为对当前帧的预测，从而 减少了累计误差，提高了跟踪的准确性。 ( 4 ) 将光流跟踪与弹性图匹配方法有效地结合起来，提高了弹性图匹配时的 搜索速度。 本文共由5 章组成，各个章节内容安排如下： 第l 章前言。本章介绍了视频驱动人脸动画相关技术研究背景与意义；分 别从人脸定位、人脸跟踪、人脸建模及人脸动画等方面介绍了视频驱动人脸动画 的研究进展和研究现状；给出了本文的主要研究内容、组织结构及主要工作。 第2 章人脸特征定位人脸匹配研究。本章首先介绍了a s m ( a c t i v es h a p e m o d e l ) 方法，给出本文所作的改进，然后介绍本文实现的层次性人脸特 征编辑工具及提出了一种基于a s m 的人脸匹配算法。 9 第3 章视频人脸特征跟踪。本章根据人脸特征点所在部位的不同特征，引 入了三种不同的跟踪方法二基于光流的方法、基于弹性图匹配的方法以及基于 图像二值化的方法。同时介绍了这些方法的基本概念、主要算法，并讨论了在实 现中的具体应用和改进。 第4 章基于m p e g - 4 的二维人脸动画技术。本章介绍了m p e g 4 人脸动 画技术，重点介绍了将针对于三维人脸设计的m p e g - 4 人脸动画机制中的f a p 和f d p 参数进行了修改使其符合本文的二维卡通人脸动画以及特定人脸f a p 的 计算方法。既满足了实际需要，同时，又提高了表情动画的合成速度。本章最后 介绍了本文实现的2 d 人脸动画数据编辑工具。 第5 章系统框架及实验结果。本章总体介绍了视频驱动人脸动画系统的各 功能模块的具体实现以及最后的实验结果。 最后，对整个论文主要工作和成果进行了总结。 第二章人脸特征定位及人脸匹配研究 人脸面部特征定位就是通过计算机在一幅人脸图像中自动地定位出人脸 各个器官的准确位置。其中包括眼睛、鼻子、嘴巴、下巴以及人脸外轮廓等 所有需要提取特征点的位置。面部特征定位可以为人脸跟踪、人脸动画等研 究工作提供相应的基础数据。 本文采用改进的a s m ( a c t i v es h a p em o d e l ) 方法对人脸照片进行特征自 动定位。在自动定位的基础上辅以层次性人脸特征编辑工具，以使定位结果 更准确。基于改进的a s m 方法，本文提出了二种新的人脸相似度匹配算法。 2 1 问题提出 在人脸图像中，由于器官分布的复杂性以及不同人、不同姿态、不同表情的 变化的影响，使得人脸面部特征的定位成为一个具有挑战性的课题。 如何准确的定位出人脸特征是下一步跟踪人脸特征点的关键问题。基于统计 信息的主动形状模型方法是解决这一问题的较为理想的方法之一。主动形状模型 作为图像特征提取的一个重要方法，在许多领域得到了广泛的应用。 2 2a s m 人脸定位方法 主动形状模型( a c t i v es h a p em o d e l ，a s m ) 是一种基于统计模型的图像搜 索方法，通过对具有一定代表性的同一类目标物体图像进行统计来进行建模。 利用a s m 模型进行人脸模型匹配的工作分为两步，第一步是根据训练集中的 数据训练模型，第二步是利用训练出的模型指导对图像的搜索以获取目标物 体形状信息。第一步要建立两个模型，一是反映目标物体图像二维形状变化 规律的形状统计模型；二是反映特征点局部区域的灰度变化规律的局部纹理 模型。第二步称为目标搜索过程，利用先验知识进行模型初始定位，然后利 用局部纹理模型进行特征点搜索，并利用形状模型对形状进行合理的近似调 整。下面将结合面部特征定位来对a s m 方法进行详细阐述。 2 2 1形状建模 对于一幅标定好的人脸图像，可以利用标定点的坐标来实现其形状的数 学表达。若干幅标定好的人脸图像，其形状的数学表达可视为随机向量，经 过对齐后，利用主成分分析方法，来建立起人脸形状模型。 1 ) 标定图像的数学表示 图21 标定好的图像转化成数学表达 v 如图2 1 所示，对于一幅标好的人脸图像，其形状向量a i 可以用标定的 每个特征点的横纵坐标来表示： 置= ( y ，x ( “) ，y ，) ) ( 2 1 ) 其中矗，y 。分别为第i 幅图像第j 个特征点的横纵坐标值。n 为图像中标 定的特征点的个数( 本文中数目为1 0 3 ) 。这样n 幅用于训练的已标定图像就 可以用x ，o = 0 , 1 n1 ) 来表示。 2 ) 标定图像的对齐 对于这些标定好的图像，由于其所处在图像中的绝对位置差异，以及图 像尺寸的差异、方向的差异的存在( 如图22a ) 所示) ，因此若直接对它们进 行统计建模是不合理的，不能反映其形状变化的规律。 图22 形状对齐示意图 因此我们需要对其进行对齐操作以克服上述因素带来的影响，从而建立起真 正反映形状变化规律的统计形状模型。所谓的对齐就是在不改变标定形状的 前提下，通过旋转、缩放、平移操作使两幅图像的形状尽量接近( 如图2 2b ) 所示) 。+ 形状对齐的过程如下：首先选取一个较为理想的形状向量作为初始样本， 使其它所有的向量与之对齐。之后，对计算得到的对齐后的平均形状向量作 规格化处理。并以规格化的平均形状向量作为样本，再将其它经上一部对齐 的形状向量与此平均形状向量对齐。重复这一过程，直到相邻两次的平均形 状向量差别小于某一特定值，对齐过程结束。整个对齐过程如图2 3 所示。 图2 3 对训练集中形状向量对齐的过程 3 ) 形状建模 对于训练集中的形状向量作对齐处理之后，就可以利用主成分分析的方 法来找出形状变化的统计信息及规律，同时实现在变换域中的表示。 主成份分析( p c a ) 也称为k l 变换，是一种比较经典的统计学的方法， 在特征提取、数据分析、数据压缩等领域有着重要的应用。其主要原理就是 基于对原始随机变量进行统计分析，利用线性变换，来对原始的高维数据进 行分析或压缩。主成份分析具有如下功能：一是去除数据的相关性。在原始 的高维空间中随机变量的各个维之间通常具有很大的相关性。主成份分析方 法通过对原始的相关的随机变量的分析，来获取一组线性无关的正交基。利 用这组正交基，原始的高维随机变量就可以得到一组新的表示，在这组新的 表示中每一维的取值与其它维的取值就没有任何相关性，也就是说其取值的 大小完全可以独立于其它维的取值。二是实现数据的降维。如前所述，我们 1 3 可以得到一组正交基，这组正交基中的不同的基所代表的信息是不样的。 如果我们将其按其所对应的特征值大小来排序j 那么第一个基上所包含的数 据信息最多，其它的依次递减。因此如果我们取前边若干个基而不是全部基 来表示一个数据，那么数据的维数就会大大降低。同时因为我们取的这些基 包含了主要的数据部分，所以在低维空间中的表述包含了原始数据的绝大部 分信息，信息的损失是极小的一部分，在一般的情况这种微小的信息损失是 完全可以接受的。下面介绍主成分分析的过程： 首先对上小节中对齐之后得到的n 个形状向量记为x f ( f = 1 ，n ) 求其 平均： 叉= 土n i 置(22)=l 求其协方差矩阵： c 2 专渺一i ) ( x i - 一x ) ( 2 3 ) 求其特征值( 名o ，旯l ，名2 一一1 ) 及特征向量( p o ，p l ，一p 2 n 1 ) ，由于 较大特征值所对应的特征向量，包含了较多的形状变化信息，因此，可以用 一些较大特征值所对应的特征向量来近似表示任意的形状向量。选取前j 个 最大的特征值满足： j 兄。 三卫一 z = ( a a f ) 一石 z = ( 石么f ) 一f x i 石= a i ( a i a f