（计算机应用技术专业论文）基于fap的细微表情合成.pdf

摘要 细微表情( 例如额头皱纹，鱼尾纹，酒窝等) 合成是逼真描述人脸动画的重 要因素，传统的表情合成技术仅仅考虑面部几何特征的变换，缺乏细节纹理。在 现有细微表情合成的研究中，仅能合成已提取的细节纹理，应用范围有限。本文 针对这个问题，进行人脸动画中细微表情合成方面的研究，主要工作如下： 一、采用特征跟踪的方法实现了细节纹理和人脸运动数据同步获取。可在不 使用昂贵的运动跟踪设备的前提下获取符合m p e g 一4 的运动数据，并从视频中提 取相关的人脸动画参数。采用主动形状模型定位和手工调整，较容易地获取同步 数据表情比率图和人脸动画参数。为建立细微表情合成模型提供可靠的数据 样本。 二、提出了基于主成分分析的一种面部细节纹理特征表情比率图参数 e r i p ( e x p r e s s i o n r a t i o i m a g e p a r a m e t e r ) 的参数化方法。并提出了改进的表情比 率图计算方法。实验表明，在大量人脸细微表情数据集上，该方法可有效提取细 节纹理特征。 三、提出了从表情运动参数f a p 到细微表情参数的合成模型，它是基于支 持向量回归机的一种优化拟合。比较了四种不同的支持向量回归方法训l 练的细微 表情合成模型。从中优选出了径向基函数为核函数的容错支持向量回归机作为 该模型的原型。在合成细微表情中，显示出该模型在预测e r i p 中的鲁棒性。 基于上述工作，实现了细微表情合成模型，该模型能产生统计意义上的真实 感表情，且符合m p e g 4 动画标准。首先，实现了的细节表情合成系统：其次， 将细微表情合成模型应用到可移动终端系统的真实感表情合成；最后，给出了细 微表情合成模型在肖像画绘制中的初步应用。此模型能较好的实现功能，满足人 机交互中的需求。 关键词细微表情，支持向量回归，人脸动画，表情比率图，m p e g 4 a b s i r a c t a b s t r a c t t os y n t h e s i z er e a l i s t i ce x p r e s s i o na n i m a t i o n ，s u b t l ee x p r e s s i o n ( f o rs h o r t s e ， s u c ha sw r i n k l e ，c r o w 。sf e e ta n dd i m p l e ，e t c ) i sac r u c i a lf a c t o r b u tt h e o n l y g e o m e t r i ct r a n s f o r mo ft h ef a c i a lf e a t u r ei sc o n s i d e r e di nt h et r a d i t i o n a le x p r e s s i o n s y n t h e s i s ，c o m p l e t e l yi g n o r i n gt e x t u r ev a r i a t i o n so nf a c e i nt h ec u r r e n ts t u d i e so nt h e s u b t l ee x p r e s s i o ns y n t h e s i s ，o n l ys ef r o me x t r a c t e d e x p r e s s i o ns a m p l e sc a nb e s y n t h e s i z e d ，s ot h e i rr e a l i t yi sp o o r t h i sd i s s e r t a t i o ni n v e s t i g a t e ss es y n t h e s i so f f a c i a la n i m a t i o ni nt h i sp r o b l e m t h ew o r k so f t h ed i s s e r t a t i o na r ea sf o l l o w s ： f i r s t l y , i th a sc a r r i e do u tt oo b t a i nt h es ea n dt h ef a c i a lm o t i o ns y n c h r o n i z a t i o n d a t ab yf e a t u r e t r a c k i n gm e t h o d t h ea c c u r a c ym o t i o nd a t aa c c o r d i n gw i t hm p e g 一4 a n d a v o i d i n g t h e e x p e n s i v ee q u i p m e n t sc a nb eo b t a i n e d ，a n df a c ea n i m a t i o n p a r a m e t e r s ( n a m e l yf a p ) c a nb ee x t r a c t e df r o mv i d e o ，t h ea u t o m a t i ca c t i v es h a p e m o d e la n dt h em a n u a la d j u s t i n ga r ea d o p t e dt h a tc a ne a s i l yg e tt h es y n c h r o n i z a t i o n d a t a t h e s ea s s u r ec r e d i b l ed a t af o rs e t t i n gu ps es y n t h e s i sm o d e l s e c o n d l y , ap c a b a s e dp a r a m e t e r i z e dm e t h o d o fe x p r e s s i o nr a t i o i m a g e p a r a m e t e r s ( f o rs h o r te r i p ) a b o u ts u b t l ee x p r e s s i o nd a t ai sp r o p o s e d a n dc a l c u l a t e m e t h o do fe r ii si m p r o v e do n m a n ye x p e r i m e n t ss h o wt h a tt h ep r o p o s e de x p r e s s i o n r a t i oi m a g ep a r a m e t e rm e t h o dc a ne f f e c t i v e l ye x t r a c ts u b t l ee x p r e s s i o nf e a t u r eo na l a r g ea m o u n to ff a c i a ls u b t l ee x p r e s s i o nd a t a f i n a l l y , as v r b a s e dm e t h o da sak i n do fo p t i m i z e dr e g r e s s i o ni sp r o p o s e df o r s es y n t h e s i sm o d e lf r o mf a pt os ep a r a m e t e r s t h i sd i s s e r t a t i o nd i s c u s s e st h i sm o d e l b a s e d0 1 3 f o u rd i f f e r e n ts v rm e t h o d s t h e n ，s - i n s e n s i t i v es v mw i t hr a d i a lb a s i s f u n c t i o na sk e m e li sa d o p t e da sp r o t o t y p eo ft h i sm o d e l i ns u b t l ee x p r e s s i o ns y n t h e s i s ， t h er o b u s t n e s so f t h i sm o d e li ss h o w nw h e nf o r e c a s t i n ge r i e b a s e do na b o v em e n t i o n e dw o r k s ，s es y n t h e s i sm o d e li sa c c o m p l i s h e d ，a n di t c a ng e n e r a t e s t a t i s t i c a l l yr e a l i s t i ce x p r e s s i o na n df i t i n t o m p e g 4 f i r s t l y ，t h e e x p r e s s i o ns y n t h e s i ss y s t e mb a s e do nt h i sm o d e li si m p l e m e n t e d ；s e c o n d l y , t h i sm o d e l i su s e di nm o b i l et e r m i n a l ；f i n a l l y , i nh u m a nf a c i a li l l u s t r a t i o n s ，as i m p l ea p p l i c a t i o n o ft h i sm o d e li sg i v e n t h i sm o d e lw o r k sw e l la n ds a t i s f i e st h eu s e rr e q u i r e m e n t k e y w o r d ss u b t l ee x p r e s s i o n ，s u p p o r tv e c t o rr e g r e s s i o n ，e x p r e s s i o nr a t i oi m a g e ，f a c e a n i m a t i o n ，m p e g 一4 l l i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名 导师签名：磕聋量卓 日期：里：星 第1 章绪论 t 1 研究意义及应用领域 早在1 8 7 2 年，c h a r l e sd a r w i n 就在他的著作t h ee x p r e s s i o no f t h ee m o t i o ni n m a na n d a n i m a l s ) ) 中对人脸表情进行了深入研究。随着计算机的出现和发展，细 微表情在计算机图形学、数字图像处理和计算机视觉中越来越受到重视，并且有 着极为广泛的应用领域，同人们生活密切相关。事实证明：在大多数情况下，阻 碍计算机用户的生产力提高最大因素不是计算机处理能力，而是用户与计算机交 互的方式。从二十世纪八十年代，图形用户界面g u i 的诞生极大地促进了计算 机的生产力，但是g u i 还远远不同于人与人之间的交互方式。本文所研究的具 有细节纹理的表情合成，比以往g u i 界面更接近于自然人与人之间的交互方式， 势必将极大缩小人与机器的距离，从而向理想和谐的人机界面形式迈进了一大 步。 近3 0 年来，真实感三维人脸动画成为计算机动画研究的一个热点问题。人 脸动画的成果可以广泛的应用于电影广告、电子游戏、虚拟会议、辅助教学、医 疗研究等领域。人脸面部动画作为人体语言的一部分，对于交流信息的理解和辅 助交流有着重要意义。人脸合成技术对于真实感的游戏场景提供新的思路。文 献 2 的实验结果表明，面部动画有助于用户理解噪音环境下的讲话内容，使得 服务对用户更具吸引力。计算机合成的网上播音员a n a n o v a 可以2 4 小时连续发 布新闻 3 人物动画也已经用于通信系统的接口，如a v a t a r s 4 1 。 细微表情合成的应用范围十分广泛。总体而言，主要有以下四方面： 1 人机交互：人类语言是由自然语言和人体语言组成的，在人与人的通讯 及面对面交流过程中，自然语言和人体语言同时或联合传递信息。其中 自然语言包括1 3 语( 语音) 和书面语言( 文字) ，相应的，人体语言包 括手势、表情、体势等方面。而其中面部表情是最具表现力的方式。 2 游戏娱乐：在各种真实感强的三维游戏场景中加入逼真的表情模型，将 使得整个游戏成为真正的三维游戏同时增加用户的沉浸感。在各种娱乐 项目中，如果和用户娱乐的是一个智能虚拟人，将让用户感到更加真实 北京工业人学硕士学位论文 和亲切。 3 电影制作：正如公众媒体所报道的，人脸动画最显著的应用是电影和录 像的制作，动画被广泛地用于电影特殊效果的制作，例如：表现一些实际 不可能发生的情况，因为不必实时实现，所以这个应用对技术的限制最 少。从玩具总动员、真实的谎言、夺面双雄到黑与白、( m a g i c 等h t v 的制作中都无不体现了人脸造型和动画技术的魅力。 4 通信：使用人脸动画在工业上的一个最大应用当属：传送人脸图像时减少 带宽。英国广播公司，d e c 平n s o n y 就是从事该行业的几个大公司。通过传 递相应运动的参数数据而不是整个图像，可以减少大量的传输数据 ( p a r k e ”1 ) 。因此，有必要进一步发展人脸运动分析和综合技术。使通信 事业充分利用脸部动画技术的优点。 真实感强的三维人脸动画关键在于人脸表情以及其他细微特征的刻画。在刻 画人脸表情上，除了一般的形变特征外，更重要的需要刻画出人脸细节纹理变化 特征，目前这方面的研究还很不深入。 1 2 国内外相关研究 传统的人脸动画方法一般只使用一张中性表情的纹理，主要工作都集中在人 脸几何曲面的变形控制上6 1 。这些方法把纹理映射到网格上，在动画过程中随 着网格的变形，纹理也相应的拉伸。但是，人脸是一个非常复杂的几何体，人脸 的复杂表情不仅仅是面部特征的位置变化，而且还有许多细微的形变，比如皮肤 的褶皱。这些细微形变是人脸表情的重要组成部分，由于实现这些细微形变需要 极其精细的人脸模型和非常复杂的形变控制，因此应用传统的人脸动画方法实现 起来非常困难。虽然传统的方法也能最终生成各种表情，但缺乏细微表情特征的 动画显得不够生动和真实，如何表现出表情的细微特征是实现具有高真实感三维 人脸动画中的一个亟待解决的问题。在现有的技术条件下，要想表现人脸的这些 细微特征，一种可行的思路是：并不真正在模型上产生微小的形变，而只是修改 纹理，用在纹理图像上进行的亮度或颜色变化来表现这种微小形变，从而在视觉 上达到皮肤产生褶皱的效果。 2 第1 章绪论 1 2 1 人脸的网格表示 在人脸表情动画真实感方面的研究，包括形状和纹理。人脸建模和动画的开 创性工作是p a r k e 在2 0 世纪7 0 年代做的【“1 ，他提出了人脸的网格表示( 如图1 - 2 ) ， 并比较了优于曲面表示的特点。 图1 - 2 人脸的网格与纹理表不 f i g u r e1 - 2 r e p r e s e n t a t i o n o f f a c i a ls u r f a c e ：m e s h + t e x t u r l ： 文献 1 7 1 用自适应的方法建立非均匀人脸网格，建立真实感的脸和头，输入 动态控制参数产生动画。这种方法可以获得精细的脸部几何纹理结构，合成各种 脸部变形。实现自然的、完全可控的人脸动画。 文献 1 8 采用4 层n u r b s 人脸模型，实现了文本合成的唇动动画系统，由 于b 样条控制的精确性，模型可以任意精度忠实于原始人脸。但是由于b 样条 控制的不是脸部特征，而是基于形状。这样对曲率变化较大的部位理解和实现及 其不便。另外，b 样条无法实现孔、洞等形状，导致模型分割为3 个区域，这样 就无法通过控制顶点运动来实现睁眼、闭眼等运动。 1 2 2 细微表情合成相关技术 一直以来，人脸表情都是计算机图形学的研究热点之一，围绕着这一课题展 开了一系列的研究工作。到目前为止，生成表情的方法主要有： 采用表情映射1 9 ，2 0 ，2 1 1 1 ，2 2 1 或克隆技术【2 3 1 ，可以用于产生2 d 和3 d 人脸动画。 其原理给定某个中性脸和表情脸图像，用手动或者自动的方法确定这两幅图像中 的脸部特征点，然后计算这两簇特征点的差向量，再将这个差向量作用到另外某 北尿工业大学帧士学位论义 个需要映射表情的中性脸的特征点上，最后再变形该中性脸，从而生成新的表情。 这个方法借助两幅参考图像的帮助实现表情的生成，可以解决单纯基于形变的方 法所不能解决的问题。特别是n o h 2 3 的表情克隆技术，解决了人脸表情动画的 重定向问题，新的人脸模型和标准表情库的人脸模型可以是异构的，如图1 3 ( 第 一行是标准人脸几何模型，第二行是y o d a ，上中下三行模型可以是异构的) 。 图1 - 3 表情克隆 f i g u r e l - 3e x p r e s s i o nc l o n i n g 自从1 9 7 4 年p a r k e t 7 1 首先用计算机生成人脸图像以来，3 0 年间计算机图形工 作者在人脸动画方面的研究取得了许多成果：l e e ( s 】等人采用基于物理的肌肉模 型来产生人脸动画。l i u 【2 4 】等人用人脸视频作为输入，在手工标记5 个特征点后 可自动生成三维人脸模型，同时产生与视频相应的人脸动画。k o c ho o i 等人在 w a t e r s 肌肉模型6 1 的基础上，采用了有限元的方法来产生人脸表情。w i l l i a m s t ”】 采用行为驱动的方法来产生动画。以上这些方法各有侧重点，解决了人脸动画中 某方面的问题，但是这些方法都没有考虑人脸部细微特征的变化，缺乏真实感。 细节纹理合成采用基于形变技术【2 5 2 8 ，2 9 1 和e r i 技术 3 0 - 3 2 1 ，可以产生具有细节 纹理的照片真实感效果。 基于形变的方法阢2 7 , 2 8 , 3 4 1 ，即通过在两个已有的表情之间做形变得到新的表 情。实际上是通过插值含有不同光照反映信息的人脸细微表情而得到新的细微表 情，与此同时，也对纹理中的光照信息进行了插值，就得到了新的细微表情。例 如p i g h i n l 2 5 1 通过全局融合和局部融合产生新的表情。如图1 4 。这种方法需要建 立真实细微表情库，生成的效果逼真，具备各种细微特征。但只适用于特定人， 制作过程复杂，通用性不强。在行为驱动动画中，人的脸部表情是不断变化且不 4 第l 章绪论 可预知的，因此需要有极大量的样本来供选择，而这几乎是不可能的。同时这种 方法要求必须有至少两幅己知的图像，但在多数情况下，我们只有一幅已知图像 即中性脸图像，这使得单纯基于形变的方法难有用武之地。 惊讶 中性表情 悲伤担心 喜悦假笑 图卜4 真实感表情的全局融合与局部融合 f i g u r e1 4r e a l i s t i c e x p r e s s i o n ：g l o b a la n dl o c a l a m a l g a l i l a t i o n 近年来已有越来越多的研究人员研究人脸动画中细微特征的表现方法。 o u e n t e r 2 9 1 等人在模特脸上标点，用6 架照相机同时采集人脸表情，然后重构人 脸网格，并生成不含标定点的纹理。由于纹理总是用真实的表情照片生成，两不 是靠拉伸得到，因此可获得生动的动画效果，但是他们的动画只适应于特定人模 型，且制作过程复杂，无法实时产生动画。p i g h i n 2 5 1 等人也采用多架相机采集模 特的基本表情，然后用拼接纹理的方法来产生该模特更多丰富的表情。由于建立 了真实的细微表情库，所以生成的效果逼真，具备各种细微特征。他们的工作同 样只适应于特定人模型，制作过程也很复杂，通用性不强。 l i u 如l 等人提出了一种新的面向纹理图像变化的方法e r j ( e x p r e s s i o n r a t i oi m a g e ) 技术。他们计算出了同一个人的某种表情图像与中性表情图像每 点的亮度比，再把求出的亮度比叠加到另一个人的中性表情图像上，从而使第二 个人产生第一个人所具有的表情，如图1 5 。本质上是基于视点的光照变化信息 提取。这种方法产生的效果逼真，也可用于不同光照的细微表情合成，但是仅限 于二维人脸图像完整表情的克隆。但是将e p d 方法直接应用到行为驱动动画上还 北京工业大学硕士学位论文 存在一个问题：要获得某个人某种表情脸图像，必须有一幅已知的表情脸图像( 即 一个样本) 与之对应。j i a n g t 3 2 l 提出局部e r i ，只使用一张中性细微表情，不需要 随着表情的变化而从图像中获取相应的纹理。而且p e r i 库只需要一次性建立， 对所有的模型部可以使用同一个p e r i 库，具有通用性强、使用方便、自动化程 度高等特点。与l i u f 3 0 1 的工作不同在于，其着重于整体表情的克隆，而j i a n g f 3 2 l 则把人脸表情的局部细微特征分离出来，对这些局部特征进行参数化控制，并且 正确、有效地应用在三维人脸动画当中，可以更灵活的合成细微表情。t u l 3 】采 用了由显卡支持的凸凹映射技术将e r 作为深度图像与几何变形后的图像b g 合 成新的表情，可以合成新的3 d 人脸表情，具有较高的合成效率。 图1 - 5 思考表情及其映射 f i g u r e l 5t h i n k i n ge x p r e s s i o na n di t sm a p p i n g 对于给定非对齐的图像a l 、a l 和b l ，捕获光照变化的e r i 算法： 1 找到图像a l 、a 1 ，和b l 上对应的人脸特征点( 可用手工或一些自动的方 法) 。 2 计算a l 和a 1 的特征点位置的差向量。将b 1 沿该差向量做几何变形后记 为b 。这是传统的表情映射技术。 3 将a l 、a l 通过变形达到与b g 像素级对齐，并分别记为a 和a ，a 4 计算比率图r ( u ，v ) = a ( u ，v ) a ( u v ) 。 5 对每个像素计算b = r x b g 。 第1 章绪论 1 2 3 细节表情合成发展趋势 从2 0 世纪9 0 年代以来，逐渐发展起来的基于图像的建模与绘制技术，对于 真实感人脸的生成是通过选取一些不同角度的人脸图像，并对其中至少两幅图像 标定特征点，然后数字化口5 1 。 随着计算机视觉技术在人脸分析上的逐渐应用，近来又出现一些新方法【2 9 越 3 6 1 ，使用数字化仪获取人脸全景三维轮廓信息。文献 3 5 中采用3 d 激光自动扫 描仪可以对人脸等三维物体扫描1 0 5 以上数量级的三维点，由此建立3 d 几何模 型，经过纹理映射后可生成具有细节纹理的真实感人脸表情。这样可以避开对真 实人脸上的皱褶和细微的颜色和纹理变化建模，减少控制点个数，但增加了图像 处理的难度。 从以上研究可以看出，真实感人脸细微表情合成工作涉及了网格的约束与几 何纹理之间的形变关系，以及细节纹理的获取与合成。几何纹理合成是在受约束 人脸网格几何模型上，通过网格顶点进行纹理映射。而细节纹理合成则是在不同 表情的人脸几何模型上，依据网格顶点对应关系，对不同表情的纹理进行全局或 局部融合。或者，提取e r ie 3 0 1 直接在纹理或者人脸三维模型上合成具有细节的真 实感纹理。 因此，就有必要深入研究人脸表情运动产生的网格形变是如何影响细节纹理 变化，以及这种影响程度。 1 3 本文的主要工作 本文所涉及的研究课题得到国家自然科学基金项目( 6 0 3 0 3 0 1 8 ) 资助，国家 8 6 3 研究发展计划( 2 0 0 1 a a l l 5 1 3 1 ) 资助，国家奥运科技专项( 2 0 0 1 b a 9 0 4 8 0 8 ) 资助 和中科院计算所青年领域前沿基金( 2 0 0 2 6 1 8 0 1 7 ) 资助。 本论文的主要工作为：基于大量面部表情视频数据，利用支持向量回归的方 法，解决真实感人脸动画中的由运动参数直接预测、合成缅微表情问题，从而实 现逼真的人脸表情动画。 以下是本文的结构： 7 北京r 业大学琐士学位论文 第一章：绪论；介绍了人脸细微表情的研究背景、研究意义，综述了真实感 人脸动画中细微表情合成问题以及当前的研究状况，提出了研究的主要问题。 第二章：基于f a p 的细微表情合成技术；介绍了m p e g 一4 中相关的人脸动 画标准、基于e r i 的细微表情技术及其参数化和相关的数据采集方法，并给出了 基于f a p 的表情动画方法。 第三章：对细微表情中e r i 参数化方法的改进；提出基于平均人脸模板的 e r i 计算方法，分析了e r i 的参数化方法，并提出基于主元分析p c a 的e r i 参 数化方法。 第四章：对基于f a p 的细微表情合成方法的改进；先给出了细微表情的数 据表示方式，然后分析了用于训练细微表情合成模型的支持向量回归原理、算法 和适用范围，最后提出并说明了采用s v r 方法建立基于f a p 的细微表情合成模 型的过程，以及基于该模型的表情动画合成算法。 第五章：实验结果及应用；对比测试了四种细微表情合成模型的优劣，给出 了基于该模型的细微表情合成的对比结果，简单介绍了它在移动终端服务和肖像 漫画方面的应用。 结论和展望：总结了本文工作的成绩和不足，并提出了今后的研究方向及目 标。 第2 章面向m p e g 一4 人脸运动参数 第2 章基于f a p 的细微表情合成技术 2 1 基于f a p 的表情运动描述 在真实感强的人脸动画合成中，常常采用参数化模型来描述人脸运动特征， 参数化模型建立了高层语义描述( 眉毛上扬，上嘴唇张开等) 到低层网格控制之 间的纽带。因此，一直以来人脸运动的参数化表示是热门研究问题。通常这样一 种运动参数表示方法是对人脸形状及其变形的特征描述。这样的人脸特征描述必 须具有计算复杂性小，同时还有强的表达能力两种功能。目前采用的人脸运动参 数特征表示分为两大类，一类以e k m a n 和f r i e s e n 提出的著名的面部运动编码系 统( f a c s ) 【1 3 1 为基础，这类方法的主要特点是描述独立运动的面部单元，这些 单元与引起面部表情改变的肌肉结构紧密相连。通常这些单元的获取是通过跟踪 网格点实现的。另一类以m p e g 一4 定义的参数为基础阢3 引，这类的主要特点是 给出描述人脸运动的参数，并给出实现这些参数控制人脸变化的机制，通常这些 参数的获取是通过跟踪特征点运动向量得到的。第一类方法的优点在于它与网格 变形紧密相连，这样可以有很好的真实感和逼真度。但缺点也在于此，这种紧相 连使该方法在用于其他网格时需要一定的交互，同时关于人脸运动单元a u 的定 义是由人经验决定的，带有一定的主观性。第二类方法的优点在于良好的可扩展 性以及与低层网格无关性，这种优点使它成为了国际通用标准。 2 1m p e g 一4 中人脸动画标准 近年来，为了适应很多低比特率的视频传输，以图像分析和计算机图形学为 基础的基于模型的编码方法受到广泛重视和关注。i 9 9 9 年1 2 月公布的运动图像 压缩标准( m p e g 4 ) 的第二版中专门提供了合成编码方式 3 9 t4 0 l 。此方法主要通 过图像参数提取、传输和图象合成来实现图像的压缩编码。面部图像作为视频图 像中的一个重要信息已经引起研究者的足够注意。为有效的对面部图像进行压缩 编码，m p e g 一4 研究了面部模型、面部图像分析以及合成技术。 m p e g - 4 是基于对象的多媒体压缩标准。由于人自身在多媒体中占据着十分 9 北京工业大学硕士学位论文 i i i i i i i 重要的位置，所以m p e g 一4 对三维人脸动画格式定义了一个国际标准。m p e g - 4 人脸动画方法通用性强，数据量小，运算复杂度低，特别适合用于通过网络播放 的实时人脸动画 4 j j 。在m p e g 4 标准中用f a p ( f a c i a la n i m a t i o np a r a m e t e r ) 表示人 脸动画参数( 42 ，悖 。m p e g 4 共定义了6 8 种f a p ，每种f a p 描述人脸某一块区 域在某个方向上的运动，比如f a p l 9 描述左眼上眼皮的上下运动，把所有f a p 结合起来就可以表示人脸复杂的表情。f a p 具有通用性，一组f a p 就代表一个 特定的人脸表情，而与模型无关。 m p e g 4 是新一代的多媒体压缩标准，它旨在将众多的多媒体应用集于一个 完整的框架内，为不同性质的视音频数据制定通用、有效的编码方案，提出基于 具体内容( c o m e n t - b a s e d ) 的视频对象( v i d e oo b j e c t ) 的编码标准。m p e g 一4 引 入了合成与自然混合编码( s y n t h e t i ca n d n a t u r a lh y b r i dc o d i n g ，s n h c ) 。对于频 繁出现的视觉对象分别定义了它们的纹理形状和动画参数，它预见到虚拟人脸动 画在将来的应用中会占有重要的地位。因此在专门的s n h c 小组中对人脸合成及 动画进行研究，将人脸作为个专门的研究对象，并且为人脸动画制定一系列的 标准。用人脸定义参数( f d p ) 描述特定人脸纹理形状模型与通用人脸模型之间 的差别，通过接收到的各种f d p ，能把通用的入脸变换成由其形状和纹理确定的 特定人脸。用人脸动画参数( f a p ) 描述特定的人脸表情与中性表情的变化关系， 通过接收到的各种f a p 能生成人脸的动画和各种表情以及与声音同步的嘴唇活 动等。 图2 - 1 基于m p e g 一4 的人脸动画系统 f i g u r e 2 1f a c i a la n i m m i o ns y s t e mb a s e do nm p e g - 4 1 0 第2 章面向m p e g - 4 人脸运动参数 i i 在基于m p e g 一4 的可视电话和可视会议系统中，人脸图像的传输可以按以 下过程实现：首先从发送端向接收端发送一次f d p 参数，接收端接收到f d p 参 数以后建立特定的三维人脸模型，此后的传输过程中，发送端只需发送f a p 参数 值，接收端接收后，根据f a p 值调整特征点位置，便可以合成出相应的人脸动画 ( 视频帧序列) ，实现人脸表情与动画的传输。这种基于m p e g 一4 的人脸图象编码 方式，可以极大的压缩数据传输量。这样的合成编码不仅可极大地提高编码效率 ( 可获得i k b p s 的超低码率) ，而且为制作新的人脸这样的对象提供了方便，可 用于实现虚拟电视会议系统，丰富用户与场景的交互。 总之，m p e g 一4 支持的脸部动画系统属于参数化模型一类。其总体框图如图 2 1 所示。 2 2m p e g - 4 中人脸表情参数化标准 在m p e g 4 中与人脸动画相关的定义主要为：人脸定义参数f d p ( f a c i a l d e f i n i t i o np a r a m e t e r ) ，人脸动画参数f a p ( f a c i a la n i m a t i o np a r a m e t e r ) 以及人 脸动画参数单元f a p u ( f a c i a l a n i m a t i o n p a r a m e t e r u n i t ) 。f d p 提供人脸特征点、 网格、纹理、人脸动画定义表等数据，有了这些数据就可以把一般人脸转化为特 定人脸。 2 2 2 1f d p ( f a c i a id e f i n i t i 0 1 1p a r a m e t e r ) f d p 在m p e g 4 的一段动画中通常只需要传送一次，而紧接着f d p 之后传 送的就是经过压缩的f a p l 3 5 j 。在一个f 工) p 域中般应包含以下五部分内容： l 、f e a t u r e p o i n t s c o o r d ：指定网格中所有特征点的坐标。 2 、t e x t u r e c o o r d s ：指定所有特征点在纹理上的坐标。 3 、u s e o r t h o t e x t u r e ：指定纹理的类型。知道纹理类型，才可以正确地计算 非特征点在纹理上的坐标。 4 、f a c e d e f r a b l e s ：即人脸动画定义表，描述f a p 对人脸网格变形的控制方 式和参数。 5 、f a c e s c e n e g r a p h ：包含一张纹理图像或者一个上色的人脸模型。 在m p e g 一4 标准中定义了f d p 的8 4 个人脸表面特征点，如图2 - 2 所示， 对于其他如网格、纹理、人脸动画定义表等内容没有具体的限定。 一；一7 t y 2 ：警芎穸z心陛：52 穹。 。：爹。， 3 o3 9 r i g h te y e l e re y e ) 7 ” ，( 疋疋天天入 i f 一 2 t e e t h 一一一一一一、一、 、芦歹二夏歹 、7 一t o n g u e f e a t u r e i n h a f f e d e d w p oo t h e r f e a t u r ep o i n t = 图2 - 2 人脸定义参数 f i g u r e 2 2f a c i a ld e f i n ep a r a m e t e r s 中性脸是m p e g 4 中所有动画参数中网格模型的各个顶点位移的参照基准 其含义： 坐标为右手系，头部轴线平行于世界坐标系。 视线方向与z 轴方向一致。 所有的肌肉都处于放松状态。 眼帘与虹膜相切。 瞳孔直径是虹膜直径的三分之一。 第2 章面向m p e g 一4 脸运动参数 双唇接触，上下唇交线呈水平状，与嘴角在同一水平线。 嘴闭合，上下齿扣合。 舌头摊平，且舌尖与上下齿缘接触。 2 2 2 2f a p ( f a c i a ia n i m a t i o rf p a r a m e t e r ) 与静态的f d p 参数相对应的是动态f a p 参数，它是m p e g 一4 标准中定义的 一组人脸动画参数。f a p 建立在人脸微小动作的基础上，并且非常接近于脸部肌 肉的运动。事实上，f a p 参数代表了一整套基本的人脸动作，包括头部运动、舌 头、眼睛和嘴唇的控制，可以再现绝大多数自然的人脸表情和唇动。此外，像卡 通中那些人类所没有的夸张表情，f a p 参数也能描述。 m p e g 4 共有6 8 个f a p 。其中前面两个被称作高级f a p ，分别是唇形 ( v i s e m e s ) f a p 和表情( e x p r e s s i o n s ) f a p 。对于唇形f a p 来说，可以预先定 义好一些基本的、不同的唇形，其他的唇形可以由这些基本的唇形线性组合而成： 表情f a t 也是一样的原理，可以用几种基本的表情线性组合出各种丰富的表情。 除高级f a p 外，其他6 6 个普通f a t 分别定义了人脸某一小区域的运动。两个 高级f a p 的作用是更准确、方便地表现一般的唇动和表情，这些唇动和表情用 普通f a p 也可以实现。但是对于复杂、不规则的唇动和表情，则只能用普通的 f a p 来实现。 f a p 的值是以f a p u ( f a c i a l a a i m a t o n p a r a m e t e r u n i t ，人脸动画参数单元) 为单位的这样就使f a p 具有了通用性。计算公式( 2 一1 ) ： 鲥# ：；f p 磊 - f p ( 2 - 1 ) 。 删p u 7 其中，j = 3 。6 8 ；f p 、f p 分别是中性、表情人脸上相对应的特征点。 图2 - s 六种基本的人脸表情 f i g u r e 2 3s i xb a s i cf a c i a le x p r e s s i o n s 北京工业大学硕士学位论文 表情参数从情绪、情感等心理角度来描述脸部表情，标准中定义了六种基本 的表情( 见图2 3 ) 。表情是由一个定义表情活跃程度的值驱动，两种能用一个 加权因子来进行混合。 事实上，表情完全可以由6 6 个底层的f a p 参数的组合描述出来，高层的表 情参数的作用在于当要明确传送的表情时，只需传送一个表情参数就可以了，从 而降低了f a p 的码率。除压缩外，这还是个语义层的参数。 f a p 参数需要不同大小比例的动态人脸，因此就需要在脸部动画参数单元 f a p u ( f a c ea n i m a t i o np a r a m e t e ru n i t s ) 中定义。这个f a p u 是由中性状态下脸 部关键的特征点的距离来定义的。而f a p 的值是以f a p u 为单位的。以f a p u 为 单位的目的是使同样的f a p 参数应用到不同的模型上，产生的是同样的唇动和 表情，而不会因为模型的不同而使唇动和表情走样。这样就使f a p 具有通用性。 f a p 与模型无关，而f a p u 则是与模型相关的。f a p u 是人脸上某段特征长度 在1 0 2 4 尺度上的量化值。具体来说，m p e g 一4 标准中定义了6 个f a p u ，分别 是i r i s d 、e s 、e n s 、m n s 、m w 和a u 。它们的物理意义如图2 - 4 所示，其计 算如表2 1 所示。 z 图2 - 4 人脸动画参数单元 f i g u r e 2 - 4f a c i a la n i m a t i o np a r a m e t e ru n i t 第2 章面向m p e g 4 人脸运动参数 表2 一lf a p u 的计算 t a b l e 2 1c a l c u l a t i o no f f a p u 物理雎元雷义 j ” f a p u 值 + ，嘲s d o 中性脸的虹膜商径( 与上下眼帘之 i r i s d = i r l s d o 1 0 24 + 拶4 譬“糍 间距离相等) = 3 + l y 3 , 3 y = 3 2 y 一 3 4 y j 霾s 0 烈溪之闻距离= 35 x 一36 xs 一辐0 0 2 d e n s 0 腻肄之间距离= 3 5 y 一9 1 5 y e n s e s s o 1 0 2 ，i o 骶s o 嘴鼎之间距离= 9 1 5 y 一2 2 y t i s s = m n s 0 1 0 2 4 _ 姆00 j嘴的宽度= 8 3 x 一8 、4 x m w = m w 0 1 0 2 , i 、。j ，矗莲 恁度攀元 弧壤) l o e - ：5r a d 2 2 基于f a p 的数据采集方法分析 目前的运动跟踪设备很多，如v i c o n ，m o t i o n a n a l y s i s ，q u a l i s y s ，v z 3 0 0 0 等， 他们都可以实现通过在脸上粘贴标记点实现运动数据获取的工作。下图2 5 ( a ) 所示为大多数动画制作方采用的运动捕捉设备 4 2 3 在人脸安放三维反光小球获取 人脸运动数据。使用运动跟踪设备的优点是可以直接得到特征点精确的三维坐标 值并驱动人脸，因此，大多数娱乐电影制作都采用这种方式来完成逼真动画。但 这种方式的缺点在于需要较为昂贵的设备，同时他们大多将主要功能放在人的身 体运动跟踪上( 如图2 5 ( b ) ( c ) 所示) ，对人脸特征点跟踪在后处理以及跟踪的 精确性上比人体跟踪差。再者这些系统都还不完全支持人脸与人体特征点同步跟 踪。还有一点是由于需要在人脸粘上小球，使得一些特殊部位( 如眼睑，眉毛) 运动受到小球干扰而难以获取。因此基于运动跟踪设备的研究大多关注于人脸下 部区域尤其是唇动数据的获取，忽略眉毛运动以及眨眼。 ( a )( b )( c ) 图2 5 几种运动跟踪设备的特征点获取示意图 f i g u r e 2 ，5s k e t c hm a po f s e v e r a lm o t i o nc a p t u r es y s t e m s 北京工业大学硕上学位论文 可以替代跟踪设备的方法是采用基于视频的人脸运动信息获取。基于视频的 人脸运动信息获取根据是否往脸上加标记点又分为两种方法：一种是未标注的人 脸运动数据获取方法，这种方法对取得的人脸图像，使用图像分析和计算机视觉 的技术提取人脸特征点及运动信息。对人脸特征点检测的研究结果表明，根据人 脸面部特征的先验知识和肤色的变化信息，可以提取较为明显的特征点的运动信 息，如：嘴角，眼角，鼻尖，下巴等特