（电路与系统专业论文）虚拟人眼模型及其运动与表情的研究[电路与系统专业优秀论文].pdf

摘要 摘要 人类作为现实生活的主体，也是虚拟世界的活动主体。随着计算机视觉与虚 拟现实技术的发展，虚拟人物设计得到越来越多的关注。人眼是心灵的窗口，人 眼模型及其表情合成的效果直接影响着虚拟人脸的真实感和感情表达能力。因 此，对虚拟人眼模型及其运动和表情的表示与驱动进行研究，有着重要的理论意 义和实际应用前景。 本文的主要研究工作有： 1 提出了一个三维肌肉控制人眼( 3 d m c e ) 模型。该模型根据解剖学原理和运动 特征，将人的眼部分为内部眼球和外部眼睑、眉毛、额头、鼻子等两部分， 分别建立内部类刚体模型和外部柔性体模型。该方法在低数据量的条件下， 提高了模型的运动灵活性和逼真程度。 2 给出了一个三维肌肉控制方法。该方法依据体积不变原理，将w a t e r s 等提出 的肌肉模型中肌肉收缩引起特征点在纵向的运动变化，扩展到包括纵向、横 向在内的三个垂直方向上的运动分量变化，并将其用于3 d m c e 模型，控制 人眼部的运动及表情。 3 提出了多线谱的人眼运动与表情的表示及驱动方法。该方法用各肌肉归一化 收缩量随时间变化的曲线组，即多线谱表示及驱动人眼的运动与表情。并给 出了一种由人眼单视频图像获取人眼多线谱的方法。 4 研究了3 d m c e 模型、人眼多线谱与m p e g 4 标准的关系。根据3 d m c e 模型与m p e g 4 标准定义的人脸模型在特征点、运动参数、尺度及坐标之间 的对应关系，给出了人眼多线谱与m p e g - 4 标准视频流之间的双向数据转换 方法。 上述方法经过了实验验证。实验结果表明，数据量及计算量较小，所得人 眼及其运动表情较为逼真细腻。3 d m c e 模型相比单一网格模型真实感和灵活性 较好；人眼多线谱方法简洁直观，具有较好的普适性。 本文主要研究了真实感的人眼模型及其运动和表情的表示及驱动方法。所用 方法可进而用于人脸模型及其运动和表情的表示及驱动。 关键词：三维肌肉控制人眼模型，归一化肌肉收缩量，多线谱，人眼运动及表 情，m p e g 4 a b s t r a c t a b s t r a c t a st h el e a d i n gr o l eo ft h er e a lw o r l d ，h u m a ni sa l s ot h ea c t i v ea g e n ti nt 1 1 e v i r t u a l 、o r l d d u et ot h er a p i dd e v e l o p m e n to fc o 叫) u t e rv i s i o n ( c v ) a n dv i m 瑚 r e a l i t ) ，( v r ) ，v i r t u a l f a c ed e s i g nh a sb e e nr e c e i v i n gs i g n 循c a n ta t t e n t i o n1 a t e l y p e o p l e se v e sc a nb e w i n d o w si n t ot h e i rh e a r t s t h er e a l i s ma i l de m o t i o n r e p r e s e n t a t i o na b i l i t yo fe y em o d e ld i r e c t l yi n n u e n c et h er e s u l t so ff a c i a lm o d e l 觚【d f a c i a la 1 1 i m a t i o n a sar e s u l t ，i ti ss i 鲥f i c a t i v ef o rb o t ht 1 1 e o 巧r e s e 甜c ha i l dp o t e n t i a l a p p l i c a t i o nt os t u d yv i m a le y em o d e l i n ga sw e l la st h er e p r e s e n t a ：f i o na 1 1 d 碰m a t i o n o fe y em o v e m e n t sa n de x p r e s s i o n s f o u ra s p e c t sa r ed e s c r i b e di nt h i sd i s s e r t a t i o n ： 1 a3dm u s c l ec o n 仃o l l e de y e ( 3 d m c e ) m o d e li sp r e s e n t e d b a s e do n a n a t o m vt h e o r ya n dm o t o r i cc h a r a c t e r i s t i c s ，3 d - m c em o d e lc o n s i s t so ft 、o p a r t s ：t h ei n t e m a lp a n 、v h i c hi sc o n s t m c t e d 嬲r i g i d b o d yo fe y e b a l l ，a n dt h e e x t e m a lp a r tw h i c hi sc o n s t r u c t e da sf l e x i b l eb o d yo fe y e l i d s ，e y e b r o w ， f o r e h e a da n dn o s e ，e t c t h i sm e t h o di m p r o v e st h en e x i b i l 时a n dr e a l i s mo f e y em o d e lw h e nt h ed a t aq 啦m t i t yi ss m a l l 2 a3 dm u s c l ec o n t r o lm e t h o di sp r e s e n t e d a c c o r d i n gt 0m ep r i n c i p l eo f v 0 1 u m ei r a r i a l l c e md e f o n l l a t i o n ，t h i sm e t h o da d d sc r o s s 晰s ed i r e c t i o n m o v e m e mt ot h el e n 殍h w i s ed i r e c t i o nm o v e m e n tw h i c hi sd e 6 n e db y w a t e r s m u s c l em o d e l s om ed i s p l a c e m e mo ff e a t u r ep o i l l t s c a u s e db y m u s c l ec o n t r a c t i o nc a nb ed i v i d e di n t ot h r e eon ：h o g o n a lc o m p o n e n tm o t i o 硒 t h i sm e t l l o dc a nb ea p p l i e dt 03 d m c em o d e l ，a i l db eu s e dt 0c o n 仃0 le y e m o v e m e n t sa 1 1 de x p r e s s i o n s 3 am e t h o dc a l l e dm u l t i c u r v es p e c t m mt 0r e p r e s e n ta i l da n i m a t ee y e m o v e m e n t sa n de x p r e s s i o n s i sd e s c r i b e d t h i sm e m o dd e s c r i b e sa n d a i l i m a t e se y em o v e m e n t sa 1 1 de x p r e s s i o n sw i t l lag r o u po ft i m e v a r y i n g c u r v e so fn o n a l i z e dm u s c l ec o n t r a c t i o n am e t l l o do fc 印t u r i n gm u l t i - c u r v e s p e c t m m 厅o ms i n g l ev i d e oi sp r e s e n t e d 4 t h er e l a t i o n s h i pa m o n g3 d m c em o d e l ，m u l t i c u r v es p e c t n 肌锄dm p e g 4 s t a n d a r df i a c i a lm o d e li ss t u d i e d b 豁e do nt h e 玎e s p o n d e n c e sb e t w e e n 3 d m c e ( 3 dm u s c l ec o n t r o l l e de y e ) m o d e la i l dm p e g _ 4 访f e 栅ep o i n t s ， a n i m a t i o np a r 锄e t e r so fe y em o v e m e n t sa n de x p r e s s i o n s ，c o o r d i n a t e sa r l d s c a l e s ，am e t h o do f 铆o 。w a yd a t a 胁s f o 啪a t i o nb e e nm p e g 4 咖d 莉 v i d e os t r e a i na n d m u l t i - s p e c t m mi sp r e s e n t e d jn ea b o v e m e n t i o n e dm e t h o d sh a v eb e e n t e s t i f i e d b ys e t so fe x p e r i m e n t s t h e e x p e r l m e n tr e s u l t ss h o ws m a l ld a t a q u a n t i t y ， 1 0 wc o m p u t i n g c o m p l e x i 饥l o w c o m p u t m gt i m e ，r e a j i s t i ce y em o d e la n dv i v i d e ”m o v e m e n t sa n de x p r e s s i o n s l o m p a r e d 、t hs i n g i em e s hm o d e i ，3 d - m c em o d e lh a st h e a d 瑚t a g eo f9 0 0 d f l d e i l t ya n de n h a n c e df l e x i b i i i t y m u l t i c u r v es p e c n u mj ss j m p l e ，u n j v e r s a la n d e a s v t h ep r i m a 巧c o n t e n t s o ft h i s t h e s i sa r e a 1 1 i m a t i o n t h em e t h o d sm e n t i o n e da b o v e a n i m a t i o n e y em o d e l i n g ， r e p r e s e n t a t i o na n d c a na l s ob eu s e dt of a c i a lm o d e l i n ga n d k e yw o r d s ：3 dm u s c l ec 。n t r o l l e de y em 。d e i ，n 。肺a i i z e d m u s c l ec 。n 仃a c t i 。n ， m u l t i c u n ，es p e c t r u m ，e y em o v e m e n t sa n d e x p r e s s i o n s ，m p e g 4 图表索引 图表索引 图 图1 1三维动画影片1 图1 2p a r k e3 d 人脸模型2 图1 3w a t e r s 人机交互系统2 图1 4t e r z o p o u l o s 的真实感人脸模型2 图1 5 动画人物设计3 图1 6 虚拟主持人比尔邓3 图1 7w a t e r s 人脸模型及其肌肉向量7 图1 8 p i g h i n 等人制作的人脸8 图1 9多层次人脸模型1 0 图1 1 0 m a s s s p r i n g 系统实例1 0 图1 1 1外力作用下的入脸模型1 1 图1 1 2系统结构1 4 图2 1人眼区域1 7 图2 2眼球的结构1 8 图2 3眼外肌示意图1 9 图2 4左眼水平模型剖面2 2 图2 5左眼上眼睑示意图2 4 图2 6人眼外部模型2 5 图2 7m p e g 4 标准定义的特征点2 6 图2 8眼部特征点f p 示意图2 7 图2 9人脸正侧面照片2 8 图2 1 0 人眼外部的三角形网格2 9 图2 1 1人眼外部的三角形曲面片2 9 图2 1 2人眼外部模型2 9 图2 1 3人眼内部模型3 0 图2 1 43 d m c e 模型3 0 图3 1窄线性肌控制模型3 4 图3 2宽线性肌模型3 5 图3 3括约肌模型3 6 图3 4眼外肌示意图3 8 v 图表索引 图3 5人眼眼球眼外肌的分布及其收缩方向示意图3 8 图3 6 图3 7 图3 8 图3 9 图4 1 图4 2 图4 3 图4 4 图1 5 图1 6 图4 7 图4 8 图4 9 图4 1 0 图4 1 1 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图5 8 图5 9 图5 1 0 图6 1 图6 2 图6 3 图6 4 v 1 人眼外部区域肌肉示意图4 1 实验流程4 2 几何人眼模型眨眼动作序列图4 4 人眼三维运动4 5 眼球左右旋转仿真曲线4 8 眼轮匝肌归一化仿真曲线4 9 多条曲线仿真示意图4 9 人眼运动及表情的多线谱表示5 2 人眼运动的多线谱表示5 3 人眼表情多线谱示例5 4 人眼转动多线谱表示实例5 5 人眼运动序列图5 6 人眼表情的多线谱表示实例5 6 人眼表情序列图5 7 人眼运动及表情仿真序列图5 8 左眼特征点分布6 3 人眼建模实验6 7 眨眼单视频序列6 7 控制点位置6 7 眨眼运动多线谱表示6 7 3 d m c e 模型眨眼运动序列6 8 单视频序列6 8 控制点位置6 8 惊讶运动多线谱表示6 8 3 d m c e 模型惊讶运动序列6 9 3 d 肌肉控制人眼建模7 1 基于m p e g 一4 的人眼运动序列8 0 人眼多线谱8 8 3 d m c e 模型的人眼多线谱驱动8 9 图表索引 表 表3 1人眼部主要肌肉3 7 表3 2人眼睁眼归一化肌肉收缩量数据流4 3 表3 3人眼下转归一化肌肉收缩量数据流4 3 表3 4人眼上转归一化肌肉收缩量数据流4 4 表3 5人眼愤怒归一化肌肉收缩量数据流4 4 表3 6人眼惊慌归化肌肉收缩量数据流4 4 表6 1人眼部f ap 7 2 表6 2闭眼f a p 数据流7 8 表6 3人眼惊讶f a p 数据流7 9 表6 4眼球上下转动f a p 值8 6 表6 5眼球左右转动f a p 值8 6 表6 6人眼惊讶表情f a p 值8 6 表6 7人眼疑虑表情f a p 值8 7 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：啦 如曙年争月多二日 第一章绪论 第一章绪论弟一早三百t 匕 1 1课题研究的背景及意义 自从1 9 9 5 年皮克斯工作室推出世界上首部纯三维动画长片玩具总动员， 并获得1 9 2 亿美元票房以来，几乎每部三维动画影片都是“票房炸弹”。从怪 物史瑞克的2 6 7 亿美元，到海底总动员的3 3 9 亿美元，再到怪物史瑞 克2 以4 4 1 亿美元刷新了美国本土票房三维动画影片( 图1 1 ) 的票房节节 攀升。2 0 0 3 年，动画片巨头迪斯尼公司宣布旗下的平面动画片厂关闭，将其工 作重心逐渐转向三维动画。 图1 1 三维动回影片 f i g 1 1 3 d c a n o o nm o v i e 美国近年推出的3 d 虚拟现实平台s e c o n d l i f e 大热。在这款游戏中，用户通 过电脑进入虚拟的三维世界，构建现实生活中无法实现的梦幻生活，同时众多 国际知名企业纷纷宣布进入s e c o n d l i f e ，在虚拟世界中成立自己的工作部门，从 虚拟现实这一载体进一步强化其品牌形象。 可见三维的虚拟现实对人们带来的非同凡响的视觉冲击和强烈的吸引力， 以及其中蕴含的巨大商机。而虚拟人物是虚拟世界的活动主体，随着虚拟现实 技术的发展，虚拟人物设计成为令人关注的研究课题。 对虚拟人脸的研究要追溯到2 0 世纪7 0 年代。1 9 7 2 年，f r e d e r i c p a r k e 【p a r k ，1 9 7 2 】建立了首个三维人脸运动模型；1 9 7 3 年，g i l l e n s o n 开发出首个 交互式的线条人脸合成和编辑系统；1 9 7 4 年，p a r k e p a r k e ，1 9 7 4 】开发出参数化的 第一章绪论 3 d 人脸模型( 图i 2 ) 。这是虚拟人物研究首个突破性进展，随后，3 d 虚拟人脸 逐步引起人们的关注。 图1 2p a r k e3 d 人脸模型 f i g 1 2 p a r k e s3 de l c i a lm o d e l 随后，2 0 世纪8 0 年代初，p l a n p l a t t ，1 9 8 1 提出了基于物理的肌肉控制人脸 模型，这是关于虚拟人脸模型研究的又一大进展。8 0 年代末，w a t e r s w a t e r s ，1 9 8 7 在p l a t t 提出的肌肉模型思想上，进行了改进，提出了一种新的人脸肌肉模型： 利嗣3 d 扫描技术和成像技术，建立高度细节化的3 d 人脸模型，利用仿真肌肉 和皮肤，实现实时的人脸动画系统( 图1 3 ) 。 图1 3 、v a c e r s 人机交互系统 f i g 1 3 w a t e r sh u m a n - c o m p u t e ri n t e r a c ts y s t e m 同时期还出现了m a g n e n a t t h a l m a m t h a l m 锄，e ta 1 1 9 8 8 】研究小组提出的 肌肉收缩运动模型。 d e m e t r it e r z o p o u l o s t e r z o p o u l o s ，1 9 9 1 ，l e e l e e ，1 9 9 5 等人结合人脸解剖学， 生物学特征以及纹理映射，重建真实感3 d 人脸模型( 图1 4 ) 。 2 0 世纪9 0 年代，随着科学研究工作者对虚拟人脸动画研究水平的提高，虚 拟人脸技术逐步在动画人脸设计上显示出其实际应用价值。比如d o u gs w e e t l a n d 第一章绪论 在动厕人脸设计的应用( 图1 5 ) ，虚拟人辅助教学【c o l e ，e ta 1 1 9 9 9 ，远程会议 系统 c h o i e ta 1 1 9 9 4 ，网络代理人 w 乱e r e t a 1 1 9 9 7 】，唇语理解系统 m a s a r r o ， 1 9 9 7 晏洁，1 9 9 8 】，等等。 | _ 蘩罗卜i 窭。 图1 4t e r z 叩o u l o s 的真实感人脸模型 f i g 1 4t b r z o p o u l o s sl i f e l i k ef 犯i a lm o d e l 随着信息技术和网络技术的快速发展，虚拟人物仿真技术在进入2 l 世纪后， 得到较大发展，并且越来越多地运用到人们的生活当中，比如虚拟主持人，互 动式网络课堂，计算机虚拟人辅助式教学，远程会议系统，虚拟网络代理人等 等。 图1 5 动画人物设计 f 唔1 5 c a n o o nc h a r a c t e rd e s i 印 2 0 0 0 年4 月由英国电脑制作人员推出的虚拟主持人安娜，是第一位比较成 功的虚拟人物代表。2 0 0 0 年1 0 月，上海国际电视节上的比尔邓，成为了中国 的首位虚拟主持人( 图1 6 ) 。 第一章绪论 图1 6 虚拟主持人比尔邓 f i g 1 6 v i r t u a lp r e s i d e rb i l l 2 0 0 2 年，美国电报电话公司( a t & t ) 实验室发布了一个虚拟咨询系统的 d e m o 版本。2 0 0 5 年，中国中央电视台出台了一位动画感的虚拟电视主持人。 c h i h i r o 等人 c h j h i r o ，e ta 1 2 0 0 6 提出应用于3 d 动画的真实感人物表情模型。 k y o u n g h o 等人 k y o u n g h o ，e ta 1 2 0 0 5 】由人脸部转动的视频序列重建出3 d 人脸 及其运动。m a n d u n 等人 m a n d u n ，e ta 1 2 0 0 7 】利用人脸照片提取人脸特征点，估 计深度信息，利用径向基函数变形标准人脸模型，从而重建个性化的3 d 人脸模 型。2 0 0 7 年，微软公司推出了其首个虚拟人脸重建的应用软件。 人眼是人脸中一个重要的感觉器官，同时也是表情和感情的关键载体。眼 睛是心灵的窗户。人眼的真实感和感情表达能力直接影响着人脸模型及其表情 合成的效果。因此，如何有效的表示和驱动人眼模型的运动及表情，以表达丰 富的感情信息，对虚拟人物设计有着重要意义。 尽管对虚拟人眼运动及表情的表示和驱动的研究已经取得了一定的进展， 但是依然有不少不足之处。比如，表示方法多基于图像，所需数据量大；人眼 运动局限于5 7 类特定表情，不能表达复杂的运动和反应真实的表情；驱动条件 对设备要求较高，代价过高；所需数据量大，不能满足实时及传输要求，等等。 因此，如何在普通设备，尽可能少的交互地条件下，表示并驱动具有真实感地 人眼模型，是一个有意义的研究课题。 1 2 虚拟人脸技术的发展历史 目前人脸三维重建的技术有很多，例如l a s e r 扫描，手工绘制，双目视觉， 等 e r s o t e l o s ，e ta i 2 0 0 8 。下面我们从人脸( 或人眼) 运动及表情的建模、表示、 驱动二方面来研究虚拟人眼的研究现状。 第一章绪论 现有的虚拟人脸方法主要可分为基于几何和基于图像两大类。 基于几何的方法多应用于由3 d 空间内关键点集构成的曲面片表示的人脸模 型，直接利用特征点位移或利用其他参数间接计算特征点运动等方式来表示人 脸部运动；基于图像的方法则利用2 d 的图像或视频来变形人脸模型，从而得到 想要的目标人脸状态。 基于几何的方法大致可分为一下几类：k e y 一丘锄i n g 关键帧表示； p a r i a m e t e d z a t i o n 参数化模型：p s e u d o - r n u s c l e 伪肌肉模型：p h y s i c s b a s e d 物理模 型。基于图像的方法则主要包括m o 印h i n g 可变形模型和b l e n d s h a p i n g 混合形状 模型。 一些研究工作者也将基于几何和基于图像的技术相结合，利用表演驱动， 表情编码或者表情映射的方法，来表示及驱动虚拟人脸。 下面我们来分别介绍这四类方法。 1 2 1基于几何的虚拟人脸方法 当前基于几何的虚拟人眼方法多关注于特定的人物状态。主要方法有如下 几类：关键帧插值法，参数模型，伪肌肉模型，基于物理的肌肉模型。 1 2 1 1 关键帧插值法 该方法最早出现于1 9 7 2 年p 砒e 描述的3 d 人脸网格模型的描述中，也是 虚拟人脸仿真最早，最简单的方法。该方法主要思想是利用3 d 网格点重建人脸 网格模型；由3 d 虚拟人脸选择网格点集，计算目标人脸运动及表情的网格点位 移，得到关键帧的人脸状态；通过在时间上对各网格点位移进行插值，获得连 续的虚拟人脸运动或表情。随后，也有不少研究工作者在p 破e 给出的方法基础 上进行了改进，但并没有突破性进展。 该方法的主要缺点是：人脸细节不够真实；需要大量网格点位移作为参数： 不具备普适性，参数因人而异；等等。 关键帧插值法多采用人脸网格点集的关键运动状态来表示人脸运动及表 情。多为离散人脸状态，无法表达连续人脸运动或表情：由于涉及到所有网格 点，因此数据量大。 1 2 1 2 参数模型 第章绪论 关键帧插值法中，需要3 d 人脸模型所有网格点的位移来确定人脸状态，从 而需要大量参数。对此，p a r k e 和w 乱e r s 对人脸多边形网格模型进行了深入研究， 结合人脸运动特征，提出了压缩运动参数的d i r e c tp a r 锄e t e r i z a t i o n 法r p a r k e ， 1 9 8 2 】。在人脸参数模型中，存在两种参数：特定人脸标识参数和人脸表情控制 参数。利用人脸表情控制参数，计算得到人脸模型各网格点的运动。同时期， p e a r c e 等人【p e a r c e ，1 9 8 6 】也提出了参数化网格模型。 该方法的主要弱点主要在于：参数集和特定的人脸拓扑结构相关，因人而 异：没有建立肌肉收缩引起的皮肤厚度变化机制，以及受压状态下的皮肤变形 机制；由于该方法将人脸描述为一种几何的线框结构，仅仅用表面几何形状来 模拟面部运动，没有从生理学角度对人脸运动进行考虑，使得表情不自然；等 在占 守。 参数模型利用压缩后的关键特征点或表情率等参数来表示人脸运动或表情 的状态。由于涉及到特定人脸拓扑结构，因此该方法不具备普适性。 1 2 1 3 伪肌肉模型( 抽象肌肉模型) 随着计算机硬件的迅速发展，计算速度得以极大提升，使得需要较大计算 量的伪肌肉法随之诞生。该方法根据人脸解剖学结构，利用肌肉收缩控制人脸 几何变形，从而仿真人脸运动及表情。 早期有s e d e r b e 唱和p a 力了【s e d e r b e 唱，1 9 8 6 】提出的自由变形，k a l r a ，c h a d 州c k 等人 k a l r a e ta i 1 9 9 2 】提出的有理自由变形，m a g n e n a t - t h a i m a i u ln 等人 t h a l m a l l n e ta 1 1 9 8 8 1 ft h a l m a n n e ta 1 1 9 8 9 】提出的抽象肌肉动作模型等。 m a g n e n a t 的抽象肌肉动作模型的控制参数是“抽象肌肉运动a m a ”过程，这些 a m a 过程与人脸表情编码系统f a c s 运动单元有一定相似性，但不完全相同。 a m a 过程关注运动的顺序，不是独立的。 n o h 等人o h e ta 1 1 9 9 9 提出了一种新的肌肉模型：径向基函数( r a d i a lb a s i s f u n c t i o n ，r b f ) 变形方法。他们将脸部变形的最小单元称为几何变形单元( g d e ) ， 每个g d e 包括一个控制点、控制点周围的影响区域、影响区域边缘上的定位点 和径向基函数，从控制点出发位于指定距离内的网格点都在影响区域中，受到 控制点移动的影响。有边距离和欧氏距离两种距离度量方法，分别适用于人脸 不同部位。对于一个g d e ，将控制点和定位点统称为特征点，影响区域中的所 第一章绪论 有点的新位置都可以通过r b f 插值公式来计算。其后，c h e n 等人 c h e n ，e t a 1 2 0 0 7 1 也在此基础上提出了多级径向基函数方法来合成个性化的人脸。 由于肌肉模型以及驱动人脸行为的内在变形机制的引入，相比较前面两种 方法，该方法更逼真，所需参数较少；但计算量更大，相对复杂，并且由于其 仿真的是肌肉收缩对皮肤表面的影响，而并没有考虑皮肤纹理的变化及皱纹等 因素。 1 2 1 4 基于物理的肌肉模型 p l a t t 和b a d l e r 【p l a n ，e ta 1 1 9 8 l 】最早对肌肉方法进行了研究，对肌肉建立了 弹力模型。在其开发的人脸模型中，人脸表面( 皮肤) 的顶点采用弹性的相互 连接，并通过具有弹性和收缩性的肌肉连接到骨骼上。肌肉收缩的力量通过肌 肉弧的传递作用于弹性网格，从而产生脸部运动及表情。其所有的肌肉运动均 模仿f a c s 。因此，他们将人脸模型表示为人脸区域上的各功能块的集合，多个 局部肌肉块组成控制模型，通过弹性网格相互连接，通过施加肌肉收缩力对弹 性网格进行变形，从而创建各种动作单元。 w a t e r s 等人 w 乱e r ，19 8 7 在p l a t t 等人的模型基础上，对人脸肌肉模型领域做 出了开创性的工作。他以人脸解剖学为基础，提出了一个较为成功的人脸肌肉 模型。该模型既考虑了脸部的肌肉运动，也考虑了脸部的结缔组织层对肌肉运 动的影响。模型将人脸用多边形网格表示，人脸描述为一种层状结构的实体， 层与层之间有许多弹簧相连，采用跟踪非刚性( 柔性) 的面部特征运动，以达 到合成瞬间表情的目的。 图1 7w 舭r s 人脸模型及其肌肉向量 f i g 1 7 w a t e r sf a c i a lm o d e la n dm u s c l ev e c t o r s w a t e r s 对人脸部肌肉对两类肌肉：产生拉伸的线性肌肉和产生挤压的括约 肌，分别建立数学控制模型。对每块肌肉设定其影响区域，其影响因子随着到 肌肉向量点的径向距离增加而减小。最后，利用人脸部的十几条肌肉向量柬控 第一章绪论 制其变形，用基于线性肌和轮匝肌的模型产生了生气、害怕、惊奇、高兴等情 绪动画，如图1 7 所示为我们利用该方法重建的人脸模型。 与p l a t t 的模型相同的是，w a t e r s 也用到了肌肉的弹簧质量模型。不同的是， w a t e r s 的肌肉模型拥有向量属性并独立于人脸基本的骨骼结构，因此可以独立 于特定的人脸拓扑结构，适用于任意人脸。 同时期，l e e 等人 l e e e ta 1 19 9 5 】，t e r z o p o u l o s 等人【t e r z o p o u l o s e ta 1 19 9 1 也对基于解剖学的物理特性建立了人脸模型。 近年来，也出现了些研究工作者将上述方法中的几种相结合起来应用， 各取其长。 1 2 2 基于图像的虚拟人脸方法 基于图像的虚拟人脸技术大致可分为一下几类：照片组变形，纹理修正， 图像融合，表情融合等。 o k a 等人 o k a e ta 1 1 9 8 7 最早将纹理处理技术应用到人脸运动及表情处理 中。他们开发了一套可以实时地将人脸照片中的纹理信息映射到三维人脸网格 模型的系统。 b e i e r 和n e e l y b e i e r f e ta 1 1 9 9 2 提出了由两张照片变形人脸的方法，得到真 实感的3 d 人脸模型。 p i 曲i n 等 p i g h i n e ta 1 1 9 9 8 将二维变形技术与三维转换技术相结合，自动生 成高度逼真的3 d 人脸表情( 图1 8 ) ，其中用到的图像处理技术则是图像融合技 术。 图1 8p i 曲i n 等人制作的人脸 f i g 1 8 p i g h i n sf a c i a lm o d e l 1 2 3 基于表演的虚拟人脸方法 基于表演驱动的的虚拟人脸技术主要思想为：捕捉表演者的运动和表情， 并用以合成或驱动人脸模型，完成相同或相似运动或表情。主要有两种方法， 一种是由数据库中选择数据驱动，或者通过跟踪表演者脸部所帖的多个标记来 第一章绪论 驱动目标人脸。在驱动过程中，可以用到基于几何的或者图像的驱动方法。 w i l l i a m s w i i l i a m s e ta 1 1 9 9 0 】首次通过静态图像之间的差别，改变二维纹理 坐标，从而合成表情。 g u e n t e r 等人 g u e m e r e ta 1 1 9 9 8 】尝试从一段视频流中跟踪获得运动数据； p a n d z i c 等人则利用边缘提取算法，从表演视频中实时提取出人脸标记的运动。 b u c k 等人 b u c k ，e ta 1 2 0 0 0 】利用动作捕捉数据驱动手工绘制的人物。 1 2 4 基于表情编码的虚拟人脸方法 表情编码方法主要基于人脸运动编码系统f a c i a la c t i o nc o d i n gs y s t e m ( f a c s ) e k m a n e ta 1 1 9 7 8 】：通过研究面部肌肉的运动，将脸部会导致人脸运 动或表情的局部分为一个一个运动单元a c t i o nu n j t s ( a u s ) ，对所有可能的人脸 表情所对应的肌肉运动建立数据库，通过面部运动单元( a u s ) 的线性联合来计 算出面部变形，但各个运动单元在联合中的权重是由作者标定的，因此这种方 法只适合于非实时，非自动环境下使用。 1 3 虚拟人眼技术的的研究现状 关键帧插值法和参数法是基于当时较低的计算机硬件和软件水平，其真实 感远远不能达到人类视觉的要求，尤其无法真实细腻的模拟表情丰富的人眼部 区域。而伪肌肉法则可看作是早期虚拟人物设计与肌肉法之间的桥梁。基于图 像或基于表演的方法虽然数据量和计算量较大，但可以获得较好的真实感。因 此近年来对于虚拟人眼模型及其运动及表情的表示和驱动多为基于肌肉模型， 基于图像或基于表演。 1 3 1 基于肌肉的虚拟人眼方法 2 0 0 1 2 0 0 6 年，z h a l l gy u 等研究了皮肤、肌肉和头颅相结合的多层次相结合 的混合模型方法【y u ，e ta 1 2 0 0 1 】 y u ，e ta 1 2 0 0 5 】【y u ，e ta 1 2 0 0 6 】，如图1 9 。采用以头 颅做为定位，以非线性弹性模型来仿真真实感皮肤运动。以肌肉的运动作为动 力引擎，建立线性和非线性控制模型，来控制人眼部运动。该方法重建出了较 好人眼部模型。但由于操作中牵涉到的因素比较多，计算量比较大，应用不是 很方便。 9 第一章绪论 量 图1 9 多层次人脸模型 f i g 1 9m u l t i - l a y e rs k i n m u s c l e s k u l lf a c i a lm o d e l p a s q u 撕e l l o 和p e l a c h a u d p a s q u a r i e l l o ，e ta 1 2 0 0 1 】，b u i 等人 b u i 2 0 0 4 则通过 将模型分为多个子区域，提高了肌肉运动控制效果。 k a h l e r 等人 k a h l e r ，e ta 1 2 0 0 1 】 k a h l e r ，e ta 1 2 0 0 2 】提出了基于m a s s s 砸n g 系统 的人脸驱动方法，其效果图1 1 0 所示。其主要优点在于由于充分考虑了解剖学 中的肌肉控制原理及头骨模型对于人脸几何的影响，因此具有很好的普适性， 从而减少了手动干预的工作。对于人眼部区域的模拟，也更为真实细腻。 图1 1 0m a s s - s p r i n g 系统实例 f i g 1 1 0m a s s s p r i n gs y s t e ms a m p l e t a n g 等人 g ，e ta 1 2 0 0 4 提出了n u i 淝s 肌肉模型。通过改变n u i 出s 曲线 或曲面各控制点的权值来表示肌肉的收缩，其中每条曲线采用3 5 个控制点。这 样，就可以通过改变控制点权值，来控制各节点的运动，从而产生人脸模型各 网格点的运动。由于该方法对于眼睑区域的模拟，相比以往常用的三角形曲面 片而言，更为真实，运动更为自然，但计算量稍大。 z e n g 等人 z e n g ，e ta 1 2 0 0 6 根据解剖学原理，对人眼部区域建立了三维肌肉 控制人眼( 3 d m c e ) 模型。该模型在w 乱e r s 肌肉模型的基础上，将线性肌细分 为：窄线性肌和宽线性肌。并且分别对窄线性肌，宽线性肌，括约肌等三类肌 肉建立3 d 控制机制。使得人脸运动及表情更为细腻生动。 第一章绪论 s i f a k i s 等人 s i f a k i s ，e ta 1 2 0 0 5 】在肌肉收缩原则基础上，将有限元算法引入到 人脸肌肉模型当中。该方法基于对