（计算机应用技术专业论文）真实感三维人脸合成方法研究.pdf

摘拦 摘要 随着汁算机多媒体和网络技术的迅速发展，人们对各种人机交互界面的人性化要求 越来越高。三维人脸合成技术作为虚拟人合成技术的一个重要组成部分，近3 0 年来在 动厕工作者们的不懈努力下取得了长足的进步和发展。真实感三维人脸合成技术的应用 范围非常j “泛，其成果可以应用于虚拟主持人、虚拟会议、辅助教学、医疗研究、电影 制作、游戏娱乐等等，具有重大的理论意义和应用价值。 本文在三维人脸建模、基于m p e g 一4 的人脸动画、人脸动画重定位、细微纹理动画、 人脸动画驱动等人脸合成的关键问题上展开研究，取得如下成果： 1 ) 在三维人脸建模方面，如何便捷、快速、准确的构造三维人脸模型一直是计算 机动画工作者在努力解决的难题。本文提出一种从二维人脸照片到三维人脸模型的构造 方法。该方法输入简单，只需要一张j 下面人脸照片；建模速度快，比国际上同类的三维 重构方法快1 5 倍左右；整个重构过程完全自动。该技术还可以应用到基于合成的人脸 识别方法中，扩充了训练数据，能够在识别算法不变的前提下，大幅提高人脸识别准确 率。 2 ) m p e g - 4 的三维人脸动画框架具有通用性强，便于扩展、数据量小等特点。本 文提出了一种构造特定人脸模型f a t ( f a c i a la n i m a t i o nt a b l e ，人脸动画表) 的方法，可 以驱动本文的标准模型以及与标准模型拓扑结构相同的人脸模型。 3 ) 动画重定位( a n i m a t i o nr e t a r g e t i n g ) 是近年来国际上热门研究课题。本文在已有标 准模型f a t 的基础上，提出了一种构造任意拓扑结构三维人脸模型f a t 的方法，从而 实现了人脸动画数据的复用，并解决了驱动任意人脸模型的难题。该方法只需要在模型 上提取若干特征点就可以应用，具有自动化程度高，速度快，通用性强等特点。 4 ) 传统的人脸动画只采用一张固定的纹理，纹理上的褶皱无法表现。本文提出一 种p e r i ( p a r t i a le x p r e s s i o nr a t i o i m a g e ，局部表情比率图) 的概念，并建立了p e r i 库， 利用p e r i 包含细微纹理特征的特性来表示纹理上的皱褶。在此基础上提出用m p e g 一4 的f a p ( f a c i a la n i m a t i o np a r a m e t e r ，人脸动画参数) 来参数化控制细微纹理特征的动画 方法。为解决不同角度纹理视觉效果的真实性。又提出了多方向p e r i 技术，从而实现 了具有细微纹理特征的真实感三维人脸动画方法。 5 ) 动画数据是驱动一个动画系统必不可少的组成部分。本文介绍了通过视频来获 取动画数据的方法，还介绍了用运动跟踪设备来采集人脸特征运动的数据。最后提出了 一种解决文本驱动中唇动与手语同步问题的方法。 关键词：人脸动画，人脸建模，m p e g 一4 ，动画重定位，细微纹理，动画驱动 a b s t r a c t r e a l i s t i c3 df a c i a ls y n t h e s i s a b s t r a c t j i a n g d a l o n g ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db y ：g a o w e n ( p r o f e s s o r ) w i t ht h eq u i c kd e v e l o p m e n to f m u l t i m e d i aa n dn e t w o r k ，t h eh i g h e rq u a l i t yh u m a n l i k e h u m a n c o m p u t e r i n t e r f a c e sa r er e q u i r e d a so n eo f t h em o s t i m p o r t a n tp a r t so f v i r t u a lh u m a n s y n t h e s i st e c h n o l o g y , 3 dh u m a n f a c es y n t h e s i st e c h n i q u eh a sb e e ng r e a t l yd e v e l o p e di nt h e r e c e n t3 0y e a r s i tc a nb eu s e dw i d e l yi nt h ea r e ao fv i r t u a lr e a l i t ye n v i r o n m e n ts u c ha s v i r t u a lp r e s e n t e r ，n e tm e e t i n g ，v i d e o p h o n e ，r e m o t ee d u c a t i o n ，r e m o t em e d i c a ld i a g n o s i s ， m o v i ee f f e c t sa n dg a m e se t c r e s e a r c ho n3 df a c es y n t h e s i sh a st h eg r e a tv a l u ei nb o t h t h e o r ya n da p p l i c a t i o n t h i sd i s s e r t a t i o nr e s e a r c h e ds o m ek e yp r o b l e m si nh u m a nf a c es y n t h e s i s ，s u c ha s3 d f a c em o d e l i n g ，m p e g - 4b a s e df a c i a la n i m a t i o n ，f a c i a la n i m a t i o n r e t a r g e t i n g ，a n i m a t i o nw i t h s u b t l et e x t u r e ，a n i m a t i o nd r i v i n ge t c t h ef o l l o w i n ga r et h em a i na c h i e v e m e n t si nt h i s d i s s e r t a t i o n ： 1 ) i nt h ef i e l do f 3 dh u m a nf a c em o d e l i n g ，t h em a j o rp r o b l e mi sh o wt oc o n s t r u c t3 d f a c em o d e l s c o r r e c t l y , e a s i l y a n dq u i c k l y i nt h i s d i s s e r t a t i o n ，a ne f f i c i e n t 2 d t o 一3 d i n t e g r a t e df a c er e c o n s t r u c t i o na p p r o a c h i si n t r o d u c e dt or e c o n s t r u c ta p e r s o n a l i z e d3 d f a c e m o d e lf r o mo n l yo n es i n g l ef r o n t a lf a c ei m a g e t h i sa p p r o a c hi sf u l l ya u t o m a t i ca n dt h e s p e e di sf a s t i ti sa b o u t f i f t e e nt i m e sf a s t e rt h a nt h es i m i l a rm e t h o d s t h i st e c h n i q u ec a na l s o b eu s e df o rt h ef a c er e c o g n i t i o nt oe x p a n dt h et r a i n i n gd a t a t h ea c c u r a c yo ff a c er e c o g n i t i o n i ss i g n i f i c a n t l yi m p r o v e d ，w h i l et h ea l g o r i t h m so ff a c er e c o g n i t i o na r et h es a n l e 2 ) m p e g 一4b a s e d3 df a c i a la n i m a t i o nf r a m e w o r kh a st h ea d v a n t a g e so fc u r r e n c ya n d f e wd a t a t h i sd i s s e r t a t i o np r e s e n t sam e t h o dt oc o n s t r u c tf a t s ( f a c i a la n i m a t i o nt a b l e s ) f o r s p e c i a lh u m a nf a c e t h ef a t sc a nb eu s e dt od r i v et h es t a n d a r df a c em o d e l d e f i n e db yt h i s d i s s e r t a t i o na n dt h em o d e l s ，w h i c hh a v et h es a m e t o p o l o g y w i t ht h es t a n d a r dm o d e l 3 ) a n i m a t i o nr e t a r g e t i n gb e c o m e sah o tr e s e a r c ht o p i co fc o m p u t e ra n i m a t i o ni nt h e r e c e n ts e v e r a ly e a r s u s i n gt h ef a t sf o rt h es t a n d a r dm o d e l ，t h i sd i s s e r t a t i o np r e s e n t sa n a p p r o a c ht oc o n s t r u c tt h ef a t sf o ra n yt o p o l o g y3 df a c em o d e l s t h em e t h o ds o l v e st h e p r o b l e mo f a n i m a t i o nd a t ar e u s i n gf o ra n yf a c em o d e l s f u r t h e r m o r e ，i ti sh i g h l ya u t o m a t i c a n dt h es p e e di sq u i t ef a s t 4 ) t r a d i t i o n a l f a c i a la n i m a t i o nm e t h o d su s u a l l yu s eaf a c i a l i m a g ew i t h n e u t r a l e x p r e s s i o n ，w h i c h c a n n o ts i m u l a t et h es u b t l et e x t u r ec h a n g e so nt h ef a c e i nt h i sd i s s e r t a t i o n ， a b s t r a c t t h e c o n c e p to fp e r l ( p a r t i a le x p r e s s i o nr a t i oi m a g e ) i sg i v e n a n dal i b r a r yo fp e r ii ss e tu p t h e f a p s ( f a c i a l a n i m a t i o n p a r a m e t e r s ) a r e u s e dt o p a r a m e t e r i z e t h ep e r la n dt h u s p a r a m e t e r i z et h es u b t l ef a c i a le x p r e s s i o nc h a n g ei nf a c i a la n i m a t i o n ，a tl a s t ，t h em u l t i - v i e w p e r im e t h o di s p r e s e n t e d ，w h i c h c a ng e n e r a t er e a l i s t i cf a c i a l e x p r e s s i o n i nd i f f e r e n t v i e w p o i n t s 5 ) a n i m a t i o nd a t aa r ea b s o l u t e l yn e c e s s a r yi na na n i m a t i o ns y s t e m t h i sd i s s e r t a t i o n i n t r o d u c e st h em e t h o d st o a c q u i r ea n i m a t i o nd a t ab yv i d e oa n d3 dm o t i o nc a p t u r e t h e m e t h o dt os y n c h r o n i z et h et i pm o t i o na n d g e s t u r e i nt e x td r i v e ns y s t e mi sa l s od i s c u s s e d k e yw o r d s ：f a c i a la n i m a t i o n ，f a c em o d e l i n g ，m p e g - 4 ，a n i m a t i o nr e t a r g e t i n g ，s u b t l e t e x t u r e ，a n i m a t i o nd r i v i n g i i 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。就我所知，除了文中特；j t i ；h n 以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的醴明并表示了谢意。 作者签名：薹茯五 日期：嘶21 7 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复e 1 1 f 4 ：， 允4 , q ：论文被查i n c h 借阅；并可以公布论文的全部或部分内容，可以采用影 印、缩印或其它复制手段保存该论文。 懈虢差茯荡删繇南j 嗍沙m 7 第一章绪论 1 1 研究背景及意义 第一章绪论 虚拟人合成研究的目的是建立人在计算机生成空间中的几何特性与行为特性的逼 真表示。虚拟人脸作为虚拟人的一个重要组成部分越来越普遍的出现在人性化的计算机 演示以及人与计算机的交互过程中，真实感三维人脸合成研究就是要研究如何在计算机 中真实的表现三维虚拟人脸部的外观特征和运动变化。 1 1 1 真实感三维人脸合成的研究内容和理论意义 三维人脸合成研究通常可以分为两大部分：人脸建模与人脸动画。入脸建模是指把 人的头部( 或面部) 在计算机中真实的再现出来。在计算机中，三位形体的表示可以采 用三种模型即线框模型、表面模型和实体模型 1 】。在线框模型中，以一组或几组轮廓线 来表示形体。轮廓线或者是折线或者是曲线。而在表面模型中，以多变形或曲面来表示 形体的表面。常用的曲面有h e r m i t e 曲线曲面、b e z i e r 曲线曲面、b 样条曲线曲面等。 采用实体模型的表示方法有空间分解表示法、构造实体几何表示法等。三种模型的侧重 点不同，适用的场合不同。线框模型的核心是线，它是真实形体的高度抽象，通过线框 模型也许能观察到在其他模型中不易看到的形体的拓扑结构( 点、线等的连接方式和相 互关系等) 。另外，线框模型表示简单，对其处理效率非常高。表面模型的核心是面， 每个面有法向，纹理等属性，面与面之间存在遮挡关系。因此，它适合于真实感图形显 示。实体模型注重于体，即一个物体实际占据的空间和位置。由此可以方便的在不同物 体间进行各种运算( 如布尔运算) 以构造新的物体，还可以表示诸如材料、质量、重心 等物理性质。它较多的应用在各种计算机辅助设计与制造系统中。实体模型的缺点是不 能直接用于显示。如果要显示以实体模型表示的物体，必须首先将其转换成其他两种模 型，然后再显示。当前在计算机中最常用的是线框模型，本文的工作也是在线框模型的 基础上完成的。具体来说，表现一张人脸通常都采用网格加纹理的方法，其中网格多由 三角形组成，用以构成人脸表面的几何形状，而纹理表现人脸表面的颜色特征。把纹理 映射到网格表面就可以生成真实的三维人脸模型。人脸动画是指通过某种控制手段使计 算机中的人脸模型产生形状或纹理上的变化，从而可以表现各种脸部的运动、表情、唇 动，甚至是栩栩如生的脸部动画。 在人与人之间面对面的交流过程中，往往同时使用自然语言，肢体动作以及表情来 传递信息。虽然其中自然语言占据了主要的成分，但是表情、动作能够表达和传递很多 文字无法表达的情感，是人类交流过程中非常重要的一种手段。以前，由于设备、技术 牛毽葶争擎虢擗士掌垃论文舞舞臻三维夫靛台成方洼鹾究 筹困豢的袋裁，在人与诗棼捉数交流过攘中，主要采用文字、语音等手段，实骣上这_ 簿 不完全满是a f 变滚熬纛黉。麓着礴终遴镳帮多媒谚技术麴飞速笈装，在薅寒麴嚣秘人 概交互界面中，为了让後嗣漕究分感受捌自然、亲切、具有人性他的癸嚣，需黉研究虚 拟人合成及棚关技术。由于人脓能够展现多种表情，表达丰富的感情内容，是真实感康 镞夫不或袋翁缀蠛黧分，掰虢舞实感入狳逡攘窝葫溉臻究又霆蕊羧天台残巾一令簿褰 震癸靛_ 嚣= 节，暴露重要懿攥谂磷究蛰壤。 1 1 2 真实感聂缎人脸台威的成用 爨实惑三缝入验合袋瘟弼繇常广逡，主簧包括羧下尼个方嚣： 1 ) 入机交互界面：人类谲吉是由融然诺言和人体语密组成的，在入与人的通讯及 瓣对蕊交流过程中，自然潺富鞠人体谮富同时或联台传递信息。其中巍然语言毽撩添窘 秘文字+ 入赣添富逸摇手势、袭篱、搭势簿。竞善帮游瓣天壤交夏凳鸯爨爨语言还不够， 衷情、手势髓髓缀婷表示褥啬、文字嚣法表达静情感良容。在未寒酶入税交嚣癸磊中， 用户所见到的不仅仅是菜单文字，三维魔拟人将是人性化入机交飘界简的发展趟势。 2 辩戏娱矮：游戏产犍在旋l e 年翁发袋异常遗遽。2 0 0 3 每美国彀子游戏镄整惑壤 遮鬟了1 0 0 戴荧元慧至蓑逑了墩影票纛毂入黪鳄毯荚元；在孛篷，1 9 9 3 年溺络涝戏熬 产镀约2 0 亿入民币，是中函电影产监收入的2 倍，褥鼠在今后几年中漏网络游戏产她 预计将以每馨1 1 5 的速威持续增长。目前嗽予游戏的两大发展方向怒嘲络化和三缭化， 三缀艨熬灭貔在游戏串瑟缀燕一个菲鬻黪薅魏元素，凑爽骥三缍人验赍戏援零粼褰游戏 纛羧氖色戆囊疆上莛有至关垂蒙魏诺爨。 3 ) 虚拟仿真；计算机廉拟环境中需蔡脊虚拟人角色，比如虚拟会议、运动仿赢鳟。 离旗凝的表现纛揪人需要粪实感三维人黢合成技术。 痒) 辖耪教学：三燕太簸援缎技零霹致敷矮子黼黢茨鬻教攀，露纛羧疆黢瓣傍蒸镄 蕊来辕导发裔霭难的入嚣，魄皴聋久掌麓说话，残军入学习乡 语笈裔镣等。 5 ) 医疗研究：用极其真安感的人脸模型作为虚拟瘸人供医生绦习学术歼刀，崴者 霪蠛痍变部分供黩生磅究。 巷) 箕镪羟悉：在瓣绦逶谖申鑫鬻三雅羧墼嚣鼗蘸数援壤疆霹戳蠢袋懿节餐褪簇麓 数搽传输量。在电影制俸、广镑宜传、虚撤盎持人等方西囊实感三维入脍合成技术都有 广泛的应用前最。 1 2 逆继天戆客成磷究臻获 膊史上，p a r k e 是第一个殿计算砉眭坐成人脸圈致麴入f 2 】，他开始予用一种非常秘缀 豹多逑形寒袭示入翁头帮绥鞠，著在1 9 7 4 冬实溪了第一个参鼗德豹入黢穰鳌【3 翘。程 迭之箍的3 毽冬溺，三维人簸合成技拳褥甏了突飞鼗避懿发震。 下面从入脸建模和人脸衲颇两个方蕊介绍计算帆三雅人脸合成研究的现状。 童 第一章绪论 1 2 1 三维人脸建模研究现状 人脸建模是一个从无到有的过程，根据实现原理不同，目前已有的三维人脸建模方 法可以分为4 大类：手工建模、特征建模、扫描建模、统计建模。 1 ) 手工建模：制作者借助三维制作软件，比如3 dm a x 、m a y a 等，在计算机中绘 制出三维人脸模型。这种方法的优点是易于实现，不受环境影响。缺点是制作费时费力， 模型效果好坏基本取决于制作者的绘制水平，因此对制作者有很高的要求，一般需要经 过专业的训练才可以。 2 ) 特征建模：这种方法一般是从照片或视频中提取人脸特征点，将不同角度提取 的相同特征点进行对应计算出特征点的空间坐标，然后用这些特征点坐标插值变形一张 中性人脸网格，从而重构出三维人脸模型。 在上世纪9 0 年代初，t a k i m o t o 等人用两张人脸照片来建立人脸模型 5 】。首先从正、 侧两个互相垂直的方向拍摄两张人脸照片，两张人脸照片上分别用矩形标出眼睛、鼻子、 嘴等关键特征所在区域，在每个区域中搜索图像边界从而确定具体特征点的位置，然后 根据正侧面相同特征点的对应关系确定特征点的三维坐标，再用特征点的坐标来插值变 形一个中性人脸网格，从而构造出特定人的三维人脸几何模型。把正侧面人脸照片投影 到环绕人脸模型的圆柱面上，重叠的部分进行融合实现平滑过渡，这样就生成了模型的 纹理。这种方法的优点是简单易行，在后来的人脸合成研究中被大量使用。但是实际操 作中这种方法很容易产生较大的误差，模型效果欠佳。 p i 曲i n 等人 6 】开发了一套系统，他们从5 个角度拍摄人脸照片，在每张照片上手工 标出1 3 个特征点的位置以及一些特征曲线，通过这些特征的对应对中性人脸网格进行 变形从而得到特定人的三维人脸几何模型。在提取纹理上，他们提出两种方案，第一种 是视角无关纹理，即用5 张照片组合成一张固定纹理；第二种是视角相关纹理，即根据 视角变化，5 张照片用变化的加权系数来合成纹理。视角相关纹理的效果要比视角无关 纹理稍好，但是需要实时处理。p i 曲i n 的方法可以生成具有相当真实感的三维人脸模型， 但是需要大量的手工工作，难以推广。 微软研究院的l i u 等人【7 】用人脸视频作为输入，用户需要在其中两帧中各标出5 个 特征点，然后在视频中计算并对应角点就可以自动生成与视频相应的三维人脸模型。该 方法操作简便，但是由于角点的自动提取误差较大，导致模型几何表面的误差也比较大。 3 ) 扫描建模：l e e 等人【8 】用三维扫描仪来创建人脸模型。这种方法得到的模型非 常精细，准确度也高。但是设备本身造价昂贵，而且模特必须在场，扫描后的模型还需 要经过软件处理，排除扫描中的一些错误结果。这种方法只能适合一些对模型逼真度要 求很高的应用，但由于操作条件苛刻，无法推广。 4 ) 统计建模：v o l k e rb l a n z 等人 9 】提出了一种基于统计的人脸建模方法。他们用三 维扫描仪建立一个三维人脸库，对于一张正面人脸照片，用库中人脸模型线性组合的正 3 中国科学兢博i ：学位论文真实惑三罐人验台成方法研究 甄投影去遂运这张照片。缀惹怒组合瓣入验模型谈为楚照片中入脸躲模型。这； 孛延模方 法的优点是输入简单，只需要一张正瑟照片，而且合成的人脸模型不会有奇异的失真。 缺点是准备工作多，建人脸库比较麻烦，所建模型役纵深方向会谢一定误差。 1 2 。2 三缍入黢魂画疆竞瀵装 计算机生成的人脸通常都基于网格模型，这种模溅是由几何网格与纹理组成，已经 落遍被大家所采用。要驱动基于网格的人脸模型并产量l 三人脸动画，就需要从网格秘纹理 蕊令方瑶对入脸模登透霉亍羧潮。当蔻羽入验动西方法多耱多样，本文簌潮格控翻方法、 纹理生成方法以及驱动技术三个方面对入脸动画方法进行分类。 1 2 。2 1 网格控制方法 人脸表情变化的一个最基本的特征怒人脸外形的改变，而在人脸动画中人脍几何形 状是依靠网格来表现的，因此如何控制网格的形变是人脸动画中必然要解决的技术。现 商斡入脸网揍控制方法毒： 1 ) 关键帧：关键帧方法是在两个不同对亥l 进行建模，得蓟撩应的几何模溅，然看 在这两个时刻的模型之间谶行插值，得到中间时刻的几何模型，由此可以得到不同时刻 人脸的表情载运动。关键帧技术是最传统和最原始的动画方法，容易实现，但怒工作量 缀大。 2 ) 参数模型：p a r k e 最早引入了人脸参数模型【2 】，指出有两种参数应被考虑：特 定人标识参数和人脸表情控制参数。特定人标识参数因人而异，用于描述特定人眼睛的 大小，鼻子鲍离低，额头、下巴的形状镣特定人的独立特征。表臻控制参数贝翔予接述 隈靖懿开台，藤毛靛位置，验颓靛运动等情况。参数模型建立在潮格模壅基确上，瑟舒 表情的完成怒通过挤压代表面部表情网格的相应区域实现的。由于这种方法使用纯几何 模型，忽略了人脸的现实腻状结构和人脸皮肤的柔韧性，实现方法只是简单的表面几何 彩交，这榉裁降低了合成入脸的窦实瞧。 3 ) 飘肉模型：w a t e r s 在1 9 8 7 年最举褥出了一种肌肉模型来模拟入验表情产生过程， 从而生成逼真人脸动画 1 0 ，而后又进行了改进，提出了一种更为高级的人脸模型【8 。 这种模型将人脸描述为一神层状结构的实体，层与滕之间有许多弹簧相连。采用这种模 鍪遥_ 遭l 嚣黥鬣频霭象中冀瓣往豹瑟部褥短运动，可戳这弱合或骧瓣表壤瓣嚣静，只是其 实现方法十分复杂。r o l fm k o c h 等人f l l 】在w a t e r s 肌肉模型的揍础上，采用了有限元 的方法来产生人脸表情。他们的这种方法相对于质点肌肉模型更加精确，但是计簿量大， 实时性差，瓣翦已经应用予医学磅究。 4 籍一章缝论 1 2 2 2 纹理生成方法 瞬洛只能表城入脸的凡傍形状特征，丽入脸表面的颜色特征，阮如肤色、黑痣等， 则爱通过纹理来寝现，所以纹理在人脸动硒中起着非常激要的作用，对人脸动画的逼真 程发和生动性有决定性的影响。当前的纹瑰生成方法有三大类： 1 ) 无绞毽：这琴孛方法没骜纹瑾，一| | l 曼楚透过走爨绘模壅静表涂上颜色，裁点蹩麓 革快速，缺点是人物缺乏真实感。由于没有纹理的视觉干扰，通常在准确表现模型兰维 几何形状的时候会采用这种方法。 2 ) 单张纹理：在人验动馘中只使用一张中性表情的纹理，在动弼是示过程中，纹 璎隧着潮格静交澎丽骰糖应穗羧律。单张绞瑾静优点是绞理控毒l 餐攀，只需要把纹瑷淤 射别网格上，在动画中随着网格的变形丽搬伸。缺点是不能表现纹理的细微变化，人脸 面部的纹理随着表情的改变会产生细微的变化，比如皮肤褶皱等，只用一张纹理笼法表 现这些缨徽豹变纯，在真实瘦上会毒凄欠缺。搬据纹理黪获取途径不麓，擎张纹毽方法 又田戬努为l 冀下三类： a 、照片图像拼接【5 ，1 2 ，1 3 】。最常见的方法是用一张难筒的照片和一张侧面的照片来 拼援组成一张纹理，也有用多张不同角度照片拼接的纹理。这种方法的关键是要做茔不 阂照片上霹一黪簌点豹标定娶准确。照片掰接懿方法麓攀荔行，生成瓣纹毽在歪瑟遴鬻 都会有很好的效果，主要缺点蹙不同照片上的相同特征虑很难准确对腹，生成的纹理在 偏离正面角度较大的情况下效果不很理想。 b 、视频疆像拱接【7 】。通过跟踪视频巾入脸匏特征艇藿和姿态来获敷不同角度的入 验纹壤，然后怒备耱焦度的纹淫融含起来会成一张完整稳纹理。该方法主要适糟予只有 视频的条件下生成纹理的情况，产生效果与照片图像拼接类似。 c 、三维扫描设各【8 】。用三维扫描仪自动扫描拼接艇成纹理，纹理结果准确，但是 豢会蠢一些空叁嚣域，需要翊臻篷冀法进程穆蛰。三维搦缓豹方涟爨豢摸装豹聚会，难 醚推广。 3 ) 变化纹理。为了表现人脸面部细微特征的变化，变化纹理的方法在动画过程中 弗不局限于一张嘲定的纹理，褥是随着表情的变化对纹理进行相应的修改。变化纹理的 方漩粪实感强，镶建裰露予攀张纹理方法，实瑷莛寒毙鞍复杂。瑟蘩懑有豹交豫绽壤方 法脊： a 、动态重构。g u e n t c r 等人【1 4 】在模特脸上标了6 种不同颜色共1 2 8 个点，用6 架 照鞠掇嗣对采集入验表情。然骺瑁一个颜色分类器来识别不嗣颜色势获褥宅翻静像麓， 零j 箱这些点在不闽褫焦豹坐标霹以重梅三缝入脸网捂。为了获取绞瑗，谴们营先根据颜 色分类器的信息把照片上的彩色点去掉，并用正确的颜色来填充。然聪拼接融合6 张照 片生成不含标定点的纹理。由鼍：纹理总是用真实的表情照片生成，耐不是靠拉伸得到， 嚣藏胃获缛生动鹣动囊效果，整是毽稍豹动蕊只逶应予特定久模型，麓铡终过程复杂， 中强科学院博 学位论j 盘：真实感三维入脸台成方法研究 无法实薅产，圭动嚣。 b 、纹磁拼接。p i 曲i n 等入f 6 】采蠲5 架相机采集模特的各种蒸本表情，他们把人脸 分成很多区域，然后用各个区域的纹理进行拼接从而产生该模特更多丰富的表情。由于 建立了真实的表情纹理库，所以生成的纹理效果很邋囊，具备各种细微特征。但是他们 静王终只遥缎予特定久模羹，瑟显裁撵过疆复杂，瀵弼程不强。 1 2 2 3 人脸劝画驱动技术 由于羟入鹣各耱行为模式中，人羧表谤是最美杂的菲臻转运动，因魏入验动趸研 究也是虚拟人合成中最舆商挑战性的和非常困难的任务。人脸合成系统都必颁模拟人 脸表情中很多细节和复杂运动。对每一个运动，虽然可以进行手工标注，但魁一般需 要银长的时间，两且只鸯熟练鳃动画酆才驻稷好地巍戒该项工作。为了解决这个问题， 久雷】磅究了一些可敬自动生成久脸动谶的方法，主疑有： 1 ) 视频驱动【15 ，1 6 ：基于视频的方法跟踪人脸的运动，并将人脸的运动信息转化 为控制人脸模型的运动参数。这种方法鼹前的难点程于提取并跟踩人脸特征点的运动， 必蘧，霉褒狻g 嚣踪入验上耱入特征括浚患翔反走蠡) 。翔罴每薅舔麓潺有久脸黪蔹或反 光点都可以被检测出来，鄹么提取出来的数据可直接与入脸模型参数建立一种缺射， 此时，这种方法可以得到很好的结果。基于视频驱动的合成适合獯现个人化的液情， 当需要精确的蜃动控制时，这项技术缀难自适应完成和语音同步的唇形计算。 2 ) 语誊驱动：嚣藩豹语音驱动磷炎谭分为两类：遥过语啻谖筑粒不逶过港瓷毒哭爨。 第一种方法怒通过将语音分割成语言举元，如音索( p h o n e m e ) ，膳形( v i s e m o ) 以及更 进一步音节( s y l l a b l e ) ，随臌将这些语言鹧元直接映射刹嘴唇姿势尉用拼接法合成。这种 方法菲常壹搜易于实现，毽缺点是忽嫒了动态因素秘霹步闯题，潜在的语音段落与瓤 离模型运动艴相互捧嗣数影响摄难憝瑷。到现在为止，几乎掰蠢在丽步问题上的努力 集中在启发式规则以及a d h o e 平滑方法上【1 7 】。当用离散的语音基元或图象基元表示音 视频的基本职元时，将会谣失很多重要的信息。事实上，语音基元的设计仅满足区别 发音毫羝爨及霹缓传递落衰内容戆蓑漤。浯蠢基元袭示黠予谖副嚣畜葵豢毒效餐对予 台成来说却不是最好的，逡主要由于能们很难预测声音韵律和入舱表情之间，声音能 量与姿势放大之间，以及声音段落与脬动同步之问的关系。第二种方法是绕过语音基 元这种形式，找到语音信号与控制参数之间的映射必系，然后蠹按驱动嘴唇运动。神 经溺络【l 司，耱关控毒嚣1 9 j ，戮及线毪鼷溅番数【2 e 】袭广泛瘸子玺戏释形窃入黢袭情中。 3 ) 跟踪设备驱动：运幼跟踪设备通常需要模特穿上特制的衣橱，上面有一热标记， 或者直接在人体表面贴上特制的标记( 通常呈小球状) 。仪器的多个摄像机能够自动跟 踪这些标记，共蠡动计箕如栝记的运动辘迩。嚣魏豹运动跟踪浚餐缀多，如v i c o n ， m o t i o n a n a l y s i s ，q u a l i s y s ，v z 3 0 0 0 等，它们都可以窦现通过在脸上粘菇标记赢实现获 取三维人脸运动数据的工作。 6 第一誊绪逾 4 ) 文本驱动 2 1 ，2 2 1 ：文本驱动有两种方式。第一种输入文本首先被分析转为脊素 表示。音素的一些缤息戳及德钠豹对长可娃扶文零中趣动生残出来。辩共振蜂以及其 能一些语音参数( 频率、墓啬、基音范围等等) 也可戳计算。文本鞭动入脸语音合成 适合参数化的人脸模型。定义人脸模型的参数也可以被加入到用于语酱合成的参数中。 如：嘴唇形状、人脸表情、下额旋转等等。作为一种掰的方法，语赘舍成系统可以扩 袋劐耱天脸参数镰含在语音簸懑参数中。第二耱是壹羧程文本与动蘑参数之阕建立浚 射关系。文本驱动人脸语音系统可以通过对文本插入一魍标记如语音韵律，语气，重 音优化输出结果。这样合成谬音会更自然同时这些参数可以用于复杂的人脸动画。例 如，重音可以与瘸毛上挑以及点头等动作潮步合成。对斑于不同类型语音的人脸模型 可戳被开发。 1 2 3 国内三维人脸合成研究璐状 蘑内近尼每程入脸动画方瑟也有长避靛发展。 哈尔滨工业大学的晏沽等人在人脸建模、人脸表情、唇动、纹理映射等方面做出了 一魑成绩【2 3 2 6 。他们研究了人在发音对的唇动模型以及韵母口型库的生成技术，使 每令汉字豹发鬻零鞋瘟蓑稳波戆目黧。袭人验攘型豹特定纯方嚣，援窭交互式臻l 辚舞 法，通过模拟入脸皮肤的粘弹特性，允许模拟者在交互方式下将一般入脸几何模型和预 先搬供的特定人脸多方向图蒙之间进行特镊校准，进而得判精确反映特定人脸正侧丽几 何特征的特定人黢三维模型。述提出了趋掰磨光以及多方向纹理殃射黪法，从多个方向 豹特定入验图象上选择绞瑾傣毖获翦鬟三缭穰燮上敬减少纹理静拯藏变形，簸两使会成 的结果更加真实和自然。 浙江大学的梅丽等人用半自动方法来遮到特征匹配蹦的，用手工编辑建立的二维对 应瓣格，缮副秘始入验势形：采矮簧捧豹簸犬 矬然立体骐凝算法自动糕酝出稠密戆辩应 点，踅建出表示入脸的散舌l 三维数据点霞；簸后荤j 霸这黪稠密的三缭数据点去迭代矫正 和自适应细分手工编辑的三维初始人脸网格得到结果模测。该算法无浠昂贵的设备，又 有较强的真实感效果 2 7 。在入脸动画方颈他们用多分辨率样条技术产生无缝的人脸纹 理镶嵌图，纹理浚爨嚣生成亵菠囊实惑豹熬毅任意视线方淘凌襄豹特定久脸：迸瑟，遭 过缀合特定人脸的肌肉向量的遮动，变形模型，组合出特定入脸的各种表情，该方法能 在廉价的p c 平螽上实现，快速、简单，丽且具有一定真实感【2 8 】。 北京工业大学尹宝才等人采用自动调熬与入机交曼摆结合的方法实现特定人黢模 登糕配。在调整宠模型形凝之嚣，应霜3 今方囱魏嚣部鬣象送行纹瑾蘸瓣生成不阕筏点 方向的面部图象。应用合成面部图象与输入砸部图象最健匹配的方法游行输入面部图象 的汰部转动方向估计【3 0 】。通过对面部曲磷结构和面部锫器官分布结构的分析，建立了 瑟熬熬嚣豹a 霪模型翻模投人黢嚣邦夔嚣懿分冀二次壹羧形b e z i e r 参数麴瑟诗冀掇戏。 中璃料等 院博j ：学位论文真实感三维 脸台成方法研究 应弱姥模型葶葵法，蔹攒l l 郝表馕帮汉潺曩型特缝，实现基本表壤帮日型的选糍 3 1 1 。 此外还研究了空间网格的径向基函数( r a d i a lb a s i sf u n c t i o n ) 插德方法 2 9 。 1 3 问题的提出和本文的擞耍贡献 i 3 1 三继人臆合成研究存在的问越 在真实感三维入脸合成研究中主要存在以下阉题： 1 ) 建模输入羧翻与冀实感豹矛藩。三缝久脸建辏藏麓望弱散莱是蒺墅与安俸霉可 能的相像。在现有的建模方法中，基零上效果越好则对输入的要求越高。最准确的方法 是用3 d 扫描仪，但是该方法要求本人必须在场。这样的要求在很多情况是不邋用的， 毙魏被建模畿不方便甚至不可齄至g 撂怠邀点捏搂；照通过互联瓣舱在线应爝等等。透 过视频和照片建模是楣对簿易实现静方法，但是对输入图片的要求不嗣效果也肖很大差 别。如果对照片有严格要求，比如是正颇、侧面或确定角度的人脸照片，则只霈器几张 甚至两张照片就可以做出效果比较好的模型；如果人脸角度缺乏严格的限定，比如视频， 藏嚣要畜较多蔽塞确定羧整瓣形状。瑷安生活孛要爨筷一令久翡燕嚣照片楚魄较容荔 的，而确定角度的其他照片则比较缺麓。如果能只嗣一张正瑶照片来建模刚具商巨大的 实用价值，缎是纵深( z 坐标) 信息的缺麓是这类方法遇到的最大困难。 2 ) 动藏粪实感与自动化的矛盾。传统鲍人脸动灏用手工制作，优秀的动馘师可以 潮痒鑫具有蕊真实惑豹入簸动画，僵怒工佟量匿大，赞瓣费力，威掰赞篷不蔫；籀疫戆， 一些简单粗髓的人脸动潮w 以实现很高程度的自动化生成，但怒真实感却无法令人满 意。三维人腧动画研究的一个关键问题就在于如何既能保证人脸勘砌的真实感，又能提 舞囊西裁终瓣鑫动位程度。在毫隈戆瑗捧数及技术条传下，只戆农送薅令方瑟之闯找一 个平衡点。三维入脸动蘑的真实感和自动纯的水平燕然互相制约，但随着计算枫硬件和 动画研究技术的不断发展，仍然可以同步提高，这就鬻要动画研究工作者不断出研究新 的三维人脸动厕技术。 3 ) 动嚣燕定位( a n i m a t i o nr e t a r g e t i n g ) 。在抟绞豹天验蘩蕊方法孛，魂凿数据是与 模型紧密结含的，一个模烈的动画数攒只能应用在这个模型上，其他的模型由于结构形 状的变化，龋产生同样的幼画就必须重新制作动画数据。为了提高动画制作效察，如何 把动画数据殿用到各种不阏的模型上，憝一个尚未缀好蜒决的闯蹶。 1 3 2 本文的斑要贡献 本文在入脸合成领域疑嚣7 一系列斡磅究工作，在挟速建模、m p e g 4 人簸魂蘑、 动菌重定位、逼真绞理殴凝动画驱动等方面取褥了一些成效： 1 ) 单张人脸照片快速自动三维建模：在人脸建蠛方面，如何便捷、快速、准确的 8 第一章绪论 构造三维人脸模型一直是计算机动画工作者在努力解决的难题。本文提出一种从二维人 脸照片到三维人脸模型的构造方法。该方法输入简单，只需要一张j 下面人脸照片；建模 速度快，比国际上同类的三维重构方法快1 5 倍左右：整个重构过程完全自动。该方法 利用了成熟的二维特征点提取技术和三维模型的统计学习，具有很强的创新性和实用价 值。该技术还可以应用到基于合成的人脸识别方法中，能够在识别算法不变的前提下， 大幅提高人脸识别准确率。 2 ) 基于m p e g 一4 的三维人脸动画方法：本文提出了一种构造特定人脸模型f a t ( f a c i a la n i m a t i o nt a b l e ，人脸动画表) 的方法，可以驱动本文的标准模型以及与标准模 型拓扑结构相同的人脸模型。 3 ) 任意人脸模型动画重定位( a n i m a t i o nr e t a r g e t i n g ) ：动画重定位是近年来国际上热 门研究课题。本文在m p e g - 4 标准上，提出了一种构造任意拓扑结构人脸模型人脸动画 表( f a c i a la n i m a t i o nt a b l e ) 的方法，从而实现了人脸动画数据的复用，并解决了驱动任意 人脸模型表情的难题。该方法只需要在模型上提取若干特征点就可以应用，具有自动化 程度高，速度快，通用性强等特点。 4 ) 动画中的细微纹理表现：传统的人脸动画只采用一张固定的纹理，纹理上的褶 皱则无法表现。本文提出一种局部表情比率图的概念，并建立了局部表情比率图库，利 用表情比率图包含细微纹理特征的特性来表示纹理上的皱褶。在此基础上提出用 m p e g 4 人脸动画参数( f a p ) 来参数化控制细微纹理特征显示强度的动画方法。为解决不 同角度纹理视觉效果的真实性，又提出了多方向局部表情比率图方法，从而实现了具有 细微纹理特征的真实感三维人脸动画方法。 5 ) 动画驱动方法：本文介绍了在人脸上标点的视频方法获取动画数据的方法，还 介绍了用运动跟踪设备采集人脸特征运动数据的方法。最后提出了一种解决文本驱动中 唇动与手语同步问题的方法。 1 4 论文的组织结构 本文的组织结构为： 第一章绪论，介绍了真实感三维人脸合成研究的背景和意义，对三维人脸合成研究 的内容和方法进行了分类介绍，结合现有的方法总结了真实感三维人脸合成研究存在的 问题，最后介绍了本文的主要内容和贡献。 第二章提出了一种根据单张人脸照片自动快速建立三维模型的方法，并与国际上同 类的建模方法进行了比较。 第三章介绍了m p e g - 4 动画标准以及标准人脸模型f a t 的构造方法。提出了基于 m p e g - 4 的任意三维人脸模型的动画重定位解决方法。主要内容是在已知标准模型f a t 的基础上，如何构造任意人脸模型f a t 。 9 中蠲科寰i 蠡院搏士学位论义真实感三维 舱台成方j 盂研懿 第四耄撼逡一静瑟囱缀擞绞理特缝戆魂蕊方法。灸绥了表馕魄率图的概念，定义了 局部表情眈率图( p e r i ) 和p e r i 豹参数他方法，最后提出了多方向p e r i 动躐方法。 第五章介绍了本文使用的三种动画驱动方法，包括视频驱动、跟踪设备驱动和文本 驱动，并解决了文本驱动情况下，唇动与手语同步的问题。 蓁六章髯重全文进行慧绥，著夯绍了寒寒豹工箨。 1 0 第二章抟十单张照”的自动快速兰维人脸矬模 2 1 引言 第二章基于单张照片的自动快速三维人脸建模 三维人脸建模有很多种途径：三维扫描仪建模是最准确的 8 ，但是需要本人在场， 只能满足一些特殊需求；多张照片建模对照片的要求较高【6 ，1 4 ，一般都需要进行专门 拍摄，得到的照片才能使用。这些方法共同的缺点是建模的前提条件要求