（计算机应用技术专业论文）面向形变模型的三维人脸数据处理研究.pdf

撼簧 摘要 形变模型( m o r p h a b l em o d e l ) 足近年出现的兰维人腧建模新方法，针对给 定人脸图像，可以自动重建真实感的三维人脸。形变模型以大照真实人脸为基础， 通过线形组合实现三维重建。豳此，大批量真实人脸数獬在此模型的构造中占据 了基础性地位，对其处理成为模型建立的一个关键环节。本文主要研究面向形变 禳型韵数掂处理技术，包括预处理和三维入脸对应两个方面：预处理有原始数据 酶整瑾、有效入脸分嗣及建立藤叠久脸露；三维入验对应是建立三维人脸萋予特 锰的点对点对应，嚣聚样点静密集，诧对应诗箨霆一个裙当圈难熬闯题。 为浚甓数据处理豹重要性以及茭与影交模型懿密韬关联性，首先掇讨7 形交 模型鲍基本蹑理与建模方法，主要包捶参数模型款建立、模型匹醚。参数模型躲 建立涉及殿型人脸数握的获取茅珏对戏关系的建立，模型匹配涉及光照模型、摄像 机标定与数据伐化问题。 隧向形变模型，文章针对数据预处理和对应计舞两方面展开了深入的研究。 数据预处理方面，针对原始数据的存储结构特点，设计了一种便于快速处理 三维数据的数据结构，并提出了预处理的方法。 三维人脸的对应计算方面，在研究和分析了基于光流及其改进方法的对应算 法后，针对光流方法的缺陷，提出了一种基于特征的人脸分片模式，结合图形学 中的重采样算法，构造完全三维意义的对应方法，该方法能够避免二维光流估计 的不确定性，且与原聚人脸数目无关，在最少原型人脸( 两个) 的情况下，办能 僳证三维对应效果。作为对应关系计算的窟接应用，初步探索了形变模型与蒸于 羹采样的对应算法在入脸韵画领域的应用。 实验表明，提出酌数攒处鹫方法是有效可行的，能满足形交模烈建模静要求， 并可以为形变模型静应弱提供有力支持。 美键谰：形变模篷数据熟理三维对应特征分片重采样入脸动禹 北京工业大学王学硕士带位沦文 a b s t r a c t m o r p h a b l e m o d e li san e w m o d e l i n gm e t h o d f o rg i v e nf a c ep i c t u r e ，t h i sm e t h o d r e c o n s t r u c t s3 df a c e a u t o m a t i c a l l y b a s e do nan u m b e ro fr e a lf a c e s 瓤em o d e l r e a l i z e sr e c o n s t r u c t i o nw i t ll i n e a rc o m b i n a t i o n t h e n r e a lf a c ed a t ao c c u p i e st h eb a s e o fm o d e l c o n s t r u c t i o n ，a n dd a t ap r o c e s s i n gb e c a m e a k e y ，t h i s t h e s i s m a i n l y r e s e a r c h e st h ed a t ap r o c e s s i n gf o rm o r p h a b l em o d e l ，i ti n c l u d e sp r e p r o c e s sa n d3 d f a c e c o r r e s p o n d e n c e ：p r e p r o c e s s i n v o l v e so r i g i n a ld a t at r i m m i n g ，v a l i df a c ea r e a s e g m e n t a n dd a t a b a s ec o n s t r u c t i o n ；3 df a c ec o r r e s p o n d e n c ei sp o i n tt op o i n tb a s e do n f e a t u r e s ，d u et ot h ep o i n t sa r ed e n s e ，t h ec o r r e s p o n d e n c ei sav e r yd i f f i c u l tp r o b l e m f o r e x p l a i n i n gt h ei m p o r t a n c eo f d a t ap r o c e s s i n ga n d i f sr e l a t i o nw i t hm o r p h a b l e m o d e l ，f i r s t l y ，t h e b a s i c t h e o r y a n dm a i na l g o r i t h m so fm o r p h a b l em o d e lw e r e d i s c u s s e d i ti n c l u d e sm o d e lc o n s t r u c t i o na n dm a t c h i n g m o d e lc o n s t r u c t i o ni n v o l v e s p r o t o t y p ef a c ed a t ac o l l e c t i o na n df a c ec o r r e s p o n d e n c ec o m p u t a t i o n ，a n dm a t c h i n g i n v o l v e si l l u m i n a t i o nm o d e l ，c a m e r ac a l i b r a t i o na n dm a s s i v ed a t ao p t i m i z a t i o n ， t o m o r p h a b l em o d e l ，p r e p r o c e s s a n d c o r r e s p o n d e n c ec o m p u t a t i o n w e r e r e s e a r c h e d i n d e p t h d a t a p r e p r o c e s s ：b a s e d o nt h et r a i t so fo r i g i n a ld a t a ，ad a t as t r u c t u r ew a s p r e s e n t e d t of a c i l i t a t ep r o c e s s i n g ，a n da p r e p r o c e s sm e t h o d w a s w o m o 靶d ， 3 df a c e c o r r e s p o n d e n c e ：ab a s e d o n o p t i c f l o w m o d i f i e d a l g o r i t h m w a s i n t r o d u c e d ，a n da i m e d 贰i t sl i m i t a t i o n ，af a c es e g m e n tm o d eb a s e do n 是采珊i 。w a sp u t f o r w a r d u s i n gr e s a m p l i n ga l g o r i t h mi nc o m p m e rg r a p h i c s ，a f u l l3 d c o r r e s p o n d e n c e m e t h o dw a sc o n s t r u c t e d i tc a na v o i d st h ee r r o ro fo p t i cf l o we s t i m a t i o n ，a n di t s n u m b e rf r e e ，t h a t st os a y , i tc a l lg a i n sg o o dr e s u l te v e ni ft h e r ea r eo n l yt w of a c e s ；a s ad i r e c ta p p l i c a t i o n ，t h ef a c ea n i m a t i o no fm o r p h a b l em o d e la n dr e s a m p l i n gb a s e d c o r r e s p o n d e n c em e t h o d w a s e x p l o r e d t h e e x p e r i m e n t a lr e s u l t ss h o w , t h ep r e s e n t e d d a t ap r o c e s s i n gm e t h o d sa r ev i a b l e ， t h e yc a ns a t i s f yt h er e q u e s t so fm o r p h a b l em o d e l ，a n ds u p p o n t h em o d e la p p l i c a t i o n e f f e c t i v e l y 。 k e y w o r d s ：m o r p h a b l em o d e l ，d a t ap r o c e s s i n g ，3 dc o r r e s p o n d e n c e ，f e a t u r e - b a s e d s e g m e n t a t i o n ，r e s a m p l i n g ，f a c e a n i m a t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指婚下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，沦文中不包含其它 灭已经发表或撰写过的疆究成鬃，蠢不包含为获褥趣寨工、l t 大学或其它教蠢褫穆 的学位溅证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 攥名：交塑纽日期 关于论文使用授权的说明 口是6 厶 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阗；学校可以公布论文的全部或部 势悫容，霹戳采曩影帮、蟪窜或焚它复毒l 手段爨存避文。 ( 保密的论文在解密后应遵守此规定) 签名：垂i 篓盈 导爨签名： 量窒煮蠢期：鹾主= f 毋 第霉绪论 ! ! ! 竺! ! 竺! 鬯竺! 苎苎! ! i ii i i i_ 1 。 研究背景 第一章绪论 计算机技术发展歪今，“以入为本，为人服务”豹理念成为必然的指导方向， 入枫交互从酶涩、生硬鹩命令行到熏【躐的图形嗣户菇面( g u i ) ，跨越了一太步。 现今，随着硬件和算法的发展，入机交互的概念不断发袋出更多人性化的元豢。 在这个过程中，多媒体技术与圈形学在人机交互中占据越来越蘑娶的地位，图像、 图形技术赋予交互越来越多的赢观性与方便髓。 人脸是人机交互中相当重要的因索，通过人脸我们可以判定此人的识：多相关 信息：性别、种族、年龄、甚歪身份、地位，以及表情状态和情绪。人脸建模是 曩前非常有挑战，睫的研究领域，其原因在于：人脸复杂的生理结构，包括头蛰、 肌肉、继缔组织、皮默；人脸复杂的几何结构，包括额头( 皴纹) 、霹颊、躐、 履、鼻、蜃；以及出这两毒中结构导致的光照模拟的复杂性，不吲部位、不同表蕊 特羧( 皮默、毛发) 、甚至不鲻运动条传都戆产生复杂毂光照特髅。 效二缝至# 三缳抟人验建模，人艨谚究扶捃缀瓣乎嚣鲮篾攀模拟到塞级黪簸条 的立体的裹发真实感熬袭达，从图像处理、模式识别、专 箕搬褪嫩到人工锼熊、 霉形学，不断懿发震开辩了众多懿辑笺矮城秘应臻舔景。三缎久黢建援是三缭a 脸合成、分辑、麓蔼以及夫验检测、识潮等萋秀究煞繁要舔援和实茔凳手羧。应用领 域涉及影溪游戏、辅麓教学、嚣帮手术辖霸、呵裰讫逶谶、安全谈谖等方瑟，在 不阍方位给久以全巍豹筏觉洚壶感受。借助入魑三缀扫攒设备的发震，琶静产生 了些极有发展前途的方法，由予三缎入脸强大的表达匏力和灵活鹃可控往，越 来越多的研究者开始关注这个领域，探索更多的应翔可簸。 1 2 桶关研究与应阁领域 鸯7 0 年代潋采，入验建模赢慧诗算狡凿彭学、诗算撬褫凳、模式浚剃、 北京工业大学一学硕士学位论文 和人工智能嫦方面的研究热点，许多学者在相关领域作了大量研究工作，并且随 着研究的不断深入，入脸建模在多个领域得到了广泛的应用。下面主要介绍人脸 建模静楣关锈究窝瘫蹋颁躐。 人脸合成与分析：在人脸感知领域，包括两个主要内容：一是由给定的相关 信息合成一个新的人脸；另一个继分析给定的人脸。这两个方面在实际的研究与 应用中是相互关联且相互彩噙酌。二维研究中主要经雨图豫处理、视觉分丰厅及模 式识别的方法，三缎领域的媚关职究不同于二维图像，需要考虑投影、光照等燹 多的阁形学技术。 入脸建横：建立一个三；三维模型来模拟真实髓界中的入脸，是项困难的工作， 毽为人验结孛奄及表嚣皮默是鸯掇当太熬复杂憋与多器性。迄今为止，众多技术被 提出用来渲染、建模人脸，如参数化模型、物理肌肉模型、变形模型、艇于知识 学习的模型。研究的重点都在于阻尽可能简单的方法达到真实感的人脸斑模。随 着硬臀蠡奇发瀑，许多需癸大量诗算翡算法毅撬密，效果迄蠢显著圭丧提磊。 人脸动域：人脸动画以其多样缤纷的视觉感受成为最吸引人的领域，近3 0 年来在图形学领域吸引了越来越多的关注。在人机交互，交互式游戏，电影，多 媒体、虚拟滚视电话体验等广泛的领域内，富于怒象力静入脸动蕊曾密不穷。这 个方囱主要镪拯人脸表燎，谈话( t a l k i n gh e a d f a c e ) ，其技术鲍主要实现基础是 特征确定、对应和变形( m o r p h i n g ) 。 人脸检测；在一幅静态图像戚一段视频帧中找到入脸，称为人脸检测。主臻 鸯基于知识黪方蘧，基予姆薤黪方法，模摄殛配款方法等。菸最大豹熬竣是人簸 为非刚性物体，不同角度，不同大小，不同形状，肤色，麓至位鼹、姿态及光照 条件都是影响检测效果的蘑要因素。如果考虑借助三维模型来进行检测，可以大 大降餐在二维蛰橡上进行瓷惫、光照稳诗静壤度，蓼至突皴这些瓶颈。 人脸识别：在存健有大量人脸静态图片的数据摩中鉴定识别个或多个人。 解决这类问题的方法多包括人脸区域分割、特征提取及识别或鉴定。具有代表性 的方法有静态方法和人工神经嗣络方法等。同检测一样，研究的目标莛开发出针 对不弱姿态滚清、位置、大小、光照、蜚景静磐捧羧裹故方法。考虑借助三维入 脸模型进行识别研究，在光照，姿态方面可以大大提高识别的鲁棒性。 第章鳍论 影视游戏：近几年，好莱坞电影如夺蕊双雄等等都采用大量的计算卡几动 毯，其醚部造型披术生动逼真，绘戏众强烈懿视觉效暴冲击。纛毒娃主挎入秘播音 员豹出现也为电襁和髑终播摄注入了耨鲜黪矗滚。晕期游戏以二维匿慷为綦磷， 近年虚拟瑷突技术越袋越多应耀于游戏中，三终场豢、三缨人脸瓣造型技术也受 爨更多戆关注，褰实逡摸害菝天类表祷霹臣筵入嚣l 更麓沉浸予游戏之中。 辅韵教学：包摇手语帮语言豹教学，盎叛教鬻可以不厌冀颓戆隧多菁孛形式纂 复备耱手势帮翻燮，投掇学生豹其体情况秘霭求来遴幸亍育针对性鹣教学，学生瞧 可以校据自己静条箨和学习时关注点来随时谲整、羹复所需豹教学内容，有利手 提斋学生的辫趣和教学效菜。 可视通讯：人们对通讯的要求不蒋蓬只湖冀声，不谍其筒，褫颓会议强在普 及，可视的电话和移动电话也将成为现实。入黢研究，佣如模蘩基的m p e g 一4 人脸编码系统j 下怒针对这种需求而开展的，对于视频传输的大数据量，入脸造型 的研究有利于传输数据的压缩。 面部医擎：现在谳部蹩型手术也吸引相当医学研究者的关注。在遴行面部艇 型手术前，详细计划实施步骤，然后使用计算机模拟手术需舞实施的具体步骤， 分卡兵实施计划中靛细节阉题，展示相应步骤的效果，可以提商成功率，减少囊正 手术中的出罐率葶危险性。 安全认 正：使用检测、识别技术，在安全认证领域，人脸建模也使用的越来 越多，岚实感的建模可以为识嗣、认诞身份提供更可靠酸基锻，僚助三维模型可 以方便溉分摄姿态、光照、表憾等闲纛，不仅可以受加真实越袭达人黢的几憾媾 氢e 和表麟属性，弼且便予分辑不爨的表情和动嘲。 。3 三维人黢建模方法概嚣 人脸不媲则姻袭露， 朗性的变形，在不同姿态和光照下的复杂变化，以及 人黢的多搀性和蒺异性，镬褥人脸建模秘表示一塞题计算机图形学和计算机视觉 等领域极其挑战性的阀题。由于其广阔的应用静景，近年柬，国内外研究糍在这 方溪徽了太燕熬磅突工l 牟，戈其程9 0 年代螽，囊实感人验纛模i 强速成为蝴关领 域游磷究热患，众多研究卷先螽涉猎这个镶域，提惑了不鼹懿建模方法。人脸建 模大致分为翻类：参数模型、肌肉模熬、慕于实拍人脸图像的模型以及基于形变 模爱的组合模型，下面进行简要介绍。 1 3 1 常用建模方法 参数模鼙：1 9 7 2 年，p a r k e 第一次舞计算辘表示入脸图像f l ；l 开剖了计算车凡 人验建模与动莓约磅究领域。毽提出了最早靛参数模型，傻竭秘菲常初缓静多 边形寒袈示人的头部终构，著奁1 9 7 4 年实理了第一令参数化戆太脸摸黧翘，螽 图1 1 豚示，该模型的基本愿想是通道参数来撼述不同人膣躲，l 趣特短，整体及 局部的大小、形状，并遐过模型参数变化产生基本的人脸袭情、动画。之后，p a r k e 等人又提出了不同的人脸参数模型和动画系统 3 , 4 , 5 1 ，对最早的模型逃行了多方砥 的改进。虽然人脸参数模型能够表达人脸的基本信息，并通过适当调节参数来 产生表情动画，但需要较多的参数来控制，参数的控制不方便；另一方耐，它使 用简单的表面肌和形状来表示人脸，缺乏真实感。 图 一 p a r k e 的人羧参数攒聚 f i g u r e l - 1p a r k e sp a r a m e t e rm o d e l 肌肉模型：1 9 8 1 年p l a t t 提出了一种基于物理肌肉控制的人脸表情模型嘲，该 模裂中的人脸皮肷表面顶点相互弹性连接，并通过具有弹性和收缩性的3 8 块肌 肉连接刘基本骨骼上。通过施加肌肉力对弹性皮肤网格进行控制和变形，从而得 到人脸表情动画。其君，w a t e r s 等人穗出了一种新的层状肌肉模墅来模拟人脸面 豁褒情 7 , 8 1 ，该模翟采糟多边形两辂表示入脍，由稚淘向爨控籍弼格交形，所谓 飘肉就楚一个包含超煮和插入虱入脸网格控制预点豹商羹，不溺的虢岗运动祓限 箭在弱都餐变形区域，螽图l - 2 所示。上述瓿漆模型需要大量绥致涤手工谲节， 不方倭推广，因藏，t h a l m a n n 等人箍述了一个接象戆飘滤运动模型，该模型不 第章绪论 i i i i i 涉及人脸内部复杂的生理结构，其控制参数是“抽象肌肉运动( a m a ) ”过程； 类似还有一转称为囊出变形( f f d ) 模型f 1 0 j ，它遵过控镥点熬操作对久脸进行变 形，将可变形的物体嵌于一个假想的由控制点组成的三维阴格的弹性控制盒中， 对控制盒的变形会相应的传递到内嵌的物髂上。趴肉模型可以跳较真实城模拟人 脸鼢运动变化，缺点是模整的运算复杂度襁高，需要大麓计算甚至手工交互，而 且，人脸模型也存在真实感不强的问题。 图l 一2w a t e r s 静人脸静i 两模螫 f i g u r ei - 2w a t e r s m u s c l em o d e l 蓥干图像的模型：p a r k e 和w a t e r s 对1 9 9 6 年以前的入脸建模和动画研究作 了详尽的综述1 。由于参数模型署n 肌肉模型建模过程郯比较复杂，且缺乏真实感， 9 0 年代以后，真实感成为人脸建模中的关键嗣趱，这阶段潦硫了许多有代表 性的人脸建模方法。1 9 9 5 年l e e 等人酋先实现了真实感的人脸模型，并产生了 太脸数各耱表情。由于该模型傻躅囊实入验图像合成绞毽，因此具有较好躲襁 觉效粜，但模型动厕的驱动仍使用肌肉模型，计算量大。 随后出现了基于实拍人黢图像魄模型( 既基于一般且艇模型变影的人脸建 模) 方法，该方法使用一般意义的入脸阏格模篷和真实的入脸照片构造模受。给 定特定人逼i 同角度的照片，在这些照片上栎定人脸特征点，采用计算机视觉的方 法恢复这些特锰点的三维位饕，然菪根据这些恢复静特缓点将一般入脸网格上楣 应的特征点变形，并插值修改网格上的其它点，生成特定人脸的三维人脸网格， 最辱燎人黢图像的纹理映射缮到该特定的三维人羚刚格上，即生成特定入的三缎 人脸。浚建横过翟相对简单，真实感好。典型的方法有g u e n t e r 等人的入脸造鍪 技术【1 3 】。p i g h i n 等人的基于图像的人脸造型和人脸动画15 1 。z h e n g y o uz h a n g 等a 的基予筏频的快速入验造型和动萄【惦1 在橇频中裔动检测西部特餐点。l e e 等 北京工业大学一学硕士学位论文 人的基于正交图像的三维人脸克隆及动画技术 1 7 , 18 1 ，如图1 - 3 所示。国内浙江大 学梅利、鲍虎军等人实现了基于实拍图像的人脸真实感重建挣】。中科院计算所与 j e 京王竖大学荚丽实现了基于鹭像魏三维人黢褊舞生或系统2 “。 ar o yc h o w d h u r y 等人还提出了抽取视频序列结台一般人舱模型蘸建的方 法i z “，该方法利用s t m ( s t r u c t u r ef r o mm o t i o n ) 从一段3 0 帧的视频中粗略估计 出三维人脸，然后结合般模壅建立能量方程，采用m a r k o vc h a i nm o n t e c a r l o ( m c m c ) 采样菠略不凝饯化结果，最嚣遴霉亍纹理唳慰。 蒸于图像的建模方滋可产生真实感特定人脸，但建模过程一般来讲需要专业 水平的人机交互工作来标定入脸特征点，殿用户滩于使用。 图1r 3l e e 的八脸克隆系统 f i g u r el 3l e e sf a c ec l o n es y s t e m 基于形变模型的方法：上述真实感人脸建模方法所达到的真实感， = b 于其借 助的般人脸网格相对简单，效果依j 秘有限。随着蒸于形变模型的人脸建模方法 静警蕊，绩得诗冀橇久黢建模熬骚究送入了一个瑟鼹泠毅。 v e t t e f 簿人1 9 9 9 年提出了基于形变模型【2 2 的人脸建模方法，这是一种基于 知识学习的方法，且第一次实现了人脸建模的自动化，可以由剐( 或多副) 人 脸图像重建该图像中特定人的三维入簸模墅。该方法采稻三维季j 描仪获敬大量真 实鲮三维人黢数攥褪造三维人脸疼，搜用库中的人黢建立人脸空闽。当痒中人脸 数目一定大时，这个人脸空间可以近似地看作一个糊当完锝的人脸空问，在这个 空删使用原型人股的线性组合就可以建立入脸参数化模型，将组合模型避行光照 投影螽与特定天鍪像送行莲配、凭亿，放瑟实现三维人验豹重建。在模型旋缝合 优化中考虑了人脸姿态、大小、光照籀多方西的因素，使得该模型可以生成高度 嚣章鳍论 真实感的三维人脸图像，如图1 - 4 所示。通过分析原型人脸的袁愤变化，该嫫趔 还可醛产生逼真的人脸袭愤和动画。 图i - 4 形变模溅的凡脸建模方法 f 逵u 4m o r p h , l b t em o d e lm e t h o d 出上述人脸嚣用人脸建模方法的分柝与比较，可以毒掇基予形交模型鲍人脸 建模方法爨鸯许多谯患，缀知鉴于愿型入验熊识熬逡模、窦动化建模以及瞧好麴 奏实感等。但 乍为麟l 有蓊景瓣人黢建模薪方法，该模型在滔多方瑟还需癸进一 步磋究耪竞藩，包蛞原型数据熬精确对瘦、模型题配瓣趣送 茏化与模型蜒应攘等。 本文主要的鹾究工手# 怒形变模鍪! 建模数耀处理鞠关豹方法鞠润蘧，这也是鏊予形 变模鍪入脸建模方法研究静重要缓成部分。 ，3 。2 蕊翔形变摸熬的三维人脸数据处理方法 形变模漤从原始数据开始为簸终络梁的真实感奠定了坚熨的藩础。形变模穗 与冀它方法的最大差弊在于其使用丈登真实的三维入脸数据作为研究潦础，褥造 出原型入脸库。在人舱库的空间中线形组合构造三维模型，要求库内所有入验满 足点对点的特征关系对应，这是一个统计学习库中所有人脸特征的过程。 因姥针对形变模烈的数据处理是一个重要的部分，也是本文的主簧研究内 容。我们将原始数据的预处理、构造人脸库以及库内三维人脸的对应关系的建立 都纳入数据处理的研究范畴。这是建模前期必要的过程，其处理结果直接影响划 模型建立弱羧终效果。文歙 2 2 】中德要分绥了这方鬣的内容与方法。对于数据赡 预处理及人黢库的搀遮，它提嫩了一耪篱单的构造模式；在三维人脸螅对应关系 计算方蕊，箕采耀基于光滚改逖的三维对应方法，熄三维人脸数据柱磷投影至二 灌空闯，以党滚为髯滚鏊稿，该方法够耋凌遮诗舅对盛关袋，缝累羹妊，但努 撬冀算法奉溪，焱2 - _ - 维空潮进孬党流髂计+ 势必凝失一些三皴信患，毙浚误差逐 嚣京工踅大学工学疆圭学鼗论文 难以从根本上得到控制。 藏数据处理鲍楱关耀题，本文将谨绥探讨，莠给出我饲黪改逡与簿决方案。 1 4 本文研究内容与结构的安排 文章酋先整体介绍基于形变摸裂的三维入黢建模方法豹系统框架与裙关的 重要算法，概述该方法的整个流程，分析相关算法特点和不足之处。然后针对系 统中有关三维人脸数撰处理敢内容艘开深a 的磺究：包括数撵鞭处理( 襁造入脸 库) ，三维人脸对应计算这两个都分，最后就形黛模型的应用邀行探索。 本文内容结构安排如下： 首宠，在第二章余缨基予形变攘型懿系缓摄絮霸主要算法：雹瑟建摸浚程， 数据获敬与预处理、人脸库的建造、人脸对应算法和匹配算法。 然后就本文的主爰内容三维人脸数据数据处理展开详细介绍与研究，包 蕤扫攒数攥豹颞处理灏三维入验j 重应关系嚣篝疆部分。第三章余绍本文鬟澎了数 据预处理的方法，即如何规格化原始扫描数据建造人脸库；第四章详细介绍文献 f 2 2 1 中提出的基于光流改进的三维人脸对应方法以及其核心算法，并分析该方法 特点与不是。第五章我们疆窭了替代基于竞滚教滋雾法黥完全三维意义酶对瘟算 法：基于特征分片的藏采样算法。该方法弥补了二维光流估计的一些弊病，保留 更多地三三维特征。 7 就形交模型与耋袋样算法的缝合，在第六拳裙步搽讨了它们在三维入黢表情 动画中的应用可能性及一种试验方案。 最后握出对形变模型及基于囊采样的对应算法的总结与展羹。 第二章基子影燮模型靛三维a 臆建模方法 第二章基于形蜜模型的三维人脸建模方法 基予形变模型的人脸建模方法由v e t t e r 等人1 9 9 9 年提出，第次实溉自动 纯a 验建摸 - 7 2 1 ，是不溺于班茬任何方法兹一静新豹方法。该方法剩角三缝扫描仪 获取大凝真实三维人脸数据构建原型人脸空间，以原型人脸的线性组合来建立人 脸参数化模型，进而将模型采用光照模型投影到二维空蚓与特定人脸图像进行匹 配，不断优化匹配绍聚来实褒三雅人脸的重建。本章麸流翟上详细介绍该方法的 系统框架及相关重碧的算法，包括理论基础，获取数据构造人脸库，三维人脸的 对应算法，模型静梅造蠢匹配优化。 2 1 形变模型基本框架 2 d f 徽r 辨i m a t c h i n g i 一j 一 j d a t a c o i l 蚓e c t 善i o d a 阳t a b a s e 寸3 。勰v l o o e ? i i _ r1 ： p r o c e s s i n a： i i ： 3 dr e c o n s t r u c t l y e ： ： f a c e ： 翻2 - 1 系统框菜翔 f i g u r e2 - 1s y s t e mf r a m e 系统框架如图2 - 1 所示，横向为建模过程，首先需要采集大量的原始三维人 验数搽，进行羲整骥，稳造三缝戆入整瘴，出三缍久羧疼中靛入脸穆建三缀天验 空间，并生成三维形变的人脸模型：纵向为匹配过程，由给定的特定人的二维人 脸照片匹配形变模型，优化得到特定人的三维人脸。 舀2 2 蘧横延配效采鬻 f i g u r e2 - 2m o d e lm a t c h i n gr e s u l t 躅2 2 怒建接器醚浆效暴躞，左上翅为德夔建鲢人脸照片，中粒斜对鹞三个 人脸代表原型人脸库，囊下角的三个是爨建眉的效暴豳；摩中原型人脸以线澎缎 合豹方式建搂，采翅党照搂型投影慝与入验灏缘灏醚优亿。 2 + 2 形变模型的理论基础 形变模型的理论基础熄线梭组合的恩想，即个对象可以用其从属魄类对 象的蒸底的线性组合慕表示。u l l m a n 等人【2 3 】葶口s h a s h u a 2 4 i 的研究表明，在正投影 鞠不考虑基遮挡戆象 争下，涮弱臻 誊不弱的三个褪囊嬲像的线性缝合赣糍合成经 塞褪翁黪躅豫，这是线性鳃台在图像表示方掰最翘的尝试。线性缝合思想在图像 分辑和合成方蘑斡深入鹰熙发嶷为理在豹形变模型，照然其中对形变模型进行了 不断豹浚透，毽其蒸零瓣憋没鸯变，鼯後蹋一类强缘中魏若予典型辫豫俸戈缀型， 并张戒该炎胬豫韵一个子奎闯，使蠲子奎蕊麓基筑豹线洼缀合簸哥戳表示该类鬻 像中静特定窝铡。 形炎模型的名称来源予图稼斑理中典黧静强豫变形方法醚。r p h i n g 方 = i | i i i i 一一 i 苎! 竺! 苎! ! ! ! ! 竺! ! 法t 即通过有对廒关系的两副图像产生中间图像和图像间的平滑过渡。由c h o i 等人 2 5 1 和p o g g i o 等人2 6 j 提出的图像的表示形式，可以将一副图像分解并表示为 ，l 傍彩凝矢量露与形状无关豹纹理矢量，这镬霪一粪图像进行线蛙运算成为可 能。p o g g i o 和v e t t e r 提出线性对象类的概念( 1 i n e a r o b j e c tc l a s s e s ) 2 7 , 2 8 ，给出了 三维对象满足线性对象类的充分条件，并论证了人脸对象在近似条件f 是线性对 象类。另一方面，窝橡对应技术的不断菱震，如基予关毽特征点的图像对应技术 ( 图像w a r p i n g ) ，基于光滚算法的密集像素的对应技术鄹基于三维模型斡对应 方法，使建立图像间的象素对应可得到较好的效果，尤冀v e t t e r 和p o g g i o 提出 的基于光流改进的算法b o o t s t r a p p i n g 算法【2 9 】，可以完全自动化地建立一类图 像阉鼓爨豢缀对应。形状矢量窝纹理矢量、线形对象类、以及像素级对应箕法靛 论证和完替，使图像问的线性运算通过其对应像素的线性运算实现。在j o n e s 和 p o g g i o 的实验中，形变模型被用来表示人脸、汽车以及手写数字等对象，并 敬稽了裰好静效巢。其中入验模型中键需了6 2 甏正蟊照片挥为骧型入验，使愆 光流算法建立像素级对应后，建立人股图像的形变模型，并使用模型表示特定的 人脸图像。如图2 3 所示是部分原型人脸和特定人脸表示的结粜。二维图像形变 模型豫了在图像分析表示方萄的应滔辩，还可瘸子图像压缩编溺、对象识剐鲡十久 脸识别，以及三维对象恢复估计等方覆。 图2 - 3 形变模型用于图像分析和合成 f i g u r e2 - 3i m a g ea n a l y s i sa n ds y n t h e s i sw i t hm o r p h a b l em o d e l 虽然锼用二缎图像形变模涎可以比较好地表示同一类对象，但对予复杂三维 对象或者有大范嗣姿态变化的人脸表示效果不是很好。于是，基于二维形变模型 的恩想，v e t t e r 和b l a n z 提出了三维入脸移变模墅l 篮。”，该模墼使用激光扫描仪 获臻三缝疑型人黢，并键鼋艨漤太脸建立人脸组合模型，烧模型匹配劐二维人脸 图像实现人脸的三维重建。同二维形变模型相比，三维模型1 , 1 j - 。- - ；人脸图像时， 考虑了入脸的姿态和光照，所以三维模型对入脸图像的表示效果更好。此外，由 予模型将久齄懿三缍建镤润题餐 牟模型农绘定a 黢图像懿瀑差优纯，爨越可以使 用最优化的方法解决，从而实现基于单幅图像的特定人脸三维自动建模。图2 - 4 是三维形变模型用于人脸的建模过程。 ：继输a 人验围虽 三缝澎变摄墼骐配 三蝗垂避蜷襄 图2 - 4 三维人脸建模过程 f i g u r e2 - 43 df a c em o d e l i n gp r o c e s s 2 3 形变模型的建立 三维形变模型的建立包括原始数据获取，原始人脸数据规格化处理构造三维 原型入脸库，人脸图像像素级对应关系的计算，以及建立入脸参数模型和对图像 垂皇疆鬻魏纯落步骤，本节下嚣分缓模型建立瓣过程。 2 3 ，1 三维漂型久验数据瘁 在文献f 2 2 】中采集了凳女青年各1 0 0 个莛2 0 0 久酌三缵入黥数据 睾为建立模 型盼魇型入脸，建立愿型三维人脸库。三维人脸数据使用c y b e r w a r e3 0 3 0 r g b p s 激光扫描仪获取，该激光扫描仪通过一次扫描得到人头部的精确几何信息和彩色 纹理信息。扫描仪使用柱面坐标来记渌几何信息，扫描精度为阐周方向( 用妒表 示) 5 1 2 个采样点，轴方向( 篇和表示) 5 1 2 采稃点( 3 0 0 m m ) ，扫摇半径( 潮霸 表示) 在2 6 0 裂3 4 0 r a m 之闻。每一个几馒采样点对应一个2 4 傻彩色( 用r ，q b 表示) 纹理象索点，并以5 1 2 x 5 1 2 大小的纹理图像存储。由于该扫描仪对于头 第二蕈基于形变模型的兰维人脏建模方法 ! i i i i i i ii i i 一 一， i ! ! 竺! ! 竺! ! 发等结橡复杂或黑色邦位熬扫毯效暴比较差，显在这墨感兴趣静只是入黼部鹃信 惑，因此被扫描者都戴了浴襁，没有仡梭，没有限镜和饰物。获取原始数据后对 其进行了预处理，去除浴裙、耳朵后面、颈部以下等部分，保留面部数据。预处 理后，每一个人脸大约由7 0 0 0 0 个采样点组成。如图2 5 中的三维人脸。人脸数 据预处理的方法详见第三章。 2 3 2 人脸数据像素级对应 形变模型静基础是淼型人稔的参数纯线形组合，郎藤垒数据澜要满足线性运 算，对于这鼋的三维入脸数据，即要基于面部特征建立不同人脸上采样数据的点 对点的稠密对应关系。由于人脸的几何差异及扫描获得数据最不一致，要建立三 维数据上基于特征的点对点的对应比较刚难，考虑到原型人黢可以表示为柱甄坐 标，通过柱藤坐摭姆三维数搂转化为二线图像著偻助图像润的光浚算法 3 2 ，3 3 】进行 对应计算。按照文献 3 1 1 中的方法，将三维入验沿柱蠢霸展开形藏二维纹瑾辫像 和凡何形、茯瀚像，如闰2 5 所示，其中形获图像的获度为半径，。 柱确展并 羔雌图象 翻2 - 5 三维人脸柱面展开为二维图像 f i g u r e2 - 53 df a c ec y l i n d e rp r o j e c tt o2 di m a g e 光流算法一般嗣于物体的运动依计舔焉褫灏序列相邻瑟顿图豫中物体连续 平滑变化的约束计算每点的位移。由于入脸图像的相似性，可以将不同人腧图 像近似地看作视频中相邻两帧图像，并使用光流计算对应点位置变化。但是当人 脸图像的差异e b 较大时不能满足光流算法的平滑性约束，单独使用光流算法计算 藏幕工监亢学工学硕士学截论文 的对应效果不理想a 在光流的基础上，v e t t e r 和j o n e s 提出b o o t s t r a p p i n g 算法【2 9 1 ， 兹造中阑簸霹形交摸熬不葭矮环往复戆芟囊对应关系，绶磐圭| 囊勰凌了久验辫像阕 的稠密蒙索对应问题。该算法详见第四章。 得到二维柱面展开图的像素对应后，返回到三维空间即可得到三维人脸的点 对点懿麓密对应。奎予不嗣三维人黢豹a 霹点数鬣不一定稳阉，蠢茈可戳袋瑶毙 流建立的稠密点对应通过插值等办法将不同人黢的几何点数规格化成相同数量， 从而原型人脸可用下蕊统一的向量形式来表示： 妻置”名”蜀z ，- 名_ ： l 鲻( 2 _ 1 ) z = ( r ，g m b r r 。，g 。，b i ) 。 其中，s 。是第i 个人脸的点的三维坐标维成的几 可形状向量，l 是对应予形 状向量中点的r g b 德组成的纹理向莹，n 是原黧入脸个数，t l 是规格化盾入脸 的点数。 2 3 3 模型的建立葛匹配优化 得到以上所述规格化后的人股向量，建立人脸形变模型。使用原型人脸的线 性缝含繁产生巍天黢蕊壹鼹表示努。f ： n s 。= q s 瓦。= 6 ，i 其中， d = 6 f = 1 ( 2 2 ) f = fi = l ，。l ，3 蠢为在上面建立豹入簸线往组合横翟中，覆螯入羧数量魄羧大( n = 2 0 0 ) ，基久 脸原始数据间有一定相关性，可以使用主成分分析的方法( p c a ) 对模型中的人脸 向量进弦处理，即对形状分量和纹理分量进行p c a 变换。利用p c a 变换的f 交 性可以潸除数据籀关健胰两达嚣疆镣数据量静秘静。 先计算n 个形状向量和纹理向最的均值j 、一t ，然后计算标准化后的形状向 量 一两瑟纹理爨爨霉一于) 豹蠡鞠关薄c ，e ，对c ，c ，分翱求犍翟蕊鞠褥缝 向量，根据特征值的贡献率确定前m 个最大的特征值盯= ( 吒，盯：，拶。) ， 孟= 氓，置：，& ) 及穗应约特援两囊( s ，s ：，嘞) ， ：，) a 这眩口国式懿 模型可袭示为： 1 4 第二章基于黪燮搂篷的三维a 溉建横方法 s 。，= i 哆砖瓦m f 。f 十磊。( 2 3 ) 可以假设人脸数螺满足正态分糍，粼经过垂交变羧焉戆形变参数 岱= ( d ，搿2 ，掰3 捌。一 ) ，搿= ( 搿i ，癌2 ，9 3 ，一 ) 潢足 j p e x p 【一去( 簖e r ；) 】 1一i j = i p ( ) e x p 一i 1 ( 乞r a - 1 ( 群磊) 】 ( 2 3 ) 式即为三维人脸模型的最终表示形式，给定形变参数拉，妙，即可产生新 的三维人脸。 模型误差 菝嚣三维入黢形变模蓬，对予绘定翳人驻整缘遴行三缝慈摸，关键淹题是灞 苇模型参数，使褥模鹫产生豹三缨人狳在穗瓣j 辛凳点骜刘静投影图橡与缭定入滁黼 像鲍误差最，j 、。搬暴使矮绘定髫缘与生戏模型投影联撂墨豫黠盛露素点豹灰凄麓 籍平方车嚣作为两图像鹣诶莲，弼求褥斡模墅参数应傻下式最小： e ，= 。l 。( x ，y ) - i m c d e l ，川 2 ( 2 4 ) 其中? 。是绘定人脸图像，j 。魁模型产生鲶人脸图像e 由于，。是由三缝模 受产生瀚模黧图像，掰以在上帮误麓中除了模垄参数掰，多，井，还涉及摄豫祝韵 永平和衙仰角度、尺度交换园子、豫乎颟上酌旋转和平移、环境光和方向性光源 等与投影和光照有关的参数，使用口来表示这些参数。实际计算对，可以使餍 p h o n g 光照摸型善羹透援投影袁计算j “。 由二维图像堂建三维信急的问题本身是个病态的闷送，所以由一个误差式 是无法得出参数向量搿，p 的，这凰蛩对参数向量搿，屈p ，使用先验经验进行 合瓒性约褒。g ，筘连瓣瑟鲶定蛇分鸯麴褒，矿躯先验分毒霹瑙爱悫分蠢送行纛孽诗。 如果给怒口，屈p 时，图像k 。的观察受标准藏为玎。的高斯噪啬的影响，则 p ，。| 戤声，力e x p ( 一簧) e 建溪溺越转讫为给宠特定入验霭稼的参数最大薅 验估计问题。由b e y e s 估计理论，后验概率的最大化等价予下式域小化： 嚣= 毒十善c + 喜e ，。十莩譬 泣s ， 最终模型对予特定人黢图像戆选茨翊题转纯为式( 2 。s ) 关予参数球，露，p ， 酾最小优化阿题。 随机优化 对( 2 - 5 ) 式酶优化使用梯发下降法策解决。融予( 2 5 ) 中的主要i 贞点，的求 秘，如( 2 4 ) 式绘定，要计算三维模型投影产生装图像，恧_ 三兰维模型爨点数绦 为7 0 0 0 0 ，螫进幸亍赝有点蜒光照和投影计算鬟a 鬻大，因此文献 2 2 】中袈耿了隧 辍撵度下簿法f 3 q 来解决( 2 ，5 ) 式瓣虢能。 陡祝梯菠下簿法裁是在计算模受入羧蚕稼鞠绘定入验鬻椽静谈差时，隧杌在 三维人黢模鬃上选择一定数量豹点( 实辩中镶瘸三角嚣戆羹心点) 寐诗舞光照萃瑟 投影点，丽不是在所有模型点上避行计簿，即用下式代替e ，： * 。l l ，( i ，嚣) 一，。( x k ，五) 2 ( 2 6 ) 其中k 怒速鞔点集，( ，欺) 是逮撬点在图豫平瑟上瀚投影点。健援随辊梯发下 降法不但可以大大加速最小优化的效率，而盥可以避免局部最小对优化的影响。 下面怒随枫优化的步骤： l 、扔始化曩，芦，力。 2 、在模型上髓极选择三跫蕊集会k 。 3 、诗簿反。 4 、计算e 在( 磊，万，两处的梯度：要，要，罢 学a 。0 p i0 p 。 5 、更激参数：( 搿，廖功 t 卜妒j 善。b j 卜i d 搿 蚤e0 茳 。丽p l p l 1 瓦 帮二章基于彤变模型的三维人脸建模方法 6 、如果i e e 。i 小于给定值0 则完成，否则转第二步继续迭代。 2 3 ，4 模型匹配的进一步改进 由于形变模型鲍骧受人脸数据量l 寓丈：模型囊2 0 0 个嚣形入验组或，嚣每 一个原形人脸由雅数约为7 0 0 0 0 的形状向量和纹理向量裟示，且模型噬配人脸图 像的过程鼹多参数的非线性优化问题，因此使用模型进行人脸建模时运算和内存 靛开镇都； 繁大。在文歉【2 2 】孛，模警匹配一蘩久簸在s g ir 1 0 0 0 0 芝需要约5 0 分钟的运算。所以如何加快模型匹配速度，提赢模型匹配的真实感效粜，避免模