（计算机应用技术专业论文）真实感三维人脸编辑方法的研究与实现.pdf

摘要 摘要 真实感面部合成是计算机图形学中最困难的问题之。自从7 0 年代p a r k e 提出了世褰上爨一个人验合成系绞鞋来，对于诗簿极强形学领域戆磺突嚣来说， 具有真实感的入脸合成就一直怒一个富谢挑战饿并且值得深入研究的课题，而其 又霹羧广泛瓣盛翅子诸魏毫影、广告人物动禹、诗冀杌游戏、褫频会议、瑟帮秘 科手术以及人机接口等多个领域中。 本文在蘑内乡 在入验合成镁域戳及麴蟊和实体编辑领域研究的基础上，提出 了一个简单有效的三维人脸编辑方法，通过利用预先建立的一个带纹理的三维器 留模型霹，对给定入验横型的编辑，合成出了一个全新的、满足特定需要的、可 以从任何角度和方位进行观察的三维虚拟人脸模型。 在此，我们主要从几何和纹理两方询讨论了器官替换的编辑工作。在几何上， g l 入了基于径趣蒸函数鹣数蔑点矮篷算法，逶过以入脸甏部与替羧爨富农共享边 界上的对应点为约束，变分插值面部网格，进而究全自动的实现了器官间几何适 凝熬过程。露戳绽熬骛窃与鹣黠箨法穗魄，我稻豹适配遭程不毽保证了模型拓羚 结构的一致性，而且在对面部网格的变形上也是自然和光滑的。在纹理上，将改 避静场燹形算法辐震到入脸模型对应的纹理圈上，不但完成了纹理圈中对应器官 区域的替换，同时通过引入以点要边界距离的函数为权羹的线性插值，实现了在 替换器官区域扶舀标图像到源图像的均匀过渡；又通过弓i 入直方图规定化的技 术，解决了由于肤色相熬较大嚣产生的边界不能警潺过渡敬阀题。最后，我们还 设计了一个基于特征对齐的、交瓦式的纹理映射工具“t e ) ( t u r e f i t t i n g ”， 皮震这令王具，躲虿在糁薤对齐瓣基磴上，完成及凝生藏纹瑾嚣像裂囊会成人验 模型的整个映射过程。 实验涯赘，本算法不健在耋建久验嚣窑模鍪 滗浆基确上可快速、简单迨实魏 三维人脸模型的寇制，而且在对特定人脸模型在几何与纹理上的编辑，也均能获 褥令入满意髂合成结采。 关键词：人脸器寓模型库径向基场变形壹方图援定他人脸编辑 北京工业大学工学磷士论文 a b s t r a c t t h er e s e a k ho nc o m p u 协rs y n t h e s i sr e a l i $ t i ch u m a nf a c ei saf o u n d a t i o na 1 1 d m e 黼w h i l ead i 壕e u l t y 法如e 嚣e 8o f c o m p u t e f 豁毽p h i c s s i n c e 氇。p i o 嫩蠢n g 、v o 暾o f f r e d e r i ci p a r k ei n19 7 2 ，恤er e a l i s t i cf a c i a l s y n 如e s i si s s t i l las u b j e c t 、v i t hg r e a t e h 蠢l 锶g e 张dw o 瞧l 琏e e p l yr e s 黜鞋n g 韬粥e 鑫r c h e 转攮氇ee o 搬p 越e f 辩p 越s 蠡e l d 。 b a s e do nt h ep r e v i o u sw o r ko ft h e l di nf 如i a ls y n t h e s i sa n ds i l r f a c e se d go r s o i i d se d 矗i n 嚣，w ep f o p o s eas i m p l ea n de 蠹凳e t 主v en 姹：t 孙d 南re d i t i f 毽3 dh u 玎l a n 蠡把e s g i v e nas 船c i n ch u m a nf a c e ，w ec a ng c n e r a t ean e w3 df a c em o d e la u t o m a t i c a i l yb y e d i t i n g ，w 五i c hi s 幻地p l a c e ac e n a i no 嘴a nw i mt 1 ec o “_ e s p o 耐i n gp a r ti nt h ed a t a b a s e 。 o l 】r o 嬉a n 出瞳a b a s e i sc o n s t n l c t e dl l s i n g 也ef e c o n s n l l c t i o n a p p r o a c h b a s e do n p h o t o 酽a p h s 秘e 瞎，氇e 廷e e 嘈雄t i 珏gs e h e m ei n e l u d e st w o 搿l r t s ：g e o 趣e t r y 蠡撼n g 繇畦t e x t u r e f i t t i n g i ng e o m e qf i t t i n g ，w ei n t r o d u c et l l es c a t t e r e dd a _ t ai n t e r p o l a t i o nt e c h n o l o g y ， a 蕊b y 璐i 弼t 沁r r e s p o 聪i 鹋弦i n 姆o n 氆os 醯r e 连b o 鞠如f 硗t w e e 珏t bg i v e n f 犯i a lm e s h a r 试让把o r g a n t ob e p a s t e d ，t h ef 乱i a lm e s h c a nb ea u t o m a t i o a l l y 矗t t e dt o 也eo 辖a nt ob eu s e d a n d 洫把x 抛摊矗蕊i n w ee x t e 芏l d 氇e 妇p r o v e df | e l d 南a s e d m o 攀h i n g 矗l g o r i t l l 】弧t om ec o r r e s p o n d i n g t e x t u r em a p ，a n d 嘶m 也ep r e p m c e s s i n go f t h eh i s t o g r a m m a t c h i n gm e t h o dw ec a no b t a i ns m o o 讯r e p l a c i n gr e s u l ti n 幽et e x t u r e m 举a tl a s t ，讯h 龇h e l po ft e x t 技u e - f 骶烈毽t h e t e x t u r em a p p i n gt o o l ，w h e r e t 1 1 ef e a t u r e sb e t w e e nm o d e la n dt e x t u r ec a nb em a t c h e d ，a n dc o m b i n a t i o nt h et w o a 酾v es 捃p w ee a 娃o b 攮遮an e w v 主f 拙h 毛l l 毽 啦，鞋o to 瓣yd i 援b 糟n t 熟m 臻e8 p e c i 曩e o n e ，b u ta l s os a t i s f i e dt 量1 es p e c i f i cr e q u i r e 硒em e t h o dn o to 癌y p v i d e sa n e w a 弹l i c 积o n 如rt 撼3 蛰f 酝i 蠢羚c o n s 钒l e t i 潍， b u ta l s oc a nb er e a l i z e do np c p l a te a s i l y 锄dq u l c k l y ta l o to f e x p e r i m e n t r e s u l t 8h a v e d e m o n s n a t e d 如ee 壤c i e n c yo f o u ra p p 姗l c hf o rc d h i n g3 d h u m a nf k e s k e y w o r d s ：f a c i a lo r g a nd a t a b a s e ，r a d i a l b a s i sf u n c t i o n s ，t 1 1 e8 c a t t e r e dd a t a i n t e r p 0 1 a t i o n ，f i e l d - b a s e dm o r p h i l l g ， i s t o 掣a mm a t c h i n g ，e d i t i n g 1 l l 寨王鼗文学王学磺士谶义 插图 黧1 1 系统的总体穗黎圈。7 强2 1 一簸太狳托 莓搂囊、1 0 鞠2 0 一般入黢凡罄攘型中建敷豹特缝赢1 0 圈2 3 手= 农人脸图像上标定的婚，谯点l 】 鬻2 4 构潦豹其有特定丸特挺静天验黼络模型 l 鬻2 5 利瓣鞠耀爨簿合成熬特定天脸煞绞淫强豫l l 黧2 6 三维廛擞人程不鄹视角下鲍投影一1 2 鞠2 。7 重慈豹三维人脸模型( ) 1 4 鞫2 8 重建豹三维a 艟模型( 二) 。】4 强2 + 9 重建的三维太黢模璧( 兰) 1 4 豳2 i 0 一敷人黪几侮横型七秘分的划分绻果鼹， 5 阁2 1 1 人脸模型的划分结果( 一) 1 6 溺2 1 2 太簸模型鹣捌分结暴( 二) 1 6 瓣2 ， 3a 靛攘型斡麓势络聚( 曼，1 6 圈2 。1 4 人黢模型静划分结果( 鞠) 。1 6 鞠2 ，1 5 入羧模型豹捌分结果( 鬣) 。1 7 圈2 1 6 人脸模垄豹划分结果( 穴) 1 7 黧2 1 7 一般入脸挨整褒疆、疆、彝鞋聂藉与懿验熬透器辩藏关蘸1 9 楚2 。l s 带纹黧熬嚣宦攘型( 、= ) 1 8 圈2 1 9 带纹理的器官模型( 三、匹) t 9 餮2 2 0 鬻绞避戆器富横壁( 玉、六) ，i 9 圈2 、2 l 纹理囊串各嚣窘对瘦弱糖嚣迭赛+ 1 9 黧3 1 任一绘定人黢模型嚣寓酶剪切缩巢圈2 2 圈3 2 霞部刚格c 岛替换器官嚣和嚣在共享边并上的对威关系2 3 翻3 3 插缓多蹶式2 4 豳3 4 参数球对蕊部嘲格模型变形的影嗨2 7 鬻3 5 器蠢遥配绻莱图一( 瓣嚣留靛翳撩) 2 7 黧3 6 器窘逶瓤缭豢强= ( 麟嚣窝豹薅换) 2 7 豳3 。7 器宦适怒结襞图三( 纛嚣富的替换) 2 8 蕊3 8 器露适配结暴强翻( 彝器富豹替换) 2 8 鞠3 9 器寄道配结荣图蠢( 瘸器官的替换) 2 8 强3 。l o 器窘逡酲缝粱鞠萎( 攫器官戆甓按) ，2 9 强3 。l l 器寓逐琵缝祭辫六( 鼹嚣宫豹罄捺) 2 9 圈3 ，控器富邋配结果嘲六( 报器官的替换) 。2 9 目录 强4 1 图豫交融技术3 l 圈4 2 图像变形过程。3 2 辫4 3 热像变形按零3 2 圈4 4 单对线对3 3 圈4 5 多辩线对3 5 黧4 6 绽瑗霉稼串麓器官替换，。3 7 图4 7 特征线对的自动划分3 8 熬4 8 象素坐标鲍双线性播值4 0 鞠4 9 边释处理4 2 豳4 1 0 参数p 对边界融合的影响4 2 辫4 鼓入脸b 瓣羼器窄餐换入验a 对应器襄鲶绞理融台鼙( 口= 2 。0 ) ，4 3 黼4 1 2 器官替换缩果图( 图4 1 1 的放大圈) 4 3 嘲4 1 3 肤色相差鞍大的两蠛纹理圈阅的器官耱换( g 磁，o ) 4 3 彝4 1 4 默毯辐蓑较大静器富替换结聚鬓f 蚕4 + 1 3 的教大鬻) ，4 4 阔4 1 5 肤色相差较大的器官替换( 8 = 0 5 ) 4 4 鼹4 6 获瘦缀壹方嚣，+ 蝤 蕊4 1 7 替换区域的毫方圈4 8 阁4 1 8 新产生图像区域对_ 陂的直方圈4 8 嚣4 1 9 对肤色籀麓较大静a 齄器富褒域避抒豢方嚣援定佬楚理嚣靛结巢瀚。4 9 阔4 2 0 缀宣方围规定化预她理后的入脸器官替换结暴网( p = 2 0 ) 4 9 图4 2 l 替换器官结泉图( 圈4 2 0 的放大图) 5 0 国4 2 2 采趣币麓方式遴符瓣富替换结采之蹴鹱5 0 圈4 2 3 眼睛器官聪域的替换( 口0 ) 5 0 强4 ，2 4g 瑟簿器官区域替换的曼个例子( g 域o ) 5 l 鬻4 ，2 5 罄挨礴器富的纹邂融合圈( 口= 2 0 ) 5 i 豳4 2 6 祷换嘴器宙的纹理融合图( 口= o 7 ) 。5 2 窝4 2 7 替按彝器露豹纹理融台鹫( # ；1 o ) 5 2 国4 2 8 替换鼻器官的纹理融合图( e = i o ) 5 3 翔4 2 9 替换眉毛区域的纹理融合图( e = o 7 ) 爨4 譬接弱毛嚣城靛绞琏融台爱( 8 书，7 ) 5 3 。5 z 强5 1 楚革翁挂箍窑檬绞蠖魄麓整5 s 围52 眉器官的嗣格映射豳。5 8 圈53 蠛、鼻、鹾部的网格映射图，。s 9 圈54 平露d i e l a u n a y 三竞糊分6 0 图55 在网格映射图中的。对给定点集y 的脚l a u i l a y 三角剖分6 0 黼5 。6 刿赣轰是否在d i e l 磊撼a y 三舞澎蠹的礁粼匿6 8 灏5 7 基于d e a u n a y 三角割分的特征对齐的纹理映射缡果图，6 2 阕5 8 替换鼻器官后新生成的三维人脸模型( 一) 6 3 鼹5 。9 替换屠器官震薪生成靛三维a 验模型( 二) 。6 3 阔5 1 0 替换唇器宙后新生戚的三维人脸模型 是逼近真值函数的【4 2 】。正是因为径向基函数能 在很大程度内逼近于给定的高次曲面，比如人脸面部模型，所以目前已被广泛的 应用于人脸的重建技术中。 一般插值问题 插值法解决的实际问题虽然各式各样，但抽象为数学问题却有它的共性。最 简单的插值法是一元代数插值。它所研究的问题是：厂( x 。) = 儿，汪0 ，1 ， 求次数不超过的多项式j ( x ) = 厶+ x + + 五x ”，满足j ( x ，) = 只。这里，厂( x ) 称为被插函数，x ，称为插值节点；s ( x ) 称为函数厂( x ) 的| v 次插值多项式。 在几何上，就意味着要找一条代数曲线，使该曲线通过给定的一组点 m ，( x 。，只) ，f _ 0 ，1 ，如图3 t 3 所示。 图3 3 插值多项式 f i g u r c3 3i m e r p o l a t i o np o l y n o m i a l 基于径向基函数的插值问题 给定个不同的点碱r 。：i = 0 ，1 ，) 和一个实函数 ，( x ) ：x r 4 ) ，构 第三章 器官几何的替换 造一个从r 4 到月函数s ，使之满足下面的插值条件： s ( x ，) = 厂( x ，) ，f _ o ，1 ， 其中 ( 3 1 ) j ( x ) = 删x 一一| ) ( 3 2 ) l = l 是一个从r + 到r 的函数。 在上述公式( 3 2 ) 中，系数 ：f _ o ，1 ，| v ) 由上面的插值条件决定。显然，解 如下的线性方程组可求得系数 丑：j = o ，1 ，) 4 五= y 其中 ( 3 3 ) 旯= ( ，如，钆) 7 y = ( 厂( x 1 ) ，厂( z 2 ) ，- 一，厂( x ) ) 7( 3 4 ) 4 = 【爿】，a n = 删x ，一x j 忱f ，_ ，= 1 ，2 ， 利用径向基的插值方法，变分人脸面部网格 对于每一个共享边界点f ( 即特征点) ，记p 为替换器官边界上的特征 点，p j 为与替换器官b 边界特征点p ，相对应的人脸面部网格c 中的边界特征 点，则面部网格变分的过程可分为如下三个步骤： 1 ) 计算特征点的位移量： 已知特征点砸= o ，l ，2 ) 的源、目位置分别为p j 和p ，则通过公式( 3 5 ) 即可计算出每一个特征点f 对应的位移量“，其中为共享边界点的个数： “。= n 一硝o ( 3 5 ) 2 ) 计算其它非特征点的位移量； 以替换器官共享边界点的三维坐标作为函数的嵌入空间，用一个光滑的向量 值函数，( p ) 去适配已知的特征点数据厂( n ) = “，则通过函数的求解，可求出其 北京工业大学工学硬士论文 它非特征点，即非共享边界点的位移量“= 厂( p ) 。 在此，我们利用基于径向基函数的插值方法来求解该函数( p ) 。 对于径向基函数s ( p ) ，取如下的形式： “= q 硎p 圳)( 3 6 ) 其中tc ，为与特征点p 对应的权值，为径向基函数。为了求得c ，需要解公 式( 3 7 ) 所示的线性方程组： “，= c ，妒) ，其中勺= 怯一p 川 ( 3 7 ) 其中，只，p ( f ，= 0 ，1 ，2 ) 为替换器官曰。共享边界上的点。 一旦c ，值求出，即可将其重新代入到公式( 3 6 ) 中，进而通过计算，求出面部 网格模型中其它非特征点的位移量“。 3 ) 由公式p = p + “，求取变分后人脸面部模型上各点的新坐标； 对于径向基函数的核函数，这儿有很多的方式可以选择。但一般较为常用 的为高斯函数和逆平方根函数两种，即： ( r ) = 8 一，口 0( 3 8 ) l 妒( r ) = ( r 2 + c 2 ) 一i 在本实验中，选取高斯函数作为我们径向基函数西的核函数。 在如公式( 3 8 ) 所示的高斯函数中，为空间两点间的欧氏距离，参数甜 0 ， 且控制着径向基函数局部作用的范围。若口取值较大，则在整个插值过程中，仅 有那些离中心x 。距离较近的非特征点才会受到影响，而对于那些距x 。较远的点 将不受影响，或是仅受很小的影响；反之当口取值较小时，中心x ，的影响范围将 增大。图3 4 示例了当口取不同值时，对人脸面部网格模型进行变分插值的结果。 其中t 顶排图为给定人脸模型，而底排图则分别示例了当口取1 o 、o 5 以及焰o 时，同一人脸面部网格与同一替换器官间几何适配的结果。通过观察不难发现， 当a 取4 o 时，面部网格较口取1 o 以及o 5 时的情形，有较明显的拉伸，即 特征点的影响范围较大。 第三章 器官几何的替换 图3 4 参数口对面部网格模型变形的影响 f i g u r e3 4v 打i o u sf i n i n gr e s u n su s i n gd i 疗b r e n t 口 至此，我们可根据用户的要求，通过选择不同的口值，获得不同的变形结果。 图3 5 器官适配结果图一( 唇器官的替换) f i g u r e3 5r e p l a c i n gr e s u l tf o rm o u l l l ( f i 麒) 图3 6 器官适配结果图二( 唇器官的替换) f i g u r e3 6r e p l a c i n gr e s u l tf o rm o u m ( s e c o n d ) 一2 7 北京工业大学工学硕士论文 图3 7 器官适配结果图三( 鼻器官的替换) f i g u r e3 7r e p l a c i n gr e s u l tf o rn o s e ( f i r s t ) 图3 8 器官适配结果图四( 鼻器官的替换) f i g u r e3 8r e p l a c i n gr e s u l tf o rn o s e ( s e c o n d ) 图3 9 器官适配结果图五( 眉器官的替换) f i g u r c3 9r e p l a c i n gr e s u nf o r b r o w s ( n r s t ) - 2 8 第三章器官几何的替换 图3 1 0 器官适配结果图五( 眉器官的替换) f i g i 】r e3 1 0r 印t a c i n gt e s u hf o r b r d w s ( s e c o n d ) 图3 1 1 器官适配结果图六( 眼器官的替换) f i g u r c3 1 lr e p l a c i n gr e s u l tf o re y e s ( n r s t ) 图3 1 2 器官适配结果图六( 眼器官的替换) f i g u r e3 1 2r e p l a c i n gr e s u hf o re y e s ( s e c o n d ) 如图3 5 3 1 2 所示，为对给定人脸模型进行器官替换的结果图。其中左图 为给定的人脸模型爿，中图和右图则从正视和侧视两个角度分别示例了替换某一 器官后，面部网格的变分结果。通过观察不难发现，利用基于径向基函数的散乱 点插值技术，来进行器官的替换，不但拼接边界完全吻合，同时由于径向基函数 局部控制的良好性质，面部网格的整体变形也更加的均匀、自然和平滑。 北京工业大学工学硕士论文 3 3 本章小结 在这一章中，我们主要介绍了器官间的几何替换。和以往三维物体间的“剪 切与粘贴”不同，在此我们主要根据人脸的特性，引入了基于径向基函数的散乱 点插值方法。首先通过拓扑同构的性质，确定了面部网格与替换器官在共享边界 上的点点对应关系；接着以这些边界点为约束，通过基于径向基函数的散乱点插 值方法，求取出过插值点( 即边界点) 的光滑向量函数，最后利用由上一步计算 得到的向量值函数，求取面部网格模型上其它非特征点的新坐标，进而通过全局 范围内的修改，得到与替换器官几何适配的、均匀、自然、光滑的变形结果。同 时，由于在插值计算的过程中，我们是以拼接边界上的所有点为向量函数的嵌入 空间，所以在对面部网格模型进行变形后，不会产生边界不吻合的结果。 值得一提的是，在整个变形过程中，我们可以根据用户的需要，通过选取不 同的径向基核函数的参数口，产生不同的面部变形结果，借以又获得了更多、更 丰富的视觉效果。 第四章器官纹理的替换 第四章器官纹理的替换 要完成三维人脸器官替换的目的，一方面根据边界对应点，利用基于径向基 函数的散乱点插值技术，可自动的将给定的人脸面部网格平滑、自然地适配到替 换器官上；另一方面，同几何一样，对于纹理图也应该作相应的替换。只有对器 官的纹理和几何均作了处理后，才能产生更加逼真的视觉效果；从另一个角度来 说，较几何的改变，图像级的变化则更能给人以强烈的视觉冲击力。 在这一章，将从给定三维人脸对应的纹理图像出发，通过图像变形技术，来 直接操纵和控制器官对应纹理区域的象素值，进而完成纹理图中的器官替换。 4 1 图像变形技术 图像变形( i m a g em o r p h i n g ) 是一种能把一幅数字图像以某种自然流畅的方 式变换到另一幅数字图像的技术 3 4 】。自从1 9 8 2 年，纽约理工学院的t o mb r i 曲锄 制作了由美女变老虎的动画以来，它就被广泛的运用于影视特技、娱乐和医学等 多个领域中。虽然图像变形技术是在二维的图像空间处理问题，但还是可以让人 产生神奇的三维形状改变的错觉，这也意味着我们可以绕过三维造型的枯燥过 程，直接通过处理二维图像中的象素，来获得特殊的视觉效果。 图4 1 嘲像交融技术 f i g u r e4 1c r o s s - d i s s o h ，e 在图像变形技术发展起来之前，传统电影制作中为了达到图像转变这种能产 生强大视觉效果的目的，通常通过1 ) 巧妙的剪辑( c k e r - c u t s ) ；2 ) 停住运动动 画法；3 ) 视觉交融技术( o p t i c a lc m s s d i s s o l v e ) ，即在一幅图像淡出的同时，利用 简单的线性插值淡入另一幅图像。但因未对两幅淡入、淡出图像做任何几何特征 对齐，将产生由于错误匹配对应区域而带来的明显双重曝光效果，如图4 1 所示。 北京工业大学工学硕士论文 图4 2 图像变形过程 f i g u r e4 2i m a g em o i p h j n gp r o c e s s 为了实现两幅二维图像，。和k 的变形过程，动画师首先基于简单地几何元 素建立图像特征之间的对应关系。几何元可以为网格节点、线段、曲线、点等， 然后由这些特征对应关系计算出变形所需的几何变换，几何变换定义了两幅图像 上点之间的几何对应关系a 满射c 。：，。_ k 把第一幅图像的几何形状映射为 第二幅图像的几何形状，满射c ：，。，哼，。把第二幅图像的几何形状映射为第 一幅图像的几何形状。需要两个映射的原因是图像点与点之间的对应关系不一定 是一一对应的。设鼻为源图像上的点，b 为目标图像上的点，则源图像和目标 图像的扭曲函数彬和可分别定义为 彬( 只，r ) = ( 1 一，) 只+ ，c i ( p 1 ) ( 4 1 ) ( p 2 ，f ) = ( 卜f ) c 2 ( p2 ) + f p 2 ( 4 2 ) 其中r 0 ，1 】。当两幅图像变形对齐后，我们可采用简单的颜色插值得到中间帧 图像。图像变形的过程如图4 2 所示。 圈4 3 图像变形技术 f i g u r e4 3i m a g em o r p h i n g 如图4 3 所示，为利用图像变形技术生成的图像序列。通过观察不难发现，由 于图像变形技术是在保证几何对齐的基础上，完成颜色插值的，所以较传统的交 融技术，它可获得更加平滑、逼真的图像序列。 第四章 器官纹理的替换 4 2 场变形算法 作为图像变形技术之一的场变形算法，最早是由b e i e r 和n e e l y 3 5 于1 9 9 2 年，在p a c i f i cd a t ai m a g e s 会议上提出的。由于该方法显著简化了网格变形 3 6 所需的特征指定工作，同时允许利用线对对d 哪f 馏进行直观的控制，并通过 交互的指定图像几何特征，方便地达到了预期的视觉效果，已被成功的运用于美 国黑人歌手晰c 砌p ，妇c 缸d 盯的b 肠c 七卯阡协抛音乐录影带中。 在本文中，正是基于这种简单、直观的性质，将场变形算法拓展到三维人脸 对应的纹理图中，并通过局部化的控制，进而完成器官纹理替换的目的。本节首 先给出场变形算法的基本概念，接着介绍单、多线对的变形算法，最后阐述两幅 图像间的变形过程。 4 2 1 基本概念 场变形算法是一种利用特征线对，直观控制图像变形的算法。之所以称之为 场变形算法，是因为该算法除了对沿直线的所有点提供直接的对应关系外，对特 征线附近点的映射关系也可通过点到直线的距离来指定。 和众多图像变形算法一样，场变形算法也由特征标定、图像扭曲和过渡控制 这三部分组成。其中，1 ) 特征标定是用户在源、目图像上标定的一组特征线对； 2 ) 图像扭曲是通过所标定的特征线段，以象素点距各特征线对的距离为权重， 分别对源、目图像进行扭曲，即寻找源、目图像间象素一级的映射关系；3 ) 过 渡控制是通过插值函数，融合变形后的两幅图像。 图4 4 单对线对 f i g u r e4 4s i n g l el i n ep a i r 一3 3 北京工业大学工学硕士论文 4 2 2 单线对变形算法 在单对直线变形中，两幅图像间的映射关系可以用一对直线来指定。设，。为 源图像，k 为目标图像。若在源图像和目标图像中分别指定一有向直线段，那 么这一对特征线段就定义了从一幅图像到另一幅图像的映射，该映射把一条直线 映射为另一条直线。设从，。一，。的映射为厂：。寸肖，爿为x 在尸q 上的投 影，“为删与p q 的比，v 为朋的长度，如图4 4 所示，则 炻样 。， 忪一p 旷 。 v 一一伍卅塑铲 ( 4 a ) 彳= p 7 + “( q 一p ) + v ! - ! ! ! ；斧( a s ) 其中，函数p p 印e 砌c ”f 甜o 返回一长度与输入矢量相等且垂直的矢量。若只 有一对直线段，则图像变换的过程可描述如下：对于任一z ，。，计算“，v ，戈的 值，然后把源图像在x 处的颜色值赋给目标图像的x 象素，即 ，。( ) 卜，。( 上。) 。对一直线之间的变化实际上是一个由旋转、平移和比例变换 复合成的变换。 单对直线的变形映射算法描述如下： f o r ( 目标图像中的每一象素x ) 根据p q 和p q ，计算相应的”，v 值； 根据 ，v 值，计算出源图像中的x 。值； ，( x ) = 。( x ) ； e n df o r ： - 3 4 第四章器官纹理的替换 4 2 3 多线对变形算法 在大多数情况下，输入图像有很多的几何特征，那么仅仅通过一个特征线对 控制图像，往往得不到好的结果，b e i e r 和n e e l y 3 5 】同时提出了基于多线对的变 形算法。虽然多线对所指定的变形比由单线对所指定的变形复杂得多，但是由于 它在变形的过程中，根据点到线对的距离和线对的长度为权重，同时考虑了多个 线对对变形的影响，所以获得了更加平滑的图像变形结果。 图4 5 多对线对 f i g u r e4 5m u l 郇l el i l l ep a 砖 设x 是目标图像中的一点，对于每一对直线，都有一个与它相对应的点z ， 如图4 5 所示。设d l = x ：一，显然d f 为由第f 对直线变换所引起的象素位置的 偏移。对所有的偏移量进行加权平均，得到 d ：士窆吣 ( 4 - 6 ) ”1 z 可取为 x = z + d( 4 7 ) 若只有一对直线，则 。= + d 1 = z + ( x i 一) = x ： ( 4 8 ) 与前面的结果相符。权因子取为 w 。= 【等r ( 49 ) 口+ d z s r 一3 5 北京工业大学工学硕士论文 其中，彪劝历是直线e q 的长度，如f 是象素z 到直线只q f 的距离。口，6 和p 是调整各线对相互影响效果的参数。当o “。 l 时，如f ，的值取为d 如( v ，) ：当 “ 1 时，加f 。的值取为z 到q 的距 离。参数日用来控制映射的精确程度，若口接近于0 ，则当如f ，一o 时，权因子 接近于。，直线对上的象素可精确的映射。当口取值较大时，映射将变得光滑， 但是，控制精度却变差。参数6 决定了随着距离拈f ，的增大不同直线相对强度的 减弱程度。若6 等于0 ，则每个象素受到所有直线同等的影响。若6 很大，则每 个象素仅受离它最近直线的影响。6 的取值范围一般为 o 5 ，2 。参数p 决定了 直线段的长度对映射的影响。若p 等于o ，则长短直线的地位等效。若p = 1 ，则 长线段比短线段有更大的权因子。p 的取值范围为 o ，1 之间。 多对直线对的变形映射算法可描述如下： f o r ( 目标图像中的每个象素x ) d s “删= 0 o ： w p 动船“m = o ； f o r ( 每条线段只q f ) 根据只q l 计算“，v ； 根据“，v 和只。d 计算z ； 计算由这一线段引起的偏移量d 。= z ：一x ； 硪s f 。；从x 到只q 的垂直距离； w ，= ( 抬啦，+ d 括f ，) ) 6 ： 肪“m 十= d f + w t ； w 口劬拈“m + = w t ； e n df o r ： 3 6 第四章器官纹理的替换 肖= z 十肪“口喀 船 m ； j ( 石) = ，。( x ) ； e n df o r ： 4 2 4 两幅图像间的变形 现在讨论两幅图像间的变形过程，即研。棚曙。 设这两幅图像为，。、k ，先在两幅图像中定义控制变形的对应直线对，并 通过插值得到中间图像，。的直线。插值方法有两种：1 ) 对直线对的端点进行 线性插值，生成中间帧直线的端点。2 ) 对直线对的中点、朝向和长度进行插值。 依据，；。j 耐的直线对变换可得到幅中间帧图像依据，m ，专的直线 对变换可得到另一中间帧图像，：。最后通过交融技术，把，1 和，：进行线性插值 得到最终中间帧的变形图像，一。 4 3 纹理图中的器官替换 图4 6 纹理图像中的器官替换 f i g u 糟4 6o r g a f lr e p l a c i n gi nt e x t u r em 印 通过上述分析，我们已经知道图像变形技术是一种绕过三维造型，在二维图 像空间内通过直接操纵象素点，来产生特殊视觉效果的变形技术。在这一节，我 们将详细介绍怎样利用改进的多线对场变形算法，完成纹理图中器官的替换。 记给定人脸模型爿对应的纹理图为，。，替换器官b 所属人脸模型对应的纹 理图为k ，如图4 6 所示，现欲将j 。中替换器官b 对应的纹理区域瓦替换成l 。 北京工业大学工学硕士论文 4 3 1 特征指定 第一步就是在图像中，定义控制变形的对应直线对。 在此，我们将直接利用第二章在眉、眼、鼻以及唇这四个器官对应纹理区域 边界上勾勒出的椭圆线，自动完成特征线对的指定。如图4 7 中所示的虚线，即 为我们利用替换器官在源、目图像中对应椭圆的长轴和短轴，通过自动划分得到 的四条与之对应的特征线段。 j 夕。 辽夕 图4 7 特征线对的自动划分 f i g u r e4 7t h es e g m e n 协t i o n0 f a na r b i 仃吖e l l i p s e 在这步特征指定的过程中，我们不但通过预先定义的椭圆线对大大减少了用 户手工交互进行标定的工作，同时也为下一步过渡控制的区域判定奠定了良好基 础。 4 3 2 图像扭曲 如图4 2 所示，在这一步图像扭曲变形的过程中，首先利用在源、目图像中 已定义的相互对应的特征线对上。、三。，插值求出位于中间过渡图像中的特征 线对工。砷：接着根据特征线对间的对应关系工。卜工，砷、工卜上耐，即可将给 定的源、目图像分别扭曲变形到几何相互对齐的，和，上。从本质上说，扭曲变 形的过程就是一个通过二维几何变换对齐两幅输入图像的过程。 特征线对的插值过程 在4 2 4 一节中，我们知道线对间的插值方法主要有两种，一种方法是直接 利用特征线对的两个端点进行插值，虽然这种方法简单易行，但是如若特征线对 在，。和，。，中有明显的方向变化时，则会造成插值线段长度的缩短。在本文中， 第四章器官纹理的替换 我们采用第二种效果较好的对直线中点、朝向和长度分别进行插值的方法。在此， 记j d ，q 为某一特征线段对应的两个端点，则插值过程可分为如下三个步骤： l ，利用简单的线性插值，计算出中间过渡特征线段的中点m 叫： m 哪= ( 1 一口) m ”+ 口m “ ( 4 1 0 ) 2 利用下述公式( 4 1 1 ) 和( 4 1 2 ) ，分别计算t 。和气，中特征线段与z 轴正向 的夹角和。 臼州= 日出f = 垡：二望l 耖l p ”_ j 矿妨”巧”) 取正扩妨” 巧”) ，取负( 4 1 1 ) 黟 矿防掣) 取正矿 辨取舢 随后，同样利用线性插值，计算出中间过渡特征线段与x 轴正向的夹角。 只= ( 1 一盯) x 以。+ 盯 ( 4 1 3 ) 中间过渡特征线段的长度上e n 。可用如下公式计算： 砌叫：坚监= # 坚型 3 最后，利用刚才得到的中点，与x 轴正向的夹角和线段的长度，计算出中 间特征线段起点p 叫和终点q 叫的坐标： 霉三筘二现l 麓； l ，= m 罗一e n 哪s i n ( ) ”。7 j 骘圳：“8 ”哪0 8 ( ) ( 4 1 6 ) i 矿= 肘吵+ 三e n 删s i l l ( 气砷) 、 扭曲变形 一旦计算出中间过渡图像的特征线对工。，则就可利用该线对与源、目图像 中已标定线对的对应关系，将，。和匕分别扭曲变形到。和，：。在求取扭曲变形 坐标的过程中，无论是采用单线对的变形算法，还是利用多线对的变形算法，对 于中间过渡图像，( 或，2 ) 中的任意一点x ，通过公式( 4 5 ) 或( 4 7 ) 的计算，均可 ，l， d d 垂喜 差言 北京工业大学工学硕士论文 能产生浮点类型的象素坐标x 。如果单纯对象素坐标x 进行取整运算，不但可 能产生带有跳跃性的图像，而且还会损失不少图像细节信息，使图像变得模糊、 不清晰。所以为了获得更精确的纹理颜色值，必须对象素x 。其上下左右四相邻 象素在r g b 空间内进行双线性插值。如图4 8 所示，我们记4 、b 、c 、d 分别 为在图像坐标系中距x 最近的四整型象素的坐标，则通过公式( 4 1 7 ) ，可计算出 x 在源( 或目) 图像中对应的象素值r 。： r f 一= w ( w r 4 + w 月r 口) + w 彻( w c r c + w d r d ) ( 4 1 7 ) 其中，权重w 。，w 。，w 。，w 。为各整型象素在x 方向上与x i 距离的反比；权重 w 膨为整型象素在y 方向上与z j 距离的反比。 图4 8 象素坐标的双线性插值 f i g u r e4 8b i o i n t e r p o i a t i o nf o rt 1 1 ec o o r d i n a t e so f p i x e i s 4 3 3 过渡控制 通过前一步的操作，我们己得到了两幅与源、目图像分别对应且几何对齐的 图像，。和，：。若记p 。、n 分别为这两幅扭曲变形图像，1 、，：中对应的象素点，风 为中间过渡图像中与p l 、p ：对应的象素点，则对于传统的场变形算法而言，通 过公式( 4 1 8 ) ，即可计算出过渡图像中任一象素点风对应的颜色值c ( p 。) ： c ( p o ) = 叩c ( p 1 ) 十( 1 7 7 ) c ( p 2 ) ( 4 1 8 ) 其中，玎为一渐变比例系数。随着该系数即源、目图像在中间过渡图像中所占比 第四章器官纹理的替换 例的改变，我们可以得到一系列从一幅图像变化到另一幅图像的图像变形序列。 然而，我们进行纹理编辑的目的，不是根据比例的变化产生一系列中间过渡 的图像，而是在保证边界平滑过渡的基础上，替换器官对应的纹理区域。所以， 在此我们不能像传统的场变形算法那样，简单的将线性插值直接应用到变形图像 中的每一个象素点，而需根据它们所在位置的不同，给与不同的处理。 基于以上分析，我们引入如下公式， c c p 沪k 。巾 跳m 。蹦：2 徽曷匿黧 公式( 4 1 9 ) 表明，若象素点p 。位于椭圆区域外，则其颜色值来自于源图像； 若象素点位于椭圆区域内，则其颜色值来自于源、目图像间的线性融合。在此， 我们必须适当的选择与两幅图像对应的融合系数，进而通过该系数的渐变，使替 换区域从图像，逐渐光滑的变化到图像，：中的对应区域上。在这个渐变的过程 中，既不能泯灭替换器官对应纹理区域的颜色值，又要保证边界区域是均匀融合 且光滑过渡的。 因此，我们取玎为象素点距替换区域边界距离的函数，其形式为； 7 7 = 1 一e x p ( 一d 衄。口) ( 4 2 0 ) 而象素点距离椭圆边界的距离d 。，又可简单的表示为： 。= 学+ 学 z 其中，口、6 分别为椭圆边界的长