（计算机科学与技术专业论文）基于样本的三维表面纹理快速合成技术.pdf

浙江大学博士学位论文摘要 摘要 近年来，基于样本的纹理合成技术已经成为计算机图形学的研究热点，并且广 泛应用于图像编辑、真实感绘制、可视化和几何建模等领域。当前的纹理合成技术 有三个主要的发展方向：( 1 ) 通过用户交互加强对合成过程的控制，用纹理合成 进行可视化和数据编辑；( 2 ) 把纹理合成和实时绘制结合起来，实时生成场景中 的真实感细节； ( 3 ) 处理几何、动作等更一般的数据，把纹理合成作为一种通用 的建模工具。无论是用户交互、实时绘制还是通用建模，对纹理合成的速度都有着 很高的要求。然而，大部分现有的纹理合成技术速度仍然很慢，难以满足实时、交 互的应用需求，因此研究新的纹理合成加速技术有着十分重要的意义。 本文主要研究三维表面纹理的快速合成技术，并针对几种不同类型的纹理提出 了相应的加速算法。主要工作如下： 1 提出了一种针对一般图像纹理的快速合成技术，通过提高算法的并行性、利 用现代图形硬件( g p u ) 对纹理合成进行加速。该技术对纹理优化算法进行 改进，使用一个基于七一c o h e r e n c e 的离散求解器来提高合成速度，同时解决了 原算法中结果模糊的问题，提高了合成质量。本文通过定义一个新的纹理能 量函数，把该算法进一步扩展到三维模型表面上，从而能够在三维表面流场 中交互地生成纹理动画。 2 进一步提出了一种针对全局变化纹理的快速合成技术，通过减小样本纹理的 尺寸来提高合成的速度。全局变化纹理尺寸很大，难以用传统的方法进行加 速。本文提出了一种逆向纹理合成技术，用能量优化的方法根据大的全局变 化纹理自动生成一个小的压缩纹理。该压缩纹理包含了原纹理中的所有信 息，因此可以用来重建原纹理，也可以根据用户提供的控制图重新合成新的 纹理，并且支持在g p u 上实时合成全局变化纹理。此外，该算法还可以自动 计算出同时包含高低频区域的各向异性纹理的方向场。 3 提出了一种针对几何纹理的快速合成技术，通过预计算出一组拼接块来提高 i i i 浙汀：大学博士学位论文 摘要 合成速度。由于数据表示方式不同，针对图像的纹理合成加速技术很难应用 于几何纹理。本文提出了一种几何纹理w a n gt i l e s 技术，首先根据样本几何纹 理预计算出一组w a n gt i l e s ，然后用这组w a n gt i l e s 在不同目标物体上生成新 的几何纹理。同现有方法相比，该算法的速度更快，占用的存储空间更小。 关键词：纹理合成纹理映射纹理动画几何纹理 w a n gt i l e s 纹理压缩 流场可视化g p u 技术 浙江大学博士学位论文 摘要 a b s t r a c t e x a m p l e - b a s e dt e x t u r es y n t h e s i sh a sr e c e i v e dal o to fa t t e n t i o ni nc o m p u t e rg r a p h i c s r e c e n t l y ，w i t ha p p l i c a t i o n sr a n g i n gf r o mi m a g ee d i t i n g ，p h o t o r e a l i s t i cr e n d e r i n g ，v i s u a l i z a t i o na n dg e o m e t r i cm o d e l i n g c u r r e n tt e x t u r es y n t h e s i st e c h n i q u eh a st h r e em a i nd i r e c t i o n s ：( 1 ) m a n i p u l a t i n gs y n t h e s i sp r o c e s sb yu s e ri n t e r a c t i o na n dp e r f o r m i n gv i s u a l i z a t i o n a n dd a t ae d i t i n gv i at e x t u r es y n t h e s i s ；( 2 ) c o m b i n i n gt e x t u r es y n t h e s i sw i t hr e a l t i m er e n d e f i n ga n dg e n e r a t i n gp h o t o r e a l i s t i cs c e n ed e t a i l si nr e a l t i m e ；a n d ( 3 ) d e a l i n gw i t hm o r e g e n e r a ld a t as u c ha sg e o m e t r y ，m o t i o ne t c a n dt a k i n gt e x t u r es y n t h e s i sa sag e n e r a lm o d e l i n gt 0 0 1 i ne a c ho ft h e s es c e n a r i o s ，s y n t h e s i ss p e e di si m p o r t a n t 。h o w e v e r , m o s te x i s t i n g t e x t u r es y n t h e s i st e c h n i q u e sa r et o os l o wf o ri n t e r a c t i v eo rr e a l t i m ea p p l i c a t i o n s c o n s e q u e n t l yi ti sn e c e s s a r yt os t u d ya c c e l e r a t i o nt e c h n i q u e sf o rt e x t u r es y n t h e s i s t h i st h e s i sm a i n l yf o c u s e so nf a s tt e x t u r es y n t h e s i st e c h n i q u e sf o r3 dm e s hs u r f a c e s s e v e r a la c c e l e r a t i o na l g o r i t h m sa r ep r o p o s e df o rd i f f e r e n tt y p e so ft e x t u r e s t h em a i nc o n t r i b u t i o n sa r ea sf o l l o w s ： 1 af a s tt e x t u r es y n t h e s i st e c h n i q u ef o rg e n e r mi m a g et e x t u r e si sp r o p o s e d ，c o m p u t a t i o n a ls p e e di si m p r o v e db ye x p l o i t i n gp a r a l l e l i s mo ft h es y n t h e s i sa l g o r i t h mv i a a ne f f i c i e n tg p ui m p l e m e n t a t i o n t h et e c h n i q u ee x t e n d st e x t u r eo p t i m i z a t i o na l g o r i t h mb yu s i n gad i s c r e t es o l v e rb a s e do nk - c o h e r e n c e t h es o l v e ra l l o w saf a s t ， q u a l i t yn e i g h b o r h o o ds e a r c hw h i l ea v o i d i n gt h eb l u r r yb l e n d i n gp r o b l e mi np r e v i o u sw o r k t h ea l g o r i t h mi sf u r t h e re x t e n d e dt o3 dm e s hs u r f a c e sb yd e f i n i n gan e w t e x t u r ee n e r g yf u n c t i o n ，a l l o w i n gi n t e r a c t i v ef l o wt e x t u r ea n i m a t i o n 2 af a s ts y n t h e s i st e c h n i q u ef o rg l o b a l l yv a r y i n gt e x t u r e si sp r e s e n t e d s y n t h e s i ss p e e d i si m p r o v e db yr e d u c i n gt h ed a t as i z eo fs a m p l et e x t u r e s 。t r a d i t i o n a la c c e l e r a t i o n t e c h n i q u e sf o rt e x t u r es y n t h e s i sa r en o ta p p l i c a b l et og l o b a l l yv a r y i n gt e x t u r e sd u e t o t h e i rl a r g es i z e a ni n v e r s et e x t u r es y n t h e s i st e c h n i q u ei sp r o p o s e dt oa u t o m a t i c a l l y v n i t 大学博士学位论文摘要 p r o d u c eas m a l lc o m p a c t i o nf r o mal a r g eg l o b a l l yv a r y i n gt e x t u r ev i ae n e r g yo p t i - m i z a t i o n t h i ss m a l lc o m p a c t i o ne n c o d e sa l lt h er e g i o n si nt h el a r g eo r i g i n a lt e x t u r e a n dc a nb eu s e dt or e c o n s t r u c tt h eo r i g i n a lt e x t u r eo rt or e s y n t h e s i z en e wt e x t u r e s u n d e ru s e r - s u p p l i e dc o n t r o lm a p s m o r ei m p o r t a n t ，i ta l l o w sr e a l t i m es y n t h e s i so f g l o b a l l yv a r y i n gt e x t u r e so ng p u b e s i d e s ，t h et e c h n i q u ec a na u t o m a t i c a l l yc o m p u t e o r i e n t a t i o nf i e l d sf o ra n i s o t r o p i ct e x t u r e st h a tc o n t a i n sb o t hl o w a n dh i g h - - f r e q u e n c y r e g i o n s 3 af a s ts y n t h e s i st e c h n i q u ef o rg e o m e t r i ct e x t u r e si sp r o p o s e d as e to ft e x t u r et i l e s i sp r e c o m p u t e dt oa c c e l e r a t et h es y n t h e s i sp r o c e s s a c c e l e r a t i o nt e c h n i q u e sf o ri m a g et e x t u r es y n t h e s i sa l en o ta p p l i c a b l et og e o m e t r i ct e x t u r e sd u et ot h e i rd i f f e r e n c e i nr e p r e s e n t a t i o n at e c h n i q u et e r m e dg e o m e t r i ct e x t u r ew a n gt i l e si sp r o p o s e dt o a d d r e s st h i sp r o b l e m as e to fw a n gt i l e si sp r e c o m p u t e df r o ma s p e c i f i cg e o m e t r i c t e x t u r ea n du s e dt og e n e r a t en e wg e o m e t r i ct e x t u r e so nd i f f e r e n t3 dm e s hs u r f a c e s t h ep r o p o s e dt e c h n i q u ec o n s u m e sm u c hl e s ss t o r a g ea n dc o m p u t a t i o nc o s tt h a ne x i s t i n gm e t h o d s k e y w o r d s ：t e x t u r es y n t h e s i s ，t e x t u r em a p p i n g ，t e x t u r ea n i m a t i o n ，g e o m e t r i ct e x - t u r e ，w a n gt i l e s ，t e x t u r ec o m p r e s s i o n ，f l o wv i s u a l i z a t i o n ，g p ut e c h n i q u e s v i 浙江大学博士学位论文图目录 图目录 1 1 纹理模型 2 1 2 纹理合成与图像拼接的比较。，。，3 1 3 纹理合成的应用 4 1 4 k c o h e r e n c e 算法示意图，1 0 2 1 真实世界中的动态纹理2 3 2 2 纹理优化技术的能量函数示意图，2 7 2 3 基于离散优化的二维纹理合成结果3 0 2 4 三维模型的表面邻域重采样，3 3 2 5 纹理能量函数随迭代次数增加发生变化的曲线图 3 5 2 6 纹理动茧合成结果。，。3 7 2 7 三维表面纹理的合成结果3 9 2 。8我们的离敬求篇器和最s j x _ - 乘法的合成结果比较。，4 0 2 9 我们的技术和并行可控纹理合成技术的合成结果比较4 1 3 1 手工裁切和我们技术的比较，4 4 3 2逆向纹理合成，4 5 3 3 我们的技术- 与e p i t o m e 、接缝雕刻技术的比较，4 8 3 4 e p i t o m e 和 缩纹理重新合成的结果比较4 9 3 5 我们的技术和直方图匹配技术的比较4 9 3 6 能量函数中同时需要正向和逆向能量的原因，5 l 3 7 逆向能量函数变化盐线图。，。，5 2 3 8 改进的求解器示意图，5 8 3 9g p u 上全局变化纹理的合成。6 l 3 1 0 图3 9 中所使用的纹理及控制图6 2 3 1 1 多尺度压缩纹理和单个压缩纹理合成结果比较，。，6 3 浙汀大学博士学位论文 图目录 x 3 1 2 用压缩纹理重建原纹理6 4 3 1 3 重新纹理合成的速度和质量比较6 5 3 1 4 均匀分布纹理的逆向合成及重新合成6 5 3 1 5 压缩纹理重建失败的例子：6 6 3 1 6 用不同大小的压缩纹理进行重新合成6 7 3 1 7 周不同分辨率的控制图对b a n a n a 纹理进行重建6 9 3 1 8 用不同分辨率的控制 对p a i n tp e e l i n g 纹理进行重建7 0 3 1 9 用空间变化参数作为控制图进行重新合成7 1 3 2 0 计算各向异性纹理的方向场7 2 4 1 基于w a n gt i l e s 的几何纹理合成算法流程图7 6 4 2 几何拼接块的合成流程7 7 4 3 w a n gt i l e s 边的分类一7 8 4 4 基于i c p 的几何匹配优化8 2 4 5 几何拼接块的映射算法。，8 5 4 6 p o l y c u b e反向投射算法示意图，8 6 4 7 几何纹理w a n gt i l e s 在三维模型表面上的合成结果8 7 4 8 合成结果和基网格进行布尔操作的结果8 9 4 9 表面几何纹理的扭曲问题9 0 浙江大学博士学位论文表目录 表目录 2 1 纹理优化算法和我们算法的伪代码3 2 2 2 图2 7 中纹理合成结果的时间统计。3 8 3 1 逆向纹理合成算法的伪代码5 4 3 2 基本求解器和改进的求解器运行时间统计6 4 4 1 合成几何拼接块的时间统计8 8 4 2在三维模型表面生成几何纹理的时间统计 ，8 8 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得浙江大学或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：杆瘦 年 签字日期： 2 0 0 9年9 月9 日 学位论文版权使用授权书 本学位论文作者完全了解浙江大学有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权浙江大学可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：飞幸盘1 务 签字日期：2 0 0 9 年9 月9 日 导师签名： 签字日期日 浙江大学博士学位论文敛谢 致谢 首先要感谢我的导师鲍虎军研究员，本文是在他的悉心指导下完成的。在我 攻读博士学位期间，鲍老师无论在学习、科研还是生活方面都给了我很大帮助，在 我遇到困难的时候，他更是全力支持并提出了很多宝贵的意见和建议。鲍老师严谨 的治学态度、踏实的科研作风、孜孜不倦的进取精神和富于创新的科学精神，都给 我留下了极为深刻的印象，使我受益匪浅，并将深深影响我今后的学习和工作。 感谢周昆教授，是他给了我去微软亚洲研究院实 - - j 的机会，并在实习期间给予 我悉心的指导，引领我走上图形学研究的道路。他渊博的知识、开阔的思维以及对 科研的高标准要求，让我看到了一个成功的科研人员必须具备的素质，并促使我更 进一步地提高自己。同时，感谢微软研究院的魏立一研究员，他在科研方面给了我 诸多指导，并教我培养良好的科研习惯，使我受益良多。 感谢刘新国教授、华炜副研究员在科研上给予我的指导和帮助。感谢浙江大 学c a d & c g 国家重点实验室的王锐、黄劲、宋滢、汤颖、许栋、宋超、章国锋、 夏麟、王丽英、庄玲、张淮生、田丰林、潘明皓、施晓晗、董子龙、张沐阳、陈 禄、姜翰青、陈伟峰、沈中伟、陶煜波等同学在科研和生活上所给予我的帮助。同 时感谢实验室的全体工作人员为我们创造了一个良好的科研环境。 感谢在微软亚洲研究院实习期间给予我指导和帮助的童欣研究员、陈彦云副研 究员以及网络图形组的孙鑫、任重、王希、杨旭、龚敏敏、黄欣、田原、蔡康颖、 王嘉平、徐昆、吴小毛、黄浩达、刘保权、王律迪、马重阳等。要感谢的人太多， 抱歉这里无法一一列举，感谢每一位曾经帮助过我的人。 最后，特别要感谢我的父母，他们始终给予我无条件的支持，并在我遇到挫折 时给我关怀和鼓励。他们只是普通的农民，但也是最让我感动、最让我为之自豪的 人。他们身上所具有的品质勤劳、善良、坚毅、乐观让我受益终身。一 直以来想向他们表达谢意却难以言表，谨以此文献给我的父母。 浙江大学博士学位论文绪论 1 绪论 纹理( t e x t u r e ) 是自然界中非常普遍的一种现象，它是决定物体外观的重要因 素，在计算机图形学、计算机视觉以及图像编码等领域都有着非常广泛的应用。纹 理的本意是指那些通过触觉所能感知到的物体表面属性( 如粗糙度、柔软度等) ， 同时它也指那些由小元素所构成的图案( 如花地、鹅卵石小路等) 。而计算机图形 学所研究的纹理一般是指视觉纹理( v i s u a lt e x t u r e ) ，即物体表面的外观属性( 颜 色) 。 在计算机图形学中，纹理是增强物体表面细节的重要手段。c a t m u l l 最早将纹 理的概念引入到计算机图形学中，他将图像映射到细分曲面上来增强表面的视觉效 果【，提出了著名的纹理映射( t e x t u r em a p p i n g ) 技术。今天，纹理映射技术已经 成为图形学领域应用最为广泛的技术之一，它能够有效地表达物体的表面细节，同 时又避免了对三维表面上复杂的几何细节进行建模。b l i n n 等人对该技术进行了进 一步的完善，提高了纹理映射的质量，使生成的结果更加自然，同时还添加了反 射和高光效果 2 1 。除了用图像进行纹理映射之外，b l i n n 还提出了凹凸映射1 3 1 ，用 来模拟物体表面凹凸起伏的效果。为了表示更为复杂的表面细节，人们还将许多 其它数据映射为物体的表面反射属性。常见的纹理属性数据包括高度场【w 】、体数 据 8 - q o 、明暗函数【l l 一1 4 】以及多边形网格1 1 5 ，16 1 。除了表示物体的表面细节之外，纹 理还广泛应用于生成光照效果【l7 1 、镜面高光【18 1 、环境映照 1 9 1 等特效。此外，纹理 映射也是图形绘制流水线的一个重要组成部分【2 0 1 ，特别是随着g p u 技术的发展， 纹理的作用不再局限于为物体添加表面细节，它已经成为了一种通用的数据表示方 式。 纹理是一个很模糊的概念，至今没有一个确切的定义。在不同的应用领域，人 们对纹理的定义也不尽相同。对于纹理映射技术而言，纹理可以是任意的二维图 像，但这已经偏离了纹理的通常含义。通常意义上的纹理，是指那些由重复元素构 成的物体表面外观，如织物表面等。该定义虽然具有一定的局限性，但是仍然能够 浙汀大学博士学位论文 绪论 描述自然界中大部分的纹理现象，同时这也是计算机视觉和图像处理领域普遍接受 的一个定义。本文所研究的就是这种包含重复结构的纹理。 1 1 纹理合成 在绘制大规模三维场景时，通常需要丰富的纹理来增强场景的真实感。但是， 人们实际能够获取的纹理往往非常有限，难以满足绘制的需求。比如：实拍照片或 扫描图片一般会有大小的限制，并且由于光照、阴影、透视形变等原因，通常只有 一部分区域可以作为纹理；而手工绘制纹理不但繁琐，纹理的真实性也难以得到保 证。如何自动生成真实感绘制所需的大量纹理已经成为当前图形学的一个重要问 题。 生成新纹理的关键是建立正确的纹理模型( t e x t u r em o d e l ) 。所谓纹理模型， 是指纹理的理论模型，其作用是对纹理进行描述，并根据所描述纹理的特点 生成新的纹理( 见图1 1 ) 。过程纹理( p r o c e d u r a lt e x t u r e ) 和纹理合成( t e x t u r e s y n t h e s i s ) 是两种最常用的纹理模型构建技术。 图1 1 纹理模型。目标纹理是由相应的纹理模型产生的。过程纹理一般用算法直接对纹理 模型进行描述。而纹理合成技术通常是建立一个通用纹理模型，然后根据样本纹理来确定通用 模型的参数。 过程纹理1 2 1 , 2 2 1 是一种非常重要的纹理生成技术。它用算法直接对纹理模型进 行描述，通过对纹理的产生过程进行模拟来生成新的纹理。例如：基于反应扩 散方程( r e a c t i o n d i f f u s i o ne q u a t i o n s ) 的模型可以用于贝壳【2 3 】及动物皮毛 2 4 t , 2 5 j 的模 2 * 江 学* 学位论文 蠛粪鬻t 黔警；摹i 乏： 搜m 舟* # l 圉1 2 纹理合戚与图像拼接曲比较直接对纹理图像进行拼接会遣成周期性重复并且在 拼接处畚产生明显的接缝。而纹理合成的结果更加自特与样本纹理视觉上更为相似。 浙人学* m * z 纹理合威技术主要利用纹理的自相似性即一小块区域就能表示纹理的整 体特征来合成一幅大的纹理并保持纹理的整体特征不变。过程纹理通常针 对每粪纹理设计一个专门的纹理模型而纹理合成一般使用一个通用的纹理模型束 描述所有纹理。基于概率统计的纹理模型是纹理合成中最用常用的理论模型，它把 纹理作为随机场( r a n d o mf i e l d s ) 中的某种概率分布进行建模。合成时一般先根据 样本纹理的统计信息来确定模型的参数，然后对模型进行采样来生成新的纹理( 参 见圉i1 ) 。由于新生成的纹理和样本纹理是同一个随机过程产生的。因此其外观 具有某种相似性。除7 图像纹理之外，纹理合成技术还可阻用于处理其它具有自相 似性的纹理数据( 如视频、动作、体数据和几何模型等) 。 随着纹理合成技术的发展，其作用已经不局限于生成新的纹理，它已经被广泛 应用于图像补垒、视频编辑、流场可视优、三维建模、艺术化风格以厦自然现象模 拟等方面( 参见围l3 ) 。 豳龋鼢一， 燮 ( 枇 “l“) 囤i3杖理告威的应用。( 劬到( o 舟别是图像补垒 3 0 】、税频编辑o “、流场可视化p “、二维 建模l ，、艺术化风格州和自然现象模拟1 3 p i 。 1 2 纹理合成的理论与方法 2 l 纹理的统计模型 概率统计模型是纹理合成中使用最为广泛的一种纹理模型，它利用纹理的统计 浙江大学博士学位论文绕沦 特征建立一个通周模型来对所有的纹理进行描述。模型的参数和所描述的纹理紧密 相关，每组参数描述一类特定的纹理，也就是说，模型的参数可以作为纹理分类的 依据，同一类纹理对应相同( 或相近) 的模型参数。在合成时，先根据样本纹理的 统计信息计算出它所对应的模型参数，然后对参数确定的纹理模型进行采样生成新 的纹理。由于新纹理和样本纹理对应于纹理模型的同一组参数，因此具有相同的统 计特征。纹理模型在纹理合成的过程中起着至关重要的作用，合成结果的好坏很大 程度上取决于所采用统计模型的优劣。 j u l e s z 在1 9 6 2 年就提出了第一个基于概率统计的纹理模型【3 6 1 。他设计了一系列 基于心理学的视觉辨别实验，并根据实验结果提出了如下假设：图像像素的阶联 合概率分布( n 是一个未指定的值) 可以作为纹理分类的标准，该概率分布相同 的两幅纹理用人眼很难区分。l u l e s z 的研究目标是用最少的统计量来刻画纹理的特 征，他用均匀( 平稳) 的随机场来对纹理进行描述，同时指出可以通过入的视觉感 知来验证所提出的纹理模型。该工作对于纹理合成的发展起着至关重要的作用，有 力推动了早期的纹理模型研究工作。 近年来，基于统计的纹理模型在以下两个方向取得了长足的发展： 第一个方向主要用多尺度的线性方向滤波器对纹理进行分析和表示，这类方法 来源于对人眼视觉感知的研究。当前的纹理辨识理论主要基于神经心理学中广为接 受的多通道滤波理论：如果两幅纹理对一组线性滤波器具有相似的滤波响应分布， 那么这两幅纹理用人眼很难区分 3 7 - 4 0 j 。h e e g e r 等人通过匹配样本纹理和初始噪声 纹理的滤波响应直方图来进行纹理合成 4 1 1 。他们用噪声纹理作为初始值，先通过 直方图匹配来更改噪声纹理，使它和样本纹理有相同的直方图分布，然后分别建立 样本纹理和噪声纹理的控向金字塔( s t e e r a b l ep y r a m i d ) ，并通过直方图匹配更改 噪声纹理控向金字塔的各个子带( s u b b a n d ) ，使得两幅纹理的控向金字塔在对应 的子带上有相同的直方图分布，最后根据更改过的噪声纹理控向金字塔构建出最终 的合成结果。该方法能够很好地处理随机纹理，但是对结构性强的纹理效果不是很 好。b o n e t 提出一种多分辨率纹理合成方法 4 2 1 。他首先建立样本纹理的拉普拉斯金 字塔( l a p l a c i a np y r a m i d ) ，然后用一组高斯微分滤波器对金字塔的各层分别进行 滤波，把产生的滤波响应作为采样时的约束条件。在合成时，采用自顶( 低分辨 浙江大学博士学位论文绪论 率) 向下( 高分辨率) 的顺序对样本纹理金字塔的各层分别进行采样。在对高分辨 率层进行采样时，把低分辨率各层的滤波响应相似性作为约束条件。同h e e g e r 等人 的工作【4 1 】相比，b o n e t 还考虑了金字塔中不同分辨率之间的相关性【4 2 1 ，因此能够更 好地处理结构性较强的纹理，但是，这种方法在处理不可拼接纹理时会有边界不连 续的问题。p o r t i l l a 等人也提出了一种多分辨率的合成方法，他们先对样本纹理进行 小波复分解来建立其复数控向金字塔，然后用相邻空间位置、方向及尺度上的小波 系数之间的统计信息来对模型进行参数化【4 3 1 。在进行纹理合成时，使用自顶( 低 分辨率) 向下( 高分辨率) 的方法来更改初始噪声纹理的复数控向金字塔，对于金 字塔的每一层，分别对其高通子带和低通子带添加统计约束，最后根据噪声纹理的 复数控向金字塔构建出最终的合成结果。该方法同时考虑了纹理在不同尺度、不同 方向上的统计相关性，因此其结果比前两种方法更好，但是优化过程也更为复杂， 而且不能保证算法的收敛性。 另外一个重要的方向是马尔可夫随机场( m a r k o vr a n d o mf i e l d ，简称m r f ) 理论。m r f 是目前应用最为广泛的一种纹理模型，其整体特征可以通过局部邻域 的统计相关性进行刻画。自然界中的大部分纹理都具有这种特点，因此很适合 用m r f 模型进行表示。该模型把纹理看作一个局部、平稳( 1 0 c a l 、s t a t i o n a r y ) 的 随机过程，纹理中每个像素的值只和它的局部邻域相关，而和纹理中的其它区 域无关。b e s a g 提出了用m i 心模型对格点系统( 1 a t t i c es y s t e m ) 的空间关系进行建 模【4 4 1 ，使得m r f 逐渐流行起来。随后c r o s s 等人把它用于纹理建模1 4 5 ，他们把纹理 看作一个随机的、通常具有周期性的二维图像场，并指出纹理像素的概率分布非 常符合m r f 模型。在进行纹理建模时，所用的m r f 模型通常是a u t o m o d e l s t 州，而 最为常用的a u t o m o d e l s 是a u t o b i n o m i a l 和a u t o n o r m a l ，它们分别用于表示有限灰度 级纹理和连续灰度级纹理。a u t o m o d e l s 的参数可以通过自回归( a u t o r e g r e s s i o n ) 方法计算得到。但是，该模型一般只能使用较小的邻域( 通常2 、3 个像素) ， 因此无法很好表示包含大尺度结构信息的纹理。z h u 等人通过最大熵( m a x i m u m e n t r o p y ) 原理把滤波理论和m r f 模型结合起来，提出了滤波器、随机场和最大熵 ( f i l t e r s ，r a n d o m f i e l d s a n d m a x m u m e n t r o p y ，简称f r a m e ) 模型 矧。他们首先 选取一组滤波器对纹理进行滤波，把滤波响应作为纹理特征，然后结合最大熵原理 浙江大学博士学位论文 绪论 计算出纹理的概率分布，从而得至t j f r a m e 模型。在合成时，他们通过对模型进行 吉布斯采样( g i b b ss a m p l i n g ) 4 7 1 来生成新的纹理。该方法支持任意大小的邻域， 对于部分纹理能够取得较好的效果，但是其速度很慢，而且收敛性很难预测。 基于统计的纹理模型是纹理合成的理论基础，同时也是纹理分析的重要工具。 多尺度线性滤波理论和m r f 模型是两种重要的纹理合成方法，在实际应用中，通 常把两者结合起来以取得更好的效果。m r f 模型能够很好地表示自然界中的大部 分纹理，是本文所提出算法的理论基础。 1 2 2 二维纹理合成技术 二维纹理合成技术是三维表面以及高维纹理合成技术的基础，也是人们研究最 多、最为成熟的领域。当前的纹理合成技术大多基于m r f 模型，根据所用的纹理 模型是否使用参数化表示，这些技术又可以进一步分为参数化合成方法和非参数化 合成方法。早期的纹理合成技术 4 1 , 4 3 ，4 5 埘】大多采用参数化方法，它们先建立纹理的 通用参数化模型，然后根据样本纹理计算出相应的模型参数，最后对模型进行采样 来生成新的纹理。参数化合成方法对纹理的表示方式进行了很好的探索，有助于加 深对纹理本身性质的理解，但是这类方法一般比较复杂，合成速度也比较慢，并且 其结果往往不能令人满意。 既然纹理可以用m r f 模型来表示，也就是说，它的整体特征只和局部邻域的 统计特性相关，因此我们就无需建立纹理的参数化模型，而只需根据局部邻域信息 直接对样本纹理进行采样，就可以合成新的纹理，这就是目前最为流行的非参数化 纹理合成方法。由于无需建立参数化模型，这类方法的合成速度通常很快，同时有 效避免了因模型参数选择不当而引起的问题，算法的适用性更强，合成结果的质量 更高。 1 2 2 1 基于像素的纹理合成 基于像素的纹理合成及时是最早发展起来的非参数化纹理合成方法。它主要利 用了纹理的m r f 特性，即纹理中每个像素的值仅和它的邻域相关，而和纹理中的 其它区域无关，因此我们就可以根据像素的邻域信息直接在样本纹理中进行采样， 7 浙江大学搏士学位论文 绪论 以此来确定该像素的值。该方法主要通过逐像素的方式来进行纹理合成，对于目标 纹理中的每个像素，根据其邻域信息在样本纹理中进行最近邻搜索来确定它的值。 e f r o s 等人提出了一种逐像素的非参数化采样方法来进行纹理合成【4 8 1 ，该方法 很好地利用了纹理的局部性特点，大大提高了纹理合成的质量。他们先以当前像素 为中心构建一个正方形邻域，然后以该邻域内的已合成像素作为搜索条件，在样本 纹理中找到一组与当前像素邻域相似的像素值，这组像素值构成了当前像素的直方 图分布，最后通过均匀采样或加权采样计算出当前像素的值。该方法对于大部分纹 理都能取得较好的效果，但是它需要在样本纹理中对当前邻域进行全局搜索，因此 合成速度很慢。此外，由于搜索时只使用邻域中的有效区域，而有效区域的形状并 不固定，在每次搜索时都可能发生改变，因此很难对搜索过程进行加速。w e i 等人 借鉴了文献【4 9 ，5 0 中的因果邻域( c a u s a ln e i g h b o r h o o d ) 及扫描线顺序合成思想， 提出用树结构矢量量化方法( t r e e s t r u c t u r e dv e c t o r q u a n t i z a t i o n ，简称t s v q ) 来 组织样本纹理中的邻域，并对这些邻域进行聚类来提高搜索的速度【5 。他们用随 机噪声来初始化目标纹理，用三形邻域进行搜索，以保证当前邻域中都是已合成的 像素，然后按照扫描线顺序逐像素地合成目标纹理。该方法还采用了多分辨率合成 技术f 4 2 1 ，它先对样本纹理和目标纹理分别建立图像金字塔，然后按照自顶( 低分 辨率) 向下( 高分辨率) 的顺序合成金字塔的每一层，合成当前层时把其父层作为 约束条件。该方法所采用的多分布率思想使得它能够周较小的邻域捕获大尺度的纹 理特征，提高了合成的质量。但是，使用t s v q 力p 速之后，搜索空间会有所减少， 有可能搜索不到最佳匹配，从而导致合成结果质量下降。 自然界中的很多纹理是由形状相似的不规则小物体构成的( 如鹅卵石、树干、 花等) ，w e i 等人提出的方法【5 1 】在处理这类纹理时效果通常不是很好。这是因为 纹理合成时用来比较两个邻域相似性的l 2 距离并不是一个很好的视觉相似性衡量 标准。人类的视觉系统对于纹理中的边、角以及其它的高级特征非常敏感，而简 单地用l 2 来衡量邻域间的相似性并不能很好地捕获这些特征，并且在有些情况下 还会把纹理中的边、角等特征平滑掉。a s h i k h m i n 提出了一种基于纹理连贯性的合 成方法1 5 2 ，显著地改善了这类自然纹理的合成质量。该方法需要记录目标纹理 中每个已合成像素在样本纹理中的位置，在合成目标纹理中的像素p 时，首先检 8 浙江大学博士学位论文绪论 查p 的l 形邻域，对于邻域中的每个像素q ，找出口在样本纹理中的对应像素q ，然后 根据纹理的空间连贯性，把样本纹理中的像素g ，+ 白一q ) 作为候选像素加a n p 的 候选像素集中，最后，对p 的候选像素集进行搜索，从中找出一个与p 邻域最匹配的 像素作为最终的合成结果。该方法充分利用了纹理的空间连贯性，对于那些由较 小相似元素组成的自然纹理能够取得很好的效果。此外，由于减少了搜索空间， 其合成速度也有了很大的提高。但是该方法并不适用于所有的纹理，用于部分纹 理时会产生明显的接缝。h e r t z m a n n 等人把文献【5 l 】中的近似搜索和文献【5 2 】中的 连贯搜索结合起来，提出了一种新的合成方法【3 4 1 。在合成时，分别用近似搜索 和连贯搜索在样本纹理中找出当前像素的最近邻，搜索误差分别记做也卯和如 ， 当d c o h 也即( 1 + k ) 时采用连贯搜索的结果，否则采用近似搜索的结果。其中的k 是 连贯性系数，它的值越大，合成结果的连贯性就越强。该方法能够兼顾两种算法的 优点，对大部分纹理都能取得较好的效果，但是由于对每个像素都要迸行两次搜 索，其速度相对较慢。 t o n g 等人对文献【5 2 1 进行了进一步的扩展，提出了k - c o h e r e n c e 方法来进行邻域 搜索1 5 3 。在合成像素p 时，先根据文献【5 2 】中的方法构建p 的候选像素集，然后， 对于候选像素集中的每个像素，把样本纹理中与其邻域最为相似的k 1 个像素也 加入到候选像素集中，最后从候选像素集中找出与p 邻域最为匹配的像素作为最终 的合成结果( 参见图1 4 ) 。样本纹理中每个像素的k 一1 个最邻域位置可以通过预 计算得到。当k = 1 时，该方法等价于文献【5 2 】中的方法，七越大该方法的结果就越 接近于完全搜索。该方法同时考虑了纹理合成的速度和质量，其合成质量比文献 【5 2 要好，而速度比文献【5 1 1 更快。z e l i n k a 等人提出了一种类似的方法【5 4 1 ，他们用 跳转表( j u m p m a p ) 来存储样本纹理中每个像素的匹配位置。在合成时，根据预计 算的跳转表进行加速，从而实现了实时的纹理合成。此类方法对文献【