（计算机应用技术专业论文）基于样图的纹理合成研究.pdf

浙江大学硕士学位论文摘要 摘要 纹理合成是当前计算机图形学、计算机视觉和图像处理领域的研究热点之一。 本文对基于样图的二维纹理合成技术进行了研究，提出了一些新的观点并对一些 经典算法做了一定的改进，同时对基于多输入样图的用户约束纹理合成进行了一 定的尝试。 本文首先介绍了纹理合成技术的内容和目的，接着介绍了纹理合成研究领域 中的一些基本概念；然后通过一些典型的算法介绍了当前基于样图的纹理合成的 研究现状。在阐述了单样图纹理合成方法后，本文介绍了目前多输入样图纹理合 成及可控制纹理合成韵概念和内容，并通过现有的一些方法对研究状况和发展趋 势做了一定的分析。接着本文在现有的经典的单样图纹理合成算法基础上进行了 一定的改进。通过引入纹理样图的特征信息和对采样空间的转化得到了较以往算 法相对更好的合成结果；作为进一步的研究，本文在相对成熟的单样图纹理合成 算法基础上，尝试基于多输入样图的用户约束纹理合成，从控制合成结果中各样 图所占比重和合成结果中元素空间分布两个研究方面做了一定的试验，并取得了 比较好的合成效果，在保证合成结果中具有多幅样图特征的前提下做到了一定的 用户直观控制。 本文算法在计算机动画、大规模场景渲染、图案设计、影视特效和虚拟现实 等方面具有一定的应用前景。 关键词纹理合成，纹理特征，m r f 模型，块拼贴，图像处理，g r a p h c u t ， 泊松方程 浙江大学硕士学位论文a b s t r a c t a b s t r a c t t e x t u r es y n t h e s i si so n eo ft h eh o t s p o t si nc o m p u t e rg r a p h i c s ，c o m p u t e rv i s i o n a n di m a g ep r o c e s s i n g t h i sa r t i c l em e n t i o n ss o m er e s e a r c ho i ls a m p l e - b a s e dt e x t u r e s y n t h e s i sa n di n t r o d u c e ss o m ei m p r o v e m e n tt os o m ec l a s s i ca l g o r i t h m si nt h i sr e s e a r c h a r e a ；i ta l s od e a l sw i t hs o m ee x p e r i m e n t si nm u l t i s a m p l eb a s e dc o n s t r a i n e dt e x t u r e s y n t h e s i s f i r s t l yt h i sa r t i c l ei n t r o d u c e st h ec o n t e n ta n dg o a l si nt e x t u r es y n t h e s i s ，a n dt h e ni t i n t r o d u c e ss o m eb a s i cc o n c e p t si nt h i sr e s e a r c ha r e a f o l l o w i n gt h i si ti n t r o d u c e s c u r r e n tr e s e a r c hs i t u a t i o ni ns a m p l e b a s e dt e x t u r e s y n t h e s i s v i as o m ec l a s s i c a l g o r i t h m s a f t e ra b o v ei n t r o d u c t i o n ，t h i sa r t i c l ee x t e n d st om u l t i - s a m p l eb a s e dt e x t u r e s y n t h e s i sa n dc o n t r o l l a b l et e x t u r es y n t h e s i sv i as o m ec l a s s i cp a p e r s a c c o r d i n g l y , a s o t l re f f o r t s ，w er a i s ean e ws a m p l e b a s e dt e x t u r es y n t h e s i sa l g o r i t h mb a s e do ni m a g e q u i l t i n g ，w eb r i n gi nt e x t u r ec h a r a c t e r i s t i ca n dt r a n s f o r m e ds a m p l i n gs p a c eb yw h i c h w eg e ts o m ec o m p a r a b l yg o o dr e s u l t sw i t l lp r e v i o u sc l a s s i ca l g o r i t h m s b a s e do nt h e s e e x p e r i m e n t s ，w et r ys o m ef u r t h e rr e s e a r c hi nm u l t i s a m p l eb a s e da n dc o n s t r a i n e d t e x t u r es y n t h e s i sw h i c ht h e s y n t h e s i sp r o c e s si s b o t hm u l t i s a m p l e sb a s e da n d c o n t r o l l a b l e w ea c q u i r e ds o m e i n t e r e s t i n gr e s u l t si nt a r g e t r a t i op e rs a m p l ea n ds p a t i a l d i s t r i b u t i o nc o n t r o l l a b l et e x t u r e s y n t h e s i s t h es y n t h e s i so u t p u tc o n t a i n sb o t h m u l t i s a m p l e s f e a t u r e sa n dt h eu s e r si n t u i t i v ec o n t r 0 1 o u rr e s e a r c hc a nb eu s e di nc o m p u t e ra n i m a t i o n ，l a r g es c a l es c e n er e n d e r i n g ， p a t t e r nd e s i g n ，s p e c i a le f f e c t si nm o v i ea n dv i d e o ，v i r t u a lr e a l i t ya n ds oo n k e y w o r d s t e x t u r es y n t h e s i s ，t e x t u r ec h a r a c t e r i s t i c ，m a r k o vr a n d o mf i e l d ，p a t c h q u i l t i n g ，i m a g ep r o c e s s i n g , g r a p h c u t ，p o i s s o ne q u a t i o n 浙江大学硕士学位论文 图目录 图目录 图2 1 图像与纹理的区别4 图2 2 纹理的分类5 图2 3 象素点的邻域6 图2 - 4 块与块之间的重叠区域7 图2 5 基于m r f 的点匹配8 图2 - 6 扫描线顺序合成纹理9 图2 - 7 基于候选点的合成方式1 0 图2 8 重叠区域的最优切割l l 图2 - 9 用于区域填充的w a n gt i l e s 1 2 图2 1 0 样图的金字塔分级表示1 4 图2 1 1 基于统计学习理论的结点合成1 4 图2 1 2 输入样图及1 0 0 0 ，0 1 0 0 ，3 0 - 7 0 ，5 0 一5 0 ，7 0 - 3 0 合成比率的结果1 6 图2 1 3t r a n s i t i o np a t t e r n 及相应的t r a n s i t i o nt e x t u r e 1 6 图2 1 4l i n 的纹理混合结果_ 。1 7 图2 1 5 金字塔每一层的合成过程1 8 图2 1 6 当前的最佳匹配对应点1 9 图2 1 7 k w a 0 5 算法伪代码2 0 图3 ，1 ( a ) 原有带噪声图( b ) g a u s s 低通滤波( c ) 双边滤波。2 5 图3 - 2 原图及相应的特征算予图2 7 图3 3 转化后的采样空间2 8 图3 4 动态规划用于重叠区域处理3 0 图3 5 本文算法与a s h i k h m i n 方法的比较3 l 图3 6 本文算法与i m a g eo u i l t i n g 方法的比较3 2 图3 7 利用不同算子作为特征图的结果3 4 图3 8 不同采样空间的效果3 5 图3 - 9 不同权重系数的结果3 6 图4 1 具有多种特征的自然纹理3 7 图4 - 2 高斯分布函数3 8 图4 34 0 和6 0 9 6 分布的反馈函数图3 9 图4 - 4 网络流4 l 图4 5g r a p h c u t 用于重叠区域处理4 3 图4 6 典型的扫描线顺序合成4 3 图4 7 基于区域随机扩张的合成方式4 4 图4 8 二维高斯分布4 5 图4 91 ：1 合成结果( r e s u l ta ：扫描线顺序r e s u l tb ：r a n d o mg r o w t h ) 4 6 图4 1 0 比率分稚的控制合成l 4 7 1 1 1 浙江大学硕士学位论文图目录 图4 1 l 比率分布的控制合成2 4 8 图4 - 1 2 三种样图的等比例混合4 9 图4 1 3 失败的结果5 0 图4 - 1 4 泊松方程图示5 3 图4 1 5 图像的腐蚀运算5 4 图4 1 6 图像的膨胀运算5 4 图4 1 7 特征区域扩张方式5 5 图4 - 1 8 两幅样图合成结果5 6 图4 - 1 9 三幅样图合成结果5 7 i v 浙江大学硕士学位论文 第1 章绪论 第1 章绪论 基于样图的纹理合成( t e x t u r es y n t h e s i sf r 蝴s a m p l e s ) 是近几年迅速发 展起来的一种新的纹理合成技术，它基于给定的小区域纹理样本，按照表面的几 何形状，拼合生成视觉上相似而连续的整个曲面的纹理，表现几何模型无法体现 的细节，从而弥补几何绘制的不足，在基于图像的真实感绘制中占有重要的地位。 基于样图的纹理合成技术不仅可以克服传统纹理映射方法的缺点，而且避免了过 程纹理合成调整参数的繁琐，成为计算机图形学、计算机视觉和图像处理领域的 研究热点之一。 传统的样图纹理合成利用统计学方法对纹理进行分析并进行纹理样图的直方 图匹配，通常只能处理随机性纹理；对于大多数纹理，基于m r f 模型的逐点合成 方法，提升了样图纹理合成的质量，但是速度较慢；基于块拼贴的样图纹理合成， 大大加快了纹理合成算法的速度，而且利用纹理的邻域相关性得到了很好的合成 效果，扩大了可处理纹理的范围，是样图纹理合成技术的发展方向。 随着研究的深入，纹理的类型又涉及到了完全无结构的纹理( 例如云、烟、 雾) 、整体有结构的纹理( 例如织物等) ，甚至是同时考虑多种纹理之闻的混合， 因此产生了基于多输入样图的纹理合成和用户约束的纹理合成。顾名思义，基于 多输入样图的纹理合成，就是在合成的过程中同时考虑多幅不同的样图，从而使 合成结果中同时保持多幅样图的特征，换一种说法可以看成是多幅样图进行混合 的结果；约束纹理合成，则是在合成的过程中添加各种约束条件( 主观或者客观) 使得合成的结果在具有较好的视觉效果同时需要保持住前期设定的约束条件。 目前基于多输入样图的纹理合成研究还不太多，而且也不够深入。首先问题 在于多样图合成的采样过程中，传统的基于点的邻域匹配的m r f 模型已不再适用， 而且目前为止也没有提出比较好的多样图混合的数学模型。同样的对于混合合成 过程中，输入样图的选择也是一个考虑因素，因为并不是所有的样图混合在一起 都可以得到有意义的结果。在约束纹理合成中，可以通过将各种主观或客观的约 束条件融入到合成过程中的采样环节，从而达到一定的效果。但是如何将两种因 素同时考虑，即在合成的过程中同时考虑多幅样图的特征而又把约束条件加入进 来，这方面的研究很少看到。 本文首先对传统的单样图合成算法进行了一定的改进，通过引入纹理样图的 特征和对采样空间的转化来获得相对更好的效果。接着本文对基于多输入样图的 浙江大学硕士学位论文 第1 章绪论 约束纹理合成进行了尝试，采用基于高斯分布的反馈函数和区域随机增长的合成 方式，以及网络流算法来进行重叠区域处理，使得输入样图在结果图中的分布比 例得以控制；接着提供了一个自然纹理混合的交互界面，用户通过指定结果图中 部分需要保持的各种样图特征作为合成中的约束条件，然后基于泊松方程的平滑 过渡思想对特征区域外围进行局部处理，获得了比较好的结果。本文提出的纹理 混合方法可用与计算机动画、大规模场景渲染、图案设计、虚拟现实等领域。 本文的章节安排如下： _ 在第2 章中阐述了基于样图的纹理合成领域的研究内容和现状，在此基 础上谈到了单样图纹理合成研究的扩展：基于多输入样图的纹理合成和 用户约束的纹理合成 - 在第3 章中基于块拼贴方法提出了一种新的纹理合成算法，通过引入纹 理特征和转化后的采样空间，可以获得较以往算法更好的合成效果 在第4 章中提出了基于多输入样图的用户约束纹理合成，在合成过程中 同时考虑多样图和用户约束两个因素，尝试了样图分布比例可控和样图 空间分布可控两种合成方式，合成结果既保持了多幅样图特征的同时又 较好的符合用户的直观约束 - 在第5 章中总结本文的成果，提出了以后研究中可以考虑的切入点 2 浙江大学硕士学位论文 第2 章基于样图的纹理合成 第2 章基于样图的纹理合成 基于样图的纹理合成( t e x t u r es y n t h e s i sf r o ms a m p l e s ) 是近几年迅速发 展起来的一种新的纹理合成技术，它基于给定的小区域纹理样本，按照表面的几 何形状，拼合生成视觉上相似而连续的整个曲面的纹理。下文将在纹理合成过程 中基本概念阐述的基础上，对现有的里程碑式算法做较为详细的介绍。 2 1 二维图像纹理合成 二维图像纹理合成算法可以归为两类；一种采用m a r k o vr a n d o mf i e l d ( m r f ) 模型；另一种基于特征匹配方法。 早期的纹理合成基于纹理分析思想的启发，主要采用统计的方法，通过在样 本图中匹配特征的方法生成新的纹理图。s i m o n c e l l i 等采用统计的方法，通过可 操纵金字塔的图像表示来进行纹理合成，取得了一定的效果“一。h e e g e r 伽提出了 把随机噪声分层的方法，对随机性纹理取得了较好的效果，但对结构性纹理效果 不是很理想。d eb o n e t 做了进一步的研究，采用两个拉普拉斯金字塔及滤波器处 理纹理，按照金字塔从顶到底的顺序，在查找匹配候选点时同时考虑已经合成的 父层结点，从符合一定匹配条件的候选点中随机选一个填充“1 。基于多分辨率思 想的图像表达对具有统计特征的纹理取得了较为理想的效果，但对结构较明显的 纹理效果不是很好。 在e f r o s 9 9 年的论文鲫里程碑式的突破后，纹理合成的研究开始转为基于 m a r k o vr a n d o mf i e l d ( m r f ) 模型，实验证明对于大多数的纹理，m r f 模型是一 种很好的逼近模型，许多算法都基于这一模型“4 7 一，且取得了较好的结果。m r f 模型认为纹理具有局部统计特征，意味着对一张纹理图，任取其中两小块都是相 似的。 2 1 1 基本概念 在介绍具体算法之前，我们先介绍纹理合成领域中几个基本概念： 纹理与图像的区别 浙江大学硕士学位论文 第2 章基于样图的纹理合成 图2 1 图像与纹理的区别 目前对纹理( t e x t u r e ) 图像还没有精确的定义，一般来说纹理可以看成是图 像中具有某种特殊性质的一个类别，是具有局部性和稳定性的随机过程的实现。 也就是说，纹理中的每一个像素点都可以由其空间邻域内的像素的集合来表达， 并且这种表达对每个像素都是一样的。如图2 1 所示，假设给定一张图像，但只 允许观察者通过较小的可移动窗口( 图中黑框) 来观察它，当移动窗口时观察者 可以看到图像的不同部分，而对于纹理样图则发现观察结果是基本一致的。这里 要提到两个概念：图像的稳定性和局部性。图像的稳定性是指：在观察窗口大小 合适的前提下，观察者看到的部分总是相似的；图像的局部性是指：窗口中的任 一像素可以由其周围邻域内的像素预测得到，而与图像中的剩余部分无关。目前 认为具备了局部性和稳定性的图像即为纹理。 一纹理图像的分类 纹理通常由图像扫描或手工绘制而得，其形式是千变万化的。根据纹理特征 分布的方式不同，可以把纹理粗略分为三类：结构性纹理、随机性纹理、以及既 有结构性又有随机性的中间型纹理，如图2 - 2 所示。结构性纹理中存在纹元( 保 持纹理局部特性的最小纹理块) ，整个纹理可以由一系列的纹元及其摆放规则决 定( 例如砖墙、竹篾等) ；随机性纹理中找不到明确的纹元( 例如沙粒、裂痕、 花岗岩) ；但更多的从现实世界得到的纹理同时包含了以上两种特性( 例如织物、 花草丛等) 。 4 浙江大学硕士学位论文第2 章基于样图的纹理合成 结构姓纹壤中闻往绞瑗隆帆牲纹理 图2 - 2 纹理的分类 m a r k o vr a n d o mf i e l d 模型 马尔可夫随机过程定义如下：假设一个随机过程 x ( ，) ，t n 的状态空间为j ， 如果对时问t 的任意n 个数值f l f 2 厶，t ，在条件 x ( t ) = 葺，鼍j ，f = 1 ，2 ，胛- 1 下，x 以) 的条件分布函数恰等于在条件 x ( 一。) = 靠。下x ( 乙) 的条件分布函数，即 p x 以) 毛i x ( ) = 五，x 也) = 恐，x 也一1 ) = k l ，。，、 = p x 也) 冬毛l x 以一1 ) = 毛一1 ) 则该随机过程称为马尔可夫随机过程。s h a n n o n 在通信的数学理论一文中通 过采样语言系统构建广义m a r k o v 链：由n 个具有先后顺序的字母构成n 语法，并由 n 语法完全决定下一个将要生成的字母的概率分布。然后从一个种子字母开始反 复采样马尔可夫链产生新的字母从而构成英文句子一“is p e n ta ni n t e r e s t i n g e v e n i n gr e c e n t l yw i t hag r a i no fs a l t ”。这种方法由一维扩展到二维，便 产生了m a r k o vr a n d o mf i e l d ( m r f ) 模型。纹理合成所采用的m r f 模型是根据结果 图中当前待合成像素点的邻域( 或当前待合成纹理块的边界) ，在样本图中搜索 具有匹配邻域的像素点( 或具有匹配边晃的纹理块) ，将其作为当前待合成像素 点( 或纹理块) 的最佳近似拷贝到结果图中。 m r f 模型认为纹理具有局部统计特征，即纹理中的任一部分都可以由其周围 部分( 即邻域) 完全决定，这是对纹理的一种比较客观的认识。m a r k o v 随机场是 图像建模的重要工具，在纹理合成、纹理分析、图像分割、图像增强、图像压缩 中具有广泛的应用。 一像素点的邻域和纹理块的边界 5 浙江大学硕士学位论文 第2 章基于样图的纹理台成 当前待合成像素点的邻域是指在合成过程中，以当前待合成像素点( 图2 3 ( a ) 中p 点) 为中心的正方形区域与已合成像素点的交集。样本图中每个像素点都有 根据当前待合成像素点所确定的邻域( 图2 - 3 ( b ) ) 。当按从左至右、从上至下的 扫描线顺序合成纹理时，对于当前待合成像素点，只有其左部和上部的像素是己 合成的，其邻域类似子字母l 的形状( 图2 3 ( c ) ) ，因而称之为像素的l 型邻域； 如果l 型邻域中边长大小为( 即图2 - 3 ( a ) 中的正方形边长) ，我们也称l 型邻域 为n x m 约l 型邻域。 图2 - 3 象素点的邻域 在基于块拼贴的样图纹理合成中，通常使用方形纹理块( 图2 3 中阴影区域所 示) 。纹理块的边界指纹理块边缘具有一定宽度的区域，通常所说的纹理块边界 指该纹理块与已合成区域重叠的部分。如图2 4 ，按扫描线顺序从左至右，从上 至下逐块合成纹理( 图2 4 ( a ) ( b ) ( c ) 演示了合成顺序) ，其中阴影块为当前待合 成的纹理块，其余白色正方形块为已合成纹理块，红色轮廓线区域既是当前待合 成纹理块的边界，也是与已合成部分的重叠区域。 6 浙江大学硕士学位论文 第2 章基于样图的纹理合成 圳jf。 i 。ll | i豳 图2 _ 4 块与块之间的重叠区域 _ 像素点的邻域匹配和纹理块的边界匹配 两个像素点的邻域误差指它们邻域中对应像素点的r g b 值误差之和，即为由两 个像素点确定的形状相同的邻域1 ，2 的误差所定义的厶距离， d ( l ，2 ) = ( r ( p ) 一r ( q ) ) 2 + ( g ( p ) 一g ( g ) ) 2 + ( b ( p ) 一b ( 口) ) 2 ( 2 2 ) ，p e 力n 为, 对q c 应n 置 其中函数r ( p 髓e o 、g ( p i x e l ) 、厨p i x e ) 分别表示纹理图像的红、绿、蓝三种 颜色的像素值。在基于m r f 模型的逐点合成算法中，需比较输出结果图中当前待 合成像素点与纹理样图中每一个像素点的邻域误差，在误差较小的待选邻域中随 机选择一个作为匹配邻域，此过程称为邻域匹配，由邻域匹配决定的像素点称为 匹配点。 纹理块的边界误差指：将纹理样图中某一纹理块置于结果图中当前待合成纹 理块的位置时，其与结果图中已合成区域的重叠部分( 图2 - 4 ( a ) ( b ) ( c ) 中红色轮 廓线区域) 的厶距离，如公式( 2 2 ) 所示，此时，l ，2 分别代表位于重叠区域 的纹理块边界和已合成区域边界。 在基于m r f 模型的逐块合成算法中，根据结果图中当前待合成纹理块的位置， 计算纹理样图中的每一个纹理块的边界误差，在误差较小的待选纹理块中随机选 择一个，其边界即为匹配边界，此过程称为纹理块的边界匹配，由边界匹配决定 的纹理块称为匹配纹理块。 7 浙江大学硕士学位论文第2 章基于样图的纹理合成 2 1 2 典型算法 在基于m r f 模型合成的方法中，合成方式主要有“点匹配”和“块拼接”两种 合成方式。在基于点匹配合成蛳朋的过程中，一般采用穷尽法在样图中搜索匹配 点，在符合条件的匹配点中随机选取，每次仅能合成一个点，计算一小块纹理都 需要耗费数小时。w e i 嘲采用多分辨率合成和树型结构矢量编码加速技术，取得了 较好的效果。但自x u 等“”提出了随机块拼接的快速合成方法后，块拼接方法随“。o 得到了进一步的改进，合成速度和质量都得到了很大的提高，其中有些已经达到 了实时的效果。当今，由于m r f 模型较好地体现了纹理固有的局部相关性和稳定 性，依然被广泛采用，同时块拼接技术由于其在合成速度和合成质量上的优势也 得到了越来越多研究人员的重视，下面我们将对具有上述特点的几个典型算法进 行简要介绍。 t e x t u r es y n t h e s isb yn o n - p a r a m e t rics a t i i pi n g 早期的纹理合成算法如“4 ”等，采用多分辨率金字塔及滤波器进行处理，只 能合成随机性纹理，对结构性纹理的合成效果不理想。在1 9 9 9 年的i c c v 会议上， e f r o s 和l e u n g 提出了一种采用m a r k o vr a n d o mf i e l d 模型的合成方法0 1 ，对结构性 纹理取得了比较好的效果。其合成方式如图2 5 所示： 图2 - 5 基于m r f 的点匹配 1 ) 对于当前待合成点p ，在纹理样图中搜索与其有最相近邻域的 1 l ( 矽f ) ( w ( p ) 为以p 为中心点，边长w 为的正方形纹理块) 。 2 ) 对满足d ( w e ，w ) ( 1 + 譬) d ( w ( p ) ，( p ) ) 的所有纹理块，根据其中心点值 生成待选合成点的直方图，然后从中采样得到p 。 该方法较以前的基于纹理分析的方法简单，合成效果也很好，但是由于每合 8 堂垩查兰堡主兰垡堡兰苎! 兰董主壁望竺竺里垒塞 成一个点就要搜索整个样本图，比较所有的纹理块，因此速度很慢。w e i ， a s h i k h m m 等分别对其进行了一定的改进。 一 f a s tt e x t u r es y n t h e s ism sin gt r e e - s t r u c t u r e dv e c t o ro u a n tiz a tio n 】 w e i ”1 的方法是对e f r o s 9 9 年算法的一种改进，同样基于m r f 模型，但摈弃了 e 丘o s l 9 9 9 方法中的概率函数而直接采样，邻域采用三形状，如图2 6 所示。计算时 按照扫描线顺序，逐点采样合成。算法如下： 图2 - 6 扫描线顺序合成纹理 1 ) 用随机噪声初始化输出图像，按照扫描线顺序确定输出图像中每个点的 象素值。首先提取出当前点的三邻域，其大小由用户指定。 2 ) 在输入样图中找出一点p ，使点p 的三邻域与输出图像中当前点三邻域的误 差值最小。 3 ) 把点p 拷贝至输出图像中。重复上述过程，直到图像全部合成好。 在计算当前点和输入图像中样本点的三型邻域误差时，采用厶距离作为衡量 尺度。型邻域的大小必须覆盖样图中基本纹元的大小，而当三型邻域的尺度增 大时，计算量成倍增加。解决这个问题可以通过多分辨率合成的方式来降低邻域 的采样范围，同时通过树型结构的矢量量化方法进行加速，合成速度会显著提升。 不过缺点是w e i 的方法不适合处理具有较多细节的自然纹理。 c s y n t h e siz in gn a t u r ait e x t u r e s 】 9 浙江大学硕士学位论文第2 章基于样图的纹理合成 a s h i k h m i n 的方法是基于点合成过程的更进一步改进，通过有效的引入了候选 点( c a n d i d a t ep o i n t ) 的概念，有效的加快了纹理合成的速度，对于自然纹理的 合成取得了比较好的效果。算法步骤如下： o u t p u ti m a g e 图2 - 7 基于候选点的合成方式 1 ) 生成噪声随机纹理图 2 ) 对当前待合成点，根据其邻域得到原样图中的后选点集合，从集合中找 到最合适的匹配点 3 ) 更新此合成点在输入样图中的来源 4 ) 重复步骤2 ，当所有象素点都合成好则结束。 算法的主要思想是利用已经合成的象素的候选集合来进行待合成点的选择， 例如，图2 7 中，黑框的象素是要合成的象素，通过寻找它邻域的其他象素在输 入图像中的位置( 斜条纹) ，然后偏移相对的位置得到待合成点的候选点集合( 黑 色的点) 。 a s h i k h m i n 的算法速度较快，因为其避免了在整幅样图中全部点的搜索，而 只局限于搜索候选点，因而搜索耗时大大减少。从合成的结果来看，对于自然纹 理的合成，该算法可以取得比较好的效果，但对于结构性较强的纹理的合成不是 i o 浙江大学硕士学位论文第2 章基于样图的纹理合成 很理想。 一 i r n a g eo u i t i n gf o rt e x t u r es y n t h e s l sa n dt r a n s f e r 】 由于每次一个点的合成方法具有较大的局限性，在合成过程中，实际上相当 一部分后续点的选择已由已合成点所决定，这样许多点的合成其实浪费了时间。 继在i c c v 9 9 上发表了非参数采样的纹理合成旧后，e l m s 在2 0 0 1 年的s i g g r a p h 会议上提出了一种基于块拼贴的纹理合成算法。田，相对以往的点合成算法，该算 法在纹理合成的速度、合成结果的视觉效果方面都得到了很大的提高，避免了以 往算法容易引起的模糊、纹元严重错位等问题。 图2 - 8 重叠区域的最优切割 在输入样图中任取一块骂放在输出图中，然后在输入样图中查找马，使岛放 入输出图后与最有一定的重叠区域，且边界匹配误差控制在一定的范围内；接着 在旦，最的重叠区域找出一条误差最小的路径作为垦的边缘，把最贴入合成图 中( 如图2 - 8 ) 。反复重复以上过程直到获得整个结果纹理图。误差最小的路径通 过以下方法进行计算：设置，垦具有垂直的重叠边，重叠区域为群和占，误 差定义为d ( b ，毋，) 。通过下式获得重叠区最后一行的各点误差。 巨= p j + m i n ( 互1 ，巨一l j l ，互一l ，“) ( 2 3 ) 在获得误差最小的一点后，通过反向跟踪便可获得最优切割路径。水平方向 的重叠可以采用类似的方法获得。当水平与垂直方向都有重叠时，两条路径会有 相交，此时分割边界由两条路径共同决定。从以上的描述可知，算法简单且速度 较快，合成效果好。该算法存在的问题是有时会出现纹理块的重复效应，有些边 界不匹配。 w a n gt ；i e sf o ri m a g ea n dt e x t u r eg e n e r a t i o n 】 c o h e n 等人在0 3 年提出了一种非常有趣的类似于块合成的方法。在该算法中 引入了计算理论中的“w a n gt i l e s ”理论“”，通过从一幅样图中利用一定的规则 浙江大学硕士学位论文 第2 章基于样图的纹理合成 抽取出其中具有拼接特性的w a n gn l e s ，从而利用这些w a n gt i l e s 的组合产成了 很多非周期性的纹理。w a n g t r i e s 是一组边界带有颜色的方块，在合成的过程中， 两块之间重合的边具有相同的颜色时才认为是匹配。在输入纹理中，通过随机采 样和边界匹配得到如果图2 - 9 ( a ) 中的四个纹理块，其相邻边界处的差异小于一定 的阈值。图2 - 9 ( b ) 是8 个已经合成的w a n gt i l e s 这些纹理块是通过计算一组最 佳切割路径得到的。 图2 - 9 用于区域填充的w a n gt i l e s w a n gt i l e 算法的合成速度和合成效果相对以往有了一定的提高，并且可以进 行扩展产生非均匀的纹理以及实时的三维表面渲染，但需要一定的前期处理和复 杂的参数调整。 2 2 二维图像纹理合成的扩展 早期的纹理合成一般是针对特定类型的纹理，近年来随着研究的深入，纹理 的类型又涉及到了完全无结构的纹理( 例如云、烟、雾) 、整体有结构的纹理( 例 如织物等) ，甚至是同时考虑多种纹理。目前此方面的研究还不是很多，而且也 不够深入，但从实用角度出发，这却是纹理合成的发展趋势；随着纹理合成研究 的深入，人们希望在合成过程中加入更多的控制因素，因此也就产生了基于约束 的纹理合成，从而根据人们的主观意愿和客观的约束条件来进行纹理的合成。二 维图像纹理合成的扩展主要有如下两个方向： 2 2 1 多输入样图纹理合成 现实世界中的景物往往是多种纹理的组合，例如一个开阔的牧场并不都是草 丛，还会有灌木丛、沙石、河流等，它们交织在一起所展现出的整体风貌才使人 1 2 浙江大学硕士学位论文第2 章基于样图的纹理合成 们感受到自然景色的美丽。z a l e s n y 采用了层次方法，先分割输入样图成不同的子 纹理块，并用标号图( 1 a b e lm a p ) 对应于不同的子纹理，标号是一组整数，目的 是能记录样图中子纹理的整体结构和布局“”。然后按纹理的复杂性顺序排序各子 纹理，合成从最简单子纹理开始。这简化了各纹理间过渡区域处理，一个子纹理 合成仅考虑与排在它前面的纹理存在相交。 不仅现实世界中景物纹理多是组合形式，人们在主观构造纹理时，往往也想 将无直接关系的纹理组合在一起，使新的组合更具美感或艺术感染力。b a r - j o s e p h 曾采用统计学习的方法对两种纹理样本进行混合合成，取锝了较好的效果，但该 算法复杂耗时长，且只适用于部分纹理，有很大的局限性用；徐晓刚提出了一种 基于a s h i k h m i n 方法进行多样本纹理混合合成的方法，输出图像中仍然存在块拼 接的条带痕迹“日。目前的一些合成方法介绍如下： 一 p y r a m i d - b a s e dt e x t u r ea n a iy sjs s y n t h e sis 】 h e e g c ra n db e r g e n 在最早的基于直方图匹配的方法中提到了如何将单样图纹 理合成的算法扩展到多样图纹理混合。其单样图纹理合成的思想是通过对一幅输 入纹理计算其某些纹理参数值，然后利用这些参数值合成出一幅与原有纹理相似 ( 颜色、纹理属性等方面) 的输出纹理。文章开始即指出纹理分成为两类：确定 性纹理和随机性纹理，其方法仅适用于没有比较明显结构特征的随机性纹理。主 要步骤包括：图像卷积、下采样、上采样、直方图计算、非线性变换。通过对一 幅噪声图像的不断直方图匹配，来达到与输入样图的相似。算法中采用基于金字 塔的图像表示，利用直方图匹配的方法，把噪声图像的直方图匹配成与输入样图 一样，然后获得改变后的噪声图像和原样图的图像金字塔，接着循环所有的金字 塔子带来做匹配。最后通过倒塌噪声直方图的金字塔得到合成好的输出图。在用 于纹理混合时，通过融合一幅样图的调色板和另一幅样图的样式信息来做到混 合，局限在于仅可以用于两幅样图的混合合成，且只适用于随机性纹理。 s t a r i s t i c a il e a r n i n go fm u i t i - d i m e n s i o n a lt e x t u r e s 】 b ej o , p h 的方法通过将统计学习理论的思想融入到纹理混合和视频纹理合 成中。其基本的思想是，对输入的每一幅纹理样图进行可控金字塔的表示，其实 是一种四叉树的多分辨率表示( 图2 1 0 ) ，然后利用已有的金字塔树，通过基于统 计学习理论的点采样来生成一颗结果四叉树，其中的每个结点信息来自于原有样 图金字塔中的某个结点。最后利用金字塔的倒塌操作可以得到合成的纹理图，由 于在采样过程中融合了不同输入样图的结点信息，因此得到的输出结果也同时具 1 3 浙江大学硕士学位论文 第2 章基于样图的纹理合成 有多个样图的特征。图2 1 0 是可操纵金字塔的图像表示，这里可以看到原有样图 被分成了4 级，其中每一级具有4 个方向的不同细节信息。 图2 1 0 样图的金字塔分级表示 在基于四叉树表示的纹理样图的基础上，按照从项到底的顺序，逐层的合成 每一个输出节点，直到所有的节点，此过程称为基于统计学习的结点学习( 图 2 - 1 1 ) 。且在输出图的不同级考虑不同的权重匹配系数，在保持输出图完整特，正 的条件下考虑一定的特征多样性。 图2 11 基于统计学习理论的结点合成 该算法对部分随机性纹理取得了较好的效果，但对于结构性纹理效果并不理 想，却突破了上文算法中对输入纹理个数的限制。有趣的是，当输入样图都来自 于某一幅纹理样图的不同区域时，该方法即是一种单样图的合成方法；当输入样 图来自于不同的输入纹理时，便是一种纹理混合的方法。文中算法可能存在的问 题是，当其中两幅样图之间差异很大时，节点采样有可能只陷入到某一幅样图中， 1 4 浙江大学硕士学位论文第2 章基于样图的纹理合成 从而丧失了多幅样图的结构特征。 一 纹理混合与纹理传输】 徐晓刚的纹理混合算法是对a s h i k h m i n 合成算法的一个扩展。在初始化阶段设 置l 邻域的大小，两纹理图像a 1 ，a 2 所占的比例值分别为q 、，0 _ 0 6 l ， o _ a 2 1 ，啊+ 吃= l 。初始化输出图像为夙最佳匹配点的位置记录在5 ( 西中。 然后查找匹配的待选点，把输出图像b e e 的每一点p 与输入图像中的点d ，韶进 行比较获得最佳匹配点，根据匹配误差决定在哪个纹理图像中采样，得到合成结 果。算法如下： f u n c t i o n6 e t t e x t u r e m i x i n g 初始化各参数和输出甬像： f o r 每一点pe b d o 选取误差最小的匹配点q 1 q 2 ： d l d 2 l i p ( , 7 1 ) 一f tp ) h ： d 2 一q 1 i i f ( q 2 ) 一f tp ) l | ： i fd l = d 2t h e n q q l ： e l s e q q 2 ： s ( p ) 一q ： r e t u r n8 在合成过程中，采用了“之”字型双向扫描合成的方式，有效的减少了纹理 的倾向性。但由于合成的基本算法是基于a s h i k h m i n 点合成的思想，因而对于结 构性较强的纹理仍然比较难取得好的效果，具有比较明显的条带痕迹。 t e x t u r em i x i n gv i au n i v e r s a is i m u i a t i o n 】 g u s t a v o 的方法是基于b a rj o s e p h 的统计学习理论的方法。其主体思想是基于 信息论中的u n i v e r s a ls i m u l a t i o n 通用模拟方法来根据多输入样图进行合成。首先 利用l e m p e l z i v 增量解析方法过对输入纹理构建后缀树即字典，然后通过对各个 输入样图字典内的条件概率采样来获得输出字典，从而使其同时具有多幅样图的 特征，最后同样通过金字塔的倒塌操作来获得合成结果。该方法非常复杂，且基 本只适用于没有明显结构特征的随机性纹理，但从结果中可以看出基于分布概率 的采样方法可以使输出结果中各样图所占比例得到基本有效的保持。 1 5 浙江大学硕士学位论文第2 章基于样图的纹理合成 图2 1 2 输入样图及1 0 0 - 0 ，0 1 0 0 ，3 0 7 0 ，5 0 - 5 0 ，7 0 一3 0 合成比率的结果 _ s y n t h e s j z i n gt r a n s i t i o nt e x t u r e so ns u c c e s s j o np a t t e r n 】 这篇文章提出了一个相对比较新颖的概念一过渡纹理( t r a n s i t i o n t e x t u r e ) ( 见图2 - z 3 ) 。文章中认为对于来自于不同样图的输入纹理，如果想做到 无缝拼接，则需要通过过渡纹理来做到其中的自然衔接。其方法是先通过对每一 幅样图得到其黑白两色的二值图表示，然后利用此种特征表示，根据输入样图的 纹理个数来合成出总共所需要的过渡纹理，从而利用过渡纹理进行拼接。 图2 1 3t r a n s i t i o np a t t e r n 及相应的t r a n s i t i o nt e x t u r e 由于在合成的过程中考虑到了图像的高频信息，且在重叠区域处理中利用了 基于边界保持的区域分割，因而取得了较好的效果，没有比较突兀的边界。利用 1 6 浙江大学硕士学位论文