（应用数学专业论文）基于样图的纹理合成技术研究.pdf

浙江大学硕士学位论文 摘要 纹理合成是当前计算机图形学、计算机视觉和图像处理领域的研究热点之 一。本文对基于样图的二维纹理合成技术进行了研究，提出了一些新的观点和算 法。 本文首先介绍了纹理合成技术的发展，其次从合成质量的角度对现有基于样 图的纹理合成算法进行了深入的分析，阐述了纹理特征应包括的内容，提出了识 别纹理特征的目标和直接识别的方法，并总结了用纹元合成纹理的过程；然后本 文提出了一种新的纹理合成算法。该算法不仅利用“纹理块的连贯性”，加快了 纹理合成的速度，而且通过给像素附上与视觉相关的权值，得到了比以往更好的 合成结果：作为进一步的研究，本文还提出了利用“伴随纹理”进行纹理合成的 开放式框架：最后本文介绍了一种新的多样图纹理合成算法，该算法基于块匹配 技术与像素的邻域误差最小原则，同时采用多次合成的方式，对大多数纹理都取 得了较好的合成效果。 本文算法在计算机动画，影视特技，虚拟现实和数据压缩等方面具有广泛的 应用前景。 关键词纹理合成，纹理特征，m r f 模型，块拼贴，多样图纹理合成，计算 机图形学 浙江大学硕i ：学位论文 a b s t r a c t t e x t u r e s y n t h e s i s i so n eo ft h eh o t t e s ta r e a si n c o m p u t e rg r a p h i c s , c o m p u t e r v i s i o na n d i m a g ep r o c e s s i n g f i e l d s i nt h i sp a p e r , w e b r i n g f o r w a r d s e v e r a ln e w o p i n i o n s a n d a l g o r i t h m s o nt s f s f i r s t l y , w ei n t r o d u c et h ed e v e l o p m e n ti n t h ea r e ao ft e x t u r es y n t h e s i s s e c o n d l y ，w ea n a l y z ee x i s t e n ta l g o r i t h m so nt s f sd e e p l ye x p a t i a t e o nt h e c o n t e n t so ft e x t u r ec h a r a c t e r , p r e s e n tt h es t a n d a r da n dm e t h o d i ni d e n t i f y i n g t e x t u r ec h a r a c t e ga n ds u m m a r i z et h ep r o c e s so ft s f su s i n gt e x e l t h i r d l yw e p r e s e n t an e w a l g o r i t h m o nt e x t u r es y n t h e s i s ，w h i c hn o to n l yh a sr a p i ds p e e d w i t ht h eh e l po f 。j s y n t h e s i sc o n s i s t e n c y j b u ta l s og i v e sp i x e l si nt h ei m a g e v i s i o n r e l a t e d w e i g h t t o g e tg o o dr e s u l t f o u r t h l y ，w ep r e s e n t a n o p e n f r a m e w o r ka b o u tt s f sw i t h 。s h a d o wt e x t u r e ”f i n a l l y , w ed e s c r i b ean e w t e x t u r e s y n t h e s i s m e t h o db a s e do n m u l t i p l es a m p l e s ，w h i c h i n t e g r a t e s p a t c h b a s e dt e c h n i q u e a n dt h e p r i n c i p l e o fm i n i m u mn e i g h b o r h o o de r r o r b e t w e e n p i x e l s ，a n ds y n t h e s i z e s i na r e p e a tw a y a l lt h e s em e t h o d sh a v eg r e a tp o t e n t i a li nm a n ya p p l i c a t i o n s ，e s p e c i a l l yi n c o m p u t e ra n i m a t i o n , s p e c i a l e f f e c t s ，v i r t u a lr e a l i t y , a n ds o o n k e y w o r d s t e x t u r es y n t h e s i s ，t e x t u r ec h a r a c t e r , m r f n l o d e l ，p a t c h b a s e d s y n t h e s i s , m u l t i s a m p l e t e x t u r es y n t h e s i s ，c o m p u t e rg r a p h i c s 浙江太学硕 ：学位论立 绪论 在过去的几年罩，基于图像的绘制技术取得了长足的发展，它可以利用图像 获得许多新颖的结果，表现几何模型无法体现的细节，弥补几何绘制的不足。纹 理合成在基于图像的真实感绘制中占据重要的地位。 根据表面纹理生成方法的不同，我们可以把纹理合成技术分为三类：纹理映 射，过程纹理合成，基于样图的纹理合成。 纹理映射( t e x t u r em a p p i n g ) 是绘制复杂场景真实感图形最为常用的技术， 它可以通过纹理来表达表面丰富的几何细节和光照细节，甚至可以通过映射后纹 理的变形来表达物体的几何形状。但纹理映射通常只能在纹理空间和表面参数空 间进行一对一的映射。由于采样区域的局限性，所获取的纹理样本通常为小块纹 理。若将小块纹理映射到大的曲面上，它将导致映射后表面纹理模糊不清，若采 用重复映射技术，则可能出现表面纹理接缝走样等问题。 与纹理映射方法不同，过程纹理合成( p r o c e d u r a lt e x t u r es y n t h e s i s ( p t s ) ) 通过对物体物理生成过程的仿真直接在曲面上生成纹理，如毛发、云雾、木纹等， 从而避免了纹理映射带来的失真。这种方法可以获得非常逼真的纹理。过程纹理 合成效果很好，但也存在不足。对每一种新的纹理，都需要调整参数反复测试， 非常不便，有的甚至无法得到有效的参数。 基于样图的纹理合成( t e x t u r es y n t h e s i sf r o ms a m p l e s ) ，是近几年迅速 发展起来的一种新的纹理合成技术，它基于给定的小区域纹理样本，按照表面的 几何形状，拼合生成整个曲面的纹理，它在视觉上是相似而连续的。基于样图的 纹理合成技术不仅可以克服传统纹理映射方法的缺点，而且避免了过程纹理合成 调整参数的繁琐，因而受到越来越多研究人员的关注，成为计算机图形学、计算 机视觉和图像处理领域的研究热点之一。 传统的样图纹理合成，利用统计方法对纹理进行分析，通常只能处理随机性 纹理：基于m r f 模型的逐点合成方法，提升了样图纹理合成的质量，但是速度很 慢：基于块拼贴的样图纹理合成，不仅改变了逐点合成方法速度慢的缺点，大大 加快了合成速度，而且利用纹理的邻域相关性得到了很好的合成效果，扩大了可 处理纹理的范围是样图纹理合成技术的发展方向。 利用基于样图的纹理合成技术，我们不仅可以从较小的样本纹理得到我们所 需要的( 较大的) 结果纹理，而且可以进行纹理填充( 如修补破损的图片，重现 原有图片效果) ，纹理传输( 把一张图的纹理贴到另一张图中) ，如果扩展到时域 还可以用一段视频图像，生成任意长度的非重复的视频动画等。纹理合成技术在 图像编辑、数据压缩、网络数据的快速传输、大规模场景的生成以及真实感和非 浙江人学硕 一学位论文 真实感绘制等方面都具有广泛的应用前景。 本文的主要工作 本文阐述了作者在纹理合成领域的部分观点，并提出了几种新型的算法，其 贡献表现在以下方面： 在第二章中阐述了理想的纹理合成方法的特点。 在第三章中基于块拼贴方法提出了一种新的纹理合成算法，不仅可以有效缩 短合成的时间，而且取得了较好的合成效果。 在第四章中提出了一种基于纹理块匹配技术和像素邻域误差最小原则的多 样本纹理混合合成算法，通过多次合成的方式，对大多数纹理都取得了较好 的结果，并把单纹理合成算法推广到更具一般性的多纹理合成。 在第五章中总结本文的成果，提出了在未来工作中需要进一步研究的问题。 浙江大学顾i 学位论文 第一章基于样图纹理合成的典型算法介绍 基于样图的纹理合成方法可以分为三类：二维图像纹理合成、曲面纹理合成 和视频纹理合成。由于时空不同，三类纹理合成方法既有相似之处，又有各自特 点。下面就其各自的特点和典型算法进行介绍。 1 1 二维图像纹理合成 二维图像纹理合成算法可以归为两类：一种采用m a r k o vr a n d o mf i e l d ( m r f ) 模型；另一种基于特征匹配方法。对于大多数的纹理，m r f 模型是一种很好的逼 近的模型，许多的算法都基于这一模型 a s h 0 1 b a r 9 9 e e l 9 9 w l 0 0 ，取得了 较好的结果。 另外一些算法把纹理当作一种特征集，通过在样本图中匹配特征的方法生成 新的纹理图。h e e g e r 和b e r g e n 提出了把随机噪声分层的方法，对随机性纹理 取得了较好的效果，但对结构性纹理效果不理想 h b 9 5 ；d eb o n e t 采用了类似 的方法，对结构纹理的合成取得了较好的效果 b o n 9 7 ，但对结构不明显的纹理 会造成人工痕迹。 1 1 1 基本概念 在介绍具体算法之前，先介绍几个基本概念： 像素点的邻域和纹理块的边界 当前待合成像素点的邻域是指在合成过程中，以当前待合成像素点( 图1 】( a ) 中p 点) 为中心的正方形区域与己合成像素点的交集。样本图中每个像素点都有 根据当前待合成像素点的邻域确定的相应邻域( 图1 1 ( b ) ) 。 当按从左至右，从上至下的扫描线顺序合成纹理时，对于当前待合成像素点， 只有其左边和上边的像素是己合成的，所以其邻域类似于字母l 的形状( 图 1 i ( c ) ) ，称之为像素的l 邻域；如果l 邻域中较长边大小为、( 即图1 1 ( a ) 中 的正方形边长) ，我们也称l 邻域为n x n 的l 邻域。 浙江人学硕l ：学逝论文 图1 1 点的邻域 在基于块拼贴的样图纹理合成中，我们通常使用正方形纹理块( 图1 2 中阴 影区域所示，本文中均采用正方形纹理块) 。纹理块的边界指纹理块边缘具有一 定宽度的区域，由于合成过程中只有与己合成区域在边界处重迭的纹理块才有讨 论价值，所以我们通常所说的纹理块边界指该纹理块与已合成区域重迭的部分。 如图1 2 ，我们按扫描线顺序从左至右，从上至下逐块合成纹理( 图1 2 ( a ) ( b ) ( c ) 演示了合成顺序) ，其中阴影块为当前待合成纹理块，其也正方形块为已合成 纹理块，红色轮廓线区域不仅是当前待合成纹理块的边界，而且也是与己合成部 分的重迭区域。 i| l k 删 图1 2 纹理块的边界 浙江大学硕： 学位论文 像素点的邻域匹配和纹理块的边界匹配 两个像素点的邻域误差指它们邻域中对应像素的r g b 值误差之和。具体地讲， 由两个像素点确定的形状相同的邻域。，的误差定义为它们间的，距离，即 d ( n i ，n 2 ) = s q r f ( 尺( p ) 一r ( q ) ) 2 + ( g ( p ) 一g ( 口) ) 2 + ( 占( p ) 一b ( g ) ) 2 ) ( 1 一1 ) 蕊勰： 其中函数r ( p i x e l ) ，g ( p i x e l ) ，b ( p l r e l ) 分别表示纹理图像的红、绿、蓝三原色。 在基于m r f 模型的逐点合成算法中，我们需比较输出结果图像中当前待合成 像素点与样本纹理中每一个像素点的邻域误差，在误差较小的( 待选) 邻域中随 机选择一个作为匹配邻域，这个过程称为邻域匹配，由匹配邻域决定的像素点成 为匹配点。 纹理块的边界误差指：将样本纹理中某一纹理块置于结果图中当前待合成纹 理块的位置，其与结果图中已合成区域的重迭部分( 图1 2 ( a ) ( b ) ( c ) 中红色 轮廓线区域) 的工，距离，如公式( 1 - i ) 所示，此时，。，分别代表位于重迭区 域的纹理块边界和已合成区域边界。 在基于m r f 模型的逐块合成算法中，我们根据结果图中当前待合成纹理块的 位置，计算样本图中的每一个纹理块的边界误差，在误差较小的( 待选) 纹理块 中随机选择一个，其边界就是匹配边界，这个过程称为纹理块的边界匹配，由匹 配边界决定的纹理块称为匹配纹理块。 m a r k o vr a n d o mf i e l d ( m r f ) 模型 1 9 4 8 年，香农在通信的数学理论一文中提出了一种利用n 语法自动产生 英文句子的方法。他首先通过采样语言系统构建广义m a r k o v 链：由n 个具有先 后顺序的字母构成n 语法，并由n 语法完全决定下个将要生成的字母的概率分 布。使用较大的语言样本( 例如一本书) 可以形成每一个n 语法的概率表：然后 从一个种子字母开始反复采样m a r k o v 链产生新的字母，从而构成英文句子。香 农用这种方法产生了经典名句：“is p e n t3 ni n t e r e s t i n ge v e n i n gr e c e n t l yw i t h ag r a i no fs a l t ”。这种方法由一维扩展到二维 p p 9 3 ，便产生了m a r k o vr a n d o m f i e l d ( m r f ) 模型。 纹理合成所采用的驵a r k o vr a n d o mf i e l d ( m r f ) 模型，根据结果图中当前待合 成像素点的邻域( 或当前待合成纹理块的边界) ，在样本图中搜索所有像素( 或 纹理块) ，得到具有匹配邻域的像素点( 或具有匹配边界的纹理块) ，将其作为当 前待合成像素点( 或纹理块) 的最佳近似合成到结果图中。 r f 模型认为纹理具有局部统计特征，即纹理中的任一部分部可以由其周围 部分( 即邻域) 完全决定。这是对纹理的种比较客观的认识。 浙江人学坝 。学位论文 1 l 2 典型算法 存以住的基于弧f 模型的合成肄法中，一般采用穷尽法在样陶中搜索匹配点， 在符合条件的点中随机选取，一次填写一个，所以耗时很大计算一小块纹理都 需要耗费数小时。w e i ! w l 0 0 ：采用多分辨率合成和矢量编码加速技术，取得了较 好的效果。但自x u 等 x g s 0 0 提出了随机块拼接的快速合成方法后，块拼接方法 得到了进一步的改进，合成速度和质量都得到了很大的提高 e f 0 1 l i x g s o i ， 在 l l x g s 0 1 中已经达到了实时的效果。 当今，由于m r f 模型较好地体现了纹理固有的局部相关特性和稳定特性所 以依然被广泛采用，同时块拼接技术依据其在合成速度和合成质量上的优势也得 到很多研究人员的重视，下面我们将对具有上述特点的几个典重! 算法进行介绍。 【e l 9 9 1 方法 早期的纹理合成算法如 h b 9 5 ! b o n 9 7 p s 9 8 ，采用多分辨率金字塔及滤波 器进行处理，只能合成随机性纹理，对结构性纹理的合成效果不理想。在9 9 年 的i c c v 会议上，e f r o s 和l e u n g 提出了一种采用m a r k o vr a n d o mf i e l d 模型的 合成方法 e l 9 9 ，对结构性纹理取得了非常好的效果。 ! e l 9 9 运用m r f 模型逐像素合成纹理，其算法如图1 3 所示： 图1 3 运埘m r f 模型逐像索产生纹理 对于当前待合成点p ，在洋本图中搜索与其有最相近邻域的“。( j d 。一。) ( 假设( _ p ) 为以为p 中心点，边长为0 3 的正方形纹理块) 。 对满足条件d ( 叫( p ) ，) c ( 1 + ) c f ( ( u ( p ) t o 。) 的所有纹理块m ，根据其中心点 浙江人学倒! i 学【置论二 值产生待选合成点的直方图，然后从中采样得到p 。 e | j 9 9 比以前的纹理分析方法简单，合戒的效果也很好，但是“。l 于每合成 个点就要搜索样本图，比较所有的纹理块，所以速度非常慢，e w i o o ? a s h 0 1 对 其进行了改进。 w l o o i 方法 w e i w l 0 0 方法是对e f r o s e 1 9 9 算法的一种改进，同样基于m r f 模型，但它 摈弃了 e l 9 9 中的概率函数而直接采样，邻域采用l 形状，如图1 4 ，计算时按 照扫描线顺序，逐点进行采样合成。其算法如下： 圈1 4 掖扫描顺序合成纹理。 用随机噪声初始化输出图像，按照扫描线顺序确定输出图像的每一个点的颜 色。首先提取出当前点的l 邻域，其大小由人工给定a 在输入的样图中找出一点，使该点的l 邻域与输出图像中当前点邻域的误 差最小。 把该点拷贝放入输出图像中。重复上述过程得到最后合成图像。 在计算当前点和输入图像中样本点的l 邻域间误差时，采用工二距离怍为衡量 尺度。邻域的大小必须覆盖纹元的尺度，而当邻域的尺复增大时t 计算量成 倍增加。解决这个问题有多种方法，原文采用多分辨率合成的方法来降氐邻域的 采样范围，同时通过树结构的矢量量化方法进行加速，取得了较好的加速效果3 佃w e i 方法不适台处理具有较多细节的自然纹理， 浙江人学硕 学位论丈 x g s 0 0 ( c h a o sm o s a i c ) 方法 x g s 0 0 首先将样本纹理进行重复映射( t l l i n g ) ，然后通过混沌变换得到合 成纹理，使样本纹理中的局部特征具有本质剃律但视觉随机的分布。为达到这个 目的， x g s 0 0 使用了确定性混沌领域的一个递归系统。所谓确定陛混沌，是指 出所发生的历史唯一决定将来行为的非线性动态系统产生的无秩序和不规则状 态， ) ( o s o o 采用的是a r n o l d 提出的c a tm a p 。它将( 由重复映射得到的) 图像 t 映射到自身，使得其中的点( x 。，y 。) 通过公式( 卜2 ) 方式映射到点( x “，y “) ， 其中，指递归次数，用指合成纹理的长宽； j “1 = f x 。+ y 1 ) m o d m ) ，“1 = ( x 。+ 2 y ) m o d m 为了保持样本纹理的局部相关特性 像素。如图1 5 所示，算法如下： ( 1 2 ) x c s o o 混沌变换的对象是纹理块而非 图1 5c h a o sm o s a i c 方法 将样本纹理重复映射得到初步结果。 在结果图中随机选择纹理块( 红色高亮显示) ，通过公式( 卜2 ) 表达的混沌 变换将它绘制在图中的随机位置( 绿色高亮显示) 。 平滑边界。 x g s 0 0 方法对随机纹理产生了非常好的合成结果，而且速度也很快，但是 在合成带有结构陛的纹理时，会产生比较明显的接缝。 浙江大学硕士学位论文 i e f o i ( 1 m a g e q u i l o 方法 由于一次一个点的合成方法具有较大的局限性，在合成过程中，实际上相当 一部分后续点的选择已由已合成点决定了。这样许多点在查找上浪费了时间。继 在，c c y 9 9 上发表影响较大的非参数采样的纹理合成 e l 9 9 后，e f r o s 在2 0 0 1 年 的s i g g r a p h 会议上提出了一种基于块拼贴的纹理合成算法 e f 0 1 ，比起以往 的算法，该算法在纹理合成的时间，合成纹理的视觉效果方面都得到了很大的提 高，避免了以往的算法容易引起的模糊，纹元错位严重等问题。 i b t ) ； ib 2 图1 6 重叠块瞬】的拼接。 在输入样图中任取一块口1 ，放在输出图像中，然后在输入样图中查找b 2 ， 使b 2 放入输出图后与b 1 有一定的重叠，且匹配边界误差控制在一定的范围内； 接着在口1 ，b 2 的重叠区域找出一条误差最小的路径作为b 2 的边缘，把日2 贴入 合成图中( 如图1 6 ) 。反复重复以上过程，获得合成纹理图。误差最小的路径 通过以下方法进行计算：设b 1 ，b 2 沿垂直边重叠，重叠区域为b f ”和b ? 。 误差曲面定义为e ：( 8 一嚣) 。通过公式( 卜2 ) 获得重叠区最后一行的各点误 差。 e 。一q ，+ m i n ( e ，h ，e i , j - ie n r l ) ( 卜3 ) 取误差最小的一点，反向跟踪获得最佳分割路径。对于水平方向的重叠，可 以采用类似的方法获得。当水平与垂直方向都有重叠时，两条路径会在中间相遇， 选取误差最小的路径作为分割边界。从上述算法可以知道，算法很简单，但合成 效果很好。该算法存在的问题是有时纹理出现过多的重复，有些边界不匹配。 l l x g s 0 1 方法 2 0 0 1 年3 月，微软亚洲研究院的梁林等人提出了和e e f 0 1 极为相似的块拼贴 算法 l l x g s 0 1 ，这个算法同样基于m r f 模型，并用纹理块边界匹配原则在样本 图中搜索最佳匹配块，同时采用四叉树金字塔、优化的k d 树和主元分析来加速 搜索过程，得到了实时的合成效果。该算法的合成过程如图1 7 所示( 其中灰色 区域为已经合成的部分，阴影区域为边界区。蓝色区域为将要合成的纹理块) 。 塑坚堂主兰竺笙壅 图1 t 7 边界l 蔓匹配原则 假设当前要合成的纹理块为b 。，它只有部分边界和输出图像，。，中己经合成 的纹理块 占。，反一。) 的边界匹配。我们假设两个边界匹配是指它们的重迭区域 匹配。在图1 ，7 中，只有宽为的边界区正毋，在，。中已经合成的纹理块有宽 为k 的边界区二，通过基于块的采样策略后，e 巩应当和三，匹配。 为了保证合成纹理f 。的随机性， l l x g s 0 1 采用集合q 。来包含输入图像f 。 中边界和乞匹配的所有纹理块。如果用反。) 来标记，。中左下角点为0 ，y ) 的纹 理块，可表达如下： k = 口( ，川i d ( e b ( 。，e 乞) d 。，b ，。 ( 1 4 ) 这里d 指边界区的最大误差。 l l x g s 0 1 在q 0 中随机选择一个纹理块作为当前 待合成纹理块风。如果为空，就选取，。中具有最小边界区误差的纹理块作为 玩a 这个基于块采样的算法的具体_ 步骤如下： i 从输入图像中随机选择一个w 。的纹理块风将其粘贴在输出纹理，。的 浙江大学硕上学位论文 左f 角，并设k = 1 。 2 根据，。中的所有纹理块，产生集合，使得t l j 。中每一个纹理块的边界区都 和乞匹配。 3 如果掣。为空，设平。= b 。) ，这里b 。是边界区和e 三，最接近的纹理块。 4 在1 1 0 中随机选择一个纹理块作为当前待合成纹理块b 。，将巩拼贴在输出纹 理，。上并设k = k + 1 。 5 重复步骤2 ，3 ，4 直到输出纹理，。被完全覆盖。 6 在边界区上进行纹理颜色的混合。 l l x g s 0 1 方法不仅具有很快的合成速度，而且对大多数纹理都取得了很好 的合成效果，是目前比较成功的一种算法。 1 2 曲面纹理合成 在衄面上进行纹理合成要解决以下问题： 如何设定纹理方向； 如何建立曲面与纹理样图的映射关系； 如何查找获得匹配点。 在2 0 0 1 年的s i g g r a p h 会议上w e i w l 0 1 和t u r k t u r 0 1 各自提出了曲面上 纹理合成的算法。他们的思想主要来源于p r a u n p f h 0 0 和w e i w l 0 0 ，都采用了 多分辨率的思想，把基于点匹配的思想在三维上拓展。为建立矢量场控制纹理的 生长方向，w e i w l 0 1 和t u r k t u r 0 1 分别采用了松弛算法和插值算法，避免了 p r a u n p f h 0 0 中人工交互建立矢量场的巨大工作量。 w e i w l o i 与t u r k t u r 0 1 在以下几个方面有所不同：w e i w l 0 1 中采用了随 机对称的矢量场而t u r k t u r 0 1 采用平滑的矢量场；w e i w l 0 1 采用随机方法而 t u r k t u r 0 1 按顺序扫描网格顶点；查找邻域的方法亦有所不同，t u r k t u r o l j 在曲面上直接查找，而w e i w l o i 把曲面拉平并进行重采样。同时，w e i w l o i j 没有要求必须建立相邻分辨率间的父子关系。 最近，基于w e i w l 0 0 与a s h i k h m i n a s h 0 1 的思想，y i n g y h b z 0 1 提出了 两种新的合成方法。一种为与w e i w l 0 1 类似的多分辨率方法。通过映射建立一 图表( c h a r ) ，在曲面的邻域和纹理样图点邻域间建立对应联系在最低分辨率部 分，采用曲面搜索( s u r f a c em a r c h i n g ) 方法进行查找匹配，在其它分辨率中采用 浙江大学硕t 学位论文 图表采样( c h a r ts a m p l i n g ) 的方法；另一种基于a s h i k h m i n a s h 0 1 的思想通 过纹理映射图，在曲面点的邻域查找在样本纹理上的对应点，实现纹理合成。类 似于w e i w l 0 0 与a s h i k h m i n a s h 0 1 ，上述第一种算法，不适合于处理细节较 多的纹理：而第二种算法，会出现接缝，对变化比较平缓的纹理效果不佳。 t u r k t u r 0 1 方法是一个典型的曲面纹理合成算法，其主要思想是：采用层 次模型建立覆盖表面的非矩形点集。该算法的具体步骤可描述如下： 过程纹理合成 设建立m 层的网格，每一层k 对应的网格为m 。= ( k ，瓦) ，k 为顶点，瓦为 三角片。首先用n 个点建立网格，初始的打个点在表面上随机放入，然后用排斥 法使之均匀地分布在几何表面 t u r 9 1 。这n 个点构成最低分辨率网格的顶点k 。 这，1 个点位置固定后，把孙的点加入，这些新的点互相推开，均匀地分布在几何 表面。这些点构成网格m 。的k 一。个顶点。如此，递归进行，最后得到最细的 网格m ，顶点为v 。通过把邻近点投影到切平面并进行d e l a u n a y 三角化，从 而连接各点建立层次网格。 与此相对应，采用g a u s s i a np y r a m i d 进行分解，建立纹理样图的层次模型。 g 。( ，) 表示金字塔中分辨率最高的一层。g ：( ，) ，g ，( ，) 逐步降低分辨率a 低一 层包含四分之一的高一层的点数。 网格顶点颜色基本操作 为给各分辨率层的网格顶点赋上颜色，文中采用了以下四种操作：插值，低 通滤波，下采样，上采样。插值用于决定表面上给定点p 处的颜色，这里p 不一 定为网格顶点。p 的颜色值c ( 们采用加权法计算： ，。紫 m 曲 y ，i ：1 一j ，为p 点半径为，的范围内的网格顶点。权值w ( j ) 一2 x 3 3 x = + 1 为 0 ，1 上的样条函数，离p 点近，则该点贡献大，反之则小，特别地， 畎o ) = 1 ，q ) 一0 a 对网格顶点的颜色进行低通滤波，借用了网倍平滑技术：t a u 9 5 ，新点的颜 色受到与之相连的n 个顶点的制约。下采洋，上采样分别采用漠糊和插值的方法 计算顶点的颜色从而获得低分辨率层和高分辨率层的颜色疽， 浙江人学硕士学位论文 建立矢量场 许多自然和人工纹理都有方向性。在曲面贴纹理时需要指定方向。文中采用 了以下方法建立矢量场：在某几个地方用户指定方向，曲面的其它地方通过插值 实现。 首先创建各层矢量场。m 中除用户己指定方向的点外都赋为零矢量，进行 下采样至最低分辨率层，这时，仍有许多为零，需要进行插值。固定非零矢量， 采用颜色模糊的方法计算各点矢量，每次计算时把矢量投影在曲面的切平面上。 所有的点矢量为非零后，进行上采样，得到各层的矢量。每次上采样后都要单位 化。最后得到最高分辨率层的矢量场。 建立矢量场后就可以利用矢量方向决定曲面上点的扫描顺序，如同图像的扫 描线顺序。 多分辨率纹理合成 首先在最低分辨率层纹理图中随机选择点赋给对应层网格顶点颜色，然后合 成得到该层整个网格顶点颜色。其它分辨率层按如下处理：设f ( n ，o ) 表示从n n 的邻域点获得颜色，中心为g 。( n ，6 ) ，f ( n 山表示从低一分辨率的点获得颜色，中 心为g 。( a 2 1 ， b 2 1 ) 。在k 层，个顶点的邻域点的颜色通过插值顶点的颜色 得到，位置通过移动步长r 2 “1 得到。对于k + 1 层，曲面上移动步长为r 2 。从k + 1 层用f ( 2 国外插得到k 层的粗值，再用f ( n ，o ) 得到精细值。 在搜索最佳匹配点时，t u r k t u r 0 1 采用了与二维纹理合成中类似的方法， 把在图像中匹配最好的颜色赋给该点。通过从租到精，逐层匹配，最后得到合成 结果。 值得注意的是，在该算法中，初始块选择对最后的结果有很大的影响。 1 3 视频纹理合成 b a r j o s e p h b a r 9 9 ，w e i w l 0 0 ，s e h o d l s s s e 0 0 ， s d w o i ：等把纹理合成 的方法在时域上进行了推广，分别对流水，火，云等小段视频进行处理，合成新 的视频。其中s c h o d l s s s e 0 0 的方法不仅适用于流水等非结构性纹理，对结陶 性纹理也获得了较好的效果。 w l 0 0 j ：b a r 9 9 与 s s s e 0 0 ：思想的主要不同是 w l 0 0 b a r 9 9 对每一帧内容都重新合成，得到一组新的视频，相反 s s s e 0 0 ：并 浙江大学硕士学位论文 不改变每一帧内容，而是通过判断帧间的相关性，重组帧的顺序获得合成视频。 但! s s s e 0 0 方法会出现重复的序列，且容易发生模糊，对某些常见的现象如海浪、 草、人的运动等处理效果不好。 s d w 0 1 中处理了旋涡，讲话的口形等纹理现象， 取得了很好的效果。 s c h o d l s s s e 0 0 借鉴了b r e g l e r b c s 9 7 的思想， b c s 9 7 从一个人的讲话的 视频分析合成绘制视频序列中抽取嘴部的视频序列，然后把它与新的声音进行匹 配，获得合成视频。 视频纹理合成需要解决以下诸多问题：( 1 ) 要确定视频序列中的过渡点；( 2 ) 需要确定能表达整个序列的一段过渡序列；( 3 ) 对过渡点进行平滑；( 4 ) 要自动 地对序列中的各帧分解成不同的区域，以便分析与合成；更进一步，还需要解决 以下问题：生成一段固定长的循环视频，把视频纹理基元与背景进行分离，生成 变换矩阵以便用户实时交互等。 视频纹理合成的系统结构如图1 8 所示。其中分析模块主要对输入的视频进 行预处理：找出合适的过渡点，剔除冗余帧，对视频进行分割以便后续处理等。 合成模块通过计算帧间的相似性，确定过渡点，以便进行随机播放或循环播放。 绘制模块通过过渡、m o r p h i n g 、淡出及淡入等手段组合视频序列，输出具有较好 视觉效果的视频流。 图1 8 系统结构 下面，我们分别就这三个过程展开讨论： 分析 最直接的方法是采用l ，距离计算各帧间的相似佳，建立相似性矩阵d 。，d 。 值小则表示j 帧与帧相似性强，有较大的前后关联性，应组合在一起。实际上， 除了需要计算帧间相似性外，还需要考虑目标的运动情况。因此，相似性的度量 通过计算一段序列图像的匹配情况实现，而不是只考虑单帧间的关系，这样相似 矩阵为 眈j2 娶队m 式中为权值。 ( 1 5 ) 浙江大学硕士学位论文 以上的考虑都只针对局部情况，对过渡点是否会引起终结丽无法循环没有考 虑。因此，需要对后续帧进行预测，以便及时剔除终结点。 在实际使用中，还需要对过渡点进行取舍，以减少空间的存储和提高视频的 质量。主要方法为： ( 1 ) 在相似矩阵中只选取局部最大点。 ( 2 ) 把小于阈值的值置为0 。 这样可以去除一些不好的过渡点。对于循环的视频，还可以通过计算平均能 量来选取最佳过渡点。 合j 戎 通过分析确定过渡点后，需要确定按什么顺序进行播放。文中采用了两种方 式：随机播放和视频循环。 ( 1 ) 随机播放：从最后一个过渡点前的任一帧开始，显示f 帧后，下一帧 根据相似性进行选取。通过这种简单的m o n t e c a r l o 方法可以获得非重复的视 频序列。 ( 2 ) 视频循环：若只有一个过渡点，则从f 到i 称为基本循环，多个有重 叠的基本循环可以组成复合循环。对于一给定的序列长度，在组合时，通过动态 规划的方法计算最小的能量，然后反向跟踪找出优化路径。 s s s e 0 0 中提出了两 种算法生成给定长度的视频序列：- - 7 十通过选取过渡点集来生成；另一种把过渡 点进行排序生成。 选取过渡点集： s s s e 0 0 中采用了动态规划的方法，选取有效的过渡点生成 视频序列。建立己行，列的表，为视频循环的长度，为过渡点或者基本 循环数，中间为复合循环的过渡点及其总能量。在计算时根据序列的长度和重叠 情况，列出各种复合循环的路径和能量，选取能量最小的路径为优。 过渡点排序：找出各种基本循环后，对基本循环进行排列以构成有效的序列。 排序从最靠近结尾的过渡点开始，依次选取与当前基本循环相交的基本循环最 后选取不相交的基本循环。具体应用时，排序可以按照某种固定方式进行也可以 随机选取过渡点进行。 绘制 获得合成序列后，有的就可以直接播放了，但有些序列中没有过渡点，需要 进行修饰使帧与帧间实现平滑过渡。帧问过渡技术有多种，如淡入淡出、加权的 多帧混合、m o r p h i n g 等，通过这些技术处理就可以得到最后的视频序列。在 s s s e 0 0 中，还把上述思想进一步推广到以下几个方面的工作：声音的合成，三 维视频纹理的合成运动的分块与合成，基于视频的动画等。 塑至叁兰堡主兰些笙苎 1 4 本章小结 经过多年特别是近两年的努力，纹理合成技术已经取得了很大的进展，但许 多问题尚待研究解决。我们把几种典型的算法就各方面性能与不足进行比较，如 下表： 表1 1 二维图像纹理合成 匹配域合成手段速度适合处理对象 w e i w l 0 0 1 点匹配多分辨率一般一般性纹理 e f r o s e f 0 1 1 块匹配单分辨率一般一般性纹理( 偏结构性) a s h i k h m i n a s h 0 1 】 点匹配单分辨率快 自然细节纹理 l i a n g i l l x g s 0 1 】 块匹配单分辨率实时一般性纹理 表1 2 曲面纹理合成 合成手段矢量场匹配域绘制方式速度适合处理对象 w e i w l 0 1 j 多分辨率松弛算法点匹配直接拼贴一般一般性纹理 t u r k t u r 0 1j点集+ 纹 多分辨率插值算法点匹配慢一般性纹理 理映射 1多分辨率最短程线一般 一般性纹理 y i n g l t h b z 0 j 点匹配直接拼贴 2 单分辨率 法 稍快自然细节纹理 表1 3 视频纹理合成 每帧内容适合处理对象合成手段合成速度匹配域 b a r b a r 9 9 】 改变非结构性纹理多分辨率慢点匹配 w e i w e i 0 0 1 改变非结构性纹理多分辨率馒点匹配 s c h o d i s s s e 0 0 】 不改变各种纹理单分辨率般帧匹配 从现有的算法可以得到以下结论： ( 1 ) 多分辨率合成是可行的方案：多分辨率具有“邻域扩张”的效应，即 用较小的邻域即可获得单分辨率中较大的邻域的合成效果，有利于提高合成速度 和质量。 ( 2 ) 块拼贴方法具有较大的速度优势：由于一次可以填写多个点，块拼贴 方法可以在合成速度上取得较大的提升，达到实时 l l x g s o i 。 ( 3 ) 基于邻域的点匹配方案适用性广：采用点匹配方法对许多纹理部取得 了不错的合成效果。 浙江大学硕：l 学位论文 ( 4 ) 不同类别纹理需要发展相应算法。 a s h 0 1 e f 0 1 w l 0 0 分别对各类 纹理有效，由于纹理的多样性，一种算法只能比较适合于某些纹理，因此，对不 同的纹理，需要发展不同的纹理合成算法，以适合不同环境和需求。 浙江人学硕卜学位论文 2 1 引言 第二章纹理合成算法探讨 在纹理合成研究领域，合成质量与合成速度是检验一个纹理合成算法是否先 进的两大标准。从早期采用统计方法进行纹理合成，到近年来基于m r f 模型合成 纹理，广大研究工作者提出了许许多多的算法，这些算法无不都在追求更好的合 成效果和更快的合成速度。 e f 0 1 在提高合成质量的同时显著加快了合成速度。 因此获得了巨大成功，成为纹理合成研究的一座里程碑。 合成质量与合成速度这两个标准并不是同等重要，因为一种算法的选择，首 先是要达到目的，即合成出和样本纹理“同样”的纹理来，所以合成算法的基本 过程，显然更关注合成结果即合成质量。只有在合成质量基本保证的前提下，才 能对算法进行修改，加入提速策略，以期得到更快的合成速度。正如 e f 0 1 和 l l x g s 0 1 ，两个算法的基本原理相同，都是基于m r f 模型，通过块边界区的误 差来选择当前最佳合成块。但是 l l x g s 0 1 还加入了四叉树金字塔、优化的k d 树和主元分析来加速搜索过程，在合成质量与e e f 0 1 基本相同的前提下，得到了 比c e f 0 1 更快的实时合成速度。而且在图像处理领域，有关加速算法的研究已经 进行了多年，积累了很多比较实用的成果。由于这些原因，合成质量比合成速度 显得更为重要。 下面本章将从合成质量的角度对纹理合成算法进行探讨。本章首先介绍了纹 理本身的特点，然后讨论了纹理特征的识别方法，最后研究在结果图中产生纹理 特征的方法。 2 2 纹理的特点 纹理有其自身的特点，首先纹理是一类特殊的图像，其次每种纹理都有其不 同于其他纹理的特征，这些特征可以表达为一系列的统计量，每种纹理合成算法 都无一例外地在探索纹理特征的普遍表达方式，以及合成过程中对这些特征的运 用。 2 2 1 纹理与图像的区别 纹理和图像是不同的，纹理显然是图像，但并不是所有的图像都是纹理。我 浙江人学硕i ：学位论文 们可以把纹理看作是具有局部性和稳定性的随机过程的实现。也就是说，纹理中 的每一个像素点部可以由其空间邻域内的像素的集合来表达，并且这种表达对每 个像素都是一样的。如图2 1 所示，假设给定一张图像，但只允许观察肯通过较 小的可移动窗口( 图2 1 中黑框) 束观察它，当移动窗口时观察者可以看到图像 的不同部分。所谓图像的稳定性是指：在观察窗口大小合适的前提下，观察者看 到的部分总是相似的；所谓图像的局部性是指：窗l 1 中的任一像素可以由其周围 邻域内的像素预测得到，而与图像中的剩余部分无关。具备了局部性和稳定眭的 图像即为纹理。 2 2 2 纹理特征的内容 图2 1 纹理和图像比较 纹理通常由图像扫描或手工绘制而得，其形式是千变万化的。限据纹理特征 分布的方式不同，可以把纹理分为三类：结构性纹理，随机性纹理，以及既有结 构性又有随机性的纹理。如图2 2 所示。结构性纹理中存在纹元( 保持纹理局部 特性的最小纹理块) ，整个纹理可以由一系列的纹元及其摆放规则决定( 例如砖 墙、地板) ；随机性纹理中找不到明确的纹元( 例如沙粒、裂痕、花岗岩) ：但更 多的从现实世界得到的纹理同时包含了以上两种特性( 例如织物、犁过的田地) c i 型2 , 2 纹理的种粪 浙江大学硕士学位论文 我们把纹理特征分为全局特征与局部特征。 纹理的全局特征可以概括为各种纹理单位的分布规律。这里纹理单位( 用r 表示) 是指具有相似视觉表现的像素或像素集合。 对于随机性纹理，具有相同颜色c 的像素可以看成是同种纹理单位r ，整个 纹理包含由不同颜色 c 。，c ：，c 。) 区分的多