（计算机软件与理论专业论文）基于样图的纹理合成技术研究.pdf

中国科学技术大学博士学位论文 摘要 摘要 纹理合成以人工生成纹理为目的，是计算机图形学与图像处理的重要研究 领域基于样图的纹理合成是近些年来出现的一种新技术，它以小块纹理图像 作为输入而合成任意大的同类纹理该技术大量用于制作虚拟现实中的场景， 在电影，游戏娱乐等产业中有着巨大的应用需求随着近些年来计算机三维绘 图能力的飞速提高和对大尺寸高质量纹理的强烈需求，基于样图的纹理合成成 为热门研究领域之一 基于样图的纹理合成以高质量的输出图像、满足实时需要的合成速度与全 自动的合成过程为目标随着近些年来研究者们的大量工作，基于样图的纹理 合成技术取得了很大进展目前该领域的难点主要体现在纹理合成的速度与合 成图像的质量上针对以上两点，本论文以高质量快速纹理合成算法为目标， 所作的工作主要内容包括以下4 个方面 ( 1 ) 结构性纹理全局特性的识别和提取本文首次提出一种用于识别结构 化纹理中特征点分布的结构模式分析方法该方法首先以邻域相似性为准则， 对纹理中的像素进行聚类，然后以像素邻域差别为依据选择一组像素作为特征 像素组，并分析该组中像素的分布，最终识别整个特征点网格，以其为基础， 可以很方便地对纹理中的全局特性进行捕捉，对纹理合成相关应用起到很大的 辅助作用大量实验证明，该方法对周期及伪周期结构性纹理具有强大的通用 性，能准确识别高随机度纹理中的特征点网格，并根据网格的统计数据对纹理 的宏观随机度进行量化，量化后的随机度指数准确反映了纹理图像宏观结构的 整齐程度 ( 2 ) 基于特征点定位的纹理合成算法本文以传统的基于块的纹理合成框 架为基础，提出一种使用特征点定位的纹理合成算法该算法在预处理阶段对 样团进行结构模式分析，根据得到的统计数据对输出图像进行特征点全局模糊 定位；在块匹配阶段，将特征点分布与邻域相似性一起作为匹配标准；在块边 界修复阶段，基于传统的块边界切割技术，提出和使用一种强化的边界修复算 法，对图像中的高频与低频分量进行分离处理，以获得更加平滑的过渡效果， 从而提升输出图像的质量理论及实验证明，使用特征点定位可以保证输出图 像不会出现大的结构性错误，同时块匹配时的搜索空间根据纹理随机度的差别 中国科学技术大学博士学位论文 摘要 有不同程度的缩小，对大多数结构化纹理，搜索空间至少可以减小一到两个数 量级，直接加速了纹理合成的过程 ( 3 ) 基于结构坐标的纹理合成算法本文以传统的基于像素的纹理合成框 架为基础，给出一种基于结构坐标匹配的纹理合成算法该算法在结构模式分 析的基础上首次提出纹理结构坐标的概念在像素合成阶段，结构坐标差异与 像素邻域色彩差异一起作为匹配准则通过对结构坐标匹配时的阐值进行设置， 该算法还可以对输出纹理的随机度进行控制理论及实验证明，使用结构坐标 匹配明显改善了合成纹理的结构，有效弥补了传统的基于像素的合成难以再现 纹理大范围特性的不足同时，像素全局匹配时的搜索空间根据纹理随机度的 差另4 有不同程度的缩小，有效加速了纹理合成的过程 ( 4 ) 使用动态特征点匹配的纹理优化算法本文以基于优化的纹理合成算 法为基础，提出一种加入特征点匹配要素的纹理合成算法该算法在预处理阶 段以特征点周期位置为准则，生成一组经过优化的初始块集合在块匹配盼段 中，算法随时检查和保证不同块中特征点之间应有的相对位置，并对特征点网 格进行动态调整理论及实验证明，使用特征点匹配生成的初始块集合可以大 大加快算法的收敛速度，而块匹配时对特征点相对位置的检查则可以有效保证 输出图像结构的正确性 本研究工作的主要创新点为： ( 1 ) 首次所提出的一种用于分析纹理中特征点分布的结构模式分析方法， 可以有效识别和定位纹理中的全局特性，对传统的纹理合成算法是一个有力的 辅助工具 ( 2 ) 所提出的基于特征点定位的纹理合成算法，通过特征点定位直接排除 了会导致输出图像结构性错误的匹配位置，在确保了输出图像结构正确的同时， 也大幅度减少了块匹配时的搜索空问，直接提升了合成速度 ( 3 ) 为了定位纹理中的全局特征，首次提出了结构坐标的概念，并将其应 用于基于像素的纹理合成框架中通过结构坐标的匹配，将纹理全局结构信息 准确传递给合成算法，有效改善了输出图像的结构，同时大幅度减少了像素匹 配时的搜索空间，提升了合成速度 2 中国科学技术大学博士学位论文摘要 a b s t r a c t t h eg o a lo ft e x t u r es y n t h e s i si st op r o d u c et e x t u r e i ti sa l li m p o r t a n tr e s e a r c h a r e ai nb o t hc o m p u t e rg r a p h i c sa n di m a g ep r o c e s s i n g s a m p l e - b a s e dt e x t u r e s y n t h e s i sw a san e wt e c h n i q u ep r o p o s e di nr e c e n ty e a r s i tt a k e ss m a l lt e x t u r ei m a g e a si n p u tt os y n t h e s i ss a m ek i n do ft e x t u r eb u ti na r b i t r a r ys i z e t l i st e c h n i q u ei s w i d e l yu s e d i np r o d u c i n gv i r t u a lr e a l i t ys c e n ea n ds a t i s f i e st h eg r e a tn e e di n a p p l i c a t i o n a r e a ss u c ha sm o v i ei n d u s t r ya n dc o m p u t e rg a m e w i t ht h er a p i d d e v e l o p m e n to fc o m p u t e r3 dg r a p h i c sa b i l i t ya n dt h eg r e a tn e e do fl a r g es i z ea n d h i g hq u a l i t yt e x t u r ei nr e c e n ty e a r s s a m p l e - b a s e dt e x t u r es y n t h e s i sb e c a m eah o t r e s e a r c ha r e a n 圯g o a lo fs a m p l e b a s e dt e x t u r es y n t h e s i si sh i g hq u a l i t yo u t p u ti m a g e s y n t h e s i ss p e e dt h a ts a t i s f i e sr e a lt i m ea p p l i c a t i o na n df u l la u t o m a t i cs y n t h e s i s p r o c e s s w i t l lt h el a r g ea m o u n tw o r ko fr e s e a r c h e r st h e s ey e a r s s a m p l e b a s e d t e x t u r es y n t h e s i st e c h n i q u eh a sa c h i e v e dm u c h t h em a i nc h a l l e n g eo ft h i sa r e a c u r r e n t l yl i e si ns y n t h e s i ss p e e da n dt h eq u a l i t yo fs y n t h e s i z e di m a g e i no r d e rt o s o l v et h e s ep r o b l e m s ，t h i st h e s i sa i m sa tf a s ta n dh i g i lq u a l i t yt e x t u r es y n t h e s i s a l g o r i t h m m a i nw o r ko f t h i st h e s i si n c l u d e st h ef o l l o w i n g ： ( 1 ) g l o b a lf e a t u r er e c o g n i t i o na n de x t r a c t i o nf o rs t r u c t u r e dt e x t u r e an e w s t r u c t u r a l p a r e ma n a l y s i s m e t h o dw h i c hi su s e dt or e c o g n i z ef e a t u r ep o i n t d i s t r i b u t i o np a t t e r ni ns t r u c t u r e dt e x t u r ei sf i r s t l yp r o p o s e di nt h i st h e s i s n l em e t h o d f i r s tc l u s t e r sp i x e l si nt h et e x t u r ea c c o r d i n gt ot h er u l eo fn e i g h b o r h o o ds i m i l a r i t y ， t h e ns e l e c t sap i x e lg r o u pa st h ef e a t u r ep o i n tg r o u pd u et op i x e ln e i g h b o r h o o d d i f f e r e n c ea n da n a l y s e st h ed i s t r i b u t i o no fp i x e l si nt h i sg r o u p ，a n df i n a l l y ，t h e m e t h o dr e c o g n i z e st h ef e a t u r ep o i n tm e s h w i t ht h em e s h , i ti sc o n v e n i e n tt oc a p t u r e t h eg l o b a lc h a r a c t e r i s t i c so ft e x t u r e t h u st h em e t h o dc a l la s s i s tm u c hi nt e x t u r e s y n t h e s i sr e l a t e da p p l i c a t i o n s m a n ye x p e r i m e n t ss h o w st h a tt h em e t h o de x h i b i th i g h g e n e r a l i t yt op e r i o d i ca n dp s e u d o - p e r i o d i cs t r u c t u r e dt e x t u r e sa n dc a na c c u r a t e l y r e c o g n i z ef e a t u r ep o i n tm e s hi nah i g h l ys t o c h a s t i ct e x t u r e b a s e so nt h em e s h 3 中国科学技术大学博士学位论文摘要 s t a t i s t i cd a t a , t h em e t h o da l s oq u a n t i z e sn l a c r os c o p er a n d o m n e s so ft e x t u r e t h e q n a n t i z e dt e x t u r er a n d o m n e s sp a r a m e t e rf a i t h f u l l yr e f l e c t st h er e g u l a r i t yo ft e x t u r e n l a c r os c o p es t r u c t u r e ( 2 ) f e a t u r ep o i n tl o c a t i n gb a s e dt e x t u r es y n t h e s i sa l g o r i t h m b a s e so nt h e t r a d i t i o n a lf r a m e w o r ko fp a t c h b a s e dt e x t u r es y n t h e s i s ，t h i st h e s i sp r o p o s e st e x t u r e s y n t h e s i sa l g o r i t h mu s i n gf e a t u r ep o i n tl o c a t i n g i nt h ep r e p r o c e s s i n gp h a s e ，t h e a l g o r i t h mu s e ss t r u c t u r a lp a t t e r na n a l y s i so nt h es a m p l ei m a g ea n dp e r f o r m sg l o b a l a p p r o x i m a t ef e a t u r ep o i n tl o c a t i n gf o r t h eo u t p u ti m a g eb a s e do at h es t a t i s t i cd a t ag e t i nt h eb o r d e rf i xp h a s e ，b a s e do nt h et r a d i t i o n a lb o r d e rc u tt e c h n i q u e t h ea l g o r i t h m p r o p o s e sa n du s e sae n h a n c e db o r d e rf i xm e t h o d t h em e t h o ds p l i t st h eh i g l la n dl o w f r e q u e n c yi m a g ec o m p o n e n ta n dd e a lw i t ht h e ms e p a r a t e l yt og e ts m o o t h e rt r a n s i t i o n e f f e c t i th e l p st oi m p r o v ei m a g eq u a l i t y i tc a l lb ep r o v e db o t hi nt h e o r ya n di n e x p e r i m e n t st h a t f e a t u r ep o i ml o c a t i n ga s s u r e st h ee h m i n a t i o no f l a r g es c a l e s t r u c t u r a le r r o ri nt h eo u t p u ti m a g ea n da tt h e s a m e ，s e a r c h i n gs p a c ew h e n p e r f o r m i n gp a t c hm a t c h i n gi sr e d u c e dm o r eo rl e s sd u et ot e x t u r er a n d o m n e s s ，f o r m o s ts t r u c t u r e dt e x t u r e ，s e a r c h i n gs p a c ec a nb er e d u c e dn o tl e s st h a n1t o2d e c i m a l l e v e l s t h i sa c c e l e r a t e st h et e x t u r es y n t h e s i sp r o c e s s d i r e c t l y ( 3 ) s t r u c t u r a lc o o r d i n a t eb a s e dt e x t u r es y n t h e s i sa l g o r i t h m b a s e do nt h e t r a d i t i o n a lf r a m e w o r ko fp i x e l b a s e dt e x t u r es y n t h e s i s ，t h i st h e s i sp r o p o s e sat e x t u r e s y n t h e s i sa l g o r i t h mw h i c hb a s e so ns t r u c t u r a lc o o r d i n a t em a t c h i n g t h ea l g o r i t h m f i r s t l yb r i n g sf o r w a r dt h ec o n c e p to fs t r u c t u r a lc o o r d i n a t e i nt h ep i x e ls y n t h e s i s p h a s e ，d i f f e r e n c e so fb o t hs t r u c t u r a lc o o r d i n a t ea n dn e i g h b o r h o o dc o l o ra r eu s e da s m a t c h i n gp r i n c i p l e b yt h em e a n so f s e t t i n gt h r e s h o l dv a l u ef o rs t r u c t u r a lc o o r d i n a t e m a t c h i n g ，t h ea l g o r i t h mo f f e r st h ec o n t r o lo no u t p u tt e x t u r er a n d o m n e s s b o t h t h e o r i e sa n de x p e r i m e n t ss h o w st h a tt h eu s i n go fs m m t o r a lc o o r d i n a t em a t c h i n g r e m a r k a b l yi m p r o v e st h es t r u c t u r eo fs y n t h e s i st e x t u r ea n de f f e c t i v e l ym a k e su pt h e l a c ki nr e p r o d u c i n gl a r g es c a l et e x t u r ec h a r a c t e r i s t i c a tt h es a m et i m e ，s e a r c h i n g s p a c ew h e np e r f o r m i n gg l o b a lp i x e lm a t c h i n gd e c r e a s e sm o r eo rl e s sd u et ot e x t u r e r a n d o m n e s s t h i se f f e c t i v e l ya r 戈e l e m t e st h et e x t u r es y n t h e s i sp r o c e s s ( 4 ) t e x t u r eo p t i m i z a t i o na l g o r i t h mu s i n gd y n a m i cf e a t u r ep o i n tm a t c h i n g b a s e so nt h eo p t i m i z a t i o nb a s e dt e x t u r es y n t h e s i sa l g o r i t h m ，t h i st h e s i sp r o p o s e sa 4 中国科学技术大学博士学位论文摘要 t e x t u r es y n t h e s i sa l g o r i t h m 、啦mf e a t u r ep o i n tm a t c h i n g i nt h ep r e p r o c e s s i n gp h a s e ， t h ea l g o r i t h mu s e st h ep e r i o d i cl o c a t i o no ff e a t u r ep o i n ta sar u l et og e n e r a t ea n o p t i m i z e di n i t i a lp a t c hs e t i nt h ep a t c hm a t c h i n gp h a s e ，t h ea l g o r i t h mc h e c k sa n d a s s u r e st h er e a s o n a b l ed i s t a n c eb e t w e e nf e a t u r ep o i n t sf r o md i f f e r e n tp a t c h e s ，a n d a d j u s t sf e a t u r ep o i n tm e s hd y n a m i c a l l y t h e o r i e sa n de x p e r i m e n t ss h o w st h a ti n i t i a l p a t c hs e tg e n e r a t e du s i n gf e a t u r ep o i n tm a t c h i n gc a na c c e l e r a t et h ec o n v e r g e n c eo f a l g o r i t h mal o t a n df e a t u r ep o i mr e l a t i v ep o s i t i o nc h e c kw h e nm a t c h i n gp a t c h e sc a n e f f e c t i v e l ya s s u r et h es t r u c t u r ec o n 优协e 骆o f t h eo u t p u ti m a g e m a i ni n n o v a t i o np o i n t so f t h et h e s i sa r e ： ( 1 ) af i r s t l yp r o p o s e ds t r u c t u r a lp a t t e r na n a l y s i sm e t h o d i tc a ne f f e c t i v e l y r e c o g n i z ea n dl o c a t eg l o b a lc h a r a c t e r i s t i co ft e x t u r e i ti sap o w e r f u la s s i s t i n gt o o l f o rc o n v e n t i o n a lt e x t u r es y n t h e s i sa l g o r i t h m s ( 2 ) t h ep r o p o s e df e a t u r ep o i n tl o c a t i n gb a s e dt e x t u s es y n t h e s i sa l g o r i t h m t h e a l g o r i t h me x c l u d e st h em a t c h i n gp o s i t i o nw h i c hl e a d st os t r u c t u r a le i t o g si no u t p u t i m a g eb ym e a n so ff e a t u r ep o i n tl o c a t i n g t h i sa s s u r e st h ec o r r e c ts t r u c t u r eo fo u t p u t i m a g ea n dg r e a t l yr e d u c e st h es e 删n gs p a c ew h e nm a t c h i n gp a t c h e s i ti m p r o v e s t h es y n t h e s i ss p e e dd i r e c t l y ( 3 ) i no r d e rt ol o c a t et e x t u r eg l o b a lc h a r a c t e r i s t i c ，t h i st h e s i sf i r s t l yb r i n g s f o r w a r dt h ec o n c e p to fs t r u c t u r a lc o o r d i n a t e , a n dt h e nu s e si ti nt h ef r a m e w o r ko f p i x e l b a s e dt e x t u r es y n t h e s i s t h r o u g ht h em a t c h i n go fs t r u c t u r a lc o o r d i n a t e ，g l o b a l s t r u c t u r a li n f o r m a t i o no ft e x t u r ec a nb ea c c u r a t e l yp u s s e dt os y n t h e s i sa l g o r i t h m t h i se f f e c t i v e l yi m p r o v e so u t p u ti m a g es t r u c t n r ea n dg r e a t l yd e c r e a s e st h es e a r c h i n g s p a c ew h e nm a t c h i n gp i x e l s i ti m p r o v e ss y n t h e s i ss p e e d 5 中国科学技术大学博士学位论文目录 图l ： 图2 ： 图3 ： 图4 ： 图5 ： 图6 ： 图7 ： 图8 ： 图9 ： 图1 0 ： 图l l ： 图1 2 ： 图1 3 ： 图1 4 ： 图1 5 ： 图1 6 ； 图1 7 ： 图1 8 ： 图1 9 ： 图2 0 ： 图2 1 ： 图2 2 ： 图2 3 ： 图2 4 ： 图2 5 ： 图2 6 ： 图2 7 ： 图2 8 ： 图2 9 ： 图3 0 ： 图3 1 ： 图3 2 ： 图3 3 ： 图3 4 ： 图3 5 ： 图3 6 ： 图3 7 ： 图3 8 ： 图3 9 ： 图4 0 ： 图表目录 纹理图像与普通图像的区剔1 2 纹理的局部特性控制1 4 限制性纹理合成1 4 纹理的分类1 5 不同纹元随机度的纹理2 4 文献【l l 仲算法合成的结构性纹理2 6 文献 2 9 1 中算法合成的高随机度纹理2 6 j u m pm a p 算法【ih 流程示意图2 8 j u m pm a p 算法【i ”合成的纹理2 9 文献【5 l 】中算法合成并映射的纹理3 0 文献 3 4 1 中算法合成的纹理3 1 极端结构化纹理中的像素邻域特性：3 4 网格方向识别示意图3 7 纹理网格方向识别结果。 典型规则块合成算法示意图4 5 i m a g eq u i l t i n g t 2 9 l 算法示意图4 5 文献 3 3 1 中的边界区匹配准则4 6 文献【3 3 】中算法合成的纹理4 7 g r a p hc u t 算法【叭1 示意图4 8 g r a p hc u t 算法i j ”的多重切线叠加，4 9 纹理合成中的结构周期错乱一5 0 输出图像特征点定位5 2 块匹配示意图5 3 简单边界切割中出现的色彩异常5 5 纹理特征检测效果图5 6 单线切割与双切割效果对比。5 7 特征点定位算法合成图像质量与其它算法的比较一5 9 特征点定位算法合成的纹理6 0 基于像素合成的一般流程6 3 文献【1 4 】中的邻域匹配示意图 文献 1 4 1 中的多层图像合成6 7 a s h i k h m i n 合成算法【i ”示意图一6 8 a s h i k h m i n 算法1 1 5 1 合成的纹理6 9 l e f e b v r e 算法1 1 5 j 的纹理随机度控制7 0 结构坐标的定义7 l 结构坐标的计算7 3 草席纹理及其结构坐标图7 3 结构坐标对输出图像随机度的控制7 7 基于结构坐标的合成与其它算法的效果对比7 8 基于结构坐标的纹理合成结果7 9 8 中国科学技术大学博士学位论文 目录 图4 1 ： 图4 2 ： 图4 3 ： 图4 4 ： 图4 5 ： 图4 6 ： 基于部分邻域的匹配8 l 文献 2 2 1 中算法原理图8 3 文献 2 2 1 中算法合成的纹理8 3 文献 4 6 1 中算法合成的纹理8 5 动态特征匹配合成与文献 4 6 v e 算法的比较9 0 动态特征匹配优化算法合成的纹理9 l 表l ：纹理模式分析结果4 0 表2 ：基于特征点定位的合成实验结果5 8 表3 ：基于结构坐标的合成实验结果7 7 表4 ：使用动态特征匹配的纹理优化实验结果8 9 9 中国科学技术大学博士学位论文第一章绪论 第一章绪论 纹理合成是一个有近3 0 年历史的研究领域，本章首先简要介绍纹理合成的 意义及应用领域，对其基本技术进行原理性阐述，然后简单介绍基于样图纹理 合成技术的特点，对该问题进行描述，根据应用领域的不同对基于样图的合成 进行简单分类和介绍本章后半部分重点概述了当前该领域的研究现状，并简 单介绍了一些相关的基本概念和方法 i i 研究背景及意义 1 1 1 纹理合成综述 用计算机重现三维世界是很长时间以来计算机科学应用的一大发展方向， 在诸如电影特效制作、游戏娱乐以及各种虚拟现实相关的产业上有着巨大的应 用需求。自从1 9 7 4 年c a t m u l i t l l 发明纹理映射技术以来，纹理合成即成为一个 重要的研究方向。该技术不断完善1 2 1 1 3 1 ，直到今天已成为计算机成像中不可缺少 的技术，对增强三维场景真实感起着至关重要的作用。 纹理概念上是以数据采样的形式存在的资源，可以是一维、二维、三维甚 至更高，这些采样数据通过纹理映射与三维模型表面的点相对应，用来表现计 算机虚拟场景中物体表面的色彩信息。实际使用中的纹理以二维图像形式为主， 也有以数据采样形式存在的三维纹理【4 】【5 l ，但受计算机存储容量限制，使用较少。 纹理合成的目的是以入工合成的方式生产具有真实感的纹理资源，以满足 各种虚拟现实相关的应用中对纹理资源的需求。因而是一个意义重大的研究领 域。 纹理合成的基本思路有两种，一是过程纹理( p r o c e d u r a lt e x t u r e ) 1 6 】喁j ，二 是基于样图的纹理合成。 过程纹理的思路是通过物理方程的计算，直接模拟某一类纹理的物理特性， 以函数方式生成对应的采样数据，如木材、火焰、波涛等。这种方式对很多种 类的纹理可以达到逼真的效果，也具有很多优点：如不需要任何输入，甚至可 以在场景渲染时直接即时生成纹理数据，因而无需专门的存储空间，生成的纹 1 0 中国科学技术大学博士学位论文第章绪论 理是连续的，因而可以避免纹理映射时对离散数据进行重采样带来的失真等等。 但该方法缺点也很明显：需要复杂的计算，对不同的纹理必须设计不同的函数， 而且参数需反复测试，有的纹理甚至难以有效模拟。 由于对不同类型的纹理不具备通用性，过程纹理的应用范围受很大限制。 取而代之的是基于样本的纹理合成。 由于纹理数据的主要形式为二维图像，基于样本的纹理合成也称为基于样 图的纹理合成。基于样图的合成技术是近些年来发展起来的一种新的解决方案， 它以小规模纹理作为样本，合成规模任意大的纹理数据，而且保证合成的纹理 与样图在视觉上“相似”。基于样本的纹理合成技术对不同种类的纹理具有强 大的通用性，克服了过程纹理最大的局限性，成了纹理资源合成问题有效的、 通用的解决方案。随着近年来因计算机三维绘图能力飞速提高而迅猛增长的纹 理需求，该方法受到越来越多研究人员的关注，成了计算机图形学、计算机视 觉、图像处理领域的研究热点之一。 1 1 2 基于样图纹理合成的提出 获得纹理数据的方式除了直接由过程纹理函数生成外，以拍摄、扫描或手 工绘制为主。受采样区域大小的限制，实际得到的通常是小块纹理，无法满足 大面积纹理映射的需要。例如砖墙表面，由拍摄得到的是范围有限的区域，而 实际应用中需要的往往是包含成千上万砖块的大型建筑表面：若使用传统的纹 理映射方法强行映射，通常会导致模型表面细节分辨率过低，造成模糊不清的 效果，或者直接导致纹理尺寸失真，如前面提到的砖块大小；若重复映射，则 可能出现图像连接处走样的效果，影响场景的真实感。于是通过纹理合成扩充 样图规模的要求随之提出，成为基于样图的纹理合成。 基于样图的纹理合成广泛用于各种虚拟现实相关的应用，如计算机游戏、 电影与动画等，是当前主流的纹理合成策略。 1 2 问题描述 1 2 1 纹理的定义 纹理是具备大范围相似性与重复性的采样数据，这是大尺寸纹理能够从小 中国科学技术人学溥卜学位论文 第争绪论 尺寸采样数据合成的基础。不满足这种相似性与重复性的采样数据虽然也r ，以 通过纹理映射技术与三维场景中模型的表面相关联但并不满足纹理的定义， 也不具备被合成的必要条件。图i 中左右两图展示了纹理图像与酱通蹦像的i 别。左图中的砖墙= ，不同砖块大体形状呈现明显的相似，大小砖块4 陶中的 分碲也呈现重复性。该图像边界以外的内容可以预知为类似的砖块排列，州l f u 左图是典型的纹理图像：而在右图中，虽然也存在大面积单一色彩的区域，似 总体上该图片的不同部分并没有明显的相似性和重复性，图像边界以外的内存 无法预知，因而右图只是普通图像不具备合成的必要条件。 幽l ：纹理图像与普通图像的区剔 1 2 2 基于样图纹理合成的定义 在上面纹理定义的基础上，以二维图像形式的纹理为例，纹理合成的f t 务 描述为：给定一个规模为m m 的图像样本作为输入，根据纹理的柑似性0 霞复 性合成规模为n x h 的新图像，要求新图像和输入样本在视觉上年l i 同，框i 姚f 5 1 ”r 以任意大( 通常疗 掰) 。具体到上面砖墙纹理的例子中，要求输出蹭像足如日 以更大，包含更多砖块阵列。但砖块的色彩、形状、大小以及分和规律等要1 j 样图中的统计数据相对应。 1 2 3 基于样图纹理合成的分类 根掘对输出的不同要求，基于样本的常用合成主要为二维图像纹理合成 9 1 。【4 8 l 和三维表面纹理合成f 4 9 1 - 5 6 1 。两者都以二维纹理图像作为输入，合成舰模殳 大的二维像素点阵数据，但前者的输出为普通的二维图像，后者则直接将输出 数据定位到三维空间中的曲面上( 通常是三维实体模型的表面) ，虽然形弋l ： 2 中国科学技术大学博士学位论文 第一章绪论 是三维空间中二维曲面上的色彩信息，但本质上仍然是二维图像。所以两者需 要解决的核心问题都是通过纹理的相似性与重复性将采样规模扩充。 比起单纯的二维图像纹理，三维表面纹理合成需要解决的额外问题有以下 两点： ( 1 ) 确定三维模型表面上的方向，也就是对应于纹理图像空间中“上下左 右”的概念。这些方向决定了纹理的生长的两个基本方向。由于三维模型表面 为二维曲面，这些方向通常随着所处位置的不同而连续变化，形成二维矢量场 的布局。 ( 2 ) 在模型表面方向场的基础上定义像素邻域，即纹理在两个生长方向上 相邻像素的位移。位移的计算除了受不断变化的纹理方向影响外，由平面到曲 面的映射所带来的非线性扭曲与变形也是要考虑的因素。例如，在图像空间中， 同一像素的左邻与上邻的距离为2 ，但放到二维曲面上时，这一规律一般无法 成立。 除了常用的表面纹理合成外，在二维纹理样图的基础上还可以直接合成三 维形式的体数据纹理【5 7 l 【5 8 1 ，这些纹理可以更直接地向三维空间中的表面进行映 射而不存在二维图像纹理映射时的扭曲与变形效果。 视频纹理合成【5 9 1 4 6 1 1 与声音纹理合成【6 2 1 是将普通的纹理合成概念推广到时 域后的产物，对应不同的应用场合。视频纹理合成用于将一段短时间视频扩充 为长时间视频，甚至是不间断序列。而文献【6 2 】的声音纹理合成则用于恢复一 段声音采样中的受损缺失内容。 视频纹理合成无须扩展各视频帧的大小，只需在时域上进行扩展，因而本 质上是一维纹理的合成。 视频纹理合成主要需要解决以下问题：( 1 ) 确定视频序列中的过渡点；( 2 ) 确定能表达整个序列的一段过渡序列：( 3 ) 对过渡点进行平滑：( 4 ) 自动地 对序列中的各帧分解成不同的区域，以便分析与合成；更进一步，还需要解决 以下问题：生成一段固定长的循环视频，把视频纹理基元与背景进行分离，生 成变换矩阵以便用户实时交互等。 1 2 4 面向特定应用的合成 纹理在现实中的应用多种多样，除了以单纯的规模扩充为目的的合成外， 一些特定的应用对基于样图的纹理合成提出了新的要求，产生了新的研究分支， 中回科学技术人学f i 隼+ ：学仲论文第誊绪沦 主要包括几何纹理合成1 7 0 l 1 7 5 】、局部特性控制 酊l - 6 7 1 、限制性纹理合成【7 3 i 1 8 0 l 飘l 多 样图纹理合成【7 6 j 1 7 7 l 。 ( 1 ) 几何纹理的合成。几何纹理是由人眼无法分辨的微面片组成的微结构， 是一种特殊的细节纹理，它是真实感绘制中重要的组成部分。 ( 2 ) 局部特性控制。在纹理合成时对图像的局部特性进行控制；有多种f 玎 途。其中之来源于现实中纹理的差异性，如图2 所示。 图2 ：纹理的局部特性控翩 图中豹子的皮肤色彩是一种比较特别的纹理，在一块面积并不大的域中， 皮肤斑点的大小及分布的密集程度有了明显变化，这种变化有规律可循，| j 使 以一张斑点密度均匀的图像为样本，也可以通过合成时的变形控制q | 成这种粒 度逐渐变化的纹理。 另外，将大块纹理图像向出多边形面片组成的表面上进行纹理映射肘，矩 往会出现非线形扭曲和变形效果，如果能在纹理垂g 减时对这种扭曲进行优化， 就可以提升最终纹理映射的效果，这是在纹理合成时进行局部控制的另人原 因。 ( 3 ) 限制性纹理合成。限制性纹理合成是指输出图像中一部分区域内容已 经确定，要求在不改动这部分内容的前提下合成空白区域，而且要做纠纹理的 连续过渡，通常情况下，空白区域是四周被有效区域包围的小块。限制他纹理 合成主要用于图像修复相关的领域，也可以用于修复合成纹理图像中的错误。 图3 ：限制性纹理合成 1 4 中国科学技术人学博十学何论文第一。审绪论 图3 是使用限制性纹理合成修复图像错误的一个例子，其中( a ) 是有错跌的 纹理图像，其中央区域