（计算机科学与技术专业论文）视频纹理研究与实现.pdf

国防科学技术火学研究生院学位论文 a b s t r a c t v i d e ot e x t u r e si san e wm e d i a n ，w h i c hh a v et h eq u a l i t i e sb e t w e e np h o t oa n dv i d e o b y r e p e a t i n gs o m ef r a m e so ft h eo r i g i n a lv i d e of r o mt i m et ot i m e ，w ec a ns y n t h e s i sac o n t i n u o u s i n f i n i t e l yv a r y i n gs t r e a mo fi m a g e s w ei n t r o d u c et h et r a n s i t i o nb a s e dv i d e ot e x t u r ep r e s e n t e db ya r n os c h 6 d la n di m p l e m e n t t h i sa l g o r i t h ms u c c e s s f u l l y i no u ri m p l e m e n t a t i o n ，w ep r e s e n tt h et r a n s i t i o nt a b l eb a s e dv i d e o t e x t u r ep l a ym e t h o d t h et r i mo ft h er e d u n d a n c yt r a n s i t i o n sw a sa l s oc o n s t r u c t e do nt h e t r a n s i t i o nt a b l e t oi m p r o v et h eo r i g i ni m a g es i m i l a r i t ym e t r i c ，w ep r o p o s ean e wm e t r i cc a l l e d h u m a nv i s u a ls y s t e mb a s em e t r i c ( h v sm e t r i c ) t h eg o a lo ft h eh v sm e t r i ci st om e e tt h e c h a r a c t e r i s t i co ft h eh u m a nv i s u a ls y s t e m i tp r o v e dt ob em o r er o b u s ta n da c c u r a t e t h e t r a n s i t i o nb a s em e t h o di sr e s t r i c t e db yt h es i m i l a r i t i e st h a n 2s i m i l a r i t ym e t r i co ft h es a m p l e v i d e o b a s e do nt h er e v e r s i b l ep h e n o m e n ao fs o m ev i d e o ，w ep r o p o s ean e wm e t h o dc a l l e d g r a d u a l l yc h a n g e db a s e dm e t h o dt oa n a l y s i st h ev i d e oa n ds y n t h e s i st h ev i d e ot e x t u r e t h r o u g h s o m ee x p e r i m e n t s ，w ef o u n dt h i sm e t h o dc a ns y n t h e s i ss o m ep a r t i c u l a rk i n do f v i d e ot e x t u r e s ， w h i c hp r e v i o u ss y n t h e s i sm e t h o dc a nn o ts y n t h e s i s t l l i sp a p e rp r e s e n to n ek i n d o fv i d e ot e x t u r e e x t e n s i o n - p a n o r a m i cv i d e ot e x t u r e ，w h i c hi n t e g r a t e dt h eg o o dq u a l i t i e so fv i d e ot e x t u r ea n d p a n o r a m i cv i d e o p a n o r a m av i d e ot e x t u r ei n c r e a s e de x p r e s s i v ef o r c ei n t ow i d e l yu s e dp a n o r a m i c i m a g e t h i sp a p e rd i s c u s s e dt h es y n t h e s i sa n dp l a ym e t h o do fp a n o r a m i cv i d e ot e x t u r e t h e nw e p r o p o s e dt h et e c h n i c a lr e s o l u t i o no ft h ek e yp o i n t sd u r i n gt h es y n t h e s i so ft h ep a n o r a m i cv i d e o t e x t u r e a tl a s t ，w es u m m a r i z et h er e s e a r c ho ft h ev i d e ot e x t u r e b a s e do nt h eo p t i c a lf l o wa x i s c o n c e p t i o n ，w ep r e s e n tt h ec a u s eo ft h el i m i t a t i o no ft h et r a n s i t i o nb a s ev i d e os y n t h e s i sm e t h o d m a de x p l a i nw h yg r a d u a l l yc h a n g e db a s e dm e t h o di sb e t t e rt h a ni ti s w ea l s op o i n to u tt h a tt h e s i m i l a r i t yo ft w oi m a g e si si n a d e q u a t et oe v a l u a t et h et r a n s i t i o nf e a s i b i l i t yo ft h e s et w oi m a g e s t h e nw ed i s c u s ss o m ea s p e c to f t h ef u t u r er e s e a r c ho f v i d e ot e x t u r e k e yw o r d sv i d e ot e x t u r e r e v e r s i b i ev i d e o p a n o r a m i cm e d ia o p t i c a if l o wa x is 国防科学技术人学州究生院学位论史 第1 章绪论 1 1研究背景 图像是外部世界的一个瞬间映像，它是静态的。最普通的图像只是记录了对应点象素 的颜色信息，但这已经足以满足实际应用中的大多数需求。除此以外，还有深度图像和多 通道图像等，它们包含了更多的信息，应用于特定的领域。 由于图像是外部世界的真实映像，和计算机绘制的图形相比，它具有很高的真实度。 因此，它被应用于真实世界的模拟和重构中。基于图像的建模和绘制( i b m r ) 就是这样一 种技术。i b m r 通过对摄影图像的处理，在计算机屏幕上重现真实世界场景。在过去的几年 中，基于图像的建模和绘制技术得到了广泛的研究 3 7 3 8 3 9 儿4 0 ，已经逐渐成熟。实 际应用已经十分广泛，如图1 一l 就是浙江普陀山的普济禅寺的虚拟漫游图 3 6 。通过网 络，游客可以虚拟的参观游览。 图1 1 虚拟漫游 和图像相比，视频则记录了外部世界一段时间内的景象，它是动态的、三维的( 添加 了时间轴) 。实际上，视频只是一段连续的图像序列，由于图像在人眼睛中的延时停留， 使得播放有限的图像就可以重现出连续的场景。人们对动态世界进行模拟的兴趣更胜于剥 静态世界的模拟。模拟动态世界的技术称为计算机动画 4 2 4 】儿5 儿1 0 ，计算机动画是 电脑作为尖端科技的象征之一。好莱坞给全f ：界的电影爱好者们制作了星球火战，侏 罗纪公园，恐龙等科幻影片，影片给观众带来了不可思议的视觉效果。 图1 2 影片恐龙剧照 笫l贝 国防科学技术人学州究生院学位论史 第1 章绪论 1 1研究背景 图像是外部世界的一个瞬间映像，它是静态的。最普通的图像只是记录了对应点象素 的颜色信息，但这已经足以满足实际应用中的大多数需求。除此以外，还有深度图像和多 通道图像等，它们包含了更多的信息，应用于特定的领域。 由于图像是外部世界的真实映像，和计算机绘制的图形相比，它具有很高的真实度。 因此，它被应用于真实世界的模拟和重构中。基于图像的建模和绘制( i b m r ) 就是这样一 种技术。i b m r 通过对摄影图像的处理，在计算机屏幕上重现真实世界场景。在过去的几年 中，基于图像的建模和绘制技术得到了广泛的研究 3 7 3 8 3 9 儿4 0 ，已经逐渐成熟。实 际应用已经十分广泛，如图1 一l 就是浙江普陀山的普济禅寺的虚拟漫游图 3 6 。通过网 络，游客可以虚拟的参观游览。 图1 1 虚拟漫游 和图像相比，视频则记录了外部世界一段时间内的景象，它是动态的、三维的( 添加 了时间轴) 。实际上，视频只是一段连续的图像序列，由于图像在人眼睛中的延时停留， 使得播放有限的图像就可以重现出连续的场景。人们对动态世界进行模拟的兴趣更胜于剥 静态世界的模拟。模拟动态世界的技术称为计算机动画 4 2 4 】儿5 儿1 0 ，计算机动画是 电脑作为尖端科技的象征之一。好莱坞给全f ：界的电影爱好者们制作了星球火战，侏 罗纪公园，恐龙等科幻影片，影片给观众带来了不可思议的视觉效果。 图1 2 影片恐龙剧照 笫l贝 国防科学技术人学训l 究生院学位论文 与用图像重构静态世界的努力类似，人们也发展了用视频重构动态世界的技术 4 2 4 4 。它采用了和计算机动画完全不同的思路，计算机真实感动画技术使用了传统的 计算机图形学方法，传统的计算机图形学通过建立物体的几何模型，设定光源和材质，然 后利用绘制方程计算几何形体每个象素点的颜色。通过精心的设计，传统的计算机图形学 已经可以绘制出真实感非常强的场景，比如前面所提到的好莱坞的科幻影片中的镜头。构 造如此精细的画面的代价是巨大的工作量和复杂的计算。场景的真实度取决于纹理的选取 和粘贴，而渲染的计算量也是巨大的，往往需要大量的图形工作站或者巨型计算机。和传 统的计算机图形学方法( 如图1 3 ) 相比，应用图像、视频重构真实场景的优点是工作量 小、计算量小、真实感强，不足之处是它的交互性不强。 警； 蚓1 - 3 传统的计算机图形学绘制过剧 ： 7 本文的研究对象一视频纹理 2 ，就是一种应用视频重构真实场景的方法。它延续了基 于图像的绘制和建模的研究思想，以样本视频为素材，在对素材视频进行分析的基础上， 构造出永恒、连续的高度真实的虚拟场景。 1 , 2 1 研究对象 1 2研究内容 课题的研究对象为视频纹理，视频纹理是2 0 0 0 年的国际图形学大会( s i g ( ；r a p h ) 上 提出的一种新型媒体，目前对它的研究仍然非常少，也没有确切的定义，从合成方法的角 度，可以对它提出以下表述：视频纹理是由刈一段有限长度的视频样本进行处理所合成的 表现相同动态内容的具有任意长度的视频，这种任意长度视频的获取是通过对视频的非线 性播放获取的。视频纹理合成的过程就是列视频纹理进行分析，获取非线性播放依据的过 程。 视频纹理具有重现特定运动现象的特征。由某一段视频合成的视频纹理，它所表现的 内容和这段视频是完全相同的，不同的是：一般的视频具有固定的播放k 度，并且是线性 播放的，相比之下，视频纹理具有任意的播放长度，这是进行一m 线性播放的结果。从这种 意义上，视频纹理只是相对于合成于它的视频样本的任意长度的延长。视频纹理只表现镜 头固定的特定的动态现象或景观，比如火焰、海浪、白云、瀑前，等。就这一点而苦，它和 图像相似，只表现了特定的内容。根据以上描述，我们可以说，视频纹理具有介于图像和 视频之间的性质，这对于它的应用是十分有价值的。之所以把这种既不同于图像，又区别 于视频的新媒体称为视频纹理，是因为它和我们通常所说的纹理在概念上具有相似之处。 纹理是图像分析中常用的概念，目前剥它尚无一致的定义，一股蜕来，可以认为纹州是由 许多相互接近的、互相编织的元素构成，并常富有周期性。这种周期性表现存一：维像平 筑2 页 国防科学技术人学训l 究生院学位论文 与用图像重构静态世界的努力类似，人们也发展了用视频重构动态世界的技术 4 2 4 4 。它采用了和计算机动画完全不同的思路，计算机真实感动画技术使用了传统的 计算机图形学方法，传统的计算机图形学通过建立物体的几何模型，设定光源和材质，然 后利用绘制方程计算几何形体每个象素点的颜色。通过精心的设计，传统的计算机图形学 已经可以绘制出真实感非常强的场景，比如前面所提到的好莱坞的科幻影片中的镜头。构 造如此精细的画面的代价是巨大的工作量和复杂的计算。场景的真实度取决于纹理的选取 和粘贴，而渲染的计算量也是巨大的，往往需要大量的图形工作站或者巨型计算机。和传 统的计算机图形学方法( 如图1 3 ) 相比，应用图像、视频重构真实场景的优点是工作量 小、计算量小、真实感强，不足之处是它的交互性不强。 警； 蚓1 - 3 传统的计算机图形学绘制过剧 ： 7 本文的研究对象一视频纹理 2 ，就是一种应用视频重构真实场景的方法。它延续了基 于图像的绘制和建模的研究思想，以样本视频为素材，在对素材视频进行分析的基础上， 构造出永恒、连续的高度真实的虚拟场景。 1 , 2 1 研究对象 1 2 研究内容 课题的研究对象为视频纹理，视频纹理是2 0 0 0 年的国际图形学大会( s i g ( ；r a p h ) 上 提出的一种新型媒体，目前对它的研究仍然非常少，也没有确切的定义，从合成方法的角 度，可以对它提出以下表述：视频纹理是由刈一段有限长度的视频样本进行处理所合成的 表现相同动态内容的具有任意长度的视频，这种任意长度视频的获取是通过对视频的非线 性播放获取的。视频纹理合成的过程就是列视频纹理进行分析，获取非线性播放依据的过 程。 视频纹理具有重现特定运动现象的特征。由某一段视频合成的视频纹理，它所表现的 内容和这段视频是完全相同的，不同的是：一般的视频具有固定的播放k 度，并且是线性 播放的，相比之下，视频纹理具有任意的播放长度，这是进行一m 线性播放的结果。从这种 意义上，视频纹理只是相对于合成于它的视频样本的任意长度的延长。视频纹理只表现镜 头固定的特定的动态现象或景观，比如火焰、海浪、白云、瀑前，等。就这一点而苦，它和 图像相似，只表现了特定的内容。根据以上描述，我们可以说，视频纹理具有介于图像和 视频之间的性质，这对于它的应用是十分有价值的。之所以把这种既不同于图像，又区别 于视频的新媒体称为视频纹理，是因为它和我们通常所说的纹理在概念上具有相似之处。 纹理是图像分析中常用的概念，目前剥它尚无一致的定义，一股蜕来，可以认为纹州是由 许多相互接近的、互相编织的元素构成，并常富有周期性。这种周期性表现存一：维像平 筑2 页 国防科学技术人学训l 究生院学位论文 与用图像重构静态世界的努力类似，人们也发展了用视频重构动态世界的技术 4 2 4 4 。它采用了和计算机动画完全不同的思路，计算机真实感动画技术使用了传统的 计算机图形学方法，传统的计算机图形学通过建立物体的几何模型，设定光源和材质，然 后利用绘制方程计算几何形体每个象素点的颜色。通过精心的设计，传统的计算机图形学 已经可以绘制出真实感非常强的场景，比如前面所提到的好莱坞的科幻影片中的镜头。构 造如此精细的画面的代价是巨大的工作量和复杂的计算。场景的真实度取决于纹理的选取 和粘贴，而渲染的计算量也是巨大的，往往需要大量的图形工作站或者巨型计算机。和传 统的计算机图形学方法( 如图1 3 ) 相比，应用图像、视频重构真实场景的优点是工作量 小、计算量小、真实感强，不足之处是它的交互性不强。 警； 蚓1 - 3 传统的计算机图形学绘制过剧 ： 7 本文的研究对象一视频纹理 2 ，就是一种应用视频重构真实场景的方法。它延续了基 于图像的绘制和建模的研究思想，以样本视频为素材，在对素材视频进行分析的基础上， 构造出永恒、连续的高度真实的虚拟场景。 1 , 2 1 研究对象 1 2研究内容 课题的研究对象为视频纹理，视频纹理是2 0 0 0 年的国际图形学大会( s i g ( ；r a p h ) 上 提出的一种新型媒体，目前对它的研究仍然非常少，也没有确切的定义，从合成方法的角 度，可以对它提出以下表述：视频纹理是由刈一段有限长度的视频样本进行处理所合成的 表现相同动态内容的具有任意长度的视频，这种任意长度视频的获取是通过对视频的非线 性播放获取的。视频纹理合成的过程就是列视频纹理进行分析，获取非线性播放依据的过 程。 视频纹理具有重现特定运动现象的特征。由某一段视频合成的视频纹理，它所表现的 内容和这段视频是完全相同的，不同的是：一般的视频具有固定的播放k 度，并且是线性 播放的，相比之下，视频纹理具有任意的播放长度，这是进行一m 线性播放的结果。从这种 意义上，视频纹理只是相对于合成于它的视频样本的任意长度的延长。视频纹理只表现镜 头固定的特定的动态现象或景观，比如火焰、海浪、白云、瀑前，等。就这一点而苦，它和 图像相似，只表现了特定的内容。根据以上描述，我们可以说，视频纹理具有介于图像和 视频之间的性质，这对于它的应用是十分有价值的。之所以把这种既不同于图像，又区别 于视频的新媒体称为视频纹理，是因为它和我们通常所说的纹理在概念上具有相似之处。 纹理是图像分析中常用的概念，目前剥它尚无一致的定义，一股蜕来，可以认为纹州是由 许多相互接近的、互相编织的元素构成，并常富有周期性。这种周期性表现存一：维像平 筑2 页 国防科学技术人学究生院学位论豆 面上，而视频纹理的纹理特征则体现在时问轴上。视频样本中的某一帧在视频纹理的播放 过程中不断的重复，也表现出一定的周期性。 图1 4 视频纹理范例 视频纹理合成和纹理合成也有十分相似的特征，通常可以把视频纹理合成看作纹理合 成的一种扩展。纹理合成( t e x t u r es y n t h e s i s ) 是计算机图形学和计算机视觉中相当活 跃的研究领域，许多学者对此作了大量的研究。纹理合成可以描述如下 7 ：给定一个纹 理样本，合成一幅新纹理，由观察者看来，它和样本纹理+ 样由同一个动态过程产生。也 就是说，从动态系统的角度，合成的纹理和样本纹理都是l u 同一个系统输出的，只是输出 的尺寸不同，特征是完全一样的。视频纹理和它的样本视频也具有同样的特征，它们表现 的内容基本相同，比如对于某个瀑布视频纹理和它的样本视频，它们表现的都是同一个瀑 布的景观，只是时间长度不同。样本视频具有固定的长度，而视频纹理的长度则根据应用 的需求决定，只要视频纹理的播放程度没有中断，它就不问断的播放下去。 1 2 2 研究方向和重点 图1 5 纹理合成 a r n os c h 6 d l 在论文 2 中提出了视频纹理这种新型媒体，并给f i j 了种基于跳变的合成 方法：给定一段样本视频，假设视频中存在相似的两帧图像：筇i 帧和第? 帧( ， i ) ，因为 从第i 帧到第i + 1 帧的切换是最自然的，所以从第，帧到笫i + 1 帧的切换也是可行的，即不 会引起视觉上的跳跃，我们称，为跳变点。当视频播放到钔帧时，它既- q 以继续向前播放 到第+ 】帧，也可以切换到第+ 1 帧。只要视频中存在足够的十似帧，西! 视频的播放过程 中，就可以不断的从跳变点处往回切换，合成任意长度的m 频。视频纹列! 力法以上，模为图 国防科学技术人学究生院学位论豆 面上，而视频纹理的纹理特征则体现在时问轴上。视频样本中的某一帧在视频纹理的播放 过程中不断的重复，也表现出一定的周期性。 图1 4 视频纹理范例 视频纹理合成和纹理合成也有十分相似的特征，通常可以把视频纹理合成看作纹理合 成的一种扩展。纹理合成( t e x t u r es y n t h e s i s ) 是计算机图形学和计算机视觉中相当活 跃的研究领域，许多学者对此作了大量的研究。纹理合成可以描述如下 7 ：给定一个纹 理样本，合成一幅新纹理，由观察者看来，它和样本纹理+ 样由同一个动态过程产生。也 就是说，从动态系统的角度，合成的纹理和样本纹理都是l u 同一个系统输出的，只是输出 的尺寸不同，特征是完全一样的。视频纹理和它的样本视频也具有同样的特征，它们表现 的内容基本相同，比如对于某个瀑布视频纹理和它的样本视频，它们表现的都是同一个瀑 布的景观，只是时间长度不同。样本视频具有固定的长度，而视频纹理的长度则根据应用 的需求决定，只要视频纹理的播放程度没有中断，它就不问断的播放下去。 1 2 2 研究方向和重点 图1 5 纹理合成 a r n os c h 6 d l 在论文 2 中提出了视频纹理这种新型媒体，并给f i j 了种基于跳变的合成 方法：给定一段样本视频，假设视频中存在相似的两帧图像：筇i 帧和第? 帧( ， i ) ，因为 从第i 帧到第i + 1 帧的切换是最自然的，所以从第，帧到笫i + 1 帧的切换也是可行的，即不 会引起视觉上的跳跃，我们称，为跳变点。当视频播放到钔帧时，它既- q 以继续向前播放 到第+ 】帧，也可以切换到第+ 1 帧。只要视频中存在足够的十似帧，西! 视频的播放过程 中，就可以不断的从跳变点处往回切换，合成任意长度的m 频。视频纹列! 力法以上，模为图 国防科学技术人学训究生院学位论文 像相似性尺度，计算视频中任意两j | j ! j i 的差异：d ，= l f ，一，并通过公式 p ，= e x p ( 一d 。，盯) ，( f ，) 将帧间差异d 。，转化为从第f i 陨到第，帧的跳变可行性。在合 成动态纹理时，当播放到第f 帧，就找出尸，( i + 1 ) 中的最大值只，然后从k 和i + 1 中 随机选择一帧作为要播放的下一帧。我们把上述合成方法称为基于跳变的视频纹理合成方 法。 我们对, 6 u i l os c h s d l 等人提出的视频纹理合成方法进行了研究，认识到它的重要意义， 并在a m os c h 6 d l 的工作的基础上进行课题的研究。我们的工作从以下两个层面展丌： 1 基于跳变的视频纹理合成方法的框架内进行研究，主要是改进合成过程中具体步骤的 算法。在基于跳变的合成方法中，有以下几个关键点：第一就是图像相似性评估问题， 在基于跳变的方法当中，帧图像的相似性是选择跳变点的基础，所以图像相似性尺度 也成为视频纹理合成的最基本的问题。由于评估跳变是否合理的唯一依据是视觉系统 是否产生突变的感觉，合理的图像相似性尺度应当人类视觉感知具有一致性。第二是 跳变可行性问题，文 2 】通过图像相似性计算跳变可行性。但两帧之1 1 日j 是否可以跳变， 不由图像的相似性唯一确定，可能还涉及其它因素，比如视频的内容，人类心理因素 等。因此探讨影响跳变可行性的因素成为一个有意义的问题。第三就是跳变点的筛选。 在计算出任意两帧之间的跳变可行性后，如何选出眼睛可以接受的跳变，即如何确定 一个阂值，是一个困难的问题，因为我们无法自动从视觉系统中得到反馈。因此，交 互式的阈值选择工具成为必要。第四就是图像处理和视频处理中的一些关键技术，如 背景提取、图像分割、运动估计等，它们是视频纹理合成中f i j 基本技术。 2 第二个方面就是不受基于跳变的视频纹妇! 合成方法的约束，研究思路直接从探讨视频 纹理合成的本质开始，在更为广阔的空间内对视频纹理和合成方法进行研究，试图找 出更为有效的合成方法。为此需要探讨视频播放的特征和对视频内容作更加高层的分 析。我们下面提到的动态纹理的研究和我们提出的基于渐变的视频纹理合成就是这样 一类方法。 1 3相关研究 ， 视频纹理合成涉及领域比较多，主要有数字图像处理，数字视频处理，人工智能和训 算机视觉。在过去的研究中，和视频纹理比较相近的媒体，主要有动态纹理，h , j i 日j 纹理平i | 时变纹理等。实际上，无论是动态纹理、时间纹理还是时变纹理，它们的研究列象和目的 都基本相同，都是基于对样本视频或图像序y t j 自 , j 分析，合成和输入样本相似的动态场景。 为此我把这几项研究的研究对象都归结为动忿纹理，它的定义为描述某种动态景观的具有 时j 日j 相关重复特征的图像序列 1 6 1 1 3 3 1 。在统一了研究对象的基眦上，按照研究思路和合成 方法的特征，我把它们分为四类进行阐述。 1 3 1 时间序列分析方法 作为按时问顺序排列的一组数据，动态纹理是典型的时f h j 序列，应用时间序列分析的 方法合成动态纹理是一种自然而有效的方法。时间序列分析主要指采用参数模型( 特指 a r m a 模型) 对所观测的有序的随机数据进行分析与处理的一种数掘处理、系统辨u 和系统 分析方法 1 3 。 1 时间纹理方法 s z u m m e r 和p i c a r d 提出的时问纹理模型 6 ，4 可以算是该领域最早的：j l - 作，他们采川 时一空自回归( s t a r ) 模型表示动态纹理，蝌a r 模型是自网归( a r ) 模型的三维扩展形式： 筑4且 国防科学技术人学训究生院学位论文 像相似性尺度，计算视频中任意两j | j ! j i 的差异：d ，= l f ，一，并通过公式 p ，= e x p ( 一d 。，盯) ，( f ，) 将帧间差异d 。，转化为从第f i 陨到第，帧的跳变可行性。在合 成动态纹理时，当播放到第f 帧，就找出尸，( i + 1 ) 中的最大值只，然后从k 和i + 1 中 随机选择一帧作为要播放的下一帧。我们把上述合成方法称为基于跳变的视频纹理合成方 法。 我们对, 6 u i l os c h s d l 等人提出的视频纹理合成方法进行了研究，认识到它的重要意义， 并在a m os c h 6 d l 的工作的基础上进行课题的研究。我们的工作从以下两个层面展丌： 1 基于跳变的视频纹理合成方法的框架内进行研究，主要是改进合成过程中具体步骤的 算法。在基于跳变的合成方法中，有以下几个关键点：第一就是图像相似性评估问题， 在基于跳变的方法当中，帧图像的相似性是选择跳变点的基础，所以图像相似性尺度 也成为视频纹理合成的最基本的问题。由于评估跳变是否合理的唯一依据是视觉系统 是否产生突变的感觉，合理的图像相似性尺度应当人类视觉感知具有一致性。第二是 跳变可行性问题，文 2 】通过图像相似性计算跳变可行性。但两帧之1 1 日j 是否可以跳变， 不由图像的相似性唯一确定，可能还涉及其它因素，比如视频的内容，人类心理因素 等。因此探讨影响跳变可行性的因素成为一个有意义的问题。第三就是跳变点的筛选。 在计算出任意两帧之间的跳变可行性后，如何选出眼睛可以接受的跳变，即如何确定 一个阂值，是一个困难的问题，因为我们无法自动从视觉系统中得到反馈。因此，交 互式的阈值选择工具成为必要。第四就是图像处理和视频处理中的一些关键技术，如 背景提取、图像分割、运动估计等，它们是视频纹理合成中f i j 基本技术。 2 第二个方面就是不受基于跳变的视频纹妇! 合成方法的约束，研究思路直接从探讨视频 纹理合成的本质开始，在更为广阔的空间内对视频纹理和合成方法进行研究，试图找 出更为有效的合成方法。为此需要探讨视频播放的特征和对视频内容作更加高层的分 析。我们下面提到的动态纹理的研究和我们提出的基于渐变的视频纹理合成就是这样 一类方法。 1 3相关研究 ， 视频纹理合成涉及领域比较多，主要有数字图像处理，数字视频处理，人工智能和训 算机视觉。在过去的研究中，和视频纹理比较相近的媒体，主要有动态纹理，h , j i 日j 纹理平i | 时变纹理等。实际上，无论是动态纹理、时间纹理还是时变纹理，它们的研究列象和目的 都基本相同，都是基于对样本视频或图像序y t j 自 , j 分析，合成和输入样本相似的动态场景。 为此我把这几项研究的研究对象都归结为动忿纹理，它的定义为描述某种动态景观的具有 时j 日j 相关重复特征的图像序列 1 6 1 1 3 3 1 。在统一了研究对象的基眦上，按照研究思路和合成 方法的特征，我把它们分为四类进行阐述。 1 3 1 时间序列分析方法 作为按时问顺序排列的一组数据，动态纹理是典型的时f h j 序列，应用时间序列分析的 方法合成动态纹理是一种自然而有效的方法。时间序列分析主要指采用参数模型( 特指 a r m a 模型) 对所观测的有序的随机数据进行分析与处理的一种数掘处理、系统辨u 和系统 分析方法 1 3 。 1 时间纹理方法 s z u m m e r 和p i c a r d 提出的时问纹理模型 6 ，4 可以算是该领域最早的：j l - 作，他们采川 时一空自回归( s t a r ) 模型表示动态纹理，蝌a r 模型是自网归( a r ) 模型的三维扩展形式： 筑4且 国防科学技术人学训究生院学位论文 像相似性尺度，计算视频中任意两j | j ! j i 的差异：d ，= l f ，一，并通过公式 p ，= e x p ( 一d 。，盯) ，( f ，) 将帧间差异d 。，转化为从第f i 陨到第，帧的跳变可行性。在合 成动态纹理时，当播放到第f 帧，就找出尸，( i + 1 ) 中的最大值只，然后从k 和i + 1 中 随机选择一帧作为要播放的下一帧。我们把上述合成方法称为基于跳变的视频纹理合成方 法。 我们对, 6 u i l os c h s d l 等人提出的视频纹理合成方法进行了研究，认识到它的重要意义， 并在a m os c h 6 d l 的工作的基础上进行课题的研究。我们的工作从以下两个层面展丌： 1 基于跳变的视频纹理合成方法的框架内进行研究，主要是改进合成过程中具体步骤的 算法。在基于跳变的合成方法中，有以下几个关键点：第一就是图像相似性评估问题， 在基于跳变的方法当中，帧图像的相似性是选择跳变点的基础，所以图像相似性尺度 也成为视频纹理合成的最基本的问题。由于评估跳变是否合理的唯一依据是视觉系统 是否产生突变的感觉，合理的图像相似性尺度应当人类视觉感知具有一致性。第二是 跳变可行性问题，文 2 】通过图像相似性计算跳变可行性。但两帧之1 1 日j 是否可以跳变， 不由图像的相似性唯一确定，可能还涉及其它因素，比如视频的内容，人类心理因素 等。因此探讨影响跳变可行性的因素成为一个有意义的问题。第三就是跳变点的筛选。 在计算出任意两帧之间的跳变可行性后，如何选出眼睛可以接受的跳变，即如何确定 一个阂值，是一个困难的问题，因为我们无法自动从视觉系统中得到反馈。因此，交 互式的阈值选择工具成为必要。第四就是图像处理和视频处理中的一些关键技术，如 背景提取、图像分割、运动估计等，它们是视频纹理合成中f i j 基本技术。 2 第二个方面就是不受基于跳变的视频纹妇! 合成方法的约束，研究思路直接从探讨视频 纹理合成的本质开始，在更为广阔的空间内对视频纹理和合成方法进行研究，试图找 出更为有效的合成方法。为此需要探讨视频播放的特征和对视频内容作更加高层的分 析。我们下面提到的动态纹理的研究和我们提出的基于渐变的视频纹理合成就是这样 一类方法。 1 3相关研究 ， 视频纹理合成涉及领域比较多，主要有数字图像处理，数字视频处理，人工智能和训 算机视觉。在过去的研究中，和视频纹理比较相近的媒体，主要有动态纹理，h , j i 日j 纹理平i | 时变纹理等。实际上，无论是动态纹理、时间纹理还是时变纹理，它们的研究列象和目的 都基本相同，都是基于对样本视频或图像序y t j 自 , j 分析，合成和输入样本相似的动态场景。 为此我把这几项研究的研究对象都归结为动忿纹理，它的定义为描述某种动态景观的具有 时j 日j 相关重复特征的图像序列 1 6 1 1 3 3 1 。在统一了研究对象的基眦上，按照研究思路和合成 方法的特征，我把它们分为四类进行阐述。 1 3 1 时间序列分析方法 作为按时问顺序排列的一组数据，动态纹理是典型的时f h j 序列，应用时间序列分析的 方法合成动态纹理是一种自然而有效的方法。时间序列分析主要指采用参数模型( 特指 a r m a 模型) 对所观测的有序的随机数据进行分析与处理的一种数掘处理、系统辨u 和系统 分析方法 1 3 。 1 时间纹理方法 s z u m m e r 和p i c a r d 提出的时问纹理模型 6 ，4 可以算是该领域最早的：j l - 作，他们采川 时一空自回归( s t a r ) 模型表示动态纹理，蝌a r 模型是自网归( a r ) 模型的三维扩展形式： 筑4且 国防科学技术人学研究生院学位论殳 s ( x , y , o = s ( x + v x , y + v y , t + 聊+ a m ，) 百 其中西为时间序列参数，a ( x ，y ，t ) 为随机输入信号，实际假设为高斯白噪声，p 为模型的 阶数，实际只验证了一阶和二阶模型。s t a r 模型将动态纹理的数据( 即象素) 表示为相邻 数据的线性组合。v x ，v y 和v r 为象素在三个方向上的增量，三者确定了动态纹理中象素 的三维相邻空间结构。为了简化模型参数的估计，假设象素间存在因果相关关系。加入因 果关系约束后，动态纹理中的任一象素只能表示为非对称空间( 如空间 f 。0 v q ：0 a y s ( x + v x , y + v y , t + 聊+ a m ，) 百 其中西为时间序列参数，a ( x ，y ，t ) 为随机输入信号，实际假设为高斯白噪声，p 为模型的 阶数，实际只验证了一阶和二阶模型。s t a r 模型将动态纹理的数据( 即象素) 表示为相邻 数据的线性组合。v x ，v y 和v r 为象素在三个方向上的增量，三者确定了动态纹理中象素 的三维相邻空间结构。为了简化模型参数的估计，假设象素间存在因果相关关系。加入因 果关系约束后，动态纹理中的任一象素只能表示为非对称空间( 如空间 f 。0 v q ：0 a y s ( x + v x , y + v y , t + 聊+ a m ，) 百 其中西为时间序列参数，a ( x ，y ，t ) 为随机输入信号，实际假设为高斯白噪声，p 为模型的 阶数，实际只验证了一阶和二阶模型。s t a r 模型将动态纹理的数据( 即象素) 表示为相邻 数据的线性组合。v x ，v y 和v r 为象素在三个方向上的增量，三者确定了动态纹理中象素 的三维相邻空间结构。为了简化模型参数的估计，假设象素间存在因果相关关系。加入因 果关系约束后，动态纹理中的任一象素只能表示为非对称空间( 如空间 f 。0 v q ：0 a y 0 ) 、，o ：o a y ：o a x 一( ，) p = c x ( t ) ， 忙1 、 c = o ，o ，锄 ， 臼 可为空间的一组币交基。 假设1 4 ；( f ) 和v ( f ) 为白噪声。则有： x ( t + 1 ) = a x ( t ) + v ( t ) x ( o ) = x o ，1 l 以) q 9 y ( t ) = c ( x ( ，) ) + w ( t )w ( t ) n ( o ，r ) 其中a r ”，c r ”，要求估计参数a ，c ，q ，r 。一般采用最火似然估计法估计h 述模 型，文献 1 6 提出了一利r 高效、简单的基于奇异值分解的近似方法。 s o a t t o 等人成功的合成了河流、烟雾、脸部运动动态纹理， 止t t j 还合成了使用时白j 纹 理方法遭到失败的马桶中水流动态纹理，以此证明动态纹理方法的优越，r 卜。在配罱为i g h z p e n t i u mi i i 的机器上，动态纹理方法能够以帧速率实时合成动态纹理。 1 3 3 基于纹理合成的扩展方法 纹理合成是计算机图形学和计算机视觉q 1 1 口当活跃的研究领域，讷：多学者作了大量的 研究工作 3 ，8 ，1 1 。纹理图像序列在动态纹训中占有较大比重，如河流、烟雾、瀑布等， 对于这一类动态纹理，可以把它看作三维纹理中的一类，j 皿用纹理合成力法的扩腥形式合 筑5 贝 国防科学技术人学研究生院学位论义 成。 1 时变纹理方法 b a r j a s e p h 1 2 ，1 提出的时变纹理方法是一种基于统计学习的通用的纹理信号建模方 法。时变纹理方法以层次多精度分析( m r a ) 树表示输入信号，假设信号由随机过程产 生，和传统的采用显式的模型表示随机过程的方法不同，b a r _ j a s e p h 采用算法 17 的变形 形式产生随机输出序列。原算法作用于字符序列的统计分析，经扩展作用于动态纹理： ( 1 ) 获取动态纹理的多个学习样本 ( 2 ) 为每个动态纹理样本s ( x ，y 、r 1 构建m r a 树。在构建m r a 树时，采用由一维d a u b e c h i e s 小波 变换( 作用于时间轴，) 和二维s t e e r a b l e 金字塔小波变换( 作用于x y 图像空问) 的笛卡 儿乘积组成的三维小波变换对动态纹理信号进行层次分解。 ( 3 ) 通过合并动态纹理样本的多棵m r a 树构建新自g m r a 树，在合并过程中，应用算法 1 7 的 变形形式，以m r a 树中从根到某一叶节点的路径等价于算法 1 7 中的字符序列，并使用了占 相似性作为路径选择的相似性尺度。 ( 4 ) 对新构建的m r a 树进行小波反变换生成动态纹理。 b a r j a s e p h 对瀑布、走动的人群和火山爆发，云彩等动态纹理进行了合成，合成的效 果良好。但时变纹理方法存在明显的缺陷，一是只能合成和输入视频长度相同的