（电路与系统专业论文）动态纹理识别技术研究.pdf

动态纹理识别技术研究 摘要 动态纹理识别技术研究 摘要 动态纹理是指描述某种动态景观的、具有时间相关重复特征的图像序列。动态 纹理在自然界中广泛存在，比如火焰、烟幕、流动的河流、随风摆动的树叶或者多 个目标对象( 公路上的车辆或人群) 的整体运动。本文的主要研究工作集中在动态 纹理识别技术中，基于模型的识别技术研究。 本文首先研究了动态纹理模型。l d s ( l i n e a rd y n a m i cs y s t e m ) 动态纹理模型 将每帧图像表示为线性子空间( 如主成分分析p c a ) 中的一点，并用自回归过程 来学习子空间上抛物线的动态特性。目前，基于模型的动态纹理识别技术大都采用 此模型。然而，由于此l d s 模型采用的线性维数约减策略( 如p c a ) ，过于简 单，使此模型不能捕获复杂的场景变化。因此，本文研究了多子空间的动态纹理模 型。此模型采用多个p c a 的混合来描述图像流( i m a g em a n i f o l d s ) 的特征。对于 场景变化大的图像，这种流体通常是非线性的，且有它们各自的坐标系统。此模型 采用了一种全域坐标模型( ag l o b a lc o o r d i n a t i o nm o d e l ) ，将不同流体的p c a 坐 标，映射到一个统一的流体坐标系统中。然后，利用此全域坐标模型建立动态纹理 自回归模型。 本文接着研究了基于模型参数间距离的动态纹理识别技术。分析了s t i e f e l m a n i f o l d s 空间的三种距离：p r i n c i p a la n g l e s 、m a r t i nd i s t a n c e 、g e o d e s i cd i s t a n c e 。 其中基于m a r t i n 距离的识别法相比于基于其他两种距离的识别法来说，识别率要 高很多。此外，本文讨论了另一种基于k l ( k u l l b a c k - l e i b l e r ) 距离的识别法。它 利用了l d s 动态纹理模型中图像向量及状态向量的概率分布特征，计算出状态空 间的k l 距离和图像空间的k l 距离，然后以这两种距离为核，利用支持向量机 ( s v m ：s u p p o r tv e c t o rm a c h i n e ) 进行分类，从而识别不同的动态纹理序列。基于 k l 距离的识别法的识别效果要优于基于m a r t i n 距离的识别法。 最后，本文研究了另一类基于模型的识别技术：基于模型变量的脉冲响应的动 态纹理识别法。此算法运用了动态纹理的一种简单而有效的特征，来进行识别。这 种特征基于估计出的动态纹理模型变量的脉冲响应。此脉冲响应能捕获动态纹理内 在的动态特性。此种识别技术能够识别同一图像序列中，在各个不同区域的多个不 同的动态纹理。且相对与基于距离的识别技术来说，计算更简便，识别速度更快。 因此，基于此算法，本文提出了一种基于多子空间动态纹理模型的改进算法。由于 动态纹理识别技术研究 多字空间模型能更好地捕获复杂的景象变化，改进的算法识别动态纹理的非稳态特 性效果也更好。改进的算法利用所有的脉冲响应序列构建一个全体特征空间，并将 其映射为此空间上的一组抛物线。此特征空间为比较不同脉冲响应序列的最佳空 间。此外，改进的算法还采用了一种简单、有效的对分检索( b i n a r ys e a r c h ) 算法 在高维特征空间寻找最近邻，使识别过程更有效。实验表明，本文提出的改进算 法，其性能比原算法更好。 关键词：动态纹理、动态纹理识别、动态纹理模型、主成分分析、脉冲响应、最近 邻搜索 中图分类号：t n 9 1 1 7 3 动态纹理识别技术研究 摘要 d y n a m i ct e x t u r e sr e c o g n i t i o n a b s t r a c t d y n a m i ct e x t u r e ( d 叻i sas p a t i a l l yr e p e t i t i v e ，t i m e v a r y i n gv i s u a lp a t t e r nt h a tf o r m s 柚 i m a g es e q u e n c ew i t ho g r t a i nt e m p o r a ls t a t i s t i c s d t sa r ct y p i c a l l yv i d e o so fp r o c e s s e s ， s u c ha sw a v e s ，s m o k e ，f i r e ，o rt h em o t i o no fa ne n s e m b l eo fo b j e c t sf e g t h et r a f f i co na h i g hw a y o rt h ef l o wo fac r o w d ) w i t h i nd t a r e a , o u ra t t e n t i o ni sl i m i t e dt om o d e l b a s e d d t r e c o g n i t i o nt e c h n i q u e f i r s t ，w er e s e a r c ho nd tm o d e l s l d s ( l i n e a rd y n a m i cs y s t e m ) m o d e lr e p r e s e n t se a c h i m a g ea sap o i n ti nal i n e a rs u b s p a c e ( e g p c a ：p r i n c i p a lc o m p o n e n ta n a l y s i s ) a n du s e s a l la u t o r e g r e s s i v ep r o c e s st ol e a r nt h ed y n a m i c so ft h et r a j e c t o r yi nt h ei m a g e s u b s p a c e s m o s te x i s t e dd t r e c o g n i t i o na l g o r i t h m sa r cb a s e do nt h i sm o d e l h o w e v e r , l d sm o d e l c a nn o tc a p t u r ec o m p l e xa p p e a r a n c ec h a n g e sb e c a u s ei t sl i n e a rd i m e n s i o n a l i t yr e d u c t i o n s c h e m e ( e g p e a ) i st o os i m p l e t h e r e f o r e ，w ep r e f e ra n o t h e rm o d e lw i t hm i x t u r e so f l o c a l l yl i n e a rs u b s p a c e s ，w h i c hp a r a m e t e r i z e st h en o n l i n e a ri m a g eu s i n gm p p c a ( m i x t u r e so fp r o b a b i l i s t i cp r i n c i p a lc o m p o n e n ta n a l y z e r s ) a n dt h e na l i g n sc o e f f i c i e n t s f r o md i f f e r e n tm i x t u r ec o m p o n e n t si na g l o b a lc o o r d i n a t eu s i n g a l la u t o r e g r e s s i v ep r o c e s s s e c o n d ，w er e s e a r c ho nm o d e l - b a s e dd tr e c o g n i t i o nu s i n gd i s t a n c e sb e t w e e nm o d e l s b a s i n go uac l a s so fp r o b a b i l i t yd e n s i t i e so nt h es t i e f e lm a n i f o l d ，w ea n a l y z et h r e e d i s t a n c e s ：p r i n c i p a la n 翻e s ，m a r t i nd i s t a n c ea n dg e o d e s i cd i s t a n c e i ti ss h o w nt h a tu s i n g m a r t i nd i s t a n c ew ec a r lg e tt h eb e s tp e r f o r m a n c e i na d d i t i o n , w ed i s c u s sl d sm o d e l b a s e dd t r e c o g n i t i o nu s i n gs v m ( s u p p o r tv e c t o rm a c h i n e ) w i t hk l ( k u l l b a c k l e i b l e r ) k e r n e l ，w h o s ep e r f o r m a n c ei sb e t t e rt h a nr e c o g n i t i o nt e c h n i q u eu s i n gm a r t i nd i s t a n c e t h i r d ，w er e s e a r c ho na n o t h e rc l a s so fm o d e l b a s e da l g o r i t h m ：r e c o g n i t i o no fd t su s i n g i m p u l s er e s p o n s e so fv a r i a b l e s t h i sa p p r o a c hu s e sas i m p l eb u te f f e c t i v ef e a t u r eo fd t p rm a t c h i n gp u r p o s e t h i sf e a t u r ei sb a s e do nt h ei m p u l s er e s p o n s e so ft h ee s t i m a t e d d y n a m i cm o d e l ，w h i c hc a l lc a p t u r et h ei n h e r e n td y n a m i c a lp r o p e r t i e s t h i sa p p r o a c hc a n r e c o g n i z em u l t i p l ed y n a m i ct e x t u r e si nd i f f e r e n tr e g i o n so ft h ei m a g e ，a n dh a sl e s s i l i 垫查竺型望型垫查翌窒 塑薹 c o m p u t a t i o n a lc o m p l e x i t yt h a nm e t h o d sb a s e d o nd i s t a n c e s s ob a s e do nt h i sa p p r o a c h ， w ep r o p o s ea na d v a n c e da l g o r i t h m w ea d o p tt h ed tm o d e lu s i n gs u b s p a c em i x t u r e s ， w h i c h c a p t u r e sn o n s t a t i o n a r yp r o p e r t i e so fd y n a m i ct e x t u r e ss i g n i f i c a n t l yb e t t e rt h a nt h el d s m o d e l a n dw ec o n s t r u c tt h eu n i v e r s a le i g e n s p a c ew i t ht h em o s ti m p o r t a n td i m e n s i o n s u s i n ga l li m p u l s er e s p o n s es e q u e n c e so fi n t e r e s tt ot h er e c o g n i t i o ns y s t e m i ti sb e s t s u i t e d f o rd i s c r i m i n a t i n gb e t w e e ni m p u l s er e s p o n s es e q u e n c e s f u r t h e r m o r e ，w ea p p l ya n e f f e c t i v eb u ts i m p l eb i n a r ys e a r c ha l g o r i t h mt of i n dt h ec l o s e s tp o i n ti nt h eu n i v e r s a l e i g e n d p a c ew i t hh i g hd i m e n s i o n s e x p e r i m e n t a lr e s u l t su s i n go u ra d v a n c e da l g o r i t h m s h o wb e r e rp e r f o r m a n c et h a nt h eo r i g i n a lo n e k e y w o r d s ：d y n a m i ct e x t u r e ，d y n a m i ct e x t u r e sr e c o g n i t i o n ，d y n a m i ct e x t u r em o d e l ， p r i n c i p a lc o m p o n e n ta n a l y s i s ，i m p u b er e s p o n s e s ，n e a r e s tn e i g h b o rs e a r c h i v 动态纹理识别技术研究第一章绪论 1 1 本文的研究背景 第一章绪论 动态纹理( d y n a m i ct e x t u r e so rt e m p o r a lt e x t u r e s ) 是指描述某种动态景观 的、具有时间相关重复特征的图像序列。它将传统图像纹理中自相似的概念延伸到 了时空域。动态纹理在自然界中广泛存在，比如火焰、烟幕、流动的河流、随风摆 动的树叶或者多个目标对象( 如：一群鸟、一群蜜蜂、一群鱼、公路上的车辆或人 群) 的整体运动。 图1 1 典型的动态纹理 在物理学领域，对可视为动态纹理的流体或者其他的运动形式进行测量、量化 及可视化，已经是一种形成已有的惯例。比如，p a r t i c l ei m a g ev e l o c i m e t r y ( p i v ) 【1 】就是一种标准的技术，它通过注入许多可以散射光并指示运动流的微粒，使动态 纹理可视化及可量化。一个p i v 序列中的一帧图像是空间的纹理，而整个序列就是 动态纹理。近来，人们成功地运用光流估计( o p t i cf l o we s t i m a t i o n ) 1 2 和特征跟踪 ( f e a t u r et r a c k i n g ) 1 3 1 等计算机视觉领域的方法，对运动流进行了测量。 动态纹理识别技术研究 第一章绪论 物理学和图像处理技术之间的相互影响是很明显的。因此，很自然地，人们会 从物理学领域学习如何用数学的方法来描述动态纹理，并运用到视觉领域。然而， 在计算机视觉领域，所要面临的任务和采用的方法，与物理学中的任务和方法是大 不相同的。在模式识别技术研究中，对动态纹理的研究开始于9 0 年代初期，即当 n e l s o n 和p o l a n a 发表他们的开创性论文【4 】时。他们将视觉运动( v i s u a lm o t i o n ) 分为 三类【5 】：行为( a c t i v i t i e s ) 、运动事件( m o t i o ne v e n t s ) 及动态纹理( t e m p o r a l t e x t u r e s ) 。行为，被定义为具有周期性和地方性的运动模式，如步行和挖掘的行 动。运动事件，如打开一扇门，它并没有时间和空间的周期性。动态纹理，它表现 统计上的规律性，但具有不确定的时间和空间范围。计算机视觉是分析这三类视觉 运动的，而物理学则强调测量和将物理过程视觉化。 对动态纹理进行分析，类似于对传统的空间纹理的分析。它可分为：检测、分 割、识别和检索。然而。对含有未知时间和空间范围的动态纹理的视频进行分析， 和分析静态的图像是大不相同的。这种不同不仅仅因为它比静态图像多了一维空 间，更和动态纹理的“模糊性”( f u z z i n e s s ) 有关。 首先，表示自然过程的序列，如火焰和烟幕，是很难分割的。这样的动态纹理 是永远变化和模糊的。一种动态纹理( 如：烟幕) 是局部性透明的，因此我们会面 临运用运动信息把此动态纹理从背景中分离出来的难题。运用传统的纹理分析技 术，还不能处理类似这样的难题。其次，在动态纹理分析中，我们将运动模式 ( m o t i o np a t t e r n ) 和图像( a p p e a r a n c e ) 分开处理。你或许会对在风中飘舞的任意 的旗帜感兴趣，也或许会对某个国家的在风中飘舞的旗帜感兴趣。这种分开的处 理，是概括性的、模糊的，就像“温和的海浪”或者“汹涌的河水”。 在静态纹理识别技术中，类别的定义往往更准确，更严格。然而，从感性角度 对静态纹理进行分类，同样具有不同的层面。例如，你也许会概括地说“木材纹 理”或者某种术材的纹理。由r a o 和l o h s e 所作的著名的实验1 6 1 证明了：在没有任何 先验知识和需要解决的特定任务时，主要的结构特征，如：方向性和无方向性，周 期性和无规律性及结构上的复杂性，是人们对纹理进行感性分组的主要依据。将已 经分类的纹理合并到未分类的纹理中，并要求人们重复地进行大致的分类，主要特 征也同样起到了很重要的作用。主要特征与静态纹理分析的相关性已被众多的研究 所证实。因此，我们可以很合理的假设：主要特征对动态纹理分析来说是很重要。 动态纹理识别是动态纹理分析中的一项关键技术，也是一个具有挑战性的课 题。同时，动态纹理识别有着广泛的应用前景。它使我们不仅能够分辨火焰和树 叶，还能分辨汹涌的海浪和静静流淌的河流，或者通过观察树叶而检测到狂风的存 动态纹理识别技术研究第一章绪论 在。通过动态纹理的识别技术，我们可以进行远程监控，如：监控森林中有无火 灾，从而阻止自然灾害的发生；监控交通堵塞状况。我们还能够从录像中分辨出真 正自然的和人为的类似周期性的视觉过程。结合对周期性行为的检索，识别技术可 以实现，象“查找呈现一个人在小河边的火焰旁挖洞的视频”这样的任务。 1 2 动态纹理识别技术研究现状 动态纹理识别是一个新兴的研究领域，其研究史不足1 5 年。很自然地，现有的 很多动态纹理识别技术建立在静态纹理分析和识别的基础之上的。现有的识别技术 可分为以下几类【8 】：基于光流的识别法、基于时空域几何特征的识别法、基于局部 时空域滤波的识别法、基于全局时空域变换的方法和基于动态纹理模型参数的识别 法。 1 、基予光流的识别法( m e t h o d sb a s e do no p t i cf l o w ) 基于光流的识别法 8 , 9 , 1 0 , 1 1 , 1 2 , 1 3 , 1 4 】将动态纹理的分析简化为，分析一序列瞬时的 运动模式。这种瞬时的运动模式可视为静态纹理。在有必要时，将图像纹理特征加 入到运动特征中，组成完整的、用于运动和图像识别的特征集。 这种识别法，又可分为n o r m a lf l o w 和c o m p l e t ef l o w 两类，各有其优缺点。 n o r m a lf l o w 的优点有：基于局部特征、计算相对简便、运动信息是连续的，但是 它包含了不稳定的运动信息、对噪声敏感、难处理旋转等运动模式且混杂着图像信 息。c o m p l e t ef l o w 虽然在上述几方面性能优于n o r m a lf l o w ，但是它计算相对复杂很 多，且其运动信息不连续。 2 、基于时空域几何特征的识别法( m e t h o d sc o m p u t i n gg c o m e t r i cp r o p e r t i e si nt h e s p a t i o t e m p o r a ld o m a i n ) o t s u k a 等最先提出的算法【1 6 1 和由z h o n g 等将其改进的算法【1 7 1 是此种识别法的 典型代表。这种方法将动态纹理序列看作一个3 d 量( x ，y ，t ) 。由几何的方法，在 3 d 空间抽取特征信息。o t s u k a 等假设动态纹理能用运动轮廓( m o v i n gc o n t o u r s ) 表 示，而运动轮廓的运动轨迹具有可跟踪性。然而，对动态纹理而言，假设存在令人 满意的轨迹表面是不实际的。z h o n g 和s c l a r o f f 尝试运用时空域的3 维边缘避免这一 难题。但是，这种识别法难处理时间和空间域的交互信息( s p a t i o t e m p o r a l i n t e r a c t i o n s ) 及动态纹理的非稳态特性( n o n s t a t i o n a r i t y ) ，并且计算复杂。因此目 前关于此种识别法的研究似乎已经终止了。 3 、基于局部时空域滤波的识别法( m e t h o d sb a s e do nl o c a ls p a t i o t e m p o r a lf i l t e r i n g ) 由w i l d e s 等最先提出的算法【18 】是此种识别法的唯一代表。这里仅为了分类的全 动态纹理识别技术研究 第章绪论 面性而将其列出。他们通过分析局部动态纹理时空域的性质特征，即方向和能量， 将局部动态定性地分类。对于象素和帧数少的动态纹理，他们给出了其性质特征和 运动特征之间的联系。但是，动态纹理各个部分的运动是不同的。目前，还没有算 法将局部的性质特征联合为全局特征，也没有算法能描述整个动态纹理的基本结构 特性。 4 、基于全局时空域变换的方法( m e t h o d su s i n gg l o b a ls p a t i o t e m p o r a lt r a n s f o r m s ) 时空域小波变换将运动分解为局部和全局的描述。近来，它被应用到了视频纹 理的研究中【1 9 1 。由于它能够捕获周期性运动的特征，又是m p e g 7 中的一种标准， 部分学者提倡用小波变化进行识别。但是，它不能提供旋转不变性( r o t a t i o n i n v a r i a n c e ) ，部分学者也反对用其进行识别。 5 、基于动态纹理模型参数的识别法( m o d e l - b a s e dm e t h o d st h a tu s ee s t i m a t e dm o d e l p a r a m e t e r sa sf e a t l l r e s ) 基于模型的识别法，将动态纹理的每帧图像表示为一个动态随机模型的输出 量。这个模型的参数从已有的动态纹理数据中学习得到，而后的识别就建立在这些 参数之上。近来，这种以估计一个稳定的动态模型的参数为框架的系统识别法 2 0 , 2 1 , 2 2 】，取得了很大的成功。s a i s a n 和c o a u t h o r s 2 3 l 运用动态纹理模型【2 4 1 实现了对5 0 种不同的动态纹理的识别。随后，f u j i t a 和n a y a r 【”s a i s 强等的识别方法进行了 改进。他们利用动态纹理模型中状态变量( s t a t ev a r i a b l e s ) 的脉冲响应( i m p u l s e r e s p o n s e s ) ，来进行识别。对图像的各个区域为不同的动态纹理时，这种方法也是 适用的。f u j i t ；a 等【蚓的算法比s a i s a 等【”】的方法相比，识别速度更快，对动态纹理 的非静态性也更不敏感。 1 3 主要研究工作及内容安排 本文的主要研究工作集中在研究动态纹理识别中，基于模型的识别技术。由于 动态纹理模型的建立和其参数的估计，直接影响识别的性能。所以本文从对动态纹 理模型的研究出发，挖掘其模型参数的特征，结合识别技术，提出更好的基于模型 的动态纹理识别技术。 本文的主要内容如下： 第一章，绪论，介绍了动态纹理及动态纹理分析涉及的主要内容，并介绍了其 中的关键技术：动态纹理识别技术，及其研究现状。 第二章，研究了如何建立动态纹理模型，及估算其模型参数。首先分析了目前 基于动态纹理模型的识别技术普遍采用的l d s ( 1 i n e a rd y n a m i c a ls y s t e m ) 动态纹理 动态纹理识别技术研究 第一章绪论 模型的建立，及其近似的参数估计法。然后详细研究了本文提出的动态纹理识别技 术所采用的模型一多子空间的动态纹理模型一的建模及参数估算。 第三章，研究了基于距离的动态纹理识别技术。首先，分析了基于s t i e f e l m a n i f o l d s 空间的三种距离( p r i n c i p a la n g l e s 、m a r t i nd i s t a n c e 、g e o d e s i cd i s t a n c e ) ， 并研究了如何用动态纹理模型参数问的这三种距离来进行识别，同时还比较了运用 此三种距离进行识别的效果。其次，研究了基于k l 距离( k n l l b a c k - l e i b l e r d i v e r g e n c e ) 的动态纹理识别法。从分析动态纹理模型参数的概率分布，研究得出 如何计算不同动态纹理模型间k l 距离。再研究以k l 距离为核，用支持向量机 ( s v m ) 分类不同的动态纹理。 第四章，研究了基于脉冲响应的动态纹理识别技术。首先，定义了局部动态纹 理，研究了基于l d s 动态纹理模型中状态变量的脉冲响应的识别技术。其次，比较 了此算法与基于距离的识别技术。然后研究了高维空间最近邻搜索技术，及最优线 性空间的维数确定，从而提出了一种新的基于多子空间动态纹理模型的识别技术。 最后对提出的算法进行了测试及结果分析，并与原算法进行了比较。 第五章，回顾了全文的工作，并对未来的研究方向进行展望。 动态纹理识别技术研究第二章动态纹理模型 第二章动态纹理模型 本文研究的动态纹理( 如图1 所示) ，产生它们的物理机制是十分复杂的。一般 情况下，很难通过物理分析的方法对它们建模。而另一方面，收集这类动态纹理的 样本却比较容易。因此，我们可以利用统计的方法，来分析样本，从而得到描述 这类动态纹理序列的统计模型。 以统计模型为基础进行图像处理研究方面的工作，还不是很多【驯。n e l s o n 和 p o l a n a l 4 】最先对动态纹理建立了模型。b a r - 】o s e p h 等【2 6 j 提出的时变纹理方法是一种 基于统计学习的通用的纹理信号建模方法。时变纹理方法以层次多精度分析 ( m r a ：m u l t i r e s o l u t i o na n a l y s i s ) 树表示输入信号，并假设信号由一随机过程产 生。这与传统的采用显式模型表示随机过程的方法不同。但是此种模型只能合成有 限长度的图像序列。随后，s z u m m e r 和p i e a r d l 2 7 采用时一空自回归s t a r ( s p a f i o t e m p o r a la u t o - r e g r e s s i v em o d e l ) 模型表示动态纹理。s t a r 模型是自回归( a r ) 模 型的三维扩展。为了简化模型参数的估计，他们假设象素间存在因果关系。加入因 果关系约束后，动态纹理中的任一象素只能表示为非对称空间象素的线性组合。这 使得模型，应用于含有旋转、加速等其他简单非线性运动的动态纹理时，遭到失 败。d o r e t t o 等【训提出可以使用l d s ( 1 i n e a rd y n a m i c a ls y s t e m ) 模型来描述动态序 列。该方法充分利用了动态序列固有的动态特性，可以有效地合成无限长度的动态 纹理序列。它以帧图像为处理单元，从而避免了s t a r 模型中的空间因果约束。由 于l d s 模型的上述优点，现有的基于模型的动态纹理识别技术普遍采用这种模型。 最近，在l d s 模型的基础上，a b c h a n 等提出了混合动态纹理模型2 9 删：c h e b i n u 等提出了多子空间的动态纹理模型i 。 本章的第一节分析l d s 动态纹理模型。第二节详细研究本文提出的动态纹理识 别技术所采用的模型一多子空间的动态纹理模型一的建模及参数估算。第三节进行 全章小结。 2 1 动态纹理l d s 模型 d o r e t t o 等提出的动态纹理模型，建立在系统识别理论基础之上。系统识别的 主要目的在于：获得数学模型来描述一个物理系统的动态特性。这样的物理系统， 如：一个飞行器控制系统，一个空调机系统，人类的语言系统等。d o r e t t o 等证明 了：系统识别理论也可应用于动态纹理。因为这种纹理含有和物理现象相关的动态 特性。这种纹理被假定为含有任意协方差的高斯白噪声的二阶平稳过程( a 动态纹理识别技术研究第二章动态纹理模型 s t a t i o n a r ys e c o n d - o r d e rp r o c e s s ) 。而含有任意协方差的二阶平稳过程，可以建模为 线性动态系统的输出量。此线性动态系统含有零均值的高斯白噪声。 2 1 1 模型定义 对于单帧的图像，纹理是指平稳随机过程的一个实现。此平稳随机过程在空间 域具有统计不变性。而对于图像序列( 时变纹理) ，每帧的图像显然不是由某个平 稳过程得到的相互间独立的实现，因为图像序列还存在空间域的一致性。因此， d o r e t t o 等假设，每帧图像为某一动态系统输出量的实现。且此动态系统由独立同 分布过程( 1 i d ：i n d e p e n d e n ta n di d e n t i c a l l yd i s t r i b u t e d ) 所驱动。 将图像序列表示为 ，( f ) ) i 。，i ( t ) e r l 。相应地，时刻t 带噪声信号的图像 表示为y ( f ) j p ) w ( t ) ，y p ) r 4 ，t1 r 。w ( t ) e r 4 为高斯白噪声a 令l ( t ) 一屯( 0 ( f ) ) ，晚，d - 1 j l 为一组滤波器。这样， ，p ) ) 就是( 线性) 动 态纹理。从考虑生物学的因素到考虑计算的效率，有很多的标准可以用于如何选取 这一组滤波器，。从最简单的角度出发，认为所有的滤波器都是相同的。因此从单 个象素的动态看，得到x q ) 一坤) 。把滤波器的选取看作减小图像维数的其中一 步，并力求简单( 线性) 地分解图像。于是得到： 上 i ( 0 = ：再( f 鸠= q o ) ( 2 1 ) i = 1 其中c - 池，4 e r “”，俘，可为r 空间的一组正交基，比如：一组主成分( as e t o fp r i n c i p a lc o m p o n e n t s ) 或者一组小波滤波器( aw a v e l e tf i l t e rb a n k ) 。过程 扛( f ) ) 掣的初始状态为e r 4 。假设v o ) r 1 为高斯白噪声，q 甜”和 r r “为对称正定矩阵。则有： z ( f + 1 ) 一a x ( t ) + 川)t j ( 0 r ( o i 铆，x o r 4 y q ) 一c x ( t ) + w q )w ( t ) 厂( o ，j 砷( 2 2 ) 其中矩阵a r “4 和c e r 4 “。其模型如图2 1 所示。 图2 1 动态纹理模型 序列o ，( f ) 包含了动态纹理中象素成分的信息状态序列o ( f ) ) 则包含了运动信 1， 、 似it t ， 一 、 、1 一玉一ji上、r一佛)_文一 一 一、0，。 ，。 、|jolt| 动态纹理识别技术研究第二章动态纹理模型 息。用一阶g a u s s m a r k o v 过程来对隐藏的状态量建立模型。因此，下个状态量 z o + 1 ) ，就由变换矩阵a 和过程p o ) 决定。图像帧y o ) 为整个视频序列的一组主成 分的线性组合。矩阵c 的列向量表示了这一组主成分，每个主成分的权重由状态向 量x o ) 中相应的系数决定。图2 2 和图2 3 表示了，某高速公路交通状态的视频图像 序列的前3 个主成分及其相应的状态空间系数【5 9 l 。 图2 2 某高速公路交通状况的视频序列 图2 3 图2 2 所示序列的动态纹理模型 ( 左：前3 个主成分；右：状态空间相应系数的抛物线) 2 1 2 模型参数的近似估计 给定含有噪声的图像序列( f ) l 。，对其建立动态纹理模型，就需要估计模 型参数4 、c 、q 、r 。一般采用晟大似然估计法估计上述模型。而文献r 2 4 】提出了 一种高效、简单的基于奇异值分解的近似估计法。 首先，假设： 埘 一g a n k ( c ) 皋库( 2 3 ) c 7 c ；i x ( l r 为单位阵) ( 2 4 ) 令件? t 【w ( 1 ) ，w ( f ) 】r 、耳暑【y 0 ) ，y 0 ) 】皿、x j ；i x ( 1 ) ，x o ：) l e a “ 一 n j ，则( 2 2 ) 式可改写为： 耳一c x ；+ i 吁；c r 。4 ；c 1 c ；j ( 2 5 ) 由o ( 7 - ) ，x ( r ) = a r g m i n 。，盯l 陬7 乳( 8 j f f 为f 如b e n i u s 范数) 的最优解可估计出c 和j 0 。考虑采用奇异值分解( s v d ：s i n g u l a rv a l u ed e c o m p o s i t i o n ) 1 3 1 j 法来求得参 动态纹理识别技术研究 第二章动态纹理模型 数。令耳= u v 2 ，u r 、 u 。u = i 。， v r 、 v 。v = ，。， = d i a g c r l ，吒) ( q 为奇异值) 。由s v d 的特性，可得到唯一解： e ( r ) 。u 膏( r ) = e v 7( 2 6 ) 同样地，求a ( 丁) = a r g r a i n 。i l z ；一a x ；。k ( 其中；= i x ( 2 ) ，o ) 】r ) 的最优 解，可得到： 冀( 7 _ ) = e v 7 d 。v ( v 7 d 2 v ) 。1 = 霹( 膏j 。1 ) +( 2 7 ) 其脚 ，o ，叫名1 弘+ 舭的虚拟反矩阵。s e u d o - i n v e r s 。 硪o ) 】三觋睾嘉雄凤雌 咖= 2 ( 2 8 ) 输入噪声的协方差q 的估计值为： 垂p ) 。去若拶( f ) ( 2 9 ) 其中i p ) 圭量( f + 1 ) 一二扣) 量( f ) 。 2 1 3 渐进特性 严格地说，用上述近似的方法来估计模型参数，是不准确的。因为上述方法中 的奇异值分解，并没有考虑到z ( f ) 的特殊结构( 也就是，盖( f ) 是一个线性动态模 型的状态量) 。文献【2 4 1 中的近似估计算法没有考虑解的全面性，而是选择了最简 单的方法来估计参数。这是因为，模型参数的精确估计，需要运用y ( r ) 的子空间 的一些详细的结构特征。精确估计通常用在系统识别算法中，如：n 4 s i d ”1 和 m o e s p l 3 3 】。但是，对动态纹理而言，这种精确估计是计算量非常大的。因此，虽 然文献 2 4 1 中的近似估计不是最优的估计，但对于大多数自然界中的动态纹理，这 种方法已经能够成功地估计出动态模型的参数了。这些估计出的参数，至少可以合 成有限长度的、且真实度高的动态纹理序列。 目前，建立在d o r e t t 等提出的动态纹理模型基础上的识别技术，也通常采用这 种近似的参数估计算法。 2 2 多子空间的动态纹理模型 d o r e t t o 等提出其动态纹理模型后，y u a n 等圳通过分析线性动态系统( l i d s ： l i n e a rd y n a m i c a ls y s t e m ) 中极点的位置，来讨论l d s 系统的稳定性。他们提出了 动态纹理识剐技术研究第二章动态纹理模型 含有反馈系统的动态纹理模型。他们的模型提高了合成图像序列的效果。 但是，当动态纹理图像中的场景随时间变化较大，及场景中目标物体的形状变 化较大时，运用【2 4 1 和【3 4 1 q u 的模型，都很难合成令人满意的图像序列。对复杂的 动态纹理建模的关键，是要建立一个更好的、能够捕获图像特征的模型。通过文献 【2 8 】中的实验，我们可以看到由于单个p c a ，这种线性维数约减算法太简单，因而 不能捕获复杂的景象变化。 c h e b i nl j u 等幽l 提出了一种能更好地捕获图像动态特性的动态纹理模型。这 里，称之为多子空间的动态纹理模型。这种模型包含了图像子模型和动态字模型。 对于图像子模型，他们采用了多个p c a 的混合模型，来描述图像流体( i m a g e m a n i f o l d s ) 的特征。对场景变化大的图像，这种流体通常是非线性的。建立这种混 合模型，看来似乎是很自然的，但是要从此混合模型得到一个动态模型却是十分困 难的。这是因为不同的流体，有它们自己的坐标系统。这种坐标系统，是由流体的 特征向量所在的子空间决定的。而动态模型必须建立在一个统一的坐标系统之上。 因此，c h e b i nu u 等采用了一种全域坐标模型( a 四o b a lc o o r d i n a t i o nm o d e l ) 。它 将不同流体的p c a 坐标，映射到一个统一的流体坐标系统中。然后，在全域坐标模 型的基础上建立动态纹理模型。 本文提出的动态纹理识别技术，正是基于此多子空间的动态纹理模型。因此， 这里将详细研究此模型的建立，及其参数估计算法。 2 2 1 图像流体的参数全域化 一般地，非线性维数约减策略可分为以下两类： ( 1 ) 局部线性映射( 1 0 c a l l y l i n e a rm a p p i n g ) 1 3 5 1 ，( 2 ) 非线性低维嵌入( n o n l i n e a re m b e d d i n g ) 3 6 , 3 7 1 。混合的 局部线性模型，建立了双向映射，但是缺乏一个统一的全域坐标。非线性低维嵌入 提供了全域坐标，但是缺乏从全域坐标系统到观测数据( o b s e r v a t i o n ) 的映射。因 此，c h e b i n u 等将混合的局部线性模型，映射到一个新的坐标系统，来获得理 想的流体映射，从而实现对动态纹理建模。各种维数约减算法中的相互映射如图 2 4 所示。 篓 i _ | 篡 i 蔓；? 一。 兰一肌 吣 动态纹理识别技术研究第二章动态纹理模型 图2 4 非线性维数约减算法中的相互映射 2 2 2 全域坐标模型 r o w e i s 等【3 町提出了一种全域坐标模型。此模型将混合的局部线性模型映射到 一个全域坐标系统( 如图2 5 所示) 。给定一个局部模型k 及其局部坐标磊，那么 从名到观测数据y 的映射和到全域坐标的映射都是线性的。由于七和z 。是未知 的，可以推断出f 和z 之间的映射是非线性的。 图2 5 全域坐标模型 这里，采用y w t h e 等3 9 1 提出的局部线性坐标算法( l l c ：l o c a l l yl i n e a r c o o r d i n a t i o n ) 来获得此模型。其算法如下： 用y t 眦，y ：，h 】r 表示一组d 维空间的数据点，l ，的每行表示一个数据点。 用x = k ，x ：，h r 表示d 维嵌入空间的数据。假设已由训练得到，或者已经给定 了足个局部维数约减器( 1 0 c a ld i m e n s i o n a l i t yr e d u c e r s ) 。第足个维数约减器，将数 据点y 。简化为4 维的局部表达，并得到“权重”( r e