（计算机软件与理论专业论文）基于动态纹理的流水效果合成技术研究.pdf

山东大学硕十学付论文 摘要 场景仿真是计算机技术、图形处理与图像尘成技术、电体影像和音响技 术、显示技术等高新技术的综合运用。其中，动态流水效果的场景仿真广泛应 用于虚拟现实应用、计算机游戏、数字电影和动画以及科学计算可视化场景 中；因此利用计算机模拟流水效果一直是计算机图形学和虚拟现实领域的研究j 热点之一。 ，。= 某些自然现象，如：水、烟、雾等，产生它们的物理机制十分复杂，直接 从建模的角度来生成序列非常繁琐，要耗费大量的时间，效率很低。然而，利 用普通的方法，如d v j 可以很方便地采集很小的一段视频样本。这样就可以 通过分析，获得这一小段视频序列的某些统计特征，2 记录该特性并合成新的与 该段视频序列具有相同统计特性的视频序列，从而生成给定时间长度的视觉上 无重复的平滑的视频序列。 动态纹理在自然界中广泛存在，比如海浪、瀑布、飘扬的旗帜、飞翔的鸟 群等等。它是指将多幅纹理图像绑定到当前的面片( p o l y g o n ) 上，通过名称 使用某幅纹理图像。例如：可将模拟喷泉效果的几幅相关的图像按一定的顺序 以一定的时间间隔显示出来，并采用透明纹理映射技术和b i l l b o a r d 技术即可 实现模拟喷泉的效果。此外，动态纹理技术对于运动的人、喷泉、飘动的旗 子、流动的水，闪动的灯火等都很有效。动态效果的另一种方法是使用本身带 动态效果的纹理，如m p e g 格式的文件贴到一个b i l l b o a r d 节点来实现动态的 效果。 本文对基于动态纹理的流水效果合成技术进行了研究，提出了利用动态纹 理模型生成动态流水的方法，主要研究工作如下： l 、提出了基于动态纹理的流水效果合成方法。此方法主要通过分析已知 的- d , 段流水视频样本，生成与该样本特征相符的无限长不重复且平滑流动的 动态水序列。主要包括以下两方面的工作： ( 1 ) 动态水纹理的自动分析方法。 核心思想是借鉴二维纹理图像的分析方法，使用e m 算法2 9 j 对样本自动分 析，获得整个样本的纹理基元及其统计分布，并利用线性系统分别记录纹理基 元的特征。 。 d i 尔人学硕十宁仲论文 ( 2 ) 流水视频序列的合成方法 该方法参照样本纹理基元的统计分布特征对纹理基元排序，然后利用对纹 理基元添加约束的方法合成流水视频。 2 、针对不同形态的动态流水进行实验来检验算法的有效行和可行性该 部分分别对平静的湖水、形态自由的泉水和平稳流动的河水三种有代表性的流 水场景进行实验，并给出了实验结果和比较分析 r 本文对动态纹理进行了详实的论述，并在此基础上提出了基于动态纹理的 流水效果合成技术。经实验证明，本文方法可以对视频水样本进行自动分析， 合成满意的效果，且计算开销小，执行效率商。 关键词动态纹理：纹理基元；统计方法；线性系统；纹理合成 i i 山东人学硕十中竹论文 a b s t r a c t s c e n ee m u l a t i o ni st h ec o m p r e h e n s i v ea p p l i c a t i o no fn e wa n dh i g ht e c h n o l o g y ， s u c ha sc o m p u t e rt e c h n o l o g y ，g r a p m ca n dt m a g ep r o c e s s m g ，3 - da n ds t e r e oa n ds o o n a sc e n t r a lc o m p u t e rt e c h n o l o g y , s i n c et h ed a yo fi t sb i r t ho fi n f o r m a t i o n t e c h n o l o g y , t h ed e v e l o p m e n tw h i c hh a sg o n et h r o u 曲m o r et h a n5 0y e a r sa r i s e s ，h a s a l r e a d ya p p l i e dt on a t i o n a le c o n o m ya n ds o c i a ll i f ee x t e n s i v e l y t h es y n t h e s i sf o r d y n a m i cw a t e rf l o wi so fr e l a t i v e l yh i g hp r a c t i c a lv a l u ei nd e s i g no f v i r t u a lr e a l i t y , c o m p u t e rg a m e s ，d i g i t a lm o v i e sa n ds c i e n t i f i cc o m p u t i n g e t c s o m en a t u r a lp h e n o m e n a , f o ri n s t a n c e ：w a t e r ，c i g a r e t t e ，f o g ，e t c ，t h ep h y s i c s m e c h a n i s mo fp r o d u c i n gt h e mi sv e r yc o m p l i c a t e d , i ti sv e r yt e d i o u st ob e c o m e a r r a y si nt e r m so fm o d e l i n gd i r e c t l y , i tw i l lc o n s u l t l eal a r g ea m o u n to ft i m e , a n d e f f i c i e n c yi sv e r yl o w h o w e v e r , u t i l i z et h eo r d i n a r ym e t h o d ，s u c ha sd v ，av i d e o s a m p l et h a tc a l lg a t h e rs m a l lc o n v e n i e n t l y t h r o u g ha n a l y z i n g ，w ew i l lg e ts o m e s t a t i s t i e sc h a r a c t e r i s t i c so ft h i sl i u l es e c t i o no fv i d e o sa r r a yl i k et h i s , o n e st h a tw r i t e d o w nt h i sc h a r a c t e r i s t i ca n df o r m a tn e w l ya n dv i d e oa r r a yw i t ht h e $ a m es t a t i s t i c s c h a r a c t e r i s t i co ft h i ss e c t i o no fv i d e o sa r r a y t h e r ei sn or e p e a t e dl e v e la n ds m o o t h v i d e oa r r a yt ot h u sp r o d u c ed e f i n i t e l y t h ed y n a m i ct e x t u r e se x i s te x t e n s i v e l yi nt h en a t u r e , s u c ha sw a v e , w a t e r f a l l f l a go fw a v i n g , af l o c ko fb i r d sh o v e r i n g , e t c i tm e a n sa r r i v i n gp r e s e n ts u r f a c e s t r e t c h ( p o l y g o n ) h a v ed e f i n i t e l yt ot i em a n yp i e c e so ft e x t u r ei m a g e s , u s i n gs o m e t e x t u r ei m a g e st h r o u g hn a n l e f o re x a m p l e ：i tc a nr e a l i z et h er e s u l to ft h es i m u l a t i o n f o u n t a i nb ys h o w i n gw i t hc e r t a i nt i m ei n t e r v a l i nc e r t a i no r d e rs e v e r a lr e l e v a n t i m a g e sw h i c hi m i t a t et h ef o u n t a i nr e s u l t a n da d o p t i n gt r a n s p a r e n tt e x t u r ea n d s h i n n i n gu p o nt e c h n o l o g ya n db i l l b o a r dt e c h n o l o g y i na d d i t i o n , d y n a m i ct e x t u r e t e c h n o l o g ya r ea l lv e r ye f f e c t i v ef o rm o v i n gp e r s o n , w a t e ro ff o u n t a i n , f a g , f l o w w a v i n g , l i g h t sf l i c k e r e dt os p o r t s ，e t c a n o t h e rk i n do f m e t h o do ft h ed y n a m i cr e s u l t i st ou i t s e l ft od r i v et h et e x t u r e so ft h ea t t i t u d er e s u l t ；i ft h ef i l eo fm p e gf o r mi s s t u c kt oab i l l b o a r dn o d er e a l i z e st h ed y n a m i cr e s u l t t h i sp a p e rh a sc a r r i e do nr e s e a r c ht ot h er e s u l ts y n t h e t i ct e c h n o l o g yo ff l o w i n g w a t e rb a s e do nd y n a m i ct e x t u r e s ，h a v i n gp u tf o r w a r dt h em e t h o do fu t i l i z i n gt h e d y n a m i ct e x t u r e sm o d e lt ot u r ni n t ot h ed y n a m i cf l o w i n gw a t e r , a n dm a i nr e s e a r c h w o r ki sa sf o l l o w s ： 一 l 、p r e s e n t i n gt h em e t h o da f t e rp u t t i n gf o r w a r dt h ef l o w i n gw a t e rr e s u l tb a s e d 山尔人宁顾十学f j ，论文 o nd y n a m i ct e x t u r e t h em a i ni d e aw i l li n c l u d i n ga sf o l l o w s ： ( 1 ) a n a l y z i n go n es m a l ls e c t i o no ff l o w i n gw a t e rv i d e os a m p l et h a th a sa l r e a d y k n o w nm a i n l y , p r o d u c et h el o n ga n ds m o o t hd y n a m i cw a t e ra r r a yt h a tf l o w i i m i f l e s s l yi nc o n f o r m i t yw i t ht h i ss a m p l ec h a r a c t e r i s t i c i t sk e yt h o u g h ti s t h e a n a l y t i c a lm e t h o df r o mt h et w o - d i m e n s i o n a lt e x m r e s w ew i l la n a l y z et h es a m p l e a u t o m a t i c a l l y , o b t a i nt h ew h o l es a m p l e st e x t o n s ，a n du t i l i z et h el i n e a rs y s t e mt o w r i t ed o w nt h ec h a r a c t e r i s t i co f s a m p l e st e x t o n sr e s p e c t i v e l y ( 2 ) s y n t h e t i cm e t h o do ft h ev i d e oa r r a yo ff l o w i n gw a t e rw ew i l lu t h e m e t h o dt or e s t r a i nt e x t o n sa n dg o tt h ef l o w i n gw a t e ra c c r u e 2 、e x a m i n i n ge f f e c t i v ec o m p e t e n ta n df e a s i b i l i t yo fa l g o r i t h mb ye x p e r i m e n t f o rd i f f e r e n tf l o w i n gw a t e rs c e n eo ff o r m t h i sp a r tc a r r i e so nt h ee x p e r i m e n tt ot h e c a l ml a k e f r e es p r i n ga n dr i v e r w es h o wt h ee x p e r i m e n tr e s u l ta n dc o m p a r a t i v e a n a l y s i sa tl a s t k e y w o r d s ：d y n a m i ct e x t u r e s ，t e x t o n s ，s t a t i s t i c sm e t h o d ，l d s ，t e x t u r e ss y n t h e s i s 原刨性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名：丞萱日 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保 留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅；本人授权山东大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本 学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：熟墨导师签名：么丝终日 山东大学硕+ 学伊论文 第l 章绪论 1 1 背景及意义 各种动态流水效果广泛应用于虚拟现实应用、计算机游戏、数字电影和动 画以及科学计算可视化场景中，因此利用计算机模拟流水效果一直是计算机图 形学和虚拟现实领域的研究热点之一。已有的流水模拟方法分为两类，一类是 基于流体力学上的n a v i e r s t o k e s 方程，对给定输入条件，通过计算生成动态 流水效果1 l ；另外一类是基于视频的合成方法，即给定段流水视频作为样 本，采用纹理合成技术，模拟生成时间上持续更长的动态流水视频【2 l 。基于流 体力学原理的流水效果计算方法，计算量大，不能达到实时要求，且只能合成 流水形态变化不大的场景，如平静的海平面，河水等，很多流水效果，如涡， 流、浪花等现象的模拟并没有达到视觉上逼真的效果，无法满足真实感绘制的 要求。基于视频合成的方法，是纹理合成技术的一类，该方法主要通过分析帧 之间的相关性，对帧重新组合获得流水效果，合成效率高，但方法容易造成视 频纹理重复且容易导致生成的视频图像模糊。 动态纹理是指描述某种动态景观的具有时问相关重复特征的的图像序列。 它们在自然界中广泛存在，比如海浪、瀑布、飘扬的旗帜、飞翔的鸟群等等 基于动态纹理的合成方法不需要了解特定现象的物理规律和相互作用，只要求 输入一定长度的动态纹理视频样本，通过对样本的学习或者处理，得到它们的 表示形式，并在此基础上合成有限或者无限长度的新视频。 动态序列由一维时空随机过程产生，可以被当作是一个统计过程。线性动 态系统可以很好地记录在动态序列中重复出现的部分所共有的动态特性。而对 纹理基元的分布。在动态纹理模型中使用一阶马尔可夫过程描述，这可以表示 成一个转移矩阵。因此，本文提出基于动态模型的流水效果合成技术的方法。 从系统的角度，动态纹理只是描述某种动态景观的系统的输出图像序列， 该系统模型称为动态纹理模型。由于模型表示能力的局限性( 比如我们很难建 立一个模型来表示整场电影) ，通常要求输入和输出图像序列具有稳定的内容 和一定程度的运动形态重复特征。这种重复特征和纹理图像是类似的，前者的 视觉重复特征在二维平面展现，后者则体现在以帧为单位的一维时问轴上。同 “i 尔人学硕十学何论文 样表现动态场景，动态纹理和具有固定长度的一段视频不同，后者可以看作是 前者的一个样本。动态纹理总是和描述它的动态系统同时存在，只要模型能力 允许，动态纹理可以是任意长度的、实时输出的，这一点对于我们进行流水效 果合成技术的研究具有重要的意义。 1 2 流水场景合成技术的相关研究 研究初期人们从流体力学的角度，通过对水进行物理建模的方法，生成如 海平面、波浪、河水等视觉效果。但由于当时计算能力有限，采用该方法，需 要进行大量计算，生成效率较低。在此基础上，后来又研究采用参数建模的方 法，如文献【3 】通过将波浪函数表示成一系列线性波型的组合，更进一步将各个 波型简化为波形和相位的组合函数，从而合成浅水表面高度场，能处理波折射 问题。并采用粒子系统来模拟当波浪破碎或者碰到障碍物的时候形成的浪花。 为克服单纯高度场不能模拟水面折叠效果的问题，文献 1 4 】基于g e r s m 豇 模型， 采用拉格朗日粒子来模拟波浪参数表面，通过海底深度和坡度来来控制正弦函 数波形。但在这2 篇文献中，表示水的粒子或者网格只是在其初始位置附近运 动，所以它们都无法表现真正的流动效果，也无法处理边界给水面带来的影 响。近年来随着计算机处理速度的提高，很多学者应用该方法生成流水效果的 动画【1 2 】，得到了较好的效果，但由于计算速度慢和不能产生动态流水效果， 因而不能满足真实感的要求。 j ：t - ； 1 9 8 7 年m a s f i ne ta 1 1 5 】提出利用海洋统计和经验模型，采用大量正弦曲线 的叠加来模拟海面，通过快速傅立叶变换( f f t ) 合成一个类似于真实海浪谱 分布的高度场。该方法可以很好地描述波幅较小的水平面。但是对于以上这些 模型，人们觉得控制起来很困难，而且不能模拟一些复杂的、细节更为丰富的 效果。 。 ； 近年来人们开始尝试利用视频产生需要的动态流水场景b a r - j o s e p h 1 6 ， w e i 1 7 ，s c h o d l 2 【7 】。方法从视频样本入手，在分析样本特征的基础上对动 态纹理加以合成，方法简单有效，且运行效率高。s c h o d l 2 6 f t 方法通过判断帧 日j 的相关性，重组帧的顺序获得合成视频，不仅适用于流水等非结构性纹理， 对结构性纹理也获得了较好的效果，但方法由于不改变输入视频帧的内容合成 的视频有时会出现重复的序列，且容易发生模糊，对某些常见的现象如海浪、 2 1 l ij 东大学硕十学伊论文 人的运动等处理效果不好。 1 7 】，【1 6 】与【2 】的主要不同是【1 7 】、【1 6 分别采用 不同的方法对每一帧内容重新合成，得到一组新的视频，从而合成的质量有所 改善，但合成效率较低。 s t e f a n os o a t t o 在【7 】中给出了动态纹理的定义文章提出利用动态模型获得 一个基本的动态纹理，然后计算模型参数，进行二次计算，可在有效时间里生 成无限长的视频序列，并针对烟、雾等自然现象实验，取得了良好的效果，但 无法有效控制基元的预测方向。李延等在2 0 0 2 年发表了 m o t i o nt e x t u r e s ”一文 1 0 】，提出基于二层统计模型的运动纹理分析合成技术，对人体运动进行分析 合成取得了很好的效果。本文就是在此研究基础上，将有效合成人体运动的运 动纹理模型运用到解决动态水纹理的合成问题，通过对纹理基元添加约束，增 强动态模型的预测能力，取得了较理想的效果。 圈i - 1 s t e f a n os o a t t o 的实验结果( a ) 河水序列( b ) 烟序列( c ) 马桶序列( d ) 人脸表情其中上面 一行为原始样本序列，下面一行为系统预测得剑的 d f 尔大宁硕十学付论文 1 3 动态纹理合成技术 3 9 l 目前，和动态纹理相关的几项工作对所研究的对象各自提出了不同的称呼 和定义，除了动态纹理外，还有时间纹理，时变纹理和视频纹理，它们只是从 不同的角度描述了动态纹理的特征，定义了动态纹理的一个子集或者等价集 合。 1 3 1 时间序列分析方法 ， 作为按时间顺序排列的一组数据，动态纹理是典型的时间序列，应用时间 序列分析的方法合成动态纹理是一种自然而有效的方法。时间序列分析主要指 采用参数模型( 特指a r m a 模型) 对所观测的有序的随机数据进行分析与处 理的一种数据处理、系统辨识和系统分析方法【4 】。 1 3 1 1 时间纹理方法 s z u m m e r 和p i c a r d 提出的时间纹理模型【5 ，6 可以算是该领域最早的工 作，他们采用时一空自回归( s t a r ) 模型表示动态纹理，s t a r 模型是自回 归( a r ) 模型的三维扩展形式； p s ( 五弗，) = 痧i s ( x + v x , y + v y ，+ 1 劝+ a ( 五只，) ( 1 1 ) i = l 一 其中舞为时间序列参数，a ( 毛y ，t ) 为随机输入信号，实际假设为高斯白噪 声，p 为模型的阶数，实际只验证了一阶和二阶模型。s t a r 模型将动态纹理 的数据( 即象素) 表示为相邻数据的线性组合。乳，跏和v f 为象素在三个 方向上的增量，三者确定了动态纹理中象素的三维相邻空间结构。为了简化模 型参数的估计，假设象素间存在因果相关关系加入因果关系约束后，动态纹 理中的任一象素只能表示为非对称空间( 如空t o v ( t = o y j ) 将帧距离见+ 1 ，j 转 化为从第i 帧到第j 帧的跳变可能性在合成动态纹理时，当播放到第i 帧， 就找出只j o j + 1 ) 中的最大值忍七，然后从k 和i + l 中随机选择一帧作为要播 放的下一帧。 应用以上方法，s c h o d l 等人成功合成了蜡烛的火焰、钟摆、飘扬的旗帜， 脸部运动、瀑布动态纹理，但对麦浪、海岸波浪动态纹理的合成效果不佳，原 因是在这些动态纹理中难以找出合适的跳交点对于任意两帧都不相似的动态 纹理，视频纹理方法不再有效。由于合成过程的计算量小，视频纹理方法完全 能够进行实时合成。 7 山尔人学硕七学付论文 1 4 本文工作与结构安排 本文的研究目的在于利用已有的各种视频水样本，通过自动分析系统获得 视频样本的动态纹理基元，在此基础上合成与原样本具有相同统计特征但视觉 上不同的动态水场景，并使其能够在给定时间里平滑流动。本文内容主要包括 下面两部分： i 、基于动态纹理模型的流水效果合成技术：主要阐述动态纹理模型的理 论基础，详细论述利用此技术合成动态水场景的详细算法。该算法包括动态水 纹理的自动分析和流水视频序列的合成方法两部分 2 、实验与讨论：针对不同的动态水场景进行实验，验证该方法的有效性 和可行性实验对象包括平静的海平面样本，静静流动的河水样本、离散性较 强的泉水样本，在这一部分将给出详细的实验过程，并就实验效果加以讨论分 析。 论文第二部分给出了相关概念及理论基础，详细阐释动态纹理及动态纹理 模型的结构表示，第三部分系统论述动态水纹理分析与合成的主要算法，第四 部分对三种流水场景实验，给出了实验结果。第五部分给出本文的结论，并讨 论将来的工作。 山东人学硕十学竹论文 第2 章预备知识 2 1 纹理基元和动态纹理基元 到目f i 为止人们对纹理的概念还没有一个准确和统一的定义。j a i n “3 1 认 为： 纹理是对图象的象素灰度级在空间上的分布模式的描述，反映物体的质 地。如粗糙度、光滑性、颗粒度、随机性等；纹理描述方法中的结构法认为复 杂的纹理由一些简单的纹理基元( 基本纹理元素) 以一定的有规律的形式重复 排列组合而成。 圈2 1 纹理基兀 二维纹理图像中，纹理反映的是亮度( 灰度) 的空间变化情况，有三个主 要标志：某种局部的序列性在比该序列更大的区域内不断重复：序列由基本部 分非随机排列组成；各部分大致都是均匀的统一体，在纹理区域内的任何地方 都有大致相同的结构尺寸。这个序列的基本部分通常称为纹理基元。本文中提 到的动态纹理基元主要针对视频序列，认为样本序列是由若干纹理基元构成， 每个纹理基元包含连续的若干帧，能表达一定的视觉效果。为了简单起见，下 面论述中对所有动态纹理基元均简称为纹理基元。 9 东人予硕十中侍论文 图2 2 基于m r j q 奠掣的纹理合成 图2 3 分别采用e f r o s 和l e u n g ，w e i 和l e v o y 、基于样本的 算法得到的纹理合成的结果 2 2 线性系统及其纹理基元表示 一般情况下，系统是指接受一个输入，并产生相应输出的任何实体。若输 入的是包含变量的函数x ( t ) ，则系统的输出为y ( o 。线性系统是指当分别输入 s l ( t ) 和x 2 ( t )，系统的输出分别为y i ( t ) 和y 2 ( t ) ，而当输入1 ( f ) + 也( f ) 时，系统输出 为y l ( t ) + y 2 ( t ) 的特定系统。本文使用线性系统来表示每个纹理基元，t ( t 为纹 理基元中的第t 时刻) 表示系统输入的状态变量，以表示系统输出的结果，即t 时刻的视频图像。 2 3 统计方法 现代科学研究的过程就是一个对自然界建立模型的过程。长期以来，科学 和工程研究都建立在描述物理、生物、和社会等系统的基本原理的基础之上。 t 即从基本的科学模型出发( 例如牛顿物理定律或麦克斯韦电磁方程) ，在不同的 1 0 l i j 尔人学硕十学伊论文 应用领域( 如机械工程或电子工程) 利用基本科学模型解决具体的实践问题。统 计学习方法则完全不同。它并不需要理解系统的基本原理。只要有足够的观测 数据，就可以利用统计学习的方法建立系统的统计模型。 使用统计学习方法的原因主要有两点：首先，在很多应用领域中，描述系 统内在因素的基本原理是未知的。或者即使知道其基本原理，由于系统过于复 杂也难以用数学精确描述。而另一方面，由于计算机和传感器技术的发展，直 接收集大量的观测数据变得十分简单。在缺乏基本原理模型时，可以利用这些 观测数据来估计系统内部参数和其相关关系，从而从数据中得到需要的模型。 其次，一个复杂系统的行为本身往往包含有随机性。这种随机性既可能是系统 的内在机制，也可能来源于系统中某些没有观测到的因素利用统计学习方法 对这类系统建立模型是最自然的选择。 统计学习提供了一种描述系统非确定性的方法可以从概率密度估计、函 数逼近等不同角度看待统计学习问题。本文中把学习问题定义为利用有限数量 的观测数据来寻找待求系统结构或者未知( 输入、输出) 依赖关系的问题 图2 4 一个用来学习系统愉入和愉出关系的学习机的结构框图 具体来说，个学习场景包含以下三个基本组成部分，如图2 4 所示： l 、样本产生器r ( g e n e r a t o r ) 样本产生器( 或者说统计分布采样器) 通过独立采 样概率密度p ( x ) 的过程产生随机变量j 乳d 采样过程在统计术语中称为观测 过程。与一般依照特定目的设计的实验过程不同，采样器的采样过程不受系统 和学习机的影响。 2 、系统( s y s t e m ) 系统具有某些固定的特性。即它依照固定的条件概率密度 p ( = 肛) 对每个输入样本x 产生输出y 这里条件概率密度是未知的。 3 、学习机( i 船m i n gm a c h i n e ) 在通常情况下，学习机能够实现一定的函数 集f 【x ，) ，0 其中0 是一组抽象的参数的集合。这晕q 没有具体含义，可 以把它当作一组函数集合的索引。 山尔夫学硕十学仲论更 学习的问题就是从给定函数集舣，( i ) 中选择出能够最好的逼近系统响应的 函数。这种选择是从于训练集的。而训练集是指从联合分布p ( x ，y ) 中得到的1 个独立同分布( i i d ) 观测样本( 1 ，以) ，( x 1 ，) 的集合 2 4 动态纹理模型 2 4 1 动态纹理的定义 动态纹理是表现动态场景的某种固有特性的视频序列。这类视频序列包括 海水波纹、烟、叶片纹理、旋涡、以及讲话的1 2 形、交通场景等。 对于一帧图像，如果它来源于基于稳定空间统计的平稳的随机过程，就可 以说它是一个纹理。这一定义与早期对纹理的讨论，从直觉上看来是一致的。 很显然，对于图像序列( 动态纹理) 而言，单一的图像不是独立存在的，在处 理时需要得到很短时间内序列之间的本质联系。因此，以下将假定单幅图形是 一个动态系统的输出，该动态系统来自一个独立同分布随机过程。下面我们将 用一段有限的动态纹理精确地定义这一概念。 给定一段视频序列，记作 i ( d 仁1 丁。假设在任意时刻t 可测出图像的噪 声i i ( t ) ，且观测序列为y ( t ) ，“d r ”，t = l r 4 。所以y ( t ) = i ( t ) + ( t ) 。其中o j ( t ) 服 从已知独立同分布5 0 ( - ) 本文就把序列 “t ) 称为( 线性) 动态纹理该纹理 存在n 个空间滤波器屯，o f l 1 1 ，和一个平稳分布q ( ) ，记x ( t 产m ( i ( t ) ) ，得到 蠡 。一 $ ( t ) = a z ( t - i ) + b v ( t ) v ( d 服从q ( ) 分布，a 0 = 1 七) ，b 为系统的参数矩阵。初始条件z ( o ) = 叼 不考虑能量损耗，k l ，则虿( t ) ：【z ( t 尸z o 一1 尸z ( k ) t i t 从中可以看出， 一个动态纹理系统与个未知输入分布的a 眦模型相关，记作 f ：嚣篱嚣 ， ! 0 ) = ( z o ) ) + u ( ) 、 硝o ) ：z o ，v ( t ) 粤g ( ，) 未知，u ( t ) 粤厶( ) 已知，i ( t ) ：毒( “t ) ) 。显然，可以 将定义由x ( t + 1 ) = f ( x ( t ) ，v ( t ) ) 扩展到非线性模型，定义非线性动态纹理 上面定义动态纹理时提到待选滤波器，d = l n ，滤波器的选择成为学习 山东大学硕十学何论文 已知动态纹理的一部分。 选择合适的滤波器要考虑生物运动，计算效率等几个方面，有一些规则可 以参考。通常，m 是相互独立的，将动态系统看成由单个象素构成x f t ) = i ( t ) 见 ( 3 1 ) 式 。本文将瘴波器的选择视为维度归约，在简单( 线性) 形式中将图像 分解 n 邢) = 吃( t ) 吃= 盘( t ) ( 2 - 2 ) i = 1 这里c = 【q ，色，】，o 是p 的标准正交基，乎是主要元素的组合或指 滤波器的组合。 2 4 2 动态纹理模型 动态纹理模型是一个包含两层结构即纹理基元层和纹理基元分布层的模 型使用两层模型可以很好的描述动态流水的特性，首先，底层的线性动态系 统和高层的状态转移矩阵分别对应于一个复杂系统的局部和全局动态特性其 次，引入纹理基元的概念可以表示一个动态序列中出现的重复模式。 2 4 2 1 基元表示层 纹理基元层由若干纹理基元构成，每个纹理基元都是一个独立的线性系 统。模型结构见图3 - 1 图2 5 动态纹理模型的纹理基兀层表不，其中， i ，匕分别 表示一段视频序列的从o 到涟续帧 如图所示，该模型的底层是一个由n 个纹理基元组成的集合 t = t 1 ，乏，t 每个纹理基元都包含待确定的参数全部纹理基元的参数 记为o = 0 1 ，0 2 ，啊 为了学习模型参数e ，需要将原始动态序列分割成n 段。每一段对应于某一个纹理基元。同一个纹理基元可能对应于几个不同分 山自：人学硕十学忙论文 段，这意味着序列中会重复出现的纹理基元，即n n 。文章中对视频样本分析 时要求，每个纹理基元的长度不必相同，但应该包含一定的语意，即 增柬帧一y 起始帧 ，k 。，这里五n i 。由不同的样本状态人为给定。 每个纹理基元都用一个线性系统表示，其对应的线性系统方程如下： x t + l = ax t + b y t ， yt=ctxt+mt(2-3) 其中心n ( o ，i ) ，q n ( 0 ，r ) 分别为相互独立的高斯噪声，f a ，b ， c j 记为每个线性动态系统的参数 2 4 2 2 基元的统计分布层 这里假定纹理基元满足一阶马尔可夫分布，纹理基元之间的跳转概率可以 由下面转移矩阵表示： 锄2 p 唆2 j t l k _ 1 2 0 ( 2 4 ) 其中和一1 分别标记两个相邻的动态纹理基元，j 和i 分别为第， 和一l 纹理基元中的第j 帧和第i 帧图像，p 表示由第i 帧到第j 帧的跳转概 率a 因此，转移矩阵g i j 的规模为m * n ，其中m ，n 分别为和一1 纹理基元的 帧数。 2 5 几个重要概念 2 5 1 随机过程 随机过程是一连串随机事件动态关系的定量描述。随机过程论与其他数学 分支如位势论、微分方程、力学及复变函数论等有密切的联系，是在自然科 学、工程科学及社会科学各领域研究随机现象的重要工具。一般来说，把一族 随机变量定义为随机过程。在研究随机过程时人们透过表面的偶然性描述出必 然的内在规律并以概率的形式来描述这些规律，从偶然中悟出必然正是这一学 科的魅力所在 以下是从概率空间的角度阐述随机过程的数学定义： 设( o ，f ，) 是一个概率空日j ，t 是一个实数集。 x ( t “，) ，t t ，u n 是对应 于t 和u 的实数，即为定义在t 和q 上的二元函数。若此函数对任意固定的。 4 山东大学硕十学位论文 t e t ，x ( ( 1 ，t ) 是( q ，f p ) 上随机变量，则称 x ( u ，t ) ，t ，u q 是随机过程。 2 5 2 马尔可夫过程 马尔町夫过程是具有无后效性的随机过程。它的原始校犁 尔n j 夫链，由 俄国数学家a a 马尔可夫于1 9 0 7 年提出。在现实世界中，有很多过程都是马 尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候 车人数等，都可视为马尔可夫过程。关于该过程的研究，1 9 3 1 年a h 闸尔莫 哥洛夫在概率论的解析方法一文中首先将微分方程等分析的方法用于这类 过程，奠定了马尔可夫过程的理论基础。所谓无后效性是指：当过程在所 处的状态为已知时，过程在大于岛n 的时刻t 所处状态的概率特性只与过程在 t r n 时刻所处的状态有关，而与过程在钿时刻以前的状态无关本文将动态水 的流动过程看作一个马尔可夫过程，每一时刻的图像对应该过程中的状态。 2 5 3 高斯分布 高斯分布也叫作正态分布，是概率统计和误差理论中最重要的一种分布。 数学中的中心极限定理证明：如果一个随机变量是由大量相互独立的随机因素 影响造成的( 不管这些随机因素本身服从什么分布) ，那么这个随机变量就服 从或近似服从高斯分布因此，由不能控制的大量偶然因素造成的测量的随机 误差就服从或近似服从高斯分布。高斯分布的重要性还在于许多非高斯分布的 其他分布都与高斯分布有密切联系 仕一a ) 2 一 一 ，一i 一 设随机变量x i 的概率密度函数为：烈= 去8 2 矿，一 善 o o ，则 称随机变量x 服从参数为a 。0 2 的高斯分布( 或称正态分布) ，记为 x 一( a o ) 。本文中选择高斯分布作为动态模型和观测模型中的噪声估计。 2 6 本章小结 本章介绍了论文中常提到的几个概念，如纹理基元、线性系统、动态纹理 基元：系统介绍了动态纹理的定义，详细阐述了动态纹理模型的结构。本章是 论文工摆的理论基础，是论文研究思想和算法的模型基础。 l ， i j i 东大学硕十学伊论文 第3 章动态水纹理的分析与合成 3 1 动态水纹理基元的自动分析 假设有一段动态水纹理样本，记为 “t ) ，t = o ，l 一模型对应的线性 系统的参数 = a ，b ，c ，设图像的可靠性指标为p ( t ) ，p 2x t x t ，其中为 使用线性系统运算时t 时刻的过程状态变量，置为原线性系统中t 时刻的状态 变量，则定义图像的失真率为1 - p ( t ) 。 3 1 1 动态水纹理基元的分割 酬算法洲 ， e m 算法最早是1 9 7 7 年，由d e m p s t e r 等人在处理不完全数据的学习问题 时提出的方法很快人们发现e m 算法可以推广到一般的模型学习过程中。特 别是，e m 算法是混合高斯模型、隐马尔科夫模型等得到广泛应用的模型的基 本学习算法m c l a c h l a n 总结了e m 及其各种改进算法的理论和应用实例。 e m 算法从指定的参数初值出发迭代更新模型参数。每一个迭代周期包含 两步：在e ( e x p e c t a t i o n ) 步，假定当前模型参数正确，使用统计推断算法，结合 观测数据和计算隐节点的分布：在m ( m a x i m i z a f i o n ) 步，假定) r 步得到的统计分 布是正确的，可以直接利用最大似然准则更新模型的参数。 具体来说，假定可观测状态集合为y ，隐含状态集合为x 。描述 x ，y ) 的 联合概率的模型参数为0 ，记联合概率为p ( x ，y 10 ) 。给定观测数据y ，利用最 大似然准则估计模型参数，即： 0 = a r gm a xt ( o ) = a r gm a xl o ge(ylo)(4-1) 口口 对于上式中的似然函数，可以做如下变换： t ( o ) = l o ge ( y t o ) 2 ( 五y 心l 。g p ( y 1 0 ) = ( j l y 。护。g 鼽j l o ) - 1 0 9 利，p ) 2 ( ：r l y ，护。gp ( y , x l 一) + h ( p ) = f ( 尸，一) 4 2 ) l i 女：人中硕十学伊论文 其中勺( 石1 只口) 表示分白为p ( x l y , o ) 的随机变量x 上计算期望。由于x 真实的分布密度x 一名= 尸( j i j ，口) 是未知量，可以从一个初始分布尸出发，把 f ( p 口) 改写成： 聃口) 2 辱( 石ij ，口) 1 0 9 鼽石i p ) - l o g p ( j i y 删 = _ d ( p i i p o ) + h ( p ) ( 4 - 3 ) 这样e m 算法的迭代过程可以用，( 尸，表示为 ， e 步更新隐含状悉的分布： ( ) ：a r gi i 皂x ，( 芦，一1 ) ) ( 4 4 ) p m 步更新模型参数： 以) ：a r gm x ，( ( ，p ) ( 4 - 5 ) p 这里t = - i 2 表示迭代次数。 可以看到e m 算法的每一步都在使一个能