（计算机软件与理论专业论文）变分光流计算的数学模型及相关数值方法.pdf

摘要 光流是指图像中模式运动的速度。光流不仅包含了被观察物体的运动信息，而 且携带着有关景物二维结构的丰富信息。尽管光流只是真实运动信息的投影，但是 它可以被应用于很多方面的研究，诸如目标分割、识别、跟踪、机器人导航以及形 状信息恢复等极其重要的任务。对光流的研究成为计算机视觉及有关研究领域中的 一个重要部分。 光流场的估计是基于视频图像运动分割及对象跟踪的基础。与光流计算的其他 方法相比，变分方法在模型通用性、建模的自动化与精确性、稠密光流场的获得等 方面具有明显的优越性，能为不同类型的光流场提供统一的数学描述框架，并能得 到较准确的光流场，因而成为光流计算的主流方法之一。h o r na n ds c h u n c k 提出的 变分方法是其典型代表。使用该方法，可根据亮度变化及视频图像中包含的运动成 分等定义，由数据项和光滑项构成的能量泛函，通过变分方法获得光流计算的 e u l e r - l a g r a n g e 方程，并通过差分方法进行离散求解。本文的研究内容之一就是基 于该方法的光流计算的数学模型和数值方法。 本文的另一研究内容是在h - s 模型基础上，进行了拓展研究。首先建立了变分 光流计算的数据项，能有效地计算光亮度不变、光亮度梯度不变、光亮度散度不变 等假设前提下光流场计算的6 种情形，推导了数据项设计的策略和方法。然后，以 图像扩散模型为基础，推导了5 种光滑项设计的方法，包括均匀扩散光滑项、线性 各项同性、线性各项异性、非线性各项同性、非线性各项异性光滑项，适于不连续 运动光流场的计算。最后，建立了通用的基于变分方法的光流计算的通用 e u l e r - l a g r a n g e 方程，推导出相应的半隐式差分格式；并就典型的数据项和光滑项建 立了考虑大位移光流场计算的数学模型。 硕士研究生：宋岩军( 计算机科学与技术) 指导教师：潘振宽教授 关键词：计算机视觉；光流；变分法；差分法 a b s t r a c t o p t i cf l o wi st h es p e e do fm o d em o v e m e n ti ni m a g e s o p t i cf l o wn o to n l yc o n t a i n s m o v e m e n ti n f o r m a t i o no fo b i e c t so b s e r v e d ，b u ta l s oc a r r i e sa b u n d a n ti n f o r m a t i o no f t w o d i m e n s i o n a ls t r u c t u r ef e a t u r e s a l t h o u g ho p t i cf l o wi so n l yt h ep r o je c t i o no ft h et r u e m o t i o no ft h es c e n e ，i tp r o v e st ob eu s e f u lf o rav a r i e t yo fd i f f e r e n tt a s k s ，s u c h 觞o b j e c t s e g m e n t a t i o n ，d e t e c t i o n , t r a c k i n g ，r o b o tn a v i g a t i o na n di n f o r m a t i o nr e c o v e r ya n ds oo n o p t i cf l o wh a sb e c o m ea ni m p o r t a n tp a r ti nc o m p u t e rv i s i o na n d r e l a t e dr e s e a r c hf i e l d s o p t i cf l o wf i e l de s t i m a t i o ni st h ef o u n d a t i o no fi m a g es e r i a l ss e g m e n t a t i o na n do b j e c t t r a c k i n g c o m p a r e dw i t ho t h e ro p t i cf l o wc a l c u l a t i o nm e t h o d s ，v a r i a t i o n a lm e t h o d sh a s o b v i o u sa d v a n t a g e si nm o d e l i n ga u t o m a t i o na n da c c u r a c ya n dd e n s eo p t i cf l o wo b t a i n e d ， w h i c hc a np r o v i d eau n i f i e dd e s c r i p t i o no ft h em a t h e m a t i c a lf r a m e w o r kf o rd i f f e r e n t t y p e so fo p t i cf l o wa n dc a ng e tm o r ea c c u r a t eo p t i cf l o w t h u s ，v a r i a t i o n a lm e t h o d sa r e a m o n gt h eb e s tp e r f o r m i n ga n dt h eb e s tu n d e r s t o o dt e c h n i q u e sf o rc o m p u t i n gt h eo p t i c f l o w t h ev a r i a t i o n a lm e t h o d ss u g g e s t e db yh o r na n ds c h u n c ka r et y p i c a lo n e u s i n gt h i s m e t h o d ，w ec a nd e f i n ee n e r g yf u n c t i o n a lw i t hd a t ai t e ma n ds m o o t h n e s si t e m t h r o u g h v a r i a t i o n a lm e t h o d s ，t h ee u l e r l a g r a n g ee q u a t i o no fo p t i cf l o wc o m p u t a t i o ni so b t a i n e d a n dt h r o u g hd i f f e r e n t i a lm e t h o dd i s c r e t es o l u t i o n sc a nb eg o t t e n o n er e s e a r c ho ft h i s a r t i c l ei st h em a t h e m a t i c a lm o d e l sa n dn u m e r i c a lm e t h o d so fo p t i cf l o wb a s e do nt h e v a r i a t i o n a lm e t h o d s a n o t h e rr e s e a r c ho ft h i sa r t i c l ei se x t e n s i o nt ot h eh - sm o d e l f i r s t ，w ee s t a b l i s ht h e d a t ai t e m so fv a r i a t i o n a lo p t i cf l o wc o m p u t a t i o n , w h i c hc a ne f f e c t i v e l yc a l c u l a t eo p t i c f l o wu n d e rs i xc a s e s ，s u c ha sb r i g h t n e s sc o n s t a n c ya s s u m p t i o n ，b r i g h t n e s sg r a d i e n t c o n s t a n c ya s s u m p t i o na n db r i g h t n e s sd i v e r g e n c ec o n s t a n c ya s s u m p t i o na n d s oo n t h e n , b a s e do nt h ei m a g ed i f f u s i o nm o d e l ，w ed e r i v ef i v em e t h o d sf o rd e s i g n i n gs m o o t h n e s s i t e m , i n c l u d i n gh o m o g e n e o u sd i f f u s i o n ，l i n e a ri s o t r o p i cd i f f u s i o n , l i n e a ra n i s o t r o p i c d i f f u s i o n , n o n l i n e a ri s o t r o p i cd i f f u s i o na n dn o n l i n e a ra n i s o t r o p i cd i f f u s i o n , w h i c hi s s u i t a b l ef o rc o m p u t a t i o no fd i s c o n t i n u o u so p t i cf l o w f i n a l l y , w ee s t a b l i s hag e n e r a l e u l e r - l a g r a n g ee q u a t i o nb a s e do nt h ev a r i a t i o n a lo p t i cf l o wc o m p u t a t i o n , a n dd e r i v et h e c o r r e s p o n d i n gs e m i i m p l i c i td i f f e r e n c es c h e m e i na d d i t i o n , w ee s t a b l i s hm a t h e m a t i c a l m o d e l so p t i cf l o wc o m p u t a t i o nf o rl a r g ed i s p l a c e m e n tw i t ht y p i c a ld a t ai t e m sa n d s m o o t h n e s si t e m s p o s t g r a d u a t es t u d e n t ：y a n j n ns o n g ( c o m p u t e r ) d i r e c t e db yp r o f z h e n k u a np a n k e yw o r d s ：c o m p u t e rv i s i o n ；o p t i cf l o w ；v a r i a t i o n a lm e t h o d ；d i f f e r e n t i a lm e t h o d 学位论文独创性声明 学位论文独创性声明 本人声明，所呈交的学位论文系本人在导师指导下独立完成的研究成果。文中 依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意义上 已属于他人的任何形式的研究成果，也不包含本人己用于其他学位申请的论文或成 果。 本人如违反上述声明，愿意承担由此引发的一切责任和后果。 论文作者签名： 日期：砷年夕月朋 学位论文知识产权权属声明 本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属学校。 学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校 后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为 青岛大学。 本学位论文属于： 保密口，在年解密后适用于本声明。 不保密日。 论文作者签名： 导师签名。：i i ( 请在以上方框内打“ ) 日期：夕哕年夕月圹日 日期：汐刃年口月, ee l ( 本声明的版权归青岛大学所有，未经许可，任何单位及任何个人不得擅自 使用) 3 5 料旌一獬坂 第一章绪论 1 。1光流计算的变分方法 第一章绪论 基于图像序列的运动信息的估计是计算机视觉研究的主要问题之一。这些运动 信息通常为场景中运动对象的速度及其方向。对由单一相机获取的视频图像，不可 能获得场景的深度，从而无法获得真实的三维运动信息，但可获得这些运动在图像 平面中的投影，这些描述场景运动的二维运动场即为光流，或称为光流场。尽管光 流仅为场景真实运动的投影，但在诸如机器人导航、汽车辅助驾驶、对象跟踪、人 机接口、视频图像压缩、图像配准、立体重建等多个领域取得重要应用。 正是由于上述诸多应用需求大大推动了光流计算方法的研究，这些方法包括局 部微分方法( l o c a ld i f f e r e n t i a lm e t h o d s ) 【l 】，基于特征的光流计算方法( f e a t u r e b a s e d t e c h n i q u e s ) 【2 】，基于区域的方法( a r e a - b a s e da p p r o a c h e s ) 1 3 ，基于相位的方法 ( p h a s e - b a s e da p p r o a c h e s ) 4 1 和变分方法( v a r i a t i o n a lm e t h o d s ) p j 。光流计算的变 分方法由h o r na n ds c h u n c k 于19 81 年提出，该方法首先根据亮度变化及视频图像 中包含的运动成分等定义，由数据项和光滑项构成能量泛函，通过变分方法获得光 流计算的e u l e r - l a g r a n g e 方程，并通过差分方法进行离散求解。与光流计算的其他 方法相比【6 ，7 】，变分方法在模型通用性，建模的自动化与精确性，稠密光流场的获得 等方面具有明显的优越性，因而成为光流计算的主流方法之一，并引起国内外学者 的广泛关注与研究【8 】。 1 2 国内外相关研究 如前所述，基于变分方法的光流计算关键问题之是计算模型的建立，反映在 其能量泛函中即为其数据项和光滑项的抽象。另一个关键问题是对通过变分法得到 的e u l e r - l a g r a n g e 方程进行差分离散与数值计算。 计算模型能量泛函中的数据项决定了模型的逼真度，其设计与光亮度变化及视 频图像中包含的运动类型密切相关，诸如针对光亮度不变假设等【引。在该方面的前 期研究主要集巾在如下两方面的扩展。其一是如何应用非二次惩罚函数设计更稳健 的数据项，以提高模型的计算性能，并有效克服不相关干扰数据对模型的影响；其 二是通过修改数据项以便在光亮度变化，存在大位移及噪声等不同情况下的更精确 的光流估计。针对前者，b l a c ka n da n a n d a n 9 】首先提出引入统计学领域中的m 一估 计函数以降低无关数据对计算结果的影响，他们应用连续模拟退火方法计算得到的 非凸最优化问题。m e m i na n dp e r e z 1 0 】通过加权最, j , - - 乘拟合方法迭代计算与【9 相同 青岛大学硕士学位论文 的问题。h i n t e r b e r g e re ta 1 【1 1 】贝l j 用准凸能量泛函的方法设计稳健估计函数。针对后者， s c h n o r r l l 2 】提出了考虑图像光亮度变化的数据项，n a g e l t ”】基于二阶t a y l o r 展开，提 出了更精确的小位移估计模型；n a g e la n de n k e l m a n n l l 4 1 ，a l v a r e ze ta 1 1 1 5 1 则研究了基 于亮度不变的大位移数据项模型。为提高数据项的抗噪声能力，b r u h ne ta l t l 6 i 提出 了集成局部最d , - - 乘拟合的方法，b r o xe t “1 7 l 则在此基础上建立了基于非线性扩散 的自适应方案。 在变分光流计算模型中，光滑项的作用是使原病态问题变为可解问题，同时， 可使该模型能得到稠密的光流场，其思想源于t i k h o n o v 1 8 】对病态问题求解的规整项 的设计。在变分光流计算方向，前期的研究主要针对两方面的问题，其一是如何保 持运动边界的不连续性，其二是时间空间光滑项的引入和应用。对于前者，n a g e l p 9 j 首先提出有向光滑约束项设计的思想，以克服传统方法对运动边界的模糊；s h u l m a n a n dh e r v e z 0 1 ，h e i t za n d b o u t h e n y l 2 1 1 及n e s i t 2 2 1 应用稳健估计函数基于离散变 分方法实现了运动边界的保持；s c h n o r ra n dw e i c k e r t t 2 3 1 基于连续的变分方法应用类 似的非二次光滑项解决了同样的问题。对于时间空间光滑项的研究，n a g e l l 2 4 1 在其 空间有向光滑项设计的基础上，首次在连续变分模型中提出了空间时间光滑项的概 念。b l a c ka n da n a n d a n 9 】则将已计算出的分段均匀运动光流场作为先验知识，然后 计算时间域上分段光滑的运动场，该方案后被w e i c k e r te ta 1 2 5 1 推广应用于时间域 上运动边界保持。 当能量泛函中的数据项与光滑项确定后，即可通过变分方法解光流计算的 e u l e r - l a g r a n g e 方程，由于视频图像中每帧图像均为矩形，通常采用差分方法对上述 偏微分方程进行离散，并通过显式或隐式、半隐式差分格式进行迭代求解，包括传 统的j a c o b i 方法，g a u s s s e i d e l 方法，超松弛迭代方法等 2 6 , 2 7 。为了提高计算效率， 近年来，许多学者提出采用多层网格方法( m u l t i g r i d ) ，这些方法包括一致方向多网 格方法【2 钔，一直方向变形方法【2 3 1 ，双向多网格方法【2 9 】等。由于本文的研究重点在于建 立系统的光流计算变分模型，因此对这些方法在此不做详细综述。 近年来，国内学者针对光流算法也提出了改进方法。吴新根、罗立民【3 0 】在基本 约束方程和平滑项约束条件下，提出了一种改进的瞬时位置速度估计方法，能够克 服h o m 方法在计算f 盗近边界的非运动点速度“漂移”问题；危水根、陈震、黎明p u 采用类似差分的方法从图像序列的多帧图像中检测出运动目标区域，对梯度光流场 计算方法进行了改进，通过代数运算，减轻了h o r n 算法中全局约束对运动边界的 影响；胡庭波、吴涛、贺汉根【3 2 】在假设移动机器人配备了双目视觉系统和码盘的前 提下，提出了基于立体配备技术的光流场计算方法；孙季丰、王成清1 3 3 1 则将卡尔曼 滤波跟踪技术和多边形跟踪策略相结合，设计了一种基于特征点光流的运动目标跟 踪方法。 2 第一章绪论 1 3 主要研究内容和章节安排 本文对基于变分方法的光流计算的数学模型和数值方法进行了系统的研究。建 立了变分光流计算的数据项，能有效地计算光亮度不变、光亮度梯度不变、光亮度 散度不变等假设前提下光流场计算的6 种情形；推导了适于不连续运动光流场计算 的5 种光滑项设计的方法；建立了通用的基于变分方法的光流计算的通用的 e u l e r - l a g r a n g e 方程，并推导出相应的半隐式差分格式；建立了考虑大位移光流场计 算的数学模型。 论文共分八章。第1 章为引言。第2 章首先对h o r ns c h u n c k 提出的基于光亮度 不变假设的经典模型进行介绍，并推导相应的半隐式差分迭代格式。在此基础上， 推导基于变分方法的光流计算的通用模型，并推导出以后各章采用的通用的 e u l e r - l a g r a n g e 方程的通用形式。第3 章系统介绍该类问题中数据项的设计方法和 改进方法。第4 章为光滑项的设计与改进模型。第5 章介绍了e u l e r - l a g r a n g e 方程 的离散方法。第6 章分析了大位移光流计算的变分方法。第7 章给出了不同假设条 件下的部分实验结果。第8 章为总结和展望。 3 青岛大学硕士学位论文 第二章变分光流计算的变分方法基础 2 1 h s 模型及基本差分格式 作为变分光流计算模型的基础，本节首先系统介绍h o m - s c h u n c k 5 1 提出的经典 模型( 以下简称h - s 模型) 。h - s 模型研究的对象为灰度图像序列，其目标是计算 图像序列中每个像素点的光流场。为此，假定标量值图像序列为，( 葺，屯，毛) ，其中， ( 毛。吃) 2 为矩形图像区域鹞尺2 中像素点的位置，b f o ，丁】表示时间，为方便表达， 假设相邻两帧图像间的时间间隔为1 ，即黾= 1 。h - s 模型的前提是同一像素点在 相邻两帧图像中的亮度不变，则有 ( 五+ “1 ，x 2 + 甜2 ，焉+ 1 ) 一f ( x l ，x 2 ，x 3 ) = 0 2 一( 1 ) 其中，都“，吃，毛) = “g ，吃，墨) ，甜：“吃，黾) ，1 ) 为将要计算的光流场。如果迸一步假 设位移场中 。，z f 2 为小位移，且图像强度随时间和空间光滑变化，则可由一阶t a r y l o r 展开得到 九；甜l + 无：铭2 + 六，= 0 2 一( 2 ) 此即为线性化的光流约束( o f c ) 方程。该方程有两个变量，因此，无法确定其唯一 解。为克服该困难，h - s 模型假定计算得到的光流场是光滑的，即假设，毪随位 置的变化为小量。该变化用它们的梯度来度量，即乳，v u ：。基于上述假设h o r na n d s c h u n c k 将上述光流场的计算问题转化为如下能量泛函的极小值问题。 e n _ s ( 甜) = q ： ( 厶砧。+ 无：甜：+ 六，) 2 + 口( 1 v ：材。1 2 + l v ：即：1 2 ) 】出2 一( 3 ) 其中，x 垒( 毛，屯厂。口为调整解的光滑程度的规整参数，口越大，得到的光流场越 光滑。 通过变分方法，可得解4 1 ，吃对应的e u l e r - l a g r a n g e 方程为 f 厶+ 厶厶+ 厶厶一a a u l = 0 i nq 亟：o 册豫 2 4 1 ) l葫 4 f 厶厶+ 厶厶z ，：+ 厶厶一c r a u ：= 0 1 1q 2 1姿：o 绷哦 l 葫 。 鼽瞬等 则 + 簧，2 “= 2 一( 4 2 ) q = i , 2 ，3 ) 。以下令v ，厂= ，厶，厶) r ， i 厶厶厶l 以。以2 正，1 j = v ，r v ；- - i 厶厶厶厶厶厶f = | 以一厶以；l l 厶工厶厶厶厶j l 以t 以z 以s j 从而可将2 一( 4 1 ) ，2 - ( 4 2 ) 的第一式写为如下形式 2 一( 5 ) 2 一( 6 ) 假设在平面图像空间中，f ，歹表示第f 行第歹列象素点的位置，k k ，p 2 1 u 分别表示 该点的位移场，用h 表示空间步长， 以， “表示j 第k 行、第1 列元素在该象素点 的值，则可将2 一( 6 ) 离散为 ，z。】f，【l，+【z：】f，【吃l，一口垒生k蔓二垒!旦坐二生气摹土：蠼=一【z：l。2一(7) 1【以。lf。，【】f，+【厶l，吃l。，一口垦竺蔓生：尘竺卫生三垒与墓：尘蠼=一【厶l，。 如果用第 k 步的【l 扎，【】“钉，p ，1 h ，p 1 ，_ u = 1 ，2 ) k 1 ；，则得到如下半隐式迭代格式，即j a c o b i 迭代 l j i ， 【“。1 = 迭代计算第k + 1 步的 ( 呲，+ 芳) k 逊盟鼍涔一 2 一( 8 ) 由上式可看出， 。t 州k + l ，i n ，】葛( ，= 1 ，2 ) 的值先于h e lu = 1 ，2 ) 。从而可将2 - ( 8 ) 改为 矽一阮 吨吨 = =出出 一 一 啦啦以厶 + + 编纸以以 ，f【 青岛大学硕士学位论文 m ：1 一旁( 【b - 呼矗一盘! 尘塑二型! 堕塾二堕：! ( 【岫+ 尹4 a 2 一( 9 ) 一吾( 【屹e ，+ 【屹l k _ + l + 哆毫! - 哆# 型! 二堕生堕蔓二! 垒k ( 【厶驴等) 此即为g a u s s s e i d e l 迭代格式。在2 一( 9 ) 中，没有利用h 】：，的信息，以下采用超松 弛迭代( s o r ) ，2 - ( 9 ) - i 改写为如下格式 p。，：=c一国，cz，：，+国互三生!茎三二二旦兰二兰二兰右兰善三罟萎耋一 【z ，z t+1=。一国，【z，z】：，+功主兰旦兰望垦兰二兰尘兰三二：言号兰j!；三号妻亏三一 其中，国为松弛因子，国( o ，2 ) 。 2 2 基于通用能量泛函的光流计算 经典的h - s 模型的能量泛函2 - ( 3 ) 包括两项，第一项为数据项，第二项为光滑 项。变分光流计算的研究均采用类似的能量泛函假设其通用形式可写为： e ( z f ) = ，q ( m ( d k 厂，甜) + 口s ( 町，v “) ) 出 2 一( 1 1 ) 其中，m 七f ，i , ) 为反映d 七为不同常值假设的数据项。d 为对空间、时间的 后阶偏导数；s ( v f ，v u ) 为反映光流场u 为光滑或分段光滑的光滑项。为前后符号 表达的一致，在此对空间特性及空间时间特性采用符号说明如表2 1 所示。 6 第一章绪论 表2 1 符号说明 空间特性空间时间特性 qq 全q 2 ci r 2 q 全q 。c r3 0 ，t 】 x x 全( x 。，x 2 ) r彳叁( x ，z ：，x ，) r v v 皇v ：皇( a a ，。) r v 皇v 3 叁( 0 而，a a ，t 为便于表达，以卜令 q ( “，vu ) = m ( d 七厂，z ，) + 口s ( v z ，vu ) 则 e ( 材) = ，qo ( ，vz ，) a x 以下采用g a t e a u x 导数概念推导其e u l e r - l a g r a n g e 及相应边界条件 l ，i m ，。l li r q , q t + 玩v + 锣蟹) 一q “，v 络) 弦 = l i m l f q ( u , ，v ) + f 刁皇望善芸里丝立 2 一( 1 2 ) 2 一( 1 3 ) = l i m l f 孝叩掣+ 伊r - v v , , , q ( 妒，卜 2 吨4 ， = 0 卜掣册v 删妒，卜 = l 吐产坷( v 她删卜+ l 缸( v 啉v 咖p 在上述表达式中，叩为任葸函数，由极值条件可得如fe u l e r - l a g r a n g e 方程及自然 边界条件 掣一v ( v v 。，q ( 甜r ，v “，) ) = 。z 刀q 2 一。1 5 ， l ( v v “，q ( v 甜f ) ) 万= 0 o n o f 2 上式中，v 表示对v 的各分量求偏导，类似于梯度算子的概念。将2 一( 1 2 ) 代 7 b 、i ， 坼 v ，i q 一 、 v ，lq 心 审 v 叩 卜 青岛大学硕士学位论文 皇垒三5 砉薹! 二兰! 一口v ( v v s ( 盯，v 彰) ) = 。 ，刀q 2 一。6 ， l( v v 吩s ( 耵，v “) ) 历= 0 d 刀a q 通常情况下，初始的图像序列中包含噪声，给相关梯度的计算带来较大的误差， 为提高精度，必须对原始图像进行预光滑处理。设初始图像序列为f o ，可通过g a u s s - - k ，f o 2 - ( 1 7 ) 8 第三章数据项模型 第三章数据项模型 本章研究的数据项的定义依赖于诸多先验知识，这些先验知识包括所获取的图 像的质量，视频图像获取时的条件及场景中对象的运动形式等。针对不同的用途， 通常要在数据项中包括对光流计算影响较大的因素。因此，本章首先推导针对不同 特性的数据项模型及张量表达，然后对稳健估计的数据项形式进行系统研究。 3 1不同情况下的数据项模型 最经典的数据项模型由h o r n s c h u n c k 提出，b 口在相邻两帧图像中，l 司一像素点 上对应的灰度保持不变。当仅考虑小位移时，其数据项同2 一( 3 ) 即 m 。( d 1 f ，材) 全( 甜rv3 ) 2 = 甜r ( v ，厂vr ：f ) 甜= ”r ，。( v ：f ) u 3 一( 1 ) 其中，以( v ，厂) = v ，厂v r ，f 为半正定对称矩阵，在此称为数据项m 的运动能量。 如果进一步假设亮度的空间梯度( ，厶y 不随时间改变，并基于小位移假设， 可得 l ( 五+ z f l ，恐+ 吃，恐+ 1 ) 一( 五，恐，毛) = 0 t 厶( 乇+ ，屯+ 吃，屯+ 1 ) 一厶( 五，恐，毛) = o 3 一2 由一阶t a y l o r 展开的 p v 3 厶= o t 内3 厶= o 3 3 相应数据项可定义为 鸩( d 2 f ，甜) 全( 矿v ，厶) 2 = ，咖 3 一( 4 ) 其中，以= ：v ；厶) 。 进一步，可做图像强度一二阶导数常值假设，例如其空间h e s s i a n 矩阵h ：f 的 常值假设。可得到如下数据项： 9 青岛大学硕士学位论文 m s ( d 3 f ，u ) a _ z v ，五厶) 2 磐r 咖 3 一( 5 ) i = 1j - 1 22 其中，以= v ，岛v ，r 岛。 由于图像强度的一阶_ i f - - 阶导数既包含大小又包含方向，因此上述模型鸩， 肘3 亦包含对方向不变的假设，即这两种模型可用于平移运动、扩散运动和缓慢旋 转运动。但当场景中有快速转动的成分时，该两种模型的假定很难准确确定光流场。 因此，有必要推导仅限制其一阶导数及二阶导数值不变的模型。针对m 2 ，可推导 其模不变的模型： 心( d 2 f ，甜) 垒 r v 。i v l ) 2 全甜r 以甜 其中，山= v ：l 夥i v ；l v i 。 针对坞，可定义厂对空间变量散度不变的假设模型。 ta 岁厂，铭) 垒( 箔r v 3 ( 厶2 ”2 全r ， 其中，以= v 。( ：- 厂) v ；( ：f ) 。 也可基于其h e s s i a n 矩阵值不变的假设模型， 3 一( 6 ) 3 - ( 7 ) 氛3 f ，甜) 全( 盯r v 3d e t ( h 2 f ) ) 2 叁甜r 以 3 ( 8 ) 其中，以= v 3d e t ( h ：厂) v ；d e t ( h j ) 。 上述模型中，均基于灰度图像序列，对有n 个通道的图像，假设 ) = u ，五。以厂，则其基于亮度不变假设的数据模型可写为： 鸠( d z ，d z ，d z ，翟) 全彤 r v ；z ) 2 全材r 厶” 3 一( 9 ) 其中，厶= 以v ，z v ；z 。 综上所述，对不同的数据项模型，如果将保持不变的图像数据特征用露表示， 其组合形式的数据模型可表达为： 1 0 第三章数据项模型 一刀 m 全乃( 矿v ，露) 2 = 乃甜r ( v ，只v ，t 只) 甜= r j u 3 - ( 1 0 ) i = 1 f = 1 玎n 其中，j = 苁v ；霉v ；只= 乃z ，以= v ；霉v ；霉。 f = 1i = 1 3 2 稳健数据项的设计 3 2 1 最小二乘拟合 当图像序列中含有噪声时，为使光流估计更稳健，可假定在像素点小邻域内光 流为常值，从而可以用前面介绍的运动张量的g a u s s 加权最d - - 乘拟合的结果替换 上述介绍的运动张量。例如对m 1 ( d 7 ，留) ，可修正为 m 8p 7 ，韶) 全z f ，a ( v ，f ) u 3 一( 11 ) 其中，六，厂) = k r 木以；) ，夕为积分尺度。 3 2 2 通过非线性扩散实现数据项的自适应平均 当存在不连续的光流场时，模型3 - ( 1 1 ) 得不到理想的结果， 线性扩散的概念设计稳健的数据项，即 = 咖 嚷3l 砜1 2 ) ) o ，j = l ，2 ，3 ) 为此，可以采用非 3 - ( 1 2 ) 其中，g 为边缘检测扩散函数，以实现在运动场的不连续性。通常g 可用规整化的 t v 扩散函数，即 9 0 2 ) 2 丽1 3 - ( 1 3 ) 、，) t 6 则数据项可定义为 m ，( d 1 ，z f ) 全u r j ，( v 3 s ) u 3 ( 1 4 ) 而以( v ，厂) = j 1 ( v ，f ，f ) 为非线性结构张量。 3 2 3 非平方惩罚函数方法 引入规整化的k i 为惩罚函数 青岛大学硕士学位论文 ( s 2 ) = 口虿 针对m ，心可构建如下稳健的数据项 3 - ( 1 5 ) m 。( d 1 f ，材) 全0 r 以( v ，f ) u ) 3 一( 1 6 ) m ，( d 1 f , u ) 全、王，。( 矿以( v ：厂) 豁) = 甲。( 矿( 髟宰( v ，) ) 铭) 3 - ( 1 7 ) 在单一约束的情况下，上述实现很容易。当模型存在多约束时，可采用联合或分离 的稳健函数设计，如存在m ，鸩模型时，可定义如下联合稳健估计函数 必：比矽全( 矿( m ( 叨+ 鹕( 叨) 甸 ：l ( 矿叫2 + 恐自矿) 2 、】 3 1 8 其分离形式的数据项定义为 魄呲观功垒兀( 以( 嗍帆( 叨功 = 以( ( 矿叫2 ) + 挑阻呱) 2 、j 3 1 9 当系统中考虑更多的约束时，可按类似的方式定义数据项。 1 2 第四章光滑项设计 第四章光滑项设计 4 1基于图像扩散概念的光滑项分类 变分光流计算的光滑项使得该模型取得唯一解，该项的作用和形式同图像扩散 模型中的扩散项一致，由于光流场有两个分量，因此其形式与多运动图像扩散相同。 假设= 骐( x ) ，厶r 为多通道图像，图像扩散模型为 o t u i = d i v ( r ( v y ，v u ) v u , ) o = 1 ，所) 4 - ( 1 ) 其初始条件为 u t ( t 0 ) = z o ) ( f = 1 ，聊)4 - ( 2 ) 其中r ( v f ，v u ) 为扩散张量。 当 r l ( v f ，v u ) = i4 一( 3 ) 时，该扩散称为均匀扩散。 当 互( 耵，v 甜) = g ( 羔阿阻4 - ( 4 ) j = t 时，该扩散称为线性各向同性扩散。 当 互( 夥，v 力= g ( v f , v ? 乃) 4 一( 5 ) ，= 1 且 g ( 姜v z ) = ( m ，吃) ( g 予g & ) ) “，屹) r 4 - ( 6 ) j 2 l v 6 吃， 姜咿乃砘屹，( 0 跏r 4 奶 j o i一。1 时，该扩散称为线性各向异性扩散。其中，五，五为结构矩阵的特征值，h ，吃为对 应的特征矢量。 1 3 青岛大学硕士学位论文 当 正，跏) = g 连v u j 阻 j = l 时，该扩散为非线性各向同性扩散。 当 正( 夥，珊) = g ( v u ，v r j ) 1c ，t ，_ v 、， j ， j = l 时，该扩散为非线性各向异性扩散。 根据上述定义，本文可定义与之对应的光滑项如下： ( 1 ) 均匀光滑项： s , ( v f ，乳) 垒l v 1 2 ( 2 )图像驱动各项同性光滑项： 咒( 既勖) 垒g ( | w f 2 ) 2f f 2 ( 3 )图像驱动各项异性光滑项： 4 - ( 8 ) 4 一( 9 ) 4 - ( 1 0 ) 4 一( 1 1 ) 2 岛( 夥，v u ) v u , r d ( v f ) v u , 4 - ( 1 2 ) i = 1 ( 4 ) 光流驱动各项同性光滑项： s 4 ( v f ，v ”) 全甲l1 2 l v 1 2j t = 1 ( 5 ) 光流驱动各项异性光滑项： ，2、 s s ( v f ，v ) 垒驴甲l1 2 v u , v r j 4 2e ule r - l a g r a n g e 方程中的扩散项 4 - ( 1 3 ) 4 - ( 1 4 ) 由2 ( 1 6 ) 可解得光流计算公式为 a 均m 一口( a 墨 + t & 毛) = o 4 - ( 1 5 ) 【气m 一口( 也& 蕾+ 墨，鼍) = 0 其中，& ，即为s 对钆的偏导数。上述方程又可写为如下最速下降形式 1 4 第四章光滑项设计 f o t u t = 口p 而& ，耳+ t 黾。吃) 一九m l o t u 2 = a ( a 毛& 。毛+ a 而最：，电) 一九m 当o t u t = 0 ，a 。”：= 0 时，即为所要计算的光滑场。 对a 而& 毛+ 钆& 毛= d i v ( v v 鼍d ，有 旃y ( v 砜墨) = d i v ( i v u ，) 西y ( v 是) = 坊v 国( 1 1 2 ) v ) 4 - ( 1 6 ) 4 - ( 1 7 ) 4 - ( 1 8 ) d i v ( v v u , 是) = 功旧( v r 乃) v ) 4 - ( 1 9 ) j = l d i v ( v v u , 足) = d y ( 少 z1 w , l 。) v ) 4 - ( 2 0 ) 咖( v 岛) = 破v ( 7 ( v u ，v r 甜，) v ) 4 - ( 2 1 ) j = l 以上光滑项仅考虑空间光滑约束，当图像中对象运动缓慢时，上述模型可得到 较理想的结果，否则，应考虑空间时间域上的光滑约束或分段光滑约束，从而，对 应的光滑计算的e u l e r - l a g r a n g e 方程和最速下降方程为 l a 毪m a ( a 而氏，鼍+ a 黾& 而+ 屯& 而) = 0 【气m 一口( 屯& ，而+ a 屹鼠：，电+ a 黾鼠：，) = 0 i o , u l = 口( a 而& ， + 屯瓯卜毪+ a 弓氏，而) 一吃。m l o , u 2 = 口( 气鼠：，气+ a 毛s u r 。屹+ 9 ，岛) 一吃：m 1 5 4 - ( 2 2 ) 4 一( 2 3 ) 青岛大学硕士学位论文 第五章e u l e r - l a g r a n g e 方程的离散方法 5 1 一种典型的光流计算模型 由前面的研究可知，基于变分方法的光流计算需首先定义基于先验知识的能量 泛函，其中包括数据项和光滑项，不同的数据项和光滑项的组合将能处理不同的光 流场的计算问题，该方法的第二步是通过变分方法推导出光流场计算的 e u l e r - l a g r a n g e 方程，然后通过有限差分方法对该方程离散后迭代求解，本章的目 的是针对典型的光流计算模型设计相差差分离散迭代格式。 本章考虑前两种模型的数据项包括光亮度不变和其梯度不变假设，并采用分离 的稳健估计函数，其光滑项采用各向同性的流驱动的t v 表达式，即 e ( 甜) = ( 甲d l ( u t j , u ) + y v 。：( u t j ：u ) + 口甲，( 乏2l v 甜，1 2 ) ) a x a y 5 ( 1 ) 其中， = 以，”+ 占 5 一( 2 ) = 4 u r j z z t + g 5 一( 3 ) 烙= 卜l 占+ 吃i v u ：l 宕= “，王) 2 + ( ，乇) 2 + s + 呸7 ( z 乞，五) 2 + ( 也，恐) 2 + 占5 一( 通过变分方法可得其e u l e r - l a g r a n g e 方程为 去+ 争+ 尝+ 等心+ 尝+ 静一咿镄瑚艘5 郫， j i v 吼 s f s 、 i塑：0o n i g q 睁静+ 尝+ 静+ 玺+ 争咿商- o 施5 舶， j i v 呲s 闻 i丝：0铡鼬 其中，喁= 口，= 缎 令 ，：生+ 血 5 ( 7 ) 1 6 第五章e u l e r l a g r a n g e 方程的离散方法 以：生+ 一y j 2 , 1 2 饧 以。：一, 2 1 + 生 物 厶：生+ 2 , 2 2 ，：生+ 一y j 2 , 1 3 饧吻 厶：一, 2 3 + 生 吵日岛 则5 - ( 5 ) ，5 - ( 6 ) 可重写为 卜懒地唧穑瑚觚 i垫：o册触 卜帆岵咿茼一。触 i鲁：。 鲫孢 5 2e ule l 一l a g r a n g e 方程的差分格式与迭代计算 5 - ( 8 ) 5 - ( 9 ) 5 - ( 1 0 ) 5 - (