（信号与信息处理专业论文）基于变分pde的光流计算新方法.pdf

摘要 根据图像序列计算光流是计算机视觉中一个重要的问题。光流指图像中灰度模式的 运动速度。光流中不仅含有所观察的运动物体的信息，还含有图像场景中有关物体的丰 富的二维信息。本文研究基于变分p d e 的光流模型，着重研究新光流模型的建立，来 提高计算出的光流场的准确性。本论文的主要工作如下： ( 1 ) 提出了调和方向光滑光流( o p t i c a lf l o ww i mh a 肌o n i cc o n s t r a i n ta n do r i e n t e d s m 0 0 t l l i l e s s ) 模型。该模型通过把调和梯度矢量流( h g v f 模型) 中的调和约束项引入 到方向光滑光流模型的能量泛函中，并且将调和约束项中的旋度项和方向光滑项相结合 一起控制扩散的方向，实验证明调和方向光滑光流模型提高了光流场计算的准确性，对 于包含复杂运动不连续的图象，很好的保持了运动的不连续边缘。 ( 2 ) 提出了方向弱化光流( d i r e c t i o n a n yw e a k e n e dd i 廊s i o nf o r0 l p t i c a lf l o w ) 模型。 该模型将拉普拉斯算子进行分解，引入基于图像信息的二阶方向导数，它削弱了沿着图 像法线方向的扩散，保持了沿着图像切线方向的扩散，提高了运动的不连续边缘处光流 场的准确性。 关键词：光流调和约束方向光滑h g v f 模型方向弱化扩散偏微分方程 a b s t r a c t c o m p u t a t i o no ft l l eo p t i c a l1 e l o wf b mas e q u e n c eo fi m a g e s 陀m a i n si m p o r t 锄ti nt l l e c o m m u i l i t yo fm a 出n ev i s i o n o p t i c a ln o wm e 觚st l l em o v 锄e n ts p e c do ft h ei m a g eg r a y m o d c l o p t i c a lf l o wc o n t a i n st h ei n f o m a t i o no ft h eo b s e r v e dm o v i n go b j e c t s ，i ta l s oc o n t a i n s t l l e 锄p l e2 di n f 0 m a t i o no ft h er e l e v a n to b j e c t si nt h ei m a g es c e n e b a s 酣o nv 撕a t i o n a l p d e o p t i c a lf l o wm o d e l ， t h en o v e l 懿t a b l i s h e do p t i c a lf l o wm o d e l i se m p h a s i z e ds om a tt l l e a c c u r yo ft l l eo p t i c a lf l o wc a l c u l a t i o ni si m p r o v e d t h em a i nw o r k 锄di r m o v a t i o na 他弱 f o l l o w s ： ( 1 ) an o v e lo p t i c a lf l o wm o d e lw i mh 锄o n i cc 0 n s t r a i n ta i l do d t e ds m o o t t u l e s si sp u t f o n a r d t h en e wo p t i c a lf l o wm o d e li n c o r p o r a t e st l l eh a r m o i l i cs m o o t h n e s sc o n s t l a i n t b o 盯o w e d6 - 0 mu l eh a m o n i c 伊a d i tv e c t o rn o w( h g v f )m o d e li n t o t l l eo n e l l t e d s m o o t h n e s sc o n s 仃a i n ta n dt h ec u r lt e 册o ft h eh a 册o n i cc o n s 仃a i n tw i t ht h eo r i e n t e d s m o o t h n e s si sc 0 m b i n e dt 0c o n t r o lt h ed i r e c t i o no ft 1 1 ed i s p l a c 锄e n tv e c t o r st o g e t h 既 e x p e r i m 锄t a lr e s u l t ss h o wt h a tt h en e wm e t h o dc o u l dg a i nm o r ea c c u r a t ee s t i m a t i o no f o p t i c a lf l o w 锄u n dm o t i o nd i s c o n t i n u i t i e s ( 2 ) 1 1 1 ed i r e c t i o n a l l yw e a l ( e i l e dd i f j m s i o nf o ro p t i c a lf l o wm o d e lh 髂b e e np r o p o s e d t h i sm o d e ld e c o m p o s e st h el a p l a c eo p e r a t o ra n db r i n g si nm es e c o n do r d e rd i r e c t i o n a l d 甜v a t i v eb a s e do ni m a g ei n f o n n a t i o n t h ed i 胤s i o na l o n gt l l e 伊a d i e n td i r e c t i o no ft l l e i i n a g ei s 崩n o v e d 锄dt i l eo n l l o g o n a l t om e 伊a d i e n td i r e c t i o no fi m a g ei sr e s e r v e ds om a tt h e f l o w6 e l di nt l l em o t i o nb o u n d a r yi si m p r o v c do b v i o u s l y k e yw o r d s ：o p t i c a ln o w ；h a 咖o n i cc o n s 仃a i n t ； o r i t e ds m o o t h n 髓s ；h g v fm o d e l ； d i r c c t i o n a l l yw e a k c i l e dd i 瓶s i o n ；p d e 第一章绪论 1 1 引言 第一章绪论 人用眼睛来获取视觉信息，并用大脑去处理和理解。在光的照射下，外界环境中的 事物在人类眼睛的视网膜上构成图像，然后通过神经网络传入大脑皮层进行信息处理与 理解。人们试图用计算机来模拟人的视觉机理获取和处理信息，通过对采集的图片或视 频进行处理以获得相应场景的三维信息，于是形成了一门学科：计算机视觉。 在计算机视觉的领域中，诸如立体重建【1 1 、人脸识别【2 - 5 】、目标追踪【6 。7 1 、机器人导 航、视频图像压缩，使用二维图像序列信息恢复三维世界信息是一个非常重要的问题， 因此对图像序列的运动信息进行估计，这些运动信息包括图像中运动目标的速度及其方 向。在图像场景中，由于目标运动，导致目标在前后两帧图像中所处的位置不同，它对 应目标在图像上的位移矢量，用这个位移矢量除以时差，便得到了相应的速度矢量，即 为光流，场景中所有运动目标对应的二维运动场即为光流场。 由于在计算机视觉中的广泛应用，引起国内外越来越多的研究学者对光流计算方法 进行研究，一般把这些方法分成：基于变分的方法【引，基于能量的方法【9 。m 】，基于特征 的方法【l ，基于区域的方法【1 2 】和局部微分的方法【b 】。由于基于变分的光流计算方法的 模型的通用性，建模的自动化以及密集、准确的光流场的获得等诸多方面具有明显的优 势，因此逐渐成为主流的计算光流的方法。本文的研究内容主要是基于变分p d e 的光 流计算方法。 1 2 基于变分的光流方法 1 2 1 基于变分的光流方法介绍 h o m 孤ds c h u n c k 【8 】于1 9 8 1 年首次提出基于变分的光流方法，根据光亮度变化及图 像序列中包含的运动成分定义，提出了光流约束方程【8 】作为它的数据项，并假设光流在 整个图像上保持全局平滑，将其作为它的平滑项，由数据项和平滑项构成能量泛函，最 小化这个能量泛函，通过变分方法得到光流计算的e u i * l a 黟a n g e 方程，最后用差分方 法进行离散求解。这些年来，国内外研究学者提出各种各样大量的基于变分的光流方法， 围绕能量泛函中的数据项和平滑项进行研究。基于变分的光流方法的能量泛函的通用形 式可以写为： e = e d o 乜+ o c e h l o r 第一章绪论 其中，如缸代表数据项，屏晰代表平滑项，口表示平滑性权重。 1 2 2 基于变分的光流方法国内外研究现状 如上所述，基于变分的光流方法主要问题之一是建立计算模型，即构造能量泛函中 的数据项和平滑项。另一个主要问题是通过变分法得到e u l 昏l a 缪锄g e 方程然后进行差 分离散和数值计算。 光流模型中的数据项对模型的真实度起决定性作用，目前大多数基于变分的光流方 法【l 6 j 都使用经典的亮度恒定方程和光流约束方程作为计算模型中的数据项，事实上， 在算法的推导过程中亮度恒定方程常常转化成光流约束方程，因此它们在算法中基本是 等同的，各种各样的算法【1 5 - 1 9 】也使用了与此相关的约束方程。然而，这个约束方程应用 在实际中，尤其是在遮挡的边缘是不正确的，所以为了提高模型的计算性能，许多学者 提出应用其他的函数来构造更加稳健的数据项，b l a c k 和a n a n d 一2 0 】提出使用统计学中 的m 估计函数来提高准确性，并引入模拟退火方法进行计算。还有许多算法使用图像特 征来定义数据项，早期，b u r e t 【1 7 】和a n a n d 锄【2 1 l 使用滤波后的图像来减少遮挡的影响，近 期，b m x 【1 5 1 成功的提出了将梯度恒定方程和经典的亮度恒定方程相结合【1 5 】【2 2 】【2 3 】的方法。 b m h n 和w e i c k e n 【2 4 】后来改进了b r o x 的算法，引入一个函数来调控梯度恒定方程和亮度恒 定方程作用的范围进而求解光流场。“u 【2 5 2 6 】使用尺度不变特征来构造数据项。针对彩 色图像和多频带图像，文献 2 7 】【2 8 2 9 】修改数据项，最简单的方法是给每一个频带增加 一个数据项，z i m m 一3 0 】提出一种比较尖端的方法，该方法使用h s v 色彩空间并且按照需 要分别处理每个频带。 光流模型中仅仅有数据项不能确定光流，造成孔径问题，因而必须增加一个平滑项 才可获得稠密的光流场。平滑项首先要追溯到h o m 和s c h u n c k ，他们提出的全局平滑， 获得了密集的光流场，但是这个各项同性的算子，没有考虑到图像的特征，导致流边缘 模糊。s e 沱锄db a l ( 一3 1 】在各项同性算子的基础上增加了一个权重函数，使得在强度梯 度大的地方少平滑，比较好的保护流的不连续边缘。后来，大量各项异性的平滑项被提 出：n a g e l 和e n l ( e l m 锄【3 2 】引入方向光滑平滑项抑制在图像光强梯度方向上的平滑，进而 保护了流的不连续边缘。a l v a r e z 【3 3 】对方向光滑进行修改，更大的抑制了图像光强梯度方 向上的平滑。w e r l b e r g 一3 4 】引入了各向异性的h u b * l l 算子使得平滑限制主要在垂直于 图像光强梯度方向上作用。s u n 【3 5 】提出一种基于可操控的随机场【3 6 】的各项异性算子，它 使用有方向的流函数来绕过图像光强梯度大的地方。z i m m 一3 0 】也使用了相同的各项异 性算子，但是按照亮度恒定限制从新定义方向而不是图像光强梯度大的方向。除此之外， a n a n d 锄和w e i s s 【3 7 】和t r o b i n 【3 8 】使用二阶导数代替一阶导数来设置平滑项，文献【3 l 】【3 9 】 4 0 】 4 l 】也使用了类似的平滑项。n i 一4 i j 使用多个参数来构造平滑项，在这个算法中不是 像以上的算法那样需要要求出流矢量的两个分量的值，而是要求得六个参数的值。 当确定了计算模型中的数据项和平滑项后，要进行求解。目f j i 最广泛使用的有：梯 度下降法和变分方法。梯度下降法常常使用h e s s i a n 矩阵或者n e 叭o n 方法、q u a s i n e w t o n 方法、g a u s s n e 叭o n 方法和l e v e n b e r g m a r q u a r d t 方法【4 2 1 。变分方法即先求得计算模型的 e u l * l a 酉a n g e 方程，这些方程在每个像素内都有两个未知的参数并且作为一个线性系统 第一章绪论 进行迭代求解，包括j a c o b i 方法、共轭梯度算法和超松弛算法【4 3 】【翎。t o r b i n 【3 8 】和w e d e l 【1 6 】 通过引入两个流参数的集合将数据项和平滑项分离进行求解。本文的研究重点在于构造 基于变分的光流模型，因此在计算方法方面不再详述。 近年来，国内研究学者也提出了大量计算光流的方法。韩玉兵、束锋【4 5 】等人建立了 一种基于本征和非本征正则项的光流模型，为保持不连续边缘选择光流约束方程和非本 征正则项求得运动信息，在光流连续区域本征j 下则项起作用，这种算法能够更好的保持 光流场的不连续边缘的同时，在图像纹理缺乏的区域获得了更加密集的光流场，减少了 运动信息的丢失。黄波、杨勇、王桥、吴乐南【4 6 】提出一种自适应的光流算法，通过对光 流约束方程和平滑项改进，减少了h o m 方法中全局平滑项对运动边界的影响，使光流估 计的峰值信噪比大幅度提高，他们还提出一种基于标号场的光流方法【47 1 ，引入二维运动 标号场改进h o m s c h u n c k 算法，使得算法的收敛速度加快，提高了运动评估的准确性。 张金林、万蔚、芮挺、黄牧【4 8 】在l u c a s k 锄a d e 光流模型的基础上进行改进，这种算法将 图像用自适应高斯平滑滤波器进行滤波，并引入3 d s o b e l 算子消除局部邻域中的不可靠 约束点，很好的降低了光流场的平均角度误差，提高了光流算法的精确性。 1 3 主要研究内容及工作 本文对基于变分的光流方法的数学模型进行研究，在h o m s c h u n c k 光流模型和n a g e l 光流模型的基础上，重点研究提出新的光流算法进而获得更加准确的光流场。主要有如 下二个方面的工作： ( 1 ) 研究各种基于变分的光流方法，阅读大量文献，学习调和梯度矢量流模型【4 9 】 ( h g v f ) ，该模型中把原始梯度矢量流唧】( g v f ) 中的平滑项分解成散度项和旋度项， 分析h g v f 模型中平滑项的创新和优势，将其应用于基于变分的光流方法来改进光流模 型中的平滑项，并将旋度项与n a g e l 光流模型中的方向光滑项相结合一起控制扩散的方 向，更好的保持了光流场的不连续边缘，获得了更加准确的光流场。 ( 2 ) 分析拉普拉斯算子【5 1 1 ，提出一种基于图像信息的拉普拉斯算子分解的新方法， 把它应用于光流的计算中，提出了方向弱化光流方法，对比经典的h o m s c h u l l c k 方法和 n a g e l 方法，更好的保持了运动边缘，获得更加准确、稠密的光流场。 1 4 本文的组织结构 本论文一共分为五章，其结构内容安排如下： 第一章为绪论，主要对基于变分的光流方法及其模型进行了简单的介绍，分析了 基于变分的光流方法的优势，并详细的介绍了基于变分的光流方法的国内外的研究概 况，并介绍了本文的主要研究内容及思路。 第二章介绍基于变分的光流方法的相关背景知识，详细的介绍了由h o m s c h u n c k 提出的亮度恒定方程和光流约束方程，及经典的h o m s c h u n c k 光流模型和n a g e l 光流模型 的工作原理。 第一章绪论 第三章，首先介绍了参数主动轮廓模型的基础知识，然后介绍梯度矢量流( g v f ) 模型和调和梯度矢量流模型( h g v f ) 的来源和工作原理，最后详细介绍了调和方向光 滑的光流计算方法。 第四章，首先分析拉普拉斯算子及其分解方法，提出一种基于图像信息的拉普拉 斯算子分解的新方法，然后重点介绍方向弱化光流方法。 第五章，对本文所做的工作进行总结，并且指出进一步需要深入研究的问题。 第二章基丁变分的光流方法基础 第二章基于变分的光流方法基础 2 1 亮度恒定方程和光流约束方程 作为基于变分的光流计算方法的基础，本节首先介绍h o m s c h u n c k 提出的亮度恒定 方程和光流约束方程，h o m s c h u n c k 以灰度图像序列为研究对象，其研究目标是计算灰 度图像序列中所有像素点的光流场。大多数变分方法的数据项使用光流约束方程，假设 ，( x ，y ，f ) 是像素点( x ，y ) 在f 时刻的照度，定义“( z ，j ，) 和y ( x ，y ) 是该像素点光流的工和y 分量，假设该点在时刻f + 研运动到( 工+ 融，y + 砂) 时，照度保持不变，得到亮度恒定方 程，即 ，( x + 甜国，少+ 1 ，挽，f + 况) = ，( x ，j ，f ) 其中6 x = t l6 t ，6 y = v 6 to 假如亮度随着而j ，f 光滑变化，则上式的左边可以用t a y l o r 级数展开， ( 2 1 ) m 执，) + 融芸+ 妙等+ 万r 鲁+ p = m 执，) ( 2 - 2 ) 0 x ovot 其中，e 是关于缸，缈，研的高阶项。( 2 ) 式中两边的，( x ，y ，f ) 相抵消，两边都除以研， 并且令极限研专0 ，得 塑查+ 塑坐+ 丝：o a xd t a yd t a t 事实上，( 2 3 ) 式为( 2 - 4 ) 式的展歼式 设 d i 、 = u d t 小鬈铲考l = 尝 ( 2 3 ) ( 2 4 ) 第二章基丁变分的光流方法基础 出咖 舻石归蓄 由( 2 3 ) 得到速度分量与时间空间梯度的关系： 也可写成： i 一七ly v + lt = q v i v + ，f = o ( 2 - 5 ) ( 2 6 ) 其中v = ( “，1 ，) r ，( 2 5 ) 式或( 2 6 ) 式即为光流约束方程。在这个方程中，可从图 像中直接计算出，和，的值。但是，图像的每一个像素点有两个未知数一h 、y ， 仅有的一个光流约束方程并不能完全确定光流，常常把这种不确定问题叫做孔径问题 ( 印e r t l 鹏p r o b l e i t l ) 。因此需要添加其他的方程来确定光流场。 2 2h o r n s c h u n c k 光流模型 2 2 1h o m s c h u n c k 光流模型及数值实现 为了解决上述的孔径问题，h o m 和s c h u i l c k 于1 9 8 1 年首次提出在整个图像上光流光滑 变化的假设，即光流场在遵循亮度恒定的同时，还遵循全局平滑性。通过光流约束方程 计算得光流误差如下： e 2 ( x ) = ( ，“+ l y + l ) 2 其中，x = ( x ，y ) 7 。对于全局平滑变化的光流，它的速度分量的平方和积分是： ( 2 - 7 ) 文x ，= ( ) 2 + ( 芳) 2 + ( 袅) 2 + ( 雾 2 卜 c 2 剐 将( 2 7 ) 和( 2 8 ) 相结合，便得到经典的h o m s “u n c k 光流模型的能量泛函，如下 所示： e = 僻2 ( x ) + 骝2 ( x ) 蛔 ( 2 - 9 ) 第二章基于变分的光流方法基础 其中口为平滑项的权重参数，通过调节口的大小来平衡光流约束方程和平滑项，随 着口的增大，平滑度增大，因此估计的光流场精度也越高。 因此计算的光流场满足： 即： m i n p 2 ( x ) + 口s 2 ( x ) 螂) ( 2 1 0 ) m i n j j ( l “+ v + ) 2 + 口( 蚝2 + “，2 + 匕2 + _ 2 ) ) 西咖) ( 2 - 1 1 ) 该方程可以转化为变分问题 m i n 胪( ，够，匕，_ 眇 对( 2 - 1 2 ) 进行求解，得到如下e u l 昏l a 伊锄g e 方程： f 口v 2 ”一l ( l “+ v + ) = o 【四2 v 一( l “+ v + ) = o ( 2 - 1 2 ) ( 2 1 3 ) 用差分方法把( 2 1 3 ) 方程中的拉普拉斯算子等价成局部邻域图像光流矢量加权和， 然后使用迭代法对这两个差分方程进行求解。 计算时只考虑离散的情况，在图像点( f ，) 和它的四个邻域上，依据光流约束方程， 把光流误差离散量表示成： p 2 ( f ，) = ( ，“( f ，_ ，) + j y l ，( f ，_ ，) + ，) 2 ( 2 1 4 ) 光流的平滑项也通过同样的方式来计算： s 2 0 ，) = 丢【( “( f ，_ ，) 一“( f 一1 ，) 2 + ( “( f + l ，) 一“( f ，_ ，) ) 2 + ( “( f ，一，+ 1 ) 一“( f ，- ，) ) 2 + ( “( f ，) 一“( f ，一1 ) ) 2( 2 1 5 ) + ( ，( f ，一，) 一1 ，( f l ，) 2 + ( ，( f + l ，) 一，( f ，) ) 2 + ( 1 ，( f ，_ ，+ 1 ) 一1 ，( f ，_ ，) ) 2 + ( v ( f ，_ ，) 一，( f ，一1 ) ) 2 】 那么极小化能量泛函为： 第二章基于变分的光流方法基础 e = ( p 2 ( f ，) + 船2 ( f ，) ) ， j 函数关于“、v 的微分为： ( 2 1 6 ) 善萎2 2 ( ，“+ ，1 ，+ ，l + 2 口( “一订) 。2 。7 ， 等- 2 ( 咖u y 例y 砌( v 吲 一“ 其中，厅、可分别为在点( f ，_ ) 处“、v 的平均值。因此，得到 ( ，“+ l v + ) l + 口( “一万) = o ( ，“+ ，+ ) 0 + 口( v 一可) = o 通过( 2 18 ) 可以解出“、1 ，的值。在实际中，求解“和，的迭代方程为： 1 蚓一l 篱 1 卅_ 鬻 ( 2 - 1 8 ) ( 2 1 9 ) 其中，以为迭代次数，当相邻的两次迭代的结果距离小于预定公差值时，终止迭代， h o m s c h u l l c k 光流模型的实验结果如下。 2 2 2h o m s c h u n c k 光流模型实验结果 平均角度误差( 从e ) 是b a 们n 【删提出的误差估计方法，是目前广泛被使用的光流 评价标准，假定屹为真实的运动向量，k 为计算得出的运动向量，得到角度误差如下： y = a r c c 0 s ( v c 匕) ( 2 2 0 ) 若像素的数目为那么平均角度误差为： 歹= ( ) ( 2 2 1 ) f 置i 为了验证各个模型的性能，我们使用平均角度误差( a a e ) 来评估各个光流模型的 计算精度。在本节所有关于h o m - s c h u n c k 光流模型的实验中，设置参数口= 2 5 ，我们选 第二章基于变分的光流方法基础 择了两个图像序列计算光流场。图2 1 ( a ) 为旋转球图像序列，图像中一个带有很多黑 色物体的球进行旋转运动；图2 。2 ( a ) 为向前运动多物体序列，图像中包含两个物体， 它们向相机镜头靠近；图2 3 ( a ) 为c 图像序列，图像中物体c 向左水平运动；图2 4 ( a ) 为凹形图像序列，图像中凹形物体向下垂直运动；本节分别使用以上图像序列的第一帧 和第二帧进行实验，图2 1 ( b ) 、2 2 ( b ) 、2 3 ( b ) 、2 4 ( b ) 为用h o m s c h u n c k 光流模 型计算相应图像的光流场，表格2 1 为各图像计算所得光流场的平均角度误差( a a e ) ， 实验图像及其数据表明，用该方法计算的光流场很密集，但是在图像光强梯度大的地方， 并不需要大量的平滑，计算出的运动边缘的光流场非常模糊。 ( a ) 旋转球图像序列( b ) 计算的光流场 图2 1h s 模型对旋转球图像序列计算所得光流场 ( a ) 向前运动多物体图像序列( b ) 计算的光流场 图2 2h s 模型对向前运动多物体图像序列计算所得光流场 第二章基丁二变分的光流方法基础 ( a ) c 图像序列( b ) 计算的光流场 图2 3h s 模型对c 图像序列计算所得光流场 ( a ) 凹形图像序列( b ) 计算的光流场 图2 4h s 模型对凹形图像序列计算所得光流场 表2 1h o r n - s c h u n c k 光流模型的平均角度误差 2 3n a g ei e n k ei m a n n 光流模型 2 3 1n 曩g e l - e n k e l n l a 蛐光流模型及数值实现 由2 2 节对h o m s c h 蚰c k 光流模型的详细介绍，我们知道这种全局平滑变化的光流 模型可以获得稠密的光流场，但是该模型中的全局平滑约束没有将图像特征考虑在内， 在图像强度梯度大的地方不能获得准确的光流场。针对这一问题，n a g e l 【3 2 】使用二阶导 兰主舢至薹眦洲洲删洲川删：洲眦m舢潮燃掣 第二章基于变分的光流方法基础 数来计算光流场，和h o m - s c h u n c k 方法相同之处在于，也使用了全局平滑约束来构造 光流模型中的平滑项，相对于h o m s c h u n c k 方法的改进之处在于，n a g e l 【3 2 】在模型中加 入了一个新的平滑约束一方向光滑约束( o r i e n t e ds m 0 0 t h l l e s sc o n s 仃a i n t ) ，这个平滑约 束不强加在图像强度梯度变化剧烈的方向上，来处理遮挡问题( o c c l u s i o n ) 在n a g e l e l l l 【e l m 眦l 光流模型中，图像梯度表示为w = ( ，1 。，与它相垂直的矢量 、 ” ， 表示为( ，一，1 。，那么沿着垂直于图像梯度方向的光流矢量的变化为： 附v u ( 2 2 2 ) 上式中，v u = ( 乏z ) 。从理论角度分析，为了极小化c 2 - 2 2 ) ，则要使用向量和它本 身作数量积， v 姬h r h 似珈u ) ( 2 2 3 ) 其中，f 阳c p 为矩阵的迹。同样的，把沿着图像主曲率方向的光流矢量的变化表示如下： 一，、r 7 耖i ( v u ) l 矬) 一i l x l y _ l x + l y 为了极小化( 2 2 4 ) ，也要使用向量与它自身作数量积 加c p ( 乏) rc v u ， r ( 乏 rc v u ， ) ( 2 2 4 ) = 抛卯 c v ( 乏 ( 乏乏门c v u ) c 2 彩， v、嚣饥机 第二章基于变分的光流方法基础 于是，可将方向光滑约束项表示如下： f = ( ( 乏) r + 矿( 乏) ( 乏 r c 2 粕， 在上式中，6 2 为相对权重参数，来平衡以上两项作用的不同范围。 因此，得到n a g e l e i l l ( e l m 锄l 的方向光滑光流模型的能量泛函： 瓦驯= f ( 盯r u + z ) 2 + 口2 抛( ( v u ) rf ( v u ) 胁 ( 2 - 2 7 ) 由( 2 2 7 ) 可以推断出，当6 2 = o 时，沿着主曲率方向的变化受到抑制，然后用一个单 ，、，、r 位矩阵去代替式( 2 2 4 ) 中矩阵l 一，0 一，l ，能量函数( 2 2 7 ) 即成为原始的h s 全局 l _ ，八- ， 平滑变化光流模型。 后来，n a g e l 【3 2 】将式( 2 2 6 ) 中沿着图像主曲率方向的光流矢量变化项去掉，仅仅考虑 垂直于图像梯度方向的光流矢量的变化，且在( 2 2 6 ) 中引进一个对角矩阵，如下所示： w - 端 f ，口1 w + l n yj 其中，i d 是一个单位矩阵，为一常数，并且 因此，权重矩阵表示为： w = 以0 w = i ：+ i j + 2 y 把( 2 3 0 ) 代到平滑约束项抛c e ( ( v u ) rw ( v u ) ) ，得到： ( 2 - 2 8 ) ( 2 2 9 ) ( 2 3 0 ) 第二章基于变分的光流方法基础 舰卯( ( v u ) 7 w ( v u ) ) = w 1 2 + 2 7 + w 1 2 + 2 7+ 厂锔警协3 ， 由上式可知n a g e l 光流模型的基本思想：当7 o 时，在1 w i ，的区域，减少在图像光强 梯度方向上的平滑，即光滑限制主要作用在垂直于图像光强梯度的方向上：而在l 叫 o ， 此时“，o ，则( v 2 “一“删) 就等于聊丌，沿着图像法线方向的平滑将被去掉，而沿着 图像切线方向的平滑会被保留下来，从而光流场的不连续边缘得到保护。 第四章方向弱化光流模型 4 2 3 方向弱化光流模型的数值实现 对于式( 4 一1 6 ) 使用梯度下降法，得到如下偏微分方程组： q = 霎2 口c v 2 “一“，删，一c 材+ v + ，。4 。7 ， 卜象刮妒卜h ( 枷”) r “ 其中， 令 u 。i ：+ u 眄i ；+ 2 i l l 弹 ：= - - - - - - - - - - - - 二二- 二- - - - - - 二- 二 i ：+ i j v 。i ：+ v w i ：+ 2 ix l 。_ 、 种 = = - - - - - - - - - 二二- 二- - - - - - - - 二- - 二- i ：+ i j ”口2 “i 。，+ 坼一i ，一z “f ， 仂= 坼+ i + 坼，产i 一2 坼， k = m + i ，+ m i ，j 一2 m = m 。，+ i + u ，一l 一2 m ， = 去( 吩+ 。，p 。+ “卜。，一。一甜“。，一，一坼一。p 。) 。2 i 【吩+ l ，p i + “卜l 。，一l 一甜“i 一i 一坼一i p ij = 三( m + 。，+ + h 一，一。一m “，一。一m - 1 ，+ 。) 2 i 【m + i 。，+ i + h i ，一i m “，一i m - 1 ，+ ij = 昙( + ，一一。，) = 吉( ，+ 一。，一。) 口= l ，口i = e b = i y ，b 、= i j c = 口i + b l ，d = i 。lp ( 4 1 8 ) 式中，代表原始图像，口，口i ，6 ，6 i ，c ，j 的计算数值固定，所以我们先将其算出，在迭代过 程中它们的值保持定值。最终，我们得到“，和的离散形式。 第四章方向弱化光流模型 ( “- ，+ q 一，一2 “u ) q + ( “，+ 。+ 坼一一2 ) 6 l + 2 d 去( “，+ 。，+ 。+ 一。，一。一+ u 一一坼一u + ，) m 删，2 一 ( v + i + ”- l 一2 v ) 口。+ ( v p 。+ m ，一。一2 v ，) 岛+ 2 d 三( v + u + 。+ v - ，一。一v “一。一- l + 。) ”删厂i 一 同样的，把式( 4 1 7 ) 中各个项作离散化处理，得到 驴古( “孑1 一“o ) v = 击( v 孑1 一v o ) v 2 “，。“，+ i ，+ 坼一i + “f + i + “，一l 一4 “f ， v 2 v ，= v + i ，+ v i + v f ，+ i + ，一l 一4 g ( “，) = e x p ( 一 g ( v ，) = e x p ( 一 把它们代入式( 4 - 18 ) 得 虹盟皂邋m ( “， 七2 ”- ( + 。一v f 。，) 2 + ( v p 。一v f ) 2 足2 4 2 4 方向弱化光流模型的实验结果及分析 ，) = 1 一g ( ，) ) ， ( v f ) = 1 一g ( u ) ， 在本节的所有实验中，令所有模型中的参数口= 3 5 ，n a g c l 模型中，= l ( a ) 主持人图像序列m ) h o m s c h l l i i c k 光流模型( c ) 方向弱化光流模型 3 2 删 ( 4 1 9 ) “叫“ r 1 吃u“w “ 屯 ， 卅 彳 ， ，1 “ j ( 一 一 一肭 帆 吃 一 ， j v 沪， 屯 俨 俨 一一 口 货 l r l r 出 出 驴 沪 剃u 剃u 卜卜 羹蝴；：r簖#l笔，t 第四章方向弱化光流模型 ( d ) 凹形i 鲥像序列 ( e ) h o m s c h u n c k 光流模型 ( f ) 方向弱化光流模型 持人图像序列和凹形图像序列的实验结果 第一组实验，我们选择经典的测试序列一主持人图像序列和凹形图像序列。其中主 持人图像序列描述的是一个主持人正在主持节目的场景，我们使用第七帧和第八帧进行 实验；凹形图像序列描述的是一个凹形物体向下运动的场景，我们使用其第一帧和第二 帧进行实验；观察图4 1 ( b ) 和图4 1 ( e ) ，各向同性的h o m s c h u n c k 光流模型没有考虑 到图像的特征，导致在运动物体的边缘处的光流场很模糊，而我们提出的方向弱化光流 模型( 图4 1 ( c ) 和图4 1 ( f ) ) ，由于考虑到图像的特征，在运动边缘处削弱法线方向的 平滑，因此获得了准确的光流场。表4 1 中的数据显示，在该实验中，我们提出的方向 弱化光流模型的平均角度误差都有大幅度降低，再次证明了方向弱化光流模型的优越 性。 表4 1 关于主持人图像序列和凹形图像序列的平均角度误差( a a e ) 平均角度误差( a a e )主持人序列凹形序列 h o m 光流模型 9 2 27 5 方向弱化光流模型 4 1 63 1 6 ( c ) n a g e l 第四章方向弱化光流模型 ( b ) h o m s c h l l i l c k 光流模型 ( d ) 方向弱化光流模型 璧 ； 薹；耋蒌墓l 羹薹鋈；薹萋溪i 雾霉灌；薹謇| 耋 垂妻蓬 翮薹蒌黼霾霾冀蓁 i l ! 耋垂l 醺! 萋垂 藿囊荤囊；囊垂；菱翼室| 毳 鋈囊灌 ；l i ；垂l 耄萋灌薄 藿蓬! 萋塞基! 塞耋凑囊i 塞遵i 垂囊i 耋 l l：蓬蓬菱灌蓬委蓬i 薹薹灌；羹薹；蠢鋈誊；薹 | 羹毫蓬 - ；一2 一一一 g i 灞露鏖蓬溪篓瀑i 墓萋港遵垂溱；豢襄i 萎；誊蘩；羹 ： 。莓：率霉：譬：薯事：辞：薯喜辜：碡：葛；：荨：蒋苍莓：薯：豢= ；蔫 ! l ；囊 鐾薹懑睡| | | 灌l 翥蚕；蠢 垂囊蠢；藿茎墨霪蚕磊 l i ；磊垂素i 蓑潺藿灌：羹薹| 薹；薹薹；薹i 薹薹| 垂 羹鬻 ( e ) h o m s c h u n c k 光流模型：放大的标记区域光流场 ( f ) n a g e l 光流模型：放大的标记区域光流场 ( g ) 方向弱化光流模型：放大的标记区域光流场 图4 2 使用向前运动多物体图像序列的实验 3 4 誉寰熠l 皇 藿豪漆l 囊 瑟羹 越蠹灌；誊 藿垂| 垂；薹 黧 蘸羁 霪瓣霪 震垂馐；萋 骢弱 嚣鹣 霪藿；囊! 墓 鼙垂湛蓬 鞋霪嚣爨一穗嘏醛 _：；ili；i*i盐_基：_喾甚li!缝肆lf4培#蕾兰罄薯#一|ll蠡 葺一曲-荨：珥再l_f_葺肆要tfl 1 l 碍一一。赫i_-蓍#暑li孽_i釜话1蠢越群蘩雕董繁量讳尊-_孽葺lli薄兰-_景oi_fgi_錾一口-目子熏2_l垂l_鄄詈兰-g篁虿!一羹崮#；_霉善k#一l_-#ol：i三一eg：tl。li；2羹窭_j轧赫乏1囊车葺矗氟搿莓善萋!=皿可：l，薯!：孽|l_jee耐#尊璧k_i簧；委鱼墨4蘑一iifl!事；尊誓鲞垂葬2乏耋 第四章方向弱化光流模型 表4 2 使用向前运动多物体图像序列实验的平均角度误差( 凡墟) m e t l l o d h o m 光流模型n a g e l 光流模型方向弱化光流模型 a a e 7 7 。4 r3 2 6 。 为了验证我们提出的方向弱化光流模型在包含复杂运动不连续的图像中体现出的 优越性，我们仍然选择向前运动的多物体图像序列，在上一章中，我们曾经介绍过这个 图像序列，圆形物体和方形物体一起朝着镜头向前运动且圆形物体的下方和方形物体的 上方距离非常小。观察图4 2 ( b ) 、4 2 ( c ) 、4 2 ( d ) ，很明显，n a g e l 光流模型和方向弱化光 流模型比较好的保持了运动边缘，同样的，为了仔细对比包含复杂运动不连续的标记区 域处，我们将此处放大并再次使用“c o l o rc o d e ”让光流场更加直观，图4 2 ( e ) 所示 h o m s c h u n c k 光流模型的光流场很模糊，在距离非常小的运动边缘处，方向弱化光流模 型( 图4 2 ( g ) ) 比经典的n a g c l 光流模型更好的保持了运动场的不连续边缘。表4 2 中 关于该实验的平均角度误差的降低再次体现了我们模型的优势。 ( a ) a 肋y 图像序列 ( b ) h o m 光流模型 ，一 ，一 曩 序列的实验 第三个实验使用了明德学院的a n n y 图像序列的第十帧和第十一帧，场景中包含了 大量的运动不连续，观察选中区域的光流场，对光流场使用“c o l o rc o d e ，可以看到方 第四章方向弱化光流模型 向弱化光流模型( 图4 3 ( d ) ) 计算出来的光流场与n a g e l 光流模型( 图4 3 ( c ) ) 、h o m 光 流模型( 图4 3 m ) ) 相比，在运动边缘处计算所得的光流场更加准确、清晰。表4 3 中 平均角度误差下降到4 0 2 。 我们再次使用明德学院的其他标准测试图像序列进行实验，相比h o m s c h 硼c k 光 流模型、n a g e l 光流模型，我们提出的方向弱化光流模型的平均角度误差均有大幅度降 低；我们这种基于图像特征把拉普拉斯算子进行分解的方法，对于包含复杂运动不连续 的图像序列( 础m y 、觚v e 、u r b 锄、s c h e m e r a 图像序列) ，由于我们的模型算法在图像 梯度大的区域减去法线方向的平滑，因此能够很好的保持运动的不连续边缘。 表4 3 使用明德学院的最新标准测试图像序列实验的平均角度误差( a a e ) 平均角度误差( a a e )加m y 图像m e q u o n 图像s c h e m e r a 图像w b o d e n 图像 序列序列序列序列 h o m 光流模型 8 0 19 1 3 1 4 21 2 4 n a g e l 光流模型 4 6 55 0 86 7 77 2 l 方向弱化光滑光流模型 4 0 2 4 5 96 1 86 9 7 g r o v e 图像序列u r b a n 图像序列y b s e m i t e 图像序列 俐d y 图像序列 4 6 48 2 14 0 l 9 1 6 3 8 2 5 7 23 8 84 7 6 3 1 34 1 53 7 24 5 l 4 3 本章小结 本章针对h o m s c h u n c k 光流模型中平滑项的各项同性性带来的问题，本章提出了 一个新的光流模型一方向弱化光流模型。该方法对e u l 盯方程中的拉普拉斯算子进行研 究，分析拉普拉斯的分解方法，使用图像的梯度信息重新定义，在图像梯度大的区域， 削弱法线方向的平滑来保持运动的不连续边缘。最后，在本章第二节中使用真实图像序 列和合成图像序列进行实验，方向弱化光流模型明显优于经典的光流方法。 第五章总结与展望 5 1 本文研究工作总结 第五章总结与展望 光流场的计算是计算机视觉研究领域的一个传统且经典的问题，由于光流法在图像 压缩、三维立体重建、机器人导航等多个领域有着广泛的应用，光流场的计算