第三讲光流分析法

1、第三讲光流分析法3. 1二维运动与视在运动1 三维场景 二维的时变图像 数学上3D 2D投影成像平面，投影平面光学上而我们所能得到的是时变图像的某种采样点阵(或采样栅格)的图像序列, 问题是：二维位移场二维速度场2. 可控与可观测问题一 即真实二维位移场与速度是否可观测?3.二维运动也称投影运动:透视、正交投影三维运动可由物体像素的三维瞬时速度或三维位移来描述，但三维瞬时速度 及三维位移正是我们要估计的，这是一个逆问题。而我们可观测到的是视在运动。(1) 假定投影中心在原点t时刻t时刻投影P投影PP 三维位移矢量PP 二维成像平面上的二维位移矢量二维位移矢量函数(x，t)3d (n,k; I)

2、 dp(X,t； I t)(，k)Z3k表达了 t- t的时间离散(i , 2)t(2) 假定投影中心在Oi点 由于投影作用，从P点出发，终点在OiP/虚线上的三维位移矢 量均有相同的二维投影位移矢量。 所以说，投影的结果只是三维真实 运动的部分信息。(3) 设(X,t) R3, t t l t由像素的运动Sc(X,t) dc(X,t,t)对应于点阵3 ,则有dp(X,t; I t) dc(X,t； l t)，假定三维瞬时速度为(X1,X2,X3),则Vp(X,t) Vc( ,k)4. 光流场与对应场(1) PP定义为对应矢量光流矢量定义为某点(X,t) R3上的图像平面坐标的瞬时变化率， 为

3、一个导数。V (V1 ,V2 )t (dx1 dt,dx2dt)T表征了时空变化，而且是连续的变化。(2) 当t t t 0时，则光流矢量与对应矢量等价。如果在某个点阵 3可 观测到这种变化，则就意义对应场V像素的二维位移矢量场光流场V像素的二维速度矢量场也分别称为二维视在对应场与速度场。一般而言，对应矢量 位移场光流矢量速度场亮度均匀的话, 不可观测则不产生光流,光照变化 将防碍二维运动场的估计。O则有光流，但没有运动3. 2二维运动估计did2Pt Pt-l tP = ( X1 , X2)tP= ( X1, X2)/d2pJTdit+l tP = (X1 , X2)1 .正向估计：SP(X

4、1,X2,t) 离散化 氏(xI,X2)对应矢量d X)SC(Xl ,等价Sk 1(X1 d(X), X2 d 2(X)其中t k t(d(X), d 2(X)Tdi(X,t;l t),X2 d2(X,t t),tt)2.逆向估计Sk(X1, X2)SkI(XI d(X), X2 d2(X) I 其中t3.数学上问题(1) 光流的估计 若每一个厶t间隔时，速度矢量不变。则光流估计与对应 估计等价；否则在有加速度的情况下，估计光流需要多 帧运算，至少三帧。(2) 解的存在性 如遮挡与显露问题。(3) 解的唯一性一一 产生孔径问题。位移各分量是否解耦合的。若独立，未知量的个数是方程数的2倍。(4)

5、 解的连续性一一 产生噪声V不连续 4 数学描述有两种主要方法(1) 参数模型V基于三维曲面的表达式(2) 非参数模型a.光流方程b块运动模型c. 像素递归法d. 贝叶斯(最大后验概率)3. 3光流方程1.设Sc(Xi,X2,t)是连续时空亮度分布，若沿运动轨迹上的 亮度保持不变，有 dS(X1,X2,t) Odt注意上式X1，(3.31)X2随t变化，因此为一全导数。由上式可得Sc(X,t)0tSc(X,t)Sc(X,t)C U1(X,t) C U2(X,t)(3.32)XidtX2坐标速度分量dx2dt(3.33)(3.34)我们的估计就是要在帧之间保持(3.3 1)式成立，需要的先验知识

6、较多2. 二阶微分法d Sc(X,t)dt使空间图像梯度守恒3. 块运动模型定义像素块B上的光流方程误差为(dSc(X,tX Bdt使E最小为约束条件，为使 EEmin ,应有E0XiEX24. H-S 法它是一个搜索过程，使光流矢量逐步达到最小值dSc(X,t)dtmin5.梯度估计将(3.32)式中的偏微分项用梯度估计 出来(3.35)通过迭代计算使(3.36)SC (XI , x2, t)XISD(X1, x2, t)(3.37)X1SC (XI , x2, t)X SC(X1, x2, t)(3.38)X2SC (XI , x2, t)tt SC(X1, X2 ,t )(3.39)6.

7、其它的算法，如自适应方法。第四讲基于块的分析法4. 1块运动模型1 图像的块模型(1) 图像由块构成(2) 块运动由平移和二维变形构成2. 平移块运动(1) 模型在纯平移情况下，设块 B n,而n= (n1,化),D= (d1, d2) T是位移矢量, 且第k帧中图像块B为S(m, n2, k),则有(4.11)S(n 1,r2,k) S(n1 dm d2,k 1)注意上式中D为已被采样点阵抽样及量化后的值。最接近真正(d1,d2)的 整数。(2) 重叠问题 图在下面:jI-1I块B未重叠块可知块B在k与k+1帧之间可能重叠的，(a)在未重叠时，块B有单一的运 动矢量。(b)在重叠时，可选择

8、重叠区内平均运动矢量作为补偿。(3 )应用平移的块运动模型算法简单(a) 每一块只需一个运动矢量而光流法要附加的条件来表示运动场(b) 算法规整简单，便于VLSl实现(C)不能用于变形运动3. 变形的块运动(1) 位射变换设k帧中某像素的坐标为(, 2),而在k+l帧中的对应像素的坐标为(x,2), 则由一般的位射变换有X =AX+D(4.1 2)其中 X =(x,x2)T, X=(x, x2), D=(d, d2) (4.1-2)可处理长方形旋转四边形的变换，而位射是正交投射。x a2 X2 3a7X1 2X2 1X1x 兔人 a5X2 a6 Xna1 X1a2X22 a3a 7 入1 c2

9、1a7x1 a8x2 1a4 X1 a5 X2 a6(2) 透视变换一非线性处理x1(4.1-3)(4.2-1)(3) 双线性I变换X： I引入了非线性处理频域法4.2相位相关法弋1. 线性相位差项在(4.1-1)试两边取付氏变换Sk(f1,f2) Sk 1( f11 f2).exp j2 (d1f d2f2)因此对应块之间的相位差为(4.2-2)argSk(fn f2) argSk 1(f1, f2) 2(df d2f2)可见相位差只是在(f1,f2 )坐标上一个平面方向，则帧间的运动矢量 可以由 这个方向指示来估计。(4.2-1)式也表明空间场的相对位移 引入傅立叶场的线性 相位项，而光学

10、的傅立叶常谱特性更容易得到快速算法。2. 相位相关函数定义k, k+1帧间的相关函数为Ck,k1(n1, n2) S(n1,n2,k I)* S( n1 , n2, k)(4.2-3)相复功率谱有Ck,k 1（ f1, f2） 归一化功率谱为Sk 1( f1, f2)S (f1, f2)(4.2-4)Ck,k 1( f1 , f2 )Sk 1 ( f1. f2 )Sk ( f1 , f 2)ISk 1 ( f1 , f2 )Sk ( f1, f2 )(4.2-5)若为平移运动,有C%,k 1 ( f1, f2)expj2 (dd d2f2)(4.2-6)上式反变换有Cig，门2）(n1 d1,

11、r2 d2)(4.2-7)（4.2-7）式称为相位相关函数，是一个函数，即函数的位置生成 位移矢量3实现及问题实现步骤：（1）计算块的二维DFT（ k, k+1帧）（2）计算（4.2-5）式的归一化功率谱（3）求反二维DFT（4）检测相位相关函数峰值位置问题：（1）伪峰的出现（2）峰分裂（3）分辨率（4）频谱泄露优点：（1）不敏感照明的变化 归一化的功率谱（2）可检测多物体运动一每个峰将指示一个特定运动算法将复杂4.3块匹配法时域法1. 块匹配法（1）算法在时域进行，算法本身简单、归整（2）便于VLSl实现，MPEG1、2、4均大量采用（3）原则（a）合适的块大小(b)匹配准则(C)搜索方法2

12、. 匹配准则(1)最小均方误差MSE,定义:MSE(d1,d2)1 2Nz/SEgk)S(ni，n2，k)准则为求(C?, ()2) T ,使得(?,()2)TD表示(?, d2)T的域min MSE(d1,d2),(d1,d2)D(4.3-1)(4.3-2)(4.3-3)(4.3-4)(4.3-5)(4.3-6)(4.3-7)MSE可看成光流的约束条件(指块内) 但不利于VLSl实现(2) MAD最小绝对值法，定义：1 MAD(d1,d2) S(n 1,n2,k) S(m,n2,k 1)N1 N2 (n12 B)求( Md? ) T ,使得 (&d2)T min MAD (d1,d2),(d

13、1, d2)T D其中D是(？2) T的域可见MAD便于VLSl实现，但块范围大后，性能下降。(3) MPC最大匹配像素数法对块中的每一个像素，定义：1,S(n1,n2,k) S(n1,n2,k 1) t 门限T(1,n 2,d1,d2)0,其它由(4.3-5)决定该像素是否匹配像素则块中的匹配像素的个数为Mpc(d1,d2)T(n1, n2P1,d2)(12 ) B求(岳2 ) T ,使得(眾&广 min mpc(d1,d2),(d1,d2)T D其中D是(?,(2) T的域MPC法只需逻辑运算及计数，便于硬件实现3 搜索过程(1)全程搜索费时，但可靠，保证全局极值点(2)快速搜索法三步搜索交叉搜索与预期的精度有关4.4分级运动估计1. 图象的多分辨率表达形式在小波变换下可提供为相位相关法急块匹配改善运 动估计2. 低分辨率开始 运动估计却大块的运动于小块运动动解高分辨率X r若有理解初始值，则可以减小窗口的大小/降低运动量3. 重建时可根据需要重建4.5 一般的块运动估计1 平移估计的缺陷(1) 上述方法只能用于平移情况(2) 旋转、变形、运动场 有不连续点时不能适用2. 改进(1) 后处理(2) 空间变换后处理：在H26x,MPEG1,