光流分析法讲诉

1、第三讲 光流分析法31 二维运动与视在运动1 三维场景 二维的时变图像 数学上3D 2D 投影成像平面，投影平面 光学上而我们所能得到的是时变图像的某种采样点阵（或采样栅格）的图像序列， 问题是：二维位移场二维速度场2可控与可观测问题 即真实二维位移场与速度是否可观测？3二维运动也称投影运动：透视、 正交投影三维运动可由物体像素的 三维瞬时 速度或三维位移 来描述，但三维瞬时速度 及三维位移正是我们要 估计 的，这是一个逆问题。而我们可观测到的是视在运动。1）假定投影中心在原点t 时刻t时刻P投影P投影PP 三维位移矢量pp 二维成像平面上的二维位移矢量21dP(X,t；l t) dC(X,t

2、；l t)，x ， t ) 3d (n,k；l) dP(X,t；l t)n ， k ) Z3k 表达了 t - t 的时间离散n (n1,n2 )T(2)假定投影中心在 O1 点 由于投影作用，从 P 点出发， 终点在 O1P/ 虚线上的三维位移矢 量均有相同的二维投影位移矢量。 所以说， 投影的结果只是三维真实 运动的部分信息 。(3)设 (X,t) R3,t t l t由像素的运动SC(X,t) dC(X,t,t)二维位移矢量函数对应于点阵 3 ，则有假定三维瞬时速度为 (X1,X2,X3) ，则VP(X,t) VC(n,k)4光流场与对应场( 1) pp 定义为对应矢量光流矢量定义 为某

3、点 (X,t) R3 上的图像平面坐标的瞬时变化率， 为一个导数 。V (V1,V2)T (dx1 /dt,dx2 /dt)T表征了时空变化，而且是连续的变化。2) 当 t t t 0时，则光流矢量与对应矢量等价 。如果在某个点阵 3 可 观测到这种变化，则就意义对应场像素的 二维位移矢量场 光流场像素的 二维速度矢量场 也分别称为二维视在对应场与速度场。 一般而言，对应矢量 位移场 光流矢量速度场3) 可观测性例子角速度 rad/s22亮度均匀的话，则不产生光流，不可观测。光照变化 将防碍二维运动场的估计。d1d2PPt-l tP=( x1， x2)d2Pd1t+ltP=(x1，x2)P=（

4、x1，x2）1正向估计：SP (x1,x2,t) SC(x1d1(X,t;l t),x2 d2(X,t;l t),t l t)离散化 等价S（k x1，x2） Sk（l x1 d（1 X）， x2 d（2 X）其中 t k t对应矢量（d X）（d（1 X）， d（2 X）T2逆向估计S（k x1，x2） Sk（l x1 d（1 X），x2 d（2 X） ,其中t k t3数学上问题1）光流的估计 若每一个 t 间隔时，速度矢量不变。则光流估计与对应估计等价 ；否则在 有加速度的情况下，估计光流需要多 帧运算，至少三帧。则有光流，但没有运动2332 二维运动估计2) 解的存在性 如遮挡与显露问

5、题。3) 解的唯一性 产生孔径问题 。位移各分量是否解耦合的。若独立，未 知量的个数是方程数的 2 倍。4) 解的连续性 产生噪声 不连续 4数学描述有两种主要方法(1) 参数模型 Emin，应有24x1Ex24H-S 法它是一个 搜索过程，使光流矢量逐步达到最小值dSC(X,t)dtmin5梯度估计将( 3.32)式中的 偏微分项用梯度估计 出来SC(x1x,x2,t)x1SC (x1,x2,t)x11SC(x1,x2,t)x2 SC(x1,x2,t)x22SC(x1t,x2,t)tSC (x1,x2,t)(3.35)通过迭代计算使(3.36)(3.3 7)(3.3 8)(3.3 9)6其它

6、的算法，如自适应方法。25第四讲 基于块的分析法41 块运动模型1 图像的块模型（1）图像由块构成（2）块运动由 平移和二维变形 构成2 平移块运动（ 1） 模型在纯平移情况下，设块 Bn，而 n=（n1， n2）， D=（d1，d2） T是位移矢量， 且第 k帧中图像块 B为 S（n1，n2，k），则有(4.1 1)S(n1, n2, k ) S(n1 d1,n2 d2,k 1)注意上式中 D 为已被采样点阵抽样及量化后的值。 最接近真正（d1，d2）的 整数。2） 重叠问题图在下面：块B未重叠块可知块 B在k与 k+1帧之间可能重叠的， （a）在未重叠时，块 B有单一的运 动矢量 。（b）

7、在重叠时，可选择 重叠区内平均运动矢量作为补偿 。（） 应用26平移的块运动模型算法简单(a) 每一块只需一个运动矢量 而光流法要附加的条件来表示运动场(b) 算法规整简单，便于 VLSI 实现(c) 不能用于变形运动 变形的块运动() 位射变换设k帧中某像素的坐标为 (x1, x2) ，而在k+l帧中的对应像素的坐标为 (x1, x 2)， 则由一般的位射变换有X=AX+D(4.12)其中 X=(x1, x 2)T，X=(x 1, x2)T，D=(d1, d2)T (4.1-2)可处理 长长方方形形 旋平转行四边形 的变换，而 位射是正交投射 。a1x1 a2x2 a3a7x1 a8x2 1

8、x1x a4x1 a5x2 a6x2a1x1 a2x22 a371 8 2a7x1 a8x2 1a4x1 a5x2 a62)透视变换非线性处理x14.1-3)x3) x2双线a7性x1变a换8 x2 1 引入了非线性处理4.2 相位相关法 频域法1. 线性相位差项在(4.1-1)试两边取付氏变换Sk(f1,f2) Sk1(f1,f2).exp j2 (d1f1 d2f2)(4.2-1)因此对应块之间的相位差为argSk(f1,f2) arg Sk 1(f1,f2) 2 (d1f1 d2f2)(4.2-2)可见相位差只是在( f1,f2 )坐标上一个平面方向，则帧间的运动矢量 可以由 这个方向指

9、示来估计。 (4.2-1)式也表明 空间场的相对位移 引入傅立叶场的线性 相位项， 而光学的傅立叶 常谱特性 更容易得到快速算法。2. 相位相关函数 定义 k, k+1帧间的相关函数为4.2-3)Ck,k 1(n1,n2) S(n1,n2,k 1)* S( n1, n2,k)27相复功率谱有Ck,k 1（ f1, f2） 归一化功率谱为Sk 1( f1, f2)S (f1, f2)Ck,k 1( f1, f2 )Sk 1( f1.f2 ) Sk ( f1, f 2)Sk 1(f1, f2)Sk(f1, f2)若为平移运动 ,有Ck,k 1（ f1, f2） exp j2 （d1f1 d2 f2

10、） 上式反变换有Ck,k 1（n1,n2） （n1 d1,n2 d2）（4.2-7）式称为 相位相关函数 ,是一个函数，即函数的位置生成(4.2-4)(4.2-5)(4.2-6)(4.2-7)位移矢量 。3 实现及问题实现步骤：（1）计算块的二维 DFT（k, k+1 帧）（ 2）计算（ 4.2-5）式的归一化功率谱（ 3）求反二维 DFT（4）检测相位相关函数峰值位置问题：（1）伪峰的出现（2）峰分裂（3）分辨率（4）频谱泄露优点：（ 1）不敏感照明的变化归一化的功率谱（ 2）可检测多物体运动每个峰将指示一个特定运动算法将复杂4.3 块匹配法 时域法1. 块匹配法（1）算法在时域进行，算法本

11、身简单、归整（2）便于 VLSI 实现， MPEG1、2、4 均大量采用（3）原则（a） 合适的块大小28b) 匹配准则c) 搜索方法2. 匹配准则( 1)最小均方误差 MSE, 定义：MSE(d1,d2)12N11N2 (n1,n2)BS(n1,n2,k) S(n1,n2,k )准则为求( d?1,d2)T，使得(d?1,d2)T min MSE(d1,d2),( d1,d2) D D 表示( d?1,d2)T 的域MSE 可看成光流的约束条件(指块内) 但不利于 VLSI 实现(4.3-1)(4.3-2)2) MAD 最小绝对值法，定义：MAD(d1,d2)1N1N2 (n1 ,n2S(n

12、1,n2,k)B)S(n1, n2 ,k 1)求( d?1,d2)T，使得(d?1,d2)T min MAD (d1,d2),(d1,d2)T D 其中 D 是( d?1,d2)T 的域可见 MAD 便于 VLSI 实现，但块范围大后，性能下降3)MPC 最大匹配像素数法对块中的每一个像素，定义：T(n1 , n2 ,1, S( n1 ,n2 ,k ) S(n1,n2,k 1) t d1, d2 ) 0,其它门限由(4.3-5)决定该像素是否匹配像素则块中的匹配像素的个数为Mpc(d1,d2)T(n1,n2;d1,d2)(n1,n2 ) BT求( d?1,d2)T，使得(d?1,d2)T mi

13、n mpc(d1,d2),(d1,d2)T D其中 D 是( d?1,d2)T 的域MPC 法只需逻辑运算及计数，便于硬件实现(4.3-3)(4.3-4)(4.3-5)(4.3-6)(4.3-7)293搜索过程1）全程搜索费时，但可靠，保证全局极值点2）快速搜索法三步搜索交叉搜索与预期的精度有关4.4 分级运动估计1. 图象的多分辨率表达形式在 小波变换下可提供为相位相关法 急块匹配改善运 动估计2. 低分辨率开始运动估计大块的运动2. 低分辨率开始运动估计大块的运动. 小块运动 运动解 高分辨率 若有理解初始值，则可以减小窗口的大小降低运动量3. 重建时可根据需要重建4.5 一般的块运动估计1平移估计的缺陷 （1）上述方法只能用于平移情况（ 2）旋转、变形、运动场 有不连续点时不能适用2改进（1）后处理（2）空间变换后处理：在 H.26x,MPEG1,MPEG2 中图象分成块易引入 边界效应