第三讲 光流分析法

1、第三讲 光流分析法31 二维运动与视在运动三维场景 二维的时变图像 数学上 3D2D投影 1成像平面，投影平面 光学上而我们所能得到的是时变图像的某种采样点阵（或采样栅格）的图像序列，问题是：图像序列二维运动估计二维位移场二维速度场2可控与可观测问题即真实二维位移场与速度是否可观测？3二维运动也称投影运动： 透视、 正交投影pOX3X2X1PPp三维运动可由物体像素的三维瞬时速度或三维位移来描述，但三维瞬时速度及三维位移正是我们要估计的，这是一个逆问题。而我们可观测到的是视在运动。（1） 假定投影中心在原点t时刻t时刻PP投影PP投影 三维位移矢量 二维成像平面上的二维位移矢量O1ppOX2X

2、1PP图像平面X3 X2（2） 假定投影中心在O1点由于投影作用，从P点出发，终点在O1P/ 虚线上的三维位移矢量均有相同的二维投影位移矢量。所以说，投影的结果只是三维真实运动的部分信息。（3）设 由像素的运动 二维位移矢量函数对应于点阵 3 ，则有（x ，t ） 3 （n ，k ） Z3k表达了t- t 的时间离散 假定三维瞬时速度为，则4光流场与对应场（1） 定义为对应矢量光流矢量定义为某点 上的图像平面坐标的瞬时变化率，为一个导数。表征了时空变化，而且是连续的变化。（2） 当时，则光流矢量与对应矢量等价。如果在某个点阵3可观测到这种变化，则就意义 对应场像素的二维位移矢量场 光流场将防碍

3、二维运动场的估计。K+1帧K帧则有光流，但没有运动。32 二维运动估计 PP=（x1，x2）tP=（x1，x2）t-ltd2Pd1PP=（x1，x2）t+ltPd1d21 正向估计： 2 逆向估计3 数学上问题（1） 光流的估计若每一个t间隔时，速度矢量不变。则光流估计与对应 估计等价；否则在有加速度的情况下，估计光流需要多 帧运算，至少三帧。（2） 解的存在性如遮挡与显露问题。（3） 解的唯一性产生孔径问题。位移各分量是否解耦合的。若独立，未 知量的个数是方程数的2倍。（4） 解的连续性产生噪声不连续4 数学描述有两种主要方法（1） 参数模型Emin，应有(3.35)4H-S法 它是一个搜索

4、过程，使光流矢量逐步达到最小值。通过迭代计算使(3.36)5 梯度估计将（3.32）式中的偏微分项用梯度估计出来6 其它的算法，如自适应方法。第四讲 基于块的分析法41 块运动模型1 图像的块模型（1） 图像由块构成（2） 块运动由平移和二维变形构成2 平移块运动（1） 模型 在纯平移情况下，设块Bn，而n=（n1，n2），D=（d1，d2）T是位移矢量，且第k帧中图像块B为S（n1，n2，k），则有 注意上式中D为已被采样点阵抽样及量化后的值。最接近真正（d1，d2） 的整数。（2） 重叠问题图在下面：块B未重叠块块B重叠块可知块B在k与k+1帧之间可能重叠的，(a)在未重叠时，块B有单一的

5、运动矢量。(b)在重叠时，可选择重叠区内平均运动矢量作为补偿。() 应用平移的块运动模型算法简单(a) 每一块只需一个运动矢量 而光流法要附加的条件来表示运动场(b) 算法规整简单，便于VLSI实现(c) 不能用于变形运动变形的块运动() 位射变换设k帧中某像素的坐标为(x1, x2) ，而在k+l帧中的对应像素的坐标为(x1, x2)，则由一般的位射变换有X=AX+D (4.12)其中X=(x1, x2)T，X=(x1, x2)T，D=(d1, d2)T (4.1-2)可处理的变换，而位射是正交投射。（2）透视变换 非线性处理 （4.1-3）（3）双线性变换 引入了非线性处理4.2 相位相关

6、法 频域法1. 线性相位差项在（4.1-1）试两边取付氏变换 （4.2-1）因此对应块之间的相位差为 （4.2-2）可见相位差只是在（）坐标上一个平面方向，则帧间的运动矢量可以由这个方向指示来估计。（4.2-1）式也表明空间场的相对位移引入傅立叶场的线性相位项，而光学的傅立叶常谱特性更容易得到快速算法。2. 相位相关函数定义k, k+1帧间的相关函数为 （4.2-3）相复功率谱有 （4.2-4）归一化功率谱为 (4.2-5)若为平移运动,有 (4.2-6)上式反变换有 (4.2-7)(4.2-7)式称为相位相关函数,是一个函数，即函数的位置生成位移矢量。3 实现及问题实现步骤：（1） 计算块的

7、二维DFT（k, k+1帧）（2） 计算（4.2-5）式的归一化功率谱（3） 求反二维DFT（4） 检测相位相关函数峰值位置问题：（1） 伪峰的出现（2） 峰分裂（3） 分辨率（4） 频谱泄露优点：（1）不敏感照明的变化 归一化的功率谱（2）可检测多物体运动 每个峰将指示一个特定运动 算法将复杂4.3块匹配法 时域法1. 块匹配法（1） 算法在时域进行，算法本身简单、归整（2） 便于VLSI实现，MPEG1、2、4均大量采用（3） 原则（a） 合适的块大小（b） 匹配准则（c） 搜索方法2. 匹配准则（1） 最小均方误差MSE, 定义： (4.3-1)准则为求（）T，使得 (4.3-2)D表示

8、（）T的域MSE可看成光流的约束条件（指块内）但不利于VLSI实现（2） MAD最小绝对值法，定义： (4.3-3)求（）T，使得 (4.3-4)其中D是（）T的域可见 MAD便于VLSI实现，但块范围大后，性能下降。（3） MPC最大匹配像素数法对块中的每一个像素，定义： (4.3-5)由(4.3-5)决定该像素是否匹配像素则块中的匹配像素的个数为 (4.3-6)求（）T，使得 (4.3-7)其中D是（）T的域MPC法只需逻辑运算及计数，便于硬件实现3搜索过程（1）全程搜索 费时，但可靠，保证全局极值点（2）快速搜索法 三步搜索 与预期的精度有关 交叉搜索4.4 分级运动估计1. 图象的多分辨率表达形式在小波变换下可提供为相位相关法急块匹配改善运动估计2. 低分辨率开始 运动估计 大块的运动 . 小块运动 运动解 高分辨率若有理解初始值，则可以减小窗口的大小降低运动量3. 重建时可根据需要重建4.5 一般的块运动估计1平移估计的缺陷（1）上述方法只能用于平移情况（2）旋转、变形、运动场有不连续点时不能适用2改进（1）后处理（2）空间变换后处理：在H.26x,MPEG1,MPEG2中图象分成块易引入边界效应。先在块决定一个运动估计，然后块被分成k个区域块或子块，每个子块有一个单一运动估计，将k个附加的