计算机视觉教与学 课件 09.跟踪1

特征跟踪和光流鲁鹏人工智能学院北京邮电大学Source：LanaLazebnik、SilvioSaverse这节课：恢复运动特征跟踪提取视觉特征（角点、纹理区域）并在多个视频帧上“跟踪”它们光流从时空图像亮度变化中恢复每个像素的运动信息两个问题，一种配准方法B.LucasandT.Kanade.Aniterativeimageregistrationtechniquewithanapplicationtostereovision.InProceedingsoftheInternationalJointConferenceonArtificialIntelligence,pp.674–679,1981.特征跟踪可以解决许多问题，例如运动恢复结构需要匹配点如果运动很小，跟踪是获取它们的简单方法特征跟踪挑战找出哪些特征可以跟踪有效地跨帧跟踪有些点可能会随着时间的推移而改变外观（例如，由于旋转、移动到阴影中等）漂移：随着外观模型的更新，小误差可能会累积点可能会出现或消失：需要能够添加/删除跟踪点特征跟踪给定两个连续帧，估计点的移动Lucas-KanadeTracker的关键假设亮度恒定性：

同一点的投影在每一帧中看起来都相同小运动：点不会移动太远空间连贯性：相邻点的移动情况相似I(x,y,t)I(x,y,t+1)所以：亮度恒定方程：在(x,y,t)处对

I(x+u,y+v,t+1)

进行泰勒展开以线性化右侧：亮度恒定性约束沿x的图像导数帧间差异I(x,y,t)I(x,y,t+1)亮度恒定性约束每个像素有多少个方程和未知数？垂直于梯度（即平行于边缘）的运动分量无法测量边缘(u,v)(u',v')梯度(u+u',v+v')如果(u,v)满足方程，

则(u+u',v+v‘)也满足方程

一个方程（这是一个标量方程！），两个未知数(u,v)我们可以使用这个方程来恢复每个像素的运动（u，v）吗？孔径问题实际运动孔径问题感知运动旋转柱错觉/wiki/Barberpole_illusion旋转柱错觉/wiki/Barberpole_illusion解决歧义...如何获得更多关于像素的约束方程？空间一致性约束

假设像素的邻域具有相同的(u,v)如果我们使用5x5窗口，则每个像素有25个方程B.LucasandT.Kanade.Aniterativeimageregistrationtechniquewithanapplicationtostereovision.InProceedingsoftheInternationalJointConferenceonArtificialIntelligence,pp.674–679,1981.最小二乘问题：解决歧义...跨图像匹配区块超定线性方程组求和操作在KxK窗口中进行d的最小二乘解由下式给出可解的条件最优(u,v)满足Lucas-Kanade方程这让你想起什么了吗？这个问题什么时候可解？哪些是值得追踪的特征点？ATA应该是可逆的ATA不宜太小ATA的特征值

1和

2不能太小ATA

应具备良好的条件

1/

2不宜太大（

1=较大的特征值）解释特征值使用二阶矩矩阵的特征值对图像点进行分类：1个

2“角点

”

1

和

2较大，

1~2

1和2较小“边缘”

1>>2“边缘”

2>>1“平坦”区域可解的条件Harris角点检测器的标准最优(u,v)满足Lucas-Kanade方程这让你想起什么了吗？这个问题什么时候可解？哪些是值得追踪的特征点？ATA应该是可逆的ATA不宜太小ATA的特征值

1和

2不能太小ATA

应具备良好的条件

1/

2不宜太大（

1=较大的特征值）ATA的特征向量和特征值与边缘方向和大小相关与强度变化最快方向上的较大特征值点相关的特征向量另一个特征向量与其正交M=ATA是二阶矩矩阵！（Harris角点探测器……）可解的条件低纹理区域梯度幅值较小

l1小,l2小边缘区域

梯度非常大或非常小

l1大

,l2小复杂纹理区域梯度不同，幅度很大

l1大,l2大孔径问题解决了实际运动孔径问题解决了感知运动处理较大的运动：迭代优化初始化(x',y')=(x,y)计算(u,v)通过将窗口移动(u,v)：x'=x'+u；y'=y'+v；重新计算

It重复步骤2

-

4直到发生微小变化对子像素值使用插值第一张图像中特征块的二阶矩矩阵位移It=I(x',y',t+1)-I(x,y,t)原始(x,y)位置图像一图像J图像1(t)的高斯金字塔图像2(t+1)的高斯金字塔图2图1处理较大的运动：从粗到细的配准运行迭代L-K运行迭代L-K上采样。。。Shi-Tomasi特征跟踪器使用二阶矩矩阵的特征值找到好的特征（例如，Harris检测器或最小特征值的阈值）关键思想：要跟踪的“好”特征是那些可以可靠估计其运动的特征使用Lucas-Kanade逐帧跟踪这相当于假设一个帧到帧特征移动的平移模型通过对第一个观察到的特征实例进行仿射配准来检查轨迹的一致性仿射模型对于较大位移更准确与第一帧相比有助于最大限度地减少漂移J.ShiandC.Tomasi.GoodFeaturestoTrack.CVPR1994.跟踪示例J.ShiandC.Tomasi.GoodFeaturestoTrack.CVPR1994.KLT跟踪总结找到一个好的跟踪点（harris角点）使用灰度二阶矩矩阵和帧间差异来计算位移迭代并使用从粗到细的搜索来处理较大的运动处理长轨迹时，通过对比已配准的图像块与初始图像块的外观特征，检测并修正发生漂移的特征点实际应用窗口尺寸小窗口对噪声更敏感，可能会错过较大的运动（没有金字塔）大窗口更有可能穿过遮挡边界（但是速度更慢）15x15至31x31是典型的窗口尺寸加权窗口通常应用权重以使窗口中心更重要（例如，高斯加权）为什么不直接进行局部模板匹配呢？慢（需要计算更多的点）不提供子像素对齐（或变得慢得多）即使像素对准也可能不足以防止漂移如果有较大的移动，局部模板匹配可能难以有效跟踪光流法时空图像亮度变化的矢量场函数PicturecourtesyofSelimTemizer-LearningandIntelligentSystems(LIS)Group,MIT运动和感知有时，运动是唯一的信号运动和感知即使“贫乏”的运动数据也能唤起强烈的感知G.Johansson,“VisualPerceptionofBiologicalMotionandaModelForItsAnalysis",PerceptionandPsychophysics14,201-211,1973.运动和感知即使“贫乏”的运动数据也能唤起强烈的感知G.Johansson,“VisualPerceptionofBiologicalMotionandaModelForItsAnalysis",PerceptionandPsychophysics14,201-211,1973.运动的用途估计3D结构根据运动线索分割对象学习和跟踪动态模型识别事件和活动提高视频质量（运动稳定）运动场运动场是3D场景运动到图像中的投影光流定义：光流是图像中亮度模式的表观运动理想情况下，光流与运动场相同需要注意：表观运动可能是由光照变化引起的，而没有任何实际的运动例如固定照明下的均匀旋转球体与移动照明下的静止球体Lucas-Kanade光流法和Lucas-Kanade特征跟踪相同，但其针对每个像素对于纹理像素效果更好操作可以一次一帧完成，而不是逐像素完成高效多分辨率LucasKanade算法

迭代优化迭代Lukas-Kanade算法Kanade方程来估计每个像素的位移使用估计的光流场使I（t）向I（t+1）形变（Warp）-

图像插值操作重复直到收敛*FromKhurramHassan-ShafiqueCAP5415ComputerVision2003图像一图像J图像1(t)的高斯金字塔图像2(t+1)的高斯金字塔图2图片1从粗到细的光流估计运行迭代L-K运行迭代L-K形变和上采样。。。图像一图像H图像1的高斯金字塔图像2的高斯金字塔图2图片1u=10像素u=5像素u=2.5像素u=1.25像素从粗到细的光流估计例子*FromKhurramHassan-ShafiqueCAP5415ComputerVision2003多分辨率配准*FromKhurramHassan-ShafiqueCAP5415ComputerVision2003光流结果*FromKhurramHassan-ShafiqueCAP5415ComputerVision2003不使用金字塔的L-K光流对于运动较大的区域跟踪失败光流结果*FromKhurramHassan-ShafiqueCAP5