基于层次化运动模型的运动目标检测.ppt

1、,基于层次化运动模型的运动目标检测吴 晖,视频图像中的目标检测与跟踪，是计算机视觉的基础课题，同时具有广泛的应用价值。 实际的图像可分两类： 静态场景 目标检测相对简单，研究渐趋成熟 动态场景 相对复杂，成为当前研究领域的热点,动态场景运动检测的一般步骤： 1 全局运动补偿 2 运动目标分割,求解全局运动 参数,对于景深不同的情况， 全局运动补偿的方法失效。,解决办法： Layered representation,将具有多组运动参数的图像每帧分割成不同的运动层，每层表示了位于不同三维深度的背景物。,Layered representation,Since 1994 Wang and Adel

2、son,光流场,Initial purpose Image Coding,In 2007 moving objects detection by 郑世友,roadmap,计算图像光流场 运动分割 运动目标检测,1 基于光流的运动估计motion estimation based on optic flow,运动是重要的视觉信息，基于运动，我们可以进行: 目标跟踪(tracking), 分割(segmentation), shape from motion, 图像编码(coding). 两个基本问题 （1）有没有运动物体？ （2）运动速度和方向如何？,运动,三维物体的运动，造成图像上对应点的运动

3、,Image plane,Scene Flow,Motion Field,光流 观察者与场景目标之间有相对运动是图像亮度模式的表观运动,图像的变化 目标运动的信息,约束方程,光流可看成带灰度的像素点在图像平面上的运动产生的瞬时速度场 设点在 时运动到 亮度保持不变，即：,* Slide from Michael Black, CS143 2003,在某一点上我们只能确定光流在图像梯度方向上的分量。,约束方程,Known as the “Aperture Problem”,Motion along just an edge is ambiguous,Aperture Problem Expose

4、d,Motion along just an edge is ambiguous,需要足够的图像梯度信息，才能进行准确的估计,光流计算,由于孔径问题的存在，仅通过光流约束方程不使用其他信息是无法计算图像平面中某一点处的图像流速度的。,Horn-schunck 利用光流在整个图像上的光滑变化假设求解。 Lucas-kanade 假设在一个小的领域内运动矢量保持恒定 Nagel 使用全局平滑约束建立光流误差测度函数,Computing optic flow,Computing optic flow,Computing optic flow,2 运动分割motion segmentation,仿射变

5、换六参数模型 设第k帧图像中某一个像素点 ，对应第k+1帧图像中 ，则它们之间满足下列关系：,用齐次坐标表示为,用向量表示参数为：,algorithm,我们假设图像的运动场遵循一系列参数不同的仿射运动模型，这些运动模型对应了图像中不同的运动区域。 每个像素被分配到最接近其运动向量的模型。 这样图像就可以被分割成相互区别的运动区域，每个对应了一个假设的模型。,Motion hypothesis generation,在循环的第一次，将图像划分成不重叠的小的方形区域。 对于每个区域，我们希望得到能够最好描述区域内像素运动的模型。 最小二乘估计得到仿射运动参数。,Motion hypothesis

6、refinement,K均值聚类，距离表示为： 其中 当聚合中心不再变化时，收敛。 当某个类为空时，剔除掉该类。,Region segmentation,对每个像素，比较它的光流向量与各个仿射模型，找到最接近的模型 将同一个模型表示的所有像素划分到一个区域 误差大于阈值的像素不分配到任何区域,Region adjustment,Region splitting 假设具有相同运动的区域是连通的，那么对于分割得到的区域如果内部有不相邻的几个子区域，我们把它分开，每个新的区域就是原来的以一个子区域 Region filtering 过小的区域所估计出的模型参数有很大的误差，因此面积小于某个阈值的区域被剔除,Affine motion segmentation,相邻帧的参数是比较相似的，因此下一帧的初始模型参数可以使用上一帧的结果，减少迭代次数和收敛时间。,3 运动目标检测,运动目标检测,已有文献中对于如何判断运动分割后的图像中哪些运动层对应静止背景,哪些运动层对应运动物体还仅限于定性分析,而没有给出定量方法,郑世友等人（2007