运动目标检测与跟踪

1、运动目标检测与跟踪运动目标检测与跟踪主讲人：刘健2010.11.3Contents现状和应用1目标检测的相关技术2目标跟踪的常用方法34结语现状现状 运动目标检测与跟踪是在基于动态图像分析的基础上结合图像模式识别和图像跟踪方法对图像序列中的目标进行检测识别跟踪的过程，它是图像处理与计算机视觉领域中的一个非常活跃的分支，在最近二十几年间，随着计算机技术、CLSI技术与高分辨率传感技术，图像处理技术的迅速更新，它在国名经济和军事领域的许多方面有着广泛的应用。 人们对运动目标检测与跟踪系统的稳定性、鲁棒性提出了很高的要求。军事公安方面的应用：在军事方面主要用于导弹的精确制军事公安方面的应用：在军事方

2、面主要用于导弹的精确制导，可疑目标的检测与跟踪公安业务图片的判读分析，指导，可疑目标的检测与跟踪公安业务图片的判读分析，指纹识别，人脸识别，不完整图片的复原，以及智能交通监纹识别，人脸识别，不完整图片的复原，以及智能交通监控、事故分析等。控、事故分析等。工业方面的应用：具备视觉、听觉和触觉功能的智能机器工业方面的应用：具备视觉、听觉和触觉功能的智能机器人的成功应用。人的成功应用。生物医学工程方面的应用：各种细胞的运动分析检测和判生物医学工程方面的应用：各种细胞的运动分析检测和判别别123应用应用智能交通方面：通过对道路交通情况的实时监控，利用图智能交通方面：通过对道路交通情况的实时监控，利用图

3、像处理技术对各种情况作出准确的判断。像处理技术对各种情况作出准确的判断。4体育方面的应用：对运动员在比赛或者是训练中的技术动体育方面的应用：对运动员在比赛或者是训练中的技术动作的视频进行分析，得出精确的运动参数进行分析。作的视频进行分析，得出精确的运动参数进行分析。5运动目标检测的相关技术运动目标检测的相关技术光流法光流法 帧间差方法帧间差方法 背景差方法背景差方法 背景估计法背景估计法4123光流法光流法连续光流法连续光流法特征光流法特征光流法 优点：优点：能得到连续的光流场缺点：缺点：计算量大光流法通过计算三维运动场投影到二维图像平面内的速度场来区分运动目标和背景，一般包括连续光流法和特征

4、光流法。 采用基于帧间图像强度守衡的梯采用基于帧间图像强度守衡的梯度算法来计算光流度算法来计算光流通过特征匹配求得特征点处的光流通过特征匹配求得特征点处的光流帧间差法帧间差法如图可见，由目标运动引起的运动变化区域包括运动目标在前后两帧中的共同位置(图中黑色区域)、在当前帧中新显露出的背景区域和新覆盖的背景区域三部分。背景差方法背景差方法背景差分法假定背景是静止不变的,因此背景不随帧数而变。相减相减二值化二值化后处理后处理结果结果背景估计法背景估计法 背景估计法适用于背景静止情况下的视频分割，其主要基于以下两个假设： 假设1：在背景静止的情况下，若外界光照条件不变，且在不考虑噪声的情况下，视频序

5、列图像中的背景保持不变。 假设2：在目标可视的情况下，目标与背景的灰度之间存在着一定的对比度。根据假设1，在静态场景的条件下视频序列图像中不包含目标的完整背景在每一帧都相同，由于运动目标会遮挡住一部分背景，所以每一帧中的背景并不等于完整背景，关键技术就是根据一定的准则从连续k帧图像中估计出该视频序列图像的完整背景。 根据假设2，运动目标与背景之间的灰度存在着一定的对比度，因此在不考虑噪声的情况下，在差分图像中属于背景区域的像素的灰度值为零，从而检测出了运动目标。1运动阴影的干扰3场景光照的变化2动态背景的影响运动目标检测方法存在的实际应运动目标检测方法存在的实际应用上的困难用上的困难运动阴影的

6、干扰运动阴影的干扰 原因：由于阴影和目标都与背景的差别很大，并且二者常有着相同的运动，阴影常被错划为运动目标。 阴影对运动目标的分割和提取过程的干扰： 1.目标的合并，即两个或多个目标由于阴影而连成一个连通域，被后续目标提取算法判为一个目标； 2.目标外形改变，这种影响对需要精确提取目标形状信息的应用相当不利； 3.目标的消失，往往发生在一个目标的阴影投射在另一个目标上。消除运动阴影干扰的阴影检测方法基于纹理模型的检测方法基于颜色特征的算法基于几何模型的方法1.基于几何模型的方法：它利用摄像机位置、场景表面的几何特征以及目标间的几何约束来检测阴影，需要很多假设和先验知识，如要求地面平直、目标垂

7、直于地面、明确摄像机和光源位置等；2.基于颜色特征的算法：它在RGB、HSV、YUV等颜色空间上使用多种阈值分割前景、背景、阴影，或者利用统计模型对阴影像素的颜色值进行描述，如显著性检验、贝叶斯推断、最大后验概率、混合高斯模型等。这类方法中，大多通过经验选取分割阈值，分割效果常会随图像内容的不同而不同。3.基于纹理模型的检测方法：它利用投射阴影降低相应背景像素灰度值，但不改变像素领域纹理的特征进行阴影检测，典型的用于阴影检测的纹理特征有Gabor特征，小波变换特征，比率边缘等。动态背景影响动态背景影响 场景中如果除了运动目标外还存在一些运动的背景物体，如果不抑制背景中的运动物体，这些虚假目标会

8、表现出大量的虚警，直接影响感兴趣运动目标的提取。 在视频监控中，较高的虚警率是导致检测系统失效的主要原因。场景光照的变化场景光照的变化 天气变化、灯光开启或关闭以及摄像机光圈自动调节均会导致光照发生较大变化，致使图像发生显著变化，提取的运动区域就不对应于任何运动目标，形成大面积虚警。基于卡尔曼滤波基于卡尔曼滤波器的跟踪方法器的跟踪方法两种典型的两种典型的跟踪方法跟踪方法基于特征光流法基于特征光流法的跟踪方法的跟踪方法1.基于卡尔曼滤波器的跟踪方法基于卡尔曼滤波器的跟踪方法卡尔曼滤波器参数的修正卡尔曼滤波器参数的修正第一步第一步第二步第二步第三步第三步第四步第四步 线性卡尔曼滤波是美国工程师线性

9、卡尔曼滤波是美国工程师KalmanKalman在线性最小方差估计的基础上在线性最小方差估计的基础上, ,提出的在数学结构上比较简单的最优线提出的在数学结构上比较简单的最优线性递推滤波方法。性递推滤波方法。预测下一时刻预测下一时刻目标的位置目标的位置目标匹配搜索目标匹配搜索设置初始值设置初始值第一步：设置初始值第一步：设置初始值 设置初始状态 x0,P0,Q0和R1的初始值 这里运用式(5)和式(6),根据扩展的卡尔曼滤波器,预测目标在下一时刻可能出现的位置:式中:pk+1表示预测的不准确程度,即提供了目标匹配的搜索范围;pk+1表示预测位置的坐标及搜索范的中心坐标。在实际应用中,往往扩大目标匹

10、配的搜索范围为pk+1+,其中为预设正常数。第二步：预测下一时刻目标的位置第二步：预测下一时刻目标的位置第三步：目标匹配搜索第三步：目标匹配搜索 使用基于像素点的亮度差的和作为匹配距离准则：将找到的使匹配距离最小的目标区域作为被跟踪到的目标，将该区域的复制记为Tk+1,并把它的中心坐标复制给pk+1,则: 目标的测量速度为:目标的测量加速度为:第四步：卡尔曼滤波器参数的修正第四步：卡尔曼滤波器参数的修正 主要根据每帧得到的测量值修正目标的参数,使用IRR(无限冲击响应)滤波器完成对vk,ak和vk,ak的修正,其公式为:式中:a,为一常数,0a,1。2.基于特征光流法的跟踪方法基于特征光流法的

11、跟踪方法两种跟踪方法的比较两种跟踪方法的比较由于卡尔曼滤波由于卡尔曼滤波是基于高斯分布是基于高斯分布的状态预测方法的状态预测方法,不能有效地处理不能有效地处理多峰模式的分布多峰模式的分布情况情况对目标在帧间的对目标在帧间的运动的限制较小运动的限制较小,可以处理大的帧可以处理大的帧间位移间位移;对噪声的对噪声的敏感性降低敏感性降低;只处只处理图像中很少数理图像中很少数的特征点的特征点,计算量计算量较小较小得到的是稀疏光得到的是稀疏光流场流场,导致难于提导致难于提取运动目标的精取运动目标的精确形状确形状;特征匹配特征匹配问题尚未得到较问题尚未得到较好的解决。好的解决。优点优点缺点缺点基于卡基于卡尔曼滤尔曼滤波波基于特基于特征光流征光流法法硬件设施要求较硬件设施要求较高高,能在环境较差能在环境较差情况下跟踪目标情况下跟踪目标可以处理目标重可以处理目标重叠及目标失锁等叠及目标失锁等异常情况异常情况适用范围适用范围用于预测目标起用于预测目标起始中心始中心,在周围环在周围环境存在干扰