视频目标跟踪报告

1、专业硕士研究生实践训练环节视频运动目标检测与跟踪学 院： 信息科学与工程学院 专 业：姓 名：学 号：授课老师：日 期： 2017 目录1 课程设计的目的和意义11.1 课程设计的目的11.2 课程设计的意义12 系统简介及说明23 设计内容和理论依据23.1 基于Mean Shift的跟踪算法33.1.1 RGB颜色直方图33.1.2 基于颜色和纹理特征的Mean Shift跟踪算法33.2 基于颜色特征的粒子滤波跟踪算法43.2.1 贝叶斯重要性采样43.2.2 序列重要性采样53.2.3 粒子退化现象和重采样63.2.4 基本粒子滤波算法64 流程图74.1 Mean Shift跟踪算法

2、流程图74.2 粒子滤波跟踪算法流程图75 实验结果及分析讨论85.1 基于Mean Shift的跟踪算法仿真结果85.2 基于颜色特征的粒子滤波算法仿真结果96 思考题107 课程设计总结108 参考文献101 课程设计的目的和意义1.1 课程设计的目的随着计算机技术的飞速发展、信息智能化时代的到来，安防、交通、军事等领域对于智能视频监控系统的需求量逐渐增大。视频运动目标跟踪是计算机视觉领域的一个研究热点，它融合了人工智能、图像处理、模式识别以及计算机领域的其他先进知识和技术。在军事视觉制导、安全监测、交通管理、医疗诊断以及气象分析等许多方面都有广泛应用。同时，随着视频摄像机的普及化，视频跟

3、踪有着广泛的应用前景，对城市安全起到了防范作用，并且和我们的生活息息相关。从目前国内外研究的成果来看，对于运动目标的跟踪算法和技术主要是针对于特定环境提出的特定方案，大多数的跟踪系统不能适应于场景比较复杂且运动目标多变的场景。并且在视频图像中目标的遮挡、光照对颜色的影响、柔性刚体的轮廓变化等将严重影响目标的检测与跟踪。因此如何实现一个具有鲁棒性、实时性的视觉跟踪系统仍然是视觉跟踪技术的主要研究方向。Mean Shift算法的主要优点体现在：计算简单、便于实现；对目标跟踪中出现的变形和旋转、部分遮挡等外界影响，具有较强的鲁棒性。缺点在于：算法不能适应光线变化等外界环境的影响；当目标尺度发生变化时

4、，算法性能受到较大的影响。粒子滤波适用于非线性、非高斯系统，在诸如机动目标跟踪、状态监视、故障检测及计算机视觉等领域有其独到优势，并得到了广泛研究。但粒子滤波算法本身还不够成熟，存在粒子匮乏、收敛性等问题。因为跟踪机动目标需要对目标的运动特性有一定了解，因此，目标跟踪的难点之一在于目标模型的建立及其与跟踪方法的匹配上，这是提高跟踪性能的关键。1.2 课程设计的意义图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，

5、其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。虽然某些处理也可以用光学方法或模拟技术实现,但它们远不及数字图像处理那样灵活和方便,因而数字图像处理成为图像处理的主要方面。随着计算机的发展，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程。其目的是进一步巩固数字图像的基本概念、理论、分析方法和实现方法。通过本次课程设计增强应用matlab

6、编写熟悉图像处理的应用程序及分析问题解决实际问题的能力，同时对综合运用专业基础知识及软件设计能力也会有较大提高。2 系统简介及说明视频跟踪的目的就是从复杂的背景中检测出跟踪目标，通过对图像序列进行处理和分析研究，从而实现对目标的准确跟踪。目标跟踪的原理就是在每一帧的图像序列中找出目标的确切位置。一般的跟踪方法是首先提取被跟踪目标的图像，建立一个模板，然后在下一帧图像中进行全图匹配，搜索目标图像，直到找到匹配的位置。尽管不同的应用场合和需求对应了不同的跟踪系统，但是它们的基本原理、关键技术和核心算法大同小异。实现目标跟踪的关键在于如何有效的分割目标、合理的提取目标特征和准确、稳定地识别目标，同时

7、还要考虑目标跟踪算法实现的时间，保证跟踪的实时性和鲁棒性。一般的，视频目标跟踪系统通常包括以下几个部分：视频图像采集，运动目标检测，目标跟踪以及行为理解与分析。如图3.1所示。图2-1 视频目标跟踪系统通过视频采集设备进行图像采集，并通过A/D转换将视频信号转换成数字图像序列。运动目标检测是把跟踪场景中发生变化的区域检测出来，并将运动目标从背景图像中提取出来，正确的检测对目标跟踪的后期处理非常重要。目标跟踪是指在一段序列图像中找出感兴趣的运动目标在连续帧图像中的位置序列，它是目标行为理解与分析的前提；目标行为理解与分析是指对目标模式进行分析识别，并且可以用自然语言等对其进行描述，它属于高级处理

8、部分。3 设计内容和理论依据运动目标跟踪领域的两个热点算法是Mean Shift算法和粒子滤波算法，本次设计是对这两种算法进行探讨。针对基于单一颜色模型的Mean Shift跟踪算法易受复杂环境以及相似背景干扰的影响，采用一种基于颜色和纹理特征的Mean Shift跟踪算法，提高跟踪效率。将改进的Mean Shift算法与粒子滤波算法进行比较。3.1 基于Mean Shift的跟踪算法3.1.1 RGB颜色直方图RGB颜色直方图：在运动目标跟踪领域里，颜色直方图是一种典型的描述目标特征的手段，它应用计算和统计学规律，能够反映视频序列帧中颜色的组合结构和比例分布情况，任何一副图像都有与之唯一对应

9、的颜色直方图。RGB彩色模型三维坐标系的每个坐标轴分别由R、G、B三基色组成，其中坐标轴最小值为0，最大值为255。任何一种颜色都能够在这个三维坐标系中找到自己的位置，坐标的原点(0，0，0)表示黑色，而坐标(255，255，255)表示白色。计算图像颜色直方图的目的是为了获取颜色概率分布图像，因此需要颜色量化过程即将颜色空间划分为若干个小的颜色区间，每个区间称为直方图的一个直方格bin，然后计算图片颜色落在每个颜色区间内的像素数量就可以得到颜色直方图。计算直方图的方法可以简单的描述为：给定一个图像的m区间的直方图，定义图像的像素位置为和直方图，同时给定一个表示像素的直方图索引为的函数，因此直

10、方图可以用下式计算： (3-1)其中将直方图区间的值量化到二维概率分布图像的离散像素范围内可以用下式计算：(3-2)即直方图区间的值从量化到新的范围0,255内。3.1.2 基于颜色和纹理特征的Mean Shift跟踪算法颜色是一种有效的视觉特征，它对目标的旋转、物体的遮挡及非刚体变换都比较鲁棒，但是它容易受到光照变化及相似背景颜色的干扰。因此基于单一特征的跟踪算法很难适应环境的变化，而多特征联合起来可以有效的互补克服单一线索的缺陷。本文采用基于颜色和纹理特征的Mean Shift跟踪算法，在对运动目标进行颜色特征匹配之后，进一步进行LBP纹理统计特征匹配，有效的提高了匹配效率，避免基于单一颜

11、色特征的Mean Shift跟踪算法易受到光照变化及相似背景颜色干扰的缺点。用于跟踪的Mean Shift算法是一种半自动跟踪算法.在跟踪序列的初始帧，通过人工或其他识别算法确定目标窗并构建目标模型；然后，在序列第N帧对应位置计算候选目标模型；比较两个模型的相似度，以相似度最大化为原则移动跟踪窗，从而定位目标的真实位置。 (3-3)目标定位问题转化为最大化相似度函数的问题，以前一帧的搜索窗中心为起始点，将在附近Taylor展开，取前两项。即：因此要使得向最大值迭代，只要Y的搜索方向与梯度方向一致即可，通过求导可得到的梯度方向。从而可以推导出Mean Shift向量：(3-4)其中，是目标的新中

12、心坐标；，是函数的影子核。通过反复迭代，当Mean-Shift向量，的模值小于给定常量时，则认为完成了目标定位。3.2 基于颜色特征的粒子滤波跟踪算法粒子滤波是蒙特卡罗方法和贝叶斯估计理论结合的产物，它通过非参数化的蒙特卡罗模拟方法从时域实现递推贝叶斯估计。粒子滤波算法其思想是利用一系列随机抽取的样本以及样本的权重来计算状态的后验概率密度。从而实现目标的跟踪。粒子滤波算法通过状态-空间模型中不断演化的具有权值的粒子来估计目标状态，不用满足系统为线性、噪声高斯分布，适用于任何能用状态空间模型表示的非线性系统,但是基本的粒子滤波算法会出现粒子退化现象，使跟踪的精确性大大降低。3.2.1 贝叶斯重要

13、性采样在粒子滤波算法中，重要性采样是一个重要环节。它解决的问题是在随机变量难以采样的情况下，求取随机变量的数学期望值。由前面讨论可知，后验概率密度可由一组采样加权的粒子来近似，但是在实际情况中，后验概率密度是未知的，所以不能直接对后验概率密度采样获得粒子。要解决这个问题的常见做法是对一个容易获得的建议分布进行采样，于是期望的计算可以转化为：(3-5)其中为重要性权值，计算公式如下：(3-6)将代入式(3-5)中可得：(3-7)其中，表示根据建议分布获得的期望，因此期望可以近似表示为： (3-8)式中，表示从中获得的独立随机样本，表示标准化权值，即 (3-9)3.2.2 序列重要性采样为了序贯估

14、计后验分布，建议分布的表达式重新写为：(3-10)假设状态变量与观测变量相互独立，且遵循一阶马尔科夫过程，则：(3-11)(3-12)重要性权值的递推公式可以表示为：(3-13)上式表明，只要选择合适的建议分布获取采样粒子，就可以递推计算粒子重要性权值。理想的建议分布选择应该使得重要性权值的方差最小，在实际情况中，通常建议取建议分布为状态先验分布，即：(3-14)将式(3-14)代入式(3-13)中，重要性权值的递推公式可以简化为：(3-15)上式表明，采用状态先验先验分布作为建议分布，重要性权值正比于似然函数。3.2.3 粒子退化现象和重采样序贯重要性采样最大的问题就是粒子退化现象，退化现象

15、是指经过若干次的递推之后，少数粒子会具有较大的权值，而其它的粒子的权值都变得很小，以此类推，大量的计算量就会浪费在这些权值较小的粒子上，相应的粒子权值方差会随着时间的推移不断增大，那么此时的粒子集就无法准确地对后验概率分布进行描述。为了避免这个问题，最常用的做法是重采样。重采样的核心思想是在重要性采样的基础之上，加入重采样，以淘汰权值较小的粒子，而集中于权值较大的粒子。粒子的退化程度可以用有效粒子数来度量，有效粒子数可以用下式近似估计得到： (3-16)目前比较常用的判断准则是给定阈值，一般设为，若<，则进行粒子重采样，否则不进行重采样。重采样的算法一般可以描述为从近似描述分布的粒子集中

16、重新抽样次，以产生新的粒子集，并且把粒子的权重全部重新设为。3.2.4 基本粒子滤波算法通过对以上基础知识的了解，基本粒子滤波算法一般包含初始化、状态转移、系统观测、状态估计及重采样五个步骤，具体步骤如下：（1）初始化：t=0，根据先验分布，采样初始粒子集；（2）重要性采样：时，进行重要性采样，从建议分布采样，；（3）重要性加权：1）更新粒子权值；2）对权值进行归一化处理；3）状态估计：；（4）重采样：如果，则进行重采样产生新的粒子集；，返回步骤（2）。4 流程图4.1 Mean Shift跟踪算法流程图图4.1 Mean Shift跟踪算法系统框图4.2 粒子滤波跟踪算法流程图图4.2 粒子

17、滤波跟踪算法系统框图5 实验结果及分析讨论5.1 基于Mean Shift的跟踪算法仿真结果本节分别给出基于颜色特征的Mean Shift跟踪算法以及基于颜色和纹理特征的Mean Shift跟踪算法的实验结果。通过自拍室外视频对不同算法在相似背景干扰的情况下进行测试，视频的大小为1280720,视频长度为223帧，帧速率为25fps，以频中运动的人为跟踪目标，实验结果如图5-1、图5-2所示。图5-1 基于颜色特征的Mean Shift跟踪算法的实验结果图5-2 基于颜色和纹理特征的Mean Shift跟踪算法的实验结果由实验结果可以看出，在背景颜色与人物颜色相似的情况下，基于颜色特征的Mea

18、n Shift跟踪算法发生了较大偏差，无法准确地跟踪目标；而基于颜色和纹理特征的Mean Shift跟踪算法，由于加入了纹理特征，跟踪性能较为稳定，出现的偏差较小，能准确的跟踪目标。5.2 基于颜色特征的粒子滤波算法仿真结果为验证基于颜色特征的粒子滤波算法有效性，这里对室内运动的目标进行跟踪仿真实验。视频的大小为320240，视频长度为132帧，帧速率为15fps。待跟踪的运动目标的参考目标模型是在视频序列帧中第一帧手动选定，粒子滤波算法的粒子数N为150个从实验结果可以看出，与背景颜色反差较大的跟踪目标在运动过程中出现物体遮挡的情况下，基于颜色的粒子滤波算法仍然可以进行准确的跟踪，因此本算法对遮挡情况下目标的跟踪有很好的适应性。图5-3 基于颜色特征的粒子滤波算法实验结果6 思考题1、目标特征除了采用颜色和纹理特征还可以采用那些特征？对于一些形状特殊的物体，例如坦克，可以用边缘特征。2、对于目标相似背景干扰严重，应采取什么措施？ 增强对颜色的分辨功能，尽可能的区分差别较小的颜色。3、粒子数不同对实验结果有什么影响。粒子数减少会减少占用内存，增快实验运行速度。粒子数减少可能就会对背景要求较