运动目标检测与跟踪技术研究

理工大学学士学位论文I摘 要运动目标检测与跟踪是计算机视觉领域的热点问题，广泛应用于视频监控、人机交互、虚拟现实和图像压缩等。而要在各种复杂的环境中和不同的条件下（如遮挡、光照变化等）都对目标进行准确的跟踪是目前广大研究工作者共同关注的焦点，也是目前实际应用中一个亟待解决的难题。本文主要研究静态背景下运动目标的检测、运动目标跟踪以及相关结果仿真分析三方面的内容。运动目标检测方面，在分析了目前比较常用的三种目标检测方法，即光流法、帧间差分法、背景相减法的基础上，着重研究了基于帧间差分法运动目标检测的算法原理及流程，讨论了三种检测算法的优缺点。运动目标跟踪方面，在分析了目前比较常用的三种目标跟踪算法，即均值漂移算法、卡尔曼滤波算法、基于特征的目标跟踪算法的基础上，重点研究了基于特征最小外接矩形框运动目标跟踪算法。分析了其算法原理以及跟踪步骤。最后用matlab 软件采用帧间差分运动目标检测法以及基于最小外接矩形框跟踪法对含有运动目标的视频进行仿真。在采用了帧间差分检测法以及最小外接矩形框跟踪法基础上，用matlab软件对视频进行仿真，检测到了人体的轮廓，同时矩形框跟踪出了运动人体的轨迹，达到了运动目标检测与跟踪的效果。关键词：运动目标检测；运动目标跟踪；帧间差分法；最小外接矩形框理工大学学士学位论文IIAbstractMoving target detection and tracking is a hot issue in the field of computer vision, is widely used in video surveillance, human-computer interaction, virtual reality and image compression etc. But in various complex environments and different conditions (such as occlusion, illumination changes) of target accurate tracking is currently the focus of researchers of common concern in the current application, is an urgent problem to be solved.This paper mainly involves moving target detection under a static background, moving target tracking and simulation results analysis of three aspects. In the moving object detection, in the analysis of the current commonly used three kinds of target detection method based on optical flow method, namely, the inter-frame difference method, background subtraction method, focusing on the frame difference algorithm principle and process method based on moving object detection. And discusses the advantages and disadvantages of three kinds of detection algorithm. In terms of moving object tracking, in the analysis of the current three kinds of target more commonly used tracking algorithm, the mean shift algorithm, Calman algorithm, based on the characteristics of the target tracking algorithm based on the characteristics, focuses on the minimum exterior rectangle based on moving target tracking algorithm. Finally using MATLAB software using frame difference detection method for moving targets as well as based on the minimum bounding box tracking method to simulate the video with moving objects.Based on the frame difference detection method and the minimum bounding box tracking method based on the simulation, the video with the MATLAB software, to detect the contours of the body, at the same time rectangle tracking a human motion trajectory, reached the moving target detection and tracking results.Keywords: moving object detection; object tracking; inter-frame difference method; minimum circumscribed rectangle理工大学学士学位论文III目 录1 绪论 .11.1 研究背景和意义 .11.2 国内外研究现状 .21.3 章节安排 .42 运动目标检测与跟踪技术 .52.1 数字图像处理相关概念 .52.1.1 数字图像处理过程 .52.1.2 图像增强 .52.1.3 图像分割 .62.1.4 数学形态学 .62.2 运动目标检测流程及常用算法 .72.2.1 背景差分法 .82.2.2 帧间差分法 .82.2.3 光流法 .92.3 运动目标跟踪常用算法 .102.3.1 基于均值漂移目标跟踪算法 .102.3.2 基于卡尔曼滤波目标跟踪算法 .102.3.3 基于特征的目标跟踪算法 .113 基于帧间差分法运动目标检测的研究 .123.1 帧间差分法运动目标检测流程 .123.2 帧间差分法运动目标检测过程及原理 .123.2.1 RGB 图像转换为灰度图像 .123.2.2 图像差分处理 .133.2.3 差分图像二值化 .133.2.4 形态学滤波 .163.2.5 连通性检测 .174 基于最小外接矩形框目标跟踪 .194.1 目标跟踪流程 .194.1.1 运动目标跟踪过程图 .19理工大学学士学位论文IV4.1.2 运动目标跟踪过程分析 .194.2 基于最小外接矩形框跟踪原理 .204.2.1 特征提取 .204.2.2 最小外接矩形提取 .214.3 最小矩形框跟踪实现 .215 仿真结果与分析 .235.1 仿真环境 .235.2 运动目标检测仿真 .235.3 运动目标跟踪仿真 .28结 论 .33致 谢 .34参考文献 .35附录 A.38附录 B.54附录 C.67理工大学学士学位论文11 绪论1.1 研究背景和意义视觉是人类感知自身周围复杂环境最直接有效的手段之一，而在现实生活中大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能够快速的发现运动目标，并对目标的运动轨迹进行预测和描绘 1。随着计算机技术、通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热点研究问题之一 1,2。计算机视觉是利用计算机实现视觉信息处理的一门学科，它涉及计算机、心理学、生理学、物理学、信号处理和数学等领域，是交叉性很强的一门学科 1,3。与静态图像相比，视频序列图像的优势在于时间的连续性及目标运动信息的捕获。因此，视频序列图像和视频中的运动目标一直是图像处理研究的重要方面 4,5,6。运动目标检测与跟踪技术则是计算机视觉领域中应用的核心技术，它融合了图像处理、模式识别、人工智能、自动控制等相关领域的先进技术和研究成果，是成像跟踪系统智能化的关键 。该技术利用可见光的图像传感器或红外成像传感器或其他摄像设备摄取3运动目标的视频图像信号，经过相应的数字图像处理，对运动目标进行检测、提取、识别，然后根据目标的图像特征及目标的运动特征、背景的特征等数据对运动目标进行预测跟踪，这些数据包括运动目标的颜色、形态、轮廓，运动目标的位置、速度、加速度等运动参数和运动轨迹，背景的颜色等。为后继的图像分析、运动目标的行为理解及完成更 高级的任务提供数据支持 6。基于视频序列的运动目标的检测和追踪技术作为计算机视觉领域的关键技术之一，应用十分广泛，比如该技术在智能安防、交通导航、智能武器、对空监视、导弹预警等许多应用领域发挥重要作用。运动目的检测与跟踪己经有近20年的研究历史，这种技术的研究主要涉及到运动目标检测与提取、运动目标跟踪、运动目标识别、运动目标行为分析和理解等诸多内容，是计算机视觉研究的重要组成部分 7,8。它不但具有实际的研究价值，而且对计算机视觉的其他领域有着重要的推动作用。运动目标检测与跟踪技术在近20年来一直是比较热的研究课题。它广泛应用于军事和民用领域。在战场侦察，武器控制以及车辆异常行为等各个方面都有极其重要的理工大学学士学位论文2应用。同时，随着计算机技术，通信技术，控制技术，电子技术的发展，运动目标检测与跟踪技术也较为广泛的应用于车辆违规检测，并且在交通检测技术中，运动目标检测技术已初步显示了其强大的生命力，正逐步成为交通检测中最有前途的一项技术9,10,11。在人体运动的视觉分析中的应用：人体运动的视觉分析是近年来计算机视觉领域中备受关注的前沿方向，它从包含人的图像序列中进行人的检测、跟踪、识别与行为理解，属于图像分析和理解的范畴。人运动分析在人机接口、安全监控、视频会议、医疗诊断等方面均具有广泛的应用前景，它激发了广大科研工作者及相关商家的浓厚兴趣。目前，智能化视频监控系统在我国仍处于普及阶段，但随着我国经济的飞速发展和物质生活水平的不断提高，人们的安全防范意识也越来越强，这意味着智能化视频监控有着广泛的应用市场。因此，对作为视频监控系统关键组成部分的运动目标检测与跟踪技术的研究有着重要的理论意义与应用价值。然而实际中存在很多不利的干扰因素对运动目标检测与跟踪技术的研究带来巨大的挑战，而人们对运动目标检测与跟踪技术的稳定性的要求也越来越高。因此研究几种常用的运动目标检测与跟踪算法的原理，分析比较他们的特点以及效果评估并且从中筛选出稳定性最高，效果最好的目标检测与跟踪算法就成为一个重要的研究课题。运动目标检测与跟踪的工作过程如图 1.1 所示。背景模型 目标检测 目标跟踪前景点集 目标点集 运动目标输入视频图 1.1 运动目标检测与跟踪过程从图 1.1 可以得知，运动目标检测与跟踪的主要工作可以分为目标检测和目标跟踪两个方面。运动目标检测是运动目标检测与跟踪的第一部分它实时地在被监视的场景中检测运动目标，并将其提取出来。运动目标跟踪是衔接运动目标检测和目标行为分析与理解的一个重要环节，它在运动目标检测的基础上，利用目标有效特征，使用适当的匹配算法，在序列图像中寻找与目标模板最相似的图像位置。在实际应用中，运动目标跟踪不仅可以提供目标的运动轨迹和准确定位目标，为下一步的目标行为分析与理解提供了可靠的数据来源，而且也可以为运动目标检测提供帮助，从而形成一个良性的循环。理工大学学士学位论文31.2 国内外研究现状目前，在美国、日本、欧洲已经开展了大量的运动目标检测与跟踪的研究工作，W4是一个可以在室外对入进行实时检测与跟踪的视觉监视系统 12：Pfinder 是一个利用颜色和形状特征对大视角范围内的人进行跟踪的实时系统 13。同时也出现了大量的国际会议和讨论组目前，国外的视频目标检测与跟踪技术相对成熟，已经有了一些雏形系统。比如卡内基梅隆大学领导的视频安全与控制（VSAM）研究计划 14。根据这个计划，研究人员研制了一个端到端的测试系统，集成了很多高级视频安全监控技术，比如静止背景和运动背景下的实时目标探测与跟踪，普通目标（比如人、轿车、卡车）的分类识别，特殊物体（比如校车等具有特殊标记的物体）的分类识别，目标姿势估计，摄像机的自主控制，多摄像机协同跟踪，人体步法分析等等。马里兰大学的实时监控系统W4可以利用单摄像头对人体以及人体的各个部分进行实时地跟踪。所谓W4 ，是指 Who，When ，Where ，What ，也就是说这个系统可以确定目标是谁，什么时间、什么地点，他在干什么。W4 具有基于目标形状分析人体及其头部、手部等定位功能，基于自适应背景差技术的前背景分离功能，以及区域的分裂与合并，用来处理目标交互行为的功能。而IBM等大公司也在资助这个领域内的相关研究，期望能将研究成果应用到商业领域中。Pfinder 系统用于实现对室内人员行为的实时监视与判定。另外，在交通系统中，Tai等人研究了一个用于交通事故检测的视频监视系统，能够自动检测运动车辆并对其运动轨迹进行判定 15。VISATRAM系统能够对各个车道的车辆行为进行监控，保证交通通畅 16。Haag和Nagel专门对机动驾驶的车辆跟踪问题进行了研究 17。Pai等人专门研究了十字路口的行人检测与跟踪以实现对行人的计数 18。在国内也出现了一定规模的研究，召开了一些相关会议探讨研究成果和发展方向。我国视频目标检测与跟踪技术研究起步于60年代末，通过近40多年的努力，我国在这一领域得到了长足发展，许多先进的图像处理与模式识别方法被应用到这个领域，并研制了一些实际的系统。我国先进成像识别与跟踪技术在智能化程度、通用性、多目标实时测量、低对比度和复杂图像视频信息处理等方面与国外相比还存在着较大的差距。在实际的跟踪过程也还存在很多问题，如数据同步、图像模糊、跟踪台稳定性差等等，由于这些方面的实用信息能从国外获得很少，所以在这一领域进行深入的研究，理工大学学士学位论文4对提高我国国防实力，加强民用具有重要意义。目前，一些高等院校、科研院所都已经开展了此项研究工作。相比较而言，国内对智能化视频监控技术的研究起步较晚，但是随着数字图像处理技术、计算机视觉以及各种诸如红外、雷达、激光等传感器技术的不断发展，为运动目标检测与跟踪技术的研究提供了必要的理论基础与技术支持，创造了无比优越的研究环境。比如北京大学视觉与听觉信息处理国家重点实验室主要研究高度智能化机器感知系统，实验室在三维视觉信息处理和智能机器人等领域取得了许多成果。1.3 章节安排第一章绪论部分研究了计算机视觉技术的发展，并对国内外运动目标检测及跟踪算法的现状进行了总结，提出了课题的研究背景意义。第二章系统分析了运动目标检测与跟踪的几种常用算法。其中，运动目标检测算法包括光流法，帧间差分法，背景法。分析了这三种算法的简单原理，并讨论了它们的特点及优缺点。运动目标跟踪算法方面包括均值漂移算法，卡尔曼滤波算法，基于最小外接矩形框目标跟踪算法，在本章中简单分析了这三种算法的原理。第三章为本文的重点，详细研究了基于帧间差分法的运动目标检测算法，包括检测流程，算法原理以及阈值选取算法等。第四章同样为本文的重点，结合了第三章的检测结果，详细研究了基于最小外接矩形框的运动目标跟踪算法。分析了跟踪的流程以及最小外接矩形框的提取算法等。第五章主要讨论了基于帧间差分法运动目标检测与基于最小外接矩形框目标跟踪的matlab仿真结果。理工大学学士学位论文52 运动目标检测与跟踪技术2.1 数字图像处理相关概念2.1.1 数字图像处理过程图像处理就是对图像信息进行加工以满足视觉心理或应用需求的行为 19,20,21。图像的处理手段有光学方法和电子学（数字）方法，前者已经有很长的发展历史，从简单的光学滤波到现在的激光全息技术光学理论已经日臻完善，而且处理速度快，信息容量大，分辨率高，又非常经济，但是光学处理图像的精度不高，稳定性差，操作不便。从20世纪60年代起，随着电子技术和计算机技术的不断提高和普及，数字图像处理进入高速发展的时期。数字图像处理就是利用数字计算机或者其他它数字硬件，对从图像信息转换成的电信号进行某些数学运算，以提高图像的实用性。数字图像处理技术精度比较高，而且还可以通过改进处理软件来优化处理效果。由数字图像处理技术应用的范围非常广泛，数字图像处理系统有各种各样的结构。典型的数字图像处理系统由输入输出设备、存储器、运算处理设备和图像处理软件构成。数字图像处理包括图像数字化和压缩编码，图像增强和复原，图像分割，图像分类，图像重建几个部分。我们以图2.1来简单描述数字图像处理的内容及其步骤。图2.1 数字图像处理的内容及步骤图像增强图像复原图像输入数字化 ，压缩图像识别 ，分类图像分割特征提取图像输出理工大学学士学位论文62.1.2 图像增强增强图像中的有用信息，它可以是一个失真的过程，其目的是要增强视觉效果，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，抑制不感兴趣的特征，使之改善图像质量、丰富信息量。从方法上说，则是设法摒弃一些认为不必要或干扰的信息，而将所需要的信息得以突出出来，以利于分析判读或作进一步的处理。图像增强能够改善图像