视频序列中的运动目标检测研究

1、郑州轻工业学院本科毕业设计(论文)题 目 视频序列中的运动目标检测研究 学生姓名 付 世 家 专业班级 电子信息2007级01班 学 号 200707020106 院 (系) 计算机与通信工程学院 指导教师(职称) 黄敏（副教授） 完成时间 2011年6月3日 郑州轻工业学院毕业设计(论文)任务书题目 视频序列中的运动目标检测研究 专业 电子信息科学与技术 学号 06 姓名 付世家 主要内容、基本要求、主要参考资料等：主要内容：1. 研究运动目标检测的各种方法；2. 通过实验分析检测几种算法的效率。基本要求：1. 了解图像处理技术的相关内容及运动目标检测关键技术。2. 通过实验，检测图像，验证

2、算法的设计是否合理。主要参考资料：1 韩晓军数字图像处理技术与应用北京：电子工业出版社2009年7月2 阮秋琦. 数字图像处理学. 北京：电子工业出版社. 2001年1月.3 张兆杨,杨高波，刘志等视频对象分割提取的原理与应用北京：科学出版社2007.4 李志勇,沈振康,杨卫平. 动态图像分析. 北京：国防工业出版社,1999.5 贾云得. 机器视觉. 科学出版社，2000.完 成 期 限： 2011年 6 月 3 日 指导教师签名： 专业负责人签名： 2011年 1 月15日视频序列中的运动目标检测研究目录摘 要IABSTRACTII1 绪论11.1 背景研究背景及意义11.2 研究状况及存

3、在问题21.2.1 国内外研究状况21.2.2 存在问题42 视频序列中运动目标检测技术62.1 图像处理62.1.1 图像的灰度化62.1.2 图像的滤波102.2 图像二值化输出112.2.1 数学形态112.3 运动目标检测关键技术132.3.1 概念132.3.2 应用总结143 算法研究及实验分析153.1 帧差法153.2 光流法203.3 背景减法213.4 常见的背景减法233.4.1 中值滤波法233.4.2 单高斯模型243.5 基于背景减法的运动目标检测在Matlab中实现方法263.6 目前存在问题294 结论与展望30致 谢32参考文献33视频序列中的运动目标检测研究

4、视频序列中的运动目标检测研究摘 要视频序列中的运动目标检测是计算机视觉领域的主要研究方向之一，在很多计算机视觉应用中，关键的任务是从图像序列中确定运动目标，其中对于固定摄像机下运动目标的检测在现代社会中的应用越来越广泛，在实际生活中，运动目标的检测与跟踪广泛涉及到人体跟踪及鉴别、智能运输、交通流量监测等方面。在过去几年中，国内外有大批学者投入到该领域，并且取得了大量的成果。本文先介绍了图像预处理的相关内容及运动目标检测关键技术，分析了运动目标检测算法。在这些基础上，主要通过实验针对智能监控中的运动目标，运用Matlab软件完成实验，提出用于静止背景视频序列的运动目标快速检测算法关键词 图像处理

5、；运动目标检测；高斯模型；运动目标跟踪Video sequence of moving object detectionABSTRACTVideo objects for motion detection is one of the major research directions in the domain of computer vision, and the main task of many computer vision applications is to set the moving objects from image sequences, the moving o

6、bject detection for target under fixed camera and that among image sequences are becoming more and more widely used in modern society. In real life, detecting and tracking moving objects involves human motion tracking and identification, intelligent transportation, traffic flow monitoring and more.

7、In the past few years, a large number of scholars at home and abroad come into the field and have obtained a good many achievements. First of all ,this paper introduces the related content of image preprocessing and moving object detecting key technology, analyzes the target motion detection algorit

8、hm is proposed.On these bases, this paper, in view of the moving object intelligent monitoring, Using Matlab software to finish the experiment.Puts out the fast detection algorithm of moving object for video sequence of still background . KEY WORDS image processing，moving targets detection，gaus

9、sian model，sports target tracking341 绪论1.1 背景研究背景及意义运动目标的检测与跟踪是应用视觉领域的一个重要的课题。现实生活之中，大量的有意义的视觉信息包含在运动之中。尽管人类既能看见运动的又能看见静止的物体，但是在许多场合，如交通流量的检测、重要场所的保安、航空和军用飞机的制导、汽车的自动驾驶或辅助驾驶等，往往只对运动的物体感兴趣。因此，研究运动目标的检测和跟踪问题，有很大的理论意义和应用价值。如今，伴随着人类文明的不断进步，带来了计算机技术、通信技术、图像处理技术的不断发展，计算机视觉已成为热点研究问题之一。计算机视觉的研究目的是利用计算机代替人眼及

10、大脑进行感知、描述、解释和理解外部景物环境。它是一门交叉性很强的学科，研究学习它需要很多知识。涉及到计算机、心理学、生理学、物理学、信号处理和应用数学等诸多学科。计算机视觉的研究始于20世纪60年代，并在20世纪80年代取得了重大突破，近二十年来随着图像视频处理技术和人工智能技术的迅猛发展，计算机视觉技术也在快速进步，各种新技术新方法层出不穷，其应用领域更是在迅速的扩展。智能视觉监控是计算机视觉领域中一个新兴的应用方向。智能视觉监控系统以传统的视频监控为基础。视频监控系统投入实际应用已经有数十年的历史，通过分散设置的摄像机记录监控场景并集中显示，以便监控人员实时了解监控场景中发生的事件，从而及

11、时做出反应。有关研究已经表明，仅依靠监控人员对监控视频进行观察和分析，即使是专业人员也难以构成真正有效的监控系统，因此智能化是视频监控的必然趋势。在新一代的视频监控中，人们尝试把计算机视觉中的相关技术引入到视频监控中，从而发展起来的新型视频监控技术智能视觉监控，它是利用计算机视觉技术对视频信号进行处理、分析和理解，并对视频监控系统进行控制，从而提高视频监控系统智能化水平。运动目标跟踪是视觉处理研究的核心内容，其典型应用主要包括：（1）军事上的应用主要包括自动驾驶飞行器、自动目标跟踪、无人驾驶车辆智能机器人任务执行，通常机器人为了执行某些任务，需要能够在它的环境中跟踪目标。在智能机器人的应用中，

12、跟踪技术用于从安装在机器手上的运动的摄像机中拍摄物体，计算运动轨迹，选择最佳姿态抓取物体等。（2）安全场合智能监控，智能监控系统的需求主要来自那些对安全要求敏感的场合，如银行、商店、停车场等。监控摄像机在商业中的应用需要监控系统能够自动分析摄像机捕捉的图像数据，自动完成对复杂环境中的人和车辆进行实时观测以及对感兴趣目标的行为进行分析和描述。（3）交通监管系统中的监控，现代社会的高节奏生活导致了交通的浮燥。基于此而出现交通违规和不文明现象时，目标检测与跟踪显得尤其重要，从而大大减少了交通管理的麻烦。（4）医学高科技的需求，现代高科技的发展促使医学的向前跃进，而医学生。物微观上的研究却与目标追踪密

13、不可分。包括对微观细胞的追踪观察、人工植入器官的跟踪观察等。除了以上的应用外，目标跟踪还存在很大的应用范围和前景。我们更关心的是现实生活中的应用。涉及到最多的还是各种生活环境中的监控。传统的监控系统主要是通过一些传感器如温度传感器、压力传感器和电接触传感器等来实现的，现在已经逐步出现了可视化的监控系统。人们对基于视频图像的监控系统的智能化要求越来越迫切，而运动目标的跟踪在视频图像处理中占据极其重要的地位。1.2 研究状况及存在问题1.2.1 国内外研究状况在许多情况下，图像序列可以通过各种不同的设备获得，比如数码摄像机等大众化的电子产品设备。使用设备简单，易于进行实物仿真，这正是图像跟踪和其他

14、跟踪方法的最大差别，也是图像跟踪能得到迅速发展的主要原因。视频监控系统在应用中具有广泛的前景和潜在的经济价值，并且在国民经济和国防建设等方面发挥着极为重要的作用，因而激发了国内外广大科研工作者和相关商家的浓厚兴趣。目前国外的智能视频监控技术相对成熟，许多相关技术己经开始运用到实际系统中。例如，在1996年至1999年间，美国国防高级研究项目署(DARPA)设立了视觉重大监控项目 VSAM(Video Surveillance And Monitoring)，以卡内基梅隆大学为首，联合麻省理工学院等美国十几所高等院校和研究机构参与，主要研究战场和普通民用场景监控的自动视频理解技术，利用视频理解、

15、网络通信、多种传感器融合等技术实现对未来城市、战场等进行自动监控；DARPA在2000年又资助了重大项目 HID(Human Identification at a Distance)计划，研究开发多模式的监控技术以实现远距离情况下人的检测、分类和识别，以增强国防、民用场合免受恐怖袭击的保护能力；欧盟EULTR(European Union Long Term)资助比利时Kathelieke大学子工程系、法国国家计算机科学和控制研究院(取RIA)等欧洲著名的大学和研究机构联合警察、法庭等司法机关提供基于图像处理的监控系统，目标是提供图像视频处理、理解技术使司法机关能从现有的监控系统的录像资料中

16、获得更多有用的犯罪证据；欧盟赞助研究的PRISMATICA系统，融合了多种智能检测设备(智能摄像头、非接触智能卡、无线视频传输等)，用于地铁站的安全监控；欧盟 IST(Information Society Technologies)的第5框架程序委员会也在 1999年设立重大项目ADVSOPR (Annotated Digital Video for Surveillance and Optimized Retneval)，旨在开发一个系统有效地管理公共交通系统，从而缓解城市交通压力，它的研究内容包括人群和个人的行为模式分析、人机交互等；Haritaoglu等在2000年开发了一个实时视觉监

17、控系统W4法用于分析人体活动，它结合运动估计和目标匹配来对目标进行跟踪，能够跟踪人体的各个部分，如头、手、躯干和脚的相对位置和大小。英国的雷丁大学已开展了对车辆和行人的跟踪及其交互作用识别的相关研究与等公司也正逐步将基于视觉的手势识别接口应用于商业领域中。大学的实时视觉监控系统不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，可以检测和跟踪室外环境中的人并对他们之间简单的交互进行监控。国外的研究还有多传感器监控，使用多个传感器对某一地区协同监控以及飞行器监控，如对从热气球上拍摄的视频图像进行分析和处理。目前在国内的研究机构中，中国科学院北京自动化研究所下属的模式识别国家

18、重点实验室视觉监控研究组处于领先地位。他们对交通场景的视觉监控基于三维线性模型定位、基于扩展卡尔曼滤波器的车辆跟踪算法、人的运动视觉监控基于步态的远距离身份识别和行为模式识别提出了对目标运动轨迹和行为特征的学习的模糊自组织神经学习算法进行了深入研究，取得了一定的成果。除此之外，国内还有一些高校也进行了这方面的研究，如上海交通大学、北京航空航天大学、北京理工大学等、清华大学、北京邮电大学和华中科技大学等。其中，中国科学院自动化研究所模式识别国家重点实验室对该领域做了大量研究，他们在人体运动分析、交通行为事件分析、交通场景视频监控和智能轮椅视觉导航等领域取得了许多科研成果。为了促进国内智能视觉监控

19、的发展，中国科学院自动化研究所在2002年和2003年分别举办了第一届和第二届全国智能视觉监控会议，对图像序列分析、目标定位、识别和跟踪、高层语义理解、系统构建与集成、网络环境下的视频监控等内容进行了多方面探讨。北京图像图形学学会在年举办了中国首届城市公共视觉听觉科技研讨会。计算机学报、软件学报和控制与决策等一些杂志也发表了智能监控系统中一些研究成果。国内也已有一些具备智能功能的视频监控产品上市，如北京黄金眼科技的黄金眼，北京行者科技的行者猫王等产品。1.2.2 存在问题随着人们对视频图像处理的研究日益成熟，人们希望将研究成果应用于日常生活当中去，但研究与应用是存在距离的。因为研究往往是在实验

20、室中，很多研究的条件都比较理想，而实际生活中的环境是相当复杂的，会出现许多意想不到的情况。因此要想将研究成果应用于实际生活中必须考虑现实生活中的复杂情况，可以说对实际中复杂情况的考虑和处理是使研究走向应用的关键一步。复杂背景下的运动目标检测和跟踪一直是视频图像处理和理解领域的难点，也日益成为视频图像处理系统实用性和可靠性的严重障碍。由于各种视频应用的场合不尽相同，运动目标所处的环境和背景千变万化，这对运动目标检测和跟踪算法的适应性和稳健性提出了更高的要求。但是从目前的条件和技术水平来说，提出一种抗干扰性强、能适应各种场合各种条件的、稳健的运动目标检测和跟踪方法是不太现实的。在大量学者的研究下，

21、产生了很多在特定条件下具有良好性能的运动目标检测和跟踪方法。但是目前，在目标检测和目标跟踪方面，仍旧没有一个通用的有效的方法能够良好地实际应用于智能视频监控系统。主要存在的难点问题有：(l) 由视频背景的复杂性导致的目标误检：在进行目标检测时，实际场景极其复杂，光照的变化和阴影的产生、杂乱背景等都会导致检测出的目标的合并或者丢失、目标几何特征的扭曲以及虚假目标的出现等，这样不仅会带来目标的误检问题，同时对之后的目标跟踪也会产生影响。(2) 由目标运动的复杂性导致的目标跟踪出错：对运动目标，特别是多运动目标，目标与目标之间以及目标与场景之间的交互运动关系非常复杂，可能出现目标遮挡合并、目标分裂、

22、目标消失、目标出现等情况，这些直接导致了运动目标的复杂性。(3) 智能视频监控要求的实时性：智能视频监控期望能够“智能”地、“主动”地识别、跟踪并分析场景中目标的运动信息，要求系统必须能够实时地进行处理，从而发现各种异常。2 视频序列中运动目标检测技术2.1 图像处理在运动目标检测过程中图像预处理尤为重要，它主要是对图像进行增强、改善或修改，为图像分析做准备，直接关系到图像的下一步质量。本章主要针对视频对象的的图像预处理常用技术，主要包括图像灰度化、图像滤波、图像锐化，并对个各种图像处理技术的常用方法做了介绍。2.1.1 图像的灰度化在运动目标检测过程中图像预处理尤为重要，它主要是对图像进行增

23、强、改善或修改，为图像分析做准备，直接关系到图像的下一步质量。本章主要讲了图像预处理常用技术，主要包括图像灰度化、图像滤波、图像锐化，并对个各种图像处理技术的常用方法做了介绍。运动目标检测是在一段序列图像的每帧图像中找到感兴趣的运动目标所在的位置， 其难点在于何快速而可靠地从一帧图像中匹配目标。 由于摄像头固定， 采集到的图像背景基本不变，故选取基于运动的帧间差分法。图像采集采用CCD 摄像头。为减少处理运算量， 将采集到的彩色图像转换为灰度图像， 再进行预处理及目标检测。将视频中提取的彩色图像转换为灰度图像后，由于外界因素的影响，使图像质量降低。因此，在对图像进行分析之前，需要对图像质量进行

24、改善。直方图均衡化是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，这样就增加了像素灰度值的动态范围从而可达到增强图像整体对比度的效果，使图像的细节变得清晰。用matlab实现图像的均衡化：clear;I=imread('G:123.jpg');I=rgb2gray(I);I2=I;add=;add1=;tab1=zeros(1,256);tab2=zeros(1,256);for n=0:255 X=I=n; add=add;sum(sum(X);end;a,b=size(I);final=add/(a*b);for n=1:256 for i=

25、1:n tab1(n)=tab1(n)+final(i); end;end;tab1=tab1*255;tab2=round(tab1);for n=1:a for m=1:b for t=0:255 if I(n,m)=t I2(n,m)=tab2(t+1); end; end; end;end;for n=0:255 X1=I2=n; add1=add1;sum(sum(X1);end;a1,b1=size(I2);final1=add1/(a1*b1);figure;stem(final,'Marker','none'); figure(2)imshow(

26、I2);figure(3)stem(final1,'Marker','none') 我们通过对原始视频图像使用直方图均衡化处理，实验结果如下图2-1所示。 图2-1原始灰度图和均衡化处理后的对比图2图2-2原始灰度图和均衡化处理后的直方图对比(图中横坐标表示像素的级数，纵坐标表示像素的个数)从上述效果图可以看出，经过直方图均衡化处理后，图像变的清晰了，从直方图来看，处理后的图像直方图灰度级均匀分布在0-255之间，在每个灰度级上图像都有像素点。并且右图明显比左图亮，这是因为图像均衡化后，增加了对比度，使图像中包含的信息清晰化。2.1.2 图像的滤波图像的滤波图像

27、滤波是数字图像处理过程中经常使用的、也是最重要的处理过程，因为图像在摄取、传输等过程中经常会受到噪声的干扰，反映在原本均匀和连续变化的灰度突然变大或者变小，形成一些虚假的物体边缘或轮廓，使得图像的后续处理容易引入误差。因此，需要重视图像的滤波处理。以下是几种常见的图像滤波处理方法：(1) 均值滤波假设图像由许多灰度恒定的小块组成，相邻像素间有很强的空间相关性，而噪声是统计地叠加在图像上的，其均值为零。因此用像素邻域内的各像素灰度值的平均值代表原有的灰度值，实现图像的平滑。在灰度图像f中以像素值(x,y)为中心的N×N窗口(3,5,7,.)内，若平均灰度值为时，无条件的令f(x,y)=

28、。这种方法就是对一个噪声点进行模糊，把被处理点的某一领域中所有像素灰度值的平均值作为该点灰度的估计值。由于参加平均的像素在原始无噪声图像中灰度值是不等的，但在去噪过程中邻域内所有像素都进行了平均，均值滤波法可能会使边界模糊。(2) 中值滤波中值滤波法是以局部中值代替局部平均值。在灰度图像中f中以像素值(x,y)为中心的N×N窗口(3,5,7,.)内，首先把这N×N个像素点的灰度值按大小进行排序，然后选取值的大小为处于正中位置的那个灰度值，使f(x,y)=。这样，把被处理点的某一邻域中像素灰度中值作为该点的像素灰度的估计值。由于中值滤波不影响阶跃函数和阶梯函数，而当宽度小于窗

29、口的一般时，冲击函数趋于消失，三角形函数的顶部则将被削平，因此，中值滤波一般不会引起边缘模糊，而能够达到减小离散的冲击噪声的目的。(3) 低通滤波从频谱上看，噪声特别是随机噪声是一种具有较强高频分量的信号。平滑的目的就是通过一定的手段滤除这类信号。一个很自然的想法就是使图像经过一个二维的低通数字滤波器，让高频信号得到较大的衰减。在空间域上进行的这种滤波实际上就是对图像和滤波器的冲击函数进行卷积。设图像为f(x,y)，滤波器的冲击响应函数为H(x,y)，则卷积表达示为 (2-6)常见的冲击响应函数有， ， (2-7)显然，采用作为滤波器，其效果将与3×3窗口下的均值滤波法得到的效果类似

30、。不同的冲击响应函数之间的区别在于计算机窗口内像素值的加权平均值的加权系数不同。2.2 图像二值化输出数学形态学是建立在严格数学理论上的一门新兴学科,是一种新型的数字图像处理方法和理论。基本思想是利用一个结构元素去探测一幅图像,看看图像中哪些地方可以很好地放入结构元素,并将这些位置作标记,以便得到关于图像结构的信息2.2.1 数学形态形态学原是生物学中研究动物和植物结构的一个分支。后来，以数学形态学(也称图像代数)中的形态表示为基础将其发展为图像分析的数学工具。他的基本思想是用具有一定形态的结构元素去量度和提取图像中的对应形状，以达到对图像分析和识别的目的。数学形态学的数学基础和所有语言是集合

31、论。数学形态学的应用可以简化图像数据，保持他它们的基本形状特性，并初除去不相干的结构。数学形态的算法具有天然的并行实现的结构。二值数学形态学的基本运算有四个：膨胀(或扩张)、腐蚀(或侵蚀)、开始和逼和。形态学的运算对象是集合。设用A表示图像，B表示结构元素(B本身也是图像集合，A和B均为集合)，形态学运算就是B对A 进行操作。膨胀的运算符为，用B对A 进行膨胀可以记为，其定义为： (2-8)式(2-8)表明，用B膨胀A的过程就是先对B做关于远点的映射(注意，这里代表B的映像)，再将其平移x(注意，代表B平移x)，这里A与B的交集不能为空集。换句话说，用B来膨胀A得到的集合的位移与A至少有一个非

32、零元素相时B的原点位置的集合。根据以上解释，式(2-8)也可以写成 (2-9)借助卷积的概念来理解膨胀操作式很有帮助的。如果将B看成一个卷积模板，膨胀就是先对B做关于原点的映射，再将映像连续地在A 上移动而实现的。腐蚀的运算符为，用B对A进行腐蚀可以记为，其定义为 (2-10)式(2-10)表明，用B腐蚀A的过程就是对B平移运算x，结果式所有x的集合，即B平移x后仍在A中。换句话说，用B腐蚀A得到的集合是B完全包括在A中时B的原点位置集合。因为膨胀和腐蚀并不互为逆运算，所以他们可以级连接和使用。例如，可以使用同一结构元素先对图像进行腐蚀运算然后膨胀其结果，也可以对图像进行膨胀运算在腐蚀其结果。

33、前者通常成为开启运算，后者则称为闭合运算。它们也是数学形态学的基本运算。 使用结构元素B对集合A进行开操作，表示为，定义为： (2-11)可见，用B对A进行开操作就是用B对A腐蚀，然后用B对结果进行膨胀。同样，使用结构元素B对集合A的闭操作，表示为，定义如下： (2-12)上式说明，使用结构元素B对集合A的闭操作就是用B对A进行膨胀，而后用B对结果进行腐蚀。开启和闭合也具有对偶性，它们的对偶性可以由膨胀和腐蚀的对偶性得到，表示为： (2-13) (2-14)二值化后的图像往往会含有许多孤立的点、小区域以及小空隙和孔洞， 为了解决阈值分割后的差分图像可能会存在的一些目标空洞和少量的孤立噪声的问题

34、， 这些均会对今后目标位置的判断存在干扰， 导致接下来跟踪丢失或者跟踪错误。因此， 本文使用了数学形态学图像处理， 适当地选取形态运算子和滤波窗口可以很好地排除杂点， 消除物体内部的细小空隙。主要方法为膨胀和腐蚀。2.3 运动目标检测关键技术2.3.1 概念运动目标检测(Moving Object Detection)是在一段序列图像的每帧图像中找到感兴趣的运动目标所在的位置， 其难点在于如何快速而可靠地从一帧图像中匹配目标。运动目标检测是计算机视觉研究领域中的一个重要且困难的课题，在实现运动补偿、视频压缩编码、视频理解时都需要用到运动目标检测技术。运动目标检测的相关技术覆盖了数字视频处理、数

35、字图像处理及分析中的各个方面，并且还涉及计算机视觉、统计信号分析、随机过程及分析等诸多领域。作为计算机视觉基础之一的“图像序列中运动目标检测”是一个困难而又富有挑战性的课题，也是近年来理论和应用研究的热点。运动目标检测算法的实时性、可靠性和普适性是衡量算法优劣的标准，是智能视频监控系统追求的目标。相对于静态图像中的目标检测而言，运动目标检测是指在视频序列图像中判断是否有前景目标的运动，如果有，则对目标进行初始定位的检测过程。通常将实际的视频序列分为两类：静态场景视频序列和动态场景视频序列。针对视频序列的目标检测技术，根据三维场景中目标距离成像传感器的探测距离，可划分为三种情况：(1) 微弱点状

36、目标的检测，即当目标距离成像传感器很远时，目标在图像平面上只占几个像素，呈现为微弱点状目标，信噪比较低； (2) 扩展目标的检测，即当目标距离成像传感器较近时，目标在图像平面上表现为扩展目标，一般其为在视场中覆盖100×100像素以上，占视场比例较大的大型目标；(3) 介于上述两种情况之间，此时目标在图像平面上一般不超过100×100个像素，具有一定的可视对比度。这三种情况下的目标检测与跟踪各有其特点，处理方法差异很大。第三种是应用最为广泛的一种情况，本文的研究属于第三种。2.3.2 应用总结随着计算机软、硬件技术的飞速发展，运动目标检测在民用和军事上有着越来越广泛的应用。

37、在民用方面的应用主要包括运动估计、目标跟踪、机器人导航、智能监控、智能机器人、人机交互、计费管理、自动驾驶、智能交通、医学图像分析以及视频图像压缩、传输和检索等等；在军事方面的应用主要包括巡航导弹、无人驾驶飞机、自动行驶车辆、精确制导等。本章主要介绍课题研究所需理论基础。包括图像处理，二值化输出，目标检测方法以及算法所需的数学形态学相关理论。视频图像预处理的目的是把原始图像序列转换成后续处理所需要的图像格式与质量，很大程度上要消除由于摄像头，传感器所引入的各种噪声，常用的方法的滤波，因为视频预处理部分不是本课题所关注的重点，所以论文中只做概略性的介绍，不作详细论述。二种基本目标检测方法虽然有其

38、各自的适应性及局限性，但对于复杂背景下的运动目标检测，均不能很好地发挥其作用，而是必须在原有基础上进行改进或是将两种或多种方法加以融合。在后续章节中将对此进行详细论述。数学形态学包括腐蚀、膨胀与开闭操作，在计算机图像处理中被广泛地应用，与本课题的算法研究联系也十分广泛，几乎处处应用。3 算法研究及实验分析运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的

39、检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运动背景两类。大多数视频监控系统是摄像头固定的，因此静态背景下运动目标检测算法受到广泛关注，常用的方法有帧差法、光流法、背景减除法等。下面我们就这几种常用的方法做以

40、介绍，对于目前主要的方法背景减法详细介绍。3.1 帧差法帧差法是最为常用的运动目标检测和分割方法之一，基本原理就是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。首先，将相邻帧图像对应像素值相减得到差分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阂值时，可以认为此处为背景像素:如果图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。由于相邻两帧间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且

41、更新速度快、算法简单、计算量小。算法的不足在于对环境噪声较为敏感，闽值的选择相当关键，选择过低不足以抑制图像中的噪声，过高则忽略了图像中有用的变化。对于比较大的、颜色一致的运动目标，有可能在目标内部产生空洞，无法完整地提取运动目标。帧间差分法主要是利用视频序列中连续的两帧或几帧图像的差异来进行目标检测和提取。一个最基本的帧间差分法的基本过程如图3-1所示。 图3-1帧间差分法的基本过程设在和处时刻采集到同一背景下的两幅运动图像为和，则差分图像的定义为： (3-1)对上式的差分结果进行二值化处理，就可以提取出运动物体。 (3-2)其中(x,y)为二值化后的图像，(x,y)为差分后的图像，T为分割

42、阈值，可以事先给定或者用自适应的方法确定。首先，利用(3-10)式计算第t帧图像与第t-1帧图像之间的差别，得到差分后的(x,y)图像，然后对差分后的图像(x,y)进行二值化，认为当差分图像中像素值大于某一给定阈值式，该像素位于前景之中，即认为该像素可能为目标上的一个点，否则认为该像素为背景中的一个像素，二值化后得到(x,y)图像，最后对图像(x,y)进行连通性分析，获得图像(x,y)，当某个连通区域的面积大于某一给定的阈值，则检测到目标，并认为该区域就为目标所占的区域。由于帧与帧之间的时间间隔短，目标的运动速度不大，能够对运动目标进行很好的定位，是可能存在重影的现象，所以文中采用对称差分法进

43、行目标定位。基本的帧间差分法对于动态环境具有很强的适应性，算法实现比较简单，但是对光线等场景变化不是很敏感，很难完全提取所有相关的特征像素点，也不能得到运动目标的完整轮廓，为了提高帧差法的性能，一般采用的是对称图像差分法，这方法可以改善差分法的性能15-17。在对称差分实现的过程中，还有多种实现方案，比如是间隔若干帧进行差分运算，或者是连续若干帧进行差分运算。本文采用的对称差分(原理如图3-2所示)实现连续三帧差分，得到两幅差分图像后取交集，获得目标的位置及轮廓信息。a 第5帧 b 第6帧 c差分后的图像图3-2重影现象(a和b为原图，c为差分后的图像)对称差分的原理如下图3-13所示。在对图

44、像进行一值化时采用的是最大类间方差来确定分割阈值。在实际运用中，获取阈值往往使用以下简化计算公式：将图像分割后的区域分别记为A和B， (3-3)其中，为两类间最大方差，为A类概率，为A类平均灰度，为B类概率，为B类平均灰度，为图像总体平均灰度。即阈值T将图像分成A，B两部分，使得两类总方差(T)取最大值的T，即为最佳分割阈值。第i-1帧第i帧第i+1帧差分图像1差分图像2 交集目标轮廓 图3-3对称差分由于噪声的干扰，二值化后的图像可能存在噪声，首先用形态学方法来去除噪声，再来确定运动目标的质心，文中通过矩方法确定运动区域的质心，计算公式如下： (3-4) (3-5) (3-6) (3-7)实

45、验中所用的视频样本采用CAVIAR数据集中ThxeePastshoplcor作为实验对象，质心坐标为()。根据此目标图像中的点I()到形心的距离的最大值确定椭圆的长半轴，最大距离点到形心的连线位于椭圆的长轴上，最小值为短半轴，为snake算法的执行提供初始轮廓。如图 3-4和 3-5所示。 a 第333帧 b 第334帧 c 第335帧 d差分图像图3-4对称差分 3-5(a) 消除噪音后的图像 3-5(b) 目标椭圆轮廓 图3-53.2 光流法光流计算技术是Gibsno于1950年提出的。所谓光流是空间运动物体被观测面上的像素点运动所产生的二维(ZD)瞬时速度场，其中ZD速度矢量是可见的三维

46、速度矢量在成像平面上的投影。光流场的计算最初是1981年由美国学者Horn和Schunck提出的。光流法的主要任务就是计算光流场，即在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。通常有基于全局光流场和特征点光流场两种方法。最经典的全局光流场计算方法是L-K(Lueas&Kanada)法和H-S(Hom&Schunck)法，得到全局光流场后通过比较运动目标与背景之间的运动差异对运动目标进行光流分割，缺点是计算量大。特征点光流法通过特征匹配求特征点处的流速，具有计算量小、快速灵活的特点，但稀疏的光流场很难精确地提取运

47、动目标的形状。总的来说，光流法不需要预先知道场景的任何信息，就能够检测到运动对象，可处理背景运动的情况，但噪声、多光源、阴影和遮挡等因素会对光流场分布的计算结果造成严重影响;而且光流法计算复杂，很难实现实时处理。基于光流法的运动检测是根据光流的不连续性来分割运动物体，不同的光流区域对应不同的运动目标。光流计算基于下面两个假设：第一，任何物体点所观察到的亮度随时间是恒定不变的；第二，图像平面内的邻近点以类似的方式进行移动。根据这两个假设我们可以推导出光流基本方程。假设在t时刻图像上点(x, y)处的灰度为：I (x, y, t)。那么，在t +t时刻，该点的灰度可以表示为：I (x +x, y

48、+y, t +t)。由上面的两条关于光流假设可知：I (x, y, t)=I (x +x, y +y, t +t)。将右边的式子在(x, y, t)处用泰勒公式展开，化简并略去二次项得： (3-8)令：，则有： (3-9)方程(3-9)就是光流场的基本方程。光流法的主要任务就是通过求解光流约束方程求出(u, v)。但是有两个未知数只有一个约束条件，所以不能确定光流。也就是说，从基本等式求解光流场是一个不适定问题。为了解决光流场计算的不适定问题，还需要加入另外的一些约束条件，从而使方程有解。因此，如何为光流场添加合适的约束条件并从中解出u、v的解，是光流场计算法的核心问题。Horn等人依据同一运

49、动物体引起的光流场应该是连续的、平滑的，即整体平滑约束来将光流场的计算问题转化为一个变分问题。即运动场既满足光流约束方程又满足全局平滑性。由于Horu和Schunck依据全局平滑约束，未能考虑到实际运动物体边缘处光流矢量的不平滑性，该方法对于边界点计算结果很差。针对这一问题，Lucas等人提出一种局部平滑约束条件，即假设在一个足够小的空间邻域上，各像素点的光流可以用其中一个像素点的光流来近似，采用加权最小二乘技术推导出另一个约束条件。Nagel等提出了“有向平滑”的概念， Otte等人假定光流在局部空间和时间轴是线性变化的，推导局部约束条件。光流法检测运动目标的基本原理是：给图像中的每一个像素

50、点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，光流矢量在整个图像区域是连续变化的，当物体和图像背景存在相对运动时，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体的位置。总之，光流法是用通过计算出来的光流场来模拟运动场。光流场指图像灰度上求解的表面运动，而运动场指三维物体的实际运动在图像平面上投影。光流场是基于在如下的假设下推导出光流方程的：运动物体做刚体运动(物体在运动过程中没有形变或只有微小形变)；物体的

51、反射光变化是平滑的；光照变化是连续的。满足上述条件的情况下可以使用光流方程得到图像的光流场。理想状况下，光流场和运动场互相吻合，但实际上并非如此。只是一般情况下，可以认为光流与运动场没有太大区别，因此就可以根据图像运动来估计相对运动。3.3 背景减法背景减法是一种有效的运动对象检测算法，基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分比较实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。背景减除法必须要有背景图像，并且背景图像必须是随着光照或外部环境的变化而实时更新的，因此背景减除法的关键是背景建模及其更新。采用背

52、景减算法进行运动目标检测的过程如图3-6的流程图所示：视频图像帧前景目标区域背景建模预处理后处理前景检测图3-6 背景减法运动目标检测流程图主要包括预处理、背景建模、前景检测和后处理4个步骤：(1) 预处理是对视频数据进行简单的空间或时间滤波，以消除摄像机噪声和雨雪等瞬时环境噪声，或者降低帧大小和帧率。预处理的另一个关键问题是将数据转换成适应特定背景减算法的格式。(2) 背景建模就是构建背景图像或通过构建某种模型来表示背景，这是各种背景减算法的核心所在。(3) 前景检测也就是阈值分割，其指的是利用当前视频帧与背景模型的差异来检测出运动区域参考像素的这个步骤。如果差值大于一定阈值，则判定该像素为

53、组成前景运动目标的像素，但不同的背景建模方法有不同的阈值分割规则。(4) 后处理就是去除不属于真实运动目标的参考像素，以便得到真正的前景运动目标，比如消除小而假的前景像素、消除重影和阴影等。背景减法技术原理简单，如图3-7所示：消除噪音 连通分析判定二值化 背景图像 图3-7背景减法算法原理图背景差分法的基本思想是：首先，用事先存储或者实时获取的背景图像序列为每个像素统计建模，得到背景模型；其次，将当前每一帧图像和背景模型相减，得到图像中偏离背景图像的像素点，然后对二值化图像进行连通分析等处理。 (3-10)其中，为某一帧图像，为背景图像，为目标图像。虽然减背景技术原理简单，但是背景图像的构建和更新方法却至关重要，因为它直接影响背景模型对场景变化和前景目标粒度的适应性。背景图像建模方法是背景减算法的核心。目前常用的背景建模方法主要有：均值/中值滤波法、W4方法、线性预测法、非参数模型、单高斯模型、混合高斯模型、隐马尔科夫模型、本征方法、码本方法等。3.4 常见的背景减法3.4.1 中值滤波法(1) 基本原理中值滤波法是最常用的背景图像构建方法之一，是基于排序统计理论的一种能有效抑制噪声