运动目标识别技术在智能监控系统中的应用毕业论文.doc

本科毕业设计（论文） 运动目标识别技术在智能监控系统中的应用运动目标识别技术在智能监控系统中的应用陈浩杰 自动化学院 摘 要近年来随着多媒体技术的迅速发展和计算机性能的不断提高，数字式视频监控系统已逐渐取代传统的模拟式监控系统而广泛应用于机场、车站、银行、宾馆等公共场所，在公共安全领域当中发挥着日益重要的作用，智能化监控系统在未来必将有广阔的应用前景并能为社会带来巨大的经济效益。本文首先综述了智能监控系统的发展历史和现状，然后着重分析了智能监控系统应用前景和发展趋势。接着阐述了视频图像预处理的必要性，图像预处理能有效地消除噪声，改善图像质量，使图像清晰化。中值滤波是一种非线性滤波方法，它不但对图像噪声消除非常有效，而且能够较好地保护图像边缘信息。本文用它来对视频图像进行预处理，取得了理想的处理效果，为目标的检测提供了良好的基础。在比较常用的几种运动目标识别方法之后，最终选用了背景差分法，因为这个方法可以直接得到运动对象的位置、大小、形状等信息，这些都是视频监控系统所需要的重要信息，并且背景差分法计算复杂度适中。因此本文采用背景差分法来实现运动目标的识别。实验仿真的结果表明，该方法简单实用，可以很容易地实现对运动目标的识别。关键词：智能监控系统，图像预处理，运动目标识别，背景差分法abstractin recent years, with the rapid development of multimedia technical and the unceasing enhancement of computer performance, the digital video monitoring system has gradually substituted for traditional analog video monitoring system, which is widely applied to the public places such as airport, station, bank and guesthouse and plays an important role in the public security domain. the intelligent video monitoring system will certainly have a broad application prospect in the future and will bring huge economic efficiency for the society.firstly this paper makes a comprehensive survey of history and the status of the art of intelligent monitoring system, then focuses on the application prospects and development trends of intelligent monitoring system. then introduced the need for pre-processing video images, image pre-processing can effectively eliminate the noise and improve image quality and clarity of the image. median filter is a nonlinear filtering method, it is not only very effective in the elimination of image noise, and can be used to protect the image edge information. in this paper, use it to carry out pre-processing of video images, and achieved the desired effect, provide a good foundation for target detection. after the comparison of several commonly used in moving target identification methods, this paper select the background difference method, because it can be directly targeted at the location, size, shape and other information, all these information are important in the video surveillance systems, and the background difference method modest computational complexity. therefore, this paper uses background difference method to achieve the identification of moving targets. and the experimental simulation results show that this method is simple and practical, easy to implement.key words: intelligent video surveillance systems, image pre-processing, moving target identification, the background difference method目 录第一章 绪论11.1 课题的研究背景及其意义11.2 智能监控系统及其应用31.2.1智能监控的含义31.2.2智能监控系统的应用31.2 国内外研究现状51.3 论文章节安排6第二章 视频图像的预处理72.1图像灰度化处理72.2视频图像的去噪处理82.2.1频域去噪方法82.2.2小波域去噪方法92.2.3时域去噪方法92.2.4空间域去噪方法92.3本章小结12第三章 运动目标识别133.1 常用的运动目标识别方法133.1.1时域差分法133.1.2光流分析法143.1.3背景差分法153.2背景差分法163.3更新背景模型173.4本章小结17第四章 实验及结果分析184.1 实验环境的介绍184.2 实验及结果分析204.2.1图片预处理的结果204.2.2运动目标识别214.3 运动目标识别流程244.4 本章小结25第五章 结论与展望265.1主要工作总结265.2展望26参考文献27致谢29第一章 绪论1.1 课题的研究背景及其意义在人类感官接受的各种信息中约有80%来自视觉。视频、图像是对客观事物形象、生动的描述，是直观而具体的信息表达形式，是人类最重要的信息载体，特别是在今天的信息社会，随着电子技术、计算机技术、网络和通信技术的发展，视频技术在国民经济的各个领域获得了广泛的应用1。近年来，人们越来越关注生存环境，重视突发灾害的预带与紧急应对措施的建立，迫切希望提高生产和生活管理的智能化水平，视频监控系统也作为人类视觉的延伸越来越受到重视，得到了长足的发展。传统的视频监控系统由连接到一套电视监视器上的一个或多个摄像机组成。一些重要场合如银行、证券交易所、别墅区和大型仓库等的保安设施中常常都装有这些可视化的监控设备。这种监控系统己经可以满足人们“眼见为实”的要求2，但同时这种监控系统也存在一定的弊端3：第一，它要求监控人员不停的监视屏幕，获得视频信息，通过人为的理解和判断，才能得到相应的结论。因此，让监控人员长期盯着众多的电视监视器成了一项非常繁重的任务。特别在一些监控点较多的情况下，监控人员根本无法做到完整全面的监控。 第二，一般这种监控系统的摄像机总是固定的对准某个预置点（或在固定的若干个预置点之间来回巡视），因此若摄像机当前视野中的报普运动目标离开摄像机的视野范围监控系统就无法再监视到目标。在实际应用中，这种问题常用增加摄像机来解决，这就造成了很大的浪费。 第三，用户使用监控系统一般都会有录像的需求，通常的做法是用磁带（或录像机）进行全程录像。这样引起的弊端是浪费大量的磁带资源，并且给用户检索带来很大困难。随着计算机处理能力的提高和数字视频技术的发展，监控系统也逐渐从模拟方式转向数字处理方式。通过视频采集卡采集视频信号，利用计算机的高速数据处理能力进行视频处理。利用显示器的高分辨率和高清晰度，实现图像的多画面显示，从而大大提高了图像的质量。与传统的模拟监控相比，数字视频监控具有许多的优点：第一，便于计算机处理。由于对视频图像进行了数字化，所以可以充分利用计算机的快速处理能力，对其进行压缩，分析、存储和显示。通过视频分析，可以及时发现异常情况并进行联动报警，从而实现无人值守。第二，适合远距离传输。数字信息抗干扰能力强，不易受传输线路信号衰减的影响，而且能够进行加密传输，因而可以在数千公里之外实时监控现场。特别是在现场环境恶劣或不便于直接深入现场的情况下，数字视频监控能达到亲临现场的效果。即使现场遭到破坏，也照样能在远处得到现场的真实记录。第三，便于查找。在传统的模拟监控系统中，当出现问题时需要花大量时间观看录像带才能找到现场记录，而在数字视频监控中，利用计算机建立的索引，在几分钟内就能找到相应的现场记录。第四，提高了图像的质量和监控效率。利用计算机可以对不清晰的图像进行去噪、锐化等处理，通过调整图像大小，借助显示器的高分辨率，可以观看到清晰的高质量图像。此外，可以在一台显示器上同时观看多路视频图像。第五，取消了视频录像带.与记录在视频录像带上不同，数字式智能监控系统是将视频图像记录在视频服务器中的计算机硬盘上，其最大优点是既能够提高存储图像的清晰度又能够快速检索到所存储的图像。作为对比资料，普通制式录像带存储图像的分辨率一般为240线，最高也就300线，这与前端摄像机具有480线的图像分辨率显得不相称，致使从录像带放出图像往往不够清晰，影响到使用的效果。相反，记录在硬盘上的图像分辨率能够达到近500线，图像的清晰度高。为了能看到你感兴趣的视频图像，仅需键入需要的时间值和摄像机号后，几秒钟后通过搜索硬磁盘即可将结果显现在计算机的显示器屏幕上，根据需要，你可打印它、在网上作e-mail发送，也可将其继续保存在硬盘，者从硬盘中将其删除。正是由于数字视频监控以网络为依托，以数字视频的压缩、传输、存储和播放为核心，是监控系统的一大进步。它具有传统模拟监控无法比拟的优点，所以数字视频监控已经取代模拟监控。随着计算机视觉技术和人工智能理论研究的逐步深入及其应用的推广，监控系统被引向更多的利用视频图像及相关技术的方向，此时监控系统不仅用摄像机代替人眼，而且使用计算机代替人、协助人，分析监控场景中出现的运动目标和发生的事件，并完成相应控制任务，使系统呈现出人的智能化，形成智能监控系统。综上所述，研究数字智能监控系统中运动目标检测具有十分重要的现实意义。1.2 智能监控系统及其应用 1.2.1智能监控的含义 这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能在一定的场景中检测是否有目标的出现（如通过检测人脸的方法），防止只是简单的通过运动目标检测所造成的错误报警。例如，因为刮风摇动树枝而造成的误报。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其行为进行识别和分析，跟踪可疑行为（如经常在重要地点徘徊的行为）从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地，以实现对这些场所的智能监控。1.2.2智能监控系统的应用 智能监控就是指将自动视频分析技术应用到传统视频监控系统中。利用计算机的快速处理能力，对视频进行分析，及时发现异常情况并进行联动报警，使监控系统具有很高的实时性，而且节省了人力。 从应用的场合来说，智能监控系统可以应用于家庭、国防、交通等多个方面。 l 家庭应用 在现有的家庭微机上增加usb摄像头和相应的软件系统，就可实现功能强、价格低的智能化家庭监控系统。系统自动检测在家中采集到的图像，当发现异常时，通过internet和短消息中心向用户指定的电话号码发送短消息，并将现场图像以e-mai1方式发送给用户。用户收到短消息后通过检查e-mail就可对家中情况有清楚的了解。 l 国防应用 我国有上万公里的海岸线和边境线，与多个国家毗邻，建立边防海防智能视频系统，对关键口岸，哨所和敏感地区实施监控，就能使我军情报部门直观及时地监控边防前线的情况，提高情报获取的实时性和综合处理的能力，也能有效的防止偷渡、走私等非法行为。l 交通应用交通管理是我国各大都市面临的难题。智能视频交通控制系统能及时提供路段的车辆流量和路况信息，记录违章车辆，以便实现准确快速的交通指挥调度，达到充分利用现有的道路资源，提高突发交通事故的处理能力，从而为人们的出行提供快捷舒适的交通服务。毋庸置疑，在2008年的北京奥运会中，智能视频监控系统也广泛的用于体育场馆、奥运村和交通调度，为比赛和游览提供安全的环境。从功能上来说，智能监控系统的应用主要有实时警报和自动视频检索4。 实时警报智能监控系统识别发生在监控范围内的异常事件并及时通知用户，这样就给用户提供一定的时间来评价当前形势，有必要的话可以采取预防行动。下面是一些典型的应用： 运功检测：检测特定区域内所有物体的运动并发财警报。 运动特征检测：检测物体的一系列运动属性，包括运动方向，速度等。如果超过一定范围则发出警报。 遗弃物体警报：检测被遗弃的物体。比如，飞机场内一件无人照看的行李。 物体的迁移：检测特定物体的运动，而用户并不希望这个物体运动。比如博物馆中的一幅画。 特定类型物体的运动检测：监视飞机跑道的系统将对停机坪上人的出现或人的运动报警而不是对飞机的出现报警。 基于对人的数量的统计或人口密度的报警5。例如，银行柜台前一米以内的人数超过一个，大厅的拥挤程度超过可接受的范围等。 行为警报：检测停车场的可疑行为。例如，一个人停下而且试图打开多辆汽车。 视频检索当某个区域发生意外事件后，调查人员往往需要从覆盖该地区的所有监控摄像机的长达几百个小时的视频中去筛选有用的信息。如果用手动来完成这一任务需要花费大量的人力和时间。但是采用智能监控系统，就可以极大的减少工作量。借助自动视频分析技术，系统为拍摄的视频建立丰富的索引，典型的，这些索引可以是物体的形状、尺寸、外表、类型和运动轨迹等信息以及其他一些特有的物体识别信息。在更高级的系统中，索引也可以包括物体的行为信息。在建立了索引的视频序列中查找需要的信息，就变得简单多了。例如，我们可以做这样的查询，“3月2号下午3点到4点之间经过某街道的穿蓝色衣服的人的视频片段” 。1.2 国内外研究现状 智能监控具有广泛的应用前景和潜在的经济价值，从而激发了世界上广大科研工作者及相关人士的浓厚兴趣，尤其在美国、英国等国家已经开展了大量相关项目的研究。 例如，1997年美国国防高级研究项目署设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目vsam6，主要研究用于战场及普通民用场景进行监控的自动视频理解技术。 实时视觉监控系统w47不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人是否携带物体等简单行为。 英国的雷丁大学已开展了对车辆和行人的跟踪及其交互作用识别的相关研究8；ibm与microsoft等公司也正逐步将基于视觉的手势识别接口应用于商业领域中9。当前，国际上一些权威期刊如ucv、cvui、ivc和重要的学术会议如iccv、cvpr、eccv、iwvs等将智能监控中运动目标的检测与跟踪研究作为主题内容之一，为该领域的研究人员提供了更多的交流机会。 在我国，这方面的研究是近几年才开展起来的。中国科学院自动化研究所模式识别国家重点实验室己成立智能视觉监控研究组，开展这方面的研究，目标是实现一个动态场景集成分析演示系统并最终推向实用。 国内有一些视频监控方面的产品，如黄金眼、行者猫王等，应用于交通控制，监狱管理等方面。另外，国内产品还有数字硬盘录像系统，将监控区域内有运动对象出现的情况录制下来，以备查询，该系统只是简单的检测出有无运动对象，而没有对运动对象做任何分析。由于国内的研究起步较晚，技术还不够完善，开发出的产品距离智能化还有一定差距，在实际的应用中，受到很多限制，还有待于进一步的完善。 智能监控系统不仅符合信息产业的未来发展趋势，而且代表了监控行业的未来发展方向。特别是近年来，随着技术的进步和社会经济的不断发展，客观上对监控系统的准确性、有效性和方便性提出了更高要求。1.3 论文章节安排 第一章 绪论。阐述了选题的背景和意义和国内外研究现状，同时也着重分析了智能监控系统应用前景和发展趋势。第二章 视频图像的预处理。这一部分介绍了视频图像的预处理的必要性和方法。阐述了视频图像的预处理的方法，采用图像灰度化处理和中值滤波的方法来去除噪声。第三章 运动目标识别。这一部分介绍了运动目标识别所采用的方法，即背景差分法。运动目标识别常用方法主要包括背景差分法、时域差分法和光流分析法。在综合比较这三种方法之后，本文采用背景差分法。第四章 实验及结果分析。基于windows操作系统和matlab软件平台进行实验仿真。背景差分法可以直接得到运动对象的位置、大小、形状等信息，实验仿真的结果表明，该方法简单实用，易于实现。同时简要地介绍了运动目标识别流程。第五章 结论与展望。总结本文的工作。第二章 视频图像的预处理 图像预处理技术是图像工程中最基础，也是最重要的操作步骤，后续的图像分析与图像理解等高层操作都是建立在它的基础之上的。数字视频监控系统中，开始所必须要做的工作就是对视频图像进行相关预处理，此举不但能有效地消除噪声，改善图像质量，使图像清晰化，还对后续处理工作比如目标识别的正确性，目标跟踪的及时性提供了一定的保证。该技术主要包括图像灰度化处理和图像噪声消除。2.1图像灰度化处理 由于系统对实时性要求较高，因此系统不采用彩色图像处理，而采用灰度图像处理，以减少图像处理时间与内存空间要求。对图像进行灰度化将大大减少图像处理的数据，提高图像处理的速度。所以要对采集到的视频图像首先进行灰度化处理。灰度化就是使彩色的r,g,b分量相等的过程。由于r,g,b的取值范围是0-255，所以灰度化的级别只有256级，即灰度图像仅能表现256种颜色（灰度）。 目前灰度化处理的方法主要有如下三种10：（1）最大值法：使r,g,b的值等于三值中最大的一个，即： r=g=b=max（r,g,b） （2.1） 最大值法会形成亮度很高的灰度图像。 （2）平均值法：使r,g,b的值等于三者和的平均值，即： r=g=b=（r+g+b）/3 （2.2） 此方法会形成较柔和的灰度图像。 （3）加权平均值法：根据重要性或其他指标给r,g,b赋予不同的权值，并使r,g,b 他们的值加权平均，即： r=g=b=（wrr+wgg+wbb）/3 （2.3） 其中wr、wg、wb分别为r、g、b的权值。由于人眼对绿色的敏感度最高， 对红色的敏感度次之，对蓝色的敏感度最低，因此使wg wrwb将得到较合理的灰度图像。实验和理论推导证明，当wr =0.03，wg=0.59，wb=0.11时，即当vgray=0.30r+0.59g+0.11b时，能得到最合理的灰度图像。处理后的结果如图2.1所示： （a）原始彩色图像 （b）灰度化后图像图2.1 灰度处理后图像对比2.2视频图像的去噪处理 视频图像在拍摄和传输过程中，由于所使用的器件和传输通道的局限性，而被加入了大量的噪声，造成图像退化，严重影响了图形的视觉效果，妨碍了人们的正常是识别。直接用它来求差分图像则受噪声的影响较大，差分图像的效果很差不利于后面的图像分析。因此，图像的噪声消除就成为图像处理的一项重要的任务。为了抑制噪声改善视频序列的图像质量，使用滤波技术对信号进行去噪处理是最基本也是十分重要的技术手段。在去除噪声时，应尽量不损害图像的边缘和细节信息，这是应当遵循的一条基本原则。到目前为止，已经提出了很多的视频信号噪声滤除方法，主要有频域、小波域、时域和空间域等去噪方法11。2.2.1频域去噪方法图像去噪的一类方法是在频率域中进行。图像经过傅立叶变换后，可以认为噪声频谱一般位于高频段，而图像本身的频率分量则处于频率较低的区域，因此可以通过低通滤波方法，使高频分量抑制而让低频分量通过，从而实现平滑去噪，其数学表达为： g（u,v） =h（u,v）f（u,v） （2.4）式中，g（u,v）是去噪后图像的傅立叶变换，h（u,v）是滤波器的转移函数，f（u,v）是图像的傅立叶变换。2.2.2 小波域去噪方法 小波在图像视频去噪处理上的应用思路如下，将空域或时域上的图像变换到小波域上，成为多层的小波系数，根据小波基的特征分析噪声和图像的小波系数特点，针对不同特征，结合常规的图像视频处理方法，提出更符合小波分析的新方法来处理小波系数，再对处理后的小波系数进行反变换，得到所需的去噪目标图像。小波去噪是一个信号滤波的问题，而且尽管在很大程度上小波去噪可以看成是低通滤波。但是由于在去噪后，还能成功地保留图像特征，所以在这一点上又优于传统的低通滤波器。由此可见，小波去噪实际上是特征提取和低通滤波功能的综合。2.2.3时域去噪方法 仅仅针对单帧的图像处理必然有很多的局限性，但是在视频图像序列中尤其是运动缓慢的序列中，前后数帧的图像之间存在着很强的时间相关性，采用一些常规的算法，可以达到时域降噪的目的。 在时域上多帧降噪的方法在数字视频处理技术中有着重要的地位。对于静止的图像序列，简单的多帧平均法对提高信噪比，改善图像质量有明显的效果。如果序列中的噪声是随机加性的，互不相关且均值为零，假设对一幅静止图像连续拍摄了n次，若将这n幅图像进行平均，则可将信噪功率比提高n 倍或信噪电压比提高n12倍。 然而对于运动图像序列，这种简单的平均将会导致运动图像拖尾现象的产生，或称为残像。于是根据图像运动程度的不同，在此采用不同的策略来获得不同的降噪性能，即实现对图像静止部分的有效降噪，对运动部分以牺牲降噪性能减小拖尾现象的严重程度。可以设想，如果根据两幅图像内容位移的相对关系作运动估计，使两帧图像的内容更加接近，其结果就能得到大的降噪效果又不会产生严重的拖尾现象。2.2.4空间域去噪方法局部平均法就是直接在空间域上进行平滑处理的技术。 在这类方法中，图像被认为由许多灰度恒定的小块组成，相邻像素间存在很高的空间相关性，而噪声则是统计独立的。因此，可用像素邻域内的各像素的平均灰度值代替该像素点原来的像素值，实现图像的去噪。其中非常值得一提的是均值滤波器和中值滤波器12。（1） 均值滤波器均值滤波器是一种消除图像噪声的线性处理方法。这种方法的基本思想是用几个像素灰度的平均值来代替每个像素的灰度。其计算公式为： fx,y=1nm,nsf(m,n) （2.5）式中，s为（x，y）点领域中坐标的集合，但不包含其本身，n为集合内坐标的点数。 均值滤波器是一种典型的线性消除噪声方法，因为其运算简单快速同时又能够较为有效地去除高斯噪声。因而适用面较广，至今仍然是一种常用的消除噪声的方法，许多滤波噪声方法都是在此基础上发展而来。其缺点是严重破坏了图形的边缘，模糊了图像。（2） 中值滤波器中值滤波器是统计滤波器的一种，是一种非线性的空间滤波器，它的响应基于图像滤波器包围的图像区域中像素的排序，然后由统计结果决定的值代替中心像素的值。它不仅对脉冲干扰和椒盐噪声的抑制效果较好，在抑制随机噪声的同时能使边缘减少模糊。中值滤波的计算公式如下：g（x,y）=medf（x-k,y-l）,（k,lw） （2.6）其中,f（x,y），g（x,y）分别为原始图像和处理后图像。中值滤波算法是对每个窗口内的像素进行排序以求中值，采用一个含有奇数个点的滑动窗口（模板），用窗口中各点灰度值的中值代替指定点（一般是窗口的中心点）的灰度值。实现过程如下：1、 建立一个3x3的窗口，并用该窗口在图像上按先行后列的顺序逐次滑动；2、 每次移动后对窗口内的图像灰度数据进行排序；3、 用排序所得的中值代替窗口中心位置的原始值；4、 按从左到右，从上到下的顺序滑动窗口，重复2，3步骤直到遍历所有的图像数据。 abcdefghi 滑动方向图2.2 中值滤波（3）滤波方法比较图2.3（a），（b），（c）分别是被噪声污染的图像、采用均值滤波后的图像和采用中值滤波后的图像。从比较可以看出均值滤波虽然消除了噪声但严重破坏了图形的边缘，模糊了图像，而采用中值滤波不但对图像噪声消除极为有效，而且能够较好地保护图像边缘信息。 （a）被噪声污染的图像 （b）均值滤波后的图像 （c）中值滤波后的图像图2.3 滤波前后图像比较中值滤波与均值滤波相比较，有以下优点：1、 降低噪声的效果比较明显。2、 在灰度变化比较小的情况下可以得到很好的平滑处理。3、 降低了图像边界的模糊程度，滤波后图像中的轮廓比较清晰。由以上比较结果可以得出，对于带噪声的原图类图像，使用中值滤波的效果比较好。因此本文采用中值滤波的方法对采集到的图像进行消除噪声处理。2.3本章小结 本章主要阐述了视频图像预处理的必要性，图像预处理能有效地消除噪声，改善图像质量，使图像清晰化。中值滤波一种非线性滤波方法，它不但对图像噪声消除非常有效，而且能够较好地保护图像边缘信息。本文用它来对视频图像进行预处理，取得了理想的处理效果，为目标的检测提供了良好的基础。 第三章 运动目标识别3.1 常用的运动目标识别方法 运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。 常用的运动对象识别方法主要包括时域差分法、光流分析法和背景差分法等13。下面我们将分别做简要的介绍。3.1.1时域差分法 时域差分方法是在连续的图像序列中两个或三个相邻帧间采用基于象素的时间差分并且阈值化来提取出图像中的运动区域。它基于很直观的思想：如果在一幅图像的某一位置物体发生变化，那么对应于该位置的灰度也将发生变化，而物体没有发生变化的部分，则灰度不发生变化或发生很小变化。该方法只需比较序列图像中相邻两幅图像的对应象素灰度的差别。 例如lipton等利用两帧差分方法从实际视频图像中检测出运动目标，进而用于目标的分类与跟踪；一个改进的方法是利用三帧差分代替两帧差分，如vsam开发了一种自适应背景减除与三帧差分相结合的混合算法，它能够快速有效地从背景中检测出运动目标。时域差分方法的优点是运算量小，速度快，只对运动物体敏感。实际上它只检测相对运动的物体，因为进行差分的两幅图像的时间间隔很短，差分图像受光线变化影响小，从而非常适合于动态变化场景。其缺点是：首先，它不能完全提取出运动物体所有相关的特征像素点，除非运动物体本身具有较复杂的纹理特征，帧差后运动实体内部容易产生空洞现象，显示出非零区域一般表现为与运动物体的边缘运动相关的连续或间断的条带形区域，这样分割出来的区域实际是物体前后位置的“或”区域，比物体实际所在的区域要大，其外接矩形在运动方向上被拉伸。其次，它对噪声非常敏感而且检测出物体的位置不精确。它所检测到的运动目标所在的运动区域是在t和（t-st）时刻的，这意味着运动区域的中心接近运动目标在t和（t-st）时刻实际位置的中点。相对于目标运动速度而言视频采样很快的系统（st很小），目标在两帧间的位置差将很小，从而帧间位置的中点可以作为目标位置的近似。但如果待检测运动目标的速度相对于采样率来说很快，这种方法将有待改进。也就是说必须根据目标的运算速度选择合适的差分时间间隔，对快速运动的物体，需要选择较小的时间差，而如果选择得不合适，最坏的情况下物体在前后两帧中几乎完全重叠，根本检测不到物体。3.1.2光流分析法光流分析法通过对视频图象光流的分析，通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。光流的方法一般是根据当前帧及前后帧的信息，计算某个像素的运动矢量。 令fk（x,y）表示第k帧（x,y）点对应的像素。fk+i（x+d（x）,y+d（y） 表示第k+l帧中（x+d（x）,y+d（y）点所对应的像素。如果（x,y）点像素对应运动目标的某一点，并且在第k+l帧运动到（x+d（x）,y十d（y）。那么如果捕捉的视频没有噪声，应存在等式：fk（x,y）= fk+i（x+d（x）,y+d（y） （3.1）还有一种等价形式： fk（x,y）= fk+i（x-d（x）,y-d（y） （3.2） 这两个等式在本质上是相同的，区别在于：式子1是第k帧的像素运动到第k+1帧中，而式子2是第k帧的像素在第k-1帧的位置。一般把式1叫做前向预测，式2叫后向预测。 上述的两式中的d（x）与d（y）就是（x,y）像素的运动矢量，但是这个信息在视频中不能直接获取。一方面是因为在成像的过程中会出现噪声，使得上述等式不会成立；另一方面，d（x）与d（y）的计算是后验方式的；只有视频信息，在目标提取之前，没有运动信息，而且因为三维物体成像到二维图像时，本身就会丢失一部分信息。三维信息丢失会带来两个问题：第一个是遮挡问题，第二个是孔径问题。为了解决这些问题，实际利用光流方法提取运动信息，一般会利用其他方面的信息，如颜色、形状等。实际的匹配方法，或者说利用光流计算运动矢量一般会有以下几个方法：根据参数建立光流方程，求解光流方程；二阶微分方法：块运动方法；剃度估计方法。光流分析法的优点在于可以在摄像机运动存在的前提下也能检测出独立的运动目标。而缺点是大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。因此在摄象头固定的情况下应用的比较少。3.1.3背景差分法背景差分法的基本思想是将当前帧图像与事先存储或实时得到的背景图像相减，若像素差值大于某一阈值，则判此像素为运动对象上的阈值操作后得到的结果直接给出了对象的位置、大小、形状等信息，其缺点是受光线、天气等外部条件变化的影响较大；优点是算法实现简单，速度快，能够提供运动目标最完全的特征数据。最简单的背景模型是时间平均图像，大部分的研究人员目前都致力于开发不同的背景模型，以期减少动态场景变化对于运动分割的影响。例如haritaoglu等利用最小、最大强度值和最大时间差分值为场景中每个像素进行统计建模，并且进行周期性的背景更新；mckenna等利用像素色彩和剃度信息相结合的自适应背景模型来解决影子和不可靠色彩线索对于分割的影响；karmann与brandt,kilger采用基于卡尔曼滤波（kalman filtering）的自适应背景模型以适应天气和日照的时间变化；stauffer与grimso利用自适应的混合高斯背景模型即（对每个像素利用混合高斯分布建模），并且利用在线估计来更新模型，从而可靠的处理了光照变化、背景混乱运动的干扰等影响。表4-1 三种常用方法比较方法时域差分法光流分析法背景差分法所得信息运动对象边界信息运动对象位置、大小、形状等信息运动对象位置、大小、形状等信息适用范围摄像头固定摄像头固定、运动摄像头固定复杂度小大中 通过对以上几种方法的比较，可以看出，背景差分法可以直接得到运动对象的位置、大小、形状等信息，这些都是视频监控系统所需要的重要信息，并且背景差分法计算复杂度适中。因此本文采用背景差分法来实现运动目标的识别。 当然，在运动变化检测中还有一些其它的方法，如friedman与russell利用扩展的em （expectation maximization）算法，为每个像素建立了混合高斯分类模型，该模型可以自动更新，并能自适应地将每个像素分类为背景、影子或者运动前景，在目标运动速度缓慢的情况下亦能较好地完成运动区域的分割， 并可以有效地消除影子的影响；另外，stringa也提出了一种新颖的基于数学形态学的场景变化检测算法，在变化的环境条件下获得了相对稳定的分割效果。3.2背景差分法背景差分法是目前运动分割中最常用的一种方法，背景差分方法采用一个作为参考图像的背景图象，将当前图像与这个背景图象做差分来找到作为前景的运动物体。这种方法能够较完整地提取目标点，但对场景的动态变化（如光照或外部条件引起的场景变化）较为敏感。这种方法的优点是可以准确地分割出运动物体。但是，该方法成功与否依赖于所采用的背景图像，所以，通常利用背景更新的方法来弥补动态场景中的光线变化等因素带来的不利影响。实现背景差分法分为三个步骤：第一步，背景中每个像素进行统计建模；第二步，将当前图像和背景模型作对比，计算出在一定阈值限制下当前图像中出现的偏离背景模型值较大的那些象素，据此， 再对图像进行二值化处理， 从而得到前景像素群（运动对象）。第三步，模型还要进行周期性的背景更新以适应动态场景变化。背景差分法的结构框图，如图3.1所示更新背景图像获取背景图像差分得到运动对象判别异常图像二值化n 图3.1背景差分法的结构框图3.3更新背景模型 因为背景通常是不断变化的，如太阳被云遮盖所引起的背景光照条件的改变，或者背景内原来存放的物体被移走，进入背景中任何本来是运动而后由较长时间处于静止的对象（如一辆汽车）等等，所以背景模型不应该在一个较长的时间周期内固定不变。我们要经常性的对背景模型进行更新，通常使用两种不同的方法更新背景14; 第一种方法，基于象素的背景更新方法更新背景模型，以适应背景场景中光照条件的变化。第二种方法，基于对象的背景更新方法更新背景模型，以适应背景场景中的物理变化。如添加或移走的物体，一辆己经停下的汽车，如果它们在一个较长的时间内不运动的话都将会被作为背景处理。 本文采用自适应背景相减分割方法， 使背景每隔一定的时间间隔就更新一次，以达到较理想的分割效果。 该方法的基本原理是通过对视频序列的当前背景和当前n 帧的加权平均更新背景。由于当前帧中可能包含前景目标，所以在更新前先要把像素分为前景和背景，然后用当前帧的背景像素修正当前背景。3.4本章小结本章在分析和比较常用的几种运动目标方法之后，选用了背景差分法，因为这个方法可以直接得到运动对象的位置、大小、形状等信息，这些都是视频监控系统所需要的重要信息，并且背景方法计算复杂度适中。同时介绍了背景模型更新所采用的方法，即自适应背景相减分割方法。第四章 实验及结果分析4.1 实验环境的介绍整个仿真实验基于windows操作系统和matlab软件平台。matlab 是美国mathworks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括matlab和simulink两大部分。matlab是矩阵实验室（matrix laboratory）的简称，和mathematica、maple并称为三大数学软件。它在数学类科技应用软件中在数值计算方面首屈一指。matlab可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。matlab的基本数据单位是矩阵，它的指令表达式与数学、工程中常用的形式十分相似，故用matlab来解算问题要比用c，fortran等语言完相同的事情简捷得多，并且mathwork也吸收了像maple等软件的优点,使matlab成为一个强大的数学软件。在新的版本中也加入了对c，fortran，c+ ，java的支持。matlab具有的优势 15：（1）友好的工作平台和编程环境matlab由一系列工具组成。这些工具方便用户使用matlab的函数和文件，其中许多工具采用的是图形用户界面。包括matlab桌面和命令窗口、历史命令窗口、编辑器和调试器、路径搜索和用于用户浏览帮助、工作空间、文件的浏览器。随着matlab的商业化以及软件本身的不断升级，matlab的用户界面也越来越精致，更加接近windows的标准界面，人机交互性更强，操作更简单。而且新版本的matlab提供了完整的联机查询、帮助系统，极大的方便了用户的使用。简单的编程环境提供了比较完备的调试系统，程序不必经过编译就可以直接运行，而且能够及时地报告出现的错误及进行出错原因分析。（2）简单易用的程序语言matlab一个高级的矩阵/阵列语言，它包含控制语句、函数、数据结构、输入和输出和面向对象编程特点。用户可以在命令窗口中将输入语句与执行命令同步，也可以先编写好一个较大的复杂的应用程序（m文件）后再一起运行。新版本的matlab语言是基于最为流行的c语言基础上的，因此语法特征与c语言极为相似，而且更加简单，更加符合科技人员对数学表达式的书写格式。使之更利于非计算机专业的科技人员使用。而且这种语言可移植性好、可拓展性极强，这也是matlab能够深入到科学研究及工程计算各个领域的重要原因。（3）强大的科学计算机数据处理能力matlab是一个包含大量计算算法的集合。其拥有600多个工程中要用到的数学运算函数，可以方便的实现用户所需的各种计算功能。函数中所使用的算法都是科研和工程计算中的最新研究成果，而前经过了各种优化和容错处理。在通常情况下，可以用它来代替底层编程语言，如c和c+ 。在计算要求相同的情况下，使用matlab的编程工作量会大大减少。matlab的这些函数集包括从最简单最基本的函数到诸如矩阵，特征向量、快速傅立叶变换的复杂函数。函数所能解决的问题其大致包括矩阵运算和线性方程组的求解、微分方程及偏微分方程的组的求解、符号运算、傅立叶变换和数据的统计分析、工程中的优化问题、稀疏矩阵运算、复数的各种运算、三角函数和其他初等数学运算、多维数组操作以及建模动态仿真等。（4）出色的图形处理功能图形处理功能matlab自产生之日起就具有方便的数据可视化功能，以将向量和矩阵用图形表现出来，并且可以对图形进行标注和打印。高层次的作图包括二维和三维的可视化、图象处理、动画和表达式作图。可用于科学计算和工程绘图。新版本的matlab对整个图形处理功能作了很大的改进和完善，使它不仅在一般数据可视化软件都具有的功能（例如二维曲线和三维曲面的绘制和处理等）方面更加完善，而且对于一些其他软件所没有的功能（例如图形的光照处理、色度处理以及四维数据的表现等），matlab同样表现了出色的处理能力。同时对一些特殊的可视化要求，例如图形对话等，matlab也有相应的功能函数，保证了用户不同层次的要求。另外新版本的matlab还着重在图形用户界面（gui）的制作上作了很大的改善，对这方面有特殊要求的用户也可以得到满足。4.2 实验及结果分析4.2.1图片预处理的结果 图4.1（a）和4.2（a）分别是采集到的背景图像及目标图像，图4.1（b）和4.2（b）分别是进行灰度化和中值滤波后等预处理的结果。从结果可以看出，图片预处理后为后续的目标检测工作提供了良好的基础。 （a）原始背景图像 （b）预处理后图像图4.1背景图像预处理结果 （a）原始目标图像 （b）预处理后图像图4.2目标图像预处理结果4.2.2运动目标识别背景差分法的处理过程如图4.3所示：目标识别图像预处理背景差分视频图像采集图4.3背景差