（信号与信息处理专业论文）智能视频监控中目标关联与跟踪算法研究.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 智能视频监控是一种利用视频分析技术对视频内容进行自动处理的技术。用于安全领 域的智能视频监控系统不仅仅局限于背动地提供视频画面，还要求系统本身有足够的智 能，能够自动识别不同的物体，发现监控画面中的异常情况，以最快的和最佳的方式发出 报警和提供有用的信息，从而更有效地协助安全人员进行处理。 本文主要针对视频监控区域内可能会出现物体的滞留和搬移等异常情况，研究一套有 效的视频分析算法，通过对监控图像进行分析，自动发现这些异常物件，并寻找它们和物 主的简单关联。本文的主要研究内容如下： ( 1 ) 对智能视频监控系统的发展、研究热点和难点问题做了较全面的了解和阐述，对 视频分析中和本课题相关的算法做了深入的分析、研究和实验。 ( 2 ) 对视频场景中物体滞留和搬移等异常情况的自动捡出做了重点的研究，采用了以 背景减除法为基础的改进算法对物体滞留和搬移进行检测和分类。 ( 3 ) 提出了一种目标关联算法，当监控区域内出现滞留物体的时候，可以利用目标关 联算法找出滞留物体的主人。 ( 4 ) 在研究和实验了c a m s h i f t 目标跟踪算法的基础上，利用h s v 颜色特征增加了对目 标人物进行跟踪的准确性。 ( 5 ) 采集了若干视频序列，对上述算法进行了大量的仿真实验，并给出了实验结果的 说明和分析，实验结果表明本文的算法具有较高的正确率。 论文在对监控视频中出现滞留和搬移物体这种异常情况的自动检测、物主之间的关联 搜寻做了深入研究的基础上，提出了一些相关的算法，并且做了大量的仿真实验，获得了 较好的结果。今后我们将进一步改进算法的性能，使其适应更复杂的监控环境。 关键词：智能监控目标检测目标跟踪目标关联滞留物和搬移物 南京邮电大学硕士研究生学位论文a b s t r a c t a b s t r a c t i n t e l l i g e n t v i d e os u r v e i l l a n c ei sat e c h n o l o g yw h i c hu s e sv i d e oa n a l y s i st e c h n o l o g y a u t o m a t i c a l l yt op r o c e s sv i d e oc o n t e n t s i ti sn o to n l yl i m i t e dt op r o v i d ev i d e oi n f o r m a t i o n ，b u t a l s od e m a n dt h es y s t e mi t s e l fh a se n o u g hi n t e l l i g e n c et h a ti sa b l et oi d e n t i f yd i f f e r e n to b j e c t sa n d f i n da b n o r m a le v e n t s t h e ni tc a ni s s u eaw a r n i n ga n dp r o v i d eu s e f u li n f o r m a t i o ni nt h ef a s t e s t a n db e s tw a y , t oh e l pt h es e c u r i t yp e r s o n n e lc a l ld e a lw i t ht h ec r i s i se f f e c t i v e l y t h et h e s i si sm a i n l ya b o u tt h es u r v e i l l a n c ev i d e oa n a l y s i sa l g o r i t h mw h e nt h e r ei se x i s t i n g a b a n d o n e da n dm o v e do b j e c ti nt h es u r v e i l l a n c er e g i o n t h r o u g ha n a l y s i st h es u r v e i l l a n c ei m a g e ， t h ea l g o r i t h mc a nf m dt h e s ea b n o r m a lo b j e c t sa u t o m a t i c a l l ya n ds e a r c hs i m p l ea s s o c i a t i o nw i t h t h e i ro w n e r s t h i st h e s i s sm a i nr e s e a r c hc o n t e n t sa r ea sf o l l o w s ： ( 1 ) g i v et h ei n t r o d u c i n ga n de x p o s i t i o no ni t sd e v e l o p m e n t ，h o t s p o t sa n dd i f f i c u l t i e so f i n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m d oad e p t ha n a l y s i s 、r e s e a r c h e sa n de x p e r i m e n t so ft h e a l g o r i t h m sr e l a t e dw i t ht h et h e s i s ( 2 ) m a k et h ef o c u so fr e s e a r c ho na b a n d o n e da n dm o v e do b j e c t s p r e s e n tan e wd e t e c t i o n a n dc l a s s i f i c a t i o na l g o r i t h mb a s e do ni m p r o v e ds u b t r a c t i o nb a c k g r o u n dm e t h o d ( 3 ) p r e s e n ta no b j e c tc o r r e l a t i o na l g o r i t h m w h e nt h em o n i t o r e dr e g i o ne x i s t sa b a n d o n e d a n dm o v e do b j e c t s ，w ec a nu s et h i sa l g o r i t h mt oi d e n t i f yt h eo w n e ro fa b a n d o n e do b j e c t s ( 4 ) u s eh s v c o l o rc h a r a c t e r i s t i c st oe n s u r et h et r a c k i n ga c c u r a c yb a s e do nt h er e s e a r c h e s a n de x p e r i m e n t so nc a m s h i f ta l g o r i t h m ( 5 ) c o l l e c t an u m b e ro fv i d e os e q u e n c e s m a k es i m u l a t i o n e x p e r i m e n t sa n dg i v ea d e s c r i p t i o na n da n a l y s i so nt h ee x p e f i m e n m lr e s u l t s t h er e s u l t ss h o w t h a tt h ea l g o r i t h mh a sh i 曲 a c c u r a c y t h et h e s i sp r e s e n t ss o m er e l a t e da l g o r i t h m sb a s e do nt h ed e p t hr e s e a r c h e so na b n o r m a l e v e n t sd e t e c t i o na n dc o e l a t i o nb e t w e e no b j e c ta n di t so w i l e em a k eal o to fs i m u l a i o n e x p e r i m e n t sa n dg e tg o o dr e s u l t s n e x ts t e pw ew i l li m p r o v et h ep e r f o r m a n c eo fa l g o r i t h m st o a d a p tt om o r ec o m p l e xs u r v e i l l a n c ee n v i r o n m e n t k e yw o r d s ：i n t e l l i g e n ts u r v e i l l a n c eo b j e c td e t e c t i o no b j e c tt r a c k i n go b j e c tc o r r e l a t i o n a b a n d o n e da n dm o v e d i i 南京邮电大学学位论文原创性2 声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：必 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名吾函导师签名： 同期： ，她拿：笙：! 夕 南京邮电大学硕士研究生学位论文第一章绪论 第一章绪论 从模拟到数字视频的转变为安全监控系统带来了很多好处，其中最主要的就是采用数 字压缩技术可以传输和存储更多的视频数据。另外，监控视频要求部署更多的摄像机，这 就需要更多的人来监视摄像机。通过视频的存储可以减少需要观看的工作量，因为在压缩 中所用的运动向量和检测器可以用来滤除不重要的活动。然而，因为运动向量和检测器不 提供所发生的相关信息，人们必须利用手动的方式来捕获视频，以确定是否有值得关注的 可疑活动。 因此，为了解决上述问题，人们开始寻找和研究一种能够大大增加监控安全和视频监 控的有效性的技术。这就是所谓的视频内容分析( v c a ，v i d e oc o n t e n t a n a l y s i s ) ，即众所周 知的视频分析。v c a 指的是在一系列视频帧中识别大量的内容，并使能够在特定事件发生 时发布告警，从而加速实时快速响应。此外，v c a 自动搜索特定的内容，从而将人们从繁 重的观看图像中解放出来。这还将减少视频监控所需的人员的数量，进而降低了成本。目 前，v c a 是一项新兴的技术，在未来几年，该技术将会持续发展和快速普及。 本章首先介绍了数字视频处理技术，其次重点介绍了智能视频监控【1 系统的发展，并 且介绍了智能监控研究的热点和难点。最后简要说明了本文的研究工作和内容安排。 1 1 数字视频处理技术 从上世纪9 0 年代起，人类社会步入信息时代，而信息时代一个重要特征就是数字化 的产品大行其道，其中最典型的代表就是以d s p ( d s p , d i g i t a ls i g n a lp r o c e s s i n g ) 为核心的 技术及其产品应用。d s p 是数字信号处理的英文缩写，但是它的发展已经超越了其自身的 表面含义，它已经成为一种新的数字处理技术，特点是d s p 在摄像机中的成功应用掀开了 现代摄像技术的新篇章。成为继c c d 之后的又一个划时代的摄像机新技术应用成果。 随着现代科学技术的发展，视频监控系统也向智能化发展，而监控用的摄像机也必须 智能化。d s p 摄像机有普通型与智能型，以往的d s p 智能摄像机主要是提高图像质量型。 现在需要的是检测识别报警型d s p 摄像机的智能化功能，检测识别报警型d s p 摄像机在 现代平安城市建设中的作用，以及d s p 智能摄像机必须由提高图像质量型向检测识别报警 型的发展。本课题是对智能视频监控系统中的一些算法做研究，智能监控视频分析算法和 d s p 技术相结合，可以为监控领域提供新型的智能监控产品。 南京邮电大学硕士研究生学位论文第一章绪论 1 1 1 数字信号处理技术 数字信号处理技术是数字信号处理，微电子学，计算机科学和计算机数学的综合科研 成果。承担这一任务的d s p ( d s p , d i g i t a ls i g n a lp r o c e s s o r ) 芯片现己广泛应用于磁量驱动器， 调制解调器，无线电接收机，微控制器，光盘机，数码相机和数字摄像机等诸多领域，将 来还会在绝大部分的电子设备中得以应用。d s p 芯片在彩色摄像机中的应用使其成为整个 系统最核心的部件之一，它的功能是通过一系列复杂的数字算法，对数字图像信号进行优 化处理，包括白平衡，彩色平衡，伽玛校正及边缘校正等，这些优化处理将直接影响图像 信号的质量。 就任何一个d s p 芯片来说，其本质上都是一个单片微型计算机，但它是专门用来处理 数字信号的，其最大特点就是运算速度极快，比普通的微型计算机快2 个数量级，能在短 时间内完成复杂而繁琐的数学运算。d s p 数字信号处理摄像技术于上世纪9 0 年代中期开 发，并首先在v h s c 格式摄录机中应用。 经过几年的开发研制，d s p 摄像技术已趋成熟。目前主要摄像机厂商代表当前最高水 平的机型全部都采用了d s p 摄像技术。如索尼公司3 c c dd s p 彩色摄像机d x c w d 3 0 p 就 是比较突出的机型。 1 1 2 全数字化视频处理技术 目前数字摄像机仍有部分模拟处理电路，其发展方向是视频信号处理的全部数字化。 数字化视频处理技术的核心是数字视频编码解码技术。在上世纪9 0 年代初以前，没有人 相信视频信息可以数字化处理，但当视频压缩技术取得重大进展时，这种传统的认识被打 破。现在，数字视频得到了广泛应用，如数字电视可以通过卫星和地面网络传送到家庭， i n t e m e t 网上的视频邮件以及家庭式视频游戏，在电信网络上传送视频会议，在计算机网上 进行远程视频教学等等。这一切得益于视频压缩技术的发展。 当前数字化视频处理技术己经大大超过了传统的模拟处理技术，并且会在不远的将 来，数字化处理技术会得到更广泛的应用。 1 2 智能视频监控系统的发展 传统的视频监视系统是简单的非智能闭路电视( c c t v ) 系统，其缺点十分明显。这样 的系统或者需要安保人员实时监视画面以捕捉关键事件，或者需要在事后对视频记录进行 2 南京邮电大学硕士研究生学位论文第章绪论 回放并进行人工分析，耗时耗力，成本高而效率低。近几年，d s p 在智能视频监控系统方 面的应用不断完善，正在逐渐取代传统的模拟非智能系统。 智能监控系统一方面是通过计算机辅助对海量数据进行分析，将压缩存储、人脸识别、 智能检索以及网络传输等技术融入到了视频监控产品中，使视频监控的质量能得到极大的 提升；另一方面智能识别辅助计算机可通过用户自动设置，将用户不关心的信息直接过滤 掉，仅为监控者提供有用的关键信息，在这种基础上，智能识别监控系统能够更加有效地 协助安全人员处理危机，并最大限度地降低误报和漏报现象。 1 2 1 国内外研究状况 智能视频监控就是要用计算机视觉的方法，在不需要人为干预的情况下，通过对摄像 机拍录的图像序列进行自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此基 础上分析和判断目标的行为，从而做到既能完成同常管理又能在异常情况发生的时候及时 做出反应。 智能视频监控视频分析内容主要涉及摄像机标定、物体识别、运动分割与跟踪、多摄 像机融合、高层语义理解等内容，是计算机视觉领域的前沿研究方向。从计算机技术的基 础性研究来说，国内的研究虽然落后于国际先进水平，但差距并不明显，智能视频分析核 心技术是属于模式识别人工智能技术的一个分支，是对视频信息的自动分析和提取，自从 有人在国际上首先提出智能视频分析技术的时候，国内就有科研人员开始对此进行了研 究，并形成一些研究成果。但在中国没有强烈的市场需求，所以还停留在实验室阶段。随 着国外成熟产品的进入，监控领域已逐渐意识到这一技术和产品的重要地位，逐渐地为国 内的监控行业人员所认识和熟悉，而且看到了这一技术必然是未来监控系统的个发展趋 势。国外成熟的监控产品经过了长时间的测试和修改，包含了大量的异常状况处理技巧， 如对于遮挡、光照、气候、速度等的适应性。在正常的、理想的应用条件下，国内的智能 视频分析技术也许能实现和国外产品同样的性能，但一旦处于比较恶劣的使用条件下，其 性能的差距将很快显现出来。 智能视频监控系统不仅仅局限于背动地提供视频画面，更要求系统本身有足够的智 能，能够识别不同的物体，发现监控画面中的异常情况，以最快的和最佳的方式发出报警 和提供有用的信息，并保证实时图像的传输，从而更有效协助安全人员处理危机，并最大 限度地降低误报和漏报现象，成为对应袭击和处理突发事件的有力辅助工具。 本课题主要是对监控图像进行视频分析算法的研究，视频分析算法有很多种，本课题 堕塞堕皇奎兰堡主堕茎竺兰篁笙奎笙二童堕笙 重点涉及到的是关于监控区域中滞留物体和搬移物体的检测与分类、人与物体关联以及对 目标人物跟踪等算法的研究。智能视频分析算法是智能监控系统实现的基础，所以本课题 的研究具有很大的应用价值。 1 2 2 智能视频监控的研究方向 动态场视觉智能视频监控主要涉及摄像机标定、物体识别、运动分割与跟踪、多摄像 机融合、高层语义理解等内容，是计算机视觉领域的前沿研究方向。 ( 1 ) 快速准确的运动检测。运动检测主要是从监控摄像机所捕捉的序列图像中检测是 否有运动物体存在。 ( 2 ) 实时性、橹棒性的基于三维模型的车辆与行人的定位、识别和跟踪f 4 - 6 。 ( 3 ) 基于移动摄像机的视觉监控技术，即将现有参数固定的静态摄相机改进为参数可 自动调节的动态摄相机。 ( 4 ) 多摄像机的协作监控。 单个摄像机的视野有限，要监控大范围的动态场景就需要多个摄像机，此外，多个摄 像机也有利于解决遮挡问题。多摄像机的定标与数据融合是两个关键问题。 ( 5 ) 事件的机器学习方法。通过对序列图像进行自组织、自学习的方法建立事件的分 布模式，从而达到事件识别的目的。 ( 6 ) 异常现象的检测、报警【7 _ 8 】与目标的行为预测。 视觉监控系统的最终目的是为了解释监视场景中所发生的事件，根据要求对异常事件 进行报警，并能根据当前目标所处的状态对将要发生的事件进行预测。 ( 7 ) 研究对目标运动情况给出语义上的解释的方法，并将简单的行为识别与语义理解 推广到对交通场景的自然语言描述。 ( 8 ) 远距离的身份识别。 生物特征识别技术与人的运动分析的结合是视觉监控系统的一个重要问题。脸像与步 态是具有可感知性与非接触性优点的生物特征，是目前被认为可以用于视觉监控系统中的 身份识别的两个主要生物特征。我们主要研究脸像、步态【9 】、体形特征相融合的人的身份 识别。 本课题涉及到了运动目标检测，人物跟踪，以及异常情况检测等研究内容，同时也对 不同时刻出现的人是不是同一个人进行了判别，我们是通过颜色特征来进行识别的。 南京邮电大学硕士研究生学位论文 第一章绪论 1 2 3 智能视频监控的研究难点 智能视频监控还是一个比较新的研究领域，智能监控系统的研究在国内正在成为热 点。本论文主要也是在该领域做一些关于异常情况检测、人物关联以及目标跟踪算法的研 究。在研究的过程中也遇到了很多困难，现在仅介绍一下智能视频监控中和本课题有关的 的一些难点问题： ( 1 ) 运动模糊 视觉监控按照摄像机和目标的相对移动可以分为两种，一种是摄像机静止情况下，监 控的目标在运动； 另外一种情况下就是摄像机运动。在这两种情况下， 都不同程度地存 在运动模糊的情况。因为这与成像过程中的能量积累有关。 ( 2 ) 背景减除法中光线的变化 光线的变化对背景减除法f l o 1 2 】的影响较大，会产生很多噪声，可能会使目标检测结果 出现误差，对背景的更新也会产生影响。 光线的变化会影响前景目标的检测，而目标检测是对象识别、目标跟踪、行为分析的 前提和基础。 ( 3 ) 视觉监控实时性要求 智能监控系统的应用肯定要求能够实现实时，没有实时性的产品则在该领域就没有应 用的意义。所以必须考虑算法的复杂度，要求算法满足实时性。 ( 4 ) 遮挡问题 遮挡【1 3 】问题是视觉监控中运动目标跟踪的一个常见问题，也是影响运动跟踪精度的一 个直接原因，所以正确处理遮挡问题是运动跟踪的一个关键环节。 ( 5 ) 行为分析 在智能监控算法中，运动目标检测【悼1 6 1 和目标跟踪算是中低层的应用，而异常情况分 析和行为分析则是高层的应用。我们人可以利用我们的感官和大脑对一些事情作出正确的 分析，比如在监控区域内有人在打架斗殴，我们一眼就可以看出来，但是如果要是计算机 通过智能分析算法自动识别这一行为，则还是比较困难的。 1 3 主要研究内容与论文安排 智能视频监控技术是计算机视觉和模式识别技术在视频监控的应用。它对视频图像中 的目标进行自动检测、跟踪和分析，从而使计算机能够过滤掉用户不关心的信息，通过分 南京邮电大学硕士研究生学位论文 第一苹绪论 析理解视频画面中的内容，提供对监控和预警有用的关键信息。 智能化是视频监控的必然趋势。国际上对相关技术研发、商业操作、和应用部署已有 许多年。特别是自2 0 0 1 年9 1 1 事件以后，出于反恐、国家公共安全、社会安定等多方面 的需要，智能化的视频监控与预警技术成为了国际上最被关注前沿研究领域。世界各国政 府已经将智能化视频监控技术的研究已经上升到了战略高度，从政策、法律、经济、应用 等多方面进行了巨大的投入来推动该技术的发展。本课题主要是对监控图像进行视频分析 算法的研究，这是智能监控系统实现的基础，所以本课题的研究具有很大的应用价值。 本论文的研究目的就是要对监控图像的视频序列进行分析，确定有效的算法，对监控 区域里的异常情况进行报警。主要研究的内容有：滞留与搬移物体的检测分类算法，行人 与滞留物体关联算法，以及对特定目标人物的跟踪算法，并在m a t l a b 环境下进行算法 的仿真。 本文各章节内容安排如下，第一章，绪论，主要介绍智能监控系统的发展情况。第二 章，运动目标检测，主要介绍目标检测算法，本文采用的减除背景法。第三章，滞留物体 和搬移物体的检测与分类，介绍对滞留与搬移物体1 7 珈1 检测与分类算法的研究，该章提出 了一种统计模板，用来检测监控区域内的滞留物体和搬移物体。第四章，人与滞留物体的 关联算法，主要研究和设计了一种人与滞留物体的关联算法，通过对之前保留的监控视频 信息进行搜索，找出滞留物体的主人。第五章，基于c a m s h i f t t 2 卜2 2 1 目标跟踪算法，主要介 绍c a m s h i f l 目标跟踪算法，利用颜色特征来跟踪目标人物。第六章是总结和展望，对全文 的工作进行总结并对课题今后的研究方向作了展望。第二章到第五章，都给出了算法的详 细说明，做了大量的仿真实验，并对试验结果做了相应的分析。通过仿真试验可以表明本 文的算法具有很高的有效性。 6 南京邮电大学硕士研究生学位论文第二章运动目标检测 第二章运动目标检测 运动目标检测是对图像序列运用数字图像处理等技术进行处理，检测并提取图像序列 中与背景存在相对运动的前景，然后根据灰度、边缘等图像特征将前景进一步分割为若干 独立目标。运动目标检测是计算机视觉信息提取中的个重要问题，也是更高层次视频分 析如基于对象的视频编码、目标跟踪、运动分析的基础。快速准确地分割出运动目标可以 提高后续跟踪、识别和行为理解的准确性。 2 1 运动目标的检测方法 在视频分析中，运动目标的检测是非常重要的，它是我们做一些后续工作的基础。对 运动目标的检测有多种方法，下面简要介绍一些常用方法： 2 1 。1 光流法 人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图 像，这一系列连续变化的信息不断“流”过视网膜( 1 i 图像平面) ，好像一种光的“流”故 称之为光流【2 3 1 。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者 用来确定目标的运动情况。从光流的定义可以看出，由于光流有如下3 个要素：一是运动 ( 速度场) ，这是光流形成的必要条件：二是带光学特性的部位( 例如有灰度的像素点) ，它 能携带信息；三是成像投影( 从场景到图像平面) ，因而能被观察到。光流在视觉运动的研 究中有非常重要的作用。视觉运动分析就是研究如何从变化场景的一系列不同时刻的图像 中，提取出有关场景中物体的结构、位置和运动信息。基于光流方法( o p t i c a lf l o w ) 的运动 检测采用了运动目标随时间变化的光流特性，该方法的优点是在所摄场所存在运动的前提 下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差， 如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。 2 1 2 相邻帧差分法 相邻帧差分法是最为常见的运动目标检测和分割方法之一。它是基于背景像素点的灰 度值和位置都不变这一原则来检测前景运动目标的，通过对不同时刻的相邻两幅图像做差 分运算得到差分图像。在差分图像中，扶度不发生变化的那部分被减掉，这里包括大部分 塑塞堕皇奎兰堡兰= 翌! 塞竺兰垡笙茎 苎三重垩垫星堡堡型 背景和一小部分目标。从差分图像中，很容易发现目标运动信息，再通过对差分图像的后 续处理，确定目标在图像上的位置。帧差法利用了视频序列相邻帧之间的强相关性进行变 化检测。 连续帧之间利用相邻两帧图像的灰度差分析视频图像序列的运动特性，通过比较图像 在两个不同时刻的灰度变化，识别由于物体运动而造成的区域差别。在实际计算过程中， 差分是指将两帧相邻目标图像逐点相减，形成差分图，在差分图中如果差分值大于给定的 闭值，则相应的像素灰度值取1 ，否则取o ，由此产生非零区，利用非零区就可以检测出 运动目标。 口 力= k 力一t - i 叫 ( 2 一1 ) 在上式中( x ，y ) 为当前图像的灰度，一。( x ，y ) 为上一帧图像的灰度，口( x ，y ) 为当前时刻 的差分图像。 t c x ，夕，= 三：；暑篆：；三凳 c 2 2 ， 如果差分图像大于阈值t o 则相应位置的为1 ，小于阈值r o 则为零。我们就可以得到二 值图像m ( x ，y ) ，其中为1 的区域就是所检测到的目标物体。 相邻帧差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出 所有相关的特征像素点，在运动实体内部容易产生空洞现象，只能够检测到目标的边缘。 而且，当运动目标停止运动时，一般时间差分方法便失效。 2 1 3 背景减除法 背景减除法与相邻帧差法有些相似，都是利用两幅图像进行差分得到差分图像，然后 与一个阈值经行比较，得到二值图像，在二值图像中的那些非零区域就是检测到的运动区 域。减背景法是利用当前图像前去背景图像得到差分图像。 口( z ，y ) = l ( x ，少) 一e ( x ，y ) l ( 2 3 ) e ( x ，y ) 为当前时刻的背景图像。根据( 2 2 ) 式可以求得二值图像，最后得到运动区域。 背景减除法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差 分来检测出运动目标的种技术。它一般能够提供相对来说比较全面的运动目标的特征数 据，但对于动念场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。 南京邮电大学硕士研究生学位论文 第二章运动目标检测 2 2 基于模型的减除背景法 在很多计算机视觉应用中，一个基础而关键的任务是从视频序列中确定运动目标，其 中对于固定摄像机的监控视频运动目标的检测，最常用的方法是减背景技术。其思想是将 视频帧与一个背景模型【2 4 - 2 5 做比较，其中区别较大的像素区域被认为是运动目标。但由于 构建背景模型需要考虑光照变化等很多因素，因此开发一个好的减背景算法面临很多挑 战。 2 2 1 背景模型 背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用 同一场景在一个时段的平均图像作为该场景的背景模型。，由于该模型是固定的，一旦建立 之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向、影子、树叶随 风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景 变化对于运动目标检测效果的影响。现在介绍一下常用的背景模型。 ( 1 ) 均值滤波法和中值滤波法 这是用得最多的背景模型构建方法。其算法思想都是先缓存l 帧视频帧，然后把缓存 的视频帧同位置像素的平均值【2 6 】或中值【2 7 】作为背景中该处像素的预测值。 1 l a t + 。( x ，y ) = l 一心，y ) ( 2 4 ) li = 1 e + 。( z ，y ) - - m e d i , 2 n ( 1 , 一。( z ，少) ，一( z ，y ) ) ( 2 5 ) 在视频序列中，某个像素对时间采样，背景出现的次数一般比运动目标多。因此，将 一定时间段中的运动图像序列采样，然后将这一段时间内所有图像帧取平均如式( 2 4 ) ， 这个平均值就可以作为像素的背景值。背景出现的次数比运动目标越多，则这个平均值就 越接近背景。因为背景出现的次数较多，这样就可以对一个像素在时间上采样得到的样本 进行中值滤波( 对它们排序，排在中部的是背景，取排在中间的像素作为背景) 如式( 2 5 ) 。 这种方法简单，对内存要求低，且处理速度快，但这类方法对于场景中存在多个运动 目标或目标运动缓慢时，前景会污染背景。 ( 2 ) 单高斯模型 单高斯模型最初由w r e n 等人在文献【2 8 1 中提出。在该模型中，把背景模型中的每一个 像素点都看成是一个高斯分布，由参数( 期望) 和仃2 ( 方差) 来确定。随着环境的变化，对 9 南京邮电大学硕士研究生学位论文 第二苹运动目标检测 高斯模型【2 9 1 适时地进行更新，以期得到更为准确的背景模型。事先在背景无运动物体的时 候，连续采样帧，由式( 2 6 ) ，( 2 - 7 ) 即可得到相应高斯模型的和盯2 ： 鸬= 专缸 浯6 ， 砰= 万1 善n ( 以，一鲳) 2 ( 2 7 ) 其中，肛，为点i 在第f 幅图像中的灰度值。这样，所有的点( 鸬，o - ：) 就构成了初始的 背景模型。前景点和背景点的判决由式( 2 - 8 ) 决定： i 一以l 2 5 q ( 2 - 8 ) 其中，j 为当前帧第i 个像素点的灰度值。当满足条件( 2 - 8 ) 时，该点为背景点，否则 为前景点。当该像素点判为前景点时，背景模型对应点的高斯模型的参数鸬和矿保持不变； 当判为背景点时，模型参数更新由式( 2 - 9 ) 和( 2 1 0 ) 来完成。 以( t + 1 ) = ( 1 一彩) “( f ) + a ( f ) ( 2 9 ) 方( f + 1 ) = ( 1 一口) 砰( z ) + a ( i ( z ) 一m ( z ) ) 2 ( 2 - 1 0 ) 其中，“( ，+ 1 ) 和一( t + 1 ) 分别是，+ 1 时刻的模型参数值，一( f ) 和一( ，) 分别为t 时 刻第i 个像素点的参数值，( f ) 为，时刻当前帧第i 个像素点的灰度值。参数a 由式( 2 11 ) 来确定。 口= f l n ( i 心) ，小) ，0 ，2 ( f ) ) ( 2 - 1 1 ) 其中，夕为学习率，为一常数，为高斯分布的概率密度函数。 ( 3 ) 混合高斯模型 近年来，在复杂背景建模方面，混合高斯模型成为了一种很受欢迎的方法。最初，该 模型是由s t a u f f e r 等人提出来的。和单高斯模型为每一个像素建一个高斯模型不同，该方 法为每一个像素建立k 个高斯模型，一般k 取3 5 个。混合高斯法是将每个像素按照多 个高斯分布混合建模，以同时处理多种背景变化。该模型的参数可以自适应更新，下面对 该方法进行简单描述。设像素混合概率密度用k 个三维高斯函数表示： 厂( 1 ) = q ，木( ，“，万2 ) ( 2 - 1 2 ) l o 南京邮电大学硕士研究生学位论文第二章运动目标检测 k 其中，锡，为，时刻第i 个高斯分布在混合模型中所占的权重且有q ，= 1 ，k 为高斯 i = 1 模型的个数，为高斯模型的密度函数，为f 时刻当前帧对应象素点的灰度值，l , ，和霸 分别为，时刻对应像素点的第f 个高斯模型的期望和方差。 对于新视频帧的像素值，首先确定它与哪些高斯分布匹配，即对于如果满足公式 ( 2 - 1 3 ) ： 一“，一1i 2 5 q ，一i 则认为l 和该高斯函数匹配，匹配的高斯分布的参数按以下公式更新： 哆，= ( 1 - a ) c o , 卜l + 口必， 从。，= ( 1 一p ) 从卜1 + p l 吒= ( 1 一p ) o 2 h + p ( 一鸬，) 2 ( 2 - 1 3 ) ( 2 1 4 ) ( 2 - 1 5 ) ( 2 1 6 ) 若当前像素的灰度值和高斯分布匹配，则m ，为l ，若不匹配，则m ，为0 。口是模型 学习率，且0 口1 ，它的大小决定着背景更新的速度，参数学习率近似为 p = o ：n ( i ，以，盯己) ，未匹配的高斯分布的参数则保持不变。 ( 4 ) 滑动平均方法 滑动平均方法【3 0 1 是最简单的背景模型，其初始化就是取出图像序列的第一帧作为初始 背景。但是随着时间的变化，场景中的背景也会有一定的变化，而且噪声以及系统误差也 会逐渐增大，利用滑动平均统计的方法，实时地对背景模型进行更新以适应光线变化和场 景变化，其背景模型算法如式： e + ( x ，y ) = a , ( x ，y ) + ( 1 一口) e ( z ，y ) ( 2 1 7 ) 口为更新率且0 口1 ，口越小，背景更新的速度越慢，运动目标对背景的影响越小， 口越大，背景的更新速度越快，运动目标的影响也越大。在具体实验中，口一般取较小的 值。 2 2 2 背景更新的原则与策略 使用背景减除法进行运动目标检测的时候，需要建立背景模型，并在进行目标检测的 同时对背景图像进行更新，只有这样刊能够准确地检测到运动目标。在进行背景更新的时 1 1 南京邮电大学硕士研究生学位论文第二荤运动目标检测 候，我们可能会遇到以下一些问题： ( 1 ) 光照条件变化 这又分为两种情况，一种是光照【3 l 】条件缓慢变化，在这种情况下，上述模型都可以通 过更新背景解决这一问题；另一种是光照条件变化很快，比如突然开灯或者关灯、建筑物 突然出现阴影等，在这种情况下，背景模型的更新速度往往跟不上实际环境的变化速度， 这样，就会出现将大面积的背景当作前景目标而真正的前景目标往往淹没在其中的问题。 ( 2 ) 遮挡引起运动目标混淆 当两个运动物体相互靠近重叠时，简单的背景差分方法会将它们当作一个运动物体。 当一个运动物体的一部分被背景遮盖，则背景差分后可能会将其当作两个分开的运动物 体。 ( 3 ) 物体停止或者运动过慢 当运动物体停止时，则产生需要考虑是否将该物体当作背景的问题。而在赋予前景目 标相应更新率的情况下，运动过慢的物体将会产生拖尾以及中间产生空洞的现象。 ( 4 ) 原背景中有物体运动，引起虚静止物体当初始背景中存在运动物体时，该运动物 体的初始图像在背景中将长期存在，使得在检测结果中出现了虚的静止目标，用一般的背 景更新算法难以将该目标除去。另外，在原来背景中静止的物体突然运动起来也会产生这 样的问题。 ( 5 ) 运动物体的阴影 由于运动物体存在着阴影，而这些阴影往往与背景不同，在背景差分过程中，这些阴 影会与前景物体连在一起，不利于以后的前景物体的跟踪与识别。 针对以上这些问题，许多学者进行了深入的研究，并对各个问题分别提出了不同的解 决方法。其中最为重要的就是背景的更新策略，更新策略是背景模型设计中最关键的技术。 在背景模型更新时应当注意以下两条原则： ( 1 ) 背景模型对背景变化的响应速度要足够快。背景的变化可能是由光照变化等因素 引起的背景本身颜色的变化，也可能是背景区域的变化，如前景和背景的相互转化。如果 背景模型不能迅速跟上实际背景的变化，检测结果中就会出现大范围的噪声或不合理的长 时间静止的前景物体。 ( 2 ) 背景模型对运动物体要有较强的抗干扰能力。因为在背景模型的更新过程中，背 景模型的每个点都受到了一个颜色序列的“训练”，不论实际场景中该点是处于静止背景 上还是在运动物体上。静止的背景或目标的这种“训练”是所希望的，而运动物体的“训 练”则是不希望看到的。特别是当运动物体尺度较大或运动较慢时，这种长时间的“训练” 1 2 翌塞堡皇奎兰堡主婴窒圭兰垡笙苎笙三兰堡垫旦堡垒型 可能会引起错误的检测结果，如在运动物体的尾部产生“空洞特别是两个颜色相近的物 体交错而过时更加明显。由于高斯背景模型的计算量大，为了达到实时检测运动目标的目 的，我们选择计算量较小的背景模型。 2 2 3 背景更新算法 本课题米用了改进的滑动平均背景模型，背景更新模型算法如公式( 2 一1 7 ) ，但是对更 新率重新定义为： 口= m ( x , y ) + o t ： 1 一m ( 训) ( 2 - 1 8 ) 我们不采用单一的更新因子对背景模型进行更新，在这里我们用了两个更新因子q 和 ，其中m ( x ，y ) 为当前时刻的差分图像二值化后的二值图像，其中为1 的部分为前景目 标。当m ( x ，y ) 为1 时，即为前景像素时，我们采用q 作为更新因子。当m ( 五y ) 为0 时， 即为背景像素时，我们采用口：作为更新因子。其中q 不能太大，否则会使运动目标对背景 的影响变大，也不能太小，否则背景初始化时间过长。应该大一些，因为m ，( x ，y ) 为0 的像素点对背景影响的权重大一些。通常取( 0 0 0 1 ，0 0 1 ) ，口：( o 0 1 ，0 1 ) 。 2 3 图像的二值化 一幅图像包括目标物体、背景还有噪音，怎样才能从多值的数字图像中只取出目标物 体，最常用的方法就是设定某一阈值丁，用丁将图像的数据分成两大部分：大于丁的像素 群和小于丁的像素群。这种方法称为图像的二值化，二值化处理就是把图像分成目标物体 和背景两个领域。二值化是数字图像处理中一项最基本的变换方法，通过非零取一、固定 阈值、双固定阈值等不同的阈值化变换方法，使一幅灰度图变成了黑白二值图像，将所需 的目标部分从复杂的图像背景中脱离出来，更利于进一步研究。 运动视频序列图像进行预处理后，要对图像进行二值化处理，这是基于像素级的检测。 将彩色图像转为灰度图像，并设定固定的灰度阈值7 ，将像素点灰度值和阂值7 1 进行比较， 当某像素点灰度值小于阈值的时候将其判为背景像素，反之则判定为目标像素。如公式 ( 2 - 2 ) 就是对差分图像进行了二值化得到了目标。在对差分图像进行二值化之前，我们对 差分图像进行了中值滤波，消除一些噪声的影响，进行二值化后得到二值图像会受到噪声 南京邮电大学硕士研究生学位论文第二章运动目标检测 的影响，在二值图像里会有很多白色的小块。这个时候可以利用形态学对二值图像进行处 理，这样就可以减少噪声对目标检测带来的影响。基本流程如图2 1 所示。 差 2 3 1 中值滤波 图2 - 1 二值化以及预处理 中值滤波器属于非线性空间滤波器，用于除去图像中的椒盐噪声。中值滤波器贝适用 于灰度r g b 图像，对于y u v 图像，应该只需要对y 进行处理。在图像的生成、传输或变 换过程中，由于受到噪声污染，输出图像的质量会产生退化。对受到噪声污染的退化图像 的复原可以采用线性滤波方法来处理，在许多情况下是很有效的，但是多数线性滤波具有 低通特性，在去除噪声的同时也使图像的边缘变模糊，不能获得较好的复原效果。而中值 滤波是一种去除噪声的非线性处理方法，在某些条件下既可去除噪声又能保护图像边缘， 获得了较好的图像复原效果。自t u r k y l 9 7 1 年提出中值滤波技术以来，该技术就得到了广 泛的研究，并被应用到语音处理、图像恢复等领域中。 标准中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中 各点值的中值代替。中值的定义如下： 一组数x 1 , x 2 ，x n 把1 3 个数按值的大小顺序排列如下： x i l ，x t 2 ，x i n o y = m e d x p x x i n 一i t m l j 2 门od ( 2 1 9 ) 一1 1 2 i x i ( n 2 ) + 伽，月n e v e n 其工作步骤主要如下： ( 1 ) 将模板在图中漫游，并将模板中心与图中某个像素位置重合； ( 2 ) 读取模板下各对应像素的灰度值： ( 3 ) 将这些狄度值从小到大排成列； ( 4 ) 找出这些值旱排在中间的一个； 1 4 塑室塑皇奎兰塑主堕窒竺兰篁笙苎茎三童垄垫旦堡垒型 ( 5 ) 将这个中间值赋给对应模板中心位置的像素。 该中值滤波器的主要功能就是让与周围像素灰度值的差比较大的像素改取与周围像 素值接近