（信号与信息处理专业论文）视频分析中的入侵检测及关联分析技术研究.pdf

， ： i 南京邮电大学 硕士学位论文摘要 学科、专业：工学信号与信息处理 研究方向：图像处理与多媒体通信 作者：2 0 0 7 级硕士研究生张业鹏 指导教师：朱秀昌教授博导 题目：视频分析中的入侵检测及关联分析技术研究 英文题目： r e s e a r c ho fa l g o r i t h m si nt h ev i d e os u r v e i l l a n c ef o r i n t r u s i o nd e t e c t i o na n dc o r r e l a t i o na n a l y s i s 主题词：视频监控，目标检测，目标跟踪，关联人，特征提取 k e y w o r d s ：v i d e os u r v e i l l a n c e ，o b j e c td e t e c t i o n ，o b j e c tt r a c k i n g c o r r e l a t i n gp e o p l e ，f e a t u r ee x t r a c t i o n 南京邮电入学硕上研究生学位论文 摘要 摘要 智能视频监控是一种利用视频分析技术对视频内容进行自动处理的技术。智能视频监 控就是要用计算机视觉的方法，在不需要人为干预的情况下，通过对摄像机拍录的图像序 列进行自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此基础上分析和判断 目标的行为，从而做到既能完成日常管理又能在异常情况发生的时候及时做出反应。 在这样背景下，本文对视频分析算法做了一些研究。一是对监控场景中入侵的目标进 行自动检测的方法进行研究，二是对监控场景中滞留物( 或搬移物) 同关联人的判断方法 进行研究。主要研究内容如下： 1 ) 较为深入地研究了监控视频中的目标检测和背景更新的算法，并对相关算法做了 深入的分析、研究和实验。 2 ) 设计了一种基于多次投影目标分割的算法，对相关序列进行仿真实验，实验结果 标明上述算法能够对目标进行较为准确地分割。 3 ) 在多次投影分割目标的基础上，提出了一种c a m s h i f t 与卡尔曼滤波相结合的目标 跟踪算法，并做了相关的仿真实验，实验证明该算法具有较高的准确性。 4 ) 在研究了预防背景扰动算法的基础上，提出了一种利用前景目标运动区域的界定 来判断是目标的入侵还是背景扰动的算法，实验证明该算法具有一定的准确性。 4 ) 深入研究了寻找目标物体与关联人之间的关系的算法，实验证明，利用该算法能 够有效地在相关视频序列中提取出关联人。 5 ) 提出了一种利用m e a n s h if t 来自动搜索关联人的颜色特征，并采用匹配算法来检 测滞留物和搬移物的关联人是否为同一人。在m a t l a b 平台上做了大量的实验，实验表明 该算法具有较高的准确性。 本文对监控视频中入侵检测和关联分析这两方面内容做了深入的研究，提出了一些相 关的算法，并且做了大量的仿真实验，获得了较好的结果。今后我们将进一步改进算法的 性能，使其适应更复杂的监控环境。 关键词：视频监控目标检测目标跟踪关联人特征提取 a b s t r a c t i n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m i sat e c h n o l o g yw h i c hi su s eo fv i d e oa n a l y s i s t e c h n o l o g y a u t o m a t i c p r o c e s s i n g v i d e oc o n t e n t s i n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m u s e s c o m p u t e rv i s i o nm e t h o d st o a c h i e v et h e s eg o a l si nd y n a m i cs c e n e sb ya n a l y z i n gt h ei m a g e 6 s e q u e n c eo ft h ec a m e r ar e c o r d i n g ，s u c ha st h el o c a t i o no ft h em o v i n go b j e c t ，t h em o v i n go b j e c t i d e n t i f i c a t i o na n dt r a c k i n g o nt h eb a s i so fs u c hc i r c u m s t a n c e s ，i tc a ni s s u eaw a r n i n ga n d p r o v i d eu s e f u li n f o r m a t i o nw i t ht h ef a s t e s ta n db e s tw a y , s ot h es e c u r i t ys y s t e mc a nd e a lw i t ht h e c r i s i se f f e c t i v e l ya n dt i m e l y t h ep a p e rh a sd o n es o m er e s e a r c ho nt h ev i d e oa n a l y s i su n d e rt h e s ec i r c u m s t a n c e s t h e f i r s tc o n c e r n sd e t e c t i n gt h ei n v a d i n go b je c ta u t o m a t i c a l l y ，a n o t h e rr e s e a r c hi ss o m ea l g o r i t h m s a b o u tc o r r e l a t i o nb e t w e e na b a n d o n e do b j e c t ( m o v i n go b je c t ) a n di t so w n e ri ns u r v e i l l a n c es c e n e s t h i st h e s i s sm a i nr e s e a r c hc o n t e n t sa r ea sf o l l o w s ： ( 1 ) d o a ni n d e p t h r e s e a r c h ，a n a l y s i sa n de x p e r i m e n t a t i o n o nt h ei n v a d i n g o b j e c t i n g d e t e c t i o na n db a c k g r o u n du p d a t i n ga l g o r i t h m s ，a n dr e l a t e da l g o r i t h m s ( 2 ) d e s i g na na l g o r i t h mo fo b j e c ts e g m e n t a t i o nb a s e do nam u l t i p l eg r a yp r o j e c t i o n ，s i m u l a t e s o m ep a i r so fr e l a t e ds e q u e n c e s ，t h ee x p e r i m e n t a lr e s u l t ss h o w st h a tt h ea l g o r i t h mc a na c h i e v e t h et a r g e tp a r t i t i o nc o r r e c t l y ( 3 ) o nt h eb a s i so ft h eo b j e c ts e g m e n t a t i o nb yt h em u l t i p l e g r a yp r o j e c t i o na l g o r i t h m ， p r o p o s e dac a m s h i f fc o m b i n e dw i t ht h ek a l m a nf i l t e ra l g o r i t h mf o ro b j e c tt r a c k i n g ，a n dd ot h e r e l e v a n ts i m u l a t i o n ，e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mh a sh i g ha c c u r a c yr a t e ( 4 ) d oa ni n - d e p t hs t u d yt od e s i g na na l g o r i t h mc o r r e l a t i o nb e t w e e no b j e c ta n di t so w n e r e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mc a nd e t e c tt h ec o r r e l a t i n gp e o p l ei nt h er e l e v a n t p v i d e os e q u e n c e ( 5 ) p r o p o s eam e a n s h i f ft oa u t o m a t i c a l l ye x t r a c tt h ec o r r e l a t i n gp e o p l e sc o l o rc h a r a c t e r i s t i c s ， a n du s em a t c h i n ga l g o r i t h m st o d e t e c tw h e t h e rt h eo b j e c t s c o r r e l a t i n gp e r s o na n dm o v i n g o b j e c t sp e r s o na r et h es a m e d o n eal o to fe x p e r i m e n t si nt h em a t l a bp l a t f o r m ，e x p e r i m e n t a l r e s u l t ss h o wt h a tt h ea l g o r i t h mh a sh i g ha c c u r a c yr a t e t h i sp a p e rh a sd o n ea n i n d e p t hs t u d yo nt h et w oa s p e c t so f i n t r u s i o nd e t e c t i o na n d c o r r e l a t i o na n a l y s i sa n dp r o p o s e san u m b e ro fr e l a t e da l g o r i t h m s ，a n dd o n eal o to fs i m u l a t i o n e x p e r i m e n t sw h i c ho b t a i ng o o dr e s u l t s “ k e yw o r d s ：v i d e os u r v e i l l a n c eo b j e c td e t e c t i o n o b j e c tt r a c k i n gc o r r e l a t i n gp e o p l e f e a t u r e e x t r a c t l o n n i 堕京邮电查学顾塑望! 竺兰篁堡茎 一! ! 茎一 -_-_-_-_-_-_-_-_-。-_-_，-。1。_-。_1-一一一一一 目录 摘要：i a b s t r a c t 一j i i 第一章绪论l 1 1 监控中的智能视频分析技术l 1 1 1 智能视频监控技术分析1 1 1 2 入侵检测和关联分析2 1 1 3 国内外研究现状2 1 2 研究的背景和意义4 1 3 研究内容与论文的主要安排4 第二章监控中的目标检测和背景更新6 2 1 运动目标检测技术概述6 2 1 1 光流法6 2 1 2 相邻帧差法7 2 1 3 背景差分法一：8 2 2 图像的二值化8 2 2 1 图像滤波9 2 2 2 形态学滤波10 2 2 3 连通区域标记1 2 2 3 基于目标分割的背景更新算法1 3 2 4 实验仿真1 5 2 5 本章小结1 7 第三章入侵检测算法1 8 3 1 基于多次投影的目标分割算法：1 8 3 1 1 目标的初始坐标的获得1 9 3 1 2 通过多次影投以获得物体的精确坐标2 0 3 1 3 实验仿真2 l 3 2 目标的跟踪2 2 3 2 1 基于c a m s h i f t 算法的目标的跟踪2 2 3 2 2 基于卡尔曼滤波器的目标跟踪2 4 3 2 3 基于c a m s h i f t 算法与k a l m a n 相结合的算法2 7 3 3 入侵目标轨迹的确定3 0 3 4 预防背景扰动的算法3 2 3 5 入侵检测系统的设计3 5 3 5 i 入侵检测系统设计步骤，3 5 3 5 2 入侵检测系统仿真实验3 8 、 3 6 本章小结3 9 i v 南京邮电大学硕_ l ：研究生! 丝鲨兰 里i 妻一 i_-_-_-_-_一一一 第四章目标物体的检测和关联算法4 0 4 1 目标物体的检测“4 0 4 1 1 异常物体的模板检测4 1 4 1 2 异常物体模板检测仿真4 1 4 2 异常物体的识别与检测4 2 4 2 1 目标物体的特征统计j 4 2 4 2 2 异常物体的特征判定与检测4 5 4 3 目标物体滞留或搬移的分类4 6 4 3 1 最大类间方差法4 6 4 3 2 滞留物体和搬移物体的分类算法4 7 4 3 ，3 滞留与搬移检测4 8 4 4 获取滞留或搬移物主的关联算法5 l 4 4 1 算法基本思想5 l 4 4 2 算法原理5 2 4 4 3 在关键帧中搜索关联人的算法5 3 4 4 4 实验仿真5 4 4 5 本章小结5 6 第五章目标物体的关联人的判断5 7 5 1 关联人的颜色特征提取。：一5 7 5 1 1 图像的颜色空间模型一5 7 5 1 2 颜色空间的转换5 9 5 1 3 颜色的量化处理6 0 5 2 利用m e a n s h i r 算法米提取人物的颜色特征6 l 5 2 1m e a n s h i k 算法简介以及应用6 l 5 2 2 直方图和色彩概率分布图像6 3 5 2 3 用1 0 l e a n s h i f t 来寻找质心6 4 5 2 4 关联人颜色特征提取的具体步骤6 6 5 2 5 实验仿真及其结果6 7 5 3 关联人的匹配6 9 5 3 1 用颜色直方图作为颜色特征6 9 5 3 2 颜色直方图的相似性度量的算法6 9 5 3 3 试验结果及其仿真7 2 5 4 关联分析系统设计7 3 5 4 1 关联分析系统设计步骤7 3 南京邮电大学硕上研究生学位论文一旦翌三一 一一 5 4 2 关联分析系统没计仿真q 5 5 本章小结 第六章总结与展望 6 1 本文工作总结， 6 2 今后待完善的工作：一埔 参考文献 致谢d j 攻读硕士论文期间参加的科研项目、发表的论文及获奖情况8 4 v l 南京邮电大学硕士研究生学篁笙文 笙二皇盟 _ _ - ，- _ _ _ - _ - _ _ - _ _ _ _ - - - h _ - - - - _ _ _ ，- 一一一 第一章绪论 智能视频监控【1 叫( i v s ：i n t e l li g e n tv i d e os u r v e ill a n c e ) 技术是计算机视觉领域近 些年来新兴的一个研究方向。它的主要研究目标是利用计算机视觉技术、图像处理技术和 人工智能技术对监控视频的内容进行描述、理解和分析，并能根据分析的结果对视频监控 系统进行控制，从而使视频监控系统具有较高层次的智能化水平。 本章首先介绍监控视频中的智能分析技术，接着介绍了本课题研究的背景和意义，最 后简要说明了本文的研究工作和内容安排。 1 1 监控中的智能视频分析技术 监控中的智能视频分析技术是利用计算机视觉的方法，在不需要人为干预的情况下， 通过对摄像机拍录的图像序列进行自动分析，实现对动态场景中目标的定位、识别和跟踪， 并在此基础上分析和判断目标的行为，从而做到既能完成日常管理又能在异常情况发生的 时候及时做出反应。 1 1 1 智能视频监控技术分析 目前，视频监控系统和设备虽然在功能和性能上得到了极大的提高，但是仍然受到了 些固有因素的限制，从而导致整个系统在安全性和实用性方面仍然没有达到人们期望。 具体的包括如人类自身的弱点、监控时间误报、漏报数据、分析困难和响应时间长等因素 的制约。 为了解决上述导致视频监控效率低下的问题，人们尝试把计算机视觉中的相关技术引 入到视频监控中，从而发展起来的新型视频监控技术智能视频监控，智能视频监控也 称自动视频监控，它在视频监控中起着核心的作用，可以有效地提高视频监控的效率。同 时它也是网络化视频监控领域最前沿的应用模式之一。 智能视频监控技术主要包括对视频图像序列自动地进行运动对象的提取、描述、跟踪、 识别和行为分析等方面的内容。如果把摄像机看作人类的眼睛，而智能视频系统或设备则 可以看作人类的大脑。智能视频监控技术就是借助计算机强大的数据处理功能，对视频画 面中的海量数据进行高速分析，过滤掉监控者不关心的信息，仅仅为监控者提供有用的关 键信息。智能视频监控以数字化、网络化视频监控为基础，但又有别于一般的网络化视频 南京邮电大学硕士研究生学位论文 第一荦绪论 监控，它是一种更高端的视频监控应用。智能视频监控系统能够识别不同的物体，发现监 控画面中的异常情况，并能够以最快和最佳的方式发出警报和提供有用信息，从而能够更 加有效的协助安全人员处理危机，并能够最大限度的降低误报和漏报现象。其最终目的就 是要使计算机能够分析、描述和理解视频画面中的内容。智能视频监控涉及到计算机视觉、 图像处理和人工智能领域中的众多核心技术，是一个非常具有挑战性的问题。 1 1 2 入侵检测和关联分析 智能视频监控应用范围很广，主要应用领域包括公共安全、医疗看护、顾客服务等。 而本文所研究的入侵检测与关联分析属于安全类相关运用中的两项重要的技术，它研究 目的就是要对监控图像的视频序列进行分析，确定有效的算法，从而实现智能监控的目的。 而本文所研究的入侵检测与关联分析属于安全类相关运用中的两项重要的技术，本课 题的研究目的就是要利用图像处理的相关算法对监控视频中的图像进行处理分析，并对被 监视的感兴趣的画面进行录像存储，以便事后回放。在此基础上，高级的视频监控系统可 以对监控装置进行远程控制，并能接受报警信号，进行报警触发与联动。未来的视频监控 系统不仅仅局限于背动地提供视频画面，更要求系统本身有足够的智能，能够识别不同的 物体，发现监控画面中的异常情况，以最快的和最佳的方式发出报警和提供有用的信息， 从而更有效协助安全人员处理危机，并最大限度地降低误报和漏报现象，成为应对袭击和 处理突发事件的辅助工具。所以监控系统不能只是简单地对采集的监控图像进行简单的画 面存储，而必须对摄像头采集的监控图像进行处理与分析。实现对异常情况的实时报警功 能，并保证实时图像的传输等。从而实现智能监控的目的。 在入侵检测算法【5 7 1 中，通过对监控视频的分析处理，只有当在用户指定的区域内有运 动物体出现时，系统自动进行报警，标出移动区域，并存储相关画面。在关联分析算法【8 一0 1 中，通过对监控视频的分析处理，监控场景中的某些对象之间通常都处在某种关联，比如 某人和他所提的行李、提包等对象，当这些对象与该对象的持有人长时间分离或无人照看 时，就及时地给出提示信息并报告相关部门。从而摆脱监控系统对人工的依赖，减少了用 户对无用数据的接收和存储，实现系统的智能化。 1 1 3 国内外研究现状 近些年来，随着计算机软硬件性能的不断发展，各种面向复杂应用场景的智能视频监 控系统也随之大量涌现，智能视频监控系统在商业、国防安全和军事应用领域中的需求日 2 南京邮电人学硕：l 研究生学位论文 第一章绪堡 益增长。正是由于智能视频监控系统具有如此广泛的应用前景，所以它引起了许多国家的 高度重视，并投入大量资金和科技人员进行了深入的研究。 2 0 0 0 年，美国国防高级研究项目署( d a r p a ：t h eu sd e f e n s ea d v a n c e dr e s e a r c h p r o j e c t sa g e n c y ) 设立了以卡内基梅隆大学为首联合美国十几所高等院校参加的视频监控 重大项目( v s a m ：v i d e os u r v e i l l a n c ea n dm o n i t o r i n g ) 研究开发多模式的监控技术以实现 远距离情况下人的检测、分类和识别，以增强国防、民用等场合免受恐怖袭击的保护能力。 2 0 0 1 年，美国i s s 公司的a u t o s c o p e 视频检测系统可作为大区域视频智能监控系 统，其在北美铁路运输监视系统的应用就是智能监控系统最好的例子，它是一种分布式视 频监视系统，该系统用于检测在铁路线上的无人值守的候车室内和铁路沿线重要路段出现 的滞留物。被监视的房间里利用单色摄像机获得的图像序列被本地p c 机内的智能图像处 理系统所处理，这个智能处理系统主要用于测出滞留物的出现。当滞留物出现的时候，一 个报警信号被传到远端离监控地有数公里远的远程控制中心。一个基于码分多路技术的多 媒体通讯系统用于确保在监控地和远端控制中心建立起安全可靠的无线传输线路，在远端 控制中心，处理结果被显示给正在监控的操作人员。 2 0 0 2 年，日本也开展了用于公共区域及智能小区的视觉监控的计j q ( c d v p ：t h e c o o p e r a t i v e d i s t r i b u t e dv i s i o np r o j e c t ) 等。 。 当前，国际上的许多信息处理类权威杂志如：模式分析和机器智能( p a m i ：i e e e t r a n s a c t i o n so np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) ，图像和视觉计算( i v c ：i m a g ea n d v i s i o nc o m p u t i n g ) 和重要年度学术会议：计算机视觉和模式识别会议( c v p r ：i e e e c o m p u t e rs o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) ，国际计算机视觉 会议( i c c v ：i n t e r n a t i o n a l c o n f e r e n c eo nc o m p u t e rv i s i o n ) ，欧洲计算机视觉会议( e c c v ： e u r o p e a nc o n f e r e n c e o n c o m p u t e rv i s i o n ) 、视觉监控会议( i w v s ：i e e ei n t e r n a t i o n a l w o r k s h o po nv i s u a ls u r v e i l l a n c e ) 等都将智能视频监控作为主题内容之一，为该领域研究人 员提供了更多的交流机会。 目前，国内已有科研人员对此进行了一些研究，并形成一些研究成果。在视频和计算 机视觉技术的基础性研究方面，虽然，目前国内的研究水平仍然落后于国际先进水平，但 差距并不明显。在国内，智能视频分析尚没有强烈的市场需求，所以还停留在实验室阶段。 随着国外成熟产品的进入，监控领域已逐渐意识到这一技术和产品的重要地位，逐渐地为 国内的监控行业人员所认识和熟悉，而且看到了这一技术必然是未来监控系统的一个发展 趋势。国外成熟的监控产品经过了长时间的测试和修改，包含了大量的异常状况处理技巧， 如对于遮挡、光照、气候、速度等的适应性。在正常的、理想的应用条件下，国内的智能 1 南京邮电大学硕- j ：t i 旰究生学位论义 视频分析技术或许能实现和国外产品同样的性能， 性能的差距将很快显现出来。 第一章绪论 1 2 研究的背景和意义 但一旦处于比较恶劣的使用条件下，其 智能视频监控系统在民用和军事领域中都有着极大的应用前景。目前虽然在银行、商 店、车站、港口等一些重要的公共场所普遍架设了监控摄像机，但实际的监控任务仍需要 较多的人工工作来完成。在很多情况下，目前的视频监控系统所提供的信息是没有经过任 何分析的视频裸数据，这就不能充分发挥监控系统应有的实时主动的监督作用。另一方面， 为了防止和阻止犯罪，对无人值守的视频监控系统的需求量日益上升，这类系统的主要目 标是减少对繁琐人工的依赖，自动完成对复杂环境中人和车辆等进行实时观测以及对感兴 趣的对象的行为进行分析和描述。要完成这些任务，需要涉及到智能视频监控中许多核心 技术，如：背景分析、对象提取、对象描述、对象跟踪、对象识别和对象行为分析。 1 3 研究内容与论文的主要安排 本文的研究目的就是要对监控图像的视频序列进行分析，确定有效的算法，从而实现 智能监控的目的。主要研究了智能视频监控中入侵检测和关联检测这两项技术。在入侵检 测算法中研究的内容有：运动目标检测的算法，背景自动更新的算法，目标分割及其跟踪 的算法，预防背景扰动的算法。关联分析的主要内容有：目标物体的识别与检测的算法， 搜索目标物体的关联人算法，自动提取关联人颜色特征的算法。对于上述两个算法，均在 m a t l a b 环境下进行了算法的仿真。 本文各章节内容安排如下，第一章，绪论，主要介绍智能监控系统的发展情况和智能 视频中入侵检测和关联分析这两个所要完成的任务。第二章，监控中的目标检测和背景更 新，本文采用的背景差分法。运用目标分割的算法进行背景更新。第三章，入侵检测算法， 提出了一种多次投影分割前景目标的算法，并设计了一种目标跟踪的算法和防背景扰动的 算法。实现了对入侵目标较为准确的检测。第四章，滞留物体的检测和关联算法，主要研 究和设计了一种人与滞留物体的关联算法，首先通过模板检测找到异常物体，对物体的特 征进行识别与检测，找到滞留物，利用反向搜索算法找到关键帧图像并从中提取关联人物。 第五章，关联人物的判断主要介绍用m e a n s h i f t 算法对关联人物进行颜色聚类，提取关联 人物的主要颜色特征，建立颜色直方图，进行相似度匹配后判断是否为同个人。第六章 是总结和展望，对全文的工作进行总结并对课题今后的研究方向作了展望。此外，从第二 4 南京邮电人学顾一l ：研究生学位论文一 一翌二! ! ! ! 垒 一一一 章到第五章，在对算法的详细说明的基础上，做了多项的仿真实验，并对试验结果做了相 应的分析和比较。通过仿真试验，证明了本文的算法的有效性。 南京邮电人学硕卜研究生学位论文第二二章i 瞌控中的目标检测和箜墨里堑 第二章监控中的目标检测和背景更新 在监控视频中，要实现目标的入侵检测和关联分析，首先要检测出目标。由于本文采 用了背景差分法的目标检测算法，所以背景模型的建立以及更新的准确与否直接关系到目 标检测的好坏。考虑到由于监控场景中物体变为背景、背景变为运动物体，背景物体的抖 动、摇动、波动、缓慢运动等各种状况，因此背景的及时更新也是监控视频中一项十分重 要的工作，是进行后续工作的基础。本章重点介绍了监控视频中的目标检测和背景更新的 算法。 2 1 运动目标检测技术概述 运动目标检测是指从序列图像中将变化区域从背景中分割出来。它是数字图像处理技 术的一个主要组成部分，是计算机视觉、目标识别与跟踪、模式识别、运动图像编码、基 于内容检索、安全监控等研究领域的重点与难点，在国防交通和工业等领域有着广泛的应 用前景。在目标检测的过程中，由于天气和光照的变化、背景扰动的干扰、运动目标的影 子以及摄像机的运动等原因的存在，给运动目标的精确检测带来极大挑战。正确检测与分 割出运动目标与否直接影响着运动目标能够被正确跟踪与分类，因此成为视频监控系统研 究中的一项重要的课题。运动目标检测的基本任务是从图像序列中检测出运动信息，简化 图像处理过程，得到所需的运动矢量，从而能够识别与跟踪物体。 目前常用的运动目标检测方法有三种：光流法【1 1 1 ，相邻帧差法【1 2 】，背景差分法【1 3 1 。 2 1 1 光流法 光流是空间运动物体被观测面上的像素点运动产生的瞬时速度场，包含了物体表面结 构和运动形态行为的重要信息。一般情况下，光流由相机运动、场景中目标运动，或两者 共同运动产生。光流计算方法大致可以分为三类：基于匹配的、频域的或梯度的方法。 基于匹配的光流计算方法包括基于特征和基于区域的两种。基于特征的方法不断地对 目标主要特征进行定位和跟踪，对大目标的运动和亮度变化具有鲁棒性。存在的问题是光 流通很稀疏，而且特征提取和精确匹配也十分困难。基于区域的方法先对类似的区域进行 定位，然而通过相似区域的位移计算光流。这种方法在视频编码中得到了广泛的应用。然 而，它计算的光流仍不稠密。 6 南京邮电大学硕二l 二研究生学位论文 第二章监挖中的目标检测年l 背景更新 基于频域的方法利用速度可调的滤波组输出频率或相位信息。虽然能获得很高精度的 初始光流估计，但往往涉及复杂的计算。另外，进行可靠性评价也十分困难。 基于梯度的方法利用图像序列的时空微分计算2 d 速度场( 光流) 。由于计算简单和较 好的实验结果，基于梯度的方法得到了广泛的研究。虽然很多基于梯度的光流估计方法取 得了较好的光流估计，但由于在计算光流是涉及到可调参数的人工选取、可靠性评价因子 的选择困难，以及预处理对光流计算结果的影响，在应用光流对目标进行实时检测与自动 跟踪时仍存在很多问题。 总的来说，光流法的优点是能够检测独立的运动对象，不需要预先知道场景的任何信 息，并且可用于摄像机运动的情况，但是由于噪声、多光源、阴影、透明性和遮挡性等原 因，使得计算出的光流场分布不是十分可靠和精确；而且，多数光流法计算复杂、耗时多， 除非有特殊的硬件支持，否则很难实现实时检测。 2 1 2 相邻帧差法 这种方法是在运动目标检测中使用最多的一类算法。基本原理就是将前后两帧图像对 应数值相减，在环境亮度变化不大的情况下，如果对应像素值相差很小，可以认为此处景 物是静止的，如果图像区域某处的像素值变化很大，可以认为这是由于图像中运动物体引 起的，将这些区域标记下来，利用这些标记的像素区域，就可以求出运动目标在图像中的 位置。由于目标太小、背景亮度的差别，对差分图像的分割方法也不尽相同；另外，当目 标有阴影干扰时也要进行特殊处理。 为了提高差分图像法的性能，有人在此基础上提出了累计图像差分法和对称图像差分 法，这两种方法都可以在提高检测概率的同时降低预报概率，效果相差不大。差分图像法 是以图像背景固定不变为前提的，如果图像背景运动，这种方法就无能为力了。针对这种 情况，有人提出了基于补偿差分的运动目标检测方法，先对摄像机运动引起的背景移动进 行补偿，然后再进行差分运算。有这两种方法可以用来消除背景相对运动造成的影响：一 种是通过闭环系统的自反馈对得到的镜头运动参数进行补偿：另一种是对背景中特征较明 显的区域进行匹配，在得到背景的偏移量后再进行补偿。相比较而言，第二种方法完全不 依赖与跟踪系统的回路参数，而且当背景中有明显结构特征时可以取得更好的补偿效果， 此时的配准精度较高。文献f 1 2 】中将两帧图像之间的背景运动用仿射变换来表示，用最小中 值来求解变换参数，取得了比较理想的补偿效果。 相邻帧差运动检测法对于动态环境具有较强的自适应性，鲁棒性较好，能够适应各种 南京邮电大学硕二【j 研究生学位论义 动态环境，但一般不能完全提取出所有相关的特征像素点， 空洞现象。 第二章豁控中的目标检测和背景更新 2 1 3 背景差分法 这样在运动实体内部容易产生 背景差分法是常用的运动目标检测方法之一。它的基本思想是输入图像与背景模型进 行比较，通过判定灰度等特征的变化，或用直方图等统计信息的变化来判断异常情况的发 生和分割运动目标。简单常用的方式为：直接抽取视频j 芋y , j 中某一幅图像，或计算多幅图 像的平均值作为背景。它一般能够提供完全的特征数据，但对于动态场景的变化，如光照 和外来无关事件的干扰特别敏感。最简单的背景模型是时间平均图像，大多数研究人员目 前都致力于开发不同的背景模型，以其减少动态场景变化对于运动分割的影响。例如， h a r i t a o g l u 等利用最小、最大强度值和最大时间差分值为场景中每个像素进行统计建模，并 且进行周期性背景更新：m c k e n n a 等人利用像素色彩和梯度信息相结合的自适应背景模型 来解决影子和不可靠色彩线索对于分割的影响。k a r m a n n n 与k i l g e r 采用基于卡尔曼滤波 ( k a l m a nf i l t e r i n g ) 的自适应背景模型以适应天气和光照的时间变化：s t a u f f e r 与g r i m s o n 利用自适应的混合高斯背景模型( 即对每个像素利用混合高斯分布模型) ，并利用在线估 计来更新模型，从而可靠处理了光照变化，背景混乱运动的干扰等影响。 背景差分法实现最简单，并且能够完整地分割出运动对象，对背景已知的应用情况， 背景差分法是一种有效地运动对象检测算法。本文采用背景差分法来进行运动检测。 2 2 图像的二值化 一幅经过背景差分的图像包括目标物体、背景以及噪音，怎样才能从多值的数字图像 中只取出目标物体，最常用的方法就是设定某一阈值丁，用? 1 将图像的数据分成两大部分： 大于丁的像素群和小于丁的像素群。这种方法称为图像的二值化，二值化处理就是把图像 分成目标物体和背景两个领域。二值化是数字图像处理中一项最基本的变换方法，通过非 零取一、固定阈值、双固定阈值等不同的阂值化变换方法，使幅灰度图变成了黑白二值 图像，将所需的目标部分从复杂的图像背景中脱离出来，更利于进一步研究。 运动视频序列图像进行预处理后，要对图像进行二值化处理，这是基于像素级的检测。 将彩色图像转为灰度图像，并设定固定的灰度阂值丁，将像素点灰度值和阈值丁进行比较， 当某像素点灰度值小于阈值的时候将其判为背景像素，反之则判定为目标像素。在对差分 图像进行二值化之前，我们对差分图像进行了图像滤波，消除些噪声的影响，进行二值 8 南京邮电大学硕：l 研壅竺堂丝笙塞 墨三童鉴堡! 塑旦堡垒型竺翌墨墨堑 -_-_-_一一一。一一 化后得到二值图像会受到噪声的影响，在二值图像里会有很多白色的小块。这个时候可以 利用形态学对二值图像进行处理，这样就可以减少噪声对目 看- - 、1 m 伙 。4 巾1 + - 小a 口y 乃州日j * 。基本流程 如图2 一l 所示。 2 2 1 图像滤波 图2 - 1 二值化以及预处理 在图像的生成、传输或变换过程中，由于受到噪声污染，输出图像的质量会产生退化。 对受到噪声污染的退化图像的复原可以采用线性滤波方法来处理，在许多情况下是很有效 的，但是多数线性滤波具有低通特性，在去除噪声的同时也使图像的边缘变模糊