（信号与信息处理专业论文）基于背景建模的运动目标检测与跟踪算法研究.pdf

基于背景建模的运动目标检测与跟踪算法研究 摘要 运动目标检测与跟踪是智能视觉监控的基础与前提，其在交通、军事、工 业以及医学等各个领域具有广泛的应用前景。其中，静态场景下的运动目标检 测与跟踪是应用最广泛的一个研究热点。目前，静态场景下的运动目标检测最 常用的方法是背景减法，其存在的主要问题是，背景的提取与更新，为了建立 准确的背景而采用复杂的模型，其计算量大不利于实时检测；而采用简单的模 型建立的背景不够准确，不利于目标检测的准确性。此外，由于是实时检测， 还需考虑模板所占内存空间问题。本文在现有的研究成果上，针对静态场景下 的运动目标检测与跟踪的主要问题，对其进行了深入的研究。主要工作如下： 1 运动目标检测方面： 本文针对现有的运动目标检测方法进行了介绍，包括光流场法、帧间差分 法以及背景减法。针对背景减法，详细介绍了常用的经典算法：多帧平均方法、 混合高斯模型方法以及码本算法等；针对混合高斯模型方法的费时以及码本方 法所占内存空间较大的问题，结合两者的优点，提出了一种基于像素值聚类的 背景建模与目标检测方法。该方法在建立模板期间采用模板替换机制，减少内 存的占有量，并且采用背景完成预判节省背景建立的时间，最后采用形态学滤 波滤除小噪声，同时填补目标内部空洞，最后采用积分投影法实现对目标的分 割。实验结果表明，该算法可以很好的检测出不同场景下的运动目标，在速度 和准确性上有一定的提高。 2 运动目标跟踪方面： 本文研究了几种常用的目标跟踪算法，在此基础上提出了一种基于k a l m a n 运动预测的改进m e a ns h i f t 算法，选取图像的灰度直方图作为跟踪模板，为减 少搜索所用的时间，使用k a l m a n 滤波器在待跟踪图像中预测可能的位置，在 该范围内进利用m e a ns h i f t 算法进行搜索及匹配，引入信息量度量的概念，使 跟踪模板自适应的改变，从而能够在运动目标大小发生变化时仍能很好的进行 目标跟踪。 关键字：运动目标检测背景建模模板替换背景完成判决信息量统计 k a l m a n 运动预测m e a ns h i f t 跟踪 r e s e a r c ho ft h em o v i n go b je c td e t e c t i o na n d t r a c k i n gb a s e do nb a c k g r o u n dm o d e l i n g a b s t r a c t m o v i n go b j e c t d e t e c t i o na n dt r a c k i n gi st h eb a s i so fi n t e l l i g e n tv i s u a l s u r v e i l l a n c e ，a n dh a saw i d ea p p l i c a t i o np r o s p e c ti nt h ef i e l do ft r a f f i c ，m i l i t a r y ， i n d u s t r y ，b i o m e d i c a la n ds oo n a m o n gt h e m ，t h ed e t e c t i o no fm o v i n gt a r g e ti n s t a t i cs c e n ei st h em o s tw i d e l yu s e d a n di ti sah o tr e s e a r c ht o p i c a tp r e s e n t ，t h e m o s tc o m m o nm e t h o do fm o v i n gt a r g e td e t e c t i o ni ns t a t i cs c e n ei s b a c k g r o u n d s u b t r a c t i o n t h em a i np r o b l e m si st h eb a c k g r o u n de x t r a c t i o na n d u p d a t i n g a c o m p l e xb a c k g r o u n dm o d e lf o raa c c u r a t ed e t e c t i o na l w a y sl e a d st ol a r g ea m o u n to f c a l c u l a t i o n i ti sn o tc o n d u c i v et or e a l t i m ed e t e c t i o n as i m p l em o d e li sa l w a y sn o t a c c u r a t ee n o u g ha n di sn o tc o n d u c i v et ot h ea c c u r a c yo ft a r g e td e t e c t i o n i na d d i t i o n ， b e c a u s eo ft h er e a l t i m ed e t e c t i o n ，w ea l s on e e dt oc o n s i d e rt h em e m o r ys p a c eo f t e m p l a t e s b a s e do nt h ee x i s t i n gr e s e a r c hr e s u l t s ，a n da i m e da tt h em a i np r o b l e mo f m o v i n gt a r g e td e t e c t i o na n dt r a c k i n gi ns t a t i cs c e n e ，t h i sp a p e rm a k e si n - d e p t h r e s e a r c h t h em a i n w o r ki sa sf o l l o w f i r s t l y ，o nt h er e s e a r c ho fm o v i n gd e t e c t i o n ：ag r e a tn u m b e ro fe x i s t i n gm o v i n g o b je c td e t e c t i o nm e t h o d sa r ei n t r o d u c e di nt h i sp a p e r ，i n c l u d i n go p t i c a lf l o wf i e l d m e t h o d ，t e m p o r a ld i f f e r e n c em e t h o d ，a sw e l la sb a c k g r o u n ds u b t r a c t i o nm e t h o d a s t o b a c k g r o u n d s u b t r a c t i o nm e t h o d ，c l a s s i c a l g o r i t h m s ，s u c h a st h em u l t i - f r a m e a v e r a g i n gm e t h o d ，t h eg a u s s i a nm i x t u r em o d e i ( g m m ) m e t h o da n dt h ec o d e b o o k m e t h o da r ed e s c r i b e di nd e t a i l b e c a u s et h eg m mm e t h o di st i m e - c o n s u m i n ga n d t h ec o d e b o o km e t h o dn e d d sal a r g e rm e m o r ys p a c e ，ab a c k g r o u n dm o d e l i n ga n d o b je c td e t e c t i o nm e t h o db a s e do nt h ec l u s t e r i n go fp i x e lv a l u e si sp r e s e n t e di nt h i s p a p e r d u r i n g t h ee s t a b l i s h m e n to ft h eb a c k g r o u n d ，t h et e m p l a t es u b s t i t u t i o n m e c h a n i s mi su s e dt os a v em e m o r ys p a c e as e n t e n c ea b o u tw e a t h e rt h eb a c k g r o u n d i sc o m p l e t e di su s e dt os a v et i m e t h e n ，w eu s em o r p h o l o g i c a lf i l t e rt of i l t e ro u tt h e n o i s ea n df i l lt h ei n t e r n a lh o l l o w f i n a l l y ，t h eo b j e c tc a nb es e g m e n t e db yt h e i n t e g r a lp r o j e c t i o nm e t h o d e x p e r i m e n t ss h o wt h a t ，t h ea l g o r i t h mc a nb e av e r y g o o dd e t e c t i o no fm o v i n gt a r g e t si nd i f f e r e n ts c e n a r i o s t h es p e e da n dt h ea c c u r a c y o ft h ea l g o r i t h mh a si m p r o v e dt os o m ee x t e n t s e c o n d l y ，o nt h er e s e a r c ho fo b je c tt r a c k i n g ，b ys t u d y i n gs e v e r a lc o m m o n o b j e c t t r a c k i n ga l g o r i t h m ，a ni m p r o v e dm e a ns h i f ta l g o r i t h mb a s e do nk a l m a n p r e d i c t i o ni sp r e s e n t e d i tt a k e st h eo b j e c t sh i s t o g r a ma st h ef e a t u r em a s k w eu s e t h ek a l m a nf i l t e rt op r e d i c tt h el o c a t i o ni nn e x tf l a m et or e d u c et h es e a r c h i n g t i m e t h e nt h em e a ns h i f t a l g o r i t h m i su s e dt os e a r c ha n dm a t c hf o rm o v i n g o b j e c t w i t ht h ei n t r o d u c t i o no fi n f o r m a t i o nm e a s u r e ，t h et r a c k i n gt e m p l a t ec a n b e c h a n g e da d a p t i v e ，i tc a nb eag o o dt r a c k i n ge v e nw h e nt h es i z eo ft h em o v i n gt a r g e t i sc h a n g e d k e y w o r d s ：m o v i n gt a r g e td e t e c t i o n ； b a c k g r o u n d ss e n t e n c e ； m e a ns h i f tt r a c k i n g ； b a c k g r o u n dm o d e l i n g ； i n f o r m a t i o ns t a t i s t i c s t e m p l a t es u b s t i t u t i o n ； ；k a l m a np r e d i c t i o n ； 致谢 时光飞逝，仿佛昨天才开始的研究生生活，在毕业论文完成的同时也终于 即将结束。回首这两年多的点点滴滴，令我觉得受益匪浅，不仅学到了导师们 严谨的治学态度，还感受到了同学们拼搏向上的钻研精神。 首先，我要感谢我的导师蒋建国教授和齐美彬教授多年来对我的关心和照 顾。蒋老师广博的专业知识，丰富的实践经验，平易近人的处世作风给我留下 了深刻的印象，在此感谢他对我学习上的指导以及生活上的关心；感谢齐老师 从我的论文提纲的构思，实验结果的验证到最终论文完成都给予了无微不至的 指导，并提出许多宝贵的意见；同时还要感谢实验室的夏娜副教授、詹曙副教 授、吴从中副教授、李小红副教授、张国富老师，感谢他们对我的关心和帮助。 其次我要感谢在一起学习和生活了两年多的实验室的同学们，感谢张敏、 张银霞、潘燕、安红新、汪巍、许郴、王涛、耿彪、彭乐、尹夕振、贺伟、董 蓓、王芳等同学在学习和生活上的鼎力相助，在这两年多的时间，我们在学习 上互相交流，共同进步；在生活上互相帮助，共同度过了充实而愉快的实验室 生活。忘不了我们共同参加比赛时的认真与快乐，忘不了迎新联欢会上的欢歌 与笑语；忘不了遇到困难时我们的沮丧与不安，忘不了解决问题时我们的激动 与欢欣。感谢你们两年多的陪伴，在此忠一t l , 的祝福你们在以后的生活与工作中 一切j i f g ! , 禾l j 。 再次我还要感谢实验室的王宝、陈俊峰、高飞、张莉、胡珍珍、吴晖等师 兄师姐在学习上的热情帮助和耐心指导；感谢实验室陶海涛、吴东飞、张芝华 等师弟师妹们的信任与帮助。 最后我要特别感谢我的家人，感谢他们在我的求学路上一直默默支持我， 鼓励我，他们的鼓励和支持是一直是我前进的动力；感谢他们为我提供了坚实 的后盾与港湾，使我在任何时候都能勇敢地走下去。 插图清单 图2 1 两帧差分法原理图9 图2 2 三帧差分法原理图9 图2 3 两帧差分时选取不同阈值的检测结果1 0 图2 4 两帧差分法与三帧差分法的比较11 图2 5 昆虫飞行时的光流场1 2 图2 6 背景减法示意图13 图2 7 码本构建流程图1 7 图2 8 目标跟踪框架示意图18 图3 1 模板替换示意图2 5 图3 2 背景训练示意图2 6 图3 3 阈值r 取不同值时的分割结果2 7 图3 4 腐蚀示意图2 9 图3 5 膨胀示意图2 9 图3 6 积分投影法原理示意图3 0 图3 7 本文目标检测算法流程图3 1 图3 84 种不同方法的检测结果3 2 图3 94 种不同方法的检测结果3 3 图4 1 本文的目标跟踪算法结构框图3 5 图4 2 像素点及其八邻域点的关系3 8 图4 3 图像及两类特征点3 8 图4 4 局部搜索示意图3 9 图4 5k a l m a n 滤波器计算过程示意图4 1 图4 6 信息量与窗口大小关系示意图4 2 图4 7 自适应窗口流程图4 3 图4 8m e a ns h i f t 算法示意图4 5 图4 9k a l m a n 预测流程图4 7 图4 1 0m e a ns h i f t 算法跟踪结果图4 8 图4 1 1 本文算法跟踪结果图4 8 图4 1 2 目标质心测量值与实际值对比结果4 8 图4 1 3m e a ns h i f t 算法跟踪结果4 9 图4 1 4 本文算法跟踪结果4 9 图4 1 5m e a ns h i f t 算法跟踪结果5 0 图4 1 6 本文算法跟踪结果5 0 表格清单 表2 1 经典检测算法优缺点对比1 8 表3 1h a l l 序列计算结果3 2 表3 - 2 自拍序列计算结果3 3 第1 章绪论 1 1 课题的研究背景和意义 运动目标的检测与跟踪技术一直是智能视频监控领域的重要研究方向之 一。其主要目标是实现及时检测场景中是否有运动目标、分析目标的运动轨迹 并对其实施跟踪，以便为后续的高级处理和运动分析提供必要信息。运动目标 检测与跟踪是现代智能视频监控技术的基础与关键，如何提高检测与跟踪的实 时性与准确性是该课题的研究热点与难点。 1 1 1 视频监控系统 视频监控系统是现代安全防范系统的重要组成部分之一，整个系统由摄像、 传输、控制、显示等几个部分构成，是一种具有很强防范能力的综合系统。视 频监控系统可以直观、及时、准确的为人们提供内容丰富的信息，因而被广泛 应用于社会生活中的许多场合。近几十年来，计算机技术、网络技术、图像处 理技术以及传输技术得到了飞速发展，与之相对应的，视频监控技术在这些技 术的基础上迅速崛起，并有了长足飞速的发展。其中，智能视频监控系统的研 究是视频监控系统中的个热门研究课题，因为其集成了智能行为识别算法， 使得系统可以对不同画面场景中的人或者车辆等的行为进行自主识别、分析和 判断，并且在适当的条件下可以产生报警以提示用户，从而不断得到发展和推 广。运动目标检测与跟踪是智能视频监控系统中的最基本、最核心的问题，如 何快速准确的进行运动目标检测与跟踪直是众多学者争相研究的热门挑战性 课题。 近几十年来，随着我国国民经济的快速增长、综合国力的不断增强和社会 生活的迅速进步，许多生产生活领域对安全防范、现场记录和报警系统的需求 与日俱增，如银行、交通、电力、安检以及军事设施等等。因此视频监控技术 在人们生产生活中的各个方面都得到了非常广泛的应用，其己经广泛地存在于 银行、商场、车站、公交车辆和交通路口等公共场所，为公共安全提供了强有 力的保障。值得注意的是，目前的监控系统需要较多的人工参与，而且现有的 大多数监控系统只有显示图像以及录制视频图像的功能，录制的视频只能为人 们提供没有经过处理的海量图像信息，并且一般只能用于事后取证，监控的实 时性和主动性基本上没有得到发挥。因此视频监控系统的“智能化”显得尤为 重要，以期达到实时检测、分析、跟踪以及判别监控对象的效果，并且能够在 发生异常事件时提示、上报或者预警。这样有利于有关部门、安全领域及时发 现问题，同时可以为其决策并作出正确的行动提供有效的支持。 智能视频监控是指利用计算机视觉技术对摄像头捕捉到的视频图像信号进 行处理、分析和理解，即在不需要人为干预的情况下，对序列图像自动分析， 一般是指对监控场景中发生的变化进行检测、定位、识别和跟踪，并以此为基 础对目标的行为进行分析和判断，能够在异常情况发生时及时发出预警信号， 从而有效地协助安全人员处理危机川。为了提高系统的工作效率，要求系统的 误报和漏报现象必须最大限度地降低。随着人们对社会安全需求的日益增长， 智能视频监控系统在未来社会发展进程中必将发挥出越来越重要的作用，具有 非常大的市场潜力以及研究价值。 1 1 2 计算机视觉 智能视频监控系统的理论基础是计算机视觉( c o m p u t e rv i s i o n ) ，又称为机 器视觉，它是由人类设计、在计算机环境下实现，通过模拟人的视觉系统来实 现人眼的视觉功能j 。计算机视觉的核心思想是用摄像机和计算机来代替人眼， 使其具有“看”的功能，对目标进行检测、提取、识别、跟踪和测量等，从而 实现利用计算机代替人对客观三维世界进行判断与识别。最常用的包括对文字 识别、车牌识别、图像模式识别以及对于物体三维表面形状、距离、速度的感 知等等。概括来说，物体识别、物体定位、物体三维形状恢复以及运动分析， 这四大部分构成了计算机视觉的主要研究内容。视觉感知系统是人体接受外部 信息的最重要渠道，其提供的信息具有独特的空间结构特性，这是其他感官渠 道所不具备的重要属性，因此不能够被代替。研究机器视觉的目的不仅在于实 现对人类视觉的模拟，如何使其更好的延伸，使其能够代替甚至超越人眼需要 进一步的研究。如何更好、更精确的理解视觉信息，便于计算机的理解与描述， 一直是计算机视觉科学研究中的重要课题。 计算机技术的飞速发展为人类社会生活带来了天翻地覆的变化，机器代替 人类去完成一些简单而重复的工作，逐渐在日常生活中发挥越来越重要的作用。 随着技术的不断发展与需求的不断增长，人们逐渐希望利用计算智能( 也即是 人工智能) 代替人体去感知、理解和解释外界环境并作出相应的反应，使其能 够更多的服务于人。因此，计算机视觉虽然是一个新兴的研究领域，但其却在 近几十年内得到了迅猛的发展，其在计算机科学领域中也占据了不可或缺的一 部分。在当今社会，很多领域都涉及到计算机视觉技术的应用，可以预见，随 着研究的不断推进以及技术的不断进步，计算机视觉会逐渐代替人类去感知世 界，尤其是由于人类本身的限制而无法观测的场合，例如危险场景观测、不可 见物体的感知以及精确测量等等。由此可见，随着科学技术的高速发展，计算 机视觉的潜力和优越性必将越来越被人们认识并应用到生产生活中。 早在上世纪6 0 年代，人工智能领域内的一些专家就提出了“计算机有能力 看并非是一个高不可及的目标”这一论点，然而，很多最初认为很简单的 问题，即使在五十年后的今天仍然未能完全解决【2j 。计算机视觉是一个多学科 交叉的研究领域，这也是其研究难点所在，它所涉及的领域包括：计算机科学 与图形学、图像处理技术与模式识别、人工神经网络、心理学与生理学等，甚 至需要更高深的物理和数学理论基础，例如成像原理以及繁复的数学计算等等。 可见，计算机视觉技术的研究是极其复杂的。随着许多学者的倾力研究，主动 2 视觉【3 】【4 】、基于模型的视觉【5 以及多传感器技术7 心等相继兴起。这些研究不 仅在很大程度上推动了计算机视觉理论的发展，而且它们使得早期提出的病态 视觉计算理论转化为非病态理论，因此，许多以前未能解决的问题终于有可能 得到解决。更加令人振奋的是，随着研究的不断深入，计算机视觉理论终于在 各种场合得到较为普遍的应用。如医学辅助诊断、气象、灾害监测中的航拍、 工业机器人的手眼系统、军事上的精确制导、机器人和车辆的自主导航系统、 智能视觉监控系统、场景三维建模等。 进入2 1 世纪以来，尽管计算机视觉理论此前已经得到了飞速的发展，但其 还远未满足人们的期望，仍然存在许多困难亟待解决。这些困难严重阻碍了人 们将计算机视觉技术更多的应用于实际的期望，因此，计算机视觉的研究虽然 具有极大地挑战性，但其研究价值和发展空间之巨大仍旧促使人们不断投入到 它的研究中去【9 】。计算机视觉研究的难点之一则是在视频序列中对于运动目标 的检测与跟踪问题。 因此，本课题的研究一一运动目标的检测与跟踪，作为智能视频监控的基 础，有非常重要的理论意义，其应用前景也是极其广泛的。 1 2 课题在国内外的研究现状 随着计算机视觉技术的不断发展，智能视频监控技术也有了长足飞快的发 展。19 9 7 年，美国国防高级研究计划局( d a r p a ) 启动智能场景监视与监控系 统v s a m ( v i d e os u r v e i l l a n c ea n dm o n i t o r i n g ) ，该项目主要是由戴维s a r n o f f 研究中心、卡内基梅隆大学( c m u ) 、麻省理工学院( m i t ) 等著名公司和大 学联合研制成功的【l0 1 。其主要是针对人力所不能及的场所( 战场、高危场所等) 研制开发出的一种智能视频理解技术；1 9 9 9 年，美国马里兰大学( u m d ) 的 实时视觉监控系统一一w 4 系统，不仅能够实现对人体的定位、分割出人体的 各大部分、通过建立外观模型来实现对多人的跟踪，而且具有检测人是否携带 物体等简单功能】；麻省理工学院媒体实验室所开发的人体运动跟踪系统 p f i n d e r 可以在静态的复杂背景下较为准确的实时跟踪单个人，同时能够克服短 暂的光照变化、遮挡等因素的干扰而有效的跟踪目标i l2 j ；欧盟的e s p r i tv i e w s ( v i s u a li n t e r p r e t a t i o na n de v a l u a t i o no fw i d e a r e as c e n e s ) 项目，主要针对行人 和车辆进行跟踪和识别进行研究，通过对场景内目标的反常行为进行分析来识 别嫌疑犯，同时快速发出警报，其可以用来防范与识别公共场合内可能发生的 偷窃、斗殴、恐怖活动等行为，为公共安全提供良好的保障i l3 1 。 目前，美国、欧洲以及其他一些技术比较发达的国家已经将智能视频处理 系统的实验室研究转向实用的监控系统开发，将其应用到实际生活中，为人们 的生产生活提供便利。比较典型的有：美国0 b j e c t v i d e o 公司开发的视频分析 系统，其主要可以用于边境安检、入侵检测等，能够对行为进行分类，还可用 于可疑人员逗留、物品遗留和异样物体检测等；以色列n i c e v i s i o n 公司的视频 分析仪，能够实时侦测不同的威胁，例如入侵者、被遗弃的行李和包裹、周边 设施监视、安全出入口阻塞检测或消防路线检测、盗窃侦测、安全设备被移动 检测、显示人群聚集以及人流计数等；最具有代表性的是m a t e 公司的产品 b e h a v ew a t c h ，其主要针对目标行为进行分析，目前已经可以对六种异常行为 进行检测，如路径检测、定向运动检测、突然出现报警等，并提出了三层防护 的概念13 1 。 尽管国外的研究已经达到了比较成熟的阶段，但由于我国科学技术研究的 发展起步较晚，因此，对于智能视频监控技术的研究仍处于初级阶段，无论是 理论研究还是实际应用，与国外还有一定的差距。目前模拟视频监控仍旧占据 着市场上的很大一部分，在实际的监控场合中一般靠工作人员的监视来实施监 控，智能监控系统在监控领域所占比例比价小。因此，国内的许多高校和研究 机构已投入了大量的精力和时间，对此领域展开了广泛而深入的研究。其中中 科院北京自动化研究所模式识别国家重点实验室n l p r ( n a t i o n a ll a b o r a t o r yo f p a t t e r nr e c o g n i t i o n ) 是研究最为广泛和深入的代表性机构，其研究领域包括对 人的行为分析、交通事件分析、生物特征识别、医学图像分析等等，并取得了 许多可喜的科研成果。此外，国内的各个高等院校也对该领域做了大量的研究， 如上海交通大学、浙江大学等等。 除了实验室研究，在监控系统的实用性方面，国内也已经有了非常好的起 步。比较典型的有：北京全球鹰监控科技有限公司推出的安防智能视频监控技 术系统，其已经实现无人看守监控，自动分析图像中的情况，并能够瞬间与移 动通讯设备连接，以声音、闪光、短信、拨叫电话等方式报警，同时对警情拍 照和录像。北京博睿视科技所研发的b v g a r 3 0 2 0 n t 智慧视频分析仪，通过 采用d s p 嵌入式技术和h 2 6 4 视频编码技术，已实现了区域入侵检测、遗留物 品检测等功能；杭州海康威视开发的交通监控系统，可以清晰准确的识别出行 驶中车辆的车牌；除此之外，还有很多家企业致力于嵌入式智能视频产品的开 发研究，并且推出了一些智能监控系统的产品。 综上所述，对于智能监控系统领域的研究，由于国外开展的较早，而且相 关科技发达，因此无论是理论研究还是实际应用都已经步入正轨，趋于完善； 而转观国内，由于起步较晚，相关科学技术还有待发展，所以无论在理论研究 还是在实际应用方面都有待提高。尤其是实际应用方面，由于人们对于智能视 频监控的观念还有待提高，尽管一些科技公司已经推出了一些智能监控产品， 但其市场占有率仍不高。因此，国内的视频监控领域的研究还有很大的发展空 间，需要我们借鉴国外已有的研究来不断弥补国内相关研究的不足。 1 3 智能视觉监控的关键技术 智能视频监控的最基础、最关键技术在于运动目标的检测与跟踪，下面主 要对这两个方面进行初步的介绍。 4 1 3 1 运动目标检测技术 所谓运动目标检测，是指从视频图像中提取出运动目标以及其相关信息。 静态场景下的运动目标检测是指摄像机处于静止状态，对其视野里的运动目标 进行检测并提取出来的过程。其方法主要分为三大类：即背景差分法【1 4 】【15 1 、帧 间差分法【1 6 】及光流场法【1 7 】【18 1 。 ( 1 ) 背景差分法( b a c k g r o u n ds u b t r a c t i o n ) 的主要思想：利用一定的方法 建立监控场景的背景，将待检测图像与背景图像进行差分，之后利用设定好的 阈值将背景与图像分离开，即可得到运动目标【1 9 】。该方法原理比较简单，因此 运算速度很快，能够较为完整的分割出运动目标。但在实际的监控场景中，由 于外部光照的变化以及场景中的某些背景会发生改变，这直接影响到背景的真 实性。因此，难点在于如何建立一个与实际背景相似的背景以及其更新 2 0 1 。 ( 2 ) 帧间差分法( t e m p o r a ld i f i e r e n c e ) 的主要思想：首先选取视频图像 序列中的几帧图像，然后进行差分运算，差分后绝对值比较大的像素点集合即 是运动目标。该方法计算简单，运算速度快，但是当运动目标运动范围较小， 检测就比较困难，其检测出来的目标往往只是实际目标的边缘部分，并且易受 噪声影响。 ( 3 ) 光流场法( o p t i c a lf l o w ) 的主要思想：它是利用目标光流场的差异 来实现运动目标检测的一种方法【2 1 | 。光流场是一个二维矢量场，表征了图像灰 度模式的速度场，包含了每个像素点的瞬时运动速度矢量。光流场法通过建立 两帧图像速度场与灰度场之问的关系来检测运动目标。光流场法主要是通过引 入光流约束方程，近似计算出序列图像中的运动场，通过运动场提取出运动目 标。该方法可以检测出完整的运动目标，但是仍然存在着很多问题，如光流约 束方程并非严格成立、光流的计算比较复杂且极易受到噪声影响等，因此光流 场法只适用于理论研究，在实际应用场合中很少使用。 运动目标检测技术是智能视频监控领域的研究热点与应用基础，具有极其 广泛的研究前景与应用价值。虽然目前已经取得了很多卓越的研究成果，仍有 许多问题需要解决。因此，国内外众多学者、各大院校及视频监控公司都对其 投入了大量的精力及资金，继续深入对该领域的研究。 1 3 2 运动目标跟踪技术 运动目标跟踪是指利用计算机视觉知识和视频分析技术对摄像机拍摄的图 像序列进行自动分析，在不需要人为干预情况下，对场景中已检测到的目标进 行定位、识别和跟踪，确定其运动轨迹并最终获取其状态信息，以便在异常情 况发生时及时作出报警或相关反应。目标跟踪技术是后续的各种高级处理，如 目标行为分析、行为识别以及行为理解等高层次的视频处理和应用的基础。其 实质是在连续帧视频图像之间对目标进行基于位置、色彩、纹理、形状和速度 等特征的匹配。常用的数学工具有卡尔曼( k a l m a n ) 滤波器、贝叶斯网络( b a y e s ) 方法大致可以分为四类：基于区域匹配的跟踪方法、基于模型的跟踪方法、基 于动态轮廓的跟踪方法和基于特征的跟踪方法。 ( 1 ) 基于区域匹配跟踪方法的主要思想：该方法主要是将包含运动目标的 运动区域作为参考模板1 2 引，在下一帧图像中按照一定的搜索方法搜索模板，找 到的最优搜索区域判定为匹配区域。该方法在理论上是十分有效，其可以获得 丰富的目标信息，对小目标跟踪效果好；但是当搜索范围较大时，目标匹配会 花费大量的时间，而且如果目标发生变化或者被遮挡时，跟踪效果会大大下降。 ( 2 ) 基于模型跟踪方法的主要思想：该方法通常会使用三种模型进行目标 跟踪：线图模型、2 d 模型、3 d 模型【23 1 。在实际的应用中，由于3 d 模型更接近 现实生活中的物体，使用最多的是基于3 d 模型的跟踪方法，特别是针对刚体( 如 汽车、飞机等) 的跟踪。概括来说，跟踪的方法如下：利用获得的目标3 d 模型， 然后针对实际的视频序列进行目标的搜索与匹配。在实际的跟踪环境中，3 d 模 型的运算量很大，而且获得所有目标的3 d 模型并全部存储是一项几乎不可能的 任务，因此该方法的实际应用比较少。 ( 3 ) 基于动态轮廓跟踪方法的主要思想：该方法主要是指对目标的轮廓进 行提取，即用一组封闭的轮廓曲线来描述目标，将其作为匹配的模板。此轮廓 曲线能进行自我更新以适应非刚体目标的形状变化1 2 引。例如p a r a g a n 等人利用短 程线的轮廓，加入水平集理论检测并跟踪目标【25 j ；最经典的算法是m i c h a e lk a s s 等人在19 8 8 年提出的主动轮廓模型( 即s n a k e 模型) 的方法【26 | ，其本质是能量 的最小化。通过不断求解轮廓曲线能量函数的最小值，不断调整其形状，从而 实现对目标的跟踪。该方法在简单背景下，能够准确的进行目标跟踪。但其对 于背景复杂情况以及速度较快或形变较大的目标，运算速度很慢，而且对于遮 挡问题的解决不是很好，因此很少应用于实际的监控系统中。 ( 4 ) 基于特征的跟踪方法的主要思想：该方法主要是通过提取目标特定的 特征集合，如角点或边界线条等【2 ，将其作为跟踪模板，在下一帧中搜索并进 行帧间的匹配，从而实现目标的跟踪1 2 8 1 。改算法的优点在于其是以目标特征为 基础，因此，在目标的整体特征不完整，即目标被部分遮挡的情况下仍然可以 实现跟踪。该方法是目前应用最多的一种方法。 1 4 课题的研究内容与论文结构安排 运动目标检测与跟踪是智能视频监控领域的基础与前提。本文主要是针对 静态场景下的运动目标检测与跟踪，通过不断的研究和学习，找到更好的运动 目标检测与跟踪方法。 本文对目前常用的目标检测与跟踪方法进行了原理介绍与性能分析，并在 前人的基础上提出了自己的解决方案，且与原有的基于混合高斯模型的目标检 测方法以及基于基于码本模型的目标检测进行了比较。在运动目标跟踪方面采 用基于k a l m a n 预测的m e a ns h i f t 方法，同时加入了信息量度量的方法，使得 6 运动目标模板可以自适应调节大小，从而更好的跟踪运动目标。 本论文的结构安排如下： 第一章：简要阐述了本课题的研究背景、研究意义以及概况等。主要介绍 了智能视频监控系统的基本概念以及计算机视觉的基础知识，对运动目标检测 与跟踪的经典方法进行了概述。 第二章：详细介绍了目前常用的运动目标检测方法，总结了各个算法的优 缺点，介绍了目标跟踪的基本知识，并对常用方法进行了简单的介绍。 第三章：分析了目前运动目标检测算法所面临的主要问题，提出了一种基 于像素值聚类的背景建模与运动目标检测方法，详细介绍了该算法的实现过程， 并与前面的方法进行了比较。 第四章：针对现有跟踪算法的问题，提出了一种基于k a l m a n 预测的改进 m e a ns h i f t 跟踪方法。选取检测目标的灰度直方图作为匹配模板，并引入信息量 度量的概念，使得模板自适应改变大小，通过m e a ns h i f t 算法搜索匹配最佳模板， 并利用k a l m a n 预测目标的位置，缩小搜索范围，从而提高运算速度。 第五章：对本课题的研究内容进行了总结，并对未来工作进行了展望。 第2 章运动目标检测与跟踪方法的研究 运动目标检测( m o v i n go b j e c td e t e c t i o n ，m o d ) 是指实时观测、定位序列 图像中感兴趣的运动物体，并将其从图像中提取出来的一种方法。运动目标检 测是一个复杂而重要的课题，涵盖了数字视频分析、数字图像处理等技术以及 统计、几何、随机过程等复杂的数学理论。“运动目标检测与跟踪”作为计算机 视觉的核心问题，是一个富有挑战性的研究方向，同时也是近年来学术界争相 研究和应用的热点问题【2 8 】【2 9 1 。 自2 0 世纪6 0 年代初开始，运动目标检测与跟踪技术的研究就得到了学术 界和相关应用部门的高度重视，但由于当时技术水平的限制，其研究一直未得 到很好的发展。直到上世纪8 0 年代，超大规模集成电路技术、微处理器技术以 及各种复杂算法都得到了高速的发展，而且随着人类对自身视觉系统认识的不 断深入，人们也正不断地将运动目标检测的理论研究逐步转向实际应用中。近 年来，随着现代生活、工业和军事的不断发展，人们对运动目标检测的研究需 求更为显著，如智能视频监控、车流量统计、以及军事上的a t r ( a u t ot a r g e t s r e c o g n i t i o n ，自动目标识别) 系统等。这些需求促使着国内外学术界和工程界 不断加大对其投入和研究，以满足人们的应用需求。运动目标检测一般可分为 两类：静态场景下的运动目标检测和动态场景下的运动目标检测，即摄像机静 止，物体运动的情况( s t a t i o n a r yc a m e r a ，m o v i n go b j e c t ，s c m o ) ；摄像机运动， 物体运动的情况( m o v i n gc a m e r a ，m o v i n go b j e c t ，m c m o ) 。 根据前人对运动目标检测的研究成果可以得知，一个好的检测算法必须能 够适应不同的环境，其特征可以总结如下： ( 1 ) 能够适应环境的缓慢变化( 如光照的渐变等) ； ( 2 ) 能够适应场景中个别物体持续的干扰( 如摆动的钟摆、摇摆的树枝、 水面的波纹等) ； ( 3 ) 对复杂的背景和多目标仍旧有效； ( 4 ) 检测的结果满足后续处理的需要( 实时性和准确性) ； 本文所研究的是静态场景下的运动目标检测s c m o 以及跟踪。现在先介绍 运动目标检测方法，以下将分别介绍帧差法、光流场法及背景减法三种方法 的主要思想和步骤。 2 1 帧间差分法 2 1 1 帧差法的基本原理 帧差法是常用的运动目标检测与分割方法之一。我们可以认为视频监控图 像是监控的三维世界向二位图像的投影，根据经验可知，在运动目标进入场景 中时，它必定是逐渐进入的，而并非突然出现或突然消失【3 。视频序列具有连 续性的特点，即前后两帧的图像也不会有突变。因此无论运动目标在场景内出 现或者消失的情况下，相连两帧图像的变化并不大；帧差法正是借鉴这一思想 进行目标检测的。 帧间差分法可以分为相邻帧差法和非相邻帧差法。相邻帧差法即是将当前 帧与其后相邻的图像进行差分运算，而非相邻帧差法是指当前帧与其后n 帧进 行差分。将不同帧图像上对应的像素点像素值相减，得到的灰度差与设定的阈 值进行比较，满足一定的条件即可判定为运动目标，这样就可以运动目标在背 景中分离出来。下面以相邻帧差法为例进行介绍： 图2 1 两帧差分法原理图 一般我们所指的差分法即是两帧差分法，其原理很简单，如图2 1 所示。图 中的f n 矛l l f n 1 分别表示视频序列中的连续两帧( 第n 帧和第n 一1 帧) 图像，其对 应的像素点分别表示为f 。( x ，y ) 和f n - i ( x ，y ) ，t 是指区分差分图像中物体是否为运 动目标的阈值。对于两幅图像中的每个像素点按照式2 1 对应相减，并取其差值 的绝对值，从而得到两帧图像的差分图像d 。( x ，y ) 为： d 。( x ，y ) = if ，( x ，y ) 一f 。( x ，y ) i ( 2 1 ) 设定阈值t 并按照式2 2 对差分图像中的每个像素点进行二值化处理，即如 果d 。( x ，y ) 大于阈值t 则其为运动目标，将其标记为l ；反之为背景，设定其值为0 。 二值化处理后的到的图像为r 。，再对其进行连通域分析，合并分裂的运动目标， 去除小噪声，即可得到完整运动目标的图像r 。 e ，化加臀5 5 眈翟抖 亿2 ， 除了两帧差分方法外，还有学者提出了三帧差分法1 3 1 | 。这主要是因为两帧 差分法只适用于目标运动较为缓慢的场景，当目标运动较快时，其在连续两帧 上的位置差别会比较大，这导致两帧差分得到的目标并不完整。三帧差分法的 提出很好的解决了这一问题。其运算原理如图2 2 所示： 图2 2 三帧差分法原理图 图中的fn - 1 、f ”fn