（信号与信息处理专业论文）水下视频目标检测算法研究.pdf

山东大学硕士学位论文 摘要 2 l 世纪是海洋的世纪，联合国( 2 1 世纪议程指出海洋是全球生命支持系统 的一个基本组成部分，也是一种有助于实现可持续发展的宝贵财富。研究海洋生 物对人类发展有着非常重要的作用。而海洋生物纷繁复杂，且海底世界更是深不 可测，给人类研究海洋带来了困难。目前，人们对海底生物的了解大部分都是通 过水下摄像头装置或水下机器人拍摄的视频获知的。人工处理这些视频往往需要 数月至数年。因此对水下生物的检测、跟踪和分类的研究成为当前的热点。 近年来运动目标检测在机器人控制、自动车辆导航、人机接口、医学成像、 视频监控等多方面都有非常广阔的应用前景。随着科技的进步，各种新技术也被 应用到各种复杂环境下的目标检测，但是迄今为止还没有一种算法能够适用于所 有情况。尤其是在摄像机运动情况下更没有一种统一的算法适合摄像机的各种运 动形式，而且目标的运动中还夹杂着由摄像机运动导致的背景运动，更不好区分 前景与背景。而目标检测是目标跟踪分类等的基础，检测效果不好，会给后续理 解分析目标带来很大影响。因此研究一种鲁棒性好、精确、高性能的目标检测算 法仍具有很大挑战性。 本研究中处理的视频是拍摄于海底的海蜇视频。其中的海蜇跟我们平常所见 到的并不一样，它不仅体积小，而且头部和尾巴部分亮度也不一致，颜色单一， 并且随着摄像头的运动和光照的变化他们也在不断变化，甚至人眼也难以分辨。 针对以上特点，本文在回顾前人工作的基础和分析和实验传统目标检测算法 的基础上，指出仅仅简单地利用背景减法、时间差分法和光流法等传统检测算法 来处理海底视频是不理想的，必须充分利用目标的时空信息。本文在回顾前人工 作的基础上，对海底视频中的某一种生物( 海蜇) 的检测算法进行研究，提出了 两种新检测算法，解决检测目标的不完整和漏检、错检问题。 本文首先深入分析了视觉注意模型中显著性图的亮度、颜色、方向等通道的 构成，并将其应用到目标检测中，计算图像的灰度、方向、中心矩等信息，得出 基于背景差分法和显著性图理论相结合的目标检测算法。先对背景进行建模，然 后计算当前帧减去背景后的各通道显著性图，最后综合各显著性图并利用单帧视 山东大学硕士学位论文 频中目标的最大个数判断目标是否出现，稳定了检测系统。实验表明该算法能很 好地检测出视频中不清晰的目标，为进一步处理目标如跟踪和分类提供了方便。 由于所研究的视频是在摄像机一直往前运动的情况下拍摄的，具有摄像机运 动的特殊性。在此情况下视频中具有膨胀中心( f o c u so f e x p a n s i o n ，f o e ) 这一 个特殊点。结合该特殊性和视频中目标特点提出了基于k - f o e 的残差图和环形分 割的目标检测算法，该算法给出一种应用k a l m a n 滤波器估计f o e 点精确位置的 计算方法，并利用精确f o e 点计算残差图得到初始目标模板。然后根据目标中心 距f o e 的距离不同设定不同阈值，更新目标模板，更好地分割目标与背景。 2 关键词：目标检测；显著性图：背景更新；差残图；f o e 山东大学硕士学位论文 曼皇! 皇! 曼鼍鼍, = ,i i i i 鼍皇毫! 皇曼曼曼皇皇皇詈詈量毫 a b s t r a c t 21s tc e n t u r yi st h ec e n t u r yo fo c e f l n t h eu n i t e dn a t i o n s ”a g e n d a2 1 ”s u g g e s t s t h a tt h eo c e a ni sa l le s s e n t i a lc o m p o n e n to fag l o b a ll i f es u p p o r ts y s t e ma n dav a l u a b l e a s s e tf o ra c h i e v i n gs u s t a i n a b l ed e v e l o p m e n t s t u d y i n gm a r i n eo r g a n i s m sp l a y sav e r y i m p o r t a n tr o l ei nh u m a nd e v e l o p m e n t i tm a k e so c e a ns t u d yd i f f i c u l tt h a tt h em a r i n ea n d t h eu n d e r w a t e rw o r l da r eu n f a t h o m a b l e a tp r e s e n t , p e o p l e su n d e r s t a n d i n go fm a r i n e l i f ei sa l m o s tt h r o u g hv i d e o st a k e nb yu n d e r w a t e rc a m e r a sf i x e do nd e v i c e ss u c ha s a u t o n o m o u su n d e r w a t e rv e h i c l e si n s t e a do ff i s h i n gn e t s i tc a nc o s ts e v e r a lm o n t h st o s e v e r a ly e a r st om a n u a l l yp r o c e s st h e s ev i d e o s t h e r e f o r e ，t h ed e t e c t i o n , t r a c k i n ga n d c l a s s i f i c a t i o no fu n d e r w a t e rc r e a t u r e si sac u r r e n th o ts p o t m o v i n gt a r g e t sd e t e c t i o nh a sa l li m p o r t a n ta p p l i c a t i o np o t e n t i a li nm b o tc o n t r o l ， a u t o n o m o u sv e h i c l en a v i g a t i o n ，m a n - m a c h i n ei n t e r f a c e ，m e d i c a li m a g i n ga n dv i d e o m o n i t o r i n g w i t ha d v a n c e si nt e c h n o l o g y , av a r i e t yo fn e wt e c h n o l o g i e sh a v eb e e n a p p l i e dt ot a r g e td e t e c t i o ni nm o r ec o m p l e xe n v i r o n m e n t s b u ts of a r , n oa l g o r i t h mi s a p p l i c a b l et oa l lc a s e s e s p e c i a l l yi nt h ec a s eo fc a m e r am o t i o n , n ou n i f o r mm e t h o dc a n t a c k l ea l lk i n d so fc a m e r am o t i o n i na d d i t i o n , n o to n l yt a r g e tm o t i o n , b u ta l s o b a c k g r o u n dm o t i o nc a u s e db yc a m e r am o v e m e n t 啪l e a dt od i f f i c u l t yt oe x t r a c tt h e f o r e g r o u n df r o mt h eb a c k g r o u n d h o w e v e rt a r g e td e t e c t i o ni st h eb a s i so f t a r g e tt r a c k i n g a n dc l a s s i f i c a t i o n , a n dd e t e c t i o nr e s u l t sw i l lh a v eag r e a ti m p a c to no b j e c t i v e u n d e r s t a n d i n ga n da n a l y s i si nt h ef o l l o w i n g u pp r o c e s s i n g s oi ti sag r e a tc h a l l e n g et o w o r ko u tar o b u s t , p r e c i s ea n dh i g h - p e r f o r m a n c em o v i n gt a r g e t sd e t e c t i o na l g o r i t h m j e l l y f i s hi nu n d e r w a t e rv i d e o sa r es t u d i e d i ti sah a r dp r o b l e mb e c a u s et h e ya r e s m a l l ，诚t l li n c o n s i s t e n tb r i g h t n e s sf r o mt h el l e a dt ot h et a i l ，a n dc a p t u r e db ym o v i n g c a m e r a t h eh u m a n e y e c a ne v e nh a r d l yd i s t i n g u i s ht h e mf r o mt h es e aw a t e r b a s e do nr e v i e w i n gt h ep r e v i o u sr e s e a r c h , a n dd o i n gr e s e a r c ho nan u m b e ro f d e t e c t i o na l g o r i t h m sa n dt h e i ra p p l i c a t i o n s ，w ep r o p o s e st w on e wd e t e c t i o na l g o r i t h m s t od e a l 、忻t l ld e t e c t i o nf a i l u r eo rf a u l td e t e c t i o nb e c a u s eg o o dr e s u l t sc a n n o tb eo b t a i n e d b yo n l yu s i n gc o n v e n t i o n a lm e t h o d s f i r s t l y , t h ep r i n c i p l eo fi n t e n s i t yc h a n n e l ，c o l o rc h a n n e la n dm o m e n tc h a n n e lw h i c h 3 山东大学硕士学位论文 i i c o n s t i t u t et h es a l i e n c ym a pi sa n a l y z e di n d e p t h , a n dt h e ni ti sa p p l i e di nt a r g e t d e t e c t i o n 、柝mc e n t r a lm o m e mi n s t e a do fc o l o r t h u si tt u r n so u tan e wt a r g e td e t e c t i o n b a s e do nb a c k g r o u n ds u b t r a c t i o na n ds a l i e n c ym a p t om o d e lt h eb a c k g r o u n d , t h e a v e r a g eo fs o m ef r a m e sb e f o r et h ec u r r e n tf r a m ei sc a l c u l a t e d t h ew h o l es t a b l eo b j e c t d e t e c t i o ns y s t e mi se s t a b l i s h e d ，w h e r ea l lt h em a p sa l eo b t a i n e da n dt h ep r i o r i m a x i m u mn u m b e ro fo b j e c t si nas i n g l ef l a m ed e t e r m i n e sw h e t h e rt h et a r g e ta p p e a r e d e x p e r i m e n t ss h o wt h a tt h ea l g o r i t h mc a nd e t e c tt h et a r g e tt h a ti s n o ts oc l e a r t h a t p r o v i d e sc o n v e n i e n c ef o rf u r t h e rp r o c e s s i n gs u c ha st r a c k i n ga n d c l a s s i f i c a t i o n b e c a u s et h ev i d e oi sc a p t u r e dw h i l et h ec a m e r ai sm o v i n ga h e a d ，as p e c i a lp o 缸 c a l l e df o c u so fe x p a n s i o n ( f o e ) e x i s t s a n o t h e rn e wo b j e c td e t e c t i o na l g o r i t h mb a s e d o nk f o er e s i d u a lm a pa n dr i n gs e g m e n t a t i o ni sp u tf o r w a r d ak a l m a nf i l t e ri sa p p l i e d t op r e d i c tt h ea c c u r a t ec o o r d i n a t eo ff o et oc a l c u l a t et h er e s i d u a lm a p a n dt h e na d i f f e r e n tt h r e s h o l di ss e ta c c o r d i n gt ot h ed i f f e r e n td i s t a n c eb e t w e e nt h eo 巧e c tc e n t e r a n df o ea n di su s e dt ou p d a t et h eo b j e c tt e m p l a t e f o e 4 k e y w o r d s ：t a r g e td e t e c t i o n , s a l i e n c ym 印，b a c k g r o u n du p d a t e ，r e s i d u a lm a p ， m f r a o f s d e m s d e i m o s s e c m 。弱 a u v f o e k - f o e m o t i o nf i e l d 山东大学硕士学位论文 o p t i c a lf l o w 一1e s t i m a t i o n 符号说明 m u l t i p l e 一1e s t i m a t i o n i n d e p e n d e n t l ym o v i n go b j e c t s s t r u c t u r ee l e m e n t c o n s p i c u o u sm a p w i n n e rt a k e 灿l a u t o n o m o u su n d e r w a t e rv e h i c l e f o c u so fe x p a n s i o n k a l m a n - f o c u so f e x p a n s i o n s v d s i n g u l a rv a l u ed e c o m p o s i t i o n i n t e n s i t i e s c mi n t e n s i t i e sc o n s p i c u o u sm a p o r i e n t a t i o n s c mo r i e n t a t i o n sc o n s p i c u o u sm a p c o l o r c mc o l o rc o n s p i c u o u sm 印 运动场 滑动平均 光流 么估计 多么估计 独立运动目标 结构元素 显著图 赢者全胜 水下自治系统 膨胀中心 k a l m a n 一膨胀中心 奇异值分解 亮度显著图 方向显著图 颜色显著图 5 山东大学硕士学位论文 第一章绪论 1 1 课题研究的背景和意义 本课题来源于国际合作项目海洋生物( 海蜇或鱼类) 检测分类及多体至群 体目标的检测跟踪算法探索。 海洋工程产业未来发展前景广阔，有望成为今后很长一段时期内我国经济增 长和国民生产的一大亮点。最近，在中共中央关于制定国民经济和社会发展第 十二个五年规划的建议中，已经把海洋工程单列出来，作为战略性新兴产业加 以培育。而研究海洋生物的检测可为研究海洋生物的习性提供方便，也可在以后 开发利用海洋和发展循环经济中起重要作用。同时，海洋生物纷繁复杂，多种多 样，给我们研究海洋视频带来了很大的挑战性。 计算机视觉，作为信息技术领域的前沿课题之一，主要研究用计算机系统模 仿人类视觉系统处理外界信息。该课题的研究始于上个世纪六十年代，理论体系 形成于七十年代，由以m a r r 、b a r r o w 和t e n e n b a u m 等为代表的学者创型1 - 2 1 ，其 中以m a r r 建立的理论体系最为完善。计算机视觉理论体系的形成大大推动了计算 机视觉研究的发展【3 】。 当前，计算机视觉已经被广泛研究并应用于安全监控、工业检测、智能交通、 生命科学、仿生科学、反恐、军事等领域，并将向更多的领域延伸。相信计算机视 觉将在越来越多的领域给人类来带来方便。因此研究计算机视觉具有非常深远的 意义。 1 2 目标检测研究现状 l 目标检测含义 目标检测是计算机视觉中的一个重要而备受关注的研究内容，它利用模式识 别、计算机视觉、图像分析等知识检测图像中我们所感兴趣的内容，如人脸、车 辆、动物等。通常情况下，可分为单幅图像和序列图像的目标检测。运动目标检 6 一 山东大学硕士学位论文 测是检测图像中是否存在相对于整个场景运动的物体。通常来说，运动目标是我 们所感兴趣并且要进行关注的目标，在一个图像序列中它们将是后期行为分析和 理解的对象。目前这方面的研究大多集中在少数目标个体，如单个或者几个人、 车辆、鱼等的检测、跟踪、行为识别，以及人与车辆的交互行为等。2 0 0 7 年出现 了对群体目标检测的研究【4 】。 2 主要应用领域 目标检测可自动地检测场景中我们感兴趣的目标，在许多领域有广泛的应用， 尤其是应用在各部门的监控系统中，例如：公安部门监控可查看犯罪分子的行为； 交通监控可查看铁路、公路、飞机场等人客流情况；公共场所的监控可查看超市、 银行、停车场等运营情况；工程产线的监控可查看机器零部件的工作情况；人体 行为监控可查看赛程中的多个运动员的状态；国防监控可查看外敌入侵者等。这 些应用节省了大量的人力、物力，提高了人类的智能化水平，方便了人们的生活。 3 国内外研究现状 在运动目标的检测和跟踪方面，每年都有不少国际权威期刊，如i j c v ( i n t e r n a t i o n a lj o u r n e yo fc o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g e u n d e r s t a n d i n g ) 、p a m i ( i e e et r a n s a c t i o n s o np a r e ma n a l y s i sa n dm a c h i n e i n t e l l i g e n c e ) 、i v c ( i m a g ea n dv i s i o nc o m p u t i n g ) 和重要的学术会议，如i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、c v p r ( i e e ec o m p u t e rs o c i e t y c o n f e r e n c eo nc o m p u t e rv i s i o na n dp a r e r nr e c o g n i t i o n ) 、e c c v ( e u r o p e a n c o n f e r e n c eo nc o m p u t e rv i s i o n ) 、i w v s ( i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a l s u r v e i l l a n c e ) ，都发表关于检测和跟踪的论文。i j c v 和p a m i 在2 0 0 0 年出版了关 于视觉监控的专刊。加利福尼亚的d i r kw a l t h e r ( c a l i f o r n i ai n s t i t u t eo ft e c h n o l o g y p a s a d e n a , c a l i f o r n i a ) 与m o n t e r e yb a ya q u a r i u mr e s e a r c hi n s t i t u t e ( m b a r i ) ( 蒙特 雷湾水族馆研究所) 合作研究了海底视频海蜇的检测跟踪和分类【5 1 。另外，国际上 许多著名高校和研究所，如m i t 、c m u 、m e r l 等都设有相关的研究小组。在国 内东南大学、上海交通大学、山东大学和中科院自动化所等也都有相关课题组从 事运动目标检测与跟踪方面的研究。此外，一些基于运动目标检测与跟踪的系统 也被开发并应用，如c m u 和戴维s a r n o f f 研究中心研制的v s a m 监控系统， m a r y l a n d 大学的w 4 监控系统等。 7 山东大学硕士学位论文 4 当前的主要方法 就目标检测的方法而言，可总分为两大类：单帧图像目标检测和序列图像目 标检测。运动目标检测根据不同的依据有多种分类方式，如下表。 表1 1 运动目标检测分类 分类依据包含类别 被监控场景室内检测算法、室外检测算法 具体使用算法连续帧问差分法、背景差分法、光流法 静态背景下运动目标检测算法 背景是否运动 动态背景下运动目标检测算法 本文研究的视频是由在水下运动的摄像机拍摄的，具有动态背景的运动目标 检测算法。该算法将单帧目标检测算法和序列图像目标检测理论结合应用。 ( a ) 单帧图像目标检测 单帧图像目标检测主要是应用颜色、纹理、形状等先验的二维信息来检测单 幅静态图像中的目标，如手势、人脸、姿态、车牌、文本等。检测的效果取决于 对目标和背景特性的鉴别能力。单帧图像中目标检测主要是利用图像中的某些信 息对图像进行分割，方法及特点总结如下表： 表1 2 单帧目标检测方法定义及代表算法 单帧目标检测 定义代表性算法 方法 利用目标与背景灰度差异， 基于灰度阈值将图像中每一像素点视为目 直方图分析方法 6 1 、最大类间方 的目标分割方标与背景两类不同灰度级的 差法7 1 、最大熵分割法 法组合，选取合适阈值，分割 目标与背景 基于边缘信息检测图像中狄度值的剧烈变 s o b e l 和l a p l a c i a n 等经典算子 的图像分割方化，一般适用于重要特征附 法、多尺度方法【& 1 0 l 、最优算子 法近不能形成闭合轮廓的情况法【1 4 】、自适应平滑滤波方法1 5 】 8 ( b ) 序列图像目标检测 山东大学硕士学位论文 一般情况下，我们对序列图像中的运动目标感兴趣，所以对于序列图像中的 目标检测一般指图像序列中的运动目标。而运动目标不仅有在单帧图像中颜色、 纹理、形状等信息，还有时间和空间上的运动信息。所以对运动目标的分析必须 联合时空两种信息。实际上，我们通常研究的目标不是随意的，而是具有时空连 续性的受时空约束的。序列图像目标检测方法总结如下表： 表1 3 序列图像目标检测方法定义及代表算法 序列图像目标 定义代表性算法 检测方法 基于变换的利用某种形式的变换来实现 f f t 方法、快速h a r t l e y 变换 ( f h t ) 方法、g a b o r 变换方法【1 6 】、 方法目标检测 h o u g h 变换方法h 刀 基于像素分析根据图像中像素灰度模式的 帧差法、相关算法【1 引、光流法 的方法 变化实现运动目标的检测 基于特征检测提取目标特征计算特征之间 基于1 l s t a i 和t s h u a n g 提出的 利用两帧图像中多个对应几何特 的方法的相关性 征点的代数解法【1 9 1 5 存在的难题 虽然许多研究者做出了大量努力，提出了多种运动目标检测方法，但在运动 目标检测方面仍存在着许多问题： ( 1 ) 没有找到一种通用的方法适合所有场景； ( 2 ) 许多检测方法对环境( 如光照、天气) 等敏感： ( 3 ) 无法区分叠加的运动目标； ( 4 ) 算法的实时性不高； ( 5 ) 不能完整地提取掺杂背景运动的运动目标。 6 水下视频特点分析及研究现状 本研究针对如何检测海底视频中的海蜇进行了研究，该视频具有以下特点： 该视频的主要特点是：视频中有大量海水，颜色为单一的浅蓝色，目标与 杂质颜色均不明显，背景比较单一； 9 山东大学硕士学位论文 某些完整目标，从头到尾，亮度不一致，如头部较亮，尾巴部分与背景相 比不明显，甚至人眼几乎难以分辨； 视频中的目标尺寸有大有小，一部分海蜇有较长的尾巴，另一部分则形如 小的圆形； 从运动状态看，目标与杂质基本一致； 摄像机一直往前移动，干扰目标。 此处，在数字图像和计算机视觉领域，对水下目标检测的研究都是基于前面 提到的单帧图像目标检测的算法和序列图像目标检测算法。 1 3 本文的创新与内容 1 3 1 本文的创新 本文主要有以下几点创新： l 深入分析了显著性图的基本理论。详细阐述了显著性图各个通道的计算过 程和主要步骤，尤其对颜色通道做了讨论，最后用不同图像验证分析显著性图理 论，得出针对不同的图像应选用不同的特征分析，以便得到更好的效果。 2 提出了基于传统背景差分法和显著性图理论的水下目标检测算法。针对海 底视频特点，采用时空结合的方法，首先对背景进行建模，然后应用显著性图理 论得到该视频的显著性图，从而更好地将目标分割出来。利用单帧视频中目标的 最大个数判断视频中是否有目标存在，取代了神经网络非常耗时计算。 3 结合摄像机运动状态和视频中的目标特点，提出了一种基于残差图和环形 分割的算法。因为视频中目标较小且没有复杂的背景，所以每帧图像中可利用的 特征点较少，故应用全局速度估计f o e 点并用k a l m a n 滤波器对其进行精确预测， 然后估计出摄像机的运动并计算残差图。再利用目标与f o e 点的距离选取不同的 阈值分割目标与背景。该种方法只适用于目标较小且摄像机一直向前运动的情况。 1 0 1 3 2 本文的内容 本文主要是检测水下视频中的海蜇。该视频是由运动在水下的摄像机拍摄的， 山东大学硕士学位论文 鼍鼍鼍! ! ! ! 曼皇曼! 皇! 皇! 皇鼍皇苎! ! ! ! ! 詈皇曼皇詈皇曼詈苎曼曼! 曼鼍! ! 曼! 暑詈鼍詈! 皇! 詈鲁詈鼍曼h i , 皇曼曼兰皇置! ! 皇曼皇詈鼍曼! ! 鼍皇曼曼! ! ! ! ! 曼詈皇 视频中的海蜇与我们平时在陆上所见海蜇并不相同，具有目标小、亮度不均、肉 眼也难以分辨的特点，甚至背景的运动也掺杂在海蜇的运动中，给我们检测海蜇 带来了很大的困难。此处首先分析运动目标检测常用算法，后提出两种适用于本 视频的目标检测方法：第一，用背景差法，并结合单帧图像目标检测理论即显著 性图理论来检测水下弱小目标一海蜇；第二，运用摄像机运动特点和残差图理论 检测海蜇。 本文共分为五章，每章内容安排如下： 第一章简要介绍课题研究的背景和意义，目标检测研究现状，以及本文所研 究的视频的特点和内容与创新。 第二章概括当前静止背景和动态背景下运动目标检测算法，主要讨论自适应 背景差法。 第三章在显著性图理论的基础上，提出了一种应用背景差分法和显著性图理 论的海底目标检测算法，该方法能很好地检测水下弱小目标。 第四章应用计算机视觉知识给出了一种估计f o e 位置的方法，并提出了一种 基于k k o e 残差图和环形分割的水下目标检测算法。 第五章回顾了本文所做的工作并展望下一步的研究。 山东大学硕士学位论文 第二章运动目标检测 视频中通常有两类区域，一类为变化区域，称为目标，往往是我们感兴趣的 区域；另一类为不变区域，称为背景。运动目标检测是从序列图像中将目标从背 景中分割出来，它判断视频图像序列是否有前景目标的运动，如果有则提取目标。 也就是说，运动目标检测，是一个对目标初始定位的过程。它是数字图像处理技 术和计算机视觉的一个主要部分，是智能视觉监控的第一步，位于整个视频监控 的最底层，对目标跟踪、分类、识别和行为分析等起着至关重要的作用。一般， 一个理想的运动目标检测应具有以下特征： ( 1 ) 适应各种场景：办公室、道路、超市等： ( 2 ) 适应各种天气：阴、晴、雨、雪、雾等； ( 3 ) 适应各种光线：光照强、光照弱、光照突变等； ( 4 ) 适应目标交叉重叠的情况：并行、交叉经过等； ( 5 ) 适应背景运动的干扰：树枝的摆动、波浪等。 实际应用中，大多监控系统的摄像头都是固定的，拍摄的视频中背景是不动 的。也有摄像机随着设备的运动而运动的，如自治导航系统等。根据拍摄的背景 与摄像头之间是否有相对运动，将运动目标检测算法分为两类：静态背景下的运 动目标检测和动态背景下的运动目标检测。 静态场景，就是摄像机固定在某处而拍摄的视频，动态场景是在摄像机运动 时拍摄的视频。前种情况下背景相对摄像头是静止的，只有目标在运动；后种情 况相对于摄像头，背景和目标都在运动。 下面在数学上推导运动目标检测方法。假设单幅图像和序列图像分别以二元 函数f ( x ，y ) 和三元函数f ( x ，y ，f ) 来表示，x ，y 分别为图像的二维坐标，t 为时间。 f 一1 和t 时刻分别对应f c x ，y ，t 一1 ) 和f ( x ，y ，) 。一般将时间t 离散化，用视频序列帧 数k 来表示。则f ( x ，y ，卜，1 ) 和f ( x ，y ，f ) 可表示为f ( x ，y ，k - 1 ) 和f ( x ，y ，七) 。假设t 一1 到f 时刻场景中有物体发生运动，那么f c x ，y ，k - 1 ) 和f ( x ，y ，七) 必不相等。若将静止 1 2 山东大学硕士学位论文 看做一种特殊运动，则背景与前景在这一段时间的运动肯定是不同的。运动目标 检测正是基于这种运动的不同来检测前景的。 2 1 静态场景下的运动目标检测 静态背景下的运动目标检测算法比较简单，主要克服传感器噪声、背景扰动、 光照变化等不利因素。按其原理主要分为三类：时间差分法 2 0 2 1 1 、背景差分法 2 2 - 3 3 1 、 光流法 3 4 - 3 6 l ，此外还有基于熵的方法 3 7 - 3 8 1 等。 2 1 1 时间差分法 如前所述，若有运动的目标，贝l jf ( x ，y ，k 1 ) 和f ( x ，y ，k ) 必不相等。在静态场 景下，这种不等就表征了目标的运动。时间差分法就是应用这种不等，来检测运 动目标。首先计算视频图像序列中连续两帧或三帧中对应位置像素的差值，再与 一定的阈值相比较，最后判断是否存在运动目标。如f ( x ，y ，k ) 表示第k 帧图像， f ( x ，y ，k f ) 表示第七一州l 贞图像，f 表示差分帧的间隔，通常由物体的运动速度确 定。首先根据式( 2 1 ) 计算第k 帧和第k f 帧图像的绝对差分，得到差分图像，然 后用某一阈值丁对差分图像二值化( 式( 2 2 ) ) ，大于该阈值设为1 ，为前景，否则 为零0 ，属于背景。 d ( x ，y ，k ) = l s ( x ，y ，七) 一s ( x ，y ，k f ) i ( 2 1 ) 卟烘炉托筹。班砷m ( 2 2 ) 其中，阈值丁根据经验设定，也可根据某些方法计算阈值，如类间方差阈值法 ( o s t u ) 、基于直方图的阈值法等。 该方法计算简单，实时性好。但是，对图像序列来说，它虽然充分利用了帧 间信息，但是忽略了帧内信息，导致某些缺陷( 如图2 1 ) ：( 1 ) 孔洞效应：当运动 目标存在大量颜色一致区域时，y ( x ，y ，七) 和厂( x ，y ，七一f ) 在相减的过程中，目标内 部相减为零，出现孔洞；( 2 ) 拉伸效应：检测出的目标比实际目标大，尤其是当 运动目标具有多帧运动信息时，该情况更明显。 1 3 山东大学硕士学位论文 ( a ) t - 1 时刻帧 c o ) t 时刻帧( c ) 帧差图像 图2 1 时间差分法的空洞效应和拉伸效应 对时间差分法存在的缺陷，不少人提出了改进算法，如三帧差法、结合边界 信息等。由于时间差分法运算简单，对于静止背景下的检测有一定效果，所以时 间差分法常常与背景差分法等方法结合使用，用以检测光线突变的情况【3 9 】。 2 1 2 背景差分法 背景差分法是目前最常用的一种方法。主要原理是创建场景的一个背景模型， 然后与当前输入图像相比较，从而得出运动目标。背景差分法主要适用于静止背 景下的运动目标检测，与时间差分法相比较，可以获得较完整准确的运动目标区 域。背景差分法检测运动目标有图2 2 几个关键步骤： i 预处理：滤波去噪卜 景，滑动平均背景l。i 一爪佐川 l 图2 2 背景差分法关键步骤 预处理主要是应用均值滤波、中值滤波、高斯滤波等多种方法对视频序列图 像进行滤波，去除噪声。 背景建模的方法有很多：如高斯背景模型，滑动平均背景模型等。 d ( x ，y ，七) = l 厂( z ，y ，七) 一召( x ，y ，七) i ( 2 3 ) s 似灿) = 仨署“烘d h ( 2 4 ) 式( 2 3 ) 和( 2 4 ) 是背景差分法的典型公式。b ( x ，y ，k ) 表示第k 帧的背景图像。由 当前帧与参考背景图像的差，得到差分图像o ( x ，y ，k ) ，然后将此差分图像二值化， 当差分图像中的k y ) 位置亮度值d ( 毛乃七) 大于某一阈值丁时，即认为该点为运动 1 4 山东大学硕士学位论文 点( 前景点) 。同理，s ( x ，y ，七) 与上一小节定义相同。 2 1 3 光流法 首先来了解一下运动场，看下面两图： 图2 3 光流表征运动场 5 习陌孵陶 享：# j f _ 十l ：卜- - -1 r r r i 1 1 。r r l i l 莘：莩l t j 十i 车：# i 卅i ：l ”t 卅洲l 上：上i 卅li - i f _ _ - - - _ _ - o l ：三叠蛐删 图2 4 光流与运动场不一致 当目标运动时，图像上会有像素值的改变。假设用运动向量表示图像上每个 像素点的运动，则所有的运动向量就构成了运动场( m o t i o nf i e l d ，) 。但是， 在图像亮度比较均匀的区域或亮度等值线上的点都不能唯一地确定该点的运动向 量，仅仅能观察到目标表现出了运动，称此为“表观运动 ，如图2 3 。光流( o p t i c a l f l o w ，o f ) 就是表示图像亮度模式的表观运动，它指二维图像平面特定坐标点上 的灰度瞬时变化率。光流场是一个速度矢量场，代表各像素瞬时运动速度矢量。 通常，光流场与运动场是没有太大区别的( 如图2 3 ) ，可用前者来估计后者。但 是也有不一致的情况，如图2 4 所示，表面上涂有斜线逆时针转动的圆柱体，真 实的运动轨迹是自左至右，而计算出的光流是自下而上的，光流场与运动场并不 相同。 h o r n 和s c h u n c k 3 4 】最先提出光流场。他们根据照度不变原理和平滑约束条件， 利用图像上所有像素点建立方程，然后利用数学方法( 如：高斯若当消去法 1 5 山东大学硕士学位论文 ( g a u s s - j o r d a ne l i m i n a t i o n ) 、高斯一赛德尔( g a u s s s e i d e l ) 迭代法) 等求解方程组， 得到光流值，进一步得到运动区域。 近年来，在光流的研究方面又有许多创新，如将光流算法分为基于梯度、基 于匹配、基于能量、基于相位等几类 3 5 1 。经典的l u c 嬲k 觚a d e 【3 q 可以用来计算旋 转目标的光流。其原理是引入了局部差分法的概念，假设在一个小的空间邻域上 运动矢量保持恒定，然后使用加权最小二乘法估计光流。但是这些改进的方法仍 然不能解决光流运算量大的问题，造成当前很多硬件不支持，所以光流法很少在 实时监控系统中采用。 光流携带大量的运动信息，不同的运动区域有不同的光流场，同一目标的光 流近似或规律近似，不同目标的光流有较大不同。所以可采用最小相似性规则的 聚类分析等方法，利用光流检测运动目标。 此外，某些情况下，有些景物丰富的三维结构信息也包含在光流中，为估计 摄像机的运动提供了方便。但是光流也存在孔径问题和遮挡问题，在噪声较多或 目标与背景对比度很小时会有很多误检。 2 1 4 基于时空熵的方法 视频图像序列中，每个时刻每幅图像任何位置的像素都可能发生变化，也就 是说任何一点的值都是不确定的。则可以利用这种不确定性判断每一像素是否属 于运动目标。衡量不确定性的度量就是熵。这就提供了目标检测的另一种方法： 基于时空熵的方法。该方法先计算以每个像素为中心的时间和空间上的差分图像 像素( 或所有像素) 组成的统计空间的熵，然后将此熵与设定的阈值相比较，若 大于该阈值则为前景点。 2 2 动态场景下的运动目标检测 2 2 1 摄像机的运动模型 摄像机的基本运动一般有升降、左右平移和推拉运动，对应的镜头运动有竖 扫、平扫和缩放，此外还有各个运动的组合( 如旋转) 等。下面参照文献【4 0 】定义 1 6 山东大学硕士学位论文 摄像机的运动描述( 图2 5 ) 和几何模型( 图2 6 ) ，图像示例以及公式推导如下： 升降 竖扫。 7 卫 。代n d ! 荔v 缩放- 弋 t t i o n ) 平扭 ( z o o m ) ( p a n ) 1 图2 5 摄像机的运动描述 图2 6 摄像机的几何模型 图2 6 为摄像机的几何模型。三维场景中的任意点尸= ( x ，y ，z ) ，对应的投 影n - 维成像平面p = ( x ，少) 。，摄像机的焦距为厂，则根据投影关系有 x ：f x z ( 2 5 ) 程 - 。 炉芎 摄像机模型到摄像机三维运动有： y = t + o x p ( 2 6 ) 其中v = ( v x ，v r ，v z ) 表示三维场景尸点的运动速度，t = ( t x ，t r ，t z ) 为该点在三 维场景中的平移分量，q = ( 面j ，面，r ，面z ) 表示尸点分别绕三个轴旋转的角速度。成 像平面任一点p = ( x ，y ) 运动速度为： 1 7 山东大学硕士学位论文 另由摄像机运动模型有： 、 盔 u ( x ，”2 _ 西 、 西 v ( x ，”2 _ 识 x j = t x q y z q 程 z 、= t z 4 - q x y q y x ( 2 7 ) ( 2 8 ) ( x ，y ) ：一等胁+ ( 厂+ 善) 伽一y 亿+ t x - ，x zt z 一厂 一黜1 + 争 1 ，( x ，y ) ：- ( f + 荨) 胁+ 罢伽+ x 亿一 争争 黜+ 乒 文献【4 0 】讨论了摄像机不同运动情况下对应的的光流分布，具体如图2 7 ： 这里所说的小视角和大视角范围分别是指小于1 5 度和大于1 5 度。由上图可 以看出，摄像机平动和小视角平扫时，光流是水平方向；大视角时，图像边缘部 分的光流出现弯曲；摄像机缩放时，光流( 或延长线) 汇聚于一点( f o e ，第四 章会提到) ；摄像机