（计算机应用技术专业论文）视频运动目标检测算法与应用.pdf

浙江大学硕士学位论文摘要 摘要 视频运动目标检测是数字视频处理和计算机视觉的重要研究领域之一，同时 也是智能视频监控等关键应用中的核心技术。基于混合高斯概率背景模型的g m m ( g a u s s i a nm i x t u r em o d e l ) 算法是减背景类运动目标检测算法中的经典代表，有 着易于实现、对多峰分布背景建模以及背景模型自适应等优点，但其对模型初始 化阶段不允许有前景运动物体出现的限制和模型适应速度缓慢的缺陷极大地制 约了其应用适应性。由此，本文提出了一种对基本g 删算法的改进策略，引入l i f ( l o c a ll m a g ef l o w ) 算法实现对复杂背景的无约束稳定初始化，并采用l r w ( l r e c e n tw i n d o w ) 算法来进行模型参数的自适应更新。此外，考虑到算法在视 频监控应用中的实时性需要，我们对模型匹配和模型排序等算法步骤进行了计算 简化上的改进，形成了新的g m m 改进算法框架。同时，采用改进后的g m m 算 法本文也实现了一个基于网络视频流传输的海事场景实时监控系统，给出了详细 的算法实现以及实用监控软件开发中一系列技术难点的解决策略。 另外，本文提出了应用于面向视频场景虚实交互控制中的一种运动阴影检测 算法( m s d v 刚) 。该算法以混合高斯模型描述动态图像背景，着重通过引入两步 阴影过滤判据，利用阴影区域像素的灰度以及h s v 颜色特征与背景的显著差异 极大地降低了像素级建模及相关计算带来的实时性损失。而且，在利用其运动特 征作进一步阴影像素检测的过程中，采用了相对基本g m m 算法更加简化但等效的 阴影判定策略，避免了耗时的方差初始化、模型方差参数更新以及模型排序等耗 时计算，使得算法整体实时性能得以进一步提高。基于这一新的运动阴影检测算 法框架，本文实现了一个虚实交互系统，讨论了m s d v r i 算法在系统研发中的详 细实现方法，同时也就交互控制中的同步问题作了重点探讨。 关键词视频运动检测，g m m 算法，虚拟交互，运动阴影检测 浙江大学硕士学位论文a b s t r a c t a b s t r a c t d e t e c t j o no fm o v i n gt a r g e t si nv i d e os t r e a m si so n eo ft h ek e yr e s e a r c ha r e a si n d i g i t a lv i d e op r o c e s s i n ga n dc o m p u t e rv i s i o n ，a n da l s ot h ee s s e n t i a lt e c h n i q u ei ns u c h p r i m a r ya p p l i c a t i o n sa si n t e l l i g e n tv i d e os u n ，e i l l a n c e a m o n ga l g o r i t h m sb yw a yo f b a c k g r o u n ds u b t r a c t i o n ，w h a ti sb a s e do nt h ec l a s s i c a lg a u s s i a nm i x t u r em o d e l ( g m m ) i st h em o s tp o p u l a ra n dp e r v a s i v eo n e ，w i t hi t sa d v a n t a g e si nb o t hf a c i l i t ya n d a u t o m a t j ca d a p t a t i o nt ot h ed y n a m i cb a c k g r o u n d n e v e r t h e l e s s ，i t sw e a k n e s si n p r o h b i t i n gt h ee m e r g e n c eo fa n yf o r e g r o u n dm o v i n gt a ：喀e t sd u r i n gt h eb a c k g r o u n d m o d e li n i t i a l i z a t i o nb yw a yo fp a r a m e t e r sl e a m i n gu s i n gs a m p l ef r a m e s ，a n di t s i n c a p a b i i i t ) ，i nf a s ta d a p t i n gt 0t h ec o m p l e xc h a n g e si nt h eb a c k g r o u n dc o m b i n et o e g r e g i o u s l yc o n s t r a i ni t sa p p l i c a t i o nt ob ew j d e l ya n dd e e p l ye x t e n d e d i ti sr i g h t l yb a s e do nt h e s es h o r t c o m i n g se x i s t i n gi nt h eb a s i cg m ma l g o r i t h m s t h a tw ep r e s e n tan o v e lf r a m e w o r ko fm o v i n gt a _ 曙e t sd e t e c t i o na l g o r i t h m ，i nw h i c hw e s u b s t i t u t et h eo r i g i n a lp a r a m e t e r sl e a m i n ga p p r o a c hf o rt h el o c a li m a g ef l o w ( l i f ) a i g o r i t h mt o i n i t i a l i z ea l lt h eg a u s s i a nm i x t u r ec o m p o n e n t sf o re a c hp i x e lb o t h u n l i m i t e d l ya n dr o b u s t l y ，a n dr e p l a c et h eb a s i cg m mp o l i c yf o ru p d a t i n gm o d e l c o m p o n e n t sw i t ht h el r e c e n tw i n d o w ( l r w ) a l g o r i t h m a p a r tf r o mt h e s et w oc r i t i c a l r e v i s i o n s ，w ea l s oa l t e rc e r t a i no t h e rp r o c e d u r e so ft h eo r i g i n a lg m ma l g o r i t h m ， i n c l u d i n gt h ea p p r o a c ht om a t c ht h en r s tm o d e lc o m p o n e n tw i t ht h el a r g e s tw e i g h t ， t h u sf o m lt h eo v e r a l lm o d i n e da l g o r i t h m a f t e rd i s c u s s i o na b o u tt h ea l g o r i t h m i c r e v i s i o n ，w ef o c u so nt h ed e s i g na n di m p l e m e n t a t i o no fa na p p l i c a b l es y s t e mo fv i d e o s u n ，e i l l a n c ef o rt h em a r i n ev i d e os c e n e sw i t ht h ev i d e os t r e a m sb e i n gt r a n s f e r r e do n t h ei n t e m e t ，w ep r e s e n ta l lt h a tm u s tb et a k e ni n t oa c c o u n tf o ra nu t i l i t a r i a ns o 觚a r e ， a n dt h ed e t a i l sr e g a r d i n gt h ei m p l e m e n t a t i o no ft h en o v e la l g o r i t h m m o r ee m p h a t i c a l l y ，am o v i n gs h a d o wd e t e c t i o na l g o r i t h m ( m s d v r i ) s p e c i 疥cf o r a p p l i c a t i o n si i k et h ev j d e o - b a s e dv i r t u a lr e a l i t yi n t e r a c t i o n ( v b v r i ) i sp r e s e n t e di n f u r t h e rd e t a i lw i t h i nt h i st e x t t h r o u 曲e m p l o y i n ga g a i nt h eg a u s s i a nm i x t u r et om o d e l t h eb a c k g r o u n d ，a n de s p e c i a l l yi n t r o d u c i n gt h et w o - s t e ps h a d o wd i s c r i m i n a n tb yw a y 浙汀查堂硕塑里笙苎 垒! ! 坚竺! _ 一一一一一 o fu t i i i z i n gt h ec h r o m a t i c a ld j s p a r i t yi nh s vc o l o rs p a c ea n dd i f r b r c n c ei ng r a yl e v e l b e t w e e nt h ep i x e li nt h ef o r e g r o u n da n dt h a ti n t h eb a c k g r o u n d ，t h em s d v r i a l g o r i t h mg a i n sa na p p r e c i a b l er e d u c t i o ni nt h ec o m p u t a t i o n a lc o m p l e x i t ya n dh e n c e t h ei m p r o v e m e n ti nt h er e a l t i m ep e r f o r m a n c eo ft h ew h o l ed e t e c t i o n b e s i d e s ，w e m o d i f yh o w t oj u d g ee a c hp i x e l s 行n a lc a t e g o r yi nt e r n l so fi t sb e i n gi nb a c k g r o u n do r f o r e g r o u n da sw e l l ，s oa st oc i r c u m v e n tt h et i m e c o n s u m i n gc o m p u t a t i o no fv a r i a n c e s ， i n cj u s i v eo fc o n e s p o n d i n g l yi n t i a i i z i n g ，u p d a t i n g ，a n ds o n i n ga l lt h ec o m p o n e n t s w i t h i nt h em i x t u r ef o re a c h p i x e ii ne v e 叫i n c o m i n gf r a m e ，t h u si m p r o v e t h e p e r f b r m a n c et oah i g h e r m e a s u r e s i m i l a r l y ，w ee x p a t i a t et h ed e s i g na n di m p l e m e n t a t i o n o fap r a c t i c a lv b v r i s y s t e m ，i nw h i c ht h ee l a b o r a t ei n t e 巾r e t a t i o n sf o c u s i n go nt h ee m p l o y m e n to ft h e m s d v r ia l g o r i t h ma r ef u l l yp r e s e n t e d ，a n da ni m p o r t a n te n g i n e e r i n gp r o b l e m ，i e t h e s v n c h r o n i z a t i o no ft w op a r a l l e l t h r e a d st h a ts e r v et h es h a d o wd e t e c t i o na n di n t e r a c t i v e r e s p o n s ev i r t u a l i z a t i o nr e s p e c t i v e l yi sa l s os u 衢c i e n t l yp r o b e d k e yw o r d s ：m o v i n gt a 唱e t s d e t e c t i o ni nv i d e os t r e a m s ，g m ma l g o r i t h m ，v i r t u a l i n t e r a c t i o n ，m o v i n gs h a d o w s d e t e c t i o n 浙 t 大学硕士学位论文网同录 图目录 图2 1 减背景视频运动目标检测算法框架1 4 图2 2 基本g 参数学习算法对像素激剧跳变的不适应性1 6 图2 3 用光流检测覆盖事件和重现事件1 7 图2 4 视频序列中某相邻两帧对应的光流和n e tf l o w 示意1 8 图2 5 基于l i f 和l r w 的g m m 改进算法总体流程2 3 图2 6l i f 算法与基本g 参数学习初始化算法比较2 4 图2 7l r w 的算法与基本g 模块适应算法比较2 5 图3 1s m o n i t o r 3 0 系统外部应用架构一2 8 图3 2s m o n i t o r 3 o 软件系统结构2 9 图3 3 改进的g 算法整合实现流程。3 1 图3 4 不同几何形状的监控区域示意图3 2 图3 5 监控区域包围盒及其r i d 示意图。3 3 图3 6 区域监控功能的实现：3 5 图3 7 报警事件日志记录格式3 7 图3 8 报警录像文件命名格式3 7 图4 1 混合高斯( k = 3 ) 概率密度函数拟合图4 2 图4 2 阴影检测中使用混合背景模型的必要性4 3 图4 3 阴影像素与对应背景像素的显著灰度差异。4 7 图4 4 模型参数初始化学习算法4 9 图4 5 视频场景虚交互控制中的运动阴影检测算法流程：5 2 图4 6 雪地背景上的阴影检测与虚拟交互效果5 3 图4 7 波动的水面背景上的阴影检测与虚拟交互效果5 4 图5 1d u e s y s l 0 1 系统外部应用流程框图5 8 图5 2d u e s y s l 0 1 软件系统结构框图5 9 i l i 浙汀大学硕士学位论文表目录 表目录 表3 1s m o n i t o r 3 0 报警等级的定义3 6 表3 2s m o n i t o r 3 o 监控灵敏度的定义3 7 l v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得逝鎏盘堂或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位做作者繇蓐奋鸭签字吼批年6 月1 旧 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝鎏盘茎可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保 存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 姗硌荭i 扪邕翩躲李彳肛 签字日期：q 2 肛挈年( 月fp 日 签字日期：年月日 卜f 66 d q 浙江大学硕士学位论文 第1 章绪论 第1 章绪论 视频图像中的运动物体检测及跟踪技术有着广泛的应用价值，其实现方法与 基于运动的视频对象分割算法的研究紧密相关。动态背景图像建模是背景减除类 运动检测算法中的关键部分，其优劣对全局检测算法的有效性与可靠性有着决定 性影响。此外，视频运动检测中阴影抑制和去除的相关算法可以有效应用于面向 视频场景的虚实交互控制当中，借助阴影检测获取交互者的运动状态。本章主要 介绍视频运动目标检测与及阴影检测的相关研究背景与基础理论，以作为后文的 讨论依据和参考。 1 1 课题背景 视频运动目标检测是从视频流中提取目标运行物体、进行运动目标跟踪与监 视以及更进一步地实现目标物体的行为分析和识别的基础和关键，是数字图像与 视频处理的重要研究课题，涉及到计算机视觉，模式识别和人工智能等多个学科 领域。视频运动目标检测技术在视频监控应用的需求推动下得到了不断发展并促 成了一系列新的研究成果，但它并不仅仅局限于视频监控或其直接相关的应用。 从检测算法的研究来看，视频运动目标检测存在的技术困难主要来源于运动 图像固有的动态背景特性，光照环境的变化，阴影的干扰和目标物体速度等因素 的影响。现有的检测算法基本都存在着优势与不足的互补，任何一种算法都难以 适应所有的应用需求，也几乎没有统一的最优算法。因此，对于不同的实际应用 可以采用不同适应性的检测算法，并根据检测目标的运动规律，场景的光照环境 波动特点等对算法加以实现层次上的改进。在我们研发的海事场景视频监控系统 中，用户可预定义所关注的监控区域并根据需要对其进行实时性的运动检测与报 警控制，同时系统工作的稳定性与运动目标检测的错误率必须控制在给定的可接 受范围内。 视频运动目标检测的研究从一定程度上源于视频监控的需求，但作为一种运 浙汀大学硕士学佗论文第1 章绪论 动图像的分析算法，运动目标检测算法已经逐渐深入和广泛地应用到其它的领域 中。作为计算机图形学，计算机视觉与网络多媒体等多学科结合而产生与发展的 虚拟现实技术近年来在学术研究与现实应用中得到了越来越多的关注和长足的 进展。在我们所研究的虚实交互系统中，视频中的虚拟物体对交互者的运动响应 基于对其阴影的定位与跟踪，因此我们需要实时准确地检测视频中交互者阴影的 位置与运动轨迹，但同时又要有效地去除非交互者所投射的阴影的干扰。 由此，视频运动目标检测技术具有重大的研究价值与广泛的应用意义。可靠 有效的运动目标检测算法的研究改进不仅是视频监控应用发展的关键动力，同时 也将对虚拟现实技术以至增强现实技术的发展起到重要推动作用。 1 2 相关研究 1 2 1 视频运动分割 视频运动分割是指将运动图像帧内的一系列多种运动中的每一个独立运动 的物体相关的像素点标记出来。运动分割与光流分割密切相关，后者指的是分类 归并相似运动与结构的光流矢量。当对于我们所分析的每个像素都存在包含光流 矢量的密度光流场讨，运动分割实际上与光流分割过程是一致的。以下对视频 运动分割的几类经典方法作以简述。 1 ) 直接阈值法 这种方法利用时空图像梯度信息对图像序列作运动分割，其出发点是通过一 个设定的阈值将待分析的视频序列中每一幅图像分割成变化区域和非变化区域， 其中非变化区域表示静止不动的背景，而变化区域则或者指示运动区域，或是表 示遮挡区域。以s ( 肌x ：女) 描述连续变量的时变图像，在此基础上定义帧差函数 ，d t ，t i ( x ，x ：) = s ( x 。x ：，七) 一s ( x 。x ：七一1 )公式( 1 1 ) 该函数描述了相邻帧间的像素差，理论上肋t ，t 一，( x 船) 不等于零的点指示变化区 域，否则指示非变化区域。但是，考虑到嗓声的存在，可以引入全局闽值来界定 浙江大学硕士学化论文第1 章绪论 变化区域与非变化区域之间的差别。由此，可定义分割标记场如下 i1j 7 d t 一l ( x ，x 2 ) i ， 夙一l ( x ，舰) = 公式( 1 2 ) 【o 伪胁地 其中，丁为全局阈值，分割标记场z 丘h 劫对于变化部分取值为1 ，对于非变化 部分为o 。 直接阈值法是最简单的运动分割方法之一，计算复杂度也很小，但对噪声过 于敏感是此方法的一个突出问题。对此，可以引入形态运动关联算子间接地利用 帧差检测运动区域妇1 ，或是采用多帧信息构造三维张量来进行运动检测 1 。 2 ) 基于参数模型的光流分割法 光流法( o p t i c a lf 1 0 w ) 是视频运动分割的另一种途径，它实际上也是视频运 动目标检测中除了以帧间变化检测为基础的方法之外的另一大类方法。基于模型 参数的光流分割是在给定流量场的条件下利用流量场模型参数作为特征的一种 运动分割方法。对于k 个相互独立的运动物体，每一个光流矢量对应于单个不透 明体的三维刚体运动的投影，每一个不同的运动通过一系列映射参数加以描述。 为了建立参数模型，需要对视频图像进行分割。分割后的每个区域的运动用一个 参数集进行描述，而运动矢量则从这些模型参数来合成得到。由此，分割算法是 一个递归循环的过程，可以通过逐步迭代进行求解。 有效地处理运动对象间的遮挡问题是基于模型参数方法的一个优点。不过， 这种方法的限制在于，运动物体不能为透明物体，而且其只能适用于刚体运动。 3 ) 非参数模型方法 此类方法包括了基于块运动估计分割法、基于b a y e s 方法的分割、基于变换 网格( m e s h ) 模型分割法等等。总的来说，每种方法都有各自的应用局限性。比如， 针对视频目标物体的旋转、缩放和变形等运动的分割基于网格模型的方法适用性 较强，而且也可对多个运动物体同时进行检测和跟踪，在处理对象间遮挡和视频 中新对象的加入等方面也表现较好，但是此方法法受算法中关键点数目的影响明 浙汀大学硕士学化论文筢1 章绪论 显，计算量也相当可观，因此将无法满足实时分割应用的需要。相比之下，基于 块运动估计的方法虽然计算量很小，但是其应用局限性又更为突出，它主要应用 于低码率视频流的运动分割当中。 4 ) 基于形态学的方法 m a r q u e s 和m o li n a n l 提出的此类分割方法需要人工交互辅助来完成。在分割 前先由用户将要分割的运动对象描述出来，然后算法对这些关注的对象按照颜色 和灰度等聚类性质以分水岭算法分割成不同的区域，对于密度场的估计采用块匹 配算法，将当前帧分割出的区域通过运动补偿方式映射至下一帧上。由于此类分 割算法中可能存在非变化区域标记向变化区域溢出的问题，所以需要参考变化检 测模板。此外，由于这种方法仍然依赖于视频图像的梯度信息，因而对嗓声也比 较敏感。 1 - 2 2 动态背景建模 基于背景减除的方法是当前视频运动目标检测的主流方法之一，它的两个核 心部分包括背景建模和背景模型更新。背景建模是指通过构建某种模型对图像的 背景进行描述，简单来说就是构建背景图像的模型表示。考虑到对于整个运动检 测算法而言，在经过初始化以后，背景模型需要动态更新，所以这类背景模型属 于一类动态模型。动态背景模型的建立是基于减背景的视频运动目标检测算法中 的关键所在，其特性决定算法的精度进而检测的准确性与可靠性，同时也对算法 的计算复杂度带来直接影响。 近年来，在视频处理与分析相关研究领域，人们提出了一系列的背景建模方 法，并将相应的背景模型用于视频运动检测分析的应用当中。背景建模研究的关 注点在于如何使得建立的模型满足充分的健壮性从而便于背景图像在时间序列 上得以重建或更新。以下对几种重要的背景模型作以简述： 1 ) 时间差分法( t e m p o r a ld i f f e r e n c e ) ：直接利用第卜1 帧作为第f 帧的背 景，通过当前帧与其前一帧或其前面的某一帧之间的差分来构造背景模型： 浙江大学硕士学似论文 第1 章绪论 l ( z ，y ) 一五一l ( z ，少) i 乃 公式( 1 3 ) 其中，模型参数乃为判别闽值。这种背景图像建立方法其主要特点是对场景变化 的适应能力强，而且背景的更新速度也很快。但它对于单色或趋于单色且体积较 大的运动物体内部像素点可能无法提取从而导致检测出的运动目标内出现空洞。 另外，它也会受到视频帧率以及帧内目标物体的运动速度的影响。改进方法之一 是引入第三帧连同当前两帧一并作时间差分。 2 ) 中值滤波法( m e d i a nf i l t e r i n g ) ：假设背景像素满足均衡的单模态分布， 建立一个容量为g 的视频缓冲区即视频滑动窗口，对所有窗口中视频帧内的相同 位置的像素点求均值并以此均值作为背景帧内对应坐标像素点的值，即： b + 1 _ 去五一，( x ，y ) 公式( 1 4 ) p 、 、 这种方法的约束条件之一就是背景中某个像素的恒定时间大于此像素在窗口中 超过半数以上的视频帧内保持不变的持续时间，其应用主要限于运动连续且较小 的目标物体检测。 3 ) 线性预测法( l i n e a rp r e d i c a t i v e ) ：同样是建立一个类如前述的视频窗 口，然后利用线性滤波器以像素历史值为依据预测下一时刻的背景图像从而实现 背景的更新。当采用w i e n e r 滤波器估计背景像素时，滤波器预测系数的估计需 要计算采样协方差，给实时性带来困难。相比之下，基于k a l m a n 滤波的自适应 背景模型采用k a l m a n 滤波器将时间序列中的背景像素点看作为高斯信号，以像 素的亮度值或连同其空间或时间导数作为状态空间进行背景图像的预测。这种背 景模型能够对天气、光照等环境变化自动适应，但不适用于背景像素无法用单独 的高斯分布描述的情形，如多模态背景的建模。 4 ) 非参数模型( n o n p a r a m e t r i cm o d e l ) ：即核密度估计法( k e r n e ld e n s i t y e s ti 眦ti o n ) 。以，：儿表示最近的g 帧视频图像中相同位置的像素点的亮 度值序列，通过非参数化方式利用g a u ss i a nk e r n e l 对此位置的像素点概率密度 进行估计。像素估计函数为 1 ，一l 厂( ( x ，y ) ) = 圭k ( “一五( x ，y ) ) 公式( 1 5 ) u ，- ，一g 浙汀大学硕士学位论文第1 章绪论 其中，k 即为高斯核密度函数。在此基础上，依据一个指定的阈值t ，当上( x ，y ) 的 估计值( 五( x ，少) ) r 时认为对应的像素点属于前景。这种方法对场景变化的适 应性较强，可以对付环境光照的变化和多模态背景的情形。 5 ) 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ：h ) ：主要针对视频序列中可 能存在的如灯光的开关和天空中乌云的移动等像素点亮度激剧变化的问题而提 出。在三态h 中通过给每个像素点指定背景、前景、阴影三种状态之一来对像 素亮度进行建模。h 对像素亮度可以起到时间连续性的约束作用，它假定一个 位于前景中的像素在保持一定时间后会被转换为背景，对于每个像素用单个的高 斯分布进行建模。 6 ) 基于均值替换的估计法( m e a n s h i f t b a s e de s t i 眦t i o n ) ：利用核密度函 数的梯度上升检测多模态分布的模式，进而得到这些模式的协方差矩阵，然后利 用协方差矩阵进行运动分割。此方法利用核密度函数k 对时间变量的动态图像序 列s = l 上尺” 中的样本上进行标记： 上k ( 上一五) 朋( 上) =公式( 1 6 ) k ( 上一五) 然后，通过以肌( ) 替代上反复迭代以使得核密度函数收敛于局部最大值，从而得 到密度函数模型的参数。不难看出，由于送代计算较慢从而计算量大导致其难以 在实际中得到应用是这种方法的一个主要问题。 7 ) 高斯混合模型( g a u ss i a nm i x t u r em o d e l ，g ) ：即对于动态背景利用多 个高斯模型进行混合建模，主要用于多模态的背景建模。这种方法对视频帧的每 一个像素进行多高斯模型描述，模型更新因而也逐像素计算。因此，尽管它不像 非参数模型需要视频缓冲而避免了内存开销，但其较高的时间复杂度( 与采用的 高斯模型个数成正比) 使其难以满足实时运动分割的需要。 1 - 2 3 阴影检测与移除 在实际的视频场景中，当可能存在的光源在其入射方向上被不透明物体遮挡 6 浙江大学硕士学位论文第1 章绪论 时就会产生阴影。运动目标检测中阴影所带来的负面影响主要表现在两方面： 1 ) 由于阴影与待提取的运动目标连在一起且同样表现出运动的特性，没有 考虑阴影抑制的运动分割算法将会把目标物体连同阴影一起作为运动目标检测 出来，而无法区分目标本身与其投射的阴影。 2 ) 当多个运动物体在视频中的位置比较接近时，其投射的阴影可能将两个 以上的不同运动物体连接在一起而将多个目标错误地检测为单一的运动目标。 由此，近年来在视频运动目标检测与分割研究和视频监控的技术应用领域提 出的算法中大多都考虑了对阴影影响的抑制。视频阴影的检测与移除的一个基本 出发点是对视频阴影的两个重要视觉特征的考虑：( 1 ) 目标物体的阴影与投射此 阴影的物体具有相似的运动特性；( 2 ) 尽管阴影与投影体粘连，但二者在色彩属 性上有明显差异。总体而言，阴影的检测方法可以分为两大类别： 1 ) 基于先验知识和场景几何模型的方法：在一定程度上借鉴和扩展了减背 景类检测算法的思路。w a n gy 等依据阴影减弱场景的照明度并改变其饱和度但 不改变其色调的假设，在文献 5 中通过对g a u s s i a n 背景模型进行线性变换来建 立阴影模型。记在高斯背景模型下背景像素工所服从概率分布的均值和方差分别 为和，引入线性因子口，当有运动物体进入场景并投影于其上而致使其进 入阴影区域时此像素服从的分布变成( 五口，) 。由此，通过对每一个像素点 从背景模型计算出其阴影模型，再引入一个相应的经验方差阈值便可判断此像素 属于前景还是阴影。此外，h e n r i n 和j e a nm a r i ep 等在文献【6 中也采用了基 于模型的方法来实现阴影的分割，其主要思想是依据二维的视频帧内目标物体、 物体所投射的阴影与光源三者之间的几何位置关系，再综合考虑目标物体的外部 形体特征检测光源的位置并确定出阴影区域。 2 ) 基于颜色特征的方法：这是当前阴影检测与抑制最主要的方法，具有较 强的实用性。它主要是依据阴影与目标运动物体在光学属性上的明显差异来实现 阴影与目标物体的分离。如x i a o ，h a n 等借助c a n n y 算子提取图像边缘并结合边 界跟踪技术，通过边缘匹配实现阴影检测【7 1 ；a l e s s a n d r ol e o n e 等通过二维 g a b o r 滤波器获取图像的纹理特征并参考光度增益( p h o t o m e t r i cg a i n ) 进行逐步 浙汀大学硕士学化论文蔸1 章绪论 求精的阴影分割，等等。 在这类方法中一个需要关注的问题是：一般认为，视频图像内某个像素点在 未被投影的背景区域与投影后的阴影区域内的颜色值存在线性关系，从而在投影 前后此像素的色度变化几乎可以忽略，但实际上这种假设并非总是成立，尤其当 阴影区域的亮度与饱和度小于某个边界值时色度变化会很明显。针对这一问题， e l g a m m a l ，h a r w o o d 等在文献【9 中提出了对单纯依靠色度来检测阴影的方法的改 进，在色度坐标 中加入了像素的光亮度s 从而以 描述像素j 的 期望值，其中，：l ，譬：j l 为色度坐标，s ：r + g + b 作为未被阴 尺+ a + b 。 r + a + 影覆盖时像素点的光亮度的度量，尺，g ，b 为像素的颜色变量。如果在第f 帧时像 素z 被阴影覆盖，此时其期望值表示为x ，- ，则有口里1 。这里鲫 s 意味着进入像素z 的光线最多有( 1 一口) 被目标阴影所减弱。在视频序列中对给 r、 定的像素点的样本彳，依据b = 知i 知彳 口里 选取样本子集b 彳，然后 l 函 j 利用得到的样本子集b 通过核估计方法确定待定参数口，。 1 3 研究内容和目标 总体来说，各类运动目标检测算法均有其局部优越性和应用局限性，我们可 以依据实际应用的特点来选择或改进相应的算法。在本文所述s m o n i t o r 视频监 控系统中，实时性与低误检测率几乎是同等重要的，因此，我们需重点考虑算法 的时间代价问题从而进行算法的实时性改进。另一方面，视频运动目标检测算法 中的阴影干扰抑制方法可以被有效应用于实时的虚实交互控制中。 基于上面几点，本文围绕以下几个方面展开相关工作： 1 ) 视频监控中运动目标检测算法的改进及其应用 针对基本g m m 算法的模型初始化和模型适应上的不足，研究针对这两个方面 进行改进的新的g m m 运动检测算法，阐明改进算法的思路并对其作有效性分析； 应用改进的g m m 算法，设计并实现s m o n i t o r 系统，解决系统应用开发层次中分 r 浙江大学硕士学佗论文 第l 章绪论 级报警，录像检索，网络通信，用户交互等技术难点。 这部分工作的目标包含算法与应用两个方面。在算法方面，通过更加有效且 适应性更强的模型初始化和模型适应策略实现基本g 算法的改进；应用系统开 发方面，在保证核心的监控功能有效实现的基础上从软件开发工程化观点考虑整 个系统架构设计与性能设计，从而使得系统能够适应实际的工程应用。 2 ) 视频阴影检测及其在虚拟场景交互中的应用 针对虚实交互控制应用研究新的运动阴影检测算法，通过试验验证新算法的 有效性；设计并开发d u e s y s 系统，解决应用开发中声像同步、阴影检测与虚拟 效果渲染同步等技术难点。 这部分工作的目标是提出有效的阴影检测算法，着重保证其检测精度与实时 性；通过合理设计实现应用系统的预期需求和目标。 1 4 本文结构组织 本文内容基本是按照从基础算法讨论到算法改进，再到改进算法的应用这一 思路展开，本章以外各部分内容按照以下章节结构进行组织： 第二章： 介绍目前几类主要的运动目标检测算法，引述基本的高斯混合背景建模方 法，分析基于该模型的减背景检测算法存在的主要缺陷与应用局限性。详细讨论 通过引入l i f 模型初始化算法和l r w 模型适应算法整合得到的g 改进算法，阐 述算法的实现思路，并通过试验结果分析论证了改进算法相比基本g 算法的优 势性。 第三章： 分析s m o n it o r 系统应用需求，给出了改进的目标检测算法在系统中的实现 流程，阐述了系统模块结构设计，用户交互设计，系统管理组件与接口设计，监 控报警与录像流程及其它应用开发层次的关键技术。 第四章： 详细地阐述了本文所提出的一种应用于虚实交互控制的运动阴影检测算法， 9 浙汀大学硕士学佗论文 第1 章绪论 着重说明了两步阴影判据的思路和全局阴影检测实现流程，通过试验结果的对比 分析了算法的有效性和优势所在。 第五章： 集中讨论了d u e s y s 系统的总体设计、子模块结构设计以及虚实交互控制中 运动阴影检测算法的实现流程，阐述了应用开发中相关技术难点的解决方法。 第六章： 对全文内容进行总结，概述了本文创新点与贡献，归纳了文中对现有算法的 改进策略及应用系统开发中相关技术难点的解决思路，指出了后续可开展的进一 步研究工作内容。 1 5 本章小结 在本章中，我们首先给出了本文工作开展的课题背景与应用需求，然后对视 频运动目标检测以及阴影抑制和移除相关的研兖进行了简要介绍。为了给后文中 相应算法的深入讨论进而改进作铺垫，在第二节中着重引述了视频图像的动态背 景建模方法、经典的视频运动分割算法以及主流的视频阴影检测方法。另外，我 们还列出了本文的主要研究内容，各部分内容对应的研究目标以及全文内容的结 构组织。 浙汀大学硕士学位论文 第2 章基于背景减除的g m m 改进钎法 第2 章基于背景减除的g 改进算法 传统的g 删算法是一种背景模型自适应算法，同时也实现了对多态背景进行 建模，但模型初始化的约束条件和模型适应速度上的缺陷制约了运动检测的实时 性需求，我们可以分别针对这两个主要的局限性对基本g m m 算法加以改进。 2 1 引言 从其应用而言，目标检测可分为静态目标检测与运动目标检测两大类。前者 是针对静态数字图像中的目标物体区域进行判别，而运动目标检测则是针对视频 图像序列所进行的检测，旨在判断视频帧内是否有前景目标物体运动，它是实现 后续的运动目标物体跟踪的基础。一般而言，检测视频流中的运动目标物体是通 过对时间序列中的每一帧加以分析计算得以实现的，从这一点上它与静态目标检 测有一定的联系。但是，二者的主要区别之一在于后者必须考虑连续性的时间， 即目标物体的运动特性。由此，时间变量是运动目标检测中的关键参数，相应的 算法或模型中往往要关注视频帧内目标物体的时变特征。 在视频运动目标检测及其相关领域，几十年以来国内外学者一直在从事研究 与改进工作，但迄今为止并没有找到完满的统一适应性算法，究其主要原因在于 来自四个方面的困难： 1 ) 视频场景中光照相关的问题。通常视频场景中的光照变化主要包括白昼 交替等自然光照和信号灯闪烁等人工光照条件的变化，它可使帧内受影响区域像 素的颜色值发生跳变。对基于背景建模的检测算法而言，这将导致背景模型参数 的显著偏移从而给前景与背景分离带来困难。 2 ) 来自背景变化的干扰。一方面，从时间维上来看，视频序列的背景具有 动态变化的特征，如新的物体进入场景，原物体的移出等。另一方面，背景中可 能存在着一些干扰性的非目标运动，如树叶的晃动，水波荡动，红旗的飘动等， 均给运动目标的提取造成阻碍。 浙汀大学硕士学位论文第2 章基于背景减除的g m m 改进算法 3 ) 目标物体间的遮挡问题。在视频场景中若同时存在多个运动的目标物体， 遮挡的发生往往是无法避免的。这种情形出现时，所检测出的目标可能产生相互 交叠而使提取到的运动目标发生失真和形变。 4 ) 监测目标的运动速度变化问题。一些算法对于运动速度小于一定界限的 目标物体无法适应而不能检测出目标，如基于相邻帧差的方法；另外，对于场景 中往返运动物体的检测相对难度较大。 2 2 相关工作 在运动检测的算法研究上，相关学者提出了一系列新的模型与算法来实现运 动分割和目标检测的基本功能，同时也基于已有的方法与模型提出了一些针对以 上种种困难的新思路或适应性扩展和改进。另外，在算法的应用方面也有不少的 改进方案出现，如减小算法的计算复杂度以提高应用系统的实时性，对算法或模 型进行定制化改进以更加适应于某种特定环境的应用等等。一般而言，视频运动 目标检测的已有算法可归为相邻帧差法、光流法，减背景法、统计学习法、混合 法等几类，其中前面三类方法用于统一方式的运动目标检测中与其应用在前述的 运动分割算法中的本质思路是完全一致的，以下介绍后两类检测方法： 1 ) 统计学习方法：利用独立或成组的像素特征建立初始的背景模型，并同 样依此进行模型的更新，利用概率学习的方法来减小将非真实目标物体误标记为 目标的可能性。文献【2 5 】提出并讨论了用b a y e si a n 公式描述背景分割问题进而 利用基于b a y e s i a n 框架的混合高斯模型进行背景建模，它将背景分割问题形式 化为两个概率密度估计问题，一个是独立于应用的以高斯混合模型对每个像素观 察值的建模，另一个则是对连续多个高斯进行前景背景分类，它特定于实际的 问题域，因而依赖于应用；c h u ，y e 等n 们对像素间的时空约束关系 ( t e m p o r a l s p a t i a lc o n s t r a i n t s ) 用概率模型进行描述，