（电路与系统专业论文）基于混合高斯模型的视频运动目标检测算法研究[电路与系统专业优秀论文].pdf

基十混合高斯模型的视频运动目标检测算法研究 基于混合高斯模型的视频运动目标检测算法研究 摘要 专业名称：电路与系统 申请人姓名：陈焕钟 导师姓名：李榕 计算机视觉、智能视频监控领域，视频图像的运动目标检测结果，将对运动 目标分类、跟踪及行为理解等后续处理产生重要影响。对目标进行有效分割是序 列图像分析的基础性工作，是当今国内外学者研究的热点问题。本文主要对复杂 场景的背景建模与运动检测进行了较为深入的研究。 本文首先对自适应混合高斯模型进行了详细分析，针对传统混合高斯模型背 景更新速度较慢的缺点，提出了一种新的背景更新算法，加快了背景模型的建立， 使其更加及时地反映背景的动态变化，同时提出了预防缓慢运动目标过快融入背 景策略。 当场景中背景和前景发生转化时，运动目标检测结果中会产生不合理的长时 间静止的运动目标，即影子问题。本文在分析产生影子原因的基础上，利用像素 的灰度梯度信息对影子进行去除，保证运动目标的正确提取。 对于场景中光照发生突变时，由于大部分背景像素偏离背景模型分布而造成 前景误检的问题，本文利用帧间差分法对光照变化不敏感的性质，在光照发生突 变时用其代替背景减除法，有效地提取了运动目标。 最后，本文研究了阴影的产生的原因以及特性，并比较多种阴影检测算法的 优缺点，在保证算法实时性的同时，利用混合颜色空间阴影检测方法，对阴影进 行了有效检测和去除。实验结果表明，本文提出的运动目标检测算法能够较好地 提取出运动物体。 基于混合高斯模型的视频运动目标检测算法研究 关键字：背景建模，混合高斯模型，运动目标检测，阴影抑制 基于混合岛斯模型的视频运动目标检测算法研究 a b s t r a c t m o v in go b j e c t sd e t e c tl0 nb a s e do n mix t u r eg a u s sla nm o d e l s m a y o r ：c i r c u i t & s y s t e m n a m e ：h u a n z h o n gc h e l a s u p e r v i s o r ：r o n gl i i nc o m p u t e rv i s i o na n di n t e l l i g e n tv i d e os u r v e i l l a n c ec o m m u n i t y , t h eh i g h e r l e v e l ss u c ha sm o v i n go b j e c tc l a s s i f i c a t i o n ，t r a c k i n ga n db e h a v i o ru n d e r s t a n d i n g h e a v i l yd e p e n do nt h er e s u l t so fm o v i n go b j e c td e t e c t i o n m o v i n go b j e c td e t e c t i o ni s o n eo ft h ef u n d a m e n t a lt a s k sf o rv i d e oa n a l y s i s ，w h i c hi sa c t i v et o p i cw i d e l y r e s e a r c h e di nt h el a s td e c a d ea r o u n dt h ew o r l d i nt h i sp a p e r , w ed e e p l yf o c u so nt h e b a c k g r o u n dm o d e l i n go fc o m p l e xe n v i r o n m e n ta n dm o v i n go b j e c td e t e c t i o n an e wl e a m i n ga l g o r i t h mi sp r o p o s e df i r s t l y , a f t e ri n t r o d u c t i o no fa d a p t i v e g a u s s i a nm i x t u r e s ( g m m ) ，t os o l v et h ep r o b l e mo fs l o wm o d e lc o n v e r g e n c es p e e do f c o n v e n t i o n a lg m m i tg r e a t l yi m p r o v e dc o n v e r g e n c er a t ea n de s t i m a t i o na c c u r a c y o v e rt h ec o n v e n t i o n a lm e t h o d s e c o n d l y , b a s e do na n a l y z i n gh o wg h o s t so c c u r , t h eg r a yg r a d i e n ti n f o r m a t i o ni s u s e dt or e m o v eg h o s to u to ft h ed e t e c t i o nr e s u l t s a sw ek n o w , t h ed e t e c t i o nr e s u l t s w i l li n c l u d eu n r e a s o n a b l el o n g t i m es t a t i cm o v i n go b j e c t ，t h a ti sg h o s t ，w h e nt h e r ei s i n t e r c h a n g eb e t w e e nf o r e g r o u n da n db a c k g r o u n d i tm u s tb er e m o v e dt om a k es u r e t h em o v i n go b j e c ti se x t r a c t e dc o r r e c t l y t h e n ，f r a m ed i f f e r e n c ei su s e dt od e t e c tm o v i n go b je c tw h e nt h e r ei sq u i c k i l l u m i n a t i o nc h a n g e si nt h es c e n e s q u i c ki l l u m i n a t i o nc h a n g e sc o m p l e t e l ya l t e rt h e 基于混合高斯模型的视频运动目标检测算法研究 c o l o rc h a r a c t e r i s t i c so ft h eb a c k g r o u n d ，a n dt h u si n c r e a s et h ed e v i a t i o no fb a c k g r o u n d p i x e l sf r o mt h eb a c k g r o u n dm o d e l t h i sr e s u l t si nad r a s t i ci n c r e a s ei nt h en u m b e ro f f a l s e l yd e t e c t e df o r e g r o u n dr e g i o n s f r a m ed i f f e r e n c e ，h o w e v e r , i sn o ts e n s i t i v et o i l l u m i n a t i o nc h a n g e s b e c a u s eo ft h i s ，i ti su s e dt od e t e c tm o v i n go b j e c t ，i n s t e a do f b a c k g r o u n ds u b t r a c t i o n ，t oa v o i dt h ei n f l u e n c eo fq u i c ki l l u m i n a t i o nc h a n g e s f i n a l l y , m i x t u r ec o l o rs p a c ei su s e dt od e t e c ts h a d o w h o ws h a d o wo c c u r sa n d w h a tc h a r a c t e r i s t i ci ti sa r el e a r n e d ，a n ds e v e r a ld i f f e r e n ts h a d o wd e t e c t i o na l g o r i t h m s a r ec o m p a r e di nt h i sp a p e r t h ee x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h em o v i n go b j e c t c a l lb ee x t r a c t e de f f e c t i v e l yt h r o u g hu s i n gt h em e t h o dw h i c hi sp r o p o s e db yt h i s p a p e r k e yw o r d s ：b a c k g r o u n dm o d e l i n g ，m i x t u r eg a u s s i a n m o d e l s ，m o v i n go b j e c t d e t e c t i o n ，s h a d o ws u p p r e s s i o n i v 华南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本入在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确的方式标明。 本人完全意识到此声明的法律结果由本人承担。 论文作者签名：他吠撕争 日期：伊年于月乙乒曰 学位论文使用授权声明 本人完全了解华南师范大学有关收集、保留和使用学位论文的规 定，即：研究生在校攻读学位期间论文工作的知识产权单位属华南师 范大学。学校有权保留并向国家主管部门或其指定机构送交论文的电 子版恭罐氏质敝，允许学位论文被检索、查阅和借阅。学校可以公布学 位论文的全部或部分内容，可以允许采用影印、缩印、数字化或其他 复制手段保存、汇编学位论文。( 保密的论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密范围，在年后解密适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权 书。 聊虢白旁 日期记孑年月彩日 基于混合高斯模型的视频运动日标检测算法研究 1 1 研究背景及意义 第一章绪论 计算机视觉【l 】是利用计算机实现视觉信息处理的一门学科，它涉及计算机、 心理学、物理学、信号处理和数学等领域【4 1 】，是一门交叉性很强的学科。而计算 机视觉运动分析更是近年来备受关注的前沿方向，其研究内容相当丰富，在高级 人机交互、智能监控、视频会议、医疗诊断和基于内容的图像存储与检索等方面 具有广泛的应用前景。目前，美国、英国等发达国家已经开展了大量的研究【2 】【3 3 】， 国际上一些权威期刊，如u c v ( i n t e r n a t i o n a lj o u r n a lo f c o m p u t e r v i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、i v c ( i m a g ea n dv i s i o nc o m p u t i n g ) 和重要的学术会议，如i c c v ( i n t e m a t i o n a lc o n f e r e n c eo nc o m p m e rv i s i o n ) 、c v p r ( i e e e c o m p m e rs o c i e t y c o n f e r e n c eo n c o m p u t e r v i s i o na n dp a t t e r n r e c o g n i t i o n ) 、a v s s ( i e e ec o n f e r e n c eo na d v a n c e dv i d e oa n ds i g n a l b a s e d s u r v e i l l a n c e ) 、e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、1 w v s ( e e i n t e r n a t i o n a lw o r k s h o po n v i s u a ls u r v e i l l a n c e ) 等均将其作为主题内容之一。 计算机视觉运动分析主要包括运动目标的检测、识别、跟踪，并对其行为进 行理解和描述等几个过程。其中，运动检测、识别、目标跟踪属于视觉中的低级 和中级处理部分，而行为理解和描述则属于高级处理，涉及到计算机视觉、模式 识别和人工智能领域的许多核心课题，是一个具有挑战性的问题。 计算机视觉运动分析的第一步就是运动目标检测。运动目标检测的目的是从 序列图像中将运动变化区域从背景图像中分割提取出来。由于序列图像的后期处 理过程如运动目标分类、跟踪和行为理解仅仅考虑图像中运动目标区域的像素， 故对运动目标进行有效的分割是重要的基础性工作，运动检测的效果直接影响到 整个系统的整体效果。常见的运动目标检测应用领域有： ( 1 ) 智能监控：在银行、海关、超市、码头等重要场所，通过对这些场所 中人的活动情况进行检测、分析，可以及时发现可疑行为，采取相应的报警措施， 预防盗窃等行为发生； 基于混合高斯模型的视频运动目标检测算法研究 ( 2 ) 体育运动分析：用于各种体育项目中，通过提取运动员的动作，分析 其各项技术参数，从而提高运动员的训练水平，也可以作为体育比赛的自动裁判； ( 3 ) 人机交互：通过检测用户手势等动作，计算机进行相应的操作，实现 人机之间的智能交互； ( 4 ) 交通状况分析：通过对交通车辆的检测，可以控制交通流量，预防交 通堵塞，也可以检测车辆的违章情况等。 由于在运动检测的过程中，背景图像不是固定不变的，而是存在着动态变化， 如天气、光照、影子及混乱干扰等影响，因此，对运动目标的准确检测成为一项 困难的工作。 目前研究人员已经开发了多种运动目标检测的方法，其中对场景进行背景建 模，然后利用背景减除法提取运动目标是最常用的方法，但在复杂场景中背景模 型的建立、保持和更新都受到各种因素的影响，寻找理想的背景模型往往是非常 困难的。同时，运动目标所投射的阴影与运动目标具有相同的运动特性，常常被 作为运动目标检测出来，这给运动目标的准确提取造成很大的困难。在智能监控 系统中，对复杂场景进行背景建模，对运动目标的运动阴影进行检测和抑制，从 而增强运动目标的检测效果，已成为国内外学者研究的热点问题，也是本文的主 要研究内容。 1 2 本文的主要工作 本文在总结和分析了国内外相关研究工作的基础上，主要对运动物体检测和 提取以及阴影检测与去除两方面做了一定的工作。在运动物体的检测和提取方 面，本文首先利用混合高斯模型进行背景建模，然后通过背景减除法提取前景运 动区域。在背景建模过程中，提出了新的背景模型训练学习方法，加快了背景建 模的速度，同时预防运动缓慢目标快速融入背景。在结合梯度信息的基础上，有 效的去除了运动“影子的影响。同时，在场景光照发生突变时，利用背景减除 法和帧间差分法相结合的办法，对运动物体进行有效地提取。其次，本文利用基 于混合颜色空间的阴影检测方法，有效地完成了阴影的检测和去除。 2 基于混合高斯模型的视频运动目标检测算法研究 1 3 本文的组织结构 本文共分五章，第一章为绪论，主要介绍了研究背景与研究意义，以及论文 的内容安排。第二章为相关理论的介绍，主要介绍了基于视频图像序列的运动物 体检测与提取的方法和理论，重点介绍了本文采用的混合高斯背景模型方法。第 三章和第四章是本文的研究重点。其中第三章分析了现有混合高斯模型存在的问 题，并对算法提出了改进，最后给出了实验结果和分析。第四章是阴影的检测和 去除，提出了基于混合颜色空间的阴影检测和去除方法，同时与其他算法做了实 验对比。最后一章是结论，对全文进行了总结，并对下一步工作进行了展望。 基于混合高斯模型的视频运动目标检测算法研究 2 1 引言 第二章运动目标检测 在计算机视觉分析中，第一步工作是确定场景中存在的运动目标，即运动目 标的检测。运动检测是指对序列图像中与背景存在相对运动的前景进行提取，并 根据灰度、边缘、纹理等二维图像特征将运动前景进一步分割为若干独立目标。 一个理想的目标检测，应该能适应于各种环境，通常一个好的目标检测算法 应该具有以下特征： ( 1 ) 在各种天气条件下应该是鲁棒的； ( 2 ) 对环境光线的变化应该是鲁棒的； ( 3 ) 能够适应场景中个别物体运动的干扰，如树木的摇晃，水面的波动； 一个好的背景更新算法应该能够有效的解决以下几个问题： ( 1 ) 系统对亮度随时间缓慢的变化的适应性问题； ( 2 ) 物体在运动与静止之间转化存在的影子问题； ( 3 ) 背景的正确初始化问题； ( 4 ) 物体运动缓慢时，容易融入背景问题； ( 5 ) 物体目标可能存在阴影的问题； 在实际的应用中，要寻找一个适应各种环境的算法十分困难。除非有专门的 硬件支持，否则研究者不得不在算法的复杂度、可靠度以及实时性方面折衷考虑。 目前大多的算法基本上都是针对解决某一具体问题而提出的。这也就导致了目标 检测算法的分类。 一般而言，根据摄像头与被监视场景之间是否存在相对运动可以将检测算法 分为背景静止与背景运动两种情况；根据监视场景又可以分为室内场景检测算法 与室外监视场景算法。显然，在背景静止的情况下，算法设计难度相对较小。而 对于一个室内场景而言，由于环境变化较小，其检测算法也相对容易设计。目前 关于这方面的算法较多的是在背景静止下的目标检测。本章着重介绍静止背景下 视频序列中目标检测的方法。首先，阐述了目标提取的步骤，指出了实际应用对 4 基于混合高斯模型的视频运动目标榆测算法研究 算法的要求，然后具体介绍了静止背景下的几种目标检测方法：帧间差分法、光 流法和背景减除法；最后重点介绍本文采用的背景建模模型：混合高斯背景模型。 2 2 典型的运动检测方法 在视频监视中，当摄像头保持不动时，可以认为视频序列图像中的背景图像 相对不动，这时所谓的目标检测，就是当场景中有新目标进入或者场景中有目标 移动时，通过算法检测出运动目标，再利用目标分割的方法把进入场景中的运动 目标( 前景) 从背景图像中分离出来，然后判断其真实性，并进行跟踪、识别等 后续处理，如图2 1 所示： 图2 1 运动目标提取流程 目前，针对背景静止的情况，所提出的检测运动目标的算法究其原理主要可 以分为三类：背景减除法、帧间差分法和光流法。但各个算法大多是针对某一特 定的场合提出的，各有特点，并且各种算法仍有许多值得改进的地方，如有的在 检测精度方面，有的在计算量等方面仍需改进。 2 2 1 背景减除法 背景减除法【3 。5 】【3 4 1 是目前运动分割中最常用的一种方法，其基本思想是将当 前图像与背景图像( 模型) 比较检测运动区域。设t 时刻背景图像为l ( t ) ，当前 图像为f a t ) ，则当前帧图像与背景图像差分得到： f d c x , y , t ) = 亿戮卜以而弘d ” ) 其中丁为阈值，得到的二值化图像中像素为1 的区域对应目标运动区域。背 景减除法检测目标一般能够提供较为完整的特征数据，但对于动态场景的变化特 别敏感，如光线、影子、干扰等。背景减除法对视频图像的处理流程可以用图 基于混合赢斯模型的视频运动目标检测算法研究 2 2 表示： 厂萧 1 | l 倒： 输入视频r - 一预处理卜_ 一黼模吲运掰h 蝴理卜 - 一运动前景1 背景减除 图2 2 背景减除法流程图 背景减除法最关键的部分是对背景进行建模。最简单的背景模型是时间平均 图像，大部分的研究人员目前都在致力于开发不同的背景模型，以减少动态场景 变化对于运动分割的影响。例如h a r i t a o g l u 7 】等利用最小、最大强度值和最大时 间差分值为场景中每个像素进行统计建模，并且进行周期地背景更新；m c k e n n a t 3 】 等利用像素色彩和梯度信息相结合的自适应背景模型解决不可靠色彩线索对于 分割的影响：k a r m a n n 与b g r a n d t 4 1 、k i l g e r 5 】采用基于k a l m a n 滤波的自适应背 景模型以适应天气和光照的时间变化；s t a u f f e r 和g r i m s o n t 6 】采用自适应的混合高 斯模型背景模型，并且利用在线估计来更新模型，从而可靠地处理了光照变化、 背景混乱运动的干扰等影响。背景减法如图2 3 所示： a 背景图像 6 b 当前帧 基十混合高斯模型的视频运动目标检测算法研究 c 检测目标 图2 3 背景减法图 2 2 2 帧间差分法 帧间差分法【7 1 是在连续的图像序列中两个或三个相邻帧间采用基于像素的 帧间差分并且阈值化来提取出图像中的运动区域。设第k 帧图像为a ( x ，y ) ，第 k - 1 帧为五一。( x ，y ) ，则由两帧差分可得： p 。( x ，y ) = l 五( 工，少) 一五一( 石，y ) i r ( 石，y ) = ：矿f 。d 。k ( ( 石x ，, y y ) ) ； ( 2 2 ) 其中t 为阈值，得到的二值图像中像素为1 的区域对应目标运动区域。用流程图 可表示为图2 4 ： 图2 4 差分法流程图 差分法通常是利用相邻帧之间的差分信息，如l i p t o n 7 】等就利用两帧差分方 法从实际视频图像中检测出运动物体，进而用于目标的分类和跟踪；一个改进的 方法是利用三帧差分代替两帧差分，如v s a m 引开发了一种自适应背景减除与三 帧差分相结合的混合算法，它能够快速有效地从背景中检测出运动物体。帧间差 分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有 7 相关的特征像素点，在运动物体内部容易产生空洞现象。帧间差分法如图2 5 所 不： c 检测目标 图2 5 帧间差分图 基于混合高斯模型的视频运动目标检测算法研究 ，( x ，y ，) + 尝1 + 考v y + 考 + 。( 西2 ) = ，( x ，y ，r ) ( 2 4 ) 其中，o ( d t 2 ) 代表阶数大于或等于2 的项，消去i ( x ，y ，t ) 并忽略o ( d t 2 ) ，可得： v ，v 圪+ 瓦o i = 。 ( 2 5 ) 其中，v i ：【学+ 昙】r 是图像点所的梯度，v i v 匕是两向量的点积，这个 ( a y 方程就是光流约束方程( o p t i c a lf l o wc o n s t r a i n te q u a t i o n ) ，它反映了运动图像时 间梯度与空间梯度之间的时空微分关系，表示图像强度对时间变化率等于强度的 空间变化率与运动速度的乘积。光流约束方程有屹、1 ，两个未知数而只有一个 约束，显然不能唯一的确定光流，必须加入其他约束条件。为此人们提出了各种 的方法来求解，如使用光流全局平滑性假设来求解光流的h o m s c h u n c k 9 】方法； 使用一个模型通过最d - - 乘法来拟合像素点领域内的光流值约束光流进行局部 调整的l u c a s k a n a d e 1 0 1 方法，利用二阶导数求光流的n a g e l 1 1 1 方法等。 光流方法的特点是在摄像机运动的情况下也能够检测出独立的运动物体。然 而，大多数的光流计算方法相当复杂，而且抗噪性能差，如果没有特别的硬件装 置则不能被应用于实时处理中。 由上述可知，背景减除法在运动目标检测中可以获得关于运动物体区域更完 整的描述，但对于场景中的光照条件、噪声等因素比较敏感，因此在实际应用中 需要采用一定的算法进行背景模型的动态更新，以适应环境的变化。出于处理速 度和算法性能等方面的综合考虑，本文和大部分运动目标检测算法一样，选择了 背景减除法，并利用自适应的混合高斯模型建立背景模型，以及进行实时的背景 更新。 2 3 混合高斯背景模型 寻找理想背景模型的目的是为了有效地提取场景中感兴趣的前景信息，并把 静止背景和不感兴趣的运动目标作为背景处理。要把感兴趣的前景信息与背景区 分开来，就必须对场景背景进行有效的建模。在自然界中，有许多景物或物体在 9 基于混合高斯模型的视频运动日标检测算法研究 颜色分布都呈现出单模态或多模态的特性，如水面的波纹、摇摆的树枝、飘扬的 旗帜等，都呈现出多模态的特性。单模态是指物体点上的颜色分布比较集中，可 以用单个概率模型来描述，即只有一个模态。而多模态是指物体点的颜色分布比 较分散，需要多个分布模型共同描述。根据物体颜色分布特性，背景模型通常可 以分为单模态和多模态两种。最常用的描述背景点颜色分布的概率分布是高斯分 布模型1 3 】【3 2 】，特别是混合高斯模型，已经广泛应用于鲁棒的复杂场景背景建模， 特别是有微小重复运动的场合，如摇动的树枝、雨雪天气、光线反射等。基于像 素的混合高斯模型对于多模态分布背景建模很有效，能够适应背景的逐渐变化， 并能基本满足实际应用中对算法的实时性要求。下面就单高斯背景模型和混合高 斯背景模型分别加以说明及讨论。 2 3 1 单高斯背景模型 在固定场景中，若背景静止且光照不变，忽略视频采集过程中存在的噪声影 响，场景中的各个像素值相对恒定，并符合某个随机概率分布。在这种情况下， 可以对每个场景点建立高斯模型，并对输入的图像帧进行背景检测和运动目标提 取。 在建立高斯模型过程中，假设每一像素点服从均值风和方差司的概率分布。 统计某段o c f 日- 段内序列图像中该点像素值的均值和方差可得与露。则由g o 与 蠢组成的具有高斯分布的图像玩可作为初始背景估计图像： s o = - t o ，靠】( 2 6 ) 当背景发生了变化，如光照改变，或原来静止的物体开始移动时，图像上对 应与该物体未移动前的位置的像素点将被认为为前景像素，这在后续的目标跟踪 中会产生累积性的错误。为了使高斯模型能够及时地响应场景中的这些变化，需 要利用视频序列图像中提供的信息对高斯模型进行参数更新。 当初始化背景图像后，随着每一帧新图像的输入，为了不断的自适应场景的 变化，引入参数更新率p 对高斯模型参数进行更新。p 表示参数更新速度的快慢。 高斯模型的参数更新可表示为t 1 0 基于混合商斯模型的视频运动目标检测算法研究 以= ( 1 一p ) 以一1 + p x , 砰= ( 1 一p ) 以，+ p ( 一筋) r ( 墨- t ，) ( 2 7 ) 其中，墨为，时刻像素值，参数更新率p = k r k x , l 鸬中q 一。) ， k n o ，1 】 之间的常数，r ( i 从中q 一。) 表示均值为l , - l ，方差为。的高斯分布概率密度函 数。 更新后的背景图像e 为： e = 鸬，矿】 ( 2 8 ) 完成背景图像的估计后，需要对输入的每一图像帧进行目标检测。假设当前 输入帧为置，则目标检测可通过置与e 的差分值判断： 驰川= 器裟= f i 嬲二盖曷f i 三； 仁9 ， 其中，f 为分割目标时设定的阈值。 单高斯分布背景模型只能适应背景稳定的情况。如果每个像素点都是特定光 照条件下的物体表面的点，利用单高斯模型可以有效地估计背景，同时也能够很 好的处理噪声问题。即使在光线随着时间缓慢变化的情况下，采用自适应的单高 斯模型也足够模拟其背景。事实上，一个固定的像素点在光照变化下，以及外来 因素的影响下，其分布通常呈现出多模态。特别当场景中微小的物体运动变化， 如树木的晃动等，使得固定位置像素值不断变化，所以使用单高斯模型并不能准 确的模拟背景的变化。 2 3 2 混合高斯背景模型 通过上述对单高斯模型的分析可知，对于复杂背景，单高斯模型已经不能满 足有效模拟背景的要求。考虑到背景像素值的多峰分布性，可利用多模态来描述 复杂场景中像素值的变化。s t a u f f e r 和g l - i m s o n 6 】等提出的自适应混合高斯模型有 效地描述了多模态的场景背景。 混合高斯模型的基本思想是：对每一个像素点，定义k 个高斯模型表示该像 素点在某段时间内不同的状态。考虑到算法的速度以及算法有效性，k 值一般取 基于混合高斯模型的视频运动日标检测算法研究 3 5 之间。k 个状态中一部分表示像素点为背景时的状态，其余部分则表示像素 点为前景时的状态。假设置为像素点在时间，的颜色值，则其概率函数可表示为： 置 p ( 墨) = q ，刁( 五，肛，f ，) ( 2 1 0 ) 其中，刁( z ，一 r ，) 为r 时刻的第f 个高斯分布的概率密度函数，其均值为 一，f ，协方差矩阵为“，q ，为第f 个高斯分布在f 时刻的权重， 其中： 刁( 五，鸬，f ，j j ) = 1 一五一片，c z ；2 ( x , 一坤j ) r t p i = 1 ，2 ，k ( 2 1 1 ) ( 2 万) 2j “j 2 上式中的玎表示置的维数。为了减少计算量，假定像素点各颜色通道相互 独立，并且有相同的方差，则协防差矩阵可表示为： ( 2 1 2 ) 假设像素点的r g b 各颜色通道相互独立不一定与实际情况相符，在检测精 度上可能有少许下降，但提高了算法的实时性。 下面将分别讨论混合高斯模型的参数初始化、参数更新、背景模型的判断和 运动前景检测等各个方面。 2 3 2 1 混合高斯模型的参数初始化 混合高斯模型的初始化，可以通过计算一段没有前景运动物体的视频序列图 像中的像素均值和方差来得到，即： 鳓= 万1 刍n - i 露= 万1 去n - i ( 一胁) 2 ( 2 1 3 ) 这些视频图像必须满足以下条件： ( 1 ) 图像中的每个像素作为背景像素必须持续一段时间； ( 2 ) 背景应该静止，或仅出现小部分背景运动； 一般而言，初始图像帧的选择在1 0 0 2 0 0 帧左右，具体用于计算的帧数需要 考虑实际的场景类型。这就要求在计算、蠢之前必须先存储大量视频背景图 1 2 ol = q r汹 有且 基于混合- 岛斯模型的视频运动目标检测算法研究 像，对内存容量要求较高。考虑在实际运用中事先获取多帧背景图像的可行性以 及背景的多变性，该方法的鲁棒性并不高。实际上，相对于整帧图像而言，运动 区域只占其中的较小一部分，因此可以利用输入的第一帧图像的像素值来初始化 各个高斯模型的均值，并赋予其较高的方差和较小的权重。实验表明，在混合高 斯参数的训练过程中，随着符合某高斯分布的像素数的增加，该模型的权重逐渐 增加，其方差逐渐收敛，其均值也逐渐逼近实际背景。 2 3 2 2 混合高斯模型的参数更新 为了使初始化后的模型在训练过程中不断贴近当前像素值的分布规律，需要 利用每一帧输入的像素更新模型的参数。由于混合高斯模型由多个模型组成，因 此它的更新与单高斯模型的更新策略有所不同，其参数更新步骤如下： ( 1 ) 每一个新的像素值，首先检查其与模型是否匹配，检测的方法是： 苗以h ! - 矧，2 ，k ( 2 1 4 ) i 五一一，1i 力q 卜l 一 、7 其中，力是根据经验设定的常值，通常取2 5 。 ( 2 ) 针对像素的匹配与否采用不同的参数更新方法： 若输入像素值z 与第k 个高斯分布匹配，则需要更新这个高斯分布的权值， 以及模型参数鸬和砰，更新方法如下： o ) k 。r = ( 1 一a ) a , k “+ o r , u k 。，= ( 1 一夕) 以，f - l + 从 ( 2 1 5 ) 畦，= ( 1 一p ) 畦h + p ( 置一心，。) 丁( 五一以产。) 其中口( 0 口1 ) 为权值更新率。为了减少背景噪声，口通常取值较小。 p 为参数更新率： p = a e ( x , f 以 ，- l ，吒，- 1 ) ( 2 1 6 ) 依照模型定义，权值体现了最近像素值出现的概率大小。当输入的像素值与 混合模型中的一个或多个单模型相匹配时，说明该单模型较为符合当前像素值的 分布，因此需要适当增加其权值，权值更新率口体现了权值的修正速度。同时， 1 3 基于混合高斯模型的视频运动目标检测算法研究 根据概率分布的观点，该像素值必然会影响原先估计的概率分布，因此必须更新 模型参数以和砰。 当输入的像素值置未与某一个高斯模型匹配时，可以认为当前像素对这个 模型的分布未作任何贡献，故不需要改变该模型的参数，只需要对其权值做出改 变： o j k ，= ( 1 一口) q ，h ( 2 1 7 ) 这表明了只有与z 相匹配的高斯分布的权值才得到提高，其他分布的权值 都被降低了。 当多个模型集合中没有任何一个高斯模型分布与输入的像素值z 匹配时， 说明出现了新的分布，为了使该分布形式出现在混合模型中，可以通过移除当前 混合模型中权值最小的高斯分布来增加新的高斯分布，并赋予较小的权值和较大 的方差，以及以五作为均值来初始化该新模型。根据墨引入的新的高斯分布其 权值为当前混合模型中的最小权值。 2 3 2 3 背景模型的选取及前景检测 混合高斯模型中，并不是所有的分布都用来描述场景中的背景。一个混合模 型中的背景模型应该具有以下特点： ( 1 ) 该模型其权值较大； ( 2 ) 该模型方差较小。 同时考虑这两方面因素，可以使用相对值( 0 t y 的大小来衡量各高斯分布作为 背景模型的优先级。在此之前，必须对之前更新后的各个模型的权值进行归一化 处理： o j , j ：霉l f = l ，2 ，k ( 2 1 8 ) c o k ， k = l 求取背景像素的模型的方法如下t ( 1 ) 计算每个高斯分布的优先级o ) o ； 1 4 基于混合高斯模型的视频运动目标检测算法研究 ( 2 ) 依照优先级( 0 o 的大小对各高斯分布按从高到低的次序排列； ( 3 ) 从k 个高斯分布中选出前b 个高斯模型作为背景模型，b 为： ，b、 b = a r g 血n 。l 荟q 丁j ( 2 1 9 ) 其中，丁是作为估计背景的阈值，通过丁的设定可以选出描述背景的最佳分 布。若丁的值较小，背景模型通常是单模态的；如果丁的值较大，则背景模型可 以描述多模态情况，这对估计在同一像素上具有两个甚至更多的不同颜色的背景 有明显的效果。 根据前口个高斯分布建立的背景模型，按照优先级次序将z 与b 个高斯分 布逐一按照公式( 2 1 4 ) 匹配，若没有表示背景的高斯分布与置匹配，则判定该点 为前景点，否则就为背景点，从而完成了自适应混合高斯模型下的目标检测。 2 3 3 实验分析 我们使用固定的三脚架在室内、室外摄取了若干视频图像序列，并利用上述 的单高斯模型，混合高斯模型进行试验。视频图像的大小为3 2 0 x 2 4 0 像素，真 彩色格式。程序编写环境为v c6 0 。 在利用单高斯模型和混合高斯模型检测运动物体时，都假定像素的尺、g 、 b 三颜色通道相互独立，取值均在 0 ，2 5 5 范围内，并且所有的高斯模型都是基 于像素的，即每个像素建立一个模型，像素之间的背景模型相互独立。在判断像 素是否为前景时，兄取2 5 。 在混合高斯模型试验中，分别取高斯模型个数k = 3 和k = 5 。通常的情况下， k 取值不大于5 ，因为k 太大会增加算法的运算量，而算法效果并不能得到明显 的改善。图2 6 和图2 7 分别显示了室内、室外用单高斯模型和混合高斯模型进 行背景建模与运动检测的效果。图彳为原始视频图像帧；b 为用混合高斯模型进 行建模的后的背景模型；c 为当前帧图像；d 为单高斯模型的运动检测结果：e 为k = 3 的混合高斯模型检测结果；，为k = 5 的混合高斯模型检测结果。d 、e 、 ，为最初的运动检测结果，并未进行形态学腐蚀、膨胀处理以及连通区域分析。 由上述的试验结果可以看出，利用混合高斯模型能够对场景背景进行有效的建 基于混合高斯模型的视频运动目标检测算法研究 模，但由于受到噪声的影响以及背景中存在着重复细微的运动( 如树枝晃动等) ， 利用单高斯混合模型检测运动物体效果并不理想。k = 3 时，利用混合高斯模型 检测运动物体已经能够获得较好的效果，而k = 5 时，检测效果比k = 3 时效果 好一些，但由于计算量的增加，在检测速度上比k = 3 时要慢。 彳场景背景 c 当前帧 b 背景模型 d 单高斯模型 ek = 3 混合高斯模型fk = 5 混合高斯模型 图2 6 室内场景 基于混合高斯模型的视频运动目标检测算法研究 么场景背景 c 当前帧 b 背景模型 d 单高斯模型 ek = 3 混合高斯模型fk = 5 混合高斯模型 图2 7 室外场景 2 4 运动检测算法性能比较 本章对帧间差分法、单高斯模型、k = 3 的混合高斯模型以及k = 5 的混合 高斯模型进行了实验以及分析。在检测速度上，帧间差分法由于算法比较简单， 因此检测速度比高斯模型要快，对计算机的内存需求方面也没有高斯模型的大， 但在检测效果上显然不如高斯模型。而单混合高斯模型、k = 3 的混合高斯模型 基于混合高斯模型的视频运动目标检测算法研究 和k = 5 的混合高斯模型由于在计算量上逐步增加，因此在算法速度上逐步变慢， 对计算机内存要求也逐步增加，但检测效果后者优于前者。综合考虑以上各种算 法在处理速度、内存需求、检测效果方面的性能，可以看出，k = 3 的混合高斯 模型算法比较适合应用于实际系统中。 2 5 小结 本章首先介绍了在摄像头固定情况下检测运动物体的各种算法，并分析了它 们各自的优缺点。在背景建模方面，对混合高斯背景模型进行了详细的介绍以及 分析，同时比较了单高斯模型和混合高斯模型各自的特点和应用范围。最后通过 试验比较分析了混合高斯背景模型、单高斯背景模型的处理效果和优缺点。 基于混合高斯模型的视频运动目标检测算法研究 3 1 引言 第三章基于混合高斯模型的算法改进 开发理想的背景模型是背景减除法的主要研究内容，而背景模型的更新策略 是背景模型设计中最关键的技术。为了有效的提取运动目标物体，需要建立一个 具有自适应更新能力的背景模型，该模型不仅能够在运动目标存在的初始化条件 下进行背景模型的建立，而且能够随着场景的变化而自适应地进行背景模型的保 持和更新。一个理想的背景模型应该满足以下条件【1 4 】： 1 ) 背景模型对背景变化的响应速度要足够快。 背景的变化可能是由光照变化等因素引起的背景本身颜色的变化，也可能是 背景区域的变化，如前景和背景之间的相互转化，即某个物体由运动转为静止， 或由静止转化为运动( 如停车场里的汽车停下或开走) 而导致前景物体被融入到 背景中或背景的一部分物体离开背景而转化为前景。如果背景模型不能迅速跟上 实际背景的变化，检测结果中就会出现大范围的噪声或不合理的长时间静止前景 物体造成的影子。 2 ) 背景模型对运动目标要有较强的抗干扰能力。 因为在背景模型的更新过程中，对背景模型上的每点而言都是受到了一个颜 色序列的训练，不论实际场景中该点是处于静止背景上还是在运动目标上。静止 的背景或目标的这种训练是我们所希望的，而运动目标的训练则是不希望看到 的。特别是当运动物体尺度较大或运动较慢时，这种长时间的训练可能会引起错 误的检测结果，特别是两个颜色相近的物体交错而过时更加明显。 如何加快场景背景模型的更新速度，使背景模型及时地反映实际背景的动态 变化是国内外学者研究的热点问题【1 5 18 1 。 3 2 现有算法中存在的问题 1 9 基于混合岛斯模型的视频运动目标检测算法研究 混合高斯模型利用多个单高斯分布模拟每个固定位置像素在场景中可能出 现多个状态，同时又能够自适应的更新模型参数，并且避免了通过存储大量视频 帧来初始化模型，减少了对计算机内存的要求。 混合高斯模型在背景建模与运动目标检测中有诸多优点，得到了广泛的应 用，也获得了较好的运动检测效果，但在复杂场景中，其背景模型仍未能及时地 反应实际背景的变化，主要体现在更新速度较慢。 在前面描述的单、多高斯分布背景模型中，参数更新率p 和权值更新率口均 反应了模型更新速度的快慢。在单高斯分布背景模型中，较大的p 能够使背景模 型及时地响应实际背景变化，同时也会降低模型对运动目标的抗干扰能力；较小 的pn b j u 好相反。要找到一个同时能够满足这两方面条件的p 比较困难。通常会 考虑对背景点赋予较大的更新率，对前景点赋予较小的更新率。但这会导致对响 应背景区域的变化效果较差，因为这时静止的前景点会由于参数更新率太小而难 以融入背景之中。 对于混合高斯模型，由于其本身具有多个高斯分布，因此在判定前景、背景 时并不单单依赖某个高斯分布，更多的是依赖各个分布的权值和优先级。对于前 景和背景相互转化的情形，它可以通过引入新的高斯分布来解决。混合高斯模型 一个重要的优点就是：当有物体转化为背景的一部分时，它并没有破坏已经存在 的背景模型，原始的背景信息仍被保存在混合模型中，直至它因为优先级降到最 低而被新的分布取代，因此，如果一个目标静止了一段时间后以后重新开始运动， 描述先前背景的高斯模型仍然以相同的均值和方差存在着，只是其权值被降低 了。另外，由于只有相匹配的高斯模型分布的高斯参数才得到更新，所以受运动 物体的干扰也