（生物医学工程专业论文）视频图像中运动目标检测及跟踪.pdf

a b s t r a c t t i t l e ： a u t h o r ： s u p e r v i s o r ： s c h o o l ： a b s t r a c t m o v i n go b j e c t sd e t e c t i o na n dt r a c k i n gi nv i d e os e q u e n c e w uh u a i q i n p r o f l u 0l i m i n s o u t h e a s tu n i v e r s i t y m o v i n go b j e c t sd e t e c t i o na n dt r a c k i n gm e a n st od e t e c t ，r e c o g n i z ea n dt r a c km o v i n go b j e c t si nt h ei m a g e s e q u e n c ew h i c hc o n m i n st h eo b j e c t t h em o v i n go b j e c tt r a c k i n ga n da n a l y s i sc a nb eu s e di ns e c u r i t ys u r v e i l l a n c e ， v i r t u a lr e a l i t y , a d v a n c e du s e ri n t e r f a c e s ，e t c m e a n w h i l e ，t h em o v i n go b j e c tt r a c k i n gh a sh i g ha c a d e m i cv a l u ea n d t h e o r e t i cs i g n i f i c a n c e ，a n dh a sb e e nah o ti s s u eo fi n t e r n a t i o n a lr e s e a r c hi nr e c e n ty e a r s t h em o v i n gl u g g a g ed e t e c t i o n ，t r a c k i n ga n dp o s t - p r o c e s s i n gi ni m a g es e q u e n c eo f s e c u r i t yv i d e o sa r em a i n l y d i s c u s s e di nt h i sd i s s e r t a t i o n t h eo r i e n t a t i o no fm o v i n go b j e c ti sj u d g e db yas e r i e so fs t e p s ，a n dc o r r e s p o n d i n g v i d e of r a m ei ss a v e d ，w h i c hc a l ls a v es t o r a g es p a c ea n db ec o n v e n i e n tf o rr e t r i e v a la n dt r a c i n gb a c k a sf o rm o v i n go b j e c t sd e t e c t i o n ，t h ea l g o r i t h m sb a s e do ni n t e r - f r a m ed i f f e r e n c e ，o p t i c a lf l o wa n db a c k g r o u n d s u b t r a c t i o na r ei n t r o d u c e da n di m p l e m e n t e d a l s ot h ea d v a n t a g e sa n dd i s a d v a n t a g e sa n a l y s i si sg i v e nt ot h e e x p e r i m e n t a lr e s u l t s b ya n a l y z i n gt h ea l g o r i t h mo fg a u s s i a nm i x t u r em o d e la n ds i m p l i f y i n gi t sp a r a m e t e r u p d a t i n gs t r a t e g y , a ni m p r o v e m e n ti sp r o p o s e d e x p e r i m e n td e m o n s t r a t e st h a tp r o p o s e dg a u s s i a nm i x t u r em o d e l c a ni m p r o v ec o m p u t a t i o ne f f i c i e n c y , e x t r a c tb a c k g r o u n da c c u r a t e l ya n db ea d a p t i v et om u t a t i v eb a c k g r o u n d a f t e rp r o c e s s i n gd e t e c t e df o r e g r o u n db ym e a n so ff i l t e r i n ga n dm a t h e m a t i c a lm o r p h o l o g yo p e r a t o r st o r e m o v et h ei n f l u e n c eo fn o i s e ，c o n n e c t e dc o m p o n e n tr e s e a r c h i n ga l g o r i t h mi sa p p l y i n go nb i n a r yf o r e g r o u n d m a s k ，w h i c hh e l p st om a r km o v i n go b j e c t sw i t he l l i p s e sa n do r d e rn u m b e r s t h e ni ti sr e a d yt ot r a c kt h eo b j e c t s o nt h ea s p e c to fo b j e c tt r a c k i n g ，a na l g o r i t h mb a s e do nr e g u l a rr u l e sc o m b i n e dw i t hf e a t u r e so fs e c u r i t y v i d e oi sp r o p o s e d t h ep a c k a g eo b j e c tt r a c k i n gi si m p l e m e n t e db ys e a r c h i n gt h en e i g h b o r h o o do ft h eo b j e c ta n d h i s t o g r a mm a t c h i n g a n dt h em e a ns h i f ta l g o r i t h mi si n t r o d u c e d i ti sc o m b i n e dw i t hf o r e g r o u n db i n a r ym a s kt o i m p r o v et r a c k i n ga c c u r a c y f i n a l l y , t h et r a c k i n gr e s u l ti sp r o c e s s e da c c o r d i n g t ow h i c h ，t h ed i r e c t i o no f t h el u g g a g ei sd e t e r m i n e da n dt h e c o r r e s p o n d i n gv i d e of r a m ei ss t o r e d o n es o l u t i o ni sd e t e r m i n i n gt h ew a yo fo b j e c t sa c c o r d i n gt h et r a c k i n gr e s u l t m o r e o v e r , t h eo p t i c a lf l o w , c o m b i n e dw i t hi n t e r - f r a m ed i f f e r e n c ei ss u g g e s t e dt os o l v et h em u t a t i o ni n s t a n t s o b j e c t sv e l o c i t yo rd i r e c t i o n ，a n ds t o r et h ei n t e r e s ti m a g e s a t i s f y i n ge f f e c ti so b t a i n e d k e yw o r d s ：o b j e c td e t e c t i o n ，g a u s s i a nm i x t u r em o d e l ，o b j e c tt r a c k i n g ，m e a ns h i f t ，o p t i c a lf l o w , i n t e r - f r a m e d i f f e r e n c e ，f o r e g r o u n dm a s k i l 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：崖! 坚差日期： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名：必导师签名：靴日期：一 第一章绪论 1 1 课题背景及意义 第一章绪论 随着世界经济的迅速发展，各个国家的安全意识也逐步增强，我们国家也不例外。近年来，我国政府 和相关职能部门对道路运输安全的重视程度也越来越高。在车站、机场等场所的入口处都设有基于x 射线 的行李包裹安全检测系统。这一系统主要是针对行李包裹里的一些如管制刀具、枪支、汽油、雷管等危险 物品进行的检测，并且基于x 射线透射成像的安检技术己取得了较大的成就。在实验室已经研发出x 射 线安全检查设备原型的基础上，本课题对安检设备视频图像中行李目标的检测和跟踪扩展功能进行了相应 的研究。 在节假日等客流高峰期，汽车站、火车站人流比较拥挤，导致安全检查系统长期处于“忙碌”状态， 从而使安检机出口处的场景也比平时混乱，可能会引起乘客有意或无意地错拿行李包裹。针对这一问题， 本实验室在所研发的安检系统中增加了人像和行李包裹相对应的场景视频采集模块部分【l 】，利用自定义的 包裹数据和视频的存档格式，用软件进行交叉检索回放。但如果在客流量很多的情况下，进行2 4 小时监 控并存储视频，必定要占用非常多的存储空间。按照本系统存储的压缩视频计算，存储一段时间为3 0 s ， 图像大小为3 5 2 2 8 8 的视频，所占用的存储空间约为1 5 4 朋b ，假设2 4 小时内要存储视频的时段只有1 2 小时，那么所需的存储空间也要( 1 2 h o u r 3 6 0 0 s h o u r ) 3 0 1 5 4 m b = 2 2 1 7 6 m b 2 g b 。可想而知， 如果存储的视频序列长期积累，必定要占用很庞大的硬盘空间。而且一旦有特殊情况发生，需要回放检索 视频时并不是很方便。而如果存储的仅仅是一些图像序列，那么将会节省很多空间，并且能够方便后续检 索。正是在这一背景下，本文主要针对安检机出口处的行李包裹视频图像序列进行检测与跟踪，对其后续 行为进行分析，存储感兴趣的视频图像序列，以节省存储空间及方便后续追踪。 要完成对视频图像序列中运动行李包裹的检测和跟踪，并对其行为进行理解和描述，从技术角度而言， 研究内容相当丰富，涉及到图像处理、模式识别、计算机视觉、人工智能等学科知识。同时，动态场景中 运动的快速分割、目标之间互相遮挡或停止的处理也为运动分析带来了一定的挑战。在过去的二十多年里， 如何利用计算机把运动目标从有干扰的背景中检测出来并对感兴趣的部分进行跟踪，从而实现对目标运动 行为的理解和描述，一直是一个具有挑战性的课题，也是一项非常活跃的研究领域。当前一些国际权威期 刊如p a m i ( i e e et r a n s o np a t t e ma n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) ，c v l u ( c o m p u t e rv i s i o na n di m a g e u n d e r s t a n d i n g ) ，i v c ( 1 m a g ea n dv i s i o nc o m p u t i n g ) 和重要的学术会议如i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo n c o m p u t e rv i s i o n ) 。c v p r ( i e e ec o m p u t e rs o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) 等都 将运动对象的视觉分析研究作为主题内容之一。 视频图像中运动目标的检测与跟踪，目的是通过对视频图像的分析，实现对场景中目标的定位、识别 和跟踪，从而做到对目标行为的分析，在完成日常管理的同时还能对发生的异常情况做出响应。对视频的 自动检测可以减少对视频信号的存储，并能实现自动报警。它可以指导操作人员去解决一些潜在的问题， 还可以极大的减少视频传输所需要的带宽，并且只存储一些感兴趣的片断。 运动目标的检测和运动目标的跟踪，这两方面的工作是一个承接的关系，但同时也相互影响。运动目 标检测是第一部分，它就是实时地在被监视的场景中检测出运动目标，并将其提取出来。运动目标跟踪是 衔接运动目标检测和目标行为分析及理解的一个重要环节。所谓运动目标跟踪，就是在运动目标检测的基 础上，利用目标的有效特征，使用适当的匹配算法，在连续图像中寻找与目标最相似的图像的位置，简单 的说就是给目标定位。在实际应用中，运动目标跟踪不仅可以提供目标的运动轨迹、准确定位目标，为下 一步的目标行为分析与理解提供可靠的数据来源，还可以为运动目标检测提供帮助，从而形成一个良性的 东南大学硕士学位论文 循环。 1 2 国内外研究现状 在过去的二三十年中，人们对运动目标检测与跟踪作了大量深入的研究，提出了很多行之有效的方法。 1 9 9 7 年，美国国防高级研究项目署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 设立了以卡内基梅 隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首，麻省理工学院( m a s s a c h u s e a si n s t i t u t eo f t e c h n o l o g y ) 等高校 参与的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) 口j ，主要研究用于战场及普通民用场景 进行监控的自动视频理解技术。m i t 媒体实验室的p f i n d e r 系统1 3 】从9 5 年开始建立，运行于标准的s g i 工 作站上。p f i n d e r 系统是一个评价很好的系统，被应用到许多应用程序中，其所用的方法具有相当的代表性。 实时视觉监控系统w 4 1 4 1 不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟 踪，并可以检测人是否携带物体等简单行为。英国的雷丁大学( u n i v e r s i t yo f r e a d i n g ) 已开展了对车辆和 行人的跟踪，及其交互作用的相关研究。i b m 与m i c r o s o f t 等公司也正逐步将基于视觉的手势识别接口应 用于商业领域中。在我国，这方面的研究也正蓬勃发展起来。中国科学院自动化研究所模式识别国家重点 实验室已经成立智能视觉监控研究组，开展这方面的研究，目标是实现一个动态场景集成分析演示系统并 最终推向实用。另外，哈尔滨工业大学、浙江大学、清华大学等，也都取得了一定的研究成果。 1 2 1 运动目标检测方法 视频序列中的运动目标检测是指通过运动及图像特征分析( 如色彩、边缘、纹理等) ，检测视频序列中 是否存在与背景有相对表观运动的前景目标，如果有，则将其从原始图像序列中提取出来。可以只利用单 独的一帧内的信息，也可以利用帧间信息进行运动目标检测。表1 1 列出了一些常见的目标检测算法。 表1 1 目标检测算法分类 分类代表性的研究工作 点检测法 分割法 背景建模法 m o r a v e c 检测法【5 】，h a r r i s 检测法【6 1 ， 伸缩不变量特征变换法【7 1 ，仿射不变量点检测法【引。 均值漂移法1 9 ，曲线切割法【10 1 ，活动轮廓法【1 1 1 。 混合高斯模型 1 2 】，e i g e n 背景模型【1 3 1 ， w a l lf l o w e r 模型1 14 1 ，动态纹理背景模型【1 5 】。 辅助分类器法支持向量机( s v m ) b 6 1 ，神经网络【1 7 】， 自适应增强( a d a b o o s t ) 【1 引。 1 2 2 运动目标跟踪方法 运动目标跟踪是确定同一物体在图像序列不同帧中位置的过程，当运动物体被正确检测出来时，跟踪 等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题。目标跟踪 的主要工作就是选择好的目标特征和采用适当的搜索方法。运动目标跟踪算法的优劣直接影响着运动目标 跟踪的稳定性和精确度，虽然对运动目标跟踪理论的研究已经进行了很多年，但至今它仍然是计算机视觉 2 第一章绪论 等领域的研究热点问题之一。研究一种鲁棒性好、精确、高性能的运动目标跟踪算法依然是该研究领域 所面临的一个巨大挑战，研究的困难很多程度上取决于对被检测和跟踪的目标是如何进行定义的，也很难 对已有的跟踪算法有一个统一的分类方法。 图1 1 目标跟踪方法分类 根据目标基于形状和外观模型的描述，给出一种运动目标跟踪方法的分类，如图1 1 所示。同时，表 1 2 列出了每种跟踪方法的代表性研究工作。 表1 2 跟踪方法代表性研究工作分类 分类代表性的研究工作 点跟踪 确定性方法 m g e 跟踪法【1 9 】，g o a 跟踪法 2 0 】； 基于统计的方法卡尔曼滤波器【2 1 1 ，j p d a f l 2 2 1 ，p m h t t 2 3 j 。 核跟踪 基于模板和密度的外观模型均值漂移1 2 4 1 ，k l t t ”1 ，分层【2 6 】； 基于多视点的外观模型 e i g e n 跟踪【”1 ，s v m 跟踪【2 8 】。 轮廓演变 形状匹配 状态空间模型【2 9 】，变分法【3 0 1 ，启发式近似法【3 1 】： h a u s d o r f i f 3 2 1 ，h o u g h 变换【3 3 1 ，直方副3 4 1 。 3 东南大学硕￥位论文 1 2 3 目标描述方法 对运动目标进行跟踪需要以适当的方式描述被跟踪物体，选择恰当的特征进行跟踪。目标描述可分 为基于形状( s h a p e s ) 和基于外观( a p p e a r a n c e s ) 两种最常用的方式，具体分类如表l3 所示。 表13 常用目标描述方法 基于形状的描述 基于外观的描述 点( 图】2 ( a ) 唧l 、( b ) 1 3 5 1 ) 对象出现的概率密度( 如高斯p q 、混合高期i ”】 估计非参数估计p ”，赢方图估计口4 增) 原始几何形状( 图i 一2 ( c ) 、( d ) 弹】) 模板划 对象剪影和轮廓( 图1 - 2 ( g ) 、( h ) 、( 1 ) ”) 活动外观模型l 关节形状模型( 图l 一2 ( e ) 骨髂模型( 图1 2 ( f ) f 4 2 1 ) 多视角外观模型口7 3 垮 零 突跌 ( d 】( e ) 愈穴 ( e )( g 】( h )m i 图1 2 常用目标描述方法h ”( a ) 质心，( b ) 多点，( c ) 矩形块，( d ) 椭圆块， e ) 基于部分的多分块，( f ) 对象骨骼，( g ) 目标轮廓控制点，( h ) 完整目标轮廓，( i ) 对象剪影 钉列扑jn 胪w l 穴 第一章绪论 1 3 论文的主要工作及成果 本论文研究采用的实验视频为实验室与上海东影公司合作生产的伪双能透射成像安检设备中的场景 视频采集模块所采集的视频图像序列。视频采集部分采用视频采集卡外加双路高清晰度彩色模拟摄像机的 硬件配置。视频采集卡为硬件压缩卡，将采集到的视频数据直接压缩成m p e g 4 的格式保存。彩色视频图 像大小为3 5 2 x 2 8 8 ，帧率为2 5 帧秒。 本文的内容主要包括行李目标检测、跟踪及后处理三个模块，即对通过安检机的行李包裹进行检测及 跟踪，对于各目标的最终去向进行判断，同时存储包含目标去向的视频帧，以方便后续处理。因此本文的 工作及成果也主要体现在这三个方面。 首先，在检测方面主要工作是在实现并总结常用的运动目标检测方法的基础上，构造了一种实用性较 高的基于高斯混合模型的运动目标检测算法。通过背景建模、运动目标检测、形态学滤波后处理及连通区 域标记四个步骤实现运动目标检测。实验结果表明，改进后的高斯混合模型在没有降低检测效果的前提下 提高了运算速度，是一种行之有效的方法。 然后，在跟踪方面根据行李包裹现场视频的特点，实现了一种基于规则判断的跟踪方法，规则是考虑 到行李的运动速度缓慢，以及目标模板和候选目标直方图相似等特征的基础上建立起来的，这种判断规则 简单有效，运行速度快，但不具鲁棒性。另外，本文还讨论并实现了均值漂移( m e a n s h i f t ) 跟踪算法。在 分析了该算法实验结果缺点的基础上，提出了一种将m e a n s h i f t 算法与前景掩模相结合的改进跟踪算法， 实验证明提出的算法在跟踪的准确性上有所提高。 最后，进行目标跟踪后处理，即判断目标的最终去向，存储相应的视频帧。在实现了基于规则方法判 断目标去向的基础上，本文提出一种不通过目标跟踪，直接使用光流场与帧间差分相结合的算法，判断行 李目标运动速度发生突变的时刻，即认为是其被取走的时刻，从而存储相应视频图像。通过两种算法结果 的比较，分析了各自的优缺点。 1 4 论文章节安排 本论文共由以下五部分组成： 第一章，绪论。阐述了课题研究的背景和意义，分析了当前国内外对该课题的研究现状，并给出论文 实验所用视频来源及本论文所做的主要工作及成果。 第二章，详细描述静止背景下几种运动目标的检测算法，分析各种算法的优缺点和适用场合。重点介 绍了基于光流场的运动目标检测算法和改进的高斯混合模型( g m m ) 提取运动目标的算法。给出几种算 法的实验结果，并做出相应的比较。 第三章，对检测到的前景目标进行滤波及形态学等后处理，以提高目标检测的准确性，同时给出几种 标记运动目标的方法，如外接矩形表示法、椭圆表示法等，方便运动目标的跟踪。 第四章，详细描述了运动目标跟踪算法，介绍了当前流行的一些跟踪算法，重点介绍基于规则的跟踪 方法和均值漂移跟踪方法。给出两种方法的实验结果，并对其进行比较。另外，给出行李包裹最终去向的 规则判断方法，并提出一种将帧间差分结果与光流场相结合直接判断运动目标轨迹突变的方法，从而更准 确地判断行李去向，保存相应的场景图像。 第五章，总结与展望。总结了本论文的主要工作，指出其中的不足，并对今后的工作进行了展望。 东南大学硕士学位论文 第二章运动目标检测 运动目标检测是视频监控技术的基本问题。运动目标检测是检测视频序列中是否存在相对于背景图像 运动的物体。运动目标检测对于一个视频监控系统来说有着至关重要的作用。它处于整个监控系统的最底 层，是其他高级应用如目标跟踪、目标识别的基础。只有正确地检测到运动目标才能进行下面的工作，否 则就会产生很大的偏差和错误以致后面的工作无法开展。运动目标检测依据前景目标所处的背景环境，可 以划分为两类静态背景下的运动目标检测和动态背景下的运动目标检测，本章主要研究摄像机不发生 运动的静态背景运动目标检测。 运动目标检测结果的好坏直接关系到整个监控系统的优劣。好的运动目标检测算法应能准确的检测到 运动目标，而且能适应各种监控环境，有较强的抗干扰性和处理速度快的特点。通常一个好的运动检测算 法应具有以下特点： ( 1 ) 能适应环境光线的变化，尤其是较快的光线变化。 ( 2 ) 能处理场景中背景物体的干扰。 ( 3 ) 在各种天气条件下都可以使用。 ( 4 ) 处理无序的大面积区域的各种运动。 但是对于一个算法来说，考虑到各种实际应用环境，要想满足上面的所有条件是很困难的，而且有的 要求本身就是矛盾的。因此只能根据实际的应用需要相应地调整各个要求标准在整体中寻找均衡条件，实 现整个系统性能的最优化。下面分别介绍几种常用的运动对象检测算法。 2 1 帧间差分法 2 1 1 帧间差分法的基本原理 帧间差分法主要是利用视频图像序列中连续的两帧或几帧图像的差异来进行目标检测和提取】。一个 最基本的帧间差分法的过程如图2 1 所示，疋表示第k 帧灰度图像，疋一，表示第如l 帧灰度图像。首先， 利用公式( 2 1 ) 计算第k 帧图像与第k 一1 帧图像之间的差别，得到差分后的图像d 。然后利用公式( 2 2 ) 对差分后的图像d i 进行二值化，当差分图像中某一像素值的差绝对值大于某一给定的阈值时，则认为该 像素为前景像素，即认为该像素可能为目标上的一点，反之则认为是背景像素。在对差分图像q 二值化 后得到见，经过对风的形态学运算后，对图像吃进行连通性分析。当某一连通的区域的面积大于某一给 定的阈值，则认为该区域为检测到的目标。这样就完成了运动目标的检测。 图2 1 帧间差分法基本原理 d 。( x ，y ) = i l ( x ，y ) - l 一。( x ，y ) i 6 ( 2 1 ) 第= 章运动日标检测 剐圳= 怯 l ，巩( t y ) t 矿以( 五y ) 丁) 6 k = l ( 2 2 8 ) 上面介绍了状态估计和前景分割的问题，但是还未解决参数估计的问题。如果知道完整的数据，则参 数估计的方程是： p ( x l ，x 2 ，x m ；七i l 后，o k )( 2 2 9 ) 这里置表示，时刻的像素值，同时认为共有m 个x 的样本。参数的估计是在k 给定时，最大化上 式得到的。最终的参数估计结果可写成： 也= 击善眦 ( 2 3 0 ) 驴端 ( 2 3 1 ) 咖2 登堕兽坚巫幽 ( 2 3 2 ) ：p ( kx ，) 卜“纠 其中p ( kx ，) 可e h ( 2 3 1 ) 式在每个时刻f 给出，k = 1 , 2 ，。 以上三个公式基于这样的假设：k 和是静态过程，同时是一个固定值。这三个公式的实际意义 是：在获取每一帧数据后，根据新的采样值x = x 重新估计当前状态k 和所有参数，这样使模型适应了 外面环境的变化。再根据前面介绍的前景判断准则就可完成前景分割。但是同时也应注意到以上3 个公式 建立在获取完全数据的基础上，其计数效率将十分低，无法满足视频监控中的实时性要求。所以如何从非 完整数据中近似估计参数将直接影响该算法的性能。 通过上面的分析可以看出，在混合模型中有几个关键问题：( 1 ) 新出现的数据如何引入到原有分布模 型中：( 2 ) 前景判断准则的选取；( 3 ) 参数估计的快速、有效的近似计算。本小节讨论的混合模型的基本 算法原理，运行效率比较低，所以需要改进的近似算法来提高其实用化程度。下面介绍本文所使用的改进 算法。 2 4 改进的混合高斯分布模型的应用 2 4 1 建立背景模型 由于监控系统中，监控摄像机是固定的，摄像机输入的图像是由r 、g 、b 分量组成的，所以摄像 机输入的视频图像序列可表示为 ，( 1 ) ，( 2 ) ，( f ) ， ，第，帧图像的任意点x ， ，y ) 表示成 l ( x ，) = ，尺( x ，) ，g ( x ，) ，b ( x ，) ) 。 如果场景中没有运动目标，则整个场景相对静止，每一个像素随时间的变化都近似服从高斯统计模型。 用每一点的均值( x ，) = 缸r ( x ，) ，g ( x ，) ，占( x ，) ) 和方差( 假设r 、g 、b 各分量相互独立) d ( x ，) = d 只( x 。) ，耽( x ，) ，d 口( x ，) ) 来描述这个分布模型。由于场景的2 4 小时光线变化比较大，而且 1 5 z ，l 嘶 m 兀瑚 = 、， l e 东南大学硕士学位论文 安检系统传送带是处于不停的运转状态的，另外目标场景也可能有行人的介入使之产生突变，这些目标区 域的像素变化过程很难使用单一分布模型来描述，必须使用多分布模型切l ( ，) ，r t ( x ，) ，r v ( z ，) ) 来描述。其中r k ( x ，) = 乩i ( x ，) ，d k ( x ，) ，下标后表示第七个分布，n 代表分布模型总个数，一般取值 范围为3 7 。 本文使用混合高斯分布模型来描述每一个像素点上最近的历史变化似l ，x ，) 。则当前观测点的概 率是： ( 2 3 3 ) 其中吼( ，) 是f 时刻第k 个分布的优先权系数，它反映了第七个分布最近时段内在模型里出现的频度。 2 4 2 背景模型更新 随着时间的推移，背景模型必须能够自适应各种场景的变化，所以背景模型的更新也是一个比较重要 的环节，也是背景模型设计是最关键的技术。在模型更新时应当注意如下两条原则5 7 】： ( i ) 背景模型对背景变化的响应速度要足够快。 背景的变化可能是由光照变化等因素引起的背景本身颜色的变化，也可能是背景区域的变化，如前景 和背景的相互转化，即某个物体由运动转为静止或由静止转为运动而导致前景物体被“融入”到背景中或 背景的一部分“逃逸”出转而成为前景。如果背景模型不能迅速跟上实际背景的变化，检测结果中就会出 现大范围的噪声或不合理的长时间静止前景物体造成的“影子”。 ( 2 ) 背景模型对运动目标要有较强的抗干扰能力。 在背景模型的更新过程中，对背景模型上的每点而言都是受到了一个颜色序列的“训练”，不论实际 场景中该点是处于静止背景上还是在运动目标上。静止的背景或目标参加这种“训练”是我们所希望的， 而运动目标的“训练”则是不希望看到的。特别是当运动物体尺度较大或运动较慢时，这种长时间的“训 练”可能会引起错误的检测结果，特别是两个颜色相近的物体交错而过时更加明显。 基于完整数据集的参数估计的计算十分耗时。本文结合s t a u f f e r 1 2 】提出的算法来近似计算，以提高运 算速度。具体做法是将每一个新捕获的像素值x ，与已知混合模型里的个分布进行比较，直到找到一个 与x 最匹配的分布。这里匹配的定义使用公式表示如下： = 一能量箩u 3 4 ， 这里a 一般取2 3 。 然后根据q d 对混合模型里的个分布进行排序。这样使得可能性大的分布在序列前端，而可能 性小的分布在序列后端，逐渐被新加入的分布代替。 如果前b 个状态的累计概率大于丁同时b 最小时，则认为它们是背景状态。其余的状态为前景。 b = a r g m i n ( q 丁) 6 两 1 6 ( 2 3 5 ) 、， x ，- 七切o吼 糊 = 、， ，l p 第二章运动目标检测 如果混合模型里的个分布与x ，都不匹配，说明x 。是一个新的前景点，则使用一个新的分布 刁( ，d ) 来代替混合模型里优先权系数最小的那个分布，该新分布的均值= x ，方差d 取，优 先权系数o j 取一个较小的值。 t 时刻混合模型里个分布的优先权系数使用下面的公式进行更新： 峨o ) = ( 1 一a ) c o t ( ，) + a m io ) k = 1 , 2 ，n ( 2 3 6 ) 这里口是学习速率，1 a 定义了时间常数，它决定了分布参数更新的速度。实质上式( 2 3 6 ) 是对( - o k ( ，) 进行低通滤波。 t 时刻各分布均值参数采用下面的公式进行更新： 以忙r 纵z k ( t - 1 ) ) 懈。篙篇篇 亿3 7 ， t 时刻各分布方差参数采用下面的公式更新： q cd=1一p。o一1+p破(xo,-一l。z，。o”。xf一tfj；：2孝；雩乏器c238， 其中。p 采用w a y n e 5 8 提出的简化公式计算： 纵归n o 篇篇器 亿3 9 ， 使用这种方法更新背景的优点是：一旦某一物体成为背景的一部分，在混合模型里描述原有背景的分 布仍然存在，直到它成为分布序列里最后端的分布后，当有新的前景点出现时( 混合模型无法匹配的点) ， 该分布模型才会被替换。也就是说，如果一个物体被移入到场景中，通过长时间的静止成为背景的一部分， 然后它又开始运动。此时在混合模型里，描述该物体移入以前的背景分布仍然存在，只不过此时该分布的 c o ( t ) 较小。因此该物体移出的区域可以迅速地融入到背景中去。 该方法在优先权系数更新时，没有考虑初始化的问题，即系统初始的前门帧内使用这样的更新公式， 对新数据的强调并不明显。一种改进的方法是通过设定一个常量，则口变成一个关于f 的函数，具体表 示为： f 1 f1 ， 弘1 卢1 t 二 q 4 0 ) i 卢 卢 。 通过上面的分析，得到本文使用混合高斯模型的一般流程如图2 8 所示。 1 7 东南大学硕士学位论文 数据模型初始化 上 捕获新数据 苫：夏三慕都不匹配 要1 2 1 竺竺竺旦l 一 j r 有匹配 1r 匹配模型参数更新 引入新分布，更新模型 l 背景划分 上 后处理 上 连通性分析和检验 上 获取目标 图2 8 混合高斯背景建模检测目标流程图 其中，混合模型运动检测算法主要由判定算法和分布更新算法组成，具体算法步骤如下： 1 判定算法： 当前像素点与m 个背景分布按优先级顺序依次匹配，匹配准则如式( 2 3 4 ) 所示，如果当前像素与 m 个背景分布中任意一个匹配，则该像素被判定为背景点，否则被判定为前景点。 2 更新算法： 1 ) 匹配判定：当前像素点与个分布按优先级顺序依次匹配。 2 ) 没有匹配时：如果当前像素点没有与任何一个分布匹配，则将优先级最小的一个分布去除，并根 据当前像素值引入一个新的分布，并赋予去除的那个分布的权值。 3 ) 有匹配时：如果当前像素点与某一分布匹配，则对所有分布按式( 2 3 6 ) 、式( 2 3 7 ) 及式( 2 3 8 ) 进行 更新，并对个分布重新进行优先级排列。 具体算法框图如图2 9 所示： 1 8 里三至兰垫! 蔓堡塑 当前点 4 0 实验结果及分析 田2 9 混台模型运动棱测算浩框田 图2 1 0 与图2 1 1 分别给出了珊滤波器方法和混台高斯分布背景模型法的实验结果。( a ) 为原始视 隅，( b ) 为计算所得背景图，( c ) 为二值前景图( 背景为黑色，前景为白色h 在使用第一种方法时，对于如图2 1 0 的第1 5 帧这种前景与背景灰度对比相差较大的情况，能够清楚 t 将运动目标提取出来，实验结果也比较理想。而对于如图2 - 1 0 的第帧。从原始帧图像c a ) 可阱看 j ，位于安检机传送带上的行李箱为黑色，同时传送带也为黑色，而且两种颜色分布报相似这样便导 z 通过灰度信息区分前景与背景的效果比较差只能提取出部分目标。而混台高斯分布背景模型对于这种 况，效果要好一点，能够提取出比较全的运动目标。如图2 1 1 的第i 3 5 8 帧所示但由于统计的背景有 一定的滞后性，又引起了另一个问鹿，把非运动目标误分类为运动目标，如图2 1 1 的第1 3 5 8 帧的传送带 ；边缘部分及第1 5 8 0 帧所示。 第15 帧 一 ( 八 第8 1 帕 南# 士学位论文 圈2 1 0 册漕渡嚣方法橙稿运动行 甾 第二章运动日堡鸷舞 田2 - 1 l 范寺高斯分布背景摸型涪目标检测结果 在实际应用中，只对枧损下半部的传送带上的癌兴趣区域进行检耐，即圈2 - 1 1 中直线下方的区域， 而不感兴趣区域统一看作背景。这样对于处理速度比较慢的混合高斯分布模型来说检测时间大约可以缩 短为原来的一半。 图2 1 2 给出了处理同卟槐频，使用原始高斯混音模型与改进的高斯混合模型进行运动行李目标检 测算法所需进行时间的比较。由圈可见，使用倚化的参敦更新改进算法后- 平均处理一帻的时间比原来的 时间缩短了大约3 0 另外，使用的混合高斯模型的个数n 越大，运算花的时同越长但前景检测效果 基本没有提高所阻为了提高运算速度，在实际应用中，本文的取值为n = 3 。总体上- 这种背景建模算 法的耗时还是比较大的，想做到在监控系统中宴时使用，还有待进一步改善算法效率。 圈2 - 1 2 屎始高斯藕畚模型与倩化模型算法耗时比较( 基于p 4 2 6 6 g h z ，5 1 2 m 内存的p c ) 东南大学硕士学位论文 2 5 本章小结 本章主要研究了静止背景下视频图像序列中运动目标检测算法，涉及到三种常见类型的目标检测算 法：帧间差分法、光流法以及背景消减法，其中背景消减法重点介绍了基于混合高斯分布背景模型的结构、 工作原理、物理意义、算法步骤，并通过简化的参数更新策略提高了运算速度。 基于帧间差异的瞬时差分法，算法实现简单，运算速度快，但应用到本论文所研究的安检系统视频序 列图像中时，由于传送带运动速度缓慢，几乎只能提取出行李目标的轮廓。光流法的优点是即使摄像机发 生运动也能检测出独立的运动目标，但是光流法运算量相对较大，计算耗时，不能达到实时的要求，且抗 噪性能差。背景消减法可以较完整的提取出运动目标，通过i i r 滤波器的方法建立背景模型不仅计算速度 快，而且也基本能正确地对情况比较理想的场景提取运动目标。简化后的基于混合高斯分布背景模型，利 用背景图像像素值模态分布的统计规律，完成对新到像素的判别，较好的实现了对背景图像的估计，并提 高了计算速度，对背景变化有一定的响应速度。 2 2 第三章目标检测后处理 3 1 滤波处理 第三章目标检测后处理 平滑滤波器用于模糊处理和减少噪声。模糊处理经常用于在提取较大的目标之前去除图像中一些琐碎 的细节、桥接直线或曲线的缝隙。统计滤波器是一种非线性的空间滤波器，它响应基于图像滤波器包围的 图像区域中像素的排序，然后统计排序结果决定的值代替中心像素的值。统计滤波器中最常用到的就是中 值滤波器f 5 9 1 。中值滤波是一种典型的低通滤波器，它的目的是保护图像边缘的同时去除噪声。 所谓中值滤波，是指把以某点 ，y ) 为中心的小窗1 2 1 内的所有像素的灰度按从大到小的顺序排列，将 中间值作为 ，y ) 处的灰度值( 若窗1 2 1 中有偶数个像素，则取两个中间值的平均值) 。中值滤波器之所以用 途广泛是冈为对于一定类型的随机噪声，它提供了一种优秀的去噪能力，比小尺寸的线性平滑滤波器的模 糊程度明显要低。中值滤波器对处理脉冲噪声( 也称为椒盐噪声) 非常有效。 活动窗口一般选二维子区域窗口( 如3 x 3 、5 x5 、7 x 7 等) 。窗口的形状常用方形、十字形、一字 形或“x ”字形等实用的形式。 ooo0 oo ooooooo ooo ooo ooo 3 3 。x 。字型窗口 3 3 方型窗口3 x 3 十字型窗口1 3 一字墅窗口 图3 1 常用中值滤波窗口 使用二维中值滤波时需要注意具有丰富的尖顶角几何结构的图像，一般采用十字形窗口，窗口大小不 要超过图像中最小有效物体的尺寸。否则，中值滤波后会丢失细小的几何特征。 具体算法是将整个图像分成m 个子区域，第n 个子区域称为m 。，在m 。中的像素灰度值为墨，s 。 是m 。中所有像素灰度值的集合： s 。= 玲ui ( i ，) m 。，珂= o ，1 ，2 ，m 一1 j ( 3 1 ) 在集合s 。中搜索灰度最大值朋兄h ( s “) 和灰度最小m i n m ( s u ) 。当在区域m 中的像素的灰度 值等于m m ( s u ) 或者m i n u ( s ，) ，则判断这是一个脉冲噪声点，即 瓯，= 甓s 广气溉三墨p 2 ， 式中，s u u 是脉冲噪声灰度值，s u s 是图像的数据点灰度值。 定位了噪声点，就在此点的m 力窗口