（计算机系统结构专业论文）自助银行视频监控中的运动目标行为分析.pdf

分类号： u d c ：密级： 学校代号：118 4 5 学号：2110 7 0 5 3 4 3 广东工业大学硕士学位论文 ( 工学硕士) 自助银行视频监控中的运动目标行为分析 陈宏川 指导教师姓名、职称： 企业导师姓名、职称： 专业或领域名称： 学生所属学院： 论文答辩日期： ad i s s e r t a t i o ns u b m i t t e dt og u a n g d o n gu n i v e r s i t yo f t e c h n o l o g yf o rt h ed e g r e eo fm a s t e ro fe n g i n e e r i n gs c i e n c e a c t i v i t ya n a l y s i so fm o t i o no b j e c t si nv i d e o s u r v e i l l a n c ef o rs e l f - - s e r v i c eb a n k i n g c a n di d a t e ：c h e nh o n g c h u a n s u p e r v i s o r ：p r o f z h a ny i n w e i m a y2 0 10 f a c u i t yo fc o m p u t e r g u a n g d o n gu n i v e r s i t yo ft e c h n o l o g y g u a n g z h o u ，g u a n g d o n g ，p r c h i n a ，5 10 0 9 0 摘要 摘要 智能视频监控融合了计算机视觉、图像处理、模式识别、人工智能等 多个学科的知识，是计算机视觉领域一个新兴的应用方向和备受关注的前 沿课题。智能视频监控在不需要人为干预的情况下，利用计算机视觉和视 频分析的方法对图像序列进行实时自动分析，实现对动态场景中目标的检 测、识别和跟踪，并在此基础上分析和判断目标的行为，得出对视频内容 的理解以及对客观场景的解释，从而指导和规划行动。 本文以自助银行视频监控为应用背景，研究运动目标行为分析。 我们首先对智能视频监控中的运动目标检测与跟踪进行研究，介绍了 传统的各种运动目标检测方法和跟踪方法，分析了各自的优势和缺陷，并 完成了一些相关的实验。通过对运动目标进行检测和跟踪我们可以获取运 动目标的图像、运动特征，为后续进行的运动目标行为分析提供数据来源， 因此其性能直接影响着智能视频监控系统的有效性。 进而，我们对智能视频监控中的运动目标行为分析方法进行了研究， 重点探讨了基于神经网络的行为分析方法，并提出了一种基于自组织特征 映射网络( s o f m ) 的行为分析方法。实验结果表明，采用这种方法可提高视 频监控系统对异常行为的判定正确率。 利用上述成果，我们开展了智能视频监控在自助银行的应用研究，在 w i n d o w s 系统下，使用v i s u a lc + + 6 0 和o p e n c v 平台设计和开发了一个 模拟自助银行的视频监控系统。该系统能够模拟自助银行的视频监控场景， 对运动物体进行检测与跟踪，自动绘制物体的运动轨迹，最终实现对运动 目标的简单行为分析。 关键字：智能视频监控；自助银行；行为分析；计算机视觉 i i a b s t r a c t a b s t r a c t i n t e l l i g e n tv i d e os u r v e i l l a n c e ( i v s ) s y s t e mw h i c hi n v o l v e sm a n ys u b j e c t s i n c l u d i n gc o m p u t e rv i s i o n ，i m a g ep r o c e s s i n g ；p a t t e r nr e c o g n i t i o n ，a r t i f i c i a l i n t e l l i g e n c ea n do t h e rk n o w l e d g e ，i san e wh i g h - t e c ha p p l i c a t i o nf i e l do f c o m p u t e rv i s i o na n di s a na d v a n c e dt o p i co fc o n c e r n a ni v ss y s t e mc a n a u t o m a t i c a l l yd e t e c t ，r e c o g n i z e ，a n dt r a c km o t i o no b j e c t su s i n gc o m p u t e r v i s i o nk n o w l e d g ea n dv i d e oa n a l y s i sm e t h o d s f u r t h e r m o r e ，i tc a n a n a l y z ea n d j u d g et h eb e h a v i o ro fm o t i o no b j e c t s i ta i m st ou n d e r s t a n dt h ec o n t e n to ft h e v i d e os t r e a m sa n dt o e x p l a i nt h es c e n e sa n dt h ea c t i v i t i e s s oi tc a nh e l p p e o p l et om a k es o m ed e c i s i o n sb yg i v i n ga d v i c e s t h ed i s s e r t a t i o ni sa b o u tr e s e a r c ho na c t i v i t ya n a l y s i so fm o t i o no b j e c t s ， c h o o s i n gv i d e o s u r v e i l l a n c ef o rs e l f - s e r v i c e b a n k i n ga s o u ra p p l i c a t i o n b a c k g r o u n d f i r s t l yw em a k es o m er e s e a r c ho nm o t i o no b je c t sd e t e c t i o na n dt r a c k i n g w ei n t r o d u c et h et r a d i t i o n a lm e t h o d so fm o t i o nd e t e c t i o na n d t r a c k i n g ； a n a l y z et h e i rr e s p e c t i v ea d v a n t a g e sa n dd i s a d v a n t a g e s ；a n dt h e nf i n i s hs o m e r e l a t e de x p e r i m e n t s b ym o t i o no b j e c t sd e t e c t i o na n dt r a c k i n g ，w ec a no b t a i n t h ei m a g e sa n dm o t i o ni n f o r m a t i o no ft h eo b j e c t sw h i c ha r et h ed a t as o u r c e s f o rt h en e x ts t e p - a c t i v i t ya n a l y s i s ，t h u si t sp e r f o r m a n c ed i r e c t l ya f f e c t st h e i v ss y s t e m se f f e c t i v e n e s s f u r t h e r m o r e ，w em a k es o m er e s e a r c ho nm o t i o no b j e c t s a c t i v i t ya n a l y s i s m e t h o d se s p e c i a l l yo nt h o s em e t h o d sb a s e do nn e u r a ln e t w o r k t h e nw e p r o p o s ean e wa c t i v i t ya n a l y s i sm e t h o db a s e do ns e l f - o r g a n i z i n gf e a t u r e m a p p i n gn e t w o r k ( s o f m ) r e s u l t so fo u re x p e r i m e n t ss h o wt h a tt h i sm e t h o d c a ni m p r o v et h ea c c u r a c yo ft h es u r v e i l l a n c e s y s t e m sd e t e r m i n a t i o nf o r a b n o r m a lb e h a v i o r u s i n gt h ep r o d u c t i o na b o v e ，w ec a r r yo nt h er e s e a r c ho nt h ei v ss y s t e m i ns e l f - s e r v i c eb a n k i n g t h e nw ed e s i g na n dd e v e l o pav i d e os u r v e i l l a n c e i i i 广东工业大学硕士学位论文 s i m u l a t i o ns y s t e mi ns e l f - s e r v i c eb a n k i n gu n d e rt h ew i n d o w ss y s t e m ，u s i n g v i s u a lc + + 6 0a n do p e n c vp l a t f o r ma so u rd e v e l o p i n gt o o l s t h es y s t e mc a n s i m u l a t et h ev i d e os u r v e i l l a n c es c e n eo fs e l f - s e r v i c eb a n k i n g ，d e t e c ta n dt r a c k t h em o t i o no b j e c t s ，a u t o m a t i c a l l yd r a wt h et r a j e c t o r i e so fm o t i o no b j e c t s ，a n d f i n a l l ya c h i e v et h eg o a lo fs i m p l ea c t i v i t ya n a l y s i so f t h em o t i o no b je c t s k e yw o r d s ：i n t e l l i g e n tv i d e os u r v e i l l a n c e ；s e l f - s e r v i c eb a n k i n g ；a c t i v i t y a n a l y s i s ；c o m p u t e rv i s i o n i v 目录 目录 摘要i a b s t r a c t i i i 目。录v c o n t e n t s ：v i i i 第一章绪论1 1 1 选题背景和意义1 1 2 课题的研究现状2 1 3 论文主要研究内容3 1 4 论文各章内容安排4 第二章运动目标检测和跟踪6 2 1 运动目标检测6 2 1 1 帧间差分法7 2 1 2 背景差分法9 2 1 3 光流法13 2 2 运动目标跟踪1 5 2 2 1 基于区域的跟踪16 2 2 2 基于轮廓的跟踪1 6 2 2 3 基于模型的跟踪17 2 2 4 基于特征的跟踪17 2 2 5 基于粒子滤波的跟踪17 2 3 本章小结2 0 第三章运动目标行为分析2 1 3 1 行为分析方法概述21 3 2 自组织特征映射网络2 1 v 广东工业大学硕士学位论文 3 2 1 自组织特征映射网络模型2 2 3 2 2 自组织特征映射学习算法2 3 3 3 基于s o f m 的行为分析2 5 3 3 1 基于单点的行为分析2 5 3 3 2 基于整条轨迹的行为分析2 6 3 3 3 一种基于s o f m 的行为分析法2 6 3 4 行为分析模拟实验：2 7 3 4 1 对行为的定义2 7 3 4 2 实验过程及结果2 8 3 5 本章小结3 0 第四章智能视频监控在自助银行中的应用3 1 4 1 自助银行及智能视频监控31 4 1 1 自助银行及其发展趋势6 1 gigiioiob3 1 4 1 2 自助银行中的视频监控j 3 2 4 1 3 自助银行监控的参考量3 3 4 2 开发工具包o p e n c v 3 6 4 2 io p e n c v 简介与特点3 6 4 2 2o p e n c v 的主要功能3 6 4 3 自助银行模拟监控系统3 7 4 3 1 系统设计目标3 7 4 3 2 系统整体概况3 8 4 3 3 系统运行演示3 9 4 4 本章小结4 1 总结与展望4 3 本文工作总结4 3 未来工作展望4 4 参考文献4 5 攻读硕士学位期间发表的论文4 8 v i 目录 独创性声明4 9 致 谢5 0 v i i a b s t r a c t c o n t e n t s c h a p t e r li n t r o d u c t i o n 广东工业大学硕士学位论文 c o n t e n t s 1 1r e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c e 1 1 2t h es t a t eo ft h ea r t 2 1 3k e yi s s u e so ft h ed i s s e r t a t i o n j 3 1 4s t r u c t u r eo f t h ed i s s e r t a t i o n 4 c h a p t e r 2m o t i o nd e t e c t i o na n dt r a c k i n g 2 1m o t i o nd e t e c t i o n 6 2 1 1f r a m ed i f f e r e n t i a t i o nm e t h o d 7 2 1 2b a c k g r o u n ds u b t r a c t i o nm e t h o d 9 2 1 3o p t i c a lf l o wm e t h o d 1 3 2 2m o t i o nt r a c k i n g 1 5 2 2 1r e g i o n b a s e dt r a c k i n gm e t h o d 16 2 2 2c o n t o u r - b a s e dt r a c k i n gm e t h o d 1 6 2 2 3m o d e l b a s e dt r a c k i n gm e t h o d 17 2 2 4f e a t u r e - b a s e dt r a c k i n gm e t h o d 1 7 2 2 5p a r t i c l ef i l t e r - b a s e dt r a c k i n gm e t h o d 1 7 2 3c h a p t e rs u m m a r y 2 0 c h a p t e r 3a c t i v i t ya n a l y s i so fm o t i o no b j e c t s 2 1 3 1i n t r o d u c t i o no f a c t i v i t ya n a l y s i s 2 1 3 2s e l f - o r g a n i z i n gf e a t u r em 印2 1 3 2 1m o d e lo fs o f m 2 2 3 2 2l e a r n i n ga l g o r i t h mo fs o f m 2 3 3 3a c t i v i t ya n a l y s i sb a s e do ns o f m 2 5 3 3 ia c t i v i t ya n a l y s i sb a s e do np o i n ta n a l y s i s 2 5 v i i i c o n t e n t s 3 3 2a c t i v i t ya n a l y s i sb a s e do n 缸a 5 e c t o r ) ，a n a l y s i s 2 6 3 3 3an e wm e t h o db a s e do ns o f m 2 6 ：；4s i m u l a t i o ne x p e r i m e n t so fa c t i v i t ya n a l y s i s 2 7 3 4 1d e f i n i t i o no f a c t i v i t y 2 7 3 4 2e x p e r i m e n t a lp r o c e s sa n dr e s u l t s 2 8 3 5c h a p t e rs u m m a r y 3 0 c h a p t e r 4i n t e l l i g e n tv i d e os u r v e i l l a n c ef o rs e l f - s e r v i c eb a n k i n g 3 1 4 1s e l f - s e r v i c eb a n k i n ga n di v s 31 4 1 is e l f - s e r v i c eb a n k i n ga n di t sd e v e l o p m e n t 31 4 1 2i v sf o rs e l f - s e r v i c eb a n k i n g 3 2 4 1 3p a r a m e t e r so fl v sf o rs e l f - s e r v i c eb a n k i n g 3 3 4 2d e v e l o p m e n tk i to fo p e n c v 3 6 4 2 1i n t r o d u c t i o no fo p e n c v 3 6 4 2 2m a i nf u n c t i o no f o p e n c v 3 6 4 3s i m u l a t i o ns u r v e i l l a n c es y s t e mf o rs e l f - s e r v i c eb a n k i n g 3 7 4 3 1d e s i g ng o a l so f t h es y s t e m 3 7 4 3 2b a s i cs i t u a t i o no f t h es y s t e m 3 8 4 3 3d e m o n s t r a t i o no f t h es y s t e m 3 9 4 4c h a p t e rs u m m a r y 4 1 s u m m a r ya n dp r o s p e c t 4 3 s u m m a r yo f t h ed i s s e r t a t i o n 4 3 p r o s p e c to f t h ed i s s e r t a t i o n 4 4 r e f e r e n c e s 4 5 p u b l i c a t i o nd u r i n gm a s t e r ss t u d y 4 8 a n n o u n c e m e n to fo r i g i n a lc r e a t i o n 4 9 a c k n o w l e d g e m e n t 广东工业大学硕士学位论文 x 第一章绪论 1 1 选题背景和意义 第一章绪论 智能视频监控技术( i n t e l l i g e n tv i d e os u r v e i l l a n c e ) 起源于计算机视觉技 术( c o m p u t e rv i s i o n ) ，融合了计算机视觉、图像处理、模式识别、人工智 能等多个学科的知识，是计算机视觉领域一个新兴的应用方向和备受关注 的前沿课题。智能视频监控在不需要人为干预的情况下，利用计算机视频 和视频分析的方法对图像序列进行实时自动分析，实现对动态场景中目标 的检测、识别和跟踪，并在此基础上分析和判断目标的行为，从而做到既 能完成日常管理又能在异常情况发生的时候及时做出反应。更形象地说， 智能视频监控系统能够看，看被监控场景中目标物体的行为；能够想，想 目标物体的行为意味着什么；能够说，把想的结果用自然语言的形式表达 出来。因此智能视频监控系统取代了监控任务中人的大部分工作，是新一 代的具有高度智能的监控技术，具有广泛的应用前景。 智能视频监控的发展大致经历了三个阶段【1 l ： ( 1 ) 第一阶段在2 0 世纪9 0 年代初及以前，主要是以模拟设备为主的 闭路系统，称为第一代视频监控系统，即模拟视频临控系统。系统主要由 模拟摄像机、专用电缆、视频切换矩阵、模拟监视器、模拟录像设备和盒 式录像带等构成。第一代视频监控系统存在很多明显的缺点，例如维护工 作繁琐、无法进行远程访问、无法与其它安防系统有效集成、录像质量随 时间的推移下降等。 ( 2 ) 第二阶段在2 0 世纪9 0 年代中期，随着计算机处理能力的提高和 视频技术的发展，人们利用计算机的高速数据处理能力进行视频的采集和 处理，从而大大提高了图像质量，增强了视频监控的功能。这种基于多媒 体计算机的视频监控系统称为第二代视频监控系统，即模拟输入与数字压 缩、显示和控制系统。因为核心设备是数字设备，因此可以称为数字视频 监控系统。 广东工业大学硕士学位论文 ( 3 ) 第三阶段是2 0 世纪9 0 年代末至今，随着网络带宽、计算机处理 能力和存储容量的迅速提高，以及各种实用视频处理技术的出现，视频监 控进入了全数字化的网络时代，称为第三代视频监控系统，即全数字视频 监控系统或网络数字视频监控系统。第三代视频监控系统以网络为依托， 以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像分析为 特色，引发了视频监控行业的技术革命。 目前，视频监控技术正向着数字化、网络化、智能化的方向发展，市 场上已经有比较成熟的数字视频监控系统出现。 作为当今社会货币的主要流通场所、国家经济运作的重要环节，银行 历来就是国家的重点安全防范单位，它具有规模多样、重要设施繁多、出 入人员复杂、管理涉及领域广等特点，它对安全方面有着特殊的要求。自 助银行充分利用现代化电子设备和高科技手段为客户提供安全可靠的多功 能自助服务，与传统储蓄网点相比，能够2 4 小时全天候服务和具有服务地 点的广泛性和便利性。随着a t m 自动柜员机和自助银行在金融业的不断推 广使用，a t m 应用的环境和场所会越来越多，对其安全防范的工作也显得 越来越重要。另外，随着犯罪分子犯罪手段技术含量的增加，也更加需要 对持卡人取款行为的有效监督。如何防范恶意持卡人的诈骗行为，以及监 督人为破坏a t m 机，更需要把客户从走近a t m 机到具体的交易操作以及 取款情况，直至离开的整个过程的图像完整的录制下来，是金融a t m 机监 控行业比较关注的问题。银行以往使用的一些自动柜员机的监控系统比较 耗费资源，需要不停的进行录像，随着录像资料的增多，查找也不方便。 另外录像效果模糊，对依据材料形成一定的阻力。银行以往的一些监测系 统报警不够及时，报警方式也单一，效果单一化，导致出现问题时不能拿 出有效证据，产生不必要的客户纠纷。 因此对智能视频监控系统在自助银行中应用的研究有着较高的市场价 值和实际意文。 1 2 课题的研究现状 智能视频监控具有极为广泛的应用前景和巨大的潜在经济价值，从而 2 第一章绪论 激发了世界上广大科研工作者及相关人士的浓厚兴趣，目前在国外已经开 展了大量相关项目的研究，并已取得很多成果。例如：19 9 7 年美国国防高 级研究项目署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 设立了以卡耐 基梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首、麻省理工学院( m a s s a c h u s e t t s i n s t i t u t eo ft e c h n o l o g y ) 等高校参与的视觉监控重大项目v s a m ( v i s u a l s u r v e i l l a n c ea n dm o n i t o r i n g ) t2 1 ，主要研究用于战场及普通民用场景进行监 控的自动视频理解技术。欧盟赞助研究的p r i s m a t i c a 系统【3 】融合了多种 智能检测设备( 智能摄像头、非接触智能卡、无线视频传输等) 用于地铁站 的安全监控。由i b m 公司与m a r y l a n d 大学联合开发的实时视觉监控系统 w 4 ( w h o ，w h e n ，w h e r e ，w h a t ) t 4 1 不仅能够定位人和分割出人的身体部分， 而且通过建立外观模型来实现多人的跟踪，并可以检测人是否携带物体等 简单行为。英国的雷丁大学( u n i v e r s i t yo fr e a d i n g ) 【5 】已开展了对车辆和行 人的跟踪及其交互作用识别的相关研究。i b m 与m i c r o s o f t 等公司也正逐步 将基于视觉的手势识别接口应用于商业领域中 6 - 7 。 在国内，我们对智能视频监控的研究起步相对比较晚，这方面的研究 是近几年才开展起来的。中国科学院自动化研究所模式识别国家重点实验 室已经成立智能视觉监控研究组开展这方面的研究，目标是实现一个动态 场景集成分析演示系统并最终推向使用。此外，很多高校如清华大学、浙 江大学、华中科技大学等也纷纷开展了视频监控方面的研究工作。 1 3 论文主要研究内容 本文主要围绕自助银行视频监控中的运动目标行为分析这个方向进行 研究，具体工作包括： 首先，对智能视频监控中的运动目标检测与跟踪两大部分技术进行研 究。运动目标检测与跟踪，是一个智能视频监控系统不可缺少的两大关键 部分，是后面进行运动目标行为分析的基础。通过对运动目标进行检测和 跟踪可以获取运动目标的图像、运动特征，为运动目标的行为分析提供数 据来源，因此其性能直接影响着智能视频监控系统的有效性。本文介绍了 传统的各种运动目标检测方法和跟踪方法，分析了各自的优势和弊端，并 3 广东工业大学硕士学位论文 完成一些了相关的实验。 其次，对智能视频监控中的运动目标行为分析方法进行研究。简单介 绍了运动目标行为分析的各种主要方法，重点探讨了目前现有的基于神经 网络的行为分析方法，并在此基础上本文提出了一种基于自组织特征映射 网络的行为分析方法。实验结果表明，采用了这种行为分析方法可以提高 视频监控系统对异常行为的判定正确率。 最后，对智能视频监控在自助银行的应用进行研究。介绍了目前自助 银行行业的概况及发展趋势，分析了目前智能视频监控在自助银行的应用 情况及存在的问题，并在w i n d o w s 系统下基于v i s u a lc + + 6 0 和o p e n c v 平 台设计开发了一个模拟自助银行的视频监控系统。实验结果表明，该系统 能够在模拟自助银行视频监控的场景下，完成对运动物体的检测与跟踪， 自动绘制物体的运动轨迹，最后实现对运动目标进行简单的行为分析。 1 4 论文各章内容安排 第一章绪论 本章主要介绍课题的选题背景及意义、课题目前的研究现状、论文的 主要研究内容及论文各章内容的安排情况。 第二章运动目标检测、跟踪 本章主要介绍了运动目标检测和跟踪的各种常用方法。其中目标检测 方法包括帧间差分法、背景差分法和光流法；目标跟踪方法包括基于区域 的跟踪、基于模型的跟踪、基于特征的跟踪和基于粒子滤波的跟踪。 第三章运动目标行为分析 本章首先介绍了传统的各种运动目标分析方法，重点探讨了基于神经 网络的行为分析方法。在介绍自组织特征映射网络的模型和算法后，提出 了一种基于s o f m 的行为分析方法，并通过模拟实验证明，采用这种方法 可提高视频监控系统对异常行为的判定正确率。 第四章智能视频监控在自助银行中的应用 本章首先介绍了自助银行行业及其发展趋势，分析了自助银行中智能 视频监控应用情况及存在问题，研究了目前自助银行视频监控中可以用到 4 第一章绪论 的主要参考量，然后介绍了开放源代码的计算机视觉类库o p e n c v ，最后 介绍了基于v i s u a lc + + 6 0 和o p e n c v 平台设计开发的一个模拟自助银行 的视频监控系统。 总结与展望 对全文内容进行总结，并展望了进一步的研究方向。 广东工业大学硕士学位论文 第二章运动目标检测和跟踪 2 1 运动目标检测 运动目标检测( m o t i o nd e t e c t i o n ) 是指在输入视频图像中判断与背景图 像相比是否存在相对运动的前景目标和物体，并根据灰度、边缘、纹理等 二维图像特征将运动前景进一步分割为若干独立目标。 在实际应用中，一个好的运动目标检测算法，通常应该具有以下几个 特征【1 2 l ： 不受环境的变化( 如天气和光照变化等) 而影响结果； 不受背景中个别物体的运动( 如水波、风吹树动等) 而影响结果； 不受目标及背景中的阴影而影响结果； 对复杂背景和复杂目标仍然有效； 检测的结果应满足后续处理( 跟踪分析) 的精度要求； 图2 1 描述了检测算法的一般流程图。常见的运动目标检测算法有： 帧间差分法、背景差分法及光流法等，以下将分别进行介绍。 图2 1 检测算法流程图 6 第二章运动目标检测和跟踪 f i g 2 1f l o wc h a r to fd e t e c t i o na l g o r i t h m 2 1 1 帧间差分法 帧间差分法 2 3 - 2 4 】就是将视频序列中相邻的两帧或几帧做象素域上的减 法运算，以得到帧间的不同图像的信息。在摄像头固定的情况下，对连续 的图像序列中的相邻两帧图像采用基于像素的帧差法来提取图像中的运动 区域，设k 帧和第k + l 帧( 或者看做，l 和如时刻) 采集到同一背景下的两幅运 动图像的灰度值为l ( x ，y ) 和石+ 。( x ，y ) ，则差分图像的定义为： 协+ 。( x ，y ) = l 五+ ，( x ，y ) 一a ( x ，y ) l ( 2 1 ) 图2 - 2 帧间差分法流程图 f i g 2 2f l o wc h a r to ff r a m ed i f f e r e n t i a t i o nm e t h o d 对上式的差分结果进行阈值处理，就可以提取出运动物体。对差分图 像以( x ，y ) 二值化，当某一像素的灰度值大于给定阈值丁时，认为该像素为 目标像素，即该像素属于运动目标；反之，则属于背景。这一步的目的就 是为了区分背景像素和目标像素，得到： r y ) ：j 1 b 小y ) r ( 2 2 ) 致o 卜1 0 乏品丁 但。2 其中，l 表示前景像素值，0 表示背景像素值。 然后再对疋+ 。( z ，y ) 进行连通性分析，就可以得到连通区域的面积。当某 一连通区域面积大于预定值时，则认为该区域属于同一个运动目标。 7 广东工业大学硕士学位论文 ( a ) 第10 0 帧图像 ( d ) 阈值化图像 图2 3 帧间差分法实验 f i g 2 - 3e x p e r i m e n to ff r a m ed i f f e r e n t i a t i o nm e t h o d 帧问差分法实验如图2 3 ，在实验时由于第10 0 帧图像与10 1 帧图像相 差不大，因此改采用第10 2 帧图像与lo o 帧图像进行差分。 显而易见，在帧间差分法中阈值的选择非常关键，这是因为阈值过低 则不能有效地抑制图像中的噪声，阈值过高将误判图像中有用的变化。阈 值选择分为全局阈值和局部阈值，通常图像不同光照区域引起的噪声也不 相同，因此采用局部阈值能更好的抑制噪声。 帧间差分法进行目标检测的主要优点是：算法实现简单；实现程序设 计复杂度低；易于实现实时监视；基于相邻帧差方法，由于相邻帧的时间 间隔一般比较短，因此该方法对场景光线的变化一般不太敏感。 最基本的帧间差分法可以检测到场景中的变化，并且能够提取出目标， 但是在实际应用中，帧间差分法的结果精度不高，难以获得目标所在区域 的精确描述。当运动目标的运动速度较快时，实际检测时可能会将一个运 动目标误为两个运动目标；当运动目标速度较慢时，会在检测结果中造成 8 第二章运动目标检测和跟踪 空洞，这是由于运动目标的颜色或灰度在一定区域内较均匀。在实际应用 中我们总希望下一步进行目标跟踪中，提取的目标尽量接近目标的真实形 状，也就是说，我们提取的目标应是完整的，同时也应该是尽量少地包括 背景像素点。但是般情况下广泛应用该算法时对两帧间目标的重叠部分 也是不容易被检测出来的，即只检测出目标的一部分或者出现了较大比例 的空洞，这是由于我们直接用相邻的两帧相减后，保留下来的部分是两帧 中相对变化的部分，所以两帧间重叠的部分就很难被检测出来。 为了获得两帧重叠的部分图像，解决相邻帧差法存在的问题，人们在 其基础上又提出了一种三帧差分法。该方法需要提取连续三帧图像来计算 两个差分图像，再令这两个差分图像的对应像素相与，从而可以提取出运 动目标。设连续三帧视频图像分别为 一。( x ，y ) 、 ( z ，y ) 和 + 。( x ，y ) ， 则三帧差分法检测流程如图2 4 所示。 图2 4 三帧差分法流程图 f i g 2 4f l o wc h a r to ft h r e ef r a m ed i f f e r e n t i a t i o nm e t h o d 2 1 2 背景差分法 背景差分法1 2 s 2 6 】是目前视频监控中最常用的一种方法，它的基本思想 是将输入图像与背景模型进行比较，通过判定灰度特征的变化，或用