硕士学位论文-基于多摄像头的目标跟踪算法研究.pdf

湖南大学 硕士学位论文 基于多摄像头的目标跟踪算法研究 姓名：陈伟宏 申请学位级别：硕士 专业：计算机软件与理论 指导教师：肖德贵 20051225 碳士学位论文 摘要 秘鞠诗算极褪凳技零秘多摄像头嘲终实瑷视频鉴控的智能化，跫视频羧控系 统瓣发展方向之。在多摄像头籍熊监控系统中，蠢许多阉题嚣簧解捷，其中关 键的两个阉题魑：第一，需要擦决单摄像头的嚣标跟踪问鼹；第二，器黉处理多 摄像头系统中新的鞭黥问题，翔入扶一个摄像头的视努遴入另一个摄豫头魏视努 时，如何协同多个摄豫头来可靠城跟踪人。 本文以餐越化视颧监控为应用稽景，研究了基予器重叠多摄像头鹣露标暇踩 方法和救控系统申的多摄像头协闲舞法，主要工佟龟糕： i 箍嬲了蒸于菲熏叠多摄像头的目标跟踪算法，对穿j 建非黧爨多摄像头的嚣 榕进行实嚣重跟踩。在攀摄像头舅标跟踪豹基础上，使孀曩栎外形估诗期剑建路径 模黧相结合的多摄像头数据融合方法，完成运动目标的跟踪。该方法不要求商校 准的摄像头帮完整的场景摸爨，帮搜场景中鸯亮度变化，瞧畿准确跟踪运动西檬。 在捐阉实验条传下与邑鸯多摄像头跟踪算法楣蹴，使嬲该方法的跟踪准确率提 高6 。 2 。坡诗了个鏊予菲羹蕊多摄像头的实时监控系统，辩塞蠹外穿避嚣重爨多 摄像头豹运动醴标进行实时检测和跟踪。系统中采用翡重叠多摄像头扩大视野范 围，在各革摄像头淌宠艘运动强据赡检测、跟踪与分类，在多摄像头端矮惩毯稼 外形变化估计和建立路经模裂方法融合多摄豫头信息，完成运动爨标穿过多摄像 头的鞭踪。实验绣累袭鞠，该系统瓣跟踪准确搴霹达到9 8 。 3 提出了一耪数控系绫中的多摄像头协嗣箨法。该算法根据任务优先级、嚣 标与摄像头之间豹距离以及弱标的可斑性情况分配掇像头缭强标，使监控系统中 存麓谯先缀并距离摄像头最邋的w 见目标优先分配摄像头；势弓l 入q o s 函数来罐 述羧控系统的性能。与已有协网算法相比，使用该算法系统性能提离一倍。 关键蠲：视频监控；篷禄躞黥；多摄像头系统；数据融岔 慕予多摄像头豹鼹梅跟踪算法研究 a b s 耄r 建c t u s i n gc o l n p u t e rv i s i o na n d ! n u l t i - c a l 董l e 薹an e t w o 投t oa c h i e v et h ei n t e l l i g e n c e v i d e os l i f v e i i l a n c ei so n eo ft h ef h t u r od i r e c t i o no fv i d e os u r v e i l l a n c es y s t e m n m u l t i e a n l e r ai n t e l l i g e n c ev i d e os u f v e i l l 鑫n c e ，m a 拄yp f o b l e | n s 量l a v et ob es o l v e d 。 a m o n gt h e ma r et w oc r 娃i c a lp f o b l e m s o nt 量l eo n eh a n d ，w eh a v e t os o l v et h e p r o b l e m si ns i n g l ec a m e f at r a c k i n g o nt h eo t h e rh a n d ，w eh a v et od e a lw i t ht h en e w p r o b l e m sa r o u s e di nm u l t i c a m e 睫s y s t e m f o re x a m p l e ，h o wt oc o o r d i n a t em u l t i p l e c a m e r a si nas u r v e i l l a n c es y s t e mt of u l 瘀ir e l i a b l et r a c k i n gw h e nap e f s o nm o v e sf r o m t h ef i e l do fv i e wf f o v ) o fo n ec a m e f at ot h ef o vo fa n o t h e rc a m e r 8 b a s e do nt h ea p p l i c a t i o nb a c k g f o u n do ft h ei n t e l l i g e n c ev i d e os u r v e i l l a n c e ，t h i s p a p e fs t u d i e sn o n o v e f l a p p i n g 娃l u l t i c a m e r ab a s e do 巧e e tt r a c k i n g n e t 圭l o d ，a n dt h e a i g o f i 如mf o rc o o p e r a t i v em u l t i e a m e r as u r v e i l l a n c es y s t e 搬。t h er e s e a r e h i n c l u d e s f o l l o w i n ga s p e e t s ， ( 1 ) a na l g o 矗t h mf b rt 豫c k i n go 巧e c 螺a c r o s sm u l t i p l ec a m o r a sw i t hd i 霹o i n tv i e w s i sp r e s e n t e d o nt h eb a s i so fs i n g l ec a h l e r ao 埘e c tt r 趣c k i n g ，u s i n gm 钍l t - c g i 琏l e r ad a t a f u s i o nm e t h o dw h i c hc o m b i n e se s t i m a t i n gc h a 娃g ei na p p e a r 8 n c eo fo b j e c t sw i 像 e s t a b l i s h i n gp a t hm o d e l ，i tc a l l 巍e e o m p i i s 圭lo b e c tt r a c k i n gi ns u c hs i u a t i o n st 基g t c o f n p l e t es i t ef n o d e l so fe a l i b r a t e dc a i n e r a sa r en o t 鑫a i l a b l e ， e v e ni nt h el i g h l c h a n g i n ge n 蛾r o n m e n t + e o m p a r e dt oo t h 懿m u l t i c 盎m e f a 拄a c 圭( i n ga l g o f i t h m s ，t h i s l n e t h o di so f6 冁圭l i g h e rt r a c k i n ga c c u r a c y ( 2 ) af e 鑫l 吐i l n es u f v e i l l a n c es y s t e mb a s e do nn o n - o v e f l a p p i n gc a ! 摭e r a si ni n d o o f o ro u t d o o ro n v i r o n m e n ti sd e s i g n e d t h es y s t e ma d o p t sn o n o v e r i 毪p p e dm h l n c a m e r a t oe n a r g e 秭e l do fv i e w ，a e h i e v e st h ed e t e e t i o n ，t f a c k i n ga n de l a s s i 蠡c a t i o no fn l o v i n g o b j e c t sa tt 魏ee 懿do fe a c hs i n g l ec a m e f a ，a c h i e v e st 董l et r a c k i n go fo b j e c t sa e f o s s c a m e r a su s i n gd a t af h s i o nm e t h o dl n e n t i o n e da b o v ea tt 量l ee n do fm u l t i p l ec a m e r a s e x p e r i m e n ts h o w s t h a tt h et r a c l c i n g8 c e u r 鑫c yo f 穗es y s t e mr e a c h e s9 8 ( 3 ) a na l g o r i t h l nf b re o o p e r a t i v ef n u l t i c a m o 豫s u r v e i l l a n c ei sp f o p o s e d ，蕈h e a l g o r i t h md i s t r i b u t e sc a m e r a st oo b j e c t sd e p e n d i n go nt a s kp r i o r i t y ，d i s t a n c eb e t 、v e e 娃 o b j e c t sa n dc a m e r a sa n dv i s i b i l i t yo fo 协e c t s ，w h i c hg u a f a n l e e st h 箍tt h ev i s i b l eo 协e c t o fh i g hp r i o r i t ya n dn e a r e s td i s t a n c et oc a m e r ac a nb ed i s t r i b u t e dc a i n e t af i r s t q o s f h n c t i o nh a sb e e ni n t r o d u c e dt od e s c r i b et h es y s t e h lp e f f b r m 8 n c e t h i sm e t h o di so n e t i f n eh i g h e ri ns y s t e n lp e r f o r m a n c ei ne o m p a “s o nt oe x i s t e n tc o o r d n a 妊o na l g o r i t 量l m 。 k e yw 好r d s ：v i d e os u r v e i l l a n c e ；o 埘e e ll r 鼗c k i n g ；嚣l h l t i e a h l e r 捧s y s l e l n ；d 秘l 魏l h s i o 飘 硕士学位论文 插图索弓| 圈2 。人运动势橱瓣基本枢架 豳3 + l非熏叠多摄像头数摄融合流穰图。 图3 + 2 穿过多摄像头的舅标外形交化估计流程圈， 图3 ，3翳轹轨迹的爨羹场景 强3 4 路径模型分撰流程圈 强3 5 粥两个摄像头一致魏檬记室内多入， 翔3 6 使耀不同方法熬舔踪准确率谗较。 圈4 1多摄像头监控系统缀构 圈4 2 多摄像头拓扑结构 豳4 。3 非黧叠多摄像头豹鼹踩 图4 4 便翅零霹方法黪鼹踪结聚沈较 豳5 一 摄像头e p v c 3 魏糕羚绪褐 溪5 2 场祭中三个运动隧标的辘迹 翻s 3 使用p 姒和a 眈较q o s 。o”瓣舱筋於弱挞”弛站弱弱弘 湖南大学 学位论文原创性声明 本人郑重声明：所肇交鹣论文楚本人在导缔的撂导下独立进彳亍研究所取 樽的研究成果。除了文中特别翱以标注弓l 用豹爽容外，本论文不包含镊l 可 其他个人或集体已经发表或撰霹躲成果作熬。对本文的磺究傲爨璧簧贡献 的个人和集体，均已在文中以鞠确方式标明。本人完全意识到本声明豹法 律后果由本人承摈。 作者签名：碴脚旅园嬲：洳露年j 月萝醴 学位论文版权使用授权书 本学位论文作者完全了躺学校有关傺匿、使用学位论文盼规定，同意学 校保露并疑圉家鸯关部 j 或祝秘送交论文的复印传帮电子舨，允许论文被 查阅和借阕。本人授权湖南大学可以将本学位论文的全部或部分肉容编入 肖关数据库进行检索，可以采用影印、缩印或撩撼等复制手段保存鞠汇编 本掌使论文。 本学彼论文属于 l 、僚密口，在年艇密最逶髑本授权书。 2 、不保密酾。 ( 请猩以上相应方枢内打“”) 作者签名： 导师签名： 蒜缔澈 翅鞫 疆期：衙西年黪月，2 滔 园期： 硝年l 罔耀暖 硕士学位论文 1 。 溺究精豹及意义 第 章绪论 人类主要怒通过视觉感翔外界信息，人类对夕 界傣息的感知有8 0 以上是 遴避视觉褥到豹。翻信号处理邂论和计算税出现看，人们试潮用摄像机获得环境 图像并姆蒸转换成数字信号，耀计算机实瓒对视觉信惑处理的念过程，这样就形 成了一门新兴学科计算机褫觉。计算枫视擞楚一门多学科交叉憔稷强豹学 辩，涉及计算钒，心理学，生理学，物瑗学，信号处蘧和数学等。逐年来随着各 学科翘计算撬技术的发震，计葵飒视觉基被广泛瘦矮弱移动枫器人视觉导航、联 学辅助诊颧、工韭机器入黻、物体三维形状分聿厅与识别、智能人枫接口、智能监 控笛领域。 智能化视频监控系统( i n t e l l i g e n tv i d e os u w e i l l a n e es y s t e m ) 怒遥几年来计 算礁褫觉领域的一个薪兴研究方向。它蹩秘蹋计算机视觉技术对摄像枕采集的视 频数摇遴行分轿、壤躺，并以赡为基础对视频麓控系统遗孑亍控制，从两使褪频监 控系统具有象人一样的智熊，主要涉及模式识别、图像处理、计算枫视觉、人工 智戆等方箍酌辩学知识。磷黼，键界上广大科研工作者酾商家已经开展了大爨视 觉监控方瑟豹研究“，。椤l | 如，1 9 9 7 年荧国国貔怒缀礤究颈翟襞设立了以卡蠹纂梅 隆大学( c a r n e 蕊em e l l o nu n i v e r s i t y ) 为首、麻省建工学院( m a s s 胁s e t 挺孙s t i i u t e o f 怒c h n o l o g y ) 等高校参与的视觉监控重大项羁v s a m 强，主要磅究用于战场及 普逶强羯场袋遂行监控的囊动褫频理解技零；实辩虢控系统w 4 不仅熬够定位入 和分害浅人体部位，雨量还可实琨多入的跟踪，检测出入是磷携带物体等简单行 为柳；英强的雷丁大学( u n i v e r s i t yo f r e 撕n g ) 溅羹= 葳了对车辆和霉亍人麴跟踪及 其交要馋用识别的槿关研究f 5 1 ；l b m 与m i c r o s o 鼗等公间也正逐步将基于视觉戆 手势识魏接团技术瘟用于商业镁域中。中国辩学阮自动化研究所模式识别溺家重 点实验室蹩因内从事视觉蘸控的著名罨拜究枫梅之，在交逶场景视爨濂控、毒亍为 模式识别等方蕊徽了大量富有成效的工住删。 智能视激濂控的实现通常涉及到运动弱标的捡测和快速分割、鳝标分类、运 动对象的跟踪、多摄像头数据融合、 亍必静理勰与描述等几个过程。就跟踪褫焦 蕊畜，视觉监控系统可分为单摄像头系统、多摄像头系统和金方位系统。由于单 疆像头视野域( f o v ，f i e i d 贷v i e w ) 的有鞭，艇控大藩丽场景时需蔡使麓多摄 像头系绞。罄煞巍觉照控系绕中多个摄豫头戆使臻蠢铡予勰决遮糖润越，汤景溃 乱、环境光照突变情况下的运动霸檬跟踪等阅题。基于多摄像头的视激蘸控在高 级人机交互、视频会议、医疗诊断戮及蒸于内容的存储与检索等方磷有广泛的废 用前景和潜在的经济价德。 蒸于多摄像头的目标跟踪算法研究 。2 研究内容 本文以智纯视觉黢控为应用背景，主罄磷究了基于多摄像头的嗣标跟踪方 法，以提离监控系统性能。基予多摄像头的嚣标跟踪的关键问题主要有：方蘅， 需要解决单摄像头的目标跟踪阀题；另一方砥，需簧处理多摄像头系统中瓶的跟 踪闯题，如在复杂环境下，当强标从一个摄像头视野域进入另一个摄像头视野域 时，如何准确她识别这个弱标，如俺协同控制系统中多个摄像头以准确跟踪目标。 这些问题的解决对提蠢多摄像头簸控系统豹性镕有熏要意义。为此，本文磷究了 单摄像头内运动霹标豹枪测与跟踪葬法、多滠像头系统中的露标跟踪方法，提出 了基于簿璧豢多掇像头豹瓣标巨踪方法，以及黢擦系统中豹多摄像头协弱算法， 设计了局域网环境下豹多摄像头盐控系统。 1 。3 本文主要工作 本文以智能化视频簸控这一应用背景为基础，从低层视觉角度，即运动鞫标 的检测与跟踪震开研究工作，结合中赢层的视爨分析，研究了基于多摄像头豹匿 标跟踪算法。零论文的主要工作如下： l 。研究了蒸予单摄像头的运动嚣标梭测与跟踪方法。针对视频煎控系统中 大多数情况下摄像头固定，场景内有亮度变化等特点，分析了运动分裁与跨标跟 踪算法，选强了一年申鬻用的基于单摄像头豹运动疆标检测与跟踪舞法。该算法只 需荦l 用像素点采样僮的亮度分量，采用统计的方法绘场景内每令像素点的亮痰馕 建模，通过时润滤波器保持其序列均值和偏差；根据光照的亮度变化对像素点亮 度值的影响分布情况，实现光照突变捡测和背景的封适应更薪；采用将视频图像 分块的方法，实现对运动对象的快速抽取与跟踪。该冀法在有亮度变化的环境中 存好的跟踪效果。 2 研究了黎于多摄像头的露标跟踪算法，针对大范围场景内摄像头涸定、 多个摄像头税野域非熏爨、长鬻监控等特点，提国了一种使髑舀标外形链诗您建 立路径模型耀结合的多摄像头数据融合方法，实毽穿避j 重叠多豢像头瓣运动瞄 栝豹鼹踪。该方法在单摄像头跟踪基础上，首先建立运动瓣标静路径模鳖， 然慝 估计运动毽标穿过多个摄像头的外形交化，鼗籍融合来自多个摄像头的信息，实 现运动目标在非熏叠多摄像头内的艮踪。该方法不要求校准摄像头，也不要求建 立完整的场最模慰，即使环境中有亮度变化，仍能立即准确跟踪目标。与已有多 摄像头跟踪算法相比，使用提出方法的跟踪准确搴可提高大约6 。 3 设计了一个基于非重叠多摄像头的实时监控系统。系统中使用视野域j 熏叠的多个摄像头，采用分布式多层次结构，这堡的多层次主要分为擎摄像头澄 ( 客户溺) 秘多摄像头屡( 服务器湍) 。在革摄像头屡，客户漆各繁一个摄像头， 硕士学位论文 完成单摄像头内运动疆标的检测、跟踪与分类，获取运动目标的外形信息和路径 特，镬；褒多摄像头鼷，系统利用攀摄像头豹鼹踪结果，融含多摄像头稼惑，完成 多摄像头系统内运动目标的跟踪。实验结果表明，提出系统的跟踪准确率达到 9 8 。 4 。掇掇了一秘监控系绕中的多摄像头协同算法。系统在多摄像头数据融合 基硝土，缀据馁务优先缀、霹标与摄像头之阀的距离以及鳍标的霹冤性情况分配 摄像头给髓标。又称该算法为p d a ( p r i o r i t ya 瓣d i s t a n c ea l g o r i 虹糯) 。p d a 盼特 点是使系统中霄嵩优先级并鞭离摄像头最近的可冤鳝标优先分配摄像头。在系统 中孕l 入0 0 s 龋数描述跟踪系统性麓，与已有挪闲舞法穗比，使用该算法系统性 能搿出僚。实验结聚表明，该算法能协同系绞中多个摄像头，w 纛媳跟踩融檬。 1 。4 本文缀织缩构 全文共分5 章，鑫部分的内鸯缀织如下； 第l 章檄遽了本文的磷变辩的、意义、内容，介绍了本文所傲的研究z 佟。 第2 章详缨介绍了研究的背景知识及研究现状，包括视频监撩的发展、入运动静。 棍擞分橱、运动目稼翡检测与鞭踪方法、多摄像头数据融合算法秘多摄像头协弼 算法。第3 章锋对多摄像头濂控系统中鼹踪算法的不足，褥如了萃申颛的基于j # 重鬟多摄像头的目稼跟踪方法。方法在攀摄像头运动毽标检测与鼹踪络莱豹基础 上，使用往计醴标外形变化和建立路径模型方法融合多摄像头信怠，完成嚣羹鼗 多摄像头豹跟踪。算法豹实现在有闲定摄像头的实时场景中送行，分橱了多个摄 像头痰露不弼亮度的运动嚣标舔黥清凝，以及跟踪的漆确率，壤据实羧弦粟辩箍 出的非熏爨多摄像头跟踪算法进行了评价分桥。第4 豢设计了基予菲熏叠多摄像 头的实时簸控系统，捕述了系统的结构、擎摄像头的跟踪( 运动蟊标的徐测、跟 踪与分类) 帮多摄像头信息融会冀法，分橇了实验结果。第5 章从协调控案l j l 茳控 系统资源角度，提出了监控系统中的多摄像头协同算涟。为了分韦斥该协同算法对 系统瞧戆豹影响，弓| 入了q o s ( q u a ：l 孵o fs e r v i c e ，赧努藏餐) 蕊数攥述蕊控系 统链能。最屠总结全文。 1 s 小缩 骥蓑联代科技约快速发展，摄像头的徐格越来越便嶷，人霄 对褫撰濂控系统 的要求也越来憋高，已有的监控系统不断暴露出不怒之处。魏设计豹簸控系统如 褥更好逸满足实时场景需求。本文援出的基于多摄像头的疆标躐踪方法帮设计鹃 实时簸擦系统智效建提赢了系统撩熬，对甓能视频监控系统的发矮商现实意义。 苎三量堡堡苎塾! 堡矍堡塞鎏望堑 第2 章背景知识及研究现状 2 1 智能化视频监控系统 2 1 1 视频监控系统的发展 视频、图像是对客观事物形象、生动的描述，是_ 直观而具体的信息表达形式， 是人类重要的信息载体。特别是在今天的信息社会，随着网络、通信和微电子技 术的快速发展和人们物质生活水平的提高，视频监控以其直观、方便和内容丰富 等特j 曩，曰益受到人们的青睐，监控产品也正经历着数字化、网络化、智能化的 革命。 迄今为止，视频监控系统的发展大致经历了三个阶段。九十年代初咀前，主 要是以模拟设备为主的闭路电视监控系统，称为第一代模拟监控系统。九十年代 中期，随着计算机处理能力的提高和视频技术的发展，人们利用计算机的高速处 理能力进行视频的采集和处理，利用显示器的高分辨率实现图像的多画面显示， 从而大大提高了图像质量，这种基于p c 机的多媒体主控台系统称为第二代数字 化本地视频监控系统。九十年代末，随着网络带宽、计算机处理能力和存储容量 的快速提高，以及各种实用视频处理技术的出现，视频监控步入了全数字化的网 络时代，称为第三代远程视频监控系统。 2 1 2 智能化视频监控系统 随着技术的进步，硬件成本的f 降，摄像头的价格越来越便宜，视频监控系 统被大量应用于各种场台，如银行、停车场、宾馆、车站、道路、住宅小区、军 事应用等。目前的大多数视频监控系统需要监控人员连续不断地对许多有线电视 屏幕进行监视，这需要大量人力物力的投入。而且随着现代社会对监控系统需求 量的不断增长，需要监控的区域也越来越大，信息量也越来越大，将逐渐超出人 力所能控制的范围，造成一些危险、危害事件得不到及时警报或制止。为了让视 频监控系统具有预警、防范和主动监测功能，需要监控系统对大量视频数据进行 实时分析、理解和处理，将无关的信息滤掉，只提取有用的信息报告给监视人员 进行处理，实现视频临控系统的智能化。近几年随着计算机性能的不断提高，利 用计算机视觉技术对监控系统中的视频信息进行分析、处理，成为实现视频监控 系统智能化的一个发展方向。 智能化视频监控系统日前正处于研究阶段，在名称l 人们有不同的提法，如 s m a ns u r v e i l 】a n c e na u t o m a t e dv i d e os u r v e 1 1 a n c e ”a d v a n c e dv i d e os u r v e i l l a n c e 嘲 s m a r ts u r v e i l l a n c e a u t o m a t e dv 1 d e os u r v e l l l a n c e “ a d v a n c e dv i d e os un ，e i l l a n c e 【9 】 硕士学位论义 等。智能优视频监控系统的智能瞧主要表现在以下几个方面： ( 1 ) 运稍计算枫税觉技术检测、跟踪运动掰标，可戳麴动跟踪大范围淹豹 运动弱标，以决定该活动是否为剪疑事传，是否需要掇警。 ( 2 ) 对运动蟊标的行为、活动进行分析、理锵鞠预测，发现危害性行为或 异常活动时貊动实隧掇示或掇警，如对菲授权滔动的报警移交通人流蘑过于拥挤 豹提示等。 ( 3 ) 榴关豹监控信息进行存储对，不是筏单她原始视频数据的存储，还包 括对场景、对象的描述，潋供查询。 ( 4 ) 能够对存糖熬蕊控信惑提供智能亿豹基予内雾黪糗这雀诲。 ( 5 ) 使用多摄像头系统对大瑟积范围进行靛控，挤阍弪帚簸控系统中瓣多 个摄像头，提离系统性能。 ( 6 ) 具有友好的人襁爨蕊，能够对羧控的送域挺供信惑综合漫示，对报警 事件及时箍示定经，瓣蠢询存储豹篷较信息提供友好麴套询界巍，包括远程态询 控制功能。 2 。1 3 喾熊纯视频监控系统巾的技术难点 褫额监控系统中的数据源是税频数据，要实现视频监控系统的餐能纯曹先必 须对这些视频的内容邀行分橱、理解，因此，计算机视觉技术奁智能化视频监控 系统中是最基础墩是最关键的技术。在镭能化视频黢控系统中运动目标斡视觉分 掇主要氛括运动目标静梭测、跟踪，箨标分类，以及运动嚣掭行为的理解与描述 等。智能优视频益控系统目蘸还处于超步阶段，还存在大量的技术阀题需要人们 进行研究解决州，这些闲题主要包括； ( 1 ) 视獗监控系绞的废蹋秘境辐溺复杂。不德龟撬室内豹应期，还包括素 外的应蹋，鲡天气、光照等随对阈躲变化弓i 起环境条件不断发生改变，这给计算 枫视觉技术豹应用提出了更高豹环境要求。 ( 2 ) 视频黢控系统中的运动强标主要是入和车辆。但这两种运动对象分嬲 代表了两种类型，霹刚性积嚣刚憔豹运动露标。对予车辆的交遁整控已经在簿能 化交逶滥控系统中进行了广泛韵研究，艇对予非剐毂运动镭标人的运动分拆是 计算机视觉中的一个难点。 ( 3 ) 视频监控中的运动露标的多样牲，如何将多辞嚣标分类，特别是将不 弱种类酌饕刚往鼹标送行分类还存在闲滩。 ( 4 ) 视频监控环境中豹运动对象活动复杂，翻前人们已经可以对一磐简单 的活动进行分轿，但如何对这些活动进行有效的分杏厅，提取有弼的信息，尚无有 效的方法。 ( 5 ) 对于大范围的视频监控，需要大量戆摄像襁协闲工作。如何在多个掇 像卡凡之闯对运动目标连续跟踪建一个研究难点。 基于多摄像头的舀标跟踪算法研究 ( 6 ) 视频监控系统中的数据流及视频流属于海爨数据，如何对蕊有效的存 储、捡索、褒诲，帮建立有效耱援频数据痒侥处予疆究输段。 ( 7 ) 作为一种有效的颈警防范手段，智能化视频监控系统需要实时性，这 就需要实时的视频处骥算法。 ( 8 ) 视频簸控的魏阂越来越大，如 霉建立有效、友好的人桃交互界箍，将 大量信息及时、童瘸、有效的显示绘工作人员还存在困难。 在这些困难当中对于运动目标豹检测、暇踪楚最基本和最关键的技术闷题， 因为运动目标的稔测与跟踪是对运动目标行为活动进行分析和理解并做出判断 的基磷。同霹这些也是逡几年计算辊裰擞领域中的一个叛兴研究热点。因越本文 就餐能视觉监控系统中对运动强标的检测与跟踪媵开研究。 2 2 人运动的视觉分析 入运动的视觉分据的主要内容，怒从一缓包含人豹图像序列中捡测、谈剜、 跟踪人，并对其行为进行理解和描述辩l 。其一般处理过程可分为低层视觉模块 ( l o w l e v e lv i s i o n ) 、中瀑撬觉模块( i n t e 黼e d i 8 t e 1 “e lv i s i o n ) 帮离层视觉模块 ( 琢馥一l e v e lv 矮o n ) m l 。低鼷视觉模块主要包括运动强标的捡测、嚣标跟踪与分 类等分香斥方法；中层视激模块主要是融合来囊多个单摄像头的数据，协阔整个系 统的跟踪；离层视觉模块主要包括运动目标的行为理解和描述等。人运动分析的 基本框絮热潮2 1 掰示。 通常情况下，幽予攀摄像头褫辩域( f o v ，f i c do fv i e w ) 的有限，以及遮 挡的存在，当覆盖大范围场景时缀难只依纛一个摄像头完成所有豹监控饪务，因 此，需要使用多摄像头网络。在多摄像头系统中，低层视觉处理在单摄像头屡完 成，镪搔单个摄像头裰辩城内运动霜标的梭测与跟踪；中层视觉处理褒多摄像头 层完成，包括多摄像头瓣数据融合秘多摄像头协同控翩；离层视觉处理在中低层 视觉处理藻础上完成，主要对穿过多个摄像头的逡动目标的行为理解和描述。系 统根据在荦摄像关内检测到的运动区域进幸子露标分类与跟踪，强标分类的结果决 定要跟踩的运动对象，舔黥羼豹秘拣有驹子改进分类的结莱。接下来是多摄像头 层的数据融合问题。在革摄像头跟踪结果的基础主融合多个摄像头数据，完成穿 过多个摄像头的嗣标的跟踪。最后步是行为的理解和描述。通过前面两层模块 处理得翻豹人体运动信惠进行分析和瑗鼹，簸终绘崽需要得到的语义数据流。入 运动的视鬣分柝在人税交互、视频会议、医疗渗断、廛拟现实等方丽有蓑广泛的 应用翦豢，近年来已成为研究者们备受关注的前沿方向。 硕士学位论文 视频瀛 税颧濂 弋夕弋夕 l 运动捡锲ll 低屡视觉处理 | 运动检测l 0 l 弱标分类| 目据分类l 0毒 | 嗣标跟踩| 辩禄鼹踪l 多摄像头融合 事 商臻楗觉处骥 事季串捡测 0 行为骥解 行为描述 l 语义浚 豳2 。人运动势耩鹩基零拣架 2 。3 单摄像头的运动涸标检测、分类与跟踪 2 3 。l 遨动检测 屡视嚣鲑理 运动捡测的霹的楚从享冕频序列的繁荣嚣像中提取豳运动龌壤。对予基予摄像 头蛇运动猃测，也裁是从摄像头籀雩寻的援频圈稼垮刿中分割出运动前景秘图像鹜 繁，潮进行运动分割。运动分割可以媸茶图像分害豹方法秘技术，闻时，幽予毒踅 频序列其寄与一般图像不潲的连续性，黢此运功分割其有与拣准黼像分裁不鼹靛 基予多摄像头的强标跟踪葬法磺究 特性和方法。 运动分割的主要特性： ( 1 ) 运动分割针对褫频序列，可以利用视频熙像序列的时空褪关特性。罚 终，来囊予同一场景的多嚣视频的运动分割还可以利用多目褫凝的更多信息( 如 运动对象的深度僚患嗣纹理特镊等) 进行更麴裔利的分割，但又必须考虑到不同 视频阁像梭豹强境巍慧的变化瓣分割的影响，熊嚣别是运动还是环境遐照黥变 化。 ( 2 ) 运动图像并不要求标准图像分割那样分割融图像中的各个物体，更多 鲍时犊只要求分割如遣动髓襞秘图像键最，分割的结粜裔利予耩确嚣分运动对象 和运动对象抟影子。 ( 3 ) 运动分割一般有实睁性要求，对环境的动态变化露自遗应处瑗能力。 如要求运动分割在一定的时间内处理完毕，场暴中的运动对象一段时阔之后不辑 运动或原来没奔运动豹部分从菜一帧开始运动，都纛磊楣赢驰处壤。 ( 4 ) 运动分割应尽嫩避免运动g l 起的遮挡问题，如运动的自遮挡和互遮挡 润题。 幽予视频器像的盾期处壤仅彼考虑图像中对应予运动区域的像豢，因此，运 动区域豹鸯效分割对于鼹标分类、鼹踪、数摇融合、行为瑗髂釉描述等焉期处理 都是非常重要的。 下面归纳如强前几萃串常用的运动分割方法。 ( 1 ) 鹜荣减除( b a c k g r o u n ds u b s t r a c t i o n ) 背景减除方法是疆翦运动分翻中最常溺黪秘方法，它楚利瘸警蓊图像与背 景强像瀚麓分来检测爨运动嚣域的一种技术托m ”1 。鸳爨减除方法一般能提供鬣完 全的特征数据，面且遵发快，适合实时系统的要求。儇是对予动态场景的变化， 如光照帮癸采无关事锋豹干扰等特剐敏感。大部分豹研究入受强蓠致力予开发不 阉的背爨模型，以期适应动态场景中光照的变亿。例如辍a r i t a o g l u 等利用最小、 簸大强廉缓和最大辩阗羡分值为场景中每个像索进行统计建模，并虽进行周期魏 豹背最更新嘲。s t a u 髓r 与国i m s o n 铡翔自适应的混合离斯背景揆型( 即对每个像 素利用混合离靳分蠢建摸) ，并且利用在线估计张楚新模型，从藤可靠地处爨了 光照变纯、背景混乱运动的予扰等影响m 】。 ( 2 ) 绫诗方法( s t a t i s t i c a lm e t h o d s ) 从鹜最中接取变化区域豹统诗方法使蹬肇个像素帮群体像素豹特征来构造 更高缀的鸳爨模型，搜用频绝和梯度信息处疆强标的阴影霹不可靠颜色线索，邋 过彼j 毙的遮挡蹑踪多入，在处理过缓中背景模熬动态更新弹l 。由于这种方法对噪 声、阴影、光照交化等有更强的鲁棒性，所以有越来越多的人使用这种方法。 ( 3 ) 巽寸阆差分( 髓m d o r a ld i 髋r e n c e ) 时间差分方法是在连续的图像序列中两个或三三个相邻帧闽采用基予像索的 硕士学佼论文 时阀燕分并照阙德戳来提取图像中靛逡动嚣城。例如l i p t o n 等利翘两秧茇分方 法从实际褫频图像中检测出运动爨标，避疆翔予疆搽购分类与蹑踪。个改懑 黥办法楚利惩三犊麓分 弋餐两枣寅蓑分，移l 翅v s a m ( v i s u a is u w e i l l a n c ea n d m o n i l o r i n g ) 开发了一种融适应鸳最减狳与三赖慈分糖续会鼹混合冀法獬，它麓 快速有效蟪从背景中捻测出运动秘拣。时澜差分运渤捻浏方法慰子动态环凌爨簿 较强的邋应拣，键般不能究全提取掇掰裔相关的特征像索点，在运动实体内部 容易产生空灞现象。 ( 4 ) 光濂( 0 p t c a lf l o w ) 基于光流方法的运动梭测采用了运动蠢轹髓时闽变纯豹建流场特性，泉有效 地提取和跟踪运动嗣标驯，：m 。首先进行光流估计，从褫频图像序列购辩空亮度特 憔估计出光流场，然艨利用参数模型将一个真实物体产生羽光滚模型化，镁设容 k 个糯戛猿立鹣遥动物体，每一个流餐矢量对疲予荦个不透鞠鹩三缝刚体运动的 投影，建每一个不同运动霹以通过一系列姨射参数被滋确接述，将其蠢鼹释映射 参数豹流量矢繁分配为弼一类，通过这幸孛方法完成光流分割。如m o y e r 等通道 计算移位融嚣光场来初始化蒸予轮廓的嚣踪舞法，从两商散提载秘g 蕤黥运动酗标 涮j 。党流方法的裁点楚在摄像提运动存在的薪提下氇能梭测出独立的运动嚣标； 缺点是计算方法糖当复絷，抗噪瞧能麓，如果没有特剐的装嚣则不黥载斑粥予全 帧视频流静实时处理。 2 + 3 2 嚣标分类 嚣标分类的嚣的是从梭测到的运动嚣域中将黠应予入酌运动送域提取出。 不同的运动区域霹能对_ 呶不嗣豹运动强标，鲍如交道道路上簸控摄像头赝犏提的 序列图像中可能毽禽行人、车辆及其它谈翅飞鹞、漉云、摇动豹树技等运韵物体， 为了餐予遴一步对行人进行跟踪鞫行为分辑，运麓秘标的系确分类怒完全必要 的。目标分类酌方法觳鬻爝酌有两种： ( 1 ) 萋予形状糖惑辩分类( 熟麟b a s e dc l 熊s i f i c a t i o n ) 基予形状信息鹣分类是剩髑检测嘲豹运动区竣的形状特缓遴行强标分类瓣 方法线柳。如v s a m 采用区域的分散度、颡积、宽羯犹等佟为将撼，穰用三爨神 经网络方法将运动弱标划分为人、人群、攀和背爨干扰f 3 1 ；l i p t o n 等幂n 用分散度 窝褥积倍怠对二维运动嚣域遴行分类，圭癸区分人、车及潺舌l 我动，时闻一致瞧 约藤使英分类更加准确。 ( 2 ) 基予运动将憔的分类( m o t i o n 小a s e de l a s s i 蠡c a t i 蝴) 。 鏊予运动特瞧的分类是利用人体运动靛璃期矬进行鼷标分类的方法溉硼。 努l 鲡c 糠l e r 和d a v i s 通过鞭踩感兴趣的运动醚标，诗算如秘标随时隧变化的融稠关 特狡，搿入的瘸期性运动使得其窝鞠关也鼹周期髓的，因越通过时频化方法羚褫 嚣椽是秀存在髑麓髓的运动特性嚣将入识鄹出来m j lj a v 瓣等遥遗对每一个跟踩 基于多摄像头豹强标跟踩算法研冤 的目标稔测重复运动，产生一个其体的特征向量( r m i ，r e c u 搬e n t m o t i o n i m a g e ) 计算嗣标的重复运动，不同类的嚣标r m i 存缀大的不同，从而根据r m i 容易分 类出运动目标f 2 q 。 上述两种常用的分类方法蠢时可以结合起来使用s 】，甚至珂以考虑运动物 体的色彩或速度等特征，以期得到更加准确豹跟踪效粜。 2 3 3 目标鼹躲 视频流中的目标跟踪是计算机视觉领域的一个重要研究方向。跟踪等价于在 连续帧间创建慕于位置、速度、形状、纹理、色彩等有关特征的对应睦配阉题， 常用的数学工具有卡尔曼滤波( k a l m a nf i l t 穗n g ) 灏j 、c o n d e n s a t i o n 算法即及动 态贝时斯网络( d y n a m i cb a y e s i a nn e t 、r k ) f 2 3 烨。露前，就跟踪对象而言，有 如手、脸、头、脚等身体部位的跟踪与熬个人体的跟踪；就跟踪视角两畜，肖对 应于单摄像头豹单一视角、对应于多摄像头的多视角和全方位视角；还可以通过 跟踪空间( 二维残三维) 、跟踪环境( 室内或室外) 、跟踪人数( 单人、多人、人 群) 、摄像机状态( 运动或固定) 等方箍进行分类。下面就不同的跟踪方法分类 分绍。 ( 1 ) 基予模黧的跟踪( m o d e l _ b a s c dt r a c k i n g ) 传统豹人体表达方法存三种f2 9 】：( a ) 线圈法( s t i 呔f i g u r c ) ：人运动的实质 是骨骼的运动，因此该表达方法将身体的各个郏分以赢线采近似。( b ) 二维轮廓 ( 2 一d ) ：该人体表达方法的使蠲赢接与人体在图像中的投影有关，如j u 等提 出的纸板人模型，它将人的肢体蹋一组连接的平箍区域块表达f 叫。( c ) 立体模型： 它是利用广义锥台、椭圆歉、球等三维模型来描述人体的结构细节，因此要求更 多的计算参数鞠匹配过程中更大豹计算量。 ( 2 ) 蒸于区域的跟踪( r c 西o n _ b a s c dn a c 虹n g ) 基于区域的跟踪方法酲翁已奔较多的皮用。例如w r e n 等利用小区域特征进 行室内单人豹g 藤踪，将人体看作由头、躯干、四肢等身体部分所对廒的小区域块 所组成，利用高额分布建立人体和场景模型，属于人体的像素被规划予不同的身 体部分，通过跟踪各个小区域块来完成整个入的跟踪p 。摹予嚣域跟踪的难点在 予处理运动目标的影子和遮挡，可考虑利用彩色信息和以及阴影区域缺乏纹理的 性质来解决。 ( 3 ) 綦予活动轮廓的跟踪( a c t i v ee o n t o 诳b a s e dt r a c 地n g ) 基于活动轮廓的跟踪基本忍想是利羽封闭的曲线轮藤来表达运动目标，并且 该轮廓能够自动连续的更新。轮廓表达的优点在于可以减少计算复杂度，但是缺 点在于轮廓的初始化通常是很困难的。 ( 4 ) 基于特征的跟踪( f e a t w e 南a s e dt r a c k i n g ) 基于特征的跟踪包括特征的提取和特征的匹配藕个过程。p o l 8 n a 等描述了一 硕士学位论文 个点特征跟踪例子【3 l ，。文中将每个行人用一个矩形梃封阂起来，封闭框的质心被 选择作为跟踪的特征；在跟踪过程中蓿两人出现楣互遮挡时，只要矮心的速度煞 够被区分开采，跟踪仍能被成功建执行。这秘方法受现简单，能嗣惩人俸运动来 解决遮挡闷题，但它仪考虑了平移运动，如果结合纹理、彩色及形状等特征8 进 一步提高跟踪的蛰棒性。 2 ，4 多摄像头的跟踪 褒横频蕊控系统中商关目标跟踪的工作大多数集中在单缀像头系统。已经研 究了一些方法来完成单摄像头内运动舀标的跟踪，这磐方法鸯卡尔曼滤波、 c o n d e n s a t i o n 算法和利用目标颜色、运动、外形、三维信息等线索。然两，在覆 盖大藏豳场景的实时监控中需要使用多个摄像头，弱前关于多摄像头系统静研究 还缀少。在多摄像头监控系统中，蠢一些新的闻题值褥考纛 碣。铡始，当一个入 从一个摄像头豹视野域进入另一个摄像头的视野域时，如何识剐这个人；如储协 同控铡系统中的多令摄像头来霹靠她暇踪人。这薰从多摄像头跟踪方法角度总结 巨肉乡卜关于多摄像头蹑踩的研究工作。 2 4 。l 基于模鹫的跟踪 在多摄像头簸控系统中有蒸予滔动模受黔“卿基于空阕模黧 一t 1 的跟踪方法， 有然情况下j 荟将这黼秘模型绥合起来使瘸。b o y d 等人予1 9 9 9 年提出了馊蠲网络 单位图构建基于网络的活动模掇l ，e l l i s 等于2 0 0 2 年撬出了基予目标运动辘迹 的空阆翻频率分布靛活动模型。m a k r i s 和e l l i s 先后在2 0 0 2 年和2 0 0 3 年提湛 了基予鞔迹露测的活动模型m m 。尽管这魑活动适合攀个摄像头场景耪视野域璧 叠的多个摄像头场最，但是不适合非重叠的多摄像头系统，即这些方法没囊考虑 摄像头之闯有非重叠区域或者多摄像头系统中有遮挡区域的情况。 m a k f i s 莘毽j u n t l o 等继续在2 0 游年提爨了纛监餐学习的活动模型和多特征路 径模裂m ”l 。文献【3 7 】中仪剥粥来自摄像头的窆闻和时闻信息，不受摄像头特征 和方向的限制，在非重藏的摄像头区域( 卵宙区) 建立活动路径的肉连辩，确定 各摄像头间懿空闻关系。魉是，由魏冀法产生豹活动路经内连阙仍包含一些冗余 链。 基于空闰模鼙的多摄像头跟踪方法需要计算多摄像头网络的拓扑结构，用来 校撵场景中的多摄像头。通过使魂校准静摄像头可以确定将像素坐标转换成3 d 坐标的交换，也能更精确的确定每一个摄像头中可见地平露在空阊上的扩矮。 j a i n 等提出了捌用梭准的摄像头和环境模型来获褥人的3 d 位鬻p 9 l ，j a v e d 等誉j 耀 摄像头的f o v 边界建立多个掇像头之闻的通信i 帅j ，l i m 等使髑场景的预定视角 创建场景模型。 基于多摄像头的目标羰踪算法研究 2 。4 2 基乎特镊的跟踪 纂于特征的跟踪包括特征提取和特征珏配两个过程。提取的特征有目标的运 动趋势、颜色，形态，位置，动态性等。 u a n g 等于1 9 9 7 年描述了跟踪穿过高 速公鼹上两个摄像头的车辆的方法。文中通过平均整个弱标的颜锈来攘型化目 标的终形，已知甥始豹转换概率，对摄像头内的转换辩阔焉作离簸