（光学工程专业论文）运动目标实时检测和跟踪技术应用研究与实现.pdf

硕l ：论文运动目标实时榆测和跟踪技术应用研究与实现 摘要 运动目标检测与跟踪是应用视觉和运动图像编码研究领域的一个重要课题，在虚拟 现实和视觉监控领域有着广泛的应用。运动目标检测就是判断视频序列中是否存在运动 目标，并确定运动目标的位置。运动目标跟踪是指在整个视频序列中监控运动目标的时 空变化，如目标的出现与消失，目标的位置、尺寸和形状等。运动目标的检测与跟踪是 紧密关联的两个过程，跟踪始于检测，而目标在后续图像序列中的重复检测也有助于对 目标更加精确的跟踪。 本文在研究比较了几种常用的视频序列中运动目标检测方法后，结合本论文的实验 场景，采用了基于背景差分法的多模态背景建模方法，提取运动前景，利用其白适应性 和动态更新特性有效地反应背景的动态变化。但是这仍然不能很好地滤除掉背景中存在 的不感兴趣目标，结果使得感兴趣目标和不感兴趣目标同时存在，这严重影响了后期轨 迹跟踪结果。基于此原因，本论文提出了一种改进的基于背景差分法的多模态背景建模 算法一基于特征的运动物体滤除法，当背景存在不强烈的光照变化或是轻微晃动时，在 自适应的运动目标特征学习过程中，可以有效地去除多模态背景建模方法误判和错检情 况造成的前景不准确提取，这对于后期轨迹跟踪有着重要的作用，降低了对于不感兴趣 运动物体的报警错误率，可以说，在现代这样一个追求经济效益，倡导建立节约型社会 的环境下，降低误报率无疑可以节约大量的人力财力。 有了高准确度的目标检测结果，本文利用m e a n s h i f t 算法和k a l m a n 预测器在运动 目标轨迹预测方面的优势，加入了前景检测结果作为k a l m a n 预测器的初始输入，进一 步提高了目标跟踪的准确性，较好地处理了目标浅度遮挡时的跟踪问题。为后一步实现 轨迹偏离的判定提供了可靠的信息和良好的基础。 为了将得到的目标运动轨迹加以利用，本文基于w i n d o w s 平台，通过自适应地学 习目标的运动模式，设计实现了一个基于偏离阈值的偏轨报警系统。无论在室内还是室 外，背景存在轻微晃动，或变化不明显时，以一种用户可定制的方式提供参数选择，增 强了方案的灵活性。 最后，在不同的实验条件和参数选择下，使用此系统进行了大量实验，全面分析了 实验结果，证明了本论文所提出的改进的运动目标检测方法可以很好地滤除不相关的目 标，保存感兴趣目标，提高了跟踪精度和报警正确性，并具有一定的鲁棒性。 1 、：t 夭键例：运动目标检测跟踪，多模态，均值漂移，卡尔曼预测，偏移闽值，偏轨报警 a p p l i c a t i o nr e s e a r c ha n d r e a l i z a t i o no nr e a l - - t i m ed e t e c t i o n a n dt r a c k i n gt e c h n o l o g yo fm o v i n go b j e c t a b s t r a c t m o v i n go b j e c t sd e t e c t i o na n dt r a c k i n gi so n e o ft h em o s ti m p o r t a n ti s s u e si na p p l i e d v i s i o na n dm o v i n gi m a g ec o d i n ga n dh a sw i d ea p p l i c a t i o n si nt h ef i e l d so fv i r t u a lr e a l i t ) ra n d v i s u a ls u r v e i l l a n c e o b j e c td e t e c t i o ni nv i d e o si n v o l v e sv e r i f y i n gt h ep r e s e n c eo fa no b j e c ti n i m a g es e q u e n c e sa n dp o s s i b l yl o c a t i n gi tp r e c i s e l y o b j e c tt r a c k i n gi st om o n i t o r a no b j e c t s s p a t i a la n dt e m p o r a lc h a n g e sd u r i n gav i d e os e q u e n c e ，i n c l u d i n gi t sp r e s e n c e ，p o s i t i o n , s i z e ， s h a p e , e t c t h e s et w op r o c e s s e sa r ec l o s e l yr e l a t e db e c a u s et r a c k i n gu s u a l l ys t a r t s 奶n l d e t e c t i n go b j e c t s ，w h i l ed e t e c t i n ga no b j e c tr e p e a t e d l yi ns u b s e q u e n ti m a g es e q u e n c ei so f t e n n e c e s s a r yt ov e r i f yt r a c k i n g b a s e do ns t u d y i n ga n dc o m p a r i n gs e v e r a lm e t h o d su s e di nm o v i n go b je c td e t e c t i o ni n v i d e o ss e q u e n c e sa n dc o m b i n e dt h ee x p e r i m e n t si nt h i st h e s i s ，i ti sd e s i d e dt om a k eu s eo f m e t h o db a s e do nb a c k g r o u dd i f f e r e n c i n gw i t hm u l t i m o d eb a c k g r o n dm o d e l i n gt oe x t r a c t m o v i n gf o r e g r o u n da n ds e l f - a d a t p e dm e a n w h i l ed y n a m i c a lu p d a t e dc h a r a c t e r i s t i c st or e f l e c t t h ec h a n g e si nb a c k g r o u n dt i m e l y h o w e v e r , i tr e m a i nt oc o n t a i nt h eu n i n t e r e s t i n go b j e c t si n b a c k g r o u n da n dl e a d st ot h ec o n c u r r e n c eo fi n t e r e s t i n ga n do b j e c t s ，t h a ti st os a y , t h i sk i n do f m e t h o dc a nn o tr e m o v et h eo 场e c t sw h i c hw ed on o tf o c u so n i nc o n s e q u e n c et r a c k i n gr e s u l t w i l lb eg r e a t l ya f f e c t e di nl a t e rs t a g e s ot h i st h e s i sp o s t sa ni m p r o v e dm e t h o dw h i c hi sb a s e d o nt h eg m mb a c k g r o n dm o d e l i n go fb a c k g r o u dd i f f e r e n c i n gc a l l e dm o v i n go b j e c tf i l t e r i n g t h a tg r o u n do nc h a r a c t e r i s t i c s w h e nn oi n t e n s el i g h tc h a n g e so rs l i g h ts h a k eh a p p e n e d ，i tc a n b em o r ee f f e c t i v e l yt oe l i m i n a t et h em o s tp a r to fi n a c c u r a c yj u d g eo rd e t e c t i o no b t a i n e df x o m t h em u l t i m o d em e t h o di nt h e s e l f - a d a p t i v ep r o c e s s o f s t u d y i n gm o v i n go b j e c t c h a r a c t e r i s t i c s t h i ss t e pi sc r u c i a lp r e m i s et op r o c e s s i n gi nl a t e rs t e pi nt h a tt h ea l a r m i n ge r r o r r a t eo fu n i n t e r e s t i n go b j c o t sd e t e c t i o nw i l lb er e d u c e da n dt h i si sa l s oi m p o r t a n tt os a v e c o u n t l e s sh u m a na n df i n a n c i a lr e s o u r c e su n d e rt h ec o n s t r u c t i o no fc o n s e r v a t i o n m i n d e d s o c i e t ya n dp e r s u i to fs o c i o e c o n o m i cp e r f o r m a n c e d u et og e t t i n gt h ed e p e n d a b l eo r d e ro fa c c u r a c yr e s u l to fm o v i n go b j e c td e t e c t i o ni n f o r m e rs t a g e ，t h ea d v a n t a g eo fm e a n s h i f ic o m b i n e d 埘mk a l m a nf i l t e r i n ga l g o r i t h mi su s e d 、析t hr e s e to ff o r e g r o u n dd e t e c t i o na d d e da st h ep r i m a r yi n p u to fk a l m a nf i l t e r i n ga n dt h i s w i l lf u r t h e ri n c r e a s et h ea c c u r a c yo fo b j e c tt r a c k i n gm e a n w h i l et h i sm e t h o di sb e t t e ri n i i i a b s t r a c t 硕士论文 d e a l i n gw i t hh i d d e no b j e c ta m o n gas m a l l c i r c l e a 1 1o ft h e s ep r e p a r a t i o nw o r kp r o v i d e s d e p e n d a b l ei n f o r m a t i o na n df o u n d a t i o nt ot h ej u d g e m e n to ft r a c k i n gi nl a t e rs t a g e i no r d et ot a k ef u l la d v a n t a g eo ft h eo b t a i n e dt r a c e ，t h i st h e s i sd e s i g n sa n di m p l e m e n t sa n o f f s e t t r a c k i n ga l a r m i n gs y s t e mb a s e do no f f s e tt h r e s h o l dt r o u g hl e a r n i n gt h em o d eo f m o v i n go b j e c ta d a p t i v e l yo nw i n d o w sp l a t f o r m r e g a r d l e s so fw h e t h e r i ti si n d o o ro ro u t d o o r u n d e rt h ec o n d i t i o nt h a tt h e r ei ss l i g h tm o v e m e n to fb a c k g r o u n do rt h i sm o v e m e n ti sn o t o b v i o u s ，t h i ss y s t e mc a np r o v i d eac u s t o m i z a b l ep a r a m e t e rc h o i c et h e r e f o r et h ep r o g r a m f l e x i b i l i t yi sg r e a t l yi n c r e a s e d a tl a s t ，t h es y s t e mi st e s t i n gm a n yt i m e su n d e rv a r i o u se x p e r i m e n tc o n d i t i o n sa n d p a r a m e t e r sa n dr e s u l t sa r ea n a l y z e dc o m p r e h e n s i v e l ya n d i ti sv e r i f i e dt h a tt h em e t h o db a s e d o nc h a r a c t e r i s t i c sf i l t e r i n gt h i st h e s i sp o s t e dc a nf i l t e ru n i n t e r e s t i n gm o v i n go b j e c t si nv e d i o t i m e l ya n dm e a n w h i l es a v et h ei n t e r e s t i n go b j e c t s c o n s e q u e n t l y , a l a r m i n g e r r o rr a t ei s g r e a t l yd e c r e a s e dc o n t r a r i l ya l a r m i n gp r e c i s i o na n dr o b u s t n e s si si n c r e a s e d k e yw o r d ：m o v i n go b j e c td e t e c t i o na n dt r a c k i n g ，m u l t i m o d e ，m e a n s h i r ，k a l m a n p r e d i t i o n ，0 i t s e tt h r e s h o l d ，o f f t r a c ka l a r m i v 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：鲜垒盘4 善驷1 年l 献b 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名擎堡垒叠蠢 阳尸年钿加 硕上论文运动目标实时检测和跟踪技术应用研究与实现 1 绪论 人类的视觉系统是获取外界信息的最主要途径，而运动目标的检测、跟踪和测量是 视觉领域的一个重要课题，具有广泛的应用。因此研究运动目标的跟踪和测量具有非常 重要的意义，尤其在某些场合，人无法参与或者工作量太大，研究智能化无需人工参与 或仅需少量交互的视觉分析和目标跟踪系统是必然的趋势。 目标跟踪和数字图像处理关系密切【1 , 2 , 3 】，对出现在视频图像中的目标进行实时识别， 则必须对图像中的像素进行处理。数字图像处理技术是从2 0 世纪5 0 年代以来随着计算 机技术发展而产生、发展和不断成熟起来的一个新技术领域，它在理论上和实际应用上 都取得了巨大的成就。数字图像处理的主要研究目的在于通过对原始图像的再加工，使 之能具备更好的视觉效果或能满足特定的需求，在处理上主要包括图像的采集、编码、 存储和传输、图像的合成、图像的增强、变换与复原等诸多内容。目前已广泛应用于工 业、微生物领域、医学、遥感、航空航天及国防等许多重要领域，而且多年来一直得到 世界各科技强国的广泛关注。 计算机智能视频监控是计算机视觉领域一个新兴的应用方向和备受关注的前沿课 题。伴随网络技术和数字视频技术的飞速发展，监控技术正向着智能化、网络化方向不 断前进。监控系统功能日益强大，但是依然需要工作人员不问断地分析监视场景内的活 动，日夜值守，工作量繁重，因此计算机视觉和应用研究者提出新一代监控一视频监控 的概念，视频监控在不需要人为干预情况下，利用计算机视觉和视频分析的方向对摄像 机拍摄的图像序列进行自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此 基础上分析和判断目标的行为，从而既能完成日常管理又能在异常情况发生时及时做出 反应。计算机视频监控系统不仅符合信息产业的未来发展趋势，而且代表了监控行业的 未来发展方向，蕴含着巨大的商机和经济效益，受到了学术界、产业界和管理部门的高 度重视。 1 1 运动目标检测和跟踪问题的提出 目标跟踪就是指对视频图像序列中的运动目标进行检测、提取、识别和跟踪，获得 运动目标的运动参数，如目标质心位置、速度、加速度等，以及运动轨迹，从而进行进 一步处理与分析，实现对运动目标的行为理解，以完成更高一级的任务。 运动目标的跟踪和测量包括目标的检测、目标的特征提取、目标的跟踪等几个阶段。 其中目标检测和特征提取需要一定的先验知识，根据场合不同而进行不同的设计。目标 跟踪可以理解为在捕获到的目标初始状态和通过特征提取得到的目标特征基础上，进行 一种时空结合的目标状态估计。一个性能良好的跟踪系统必须满足以下几点： l 1 绪论硕l ：论文 1 “准确”是指跟踪必须满足一定的精度，要求较低的场合可以给出目标的大概位 置，要求较高的场合必须给出目标的准确方位、姿态等信息。 2 “实时 指的是跟踪系统能够连续跟踪实际运动目标，测量数据的输出速率必须 满足实际控制系统的动态指标要求。 3 “可靠”是指跟踪过程必须稳定，抗干扰性能要好，一般在某些跟踪可能失败的 场合还要求具有跟踪自恢复的能力。 这三点是很难同时满足的，通常进行某种折衷，以达到较好的综合性能。 1 2 运动目标检测与跟踪的研究现状与发展前景 1 2 1 应用领域和先进的应用系统 运动目标的检测与跟踪是应用视觉领域的一个重要的课题。在现实生活中，大量的 有意义的视觉信息包含在运动之中。尽管人类既能看见运动的又能看见静止的物体，但 是在许多场合，如交通流量的检测、重要场所的保安、航空和军用飞机的制导、汽车的 自动驾驶或辅助驾驶等，往往只对运动的物体感兴趣。因此，研究运动目标的检测和跟 踪问题，有很大的理论意义和应用价值。 运动目标跟踪是运动视觉处理研究的核心内容，其典型应用主要包括： ( 1 ) 智能交通监管系统中的监控，现代社会的高节奏生活导致了交通的浮燥。基 于此而出现交通违规和不文明现象时，目标检测与跟踪显得尤其重要，可以根据运动轨 迹判断汽车是否存在违章行为，从而降低了交通管理的成本。例如，t a i 等人研究了一 个用于交通事故检测的视频监视系统，能够自动检测运动车辆并对其运动轨迹进行判 定；c o i f m a n 等人1 4 j 建立了一个基于视频图像处理系统( v i p s ) 的交通监控系统，用于 交通流量监控以及不同车型的统计。 ， ( 2 ) 智能机器人任务执行，通常机器人为了执行某些任务，需要能够在它的环境 中跟踪目标。在智能机器人的应用中，跟踪技术用于从安装在机器手上的运动的摄像机 中拍摄物体，计算运动轨迹，选择最佳姿态抓取物体等。 ( 3 ) 医学高科技的需求，现代高科技的发展促使医学的向前跃进，而医学生物微 观上的研究却与目标追踪密不可分。包括对微观细胞的追踪观察、人工植入器官的跟踪 观察等。 ( 4 ) 军事上的应用主要包括自动驾驶飞行器、自动目标跟踪、无人驾驶车辆、各 种高技术武器系统的模拟训练器中对模拟目标的跟踪测量等。在跟踪近距目标时，具有 显示直观，有利于跟踪。因而在导弹的末段制导和飞机、军舰的火控系统中，成为必不 可少的关键部件，目前，国内外多数火控雷达系统配备了各种视频跟踪系统口。 ( 5 ) 安全场合智能监控，智能监控系统的需求主要来自那些对安全要求敏感的场 2 硕十论文 运动日标实时检测和跟踪技术应用研究与实现 合，如银行、文物馆、商店、停车场，居民小区等。监控摄像机在商业中的应用需要监 控系统能够自动分析摄像机捕捉的图像数据，自动完成对复杂环境中的人和车辆进行实 时观测以及对感兴趣目标的行为进行分析和描述。 ( 6 ) 基于视觉的人一机交互方式下，人们己经越来越不满足于传统的以键盘和鼠 标为主的人机接口方式，对新颖的、高度智能化的、人性化的人机接口的需要日益迫切。 这方面的研究已经取得了一定的进展，但对于三维的虚拟环境，对于人们对智能化接口 的期望，是远远不够的。三维的虚拟环境需要更自由、更自然和更拟人化的人机交互方 式【5 6 】。显然，如果计算机能够捕获人体运动，并识别甚至理解这些行为动作，则人与计 算机的对话会更直观、更简洁。如果计算机能估计到用户的手的指向、明白用户为何挥 手，甚至于知道用户是否高兴，那么这些必将会给人机交互的发展带来一次革命，改变 人们的生活方式。 要理解人的行为，必须进行人体运动分析，因此对这种思想的最初实践主要基于分 析人体运动数据而进行。与早期研究中，依靠电磁式的运动传感器获取人体运动信息， 然后再通过计算机数据分析理解入的行为方式。基于视觉的人机交互方式希望能通过对 输入现场视频的分析提供更自然、更直接和更具人性化的人机接口，即让计算机能够“看 见 并“理解 使用者的动作行为。目前的最新研究则着重于直接对人体进行定位跟踪、 人脸识别、表情理解【1 7 1 、手势解释和身体动作理解方面，进行这项研究有助于在远程电 视会议中大大降低图像传输的比特率，并使画面及时锁定在讲话人的身a 二1 8 , 9 。 ( 7 ) 在视觉跟踪技术中，还可以利用图像序列中感兴趣目标的相似性实现对目标 的识别与跟踪，这一技术能够被利用来进行图像检索和图像查询【jo ，1 1 j 。 除了以上的应用外，目标跟踪还存在很大的应用范围和前景。人们更关心的是现实 生活中的应用。其中需求最多的还是各种生活环境中的监控，例如，可以利用计算机视 觉跟踪实现汽车的自动驾驶【l 到，可以防止司机的疲劳驾驶以及酒后驾驶等危险因素的存 在：全天候监控发现在敏感区域一直徘徊、形迹可疑的人员以及可疑物体、可疑人物， 防止偷窃、斗殴等犯罪事件的发生。传统的监控系统主要是通过一些传感器如温度传感 器、压力传感器和电接触传感器等来实现的。 国际上，自2 0 0 1 年美国“9 1 1 事件，以及后来的西班牙马德里列车连环爆炸和英 国伦敦地铁大爆炸等恐怖击后，全世界范围内对视频监控系统，包括智能视频分析系统 的需求空前高涨。据英国( ( t h ed a i l ym a i l ) ) 分析，在英国全国范围内已经安装摄像机 4 2 0 多万个，平均每1 4 人一个，一个人一天之中可能出现在多达3 0 0 个摄像机前。国内， 2 0 0 7 年底广州市安装完毕2 5 万个治安摄像机，北京在2 6 3 万台摄像机的基础上，又在 所有重点单位、人员聚集的公共场所、重要的交通枢纽、城市重要基础设施及法律法规 规定的重点区域安装公共图像信息系统并且全部与警方监控网联网。 国际上处于顶级水平的应用系统主要有： 1 绪论 硕十论文 1 、美国v i d i e n t 公司推出的s m a r t c a t c h 系统。该系统的主要特点是通过使用先进的 机器学习、多物体跟踪和行为推理技术，能够提供包括周边入侵、人群密度、滞留物品 等十余种事件的准确监测，准确率高达9 5 以上。该系统主要应用于机场安防监控，如 美国旧金山国际机场、美国圣地亚哥国际机场、德国法兰克福国际机场、美国交通安全 管理局等。智能视频监控系统s m a r t c a t c h 荣获美国2 0 0 5 年f r o s t & s u l l i v a n 产品创新大 奖。 2 、法国v i s i o w a v e 公司提供的v i s i o w a v e 视频监控系统。该系统除了具备一定的运 动监测技术之外，高效的视频压缩、智能化的利用网络和灵活的存储归档机制也是这一 系统的特色。v i s i o w a v e 先后赢得巴黎、纽约、伦敦三大地铁的智能视频安防项目，其 中纽约地铁项目摄像头的数量多达2 5 0 0 0 多个。 3 、美国e m w 公司推出的i v m 智能视频监控系统。该系统运用先进的视频图像处 理技术，能够实时、自动地监视、识别、跟踪在摄像机画面内发生的潜在威胁事件，并 能够进一步侦测多种事件和行为。m 系统已经应用于美国五角大楼的安防系统，并作 为美国在伊拉克军事行动的一部分保卫美国在伊拉克的军队，其作用主要是提供边界入 侵预警功能。 人们对基于视频图像的监控系统的智能化要求越来越迫切，可视化的监控系统将是 未来的发展方向之一。而运动目标的跟踪在视频图像处理中占据极其重要的地位。因此 研究运动目标的跟踪和测量具有非常重要的意义。 1 2 2 研究现状 视频监控的核心内容之一是对特定目标的自动跟踪。目标跟踪可分为5 个步骤，包 括运动检测、目标分类、目标( 类型) 跟踪、行为分析和目标( 个体) 跟踪。通常，从 技术角度来说，视频目标跟踪具备如下特点： ( 1 ) 离散且相关联的帧序列作为被分析对象 ( 2 ) 以图像作为识别的载体，具有很强的可观性 ( 3 ) 可以采用大量的数字图像处理和分析方法，数字图像处理方法在数十年来伴 随着计算机的发展已经逐渐形成了完备的理论体系。 从上世纪9 0 年代中期开始，以卡耐基梅隆大学( c m u ) 和麻省理工学院( m i t ) 为代 表的，多家美国高校所参与的，由美国国防高级研究项目署d a r p a ( d e f e n s e a d v a n c e d r e s e a r c hp r o j e c t sa g e n c y ) 设立的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n d m o n i t o r i n g ) 1 2 , 1 3 ，以及其它科研机构的研究成果，使得智能视觉分析取得了快速发展。 v s a m 系统具有多种功能，不仅融合了多种类型的传感器，对监控地区进行全方位的昼 夜监控，而且具有先进的视频分析处理器。不但能检测和识别异常对象的类型，还能分 析与预测人的活动，根据运动对象行为的危害性进行自动提示和报警，由多种网络构成 4 硕上论文运动目标实时检测和跟踪技术应用研究i j 实现 的先进网络传输系统，支持多种通信线路连接，使用地理信息和二维建模技术提供可视 化图形操作界面，载航空摄像机不需要经常性的人工操纵就能自动对准地面监视目标， 实现对重要目标的长时间监视。 当前，除了c m u 和m i t ，奥地利g r a z 理工大学的嵌入式智能摄像机研究组，i b m 的s 3 ( s m a r ts u r v e i l l a n c es y s t e m ) 项目组，i n t e l 的i r i s n e t ( i n t e r n e t s c a l e ， r e s o u r c e i n t e n s i v es e n s o r n e t w o r ks e r v i c e s ) 项目组等，逐步将基于视觉的手势识别接口 应用到商业领域中，分别在分布式智能监控系统的不同领域处于领先地位。 视频监控在实际项目中的应用主要体现在美国、西欧和同本等发达国家为了解决所 面临的交通问题，竞相投入大量资金和人力，开始大规模地进行道路交通运输智能化的 研究试验。如美国的喷气动力实验室( j e tp r o p u l s i o nl a b o r a t o r y ) 就资助了五个关于大 范围交通检测技术的研究项目：a u t o s c o p e ，c m sm o b i l i z e r , m a s t e rt r a f f i cv i s i o n ， a u t o c o l o r 和r o a d w a t c h ，其中前三个项目成果业己应用于实用的商业系统中。这些系 统中大部分都是利用图像区域的像素强度或颜色的变化来实现物体检测，利用区域的模 块特征或颜色特征来实现物体的跟踪。 美国联邦政府从1 9 9 0 年到1 9 9 7 年用于智能交通系统( i t s ) 研究开发的年度预算 总计为1 2 9 3 5 亿美元；欧盟从1 9 8 4 年到1 9 9 8 年仅用于i t s 共同研究开发项目的预算就 达2 8 0 亿欧元；日本政府仅1 9 年和1 9 9 7 年用于i t s 研究开发的预算为1 6 1 亿日元， 用于i t s 实用化和基础设施建设的预算为1 2 8 5 亿日元。上面的数据在一定程度上反映 了目前国外在该领域的重视程度，也可以反映其未来的发展的潜力。 目前在国内的研究机构中，中国科学院北京自动化研究所下属的模式识别国家重点 实验室视觉监控研究组处于领先地位。他们对交通场景的视觉监控基于三维线性模型定 位、基于扩展卡尔曼滤波器的车辆跟踪算法、人的运动视觉监控基于步态的远距离身份 识别和行为模式识别提出了对目标运动轨迹和行为特征的学习的模糊自组织神经学习 算法进行了深入研究，取得了一定的成果。除此之外，国内还有一些高校也进行了这方 面的研究。国内也于2 0 0 2 年5 月召开了第一届全国智能视觉监控学术会议，对图像序 列分析、目标定位、识别和跟踪、高层语义理解、系统构建与集成、网络环境下的视频 监控等内容进行了多方面探讨。 目f j 有关视频监控的视觉分析还处在研究发展阶段，为了进一步促进这方面研究的 发展，国际权威期刊如i j c v ( i n t e m a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ) c v i c t ( c o m p u t e r v i s i o na n di m a g eu n d e r s t a n d i n g ) ，p a m i ( i e e et r a n s o np a t t e r na n a l y s i sa n dm a c h i n e i n t e l l i g e n c e ) ，i v c ( i m a g ea n dv i s i o nc o m p u t i n g ) 都出版了有关视频监控的专题。i e e e 协会从19 9 8 年起资助了国际视觉监监控系列会议，i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo n c o m p u t e rv i s i o n ) 、c v p r ( i e e ec o m p u t e rs o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o na n d p a t t e r nr e c o g n i t i o n ) 、e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、i s ( i e e e 1 绪论硕j ：论文 i n t e r n a t i o n a lw o r k s h o po nv i s u a ls u r v e i l l a n c e ) 等重要学术会议也将视频运动目标分析研 究作为主题内容之一。国内也于2 0 0 2 年召开了第一届全国智能视觉监控学术会议，为 该领域的研究人员提供了更多的交流机会。 目标跟踪的研究内容主要根据目标检测，阴影、雨雪减除，噪声消除，连通区域分 析及目标帧问的匹配跟踪等方面展开。如图1 1 所示。 _ 州摄像机静止卜 匦厮回二 一叫摄像机运动) 一 l = 二 ( 2 3 ) 其中，g ( x ，y ) ，g ( x ，y ) 分别为原图像和处理后的图像；形为二维模板，通常为3 x 3 或5 x 5 区域。中值滤波方法抑制噪声算法虽然比均值滤波算法略微复杂，但是由于中值 滤波的像素原始值包含在中值的计算结果中，对画面清晰度的保持比均值滤波好很多。 中值滤波器的应用非常普遍，因为对于很多随机噪声，它都有良好的去噪能力，尤其对 滤除脉冲干扰及图像扫描噪声最为有效。在实际运算过程中，中值滤波并不需要图像的 统计特性，给计算带来不少方便。但是中值滤波对高斯噪声的抑制效果不是很好，对一 些细节多，特别是线，尖顶等细节多的图像也不便采用中值滤波。此外，适当的选择模 版的大小与结构形状也非常重要。模版太大，会使图像清晰度遭到一定程度的破坏。 2 3 3 数学形态学去噪 数学形态学【2 2 】是一种非线性滤波方法。膨胀和腐蚀是数学形态学的基础。数学形态 学可以用来解决抑制噪声、特征提取、边缘检测、图像分割、形态识别、纹理分析、图 像恢复与重建、图像压缩等图像处理问题。在运动目标检测中，前景目标通过阈值分割 后，在背景区域中被错分的像素表现为零散的噪声点或小的噪声块，而在前景区域中会 使人体的区域出现空洞现象，这些对于运动前景目标的完整提取都会产生不利影响。所 以在分割步骤以后还要对提取的二值图进行图像后处理。 在形态学中，结构元素是最重要和最基本的概念。结构元素在形态变换中的作用相 当于信号处理的“滤波窗口 。基本图像形态结构运算有膨胀与腐蚀。数学形态学首先 处理二值图像，基本的数学形态学运算是将结构元素在图像范围内平移，同时作交、并 等基本的集合运算。灰度形态学是二值数学形态学对灰度图像的自然扩展，其中，二值 形态学用到的交、并运算分别用最大、最小极值运算代替。 由于形态学具有完备的数学基础，这为形态学用于图像分析和处理、形态滤波器的 特性分析和系统设计奠定了坚实的基础，尤其突出的是实现了形态学分析和处理算法的 并行，大大提高了图像分析和处理的速度。近年来，在图像分析和处理中形态学的研究 和应用在国内外得到了不断地发展。 形态学运算主要用于如下几个目的： 图像预处理( 去噪声、简化形状) ； 增强物体结构( 抽取骨骼、细化、粗化、凸包、物体标记) ； 从背景中分割物体； 物体量化描述( 面积、周长、投影、e u l e r - p o i n c a r e 特征) 。 ( 1 ) 腐蚀( e r o s i o n ) 腐蚀是一种消除边界点，使边界向内部收缩的过程。可以用来消除小而无意义的目 1 7 2 视频中运动目标处理问题概述硕十论文 标物。如果两目标物间有细小的连通，可以选取足够大的结构元素，将细小连通腐蚀掉。 腐蚀的算符是 ，a 用b 来腐蚀写作彳 b ，设二值图像为a ，结构元素为b ，当 b 的原点移到( x ，y ) 处时，将其记作最w ) ，则图像彳被结构元素b 腐蚀的运算表示为 e = a b = x ，yi 盈) x ) ( 2 4 其中，x 为二值图像爿的连通域，当结构元素b 的原点移动到( x ，y ) 位置，如果b 完 全包含在x 中，则在腐蚀后的图像上该像素点为l ，否则为0 。一般地，如果b 包含坐 标原点， 那么，a b 将是彳的一个收缩，即a o b 呈a 。 ( 2 ) 膨胀( d i l a t i o n ) 膨胀是将与目标区域接触的背景点合并到该目标物中，使目标边界向外部扩张的处 理。膨胀运算在数学形态学中的作用是把图像周围的背景点合并到物体中。如果两个物 体之间距离比较近，那么膨胀运算可能会使这两个物体连通在一起，它可以用来填补物 体中的空洞，以及消除包含在目标区域中的小颗粒噪声。 膨胀的算符是o ，么用b 来膨胀写作aob ，可定义为 d = a o b = x ，y l 县1n x a ) ( 2 5 ) 其中，彳为原始图像，b 为结构元素，x 为图像彳的连通域。当结构元素b 的原点 移动到协，y ) 位置，如果b 中包含至少一个像素值为1 的点，则在膨胀之后的图像上该 点为1 ，否则为0 。 基本的形态学变换可以用来在图像中快速地寻找物体轮廓。具体实现方法是计算原 始图像和腐蚀后的图像的差。腐蚀还可以用来简化物体结构一那些只有一个像素宽的物 体或物体的部分将被去掉。这样就把较复杂的物体分解为几个简单部分了。 ( 3 ) 开运算与闭运算 一般情况下，膨胀和腐蚀不是互为逆运算，所以它们可以级联结合使用。膨胀后再 腐蚀，腐蚀后再膨胀，通常不能恢复成原始图像，而是产生一种新的形态变换，这就是 开运算和闭运算。 开运算( o p e n i n g ) ：使用结构元素对图像先腐蚀再进行膨胀的运算称为开运算。在 结构元素b 下对a 进行开运算用ao b 表示为 a o b = ( 彳 b ) ob ( 2 6 ) 么被b 作开运算，就是彳被b 腐蚀后的结果再被b 膨胀。开运算的结果是当结构元 素b 在图像内平行移动且不从图形中溢出时，结构元素能够到达的区域。开运算一般能 1 8 硕士论文运动目标实时检测和跟踪技术应用研究与实现 平滑图像的轮廓，削弱狭窄的部分，去掉细长的突出，边缘毛刺和孤立斑点。 闭运算( c l o s i n g ) ：是开运算的对偶，即使用结构元素对图像先腐蚀再进行膨胀的 过程。在结构元素b 下对彳进行开运算用a b 表示为 a b = ( 彳ob ) b ( 2 7 ) 彳被曰作闭运算，就是彳被b 膨胀后的结果再被b 腐蚀。闭运算的结果是当使结构 元素的反转在图形的背景内平行移动且不从背景中溢出时，能够达到的区域的补集。闭 运算同样使轮廓线更为光滑，但与开运算不同，闭运算一般融合窄的缺口和细长的弯口， 能填补图像的裂缝及破洞，所起的是连通补缺作用，图像的主要情节保持不变。 开运算和闭运算具有等幂性，即重复一次与多次没有区别。通常，由于噪声影响， 图像在阂值化后所得到的边界往往是很不平滑的，物体区域具有一些噪声孔，背景区域 上散布着一些小的噪声物体，连续的开和闭运算可以有效的改善这种情况，有时需要经 过多次腐蚀之后再加上相同次数的膨胀，才可以产生比较好的效果。 2 4 视频运动目标检测的常用基本模型 基于视频的运动目标处理整个计算机智能视觉系统的最底层，其检测目标的准确与 否对后续各种高级处理如目标分类、目标分割、行为理解等影响非常大，因此成为视频 监控系统研究中的一项重要课题。运动目标处理的任务是从图像序列中检测出运动信 息，简化图像处理过程，得到所需的运动矢量，从而能够识别并跟踪物体。然而由于天 气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。 视频跟踪中遇到的首个问题往往是提取图像序列中感兴趣的部分，即前景，例如移 动的人、车辆等等，也可以称为运动目标检测。运动目标检测是目标跟踪、识别和分类 等技术的基础，而解决检测算法的实时性和鲁棒性是提高系统跟踪精度和跟踪稳定性的 关键。为了提高系统的识别能力，完成复杂背景下的目标跟踪，要求检测算法要比较完 善，简单有效并适合于硬件实现。 运动目标检测算法主要解决图像序列中的某一目标的连续检测问题，算法建立在目 标的检测识别的基础上，涉及跟踪目标的特征分析、运动轨迹估计及保证跟踪稳定性的 稳定跟踪策略等内容。视频运动目标跟踪检测的目的就是通过对图像传感器拍摄到的图 像序列进行分析，判断出目标的性质，并估计出目标在每帧图像上的位置。己有的视频 运动目标跟踪检测方法各有千秋，通常首先要进行目标识别特征向量提取，然后对目标 运动进行预测。 运动目标检测的常用方法主要可以分为三种： ( 1 ) 是基于帧间差分法，基于时间序列图像上的差分图像实现运动目标的检测； ( 2 ) 是基于背景差分法【2 3 , 2 4 】，基于图像序列和参考背景模型相减实现运动目标的 1 9 2 视频中运动目标处理问题概述硕i 二论文 检测： ( 3 ) 是基于运动场估计，是对图像的运动场进行估计，将相似的运动矢量合并， 从而区分背景和前景，最常用的是光流法【2 5 1