（通信与信息系统专业论文）基于dsp的视频动态跟踪研究.pdfVIP

摘要随着人们生活水平的提高和对工作、生活环境中安全防卫需求的增长，视频监控系统近年来得到了迅速的发展。以往国内使用的视频监控系统主要是基于模拟技术的，到了世纪年代末，随着网络带宽、计算机处理能力和存储容量的迅速提高，促使视频监控系统从模拟技术时代进入数字化网络时代，即数字视频监控系统。目前大部分的数字视频监控系统是通过图像采集卡进行视频采集。与此同时，由于超大规模集成电路和嵌入式软硬件技术的迅猛发展，尤其是d s p 芯片，它丰富的外设接口和高度的可编程性使得视频监控的硬件和软件都更容易实现。正是由于越来越高的性价比加上体积小，携带方便等独特优势使得基于d s p 的视频监控系统也渐渐占有了一席之地。1 1 公司的t m s 3 2 0 d m 6 4 2芯片是目前业界公认的性能良好的视频处理器，是一款专门面向多媒体应用而设计开发的3 2 位定点d s p 芯片，已经成为目前视频处理系统的理想平台。视频运动目标分析中对运动目标的跟踪是在运动目标检测的基础之上进行的，跟踪的主要目的是获取运动目标的运动特征，包括运动轨迹及瞬间运动参数等等。由于视频中主要的语义内容是以运动信息作为载体，因此分析和截取视频中有意义的动态信息成为基于内容的多媒体信息处理技术重要的组成部分从而引起人们高度的研究兴趣。本文主要研究并设计了一个嵌入式视频监控系统，它的主控芯片采用1 1 公司最新推出的专用多媒体处理芯片t m s 3 2 0 d m 6 4 2 。论述了t m s 3 2 0 d m 6 4 2 苓片的内核结构和外围设备，并此研究基础上，根据系统的设计要求和指标，完成了基于t m s 3 2 0 d m 6 4 2 的视频处理系统设计，并阐述了各个模块的具体设计过程。在硬件设计的视频处理平台上，根据研究的目标，作者对基于d s p 嵌入式系统下的数字图像检测与跟踪算法进行了深入的探讨，实现了一种新的基于四连通的算法，该算法能够很好的适应d s p 系统的实时性要求，实时跟踪运动中的物体，在算法的实现上，本文还研究了d s p 系统下的优化方法，从代码优化和存储器优化两个方面对视频跟踪算法的优化方法进行了重点介绍和分析。关键词：d s p ，目标检测，动态跟踪，四连通a b s t r a c tw i t ht h ei m p r o v e m e n to fp e o p l e sl i v i n gs t a n d a r da n dt h ei n c r e a s i n go fs e c u r i t yr e q u i r e m e n t si no u rl i v i n ga n dw o r k i n gc i r c u m s t a n c e ，t h ev i d e om o n i t o r i n gs y s t e mi sd e v e l o p e dr a p i d l yi nr e c e n ty e a r s i nt h ep a s ty 6 a r sm o s to fm o n i t o r i n gs y s t e m sw e r eb a s e do na n a l o gt e c h n o l o g y , u n t i lt h ee n do f9 0 sh a dt h ev i d e om o n i t o r i n gb e e ne n t e r e df r o ma n a l o ga g et od i g i t a la g e ，w h i c hn a m e dd i 百t a lv i d e om o n i t o r i n gs y s t e m n o wm o s to fd i 罾t a lv i d e om o n i t o r i n gs y s t e m so nt h em a r k e tw o r kb ya ni m a g ec a p t u r i n gc a r di np c is o c k e t ，o nt h eo t h e rh a n d ，m a n yp o w e r f u le m b e d d e dp r o c e s s o r s ，e s p e c i a l l yd s pc h i pi n c l u d ea b u n d a n c eo fp e r i p h e r a li n t e r f a c ea n dh a sv e r yh i g hp r o g r a m m e da b i l i t y , w h i c hm a k et h eh a r d w a r ea n ds o f t w a r eo fv i d e om o n i t o r i n gs y s t e mb ei m p l e m e n t e de a s i l y b u ta l s o ，t h i se m b e d d e ds y s t e mc o n q u e rm a n yd e f i c i e n c i e so ft h es y s t e mb a s e do np c a sar e s u l to ft h ei n c r e a s i n gp e r o r m a n c e - p f i c e r a t i o ，a d d i n gi ns m a l la r e a ，l o wl o s ta n dp o w e rc o n s u m p t i o n ，t h ep r o p o r t i o no fe m b e d d e dc h i p si nv i d e om o n i t o r i n gf i e l db e c ：0 m em u c hh i g h e r t h et m s 3 2 0 d m 6 4 2d i g i t a lm e d i ap r o c e s s o ri sc o n s i d e r e dt ow o r kw e l lf o rp e o p l ew h ou s ed s pa tp r e s e n t ，w h i c hi sa3 2 - b i tf i x e d - p o i n td s pt h a ti sd e v e l o p e df o rm u l t i m e d i aa p p l i c a t i o n sb yt i i th a sb e c o m eo n eo ft h ep e r f e c tp l a t f o r m sf o rt h ev i d e op r o c e s s i n gs y s t e mc u r r e n t l y i nv i d e om o v i n go b j e c t sa n a l y s i sp r o c e s s ，m o v i n go b j e c t st r a c k i n gi sb a s e do nm o v i n gd e t e c t i o n t h ep r i m a r yp u r p o s eo fv i d e oo b j e c t st r a c k i n gi st oa c h i e v em o t i o nf e a t u r em o v i n go b j e c t s ，i n c l u d i n gm o t i o nt r a c ka n di n s t a n t a n e o u sm o t i o np a r a m e t e r sa n ds oo n 舡m a j o rv i d e ot a k es e m a n t i cc o n t e n t sb yw a yo fm o t i o ni n f o r m a t i o n ，a n g l i c i z i n ga n dc a p t u r i n gm e a n i n g f u ld y n a m i ci n f o r m a t i o nb e c o m em o r ea n dm o r ei m p o r t a n tp a r to fm u l t i m e d i ai n f o r m a t i o np r o c e s s i n gt e c h n o l o g y , s oa st oh i g h l yi n t e r e s t so nt h er e s e a r c hh a v eb e e nf o c u s e do n t h i sp a p e rm a i n l yr e s e a r c ha n dd e s i g nau n i v e r s a le m b e d d e dv i d e om o n i t o r i n gs y s t e m t h ec e n t r a lp r o c e s s o ri st i sd e d i c a t e dp r o c e s s o rt m s 3 2 0 d m 6 4 2 t h ek e r n e l - s t r u c t u r ea n dp e r i p h e r a le q u i p m e n to ft m s 3 2 0 d m 6 4 2 - w a sd i s c u s s e d o nt h ef o u n d a t i o no fr e s e a r c ha n dt a k i n gi n t oa c c o u n tt h ed e s i g nr e q u i r e m e n to ft h i ss y s t e m ，t h ei m p l e m e n t a t i o nm e t h o di nw h i c ht h em a i nd e s i g no fv i d e os y s t e mb a s e do nt m s 3 2 0 d m 6 4 2i sd i s c u s s e d ，a n dt h ed e t a i ld e s i g ni sg i v e n a f t e rt h es t u d yo ft h eh a r d w a r ea n ds o f t w a r ef o rt h es y s t e m ，t h i st h e s i sd o e sd e e p l yr e s e a r c hi nt h ed i g i t a li m a g es e g m e n t a t i o na l g o r i t h m sb a s e do nd s pe m b e d d e ds y s t e ma n dt h ea u t h o rp u t sf o r w a r dan e wa l g o f i t l u nb a s e d0 n4 - a d j a c e n tc o n n e c t i o nt h a tc a nf i ! t h er e a l t i m ed e m a n do fd s ps y s t e mv e r yw e l la n dr e a l - t i m et r a c k i n go ft h em o v e m e n to fo b j e c t si na d d i t i o n ，t h et h e s i sd o e sar e s e a r c ho ns e v e r a lo p t i m i z a t i o nw a y so fd s pp r o g r a m m i n ga n dm e m o r yo p t i m i z a t i o nt e c h n o l o g y k e yw o r d s ：d s p ，o b j e c td e t e c t i n g , d y n a m i ct r a c k i n g , 4 _ a d j a c e n tc o n n e c t i o n独创性声明本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：蔓避日期：芝坐墨：1 2关于论文使用授权的说明本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保留、送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。( 保密的论文在解密后应遵守此规定)日期：塑巫凹武汉理工大学硕士学位论文1 1 研究背景第1 章绪论视频运动目标分析是指在特定环境中对人或车辆等移动目标进行实时地检测和跟踪，并对这些目标的行为和动作进行描述的过程，其中主要包括运动目标的检测、跟踪、目标分类以及运动目标的行为理解和描述等方面内容，涉及到计算机视觉、模式识别、图像处理和人工智能领域的许多核心课题；同时，动态场景中运动的快速分割、目标的非刚性运动、目标自遮挡和目标之间互遮挡的处理等也为视频目标运动分析的研究带来了一定的挑战。视频运动目标分析在智能监控、基于内容的图像存储与检索、视频会议、医疗诊断及高级人机交互等方面具有广泛的应用前景和潜在的经济价值，比如智能监控系统的需求主要来自那些对安全要求敏感的场合，如银行、商店、停车场等。目前监控摄像机在商业应用中已经普遍存在，但并没有充分发挥其实时主动的监督作用，因为它们通常是将摄像机的输出结果记录下来，当异常情况( 如停车场中的车辆被盗) 发生后，保安人员才通过记录的结果观察发生的事实，但往往为时已晚。而现实中往往需要的监控系统应能够每天连续2 4 小时的实时监视，并自动分析摄像机捕捉的图像数据，当盗窃发生或发现到具有异常行为的可疑的人时，系统能向保卫人员准确及时地发出警报，从而避免犯罪的发生，同时也减少雇佣大批监视人员所需要的人力、物力和财力的投入；在访问控$ 1 j ( a c c e s sc o n t r 0 1 ) 场合，可以利用人脸或者步态的跟踪识别技术以便确定来人是否有进入该安全领域的权利；另外，视频运动目标分析在自动售货机、a t m机、交通管理、公共场所行人的拥挤状态分析及商店中消费者流量统计等监控方面也有着相应的应用。视频流中运动目标的检测与跟踪是视频运动目标分析研究中的关键技术，其作用就是检测出场景中的运动目标并对其进行跟踪，记录并描述场景中的运动信息，从而获得具有实用价值的监控信息和视频语义内容。运动目标检测是运动目标跟踪的前提和基础，目标检测的结果是将视频流分割成为运动对象和背景，在这个基础上，可以进行目标的识别、分类和行为分析等深层处理，使武汉理工大学硕士学位论文这些过程效率更高，因为只要考虑“运动的像剥。为了检测出视频中的运动目标，首先要建立视频的背景模型。其中背景的提取、更新，背景扰动、光线变化、阴影等带来的影响是必须要考虑的问题。本文采用基于统计方法的背景模型，能够实时地对背景模型更新，以适应光线变化和场景本身的变化，在经过阈值处理后，用形态学和连通域大小的方法对检测结果进行处理，消除噪声和背景扰动带来的影响并在h s v 空间下检测阴影，试验结果先是能够得到准确的运动目标，在获得运动目标检测结果之后，接下来就需要对运动目标进行跟踪并对跟踪结果加以描述了，视频运动目标跟踪算法就是本文所要研究的主要内容。运动目标跟踪简单讲就是记录目标在视频场景中运动轨迹的过程。轨迹是图像域中一系列运动区域位置的集合，这些运动区域由一些特征如形状、尺寸、位置、速度和轮廓等来描述。由于每一个运动目标区域都由一组唯一的特征向量来表示，通过对特征向量进行匹配，在满足一定阈值范围的条件下，选出最优的匹配区域来与前序帧中的运动区域相关联，这样就可以获得目标在场景中运动轨迹。随着计算机软件、硬件快速发展，利用计算机视频技术对监控系统中的视频信息进行分析、处理，使监控系统向智能化方向成为可能。基于数字图象的视觉监控系统越来越受到人们的关注，是近年来计算机视觉领域的前沿研究方向。视频处理系统如图1 - 1 所示，采用图像传感器对动态环境中的运动目标( 如行人、车辆等) 进行实时观测，通过检测、识别和跟踪图像序列中的运动目标，监视场景中目标的活动，理解和描述目标的各自行为和相互间行为，包括以下四个阶段问：( 1 ) 运动检测：从序列图像中将变化区域从背景图象中提取出来，运动区域的有效分割对于后续处理非常重要。( 2 ) 目标识别：从检测到的运动区域中对应于人的运动区域提取出来。例如交通道路上捕捉的序列图像中可能包含行人、车辆等运动物体，需要将运动目标分类并锁定人体跟踪。( 3 ) 目标跟踪：即在连续图像帧间匹配锁定目标，获得目标连续运动信息。( 4 ) 行为理解和描述：人的行为理解与描述是近年来广泛关注的研究热点，是指对人的运动模式进行分析和识别，一并用自然语言等加以描述。行为理解可以简单地被认为是时变数据的分类问题，即将测试序列与预先标定的代表典型武汉理工大学硕士学位论文行为的参考序列进行匹配。广1 广1 广1 广! ! ! ! 堕割运动检测 _ 一且标识别l 一目标跟踪l j 行为理解和描述i【一【一【一【一图1 - 1 运动目标检测与跟踪一般处理性框架随着多媒体技术的广泛应用，用d s p 芯片设计便携的多媒体设备一直是大家关注的方向。但传统的通用d s p 芯片，一方面需要用较复杂的外围电路构造视频的专用外围接口，增加了系统成本，另一方面缺乏针对图像的位和字节操作的专门指令，使高速的d s p 处理器在视频处理方面难有出色表现，因此，与专用芯片比较，在多媒体设备上，通用d s p 芯片一直处于劣势。但是，对可编程的媒体处理器灵活性的需求日渐突出，因为多媒体信号处理技术处于一个高速发展的阶段，各种国际标准共存，新标准不断出现，例如对于视频压缩编码，就有多种国际标准：h 2 6 1 、h 2 6 3 、h 2 6 4 、m p e g l 、m p e g 2 、m p e g 4 等。在一个网络上传输的可能存在多种不同标准的码流，而对于一个设备也不断要求其对视频编码技术进行更新。例如一个早期的视频会议设备采用h 2 6 1 编码视频，在h 2 6 3 出现后，更好的是改用h 2 6 3 标准，也许很快就会采用h 2 6 4 作为视频会议的编码标准。因此产生两个需求：一是设备的更新换代，二是多种标准的转换。对于用固定的专用芯片实现的设备，这两条都是难以达到的。但如果采用d s p 作为核心处理器，只需更新软件就可以达到第一个要求，增加部分功能软件，可以适度的支持第二个要求。正是考虑这些要素，一种新型的d s p 芯片一媒体处理器( m e d i ap r o c e s s o r ) 被设计，并很快得到业界的广泛关注。目前，已经推出了几种媒体处理器芯片，例如1 1 公司的t m s 3 2 0 d m 6 4 x 、p h i l i p s 的t r i m e d i a 、a d i 的b l a c k f m 和e q u a t o ( 赤道公司)的m a p c a ( m e d i aa c c e l e r a t e dp r o c e s s o rf o rc o n s u m e ra p p l i c a n c e s ) 都是性能很好的媒体处理器。目前1 1 公司的t m s 3 2 0 d m 6 4 x 系列在图像处理领域应用非常广泛。通用d s p 能够满足不断变革的编解码标准要求解决方案和运算密集等特点，且d s p 内核功耗低、成本低，因此d s p 成为多媒体编解码器的理想选择，但是大多数的通用d s p 芯片用于重复性较强的数据处理，其外设接口有限，而1 r i 公司的t m s 3 2 0 d m 6 4 2 的主频可以达到7 2 0 m h z ，再加上1 r i 公司的推广、完备的软硬件开发环境以及第三方合作伙伴的支持，使得t i 的多媒体处理器得到广泛的应用。武汉理工大学硕士学位论文1 2 国内外研究现状及难点1 2 1 国外研究现状视频监控技术在2 0 世纪6 0 年代出现，运动目标跟踪目前主要采用单摄像机监控场景，运动目标的检测、识别是研究重点，到目前，美国，欧洲和日本等发达国家已发展到自动监控技术，正迅速向全数字智能视觉监控技术发展。在美国、英国等国家已经开展了大量相关项目的研究。1 9 9 7 年美国国防高级研究项目署设立了以卡内基梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首、麻省理工学院( m a s s a c h u s e t t si n s t i t u t eo ft e c h n o l o g y ) 等高校参与的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要研究用于战场及普通民用场景进行监控的自动视频理解技术：系统利用三帧时域差分法实现运动目标的检测，采用自适应模板匹配的方法实现对运动目标的跟踪，使用颜色和形状进行目标的分类和识别。实时监控系统w 4 是一个融合形状分析和跟踪技术的视觉系统，通过黑白或红外摄像机小仅能够定位人和分割出人的身体部分，而且通过建立人体外形模型实现在有遮挡的户外环境中，对多个人体目标的跟踪。并可以检测人是否携带物体等简单行为。英国雷丁大学( u n i v e r s i t yo fr e a d i n g ) 开展了对车辆和行人的跟踪及其交互作用识别的相关研究。p f i n d e r 系统可恢复单个人体的3 d描述及在复杂场景中跟踪。类似的单人跟踪还有用于室内场景的1 1 系统。为了扩大监控范围，解决单摄像机监控中多运动目标在相互遮挡时难以得到准确的目标信息等问题，复杂背景中多运动目标跟踪系统开始采用多摄像机协同工作的方式。c m u 开发了适用于大范围场景的多摄像机监控系统，能在复杂场景中检测、跟踪人和车辆。d e t e c 系统将1 2 个摄像机连接于一个工作站，通过工作站管理图像数据，d e t e r 系统能实现对异常事件检测、估计和识别，从而实现主动监控。视觉监控技术在交通监视管理中也有重要的应用和发展，如美国的喷气动力实验室资助了五个关于大范围交通检测技术的研究项目：a u t o s c o p e ，c m s ，m o b i l i z e r , m a s t o rt r a f f i cv i s i o n ，a u t o c o l o r , r o a d w a t c h ，其中前三个项目成果已应用于实用的商业系统中。系统都是利用图像区域的象素强度或颜色的变化来实现目标检测，利用区域的块特征或颜色特征来实现目标的跟踪。美国的a r d a 机构在2 0 0 3 年开始主持一项高级研究计划v a c f ( v i d e oa n a l y s i sa n dc o n t e n te x t r a c t i o n ) ，旨在通过目标的检测、识别和跟踪以达到检测、识别和理解武汉理工大学硕士学位论文目标的行为。由欧洲f r a m e w o r kv 负责的一个视觉监控的核心项目a d v i s o r d e n g也是为了研究和开发类似的智能监控系统。1 2 2 国内研究现状我国对于视觉监控系统研究起步较晚，发展水平比较低，大多数系统采用的是模拟视频监控，缺乏用于实际监控场景、稳定可靠的智能跟踪系统。目前，国内的许多大学和研究机构已开展的相关研究有：北京航空航大大学机器人实验室开发的面向生物的微操作机器人的视觉系统；浙江大学人工智能研究所采用单目视觉对人体没有被遮挡部位的动作进行跟踪，但无法准确估计被遮挡部位的位置，手工干预较多；中科院计算机所的研究主要用于手语识别，被测人带有数据手套，是基于身体传感器的方法。中科院模式识别国家重点实验室的视觉监控研究组构建了一个交通场景监控的实验系统，利用车辆的三维线框模型、运动模型、地平而约束、弱透视模型、层次化的概念模型以及语法句法模型，实现车辆运动检测、姿态初始化、预测、优化等功能；从单目序列图象恢复人体的三维运动，及采用遗传算法跟踪、识别人体；建立基于主元分析的主动轮廓模型，采用c o n d e n s a t i o n 算法，进行手势跟踪并用于模拟鼠标。1 2 3 视频监控中的难点在智能化视频监控系统中的计算机视觉技术主要包括运动目标的检测、分类及跟踪，目标的运动分析和活动理解等。其中运动目标的检测、分类及跟踪属于低层次的视觉问题，目标分析、理解等属于高层次的视觉问题。计算机视觉技术在智能化视频监控系统中应用的主要难点包括：( 1 ) 视频监控系统的应用环境相当复杂，如大气、光照等随时间的变化不断发生改变，对监控环境的自适应建模分析是关键问题；( 2 ) 视频监控系统中的运动目标分类，即对主要运动目标一人和车辆的监控，特别是对于非刚性运动目标人的运动分析是计算机视觉中的一个难点；( 3 ) 对监控环境中的目标行为的分析，如何提取有用信息；( 4 ) 对于大范围的视频监控，需要大量的摄像机协同工作。如何在多个摄像机之间对运动目标进行连续一致的视觉分析；武汉理工大学硕士学位论文( 5 ) 视频监控系统中的数据流及视频流属于海量数据，如何对其有效的存贮、检索、查询，即建立有效的视频数据库尚处于研究阶段；( 6 ) 视频分析处理算法的有效性和实时性，特别是实时算法研究是难点；在这些技术难点中，对于运动目标的检测、跟踪是最基本和最关键的问题，是对目标进行行为分析和理解的基础1 3 j 。本论文主要针对实时监控视频中运动目标检测和跟踪方法进行研究，特别是如何充分利用 d s p 的高速数据处理能力发挥系统的主动监控能力，及时发现和预防危险，将人从繁重的监控工作中解放出来，实现智能跟踪运动物体。1 3 本文主要工作及文章结构本论文介绍了t m s 3 2 0 d m 6 4 2 的内核结构和外设功能，提出了实际可行的视频处理方案，详细描述了各个功能模块的设计过程并设计了实现电路。对基于d s p 嵌入式系统下的数字图像检测与跟踪算法进行了深入的探讨，实现了_种新的基于点扫描的四连通算法，该算法能够很好的适应d s p 系统的实时性要求，实时检测运动中的物体，提高了运动物体检测的精度。研究了动态物体跟踪算法，实现了基于灰度匹配的跟踪方法。另外讨论了d s p 与云台之间的通信问题。在算法的实现上，本文还研究了d s p 系统下的优化方法，从算法优化和存储器优化等方面对视频跟踪算法的优化方法进行了重点介绍和分析。本系统是一套基于d s p 的视频动态跟踪系统，视频动态跟踪的特点是要求有高速的处理速度和大量的运算操作，同时根据不同的工程需要又有不同的性能指标，下面是本系统的主要性能指标：( 1 )图像视频信号：彩色图像；( 2 )图像处理分辨率：7 2 0 x 5 7 6 ( 图像采样灰度为8 b i t ) ；( 3 )最大搜索跟踪波门：全屏幕( 7 2 0 x 5 7 6 ) ；( 4 )跟踪精度：小于2 0 0 个象素；( 5 )运动目标检测率：大于8 0 ，虚警概率：小于1 5 ；文章结构如下：第一章绪论主要介绍了本课题的研究背景，国内外研究现状及研究的点难点问题。第二章视频监控中的运动对象检测与跟踪技术介绍了常用的视频监控武汉理工大学硕士学位论文的运动对象的检测与跟踪方法。第三章t m s 3 2 0 d m 6 4 2 硬件系统设计介绍了系统的硬件构成，提出硬件设计方案。第四章t m s 3 2 0 d m 6 4 2 软件系统平台介绍了软件开发的平台及软件设计的方法。第五章t n i s 3 2 0 d m 6 4 2 软件系统设计介绍了基于点扫描的四连通实时运动物体检测与基于灰度匹配的跟踪算法，并讨论了各种优化策略。第六章总结与展望总结了系统设计方法，提出系统改进的思路。武汉理工大学硕士学位论文第2 章视频监控中的运动对象检测与跟踪技术2 1 视频监控及其运动对象特征运动目标检测与跟踪处于整个视觉监控系统的最底层，是各种后续高级处理如目标分类、行为理解等的基础。运动目标检测系指从视频流中实时提取目标，一般是确定目标所在区域和颜色特征等。目标检测的结果是一种“静态目标前景目标，由一些静态特征所描述。运动目标跟踪则指对目标进行连续的跟踪以确定其运动轨迹。受跟踪的目标是一种“动态目标运动目标，与前景目标相比，描述它的特征中多了动态特征( 如运动参数等) 。例如将每个运动目标用一个矩形框封闭起来，封闭框的质心被选择作为跟踪的特征；在跟踪过程中若两个目标出现相互遮挡时，只要质心的速度能被区分开来，跟踪仍能被成功地执行：该方法的优点是实现简单，并能利用目标运动来解决遮挡问题，但是它仅仅考虑了平移运动，如果结合纹理、彩色及形状等特征可能会进一步提高跟踪的鲁棒性。另外，还有使用运动轮廓的角点作为对应特征，这些特征点采用基于位置和点的曲率值的距离度量在连续帧间进行匹配。以卡尔曼滤波形式的点、线特征的跟踪技术在计算机视觉领域中已被很好地开发，如利用区域的形状、纹理、色彩和边缘特征信息建立了活动模板，结合卡尔曼滤波的预测方法，使特征匹配能量函数最小化来完成运动目标的跟踪过程，该活动模型对于非刚性物体的跟踪具有很好的自适应性。2 2 互相关方法在目标识别和跟踪中的应用2 2 1 互相关方法的基本原理互相关方法对结构化的目标具有较好的跟踪性能。这一方法的基本思路就是利用相似性，用已知模板在图像平面内进行匹配，找到相似度最大的区域。如图2 - 1 所示，假设模板t 是边长为m 的正方形，待搜索图s 是边长为n 的正方形，目标子图为s 硒，i ，j 为子图左上角点在s 图中的坐标。为了在s 内找到武汉理工大学硕士学位论文与t 相匹配的区域，需要比较t 和s i t i 的内容，即需要两者相似性的量度。我们用下面这两种最常用的方法来度量相似性。i武汉理工大学硕士学位论文2 2 2 特征点的选择在一帧图像中选择一组在运动中具有不变性质的结构特征点，与下一帧图像中的同类特征点作匹配，这种方法称为特征点匹配【6 】。这种方法可以大大减少数据处理量，而且精心选择的特征点使得在照度改变和目标发生几何变化时，对匹配精度的影响减小到最小。选择的特征点一般具有以下一些特征：( 1 ) 在不同时刻的图像帧中都位于物体图像的相同位置上；( 2 ) 应当是具有较大灰度变化的区域的中心；( 3 ) 以特征点位置为中心，所有方向的灰度方差都应当较大；下面介绍特征点选择的b a r n a r d 算法同，设相邻帧图像按下面这种方式表示：厂“，y j , t 0 ) ，厂“，y j , 岛) ，“，y j ，一。) f ，_ - 0 ，1 ，- i( 2 3 )式中自变量“，y f ) 是位置坐标：， ，y ，) 代表该位置象素的灰度值；气表示图像摄取的时刻( k _ o ，1 ，n - i ) 。在图像 厂“，y j , t 1 4 ) f ，j 一0 ，1 j v - 1 中，取互不重叠的处理窗口呢一，m ，n表示窗口的行和列包含的像素数。对每一个位于睨一中的像素厂“，) ，气以) ，取四个不同的方向：水平，垂直，左对角和右对角，求这个像素在每个方向上与相邻像素灰度值的平方差。水平方向灰度差的平方和为：瓯g ，j ) - 【厂“，y ，气一。) 一厂( 赡，y j - l , t k 一。) 】2 + 【，“，y j , t k 4 ) 一，“，y ，+ 。，气4 ) 】2( 2 - 4 )垂直方向灰度差的平方和为：瓯g ，j ) = 【厂“，y f ，f “) 一， 巾y ，气一。) 】2 + 【厂瓴，y ，气一。) 二，“小y j , t k 。) 】2 ，( 2 5 )左对角方向灰度差的平方和为：o ，j ) ，【厂“，y j , t k 4 ) 一，瓴巾y j - l , t k 一。) 】2 “，“，y i , t 。以) 一，“y m ，气4 ) 】2 ( 2 6 )右对角方向灰度差的平方和为：( f ，j ) 置【厂瓴，y ，气。) 一厂 ) ，4 ，气一。) 】2 “厂瓴，y ，气一。) 一厂“书y j + x , t 。一。) 】2 ( 2 7 )取算子o ( i ，| ) 一m i n s h o ，j ) ，s v g ，n 屯g ，j ) ，s , d ( f ，) )在瞩一内，求坐标a + ，厂) ，使得d ( f ，j ) 一；罂 o q ，j ) 在，。窗口内取得的位置 y ，。) ，具有这样的特点：以“。，y ，) 为中p ，与它的四个方向邻点象素的灰度的方差都很大。武汉理工大学硕士学位论文在睨一内的特征点位置 t y f 。) 取到以后，作如下抑制处理：在既一内，除了“y r ) 位置特征点取值为d ( f ， ) 外，其余位置均取“0 值。移动既，位置，作上述相同的处理，直至把图像全部覆盖处理完。假设共有p 行q 列个互不重叠的窗口取。，也即共可取到p q 个特征点，形成特征点图像。接着将所有的特征点按其值的大小，保留值较大的m 个特征点，在其他特征点位置置0 ，形成最终的特征点图像促仲。1 l ，y 五) ，e k - 1 ) 瓴：y j 2 ) ，磷棚秒彬) 在相邻两帧图像中分别求得含有m 个特征点的特征点图像 e l ( k 柚 l ，m 磴- 1 ) ：y j ：h 磷哪少彤) ) 钟“1 ，y j 。) ，磷 2 少。小，磷妇) )2 2 3 特征点匹配算法所谓特征点匹配，就是对正一，中的特征点与五中唯一对应的特征点相匹配，从而求得在特征点位置运动物体的偏移型剐。实际应用中，在全部特征点中只有部分特征点能得到正确的匹配，这里采用绝对差和最小的方法进行匹配。在自动跟踪状态下，以上一帧图像的最佳匹配点为中心选取g 。x g 。大小的搜索区，在该搜索区内选取当前帧图像的特征点作为候选的匹配点；每个候选匹配点围绕自身选取一个与模板同样尺寸的区域为候选区域：分别计算它们与模板的绝对差之和，具有最小的o ( i ，) 候选区域为最佳匹配区域。且该区域的中心点为该模板的最佳匹配点。2 3 实时相减运动目标检测识别方法将同一背景不同时刻两幅图像进行比较，可以反映出一个运动物体在此背景下运动的结果。比较的一种简单方法就是将两幅图像做“差分 或“相减运算，从相减后的图像中，很容易发现运动物体的信息。相减后的图像中灰度不发生变化的部分被减掉，这里包括大部分背景和- d , 部分目标。由于检出的部分可以大致确定运动目标在图像上的位置，使用相关法时就可以缩小搜索范围。若想从差分图像中抽出运动物体的轮廓，只要将差分图像中不为o 的部分，在序列图像中取逻辑和即可得到。因此利用相邻帧图像实时相减，提取运动物体的轮廓，可以把复杂背景下运动目标识别转化成较简单背景下运动目标识别问题【9 】。武汉理工大学硕士学位论文2 3 1 相邻帧图像相减的基本原理设输入图像序列为：f 一 o ，y ) ，z ，y e m ，刀一o ，1 2 ，。)式中，o ，) ，) 为二维视场( mx n ) 中的一点，无 ，y ) 为第n 帧图像中o ，y ) 点的灰度值，经相邻帧图像实时相减得到的差分图像序列g 定义为：g - g 。 ，y ) ，x e n ，y e m ，以1 0 , 1 , 2 ) 其中氍o ，y ) - i o ，y ) - 一。o ，y ) i在背景相对静止时，晶o ，y ) 基本反映的是运动物体的边缘与高梯度区域。选取适当的阈值z ，可以将差分图像序列转化成二值图像序列b ，即：曰一y ，, x e n , y e m 胪蝴讹小怯黜乏通过对图像6 o ，) ，) 中非零区域的处理，就可以提取出运动物体。对实际运动的图像，一般不使用简单相减方法，因为其抑制噪声能力差。若对一次差分图像，再求二次差分，则更能有效检出运动物体。差分方法计算简单，效果很好，但他要求背景绝对静止或基本无变化( 噪声很小) ，因而适用场合有限。2 3 2 运动背景补偿的基本原理当摄像机自身移动时，就很难直接从差分图像中分割出运动物体了。对此必须消除背景相对运动造成的影响。我们可以用帧间图像配准的方法来实现运动补偿。这一方法就是要求在前一帧图像的背景区域中选取结构特征比较丰富的图像块，在当前帧图像中进行模板匹配，求得的配准位置的偏移量即为背景的运动偏移量，利用这一偏移量使背景对准的相邻图像帧进行相减，即可把背景去掉，只留下运动物体的边缘和高梯度n t l o l 。2 3 3 运动目标识别算法在图像识别和跟踪系统中，采用行行处理的方法对整个图像中运动物体的边缘进行分析，确定运动物体的边缘，从而进行识别。行行处理的方法就是利用上一行的目标信息和本行的目标信息，确定目标的生长，分裂和结束等，从武汉理工大学硕士学位论文而确定目标的个数，长度，面积等，再根据上一帧目标的特征和本场计算出的特征，来确定本场目标的位置和其他特征【1 1 】。采用行行处理的算法可以实时地对运动目标进行检测识别，具体的实现步骤如下：( 1 ) 初始化处理域和各参数；( 2 ) 对当前行进行扫描，定位非零点和非零线段；( 3 ) 与上行非零点和非零线段进行连通性分析，决定目标的生长、分裂、合并和结束；( 4 ) 保留生长、分裂、合并的目标，对结束的目标进行参数计算，决定是存储还是删除；( 5 ) 重复步骤( 2 ) ，( 3 ) ，( 4 ) ，直至全帧处理完毕；( 6 ) 对存储下来的各个目标进行特征计算，与已知目标的标准特征序列进行配准，从而识别出目标，并给出目标的质心或形心坐标。这种方法在行行扫描过程中，通过对目标参数的计算，可以有效的去除经预处理后图像的残存噪声和待识别目标差异较大的运动物体，完成目标的粗筛，节约存储空间，仅对留下的较少的目标进行特征计算、配准、提高了处理速度。2 4 自适应运动检测方法自适应对消的方法可以有效的去除两帧图像中相关的背景，保留灰度发生变化的部分，利用这种方法对低信杂比运动目标的检测是很有效的。但是有一个前提条件! 当前图像与参考图像的杂波背景必须空间相关。图2 2 给出了自适应滤波器的框图，滤波器参考输入可表示为杂波+ 噪声：x 0 ) 。s b o ) + 屹o )( 2 8 )z ( n ) 一s b ( 厅) + h ( 厅)( 2 9 )武汉理工大学硕士学位论文参杂波+ 噪声图2 2 自适应算法示意图这里的噪声是有色噪声吩0 ) 一q o 一1 ) + ，o ) f 一1 , 2( 2 1 0 )式中，1 1 ；v o ) 方差为口2 的零均值高斯噪声。背景是相关噪声 ) - 口o 一1 ) + s o )( 2 - 1 1 )式中，口为参数，1 a 1 变化部分或运动目标由c h 伽) 表示。滤波器的当前输入表示为：d ( n ) 一c h ( 疗) + z ( 玎)( 2 1 2 )将参考输入写成矢量形式：z ( n ) - s ( n ) + u o )( 2 1 3 )l 阶滤波器加权系数为：谛一【，q ，4 1 r。则输出为y 小) - d ( n ) 一2 0 ) 一d o ) 一矿工0 ) ，最优w i e n e r 解为- m ：v 矗，式中垂。是参考输入的自相关矩阵垂。- 研x o 冷0 ) r 】，v 出是输入矢ix ( n ) 与所期望的信号d ( n ) 的互相关矩阵1 l ，矗- e o ) z o ) 】，自适应滤波器的最优解具有最小能量的输出：y 曲o ) 。d o ) 一吒x o )( 2 1 4 )于是得到：) ，曲0 ) = d o ) 一( m 。- 1 1 l ，出) 2 x ( n )( 2 1 5 )这里用到了c h ( n ) 与x ( n ) 不相关的假设。上式中右边第一项就是滤波器输入中的灰度变化信号，第二项表示残留估计误差。下面来考察一下这个滤波器对杂波抑制后的信杂比的改善情况。首先定义信杂比( s c n r ) 为处理窗e l 内的灰度变化能量与整个图像( 杂波、传感器噪声、量化噪声) 的能量之比。将式y ( n ) = d 0 ) 一2 ( n ) 一a ( n ) 一w r x ( n ) 两边取平方后再求它武汉理工大学硕士学位论文们的期望得到输出功率为弓。耳y 三i n0 ) 卜= 研y 血no ) 0 ) 一嵋工o ) 】( 2 - 1 6 )- 研y 曲o 矽0 ) 】= e 【p o ) 一啄x o ) 矽o ) 】上式是参考输a x ( n ) 与最优化输出y 耐。o ) 正交的结果。利用式( 2 1 2 ) 并考虑到c h ( n ) 与z ( n ) 不相关，得到弓。e 【d 2 0 ) 】一屹e p 0 矽o ) 】i 研曲2 0 ) + z 2 0 ) 】一w r p , e x ( n ) d ( n ) l ( 2 - 1 7 )一毛+ 化一己) 式中，己一1 王，。t 掣。- 1 l l ，。是估计出的杂波加噪声的功率；己是灰度变化部分的信号功率；一e z 2 0 ) 】是当前输入图像的杂波加噪声功率；( 一己) 则是杂波加噪声的残留误差。由此可以得到输出信号得信杂l 匕s c n r o ，捌民- 己化一己)信杂比的改善因子毛隅由下式给出，虻：腿一s 觚s 帆一8 ( 8 一己)( 2 一1 8 )由以上分析可以看出，l c 脓总是大于1 的。同时我们也看到，w i e n e r 解需要有关杂波和噪声协方差矩阵的先验信息，这在实际应用中是很少能得到的。在这样的情况下，检测运动的最有效方法是采用自适应滤波器。在实际计算中，可以将图像矩阵化为一维矢量后采用递归的最小方格形算法来处理，下面介绍直接利用二维矩阵的算法【1 2 1 。设滤波器的计算是在像素x ( m ，n ) 的邻域内进行的，滤波器的输出为，zjz , n ) 。乏荟叶 ，7 沁 - k , n - i ) ( 2 - 1 9 )式中，j 表示迭代次数。第j 次迭代后的余差信号为y j 沏，行) = d ( m , n ) 一乃伽，甩) - d 仰，刀) 一荟乏 ，7 弦伽- k , n - i ) ( 2 - 2 0 )在以上两式中，m 从0 到m 一1 ，n 从0 到n 一1 ，k 和l