（信号与信息处理专业论文）运动目标检测与跟踪算法的研究以及在dm642平台上的实现.pdf

摘要 摘要 城市交通智能化是未来城市交通发展的必然趋势，因此其关键技术的研究具有重要的意 义。运动目标检测与跟踪系统是城市智能交通系统的核心子系统之一。它实现对城市交通中 运动车辆的检测与跟踪，从而获得车辆行驶速度、是否违章、车流量和道路拥塞程度等重要 的交通信息。这些信息不仅可以帮助交通管理部门缓解交通阻塞、减少交通事故的发生，而 且可以帮助城市居民合理安排出行路线，从而提高出行效率，方便人民生活。 德州仪器( 1 e x a si i l s 仃u m 锄t s 。t i ) 的c 6 0 0 0 系列数字信号处理芯片具有高主频、多流水 线、高并行度以及具有专门的视频图像信号处理指令等优点，十分适合于图像处理系统的应 用。本文所述的运动目标实时检测与跟踪系统就是在以t i 公司的c 6 0 0 0 系列芯片作为核心 芯片的d m 6 4 2 开发平台上实现的。该系统结合了计算机视觉技术、图像处理、模式识别和 交通控制等领域的知识，对城市交通中的运动车辆实现准确、实时的检测与跟踪。 本文的主要工作是算法研究和工程实现。首先在研究了运动目标检测理论的基础上提出 了两种算法。一是背景重构与更新算法，另一个是感兴趣区域( r e 西o no f i i l t e r e s t ，r o i ) 矩形 扩张标记算法。接着具体介绍了基于“归一化互相关系数”准则的匹配跟踪算法，并根据“靠 近原则”建立“可疑”的r o i 区域集合来缩小搜索区域，从而提高搜索效率。最后结合前 面提出的算法和d m 6 4 2 软硬件环境，详细介绍算法级别优化处理和代码级别优化处理以实 现在d m 6 4 2 开发平台的实时运行，其中代码级别优化包括c 语言优化和线性汇编代码重写 优化。测试结果表明，系统运行稳定，检测与跟踪实时准确，满足实际运用的要求。 关键字：智能交通监控系统；检测；跟踪；d m 6 4 2 ；感兴趣区域；优化 a b s t r a c t t h ei n t e u i 2 ，o n t 仃a n s p o r t a t i o ni st h ei n 耐t a b l e 呦do ft h cl l | 由姐心加s i 0 r t a 矗o nd e 、他l o p m t c o n s e q u e n t l mm e 麟e 跚出o ft h ek e yt e c h n i q u c o n c 饥仃a t e s i ti so f 伊e a ts i 弘i f i c 孤c e m o v i n go 巧e c td e t c c t i o n 缸i d 把a c k i n gs y s t e mi s o n eo ft h ec o s u b s y s t 鼬so fr r s ( i n t e l l i g e n t t a n s p o r t a t i o ns y s t 锄s ) s o m ei m p ) n a n t 缸a f n cm f o m a t i o nc o u l db eg o te 嬲i l yb yd e t e c t i i l g 孤d 位a c k i i l go fm em o v m gv c h i c l 懿，跚c h 勰v i e l l i c l es p e e d ，仃a m c 、，i o l a t i o n ，仃a 伍cn o wa n d 也ee x t t o fr o a dc o n g 骼t i o n ，e t c i th 舔a ni 加p o r t a n tg u i d i i l ga i dn o to i l l yf o r 怕伍cm 弛a g e m e n tt 0 a l l e v i a t em e 仃a 伍cb u r d e na n d 心d u c c 吐l e 仃a 伍ca c c i d e n tb u ta l s of o rm ec i t i z e n st 0 孤捌l g em e i r 拓a 珩cr o u t 伪s o 猫t 0i m p r o v et l l em w e le 伍c i e n c ya n df a c i l i t a t et h ed a i l yl i v ef o rc i t i z e i l s t l l ec 6 0 0 0s 舐e so fd s p sc h i p sp r o d u c e db yt e x 觞i i l s t n 肌e i l t s ( t i ) h a v eg r e a ta d v a i l t a g 鹤f o r i m a g ep r o c e s s i n gf o ri t sf e a t u r e so 仆i g l l 一丘i e q u e i l c y ，m u l t i - p i p e l i n e ，h i 9 1 ld e g r e eo fp 锄l l e l i s m 勰 w e l l 鹪t i l es p e c i a l i z e di n s 廿u c t i o n sf o rv i d e 0a i l di m a g es i g n a lp r o c e s s i n g t h es y s t 锄d e s c r i b e di l l t l l i 8t h 骼i sw h i c hr e a l i z e dr e a l - t i m em o 、，i n go b j e c td e t e c t i o n 锄d 协k i n gw 勰a l s ob a s e do nt l l e d m 6 4 2p l a t 妇mw h i c hh 勰c 6 0 0 0c h i p 鹤i t sc o 托t h es y s t e ma c h i e v 铭m ea c c i l r a t e 姐d r e a l - t i m ed e t e c t i o na i l d 妇c l 【i n go fm o v i i l gv t 出i c l 铭i nu i b a nm m s p o r t a t i o nb yu t i l i z i i l gm e c o m b i i l e dk n o w l e d g eo fc o m p u t 既v i s i t e c l l i l o l o 踽i l i l a g ep r o c 铭s i n g ，p a t t 锄r e c o 印i t i o n 孤d t r a 伍cc o n 缸。0 1 e t c t h i st h e s i sm a i n l yc o n c e i l t m t e so nt i l ea l g o r i m mr e s e a r c h 锄de i l 百n 血gi l i l p l e m e i l t a t i o n 0 l i ln l e b a s i so fn l er e s e a “i ho nm e o r yo fm o 讪go 巧e c td e t e c t i o n ，t 、oa l g o r i t l l l n sw e r ep r o p o s e df 豳t l y w h i c h 、e r e c o n s t r i l c t i o na n du p d a t eo fb a c k 目o u n da l l dr e c t a n g u l 盯【p a i l s i o nt a go f ( r e g i o no f i l l t e r e s t ，r o d 聆s p e c t i v e l ya f t e r a r d s ，圮d e t a i l so fm a t c h 缸- a c k i n ga l g 耐吐皿b 船e do nm e n o m a l i z e dc r o s s c o r r e l a t i o nc o e 施c i 吼t n l l ew 船s t i l d i e da i l dt h e n e 锄e s sp 血c i p l e w 鹪 u s e dt oe s t a b l i s h l e ”s u s p i c i o u s ”r o ir e g i o nt o g e t h e rt 0n 姗wn l es e 黜h i i l ga r e a f i n a l l y ，o nm e b 舔eo fm ep r o p o s e da l g o r i n l 】 n 锄dt l l eh 钺1 w a r e 锄ds o 脚a r e 锄啊r o 啪饥to fd m 6 4 2 ，d e t a i l so f o p t i m i z a t i o nw e r ci i l 仃0 d u c e di no r d e rt o a c h i e 、，ei nr e a l i t i m ep r o c 懿s i l l ge f f e c t ，i i l c l u d i n g a l g o r i m m - l e v c la n dc o d e - l e v e l 。f 0 r 也ec o d e - l e 、同o l 垴m z a t i o n ，t l l e 他w e 他铆op a n sc o n s i s 泓b y cl a n g u a g eo p t i l n i z a t i o n 粕dr e 、砸血gl i i l e 盯勰s e m b l y t h et 豁tr 豁u l t sd e m o 璐t r a t et h a tt h e s ) r s t 锄o p e m t e ss t e a d i l y 锄dt l l er e a l - t i m ed e t e c t i o na 1 1 dn a c k i i l gi sa c c u r a t ew h i c hm t st l l e 托l q u i m n e l l t so f p f a c t i c a la p p l i c a t i o n k e y w o r d s ：h l t e l l i g e i l tt r a i l s p o r t a t i o nm o n i t o 血gs y s t 锄；d c t e c t i o n ；虹- a c k i n g ；d m 6 4 2 ；r o i ； o p t i m i z a t i o n i i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 研究生签名：左苎幸日期：垦珥：兰：! 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：绰导师 期： 第一章绪论 第一章绪论 1 1 检测与跟踪理论的研究背景 随着世界人口的增长和上业化进程的加快，各国现有的城市交通系统渐渐不能满足市民 日益增长的出行需求。为了缓解拥挤的交通状况、减少频发的交通事故，各国政府都加大了 对交通的财政投入，例如：拓宽路面、修建地铁和架设高架桥等等。近年来，车载j “播系统 在缓解交通压力方面发挥了一定的作用，如近几年开通的像江苏交通广播网这样的电台就是 利用车载广播系统实时播报城市各个主要的路段、隧道、桥梁的路况信息，让司机及时避开 拥塞或发生交通事故的路段，此举对交通管理部门疏导交通有一定的帮助。但是交通广播电 台获取路况信息的方式还是停留在路况记者人t 报警的状态，即路况记者获取路况信息，控 制中心汇总后利用广播网反馈给司机和市民。它存在一些缺点，主要有： 首先，浪费人力。因为通过路况记者的人t 报警需要大量人员的参与。 其次，实时性差。冈为每耽误一分钟就会加剧堵塞的程度进而影响剑市民的出行效率。 更重要的是交通事故发生后，信息的获取速度对伤者的及时救治是至关重要的。 第三，准确性差。人工汇报存在无法准确评估拥塞程度，因为路况记者只能在地面上感 觉到堵车情况的发生，并不能准确评估拥塞车辆的队列长度及拥塞混乱程度，从而无法提供 必要的信息来指导交警部门疏导交通。 智能交通系统( h l t e l l i g e l l tt r a i l s p o n a t i o ns ) ，s t 锄，1 1 r s ) 正是在这样的背景下提出的，交通 智能化是现代交通发展的必然趋势。i t s 的理论和应用研究很早就在各国掀起了热潮，早在 上世纪9 0 年代日本、美国以及西欧等发达国家已展开了道路功能和车辆智能化的实验探索 儿“。而我国在制定科技发展“九五”计划和2 0 l o 年长期规划时，就将发展i t s 列入计划并开展 了i t s 发展战略研究。由全国i t s 协调小组完成了“中国智能交通系统体系框架”、“中国i t s 标准体系框架研究”、“智能运输系统发展战略研究”等一批重点项目p 。i t s 代表着未来城 市智能交通的发展方向，是计算机理论、模式识别和交通运输理论等多学科融合的集中体现， 必然对地面交通运输管理系统产生深远影响。 运动目标检测与跟踪理论是i t s 的核心子系统之一，对其的研究目前也是各国学者的热 点。因为交通系统中车辆运动的速度、车流量、车辆违章行驶检测以及车辆类型识别等一系 列交通参数都是建立在对运动车辆的检测与跟踪系统的基础之上。例如：kwd i c k i n s o n 和l w 抽p 1 在他们的论文中应片j 图像帧间差分技术在舣向高速公路上对运动车辆进行车辆计数 和速度检测的研究，其中帧间差分技术正是运动目标检测的重要方法之一。p 锄o sg m i c h a l o p o u l o p 和b r i 锄c a r l s o n 一1 在他们各自的论文中也提出了实时检测交通流参数的方法。 所有这些交通参数的检测获取都是基于运动车辆的检测与跟踪系统。本文所研究的系统也是 针对城市交通环境下的运动车辆的检测与跟踪系统，并在d m 6 4 2 开发平台上开发实现系统 的实时运行。所以本文的研究具有很好的实践意义。 东南大学硕十学位论文 1 2 检测与跟踪理论的研究现状 基于序列图像的运动目标检测与跟踪系统的处理流程通常分为图像序列预处理、运动目 标检测、运动目标识别与跟踪和目标行为理解与描述这几个步骤。通过对计算机视觉理论的 研究，我们可以大致将其划分为如下三类：序列图像预处理、运动目标检测属于计算机视觉 中的低层视觉( k l w 1 e v c l s i o n ) ，而运动目标识别与跟踪则属于中层视觉( m 锄m e d i a t c 1 e v e l s i o n ) ，行为理解和描述则属于高级视觉( h i g l l - l e v e l s i o n ) 1 。本文主要研究的是低层视觉 和中层视觉，而对于高层视觉的研究本文只是给予一定的探讨。所以下面将主要从运动目标 检测和运动目标识别与跟踪这两个方面介绍目前国内外的研究现状。 1 2 1 运动目标检测 基于单目视觉的运动目标检测算法主要有三种常用方法：帧间差分法、背景差分法和光 流法。 帧问差分法是将序列图像中的连续两帧图像相减来得剑一帧差分图像，再将差分图像中 的每一像素的灰度值与阂值进行比较最终确定运动目标区域。帧间差分法能够较好的检测出 运动区域，且对于动态环境有很好的适应性，但是在检测的过程中同时也会检测剑运动遗留 下的痕迹，需经过进一步的处理来消除痕迹。此外，帧问筹分法还有一个缺点就是当一帧图 像中运动的物体突然静止不动时就会导致目标检测失败，或者运动目标速度太慢时检测区域 就会连成一片，从而降低检测的准确度。 背景差分算法是在摄像机静止的条件下，将当前帧图像与背景帧图像相减来检测运动目 标。背景差分算法能够比较完整的提取出运动目标的轮廓，但是却对光照变化和噪声比较敏 感，因此在建立起背景图像后，需要进行实时的背景更新。背景的重构与更新也有很多种算 法，例如：基于高斯模型的背景重构与更新模型州、基于k a l l i l a n 滤波理论的背景重构与更新 模跫p 1 、基丁帧间差的分块分级算法u 们，等等。背景重构与更新算法的好坏直接影响到背景 差分后差分图像中运动区域的检测效果，所以背景重构与更新一直以来都是各国学者研究的 热点问题之一。 光流法是运动目标检测的重要方法之一。光流表达了图像的变化，由于它包含了图 像的运动信息，因此可以被观察者用来确定目标的运动状况。光流法有三大要素：一是运动 ( 速度) 场，这是光流形成的条件；二是带光学特性的部位( 例如有灰度的像素点) ，它是能够 携带信息的；三是成像投影( 从场景到图像平面) 。光流法在计算机视觉的研究中有着重要的 作用，其主要优点就是能够检测出独立运动的目标，不需要预先知道场景的任何信息，并且 可用于摄像机与背景存在相对运动的情况。但是光流法算法复杂度高，实现困难，这是光流 法最大的缺点。所以光流法对于在实时性要求较高的场合是不能满足要求的。 2 第一章绪论 1 2 2 运动目标跟踪 基于序列图像的运动目标识别与跟踪一直以来是计算机视觉、数字图像处理和模式识别 等领域研究比较活跃的课题。运动目标的识别与跟踪是建立在运动检测基础之上，是运动检 测和运动行为理解与描述的过渡。跟踪结果的好坏直接影响到后续行为理解的准确性。在国 外，目标识别与跟踪很早就有学者研究，大体可以分为以下三个阶段： 第一阶段：起始阶段，代表性的学者为r o b e r t s 、h u f f m a n 和c l o w e s 、w a l t z 等对目标识 别跟踪进行了开拓性工作1 。r o b e r t s 开创了积木世界目标识别的新时代，并完成了有限目 标的识别和定位。h u f f m a n 和c l o w e s 把图像中的节点标示为相应的特定模型的顶点来进行目 标识别。w a l t z 在h u f f m a n 和c l o w e s 的基础上进行了扩展，提出了w a l t z 滤波方法，并应用松 驰技术提高搜索效率来提高目标识别的速度。 第二阶段：发展阶段，g o a dc 纠等对目标识别跟踪进行了更深入的研究。g o a dc 对人 的视觉系统进行了深入的研究，首次从信息处理的角度并综合了图像处理、心理物理学、神 经生理学等的研究成果，提出了第一个较为完善的视觉系统框架。g o a dc 认为视觉系统研 究应分为三个层次，即计算机理论层、表达与算法层、实现层。同时视觉系统分为白下而上 的三个阶段。 第三阶段：九十年代以后至今，以l o w ed g 刘为代表的研究人员在计算机视觉方面取得 了较大的进展，提出了基于知觉分组( p e r c e p t u a lg r o u p i n g ) 的计算机视觉方法。这些方法 大人减小了以往识别时提取深度信息的计算负担，由此目标跟踪系统逐步由实验室研究阶段 转向商业应用阶段。 1 3d s p 的发展现状及应用 1 3 1d s p 的发展现状 自从2 0 世纪7 0 年代末第一片数字信号处理器芯片( d i g i t a ls i 弘a 1p r o c e s s o r s ，d s p s ) 问世 以来，d s p s 就以数字器件特有的稳定、可重复、可大规模集成，特别是可编程性高和易于 实现自适应处理等特点，给数字信号处理( d 硒t a ls i 笋a lp r o c e s s i n g ，d s p ) 的发展带来了巨大 的机遇，并使信号处理手段更灵活，功能更复杂，其应用领域也拓展到国民经济生活的各个 方面。近年来，随着半导体制造工艺的发展和计算机体系结构等方面的改进，d s p s 芯片的 功能越来越强大，处理速度越来越快，能够实时处理的信号带宽也大大加大，同时具有很高 的可靠性且造价低廉，为实时便携式系统的实现奠定了基础。 d s p s 发展大致分为三个阶段：从7 0 年代理论先行到8 0 年代产品普及和9 0 年代突飞猛 进。在d s p s 出现之前数字信号处理只能依靠微处理器( m i c r op r o c 懿s o ru n i t ，m p u ) 来完成。 但m p u 较低的处理速度无法满足高速实时处理的要求。冈此，直到上世纪7 0 年代，才有 人提出了d s p s 的理论和算法基础。 随着大规模集成电路技术的发展，1 9 8 2 年世界上诞生了首枚d s p s 芯片。这种d s p s 器 3 东南人学硕十学位论文 件采用微米工艺n m o s 技术制作，虽然功耗和尺寸稍大，但运算速度却比m p u 快了几十 倍，尤其在语音合成和编解码器中得到了广泛应用。d s p s 芯片的问世是个里程碑，它标志 着d s p s 应用系统由大型系统向小型化迈进了一大步。至8 0 年代中期，随着c m o s 工艺技 术的进步与发展，第二代基于c m o s 工艺的d s p s 芯片应运而生，其存储容量和运算速度 都得到成倍的提高，成为语音处理、图像硬件处理技术的基础。上世纪8 0 年代后期，第三 代d s p s 芯片问世，运算速度得到进一步的提高，使其应用范围逐步扩大到通信、计算机等 领域。 上世纪9 0 年代d s p s 发展最快，相继出现了第四代和第五代d s p s 器件。现在的d s p s 属于第五代产品，它与第四代相比，系统集成度更高，将d s p s 芯片核及外闱元件综合集成 在单一芯片上。这种集成度极高的d s p s 芯片不仅在通信、计算机等领域大显身手，而且逐 渐渗透到人们日常的电子消费领域。 现在各人厂商都已经推出了自己的针对视频应用的d s p s 芯片，包括t i 公司的d m 6 4 x 系列、a d i 公司的a d s p - b f 5 3 l 5 3 2 5 3 3 系列以及p h i “p s 公司的p n x l 3 0 0 和p n x l 5 0 0 系列。 这些芯片的处理能力和功耗都达到了一个很高的指标，虽然主频不及通用c p u ，但是由丁 d s p s 芯片采用多总线多功能单元结构，往往每个周期可同时执行多条指令，再加上带有很 强针对性的指令集设计，实际的处理能力是非常高的，同时d s p s 芯片体积更小，功耗更低， 应用也是越来越广泛。 1 3 2d s p 的应用 随着数字化进程的加速，更多的数字消费类产品中都采用了d s p s 。基于d s p s 的数码 相机开始由高端下移，m p e g _ 4 类数字播放器新产品也已大量出现在市场中，这势必将掀起 新的消费高潮。即便是在传统家电中，d s p s 的应用也在深入，如数字变频应用已由空调延 伸到冰箱和洗衣机。基于数字图像处理的监控系统在中国仍是一个的市场热点，其中1 i 的d m 6 4 2 通用媒体处理器，不仅在数字监控市场应用中独领风骚，而且也将建立起其流媒 体核心平台的市场地位，其应用将涵盖会议电视、视频电话、家庭媒体网关、数字电视机顶 盒等新产品。 1 4 论文的主要内容与组织结构 本文是对基于序列图像的运动目标检测与跟踪算法的研究以及在d m 6 4 2 开发平台上开 发实现的综合阐述，该系统可以分为两大块：其一是运动目标检测，另外一个是多目标识别 与跟踪。前者是基于图像像素级别的处理，后者是对运动目标的认知与处理，是建立在前者 的基础之上，需要在前者标记的感兴趣区域限e 西o fi n 渤翳t ，r o d 里搜索匹配并达到最 终的认知处理。所以说前者的运动检测准确与否将直接影响到后者搜索跟踪处理的效率和精 确度。最后整个系统在识别与跟踪的基础上，对车辆行驶的速度、车流量、车辆型号以及车 辆违章情况等一系列交通参数给予简单测定所以本文研究的重点在于检测、跟踪和基于 d m 6 4 2 开发平台的实时优化实现。系统整体流程图如下图卜l 所示： 4 第一章绪论 图1 1 运动目标检测与跟踪流程图 本文的论述结构也是按照图1 1 的系统流程图展开的，并以先介绍运动目标检测与跟踪 算法的理论研究成果，然后介绍基于d m 6 4 2 开发平台的优化实现。系统的阐述了整个项目 的开发过程，具体各章节内容安排如下： 第一章主要介绍了运动目标的检测与跟踪理论的研究背景以及国内外近些年来研究发 展的现状，同时简要介绍了d m 6 4 2 开发平台的背景及应用，最后对论文的内容与结构做简 要的介绍。 第二章详细讨论了基丁背景差分模型的运动目标检测算法以及r o i 区域标定问题。首先 介绍整个检测模块的流程和常用算法的原理及优缺点，最后给出结合d m 6 4 2 开发平台特点 的创新算法原理。 第三章研究了基于单目视觉的识别与跟踪算法。在r o i 区域标记算法的基础上运用“靠 近原则”的方法再次缩小跟踪算法的搜索范围，提高搜索效率。在确定搜索范罔后利用“归 一化的互相关系数”的匹配准则实现多运动目标的匹配跟踪。 第四章介绍了在d m 6 4 2 开发平台上的实现过程，简要介绍了d m 6 4 2 开发平台的硬件结 构和软件开发环境，重点介绍了开发过程中实现实时运行所做的算法级别优化和代码级别优 化处理问题。简要阐述了数据打包、循环展开、代码的线性汇编重写等优化技术。 第五章在前面几章的基础上，总结了项目研究过程中所做的工作和对下一步工作的期 望。同时对本文所做的工作给予了客观的评价，并指出研究过程中存在不足和尚待进一步加 强研究论证并需要解决的问题。最后对运动目标检测与跟踪系统和i t s 系统的发展前景做出 展望。 5 东南大学硕十学位论文 1 5 论文研究基本方法及创新 本论文主要是利用图像处理、模式识别以及交通理论等相关领域的知识，在借鉴和使用 国内外同行的研究成果的同时，结合本文研究的城市交通场景下运动车辆检测与跟踪的实际 情况和d m 6 4 2 的处理器内核的结构特点，进行算法级别优化和代码级别优化，使整个系统 最终能够在d m 6 4 2 开发平台上实现实时运行。具体创新点和工作如下： 首先，在背景重构和更新的算法研究中，根据d m 6 4 2 处理器内核结构特点，提出了基 于帧间差分的选择统计背景重构与更新模型，该模型相比于高斯背景重构模型在算法复杂度 上相差不大，但是在d m 6 4 2 开发平台上我们可以运用数据打包等优化策略来提高背景重构 的速度，同时在背景更新上利用队列数据结构的先进先出特点，使得每次更新只需做连续两 帧图像的差分即可完成背景的更新。经测试，该算法完全达到实时系统的要求。 第二，在对二值图像中的r o i 区域标定的过程中提出了一种矩形扩张算法，该算法的思 想来源丁对主动轮廓( a c t i v ec o n t o u r ) 实验结果的感性认识。矩形扩张算法中的矩形扩张过程 与主动轮廓的扩张过程类似，只是二者作用的对象不一样，对结果精度的要求也有一定的差 别，可以说矩形扩张算法是主动轮廓算法的一种简化。基于矩形扩张算法寻找i 的l 区域的算 法效率高，对一帧图片只需扫描一遍即可全部标定r o i 区域，相比降维法和聚类分析算法来 说不但效率人人提高，标记的精度也得到很大的提高。这就为后续运动目标识别与跟踪的搜 索确定了搜索范围，进而提高了整个系统跟踪的效率。 第三，在运动目标匹配跟踪的过程中，利用l 的i 区域的标记信息，提出了一种以“靠近 原则”为准则的算法来确定“可疑”l 的i 区域集合，以此来进一步减小搜索匹配的范围，提 高系统的运行效率。并在前人工作的基础上对“归一化的互相关系数”匹配算法加以改进， 使之能够在多目标跟踪领域也可以实现快速稳定的识别与跟踪。 最后，在d m 6 4 2 开发板上的实现阶段，充分考虑c 6 0 0 0 系列处理器内核结构特点，在上 述算法优化的基础之上再进行代码级别优化，主要包括数据打包、循环展开、线性汇编代码 重写等一系列优化技术，最终实现系统的实时运行。 6 第二章运动目标榆测与l 的i 标记 2 1 引言 第二章运动目标的检测与r 0i 标记 运动目标的检测与l 的i 区域标记是基于图像像素级别的处理的，属于计算机低层视觉 内容。它是整个跟踪监控系统的开始，也是运动目标检测跟踪系统的核心之一，其检测结果 的好坏直接影响剑后续目标识别与跟踪模块的精度和效率。从国内外各种期刊的论文发表的 数量上来看，运动目标检测一直以来是各国学者研究的热点之一。本章将主要介绍目前比较 常见的算法原理，并在此基础之上提山针对基于d m 6 4 2 开发平台的优化创新算法。本章结 构大体是按照运动目标检测的顺序来展开，具体检测与r o i 区域标识的流程图如下图2 1 所示： 1 n 帧 视频输入序列 图2 1 运动目标检测与r o i 区域标识流程框图 首先是背景重构与更新，在简要讨论了目前常见的运动目标检测算法和几种背景重构与 更新算法的基础上提出了基于帧间差分的选择统计背景重构与更新模型，该算法模型针对 d m 6 4 2 处理器的内核结构特点而提出，算法复杂度低且执行效率高。其次是引入图像压缩 领域的i t o i 区域的概念，提出了r o i 区域的矩形扩张标记算法，该算法建立在对二值图像 的数学形态学滤波基础之上，算法简单、高效，满足实时系统的要求。最后结合d m 6 4 2 开 发平台上的实验图像序列说明在实验过程中所遇到的问题并加以总结。 2 2 运动目标的检测 运动目标检测的目的是把运动目标与相对静止的背景目标分离开来，通常我们称运动目 7 东南人学硕上学位论文 标为前景，静止的不动的目标为背景。运动目标检测与r o i 区域标记是目标跟踪的预处理， 通过运动检测去除静止不动的背景，分离出运动的前景，使得运动目标跟踪时的搜索区域仅 仅局限于运动的前景区域，从而减少不动的背景对前景目标造成的干扰，提高目标跟踪的搜 索效率。 对于c c d 摄像机静止的单目视觉检测系统来说，由于摄像机静i ：这一前提条件，可以 忽略摄相机与背景的相对运动问题。目前比较常见的运动物体检测主要有光流法、帧间差分 法和背景差分法，其中背景差分法有很多种重构与更新算法。下面我们将分别简要加以总结 概括 2 2 1 光流法和帧间差分法 光流法是运动目标检测的重要方法之一。运动目标的光流表达了图像的变化，它包含了 目标运动的重要信息。目前基丁光流法的运动目标估计人致可以分为三类：基于区域的匹配 算法、基丁特征点的方法和微分算法。最甲提出光流法思想的是h o mb k w 和s c h l n l c k b g 【1 ，其基本思想人致如下： 假定f 时刻图像上的点o ，y ) 处的灰度值为，( 五y ，f ) ，在时刻f + f 时这一点运动到 o + 缸，y + 缈，+ f ) ，对应的灰度值为，0 + 缸，y + 少，f + f ) ，并假定其与( x ，) ，f ) 相 等，即： ，( x + 缸，y + 少，f + f ) = j ( x ，y ，f ) ( 2 - 1 ) 将式2 1 左边在 ，少，f ) 点运用泰勒公式展开，忽略二阶和二阶以上的泰勒级数项便可 以得剑： 丝垒+ 塑型+ 塑：o a x & a y & a t ( 2 2 ) 记“( 五川) = 妄= 篆；y ( 五) = 警= 詈，则可以得到基本的光流约束方程： i 一+ i 。y + l t = q 式中l = 罢，= 考，= 尝。写成梯度形式为： q i 丫u + l t = q ( 2 3 ) ( 2 - 4 ) 由于光流场u = ( “，y ) r 有两个分量，然而基本约束方程只有一个，根据高等数学知识 8 第二章运动目标柃测与r o i 标记 可得只能求出光流场沿梯度方向的值，所以从基本光流方程求解的光流场是一个不确定问 题，必须引入附加的约束条件。l u c 嬲b 和k 孤a d et 【1 4 】假设在一个小的空间领域q 上运动矢 量保持恒定，然后使用加权最小二乘法估计光流。 光流法的优点是能够检测出独立的运动目标，不需要对场景中的任何信息有先验知识， 且对于摄像机与背景存在相对运动情况时的运动补偿的精确度不是很敏感。但是光流法的一 个致命缺点就是算法时间复杂度高，这是致使光流法无法在实时系统上实现的重要原因。 同光流法相比较，帧间差分法的算法复杂度要小的多，该算法只是把序列图像中的连续 两帧图像差分来消去背景的影响，使得差分图像上只存在前景运动目标。当然要是存在摄像 机与背景的相对运动则必须要考虑这种相对运动的补偿问题，否则就会得到错误的差分结 果。差分算法运用数学表达式来表达如下式2 5 所示，假设序列图像中连续两帧图像分别为 ( x ，j ，) 和+ 。( x ，y ) ，则差分图像d f ( 五y ) 为： d ? ( x ，j ，) = l + 。( 石，j ，) 一( z ，y ) ( 2 5 ) 二值图像m f ( 五j ，) 可以通过设定一个阈值，对差分图像逐个像素判决得到，如下式2 - 6 所示： f 2 5 5 蛳而力2 to d f ( x ，y 掰 口( x ，y ) 研 ( 2 - 6 ) 由式2 5 和式2 - 6 可见帧间差分法算法复杂度低，完全满足实时性的要求。但是由于帧 间差分法在检测运动目标的同时也会检测到运动留下的痕迹，需经过进一步的处理来消除痕 迹，且运动区域的轮廓也不连续，特别是对于城市交通环境中车流量大的问题，帧间差分法 的检测效果往往很差。 2 2 2 背景差分法 背景差分法与帧间差法相比具有准确定位且不扩大运动区域等优点，所以背景差分法在 c c d 摄像机固定不动且对运动目标和环境缺乏先验知识的情况下应用得较多的运动目标检 测技术，它是把当前时刻建立或者更新的背景与当前帧图像相减以得到运动前景目标的检测 一方法。假设根据序列图像重构的背景帧图像为曰( x ，少) ，当前帧图像为c ( x ，少) ，则差分图 像d ( x ，y ) 如下式2 7 所示： d ( x ，j ，) 爿c ( 石，y ) 一b ( x ，少) ( 2 7 ) 同帧间差分法一样，二值图像m ( x ，y ) 可以通过软判决或硬判决得剑。从数学描述上来 看，背景差分法和帧间差分法区别不大，但是这只是在差分阶段，因为在实际应用中不可能 9 东南大学硕上学位论文 存在不包括运动物体的纯背景帧或完全静止不变的背景，所以背景模型需要通过一定的算法 从序列图像中构建出来。同时因为场景中的光照变化或者摄像机抖动等因素的存在，背景模 型需要与环境变换保持同步更新。因此背景减法的难点主要不在于差分运算本身，而在于背 景动态模型建立，即如何从包含运动物体的视频序列中提取出背景。下面将介绍几种常见的 背景重构与更新算法。 2 2 2 1 混合高斯背景模型 高斯模型是各国学者们研究比较多的一种背景重构和更新算法，由于高斯函数主要由均 值和方差这两个参数完全决定，所以对均值和方差的学习方法直接影响到模型的稳定性、精 确性和收敛性。 g 血l s o nw 【1 5 1 在他的混合高斯模犁中提出了参数的更新方程和样本与模型的匹配决策 式如下： “f = ( 1 一p ) 吩一l + p ( 2 - 8 ) 砰= ( 1 一尸) 。+ p ( 一铭，) r ( 誓一“，) p = 口刁( 薯| “，盯f ) 毛一“卜l | 2 5 仃h ( 2 9 ) ( 2 1 0 ) ( 2 一1 1 ) 由于巧( 薯i “，盯，) 的原因，更新方程的学习效率低，相应的更新速度也是很慢。p o 嘣 p w 和s c h o o n sj a 【1 6 1 在他们的论文提出的改进的算法中提出了p = 位w ) 的学习公式， 通过该方法均值收敛的快且准确，但是方差的收敛速度和准确度还是不尽人意。美国学者 l e ed s 【l7 】经过了数学推理得到了自适应的混合高斯模型的实时e m 学习方法。 从以上基于高斯背景重构与更新模型的参数更新的简要介绍可见，高斯模型有其独特的 优点，主要表现在它允许运动目标的存在，并能够较好的解决多模态问题，尤其比较适合室 外光线和天气变化的场景。但是它也有相应的缺点：首先，模型的收敛速度较慢；其次，如 果在繁忙的交通场景下，运动目标多且运动速度较慢时，运动目标的检测效果不理想，且高 斯模型的建立与更新的算法复杂度也较高，其更新主要决定于均值与方差的收敛速度和准确 性上，而两者经常不可兼得。 2 2 2 2 基于k a l m 柚滤波理论的背景重构与更新n 。1 融l i n 锄滤波器是根据最小均方误差准则建立起来的估计方法。它运用线性递推的方法， 对多个测量数据和多个信号参数进行处理，给出无偏的最小均方误差估计。它只用信号的前 l o 第二章运动目标检测与r 0 l 标记 一个估计值和最近一个观察值就可以在线性无偏最小方差估计准则下估计信号的当前值，而 不必像维纳滤波器那样需要全部过去的观察值。 我们可以把运动目标看作是一个对背景图像的随机扰动。如果再认为这种扰动的平均值 为零，则可以应用勋l n l 孤滤波在零均值白噪声时的退化公式，即渐消记忆递归最小二乘法 来重建和更新背景。渐消记忆递归最小二乘法的普遍公式为： 一 】，( 后+ 1 ) = y ( 尼) + k ( j j + 1 ) 】厂( 尼+ 1 ) 一形木】，( 尼) 】 ( 2 1 2 ) k ( 七+ 1 ) = 以后+ 1 ) 矿r 【口，+ 陟p ( 尼) 形r 】- 1 尸( 后+ 1 ) ：土 ，一k ( 后+ 1 ) 矿 尸( 后) ( 2 一1 3 ) ( 2 1 4 ) 以上三式中】厂( 后+ 1 ) 是第( 尼+ 1 ) 帧的输入图像；】厂( 后) ，】，( 尼+ 1 ) 分别是第k ，第( k + 1 ) 帧 预测的背景图像；k ( k 十1 ) 是第( k + 1 ) 帧的时变增益因子，取值介于o l 之间，p ( 七) ，尸 + 1 ) 分别为第k ，第( k + 1 ) 帧的方差矩阵；w 是观测矩阵；口是渐消失记忆因子，i 是单位矩阵。 若认为图像中每一个像素点在空间上是独立的，则式2 1 2 、式2 1 3 、式2 1 4 矩阵退化 为标量，即w = l 。这样，式2 1 2 、式2 1 3 、式2 1 4 可以简化为： 】厂( 后+ 1 ) = y ( 后) + k ( 后+ 1 ) 】厂( 七+ 1 ) 一】，( 尼) 】( 2 - 1 5 ) k ( 后+ 1 ) = l b ( 尼+ 1 )( 2 一1 6 ) 曰( 后+ 1 ) = 口曰( 尼) + l ，b ( 1 ) = 1 尸( 七+ 1 ) = ( b ( 后) b ( 后+ 1 ) ) 尸( 后) ，尺1 ) = l ( 2 一1 7 ) ( 2 - 1 8 ) 式2 1 6 中的b 因子是在推导过程中引入的，定义由式2 1 7 式给出。式2 1 5 是时域渐 消递归最小二乘法的数学表达式，通过式2 1 5 可以完成背景的递归估计，实现背景图像的 实时重建和更新。公式中时变增益因子k ( k + 1 ) 反映了图像的当前帧图像对背景估值的影响 大小，决定滤波器的时间响应，它必须是一个小于1 且收敛于零的离散函数。从式2 1 5 中， 可以看到相邻两帧中不同的部分被削弱，相同的部分几乎不变，具有低通滤波器的性质，也 就是目标运动过的区域是真正处理的区域。随着k 的增火，】厂( 七+ 1 ) 就可以无限逼近于背 景。而引入渐消因子a 是考虑到滤波时为防止发散，限制滤波记忆长度，通过对历史数据 的指数加权，逐渐消除旧的数据影响。口值的选择与背景的变化快慢有关，当背景变化较 快时，口值庇选得小一些；反之，当背景变化较慢时，口值应选得大一些。 由式2 1 7 可知，当口值接近1 时，曰( 尼) 是增函数，b ( 尼) b ( 尼+ 1 ) l 。由式2 1 8 可 东南人学硕 学位论文 导出尸( 七十1 ) p ( 尼) t h 的情况。则抛弃对应 像素点k 一。 i j ，k 一。 i j 。 第三步，根据一维数组变量中保存的数据计算该像素点的背景像素值。本文采取中值滤 波的方法来获取背景像素灰度值的，对一维数组中的元素采取冒泡排序法排序获取中间值， 1 3 东南人学碘j 学位论i 这个中间值就是虽终确定的背景像素灰度值，由r 数据量小，且在实现过秤中我们对茸泡捧 序采取线性汇编代码的重写优化，所以排序算法效率报高。 但是最后步中也可能 l 现一种异常情况，就是在选择某个像素点是否为候选背景像素 点时可能所有的原始像素点都不满足要求，这时中值滤波无法获得止确的背景像素点。这种 情况是可能发生的，例如在城市交通场景中，路而可能现行驶的根慢的车辆或行人等情况。 本文的解决办法是采取“忽略4 的方式，即直接指定一个值即可。这种“忽略”是有根据的。 冈为通过实验可以发现，这样山现的点往往只是孤立的像素点+ 或者相邻的几个像素点，完 令可以由检测流群中的形态学滤波当作嵘声点处理掉而小会影响运动目标的检测结果。根 据本文提出的基于帧间著分的选扦缆“背景重构算法效果图如图2 所示： 第l 帧 第3 帧 第5 帧 图2 4h j 于重构背景图像的序列帧 第6 帧 第一章运动目标硷测与r 0 】标记 于1 灞露器鬻。习 ? 一2 璃 一u 【l 。j e & 目2 6 当前帧与背持帧差分教果对比剀 崮2 4 中的交通场