（模式识别与智能系统专业论文）基于视频的车辆检测与跟踪方法研究.pdf

基于视频的车辆检测与跟踪方法研究 摘要 智能交通系统( i n t e l l i g e n tt r a n s p o r ts y s t e m s ) 是指将先进的信息 技术、计算机、数据通信技术、人工智能等有效地综合运用于整个交 通服务、管理与控制，从而建立起来的一种大范围、全方位发挥作用 的实时、准确、高效的交通综合管理系统，以解决道路交通拥挤、交 通事故和环境污染等问题。 近年来，随着我国改革开放的不断深入，国民经济快速发展。 相随而来的交通流量迅速增加，交通堵塞、交通事故、空气污染等现 象相应恶化。研究符合我国国情的智能交通系统，是一个十分重要的 课题。 交通检测系统作为智能交通系统的一个重要组成部分，是整个 交通控制系统的“眼睛”。它通过数据采集和设备监视等方式，在道 路上实时地检测交通流量、车辆速度、车流密度和道路占用率等各种 交通参数，这些参数都是控制系统中所需的配时计算参数。检测器检 测到的数据，通过通信系统传送到本地控制器或是直接上传至监控中 心计算机，作为监控中心分析、判断、发出信息和提出控制方案的重 要依据。所以，能够及时、准确地获取各种交通参数是实现道路交通 智能化的前提条件。 传统的交通参数检测器以模拟技术为基础，在道路沿途埋设环 形线圈，利用电磁感应原理检测通过的车辆。这种方法的缺点是安装 和维护费用高，线圈容易老化，寿命短，检测到的交通参数少，系统 不容易扩展。 为了克服这些困难，基于数字图像视频的交通检测技术逐渐成 为人们研究的主题。其原理是利用图像处理、模式识别和计算机视觉 等技术，通过分析交通图像序列，检测和跟踪图像中的车辆来获取交 通参数j 茗通过结合统计学、计算机视觉和自动控制理论，提出一 种基于多概率模型的车辆检测和跟踪算法。该算法主要由运动分割、 车辆检测、特征提取和车辆跟踪四部分组成。通过对交通图像的特点 的分析，建立了基于图像的灰度、坐标的统计模型，并根据马尔可夫 随机场理论，定义图像的先验概率模型。算法利用统计理论中的贝叶 斯决策，对图像像素点分类，实现运动分割。然后根据图像的运动信 息，利用基于区域的车辆检测算法检测车辆，并提取车辆的初始特征。 最后，利用基于c o n d e n s a t i o n 算法的跟踪器，定义目标车辆的 动力模型、观测模型和概率传递模型。经过循环调用因子采样，预测 目标车辆的特征采样点，实现车辆跟踪。 厂实验结果表明，本文提出的算法能够比较准确地实现车辆的检 测和跟踪，同时对光照等环境的变化具有一定的适应能力。r 一5 、 、一一 关键词：视频，运动分割，车辆检测，车辆跟踪 一，一，_ _ - _ 一一 v i d e 0 b a s e dv e h i c l e sd e t e c t i o n a n d t r a c k l n gm e t h o d a b s t r a c t i n t e l l i g e n tt r a n s p o r ts y s t e m s ( i t s ) t h a t i sab r o a da n de l a s t i ct e r m i n t e g r a t e s a d v a n c e da n d e m e r g i n gt e c h n o l o g i e s ( c o m p u t e r s ，c o n t r o l ， c o m m u n i c a t i o n s ，a n de l e c t r o n i cd e v i c e s ) i nt r a n s p o r t a t i o nt o s a v el i v e s ， t i m e ，m o n e y , e n e r g y a n dt h ee n v i r o n m e n t t h e c o n g e s t i o n a n d s a f e t yp r o b l e m s i nc h i n a s t r a n s p o r t a t i o n n e t w o r k s ，c o m b i n e dw i t hc o n t i n u e dg r o w t h ，t h ef i s c a lr e a l i t yo f r e s t r i c t e d b u d g e t s ，a n de n v i r o n m e n t a la n dl a n du s ec o n s t r a i n t s ，h a v er e s u l t e di n a s h i f ti nf o c u st o w a r dd e m a n dm a n a g e m e n ta n dm o r ee f f i c i e n tu s eo ft h e e x i s t i n g i n f a s n u c n l r e t h e a p p l i c a t i o n o fi t si sc r i t i c a lt o a c h i e v i n g t h e s eg o a l s t h et r a f f i cd e t e c t i o ns y s t e mw h i c hi sa ni m p o r t a n tc o m p o n e n to fi t s ， a c t sa st h ee y e so ft r a f f i c m a n a g e m e n ts y s t e m s f l u x ，a v e r a g es p e e d ， d e g r e eo fs a t u r a t i o n ，v e h i c l e sd e n s i t ya n do t h e r t r a f f i ci n f o r m a t i o na r e a c q u i r e db yv e h i c l e d e t e c t o r sa n dt h e ns e n tt oc o n t r o lu n i t s t h r o u g h c o m m u n i c a t i o nn e t w o r k sw h e r et h e s ed a t aa r ep r o c e s s e da n dt h e r e b y s o m es m a r tt r a f f i c l i g h t s a l l o c a t i o n s t r a t e g i e s c o m e u p t h e r e f o r e w h e t h e rt h et r a f f i cd e t e c t o ri sa b l et oa c q u i r ea c c u r a t ee n o u l e ht r a f f i c i n f o r m a t i o na n dh o wm u c hs u c hi n f o r m a t i o n i tc o u l do b t a i ni sa f i m d a m e n t a ls t a n d a r df o re v a l u a t i n gt r a f f i cm a n a g e m e n t s y s t e m s t r a d i t i o n a lm e t h o d so f a c q u i r i n gt r a f f i ci n f o r m a t i o na leb a s e do n a n a l o g yt e c h n i q u e s ，f o re x a m p l e ，m a g n e t i cl o o p sb u r i e du n d e r g r o u n da r e i nu s e n o w a d a y sa sv e h i c l es e n s o r s d r a w b a c k so ft h e mi n c l u d eh i g h e x p e n s eo fi n s t a l l a t i o na n dm a i n t e n a n c e ，s h o r t a g eo fa b i l i t yt o a c q u i r e w i d e r a n g eo fi n f o r m a t i o na n dp r o c l i v i t yt of a d ea n db r e a kd o w n i no r d e rt o c o p ew i t ht h o s ep r o b l e m s ，v i d e o - b a s e dt r a f f i cd o t e c t i o n m e t h o d sa r e p r o p o s e da l t e r n a t i v e l yb ym a n yr e s e a r c h e r s b y n o w , l e a d i n g 。e d g et e c h n o l o g i e so nc o m p u t e rv i s i o na r ea l r e a d yi nu s ea n da r e b e i n gd e v e l o p e d t oi m p r o v e t r a n s p o r t a t i o na r o u n dt h ew o r l d i nt h i st h e s i s an o v e lm u l t i 。m o d e lb a s e dv e h i c l e sd e t e c t i o na n dt r a c k i n ga l g o r i t h mi s p r o p o s e da n da p p l i e dt ot r a f f i ci n f o r m a t i o nd e t e c t i o n s y s t e m i n t h e a l g o r i t h m ，g r a yv a l u ea n dc o o r d i n a t e sa l em o d e l e df o re a c hp i x e ib a s i n g o ns t a t i s t i c sa n da p r i o r i p r o b a b i l i t y m o d e l sa r ed e f i n e da l s o u s i n g m a r k o vr a n d o mf i e l d ，i no r d e rt oo b t a i nm o t i o n i n f o r m a t i o n ，b a y e s i a n d e c i s i o ni st h e np e r f o r m e do ne a c h p i x e li nt h ei m a g eb y c o m p a r i n gt h e p o s t e r i o rp r o b a b i l i t i e so fb e i n g f o r e g r o u n d o r b a c k g r o u n d t h e na r e g i o n - b a s e dd e t e c t o ri su s e dt od e t e c tn e w l yc o m i n gv e h i c l e s a n dt h e c o r r e s p o n d i n gf e a t u r e sa r ee x t r a c t e da n dt r a c k e db yc o n d e n s a t i o n a l g o r i t h m ，w h i c ht r a c k s t a r g e tb y f a c t o r e d s a m p l i n g t h e c o n d e n s a t i o nu s e sl e a r n e dd y n a m i c a l m o d e l s ，t o g e t h e rw i t hv s u a l o b s e r v a t i o n s ，t op r o p a g a t er a n d o m s e to v e rt i m e e x p e r i m e n t a l r e s u l t sf r o mr e a lt r a f f i cs t r e a m ss h o wt h a tt h e a l g o r i t h mp r o p o s e d i se f f e c t i v ea n de f f i c i e n t k e yw o r d s ：v i d e o ，m o t i o ns e g m e n t a t i o n ，v e h i c l ed e t e c t i o n ，v e h i c l e t r a c k i n g 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“”) 学位论文作者签名： 套棚 日期：切z 年，月倡日 豢民抵冰幻j 争 日纱年月桫日 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 套捌 日期。j 年月f ，日 上海交通大学硕士学位论文 1 。1 背景介绍 第一章 引论 随着社会经济的高速发展，现有的交通道路网络与管理设施已经不能满足 日益增长的交通量的需要，交通拥挤和堵塞现象日趋严重，交通污染与事故越来 越引起社会的普遍关注。目前，交通拥挤和交通事故已成为全球交通运输业所面 临的共同问题。 我国是一个经济持续发展的发展中国家，改革开放以来，城市化与汽车化 发展十分迅猛，交通流量迅速增加，交通阻塞、环境污染等问题相应恶化，基础 设施的利用与管理中的弊端逐渐显露出来：改革开放以来，道路交通设施及管理 设施虽然有较大改观，但跟不上机动车增长速度。总体水平与发达国家有较大差 距，特别是大多数城市路网结构不合理，道路功能不完善，道路系统不健全：我 国交通管理设施缺乏，管理水平不高。即使各地都建立了交通控制中心，大多只 是实现了监视功能，而远没有发挥控制功能的效应；由于交通拥堵、车速下降以 及车况差、车辆技术性能低等原因，城市的大气质量恶化，已逐步由无烟煤污染 转变为机动车尾气污染；同时，车辆状况差也直接影响到城市交通，并已成为制 约我国城市交通的重要因素。 基于我国目前的交通状况，以往仅仅依靠修建更多的道路、扩大交通路网 规模已经不能解决日益增长的交通需求，而是应该利用高新技术来改造现有的道 路运输系统及其管理体系，从而大幅度地提高了路网的通行能力和服务质量。所 以，从我国的实际情况出发，发展智能交通系统( i n t e l l i g e n t t r a n s p o r ts y s t e m s ) 对缓解我国的交通危机具有巨大的现实意义。 智能交通系统( i t s ) 通过将先进的信息技术、通信技术、控制技术、传感 器技术和系统综合技术有效地集成应用于交通运输领域，建立起全方位、实时准 确、高效的地面运输系统，实质上就是利用高新技术对传统的运输系统进行改造 而形成的一种信息化、智能化、社会化的新型运输系统。它使交通基础设施能发 上海交通大学硕上学位论文 挥出最大的效能，提高服务质量，使社会能够高效地使用交通设施和能源，从而 获得巨大的社会经济效益。 与发达国家相比，我国在发展i t s 的必要基础条件上还有较大差距，我国 的交通运输正面临经济发展与资源制约的双重压力，因此一定要立足本国实际， 走中国i t s 发展之路，以推动我国信息化进程及培育自己的i t s 产业。根据我国 目前的交通状况，应该以中心城市和高速公路相关应用项目为龙头，在城市智能 化交通管理、公共交通系统、交通信息服务、跨省市高速公路联网收费、高速公 路智能化管理以及智能交通系统的产业化和基础性工作等方面开展科技攻关和 应用示范。充分利用现有资源，建设道路一汽车间的试验通信系统、传感器( 包 括检测器) 和专用短程通信试验平台、交通控制仿真系统和智能公路试验设施等， 为智能交通系统的开发、试验和评价提供基础条件。并针对国家攻关项目中的示 范工程和产业化开发，制定智能交通系统基础标准、交通信息采集和通信等的有 关标准。 1 2 交通检测技术的现状 交通检测技术是发展我国i t s 的重要组成部分。及时、准确地获取各种交 通参数是实现交通控制智能化的前提条件。交通检测器通过数据采集和设备监视 等方式，在道路上实时地检测交通流量、车辆速度、车流密度和道路占用率等各 种交通参数，这些参数都是控制系统中所需的配时计算参数。检测器检测到的数 据，通过通信系统传送到本地控制器或是直接上传至监控中心计算机，作为监控 中心分析、判断、发出信息和提出控制方案的重要依据。所以，交通检测器及其 检测技术水平的高低直接影响到道路交通系统的整体运行和管理水平。 传统的交通检测器以模拟技术为基础，通过在道路沿途埋设环形线圈检测 器及在交通要道处装设电视录像机等，将数据和画面传送到控制中心进行分析、 判断和确认交通偶发事件，从而达到报警和人工干预的目的。近几年来，随着传 感器技术、微电子技术和信息处理技术等的发展，交通检测技术也得到较大发展， 按其基本工作原理可分为电磁感应式、电接触式、光电式、超声波式、红外线式 等多种类型。其中应用比较多的检测器是环形线圈检测器、超声波检测器、微波 雷达检测器和红外检测器。 上海交通大学硕士学位论文 环形线圈检测器是目前国内外使用最广泛的车辆检测器，它由埋设在路面 下的环形线圈传感器、信号检测处理单元及馈线三部分组成。其工作原理是检测 单元同环形线圈与馈线线路组成一个调谐电路，此电路中的电感主要决定于环形 线圈。当电流通过环形线圈时，在其周围形成一个电磁场，当车辆行至线圈上方 时，在金属车体中感应出涡流电流，产生与环路方向相反电磁场，引起电路谐振 频率的上升。只要检测到此频率随时间变化的信号，就可检测出是否有车辆通过。 环形线圈检测器既可以检测交通量，又可以检测占有率及大致的车速等多种交通 参数。其缺点是线圈的安装和维护需要中断交通进行路面挖掘施工，而且线圈容 易老化，会受到路面的变形的影响，路面质量较差时，寿命较短。因而其维护更 新在管理、技术和成本上均面临巨大困难。 超声波检测器是一种在高速公路上应用较多的检测器，它是利用反射回波 原理制成的。超声波检测器由探头和控制机构成，其探头具有发射和接受双重功 能，被设置于道路的正上方或斜上方。其工作原理是由超声波发生器( 探头) 发射 一束超声波，再接收从车辆或地面的反射波，根据反射波返回时间的差别，来判 断有无车辆通过。由于超声波检测器采用悬挂式安装，这与路面埋设式检测器( 如 环形线圈) 相比有许多优点。首先是不需破坏路面，也不受路面变形的影响；其 次是使用寿命长，可移动、架设方便。不足之处是其检测范围呈锥形，受车型、 车高变化的影响，检测精度较差，特别是车流严重拥挤的情况下；另外检测精度 易受环境的影响，尤其是大风、暴雨等的影响；探头下方通过的人或物也会产生 反射波，造成误检。 微波检测器按照多普勒效应原理工作。它由发射天线和发射接收器组成。 架在门架上或路边立柱上的发射天线向路面检测区域发射微波波束，当车辆通过 时，反射波束以不同的频率返回天线，检测器的发射接收器测出这种变化，从而 测定车辆的通过或存在。微波检测器的工作频率通常是2 4 g h z 或i o g h z 。新型的 远端交通微波检测器最多可同时检测8 个检测区域的车辆存在，同时可检测交通 量、车速和占有率等信息。同超声波检测器类似，其缺点是检测精度受到车型、 车高变化的影响，在交通比较拥挤的时候不适用。 红外检测器是具有良好应用前景的悬挂式或路侧式交通检测器。该检测器 一般采用反射式检测技术。反射式检测器探头由一个红外发光管和一个红外接收 上海交通大学硕士学位论文 管组成，其工作原理是由调制脉冲发生器产生调制脉冲，经红外探头向道路上辐 射，当有车辆通过时，红外线脉冲从车体反射回来，被探头的接收管接收，经红 外解调器解调，再通过选通、放大、整流和滤波后触发驱动器输出一个检测信号。 这种检测器具有快速准确、轮廓清晰的检测能力。其缺点是工作现场的灰尘、冰 雾会影响系统的正常工作。 1 3 基于视频的交通检测技术 基于视频的交通检测技术是近年来逐步发展起来的一种新型的车辆检测方 法，它具有无线、可一次检测多参数、检测范围大和使用灵活的特点。 基于视频的交通检测器相对于传统的环形线圈检测器，具有安装维护方便、 无故障工作寿命长的优点，而且功能强大得多。并且，视频检测系统只要更新视 频图像处理软件而不需要更新硬件设备，就可以实现产品性能的不断升级。这种 检测系统实际上几乎具有和人眼观察相同的性能潜力，并且具备人所不具有的强 大精确计算能力，可用于未来的多用途城市监测系统( 比如防治犯罪、监测突发 事件等等) 。这种检测器的摄像装置一般固定在路杆或较高的建筑物上，以便于 获得较大的视野，如图l - 1 所示： 图卜1 视频检测器的摄像装置 f e a t u r e1 - 1c a - r o e l ao f v i d e o - b a s e dt r a f f i cd e t e c t o r 上海交通大学硕土学位论文 视频交通检测器通常由电子摄像机、图像处理机和显示器等部分组成。摄 像机对道路的一定区域范围摄像，图像经传输线路送入图像处理机，处理机对图 像信号进行模数转换、格式转换等，再由微处理器处理图像背景，实时识别车辆 的存在，判别车型，由此进一步推导其它交通控制参数。图像处理机还可以根据 需要给监控系统的主控机、报警器等设备提供信号，控制中心可根据这些信号确 定控制方式，向执行机构发出控制命令。 视频检测技术能够利用图像处理、模式识别和计算机视觉的方法建立一个 智能交通管理系统，在不需要人的干预、或者只需要很少干预的情况下，通过对 摄像机拍录的视频序列图像进行分析来实现车辆的检测、定位、识别和跟踪，并 在此基础上分析和判断车辆的行为，对车辆的行为给出语义描述，既能完成日常 管理，又能在发生异常情况时及时做出反应，从而提供了一种更加先进和可行的 监控方案。 基于视频技术的交通检测器的组成框图如图卜2 所示，其中底层视觉部分 是整个系统的核心，根据检测器的性能和检测参数的不同，它所包含的模块也各 不相同。一般主要包括运动检测和特征提取，功能强大的检测器还包含车辆跟踪 模块。摄像机所拍录到的图像序列首先送到运动检测模块，确定图像中可能包含 车辆的区域( r o i ，r e g i o n so fi n t e r e s t ) 。 竺至到到 图卜2 基于视频的交通检测器 f i g u r e1 - 2v i d e o - b a s e d t r a f f i cd e t e c t o r 当某个r o i 第一次出现在检测区域范围内时进行车辆检测工作，包括判断是否 真的存在车辆，如果存在的话，提取车辆的初始特征。如果需要的话，还可以在 其中加入车型分类的模块；特征提取模块的作用是提取被检测车辆的位置、形状 和速度等特征。如果存在跟踪模块，则在跟踪器初始化后，跟踪模块将自动跟踪 车辆的特征，直到车辆离开视野为止。高层部分的处理主要包括根据车辆的运动 轨迹对其行为进行分析，并给出自然语言式的描述。 上海交通大学硕士学位论文 目前，市场上已有成型的视频图像处理系统( v i p s ) ，比如a u t o s c o p e 、 i m p a c t 、s c c a t s 、t a sa n dt r a f f i c a m 等。这些商业产品通过在图像中的车道 上设置虚拟线圈，检测通过此线圈的运动车辆，并通过简单的逻辑推理，分析路 口的交通状况，最终给出该区域的交通信息。但到目前为止这些产品还不能完全 满足智能交通系统的要求。 一方面表现在现有产品的检测性能还不够好，只能在固定车道的某个预先 设定好的区域内检测具有明显运动的车辆，当道路变得比较拥挤，车辆运行较慢 时，常常出现漏检测现象。 另一方面由于现有的检测器缺少跟踪环节，不能对道路的车辆行为作出准 确分析与预测。虽然有些系统可以在特定地段实现较高级的自动分析，比如 a u t o s c o p e 能够提供在路口等某些禁止停车区域的违章车辆报警功能，但这 些功能只是底层检测模块的简单逻辑组合，应用范围狭窄，不能满足实际应用的 要求。 虽然大多数检钡9 器添加了对噪声、光照、天气等环境因素的抑制模块，但 这种适应性还不够，对外界环境的快速变化反映不够灵敏。所以，为了使检测器 能够准确的获取道路中的车辆信息，必须提高车辆检测和跟踪算法的鲁棒性和抗 干扰性。 近几年来，随着计算机软硬件的不断发展，大量关于运动检测和物体跟踪 的算法不断被提出【1 】【1 ”。本文通过对交通图像的分析，提出一种基于统计理论 的车辆检测和跟踪的算法，主要包括以下几个方面： 1 建立图像的统计模型 通过分析视频交通图像的特点，根据像素的灰度、坐标等特征的统计规律， 分别建立图像的运动像素模型、静止像素模型和先验概率模型。 2 运动分割 在图像模型的基础上，根据b a y e s i a n 决策，计算像素所属类别的后验概率， 并比较它们的大小，进行运动分割。 3 基于区域的车辆检测 在图像中设定一个检测区域，在车辆驶入检测区域的过程中，根据运动分 割的结果，通过计算检测窗口内运动像素的密度进行车辆检测，并提取被检测车 上海交通大学硕士学位论文 辆的特征，以便于跟踪器进行跟踪。 4 车辆跟踪 提出基于c o n d e n s a t i o n 算法的车辆跟踪算法。构造车辆的动力模 型、观测模型及概率传递模型。并在此基础上，通过因子采样原理，预测车辆特 征采样点，通过观测值评价预测特征的准确性，使描述车辆位置的预测采样点包 络沿观测值方向移动，实现车辆的跟踪。 将本文的车辆检测与跟踪算法应用到一段交通序列图像的实验中，结果表 明本文算法可以比较准确地检测出驶入检测区域的车辆，并且对环境具有一定的 适应性。尤其是当车辆驶入阴影区时，由于光照不充足而导致图像的对比度下降， 利用本文提出的基于像素密度的检测方法仍可以得到较好的检测结果。以往基于 k a l m a n 滤波器的跟踪算法假设模型概率分布为高斯函数。当这种假设不成立时， 跟踪器的性能明显下降，目标物体将被丢失。因而本文提出利用 c a n d e n s a t i o n 算法实现车辆跟踪，通过概率传递方法，避免了这种不准确的 假设，使跟踪器能够适用于各种复杂的应用环境。实验表明基于 c o n d e n s a t i o n 算法的跟踪器具有很好的跟踪性能，尤其在比较复杂的背景环 境下，仍然能够正确地跟踪目标车辆。 本论文得到国家9 7 3 项目( 编号：g 1 9 9 8 0 3 0 4 0 8 ) 及中法合作项目( 编号：p r a s l 0 1 叭) 的支持。 上海交通大学硕士学位论文 第二章基于密度的车辆检测算法 2 1 车辆检测算法的概述 对车辆检测算法的研究近年来在计算机视觉领域一直得到人们的高度重 视。根据实际应用的侧重点的不同，大体上可分为两种：基于区域的检测【i l - f 5 和基于特征的检测【6 j - 9 o 基于区域的检测算法实现简单，计算复杂度较低，适合应用在对实时性要 求较高的系统。其基本原理是在车辆出现的初始位置设定一个检测区域，当有车 辆通过时，该检测区域的图像灰度特征将发生明显的变化。当灰度的变化程度大 于某一阈值，表明车辆被检测到。 此算法的缺点在于某些情况下检测区域的车辆会被遗漏，比如在图2 - 1 中 的一种情况，当a 、b 两辆车距离比较近时，会被错误的当作一个车辆处理。所 以为了解决这个问题，需要一个比较好的分割算法来弥补区域检测法的不足。 z 应vd e t e c t r e 空i o n 7 图2 - 1 基于区域检测的一种车辆漏检测情况 f i g u r e 2 - 1a s p e c i a lc a s eo f m i s s i n g d e t e c t i o n 另种车辆检测算法是基于特征的检测，该算法从车辆的特征出发，在图 像中搜索符合某种特征的图像块，然后通过跟踪这些特征图像块，分析它们的相 对关系( 包括位置，速度等) ，最后通过聚类，实现车辆检测。这种算法的难点 在于特征的选取，由于交通图像的复杂性，不可能找到一种统一的简单特征来描 述所有的车辆，这种用单个特征块表示个车辆的方法只能是一种理想情况，难 以实现。所以对于每个车辆需要用多个特征块来描述，般的做法是选择计算简 单、与背景图像有较大区别而且容易跟踪的特征来描述车辆。b e y m c r t “、l i u t 7 1 采 用角点( c o m e r ) 作为车辆的特征，g u p t e ”、m 鼬o i l d 嘲选择分割厨的速通域作为车 上海交通大学硕士学位论文 单、与背景图像有较大区别而且容易跟踪的特征来描述车辆。b e y m e r ”、l i u 7 1 采 用角点( c o m e r ) 作为车辆的特征，g u p t e ”、m a s o u d 9 】选择分割后的连通域作为车 辆的特征。 由于基于特征的车辆检测算法利用多个特征块来描述每个车辆，具有一定 的灵活度，即使在出现遮蔽现象时，可以通过跟踪被遮蔽车辆的部分特征来获取 车辆的信息。但该算法实现起来比较复杂，计算量较大，不适于实时性要求较高 的交通监控系统。此外，特征的选取比较困难，该选择什么类型的特征，每帧图 像用多少个特征块来描述等等，都在很大程度上影响车辆检测的结果，这些问题 在实际应用中难于控制，一般不被采用在实际的检测系统中。 通过对上面两种方法的比较分析，基于区域的检测算法更适于交通监控系 统的实时性要求，本文提出一种基于运动像素密度的车辆检测方法，通过计算检 测区域内运动像素密度，来判断区域内是否存在车辆。其原理框图如下： b i n a 吖o b j e c t m a s k d e n sr t y - l a a 嘣jd e t e c t o r 0 【f e a t u r e e x b - a c t i o n 图2 - 2 基于运动像素密度的车辆检测 f i g u r e2 - 2d e n s i t y - b a s h v c h i c t ef l e t e , c t i o n 从摄像头采集的图像序列首先经过运动分割，得到包含车辆的二值目标图像。然 后利用此分割结果，在检测区域内计算检测窗口的运动像素密度，并与预先设定 的阈值作比较，如果窗口内的运动像素密度超过此阈值，则认为检测区域内有车 辆存在；反之，认为窗口内没有车辆。最后，提取被检测车辆的位置、形状和速 度等特征。有关此算法的具体实现过程将在本章详细阐述。 2 2 运动分割 图像分割是由图像处理进到图像分析的关键步骤，通过图像的分割实现目 标的分离和特征的提取，将原始图像转化为更抽象更紧凑的形式，使得更高层的 上海交通大学硕士学位论文 分析和理解成为可能。对于交通流图像来说，运动分割的目的就是要利用图像的 前景与背景之间的相对运动，建立一个基于灰度、颜色、纹理、形状等特征的分 割模型，将原始图像中包含车辆、行人等的运动物体从背景中分离出来，最终得 到一个二值目标图像。虽然分割的结果会不可避免地损失部分图像信息，进而影 响到车辆检测的精度。但这种由于缩减信息量而导致的幅面影响与基于灰度图像 的检测算法的计算复杂度相比仍具有很大的优越性，这点对于实时性要求较高的 交通监控系统是非常重要的。 2 2 1 运动分割算法概述 运动分割多年来一直得到人们的高度重视，至今已提出了上千种各种类型 的分割算法。其中常用的是阈值分割法，其基本原理是通过设定一个阚值，根据 运动信息函数与阈值的比较将图像分为两类，即运动物体和背景。实现模型如下： 盹小拈篙焉 z 一 式中m ( x ，y ) 表示分割结果，i ( x ，y ) 表示运动信息函数，它是对像素点运动状况 的描述。l ( x ，y ) 可以有两种描述方法：运动参数法和灰度差值法。 1 当i ( x ，y ) 描述运动参数时，需要估计像素的运动参数，一般采用光流法 1 3 j ( o p t i c a lf l o w ) 。它是基于图像中运动物体在运动过程中保持强度不变的假设： a d x , y , o ：o o t 2 2 式中g ，y ，f ) 表示图像时间域的强度分布，z 、y 随着时间f 变化。2 2 式表示 强度在像素运动过程中的变化速率。为了引入光流矢量，可将其展开： 堡。+ 盟。+ 盟：o 。x 匆 氆 2 3 其中“、v 分别表示像素在x 、y 方向上的光流矢量，孚、孕分别为图像灰度 戚卯 在x 、y 方向上的梯度，鲁表示图像灰度的导数，在离散时间情况下表示图像 上海交通大学硕士学位论文 差分。从式2 - - 3 可见，光流方程中有两个未知参数“、v ，一个方程不能求解两 个未知数。所以只有光流方程还不够，最简单的做法是利用像素的领域来构造超 定方程( 比如，用3 x 3 邻域可以构造9 个光流方程) ，假定邻域像素具有相同的 光流矢量，利用最小方差( 1 4 】f 1 5 】( l s ) 估计超定方程的解u 、v 。 当求出一帧图像的所有像素的光流矢量后，组成该帧图像的矢量场，可以 通过对矢量场聚类来获得分割图像。但分割的结果很大程度上依赖于运动估计的 准确性。光流法容易受到环境的影响，其缺点主要表现在以下几个方面： 首先，由于光流法是建立2 2 式的强度保持不变的基础上，但对于大多数 交通图像此条件都不成立。一方面运动车辆的灰度会随着位置的变化而改变，比 如车辆从阳光下驶入阴影区。此外即使车辆完全在阳光下或阴影区行驶，由于车 辆表面对光线的反射的变化导致图像强度发生变化。另一方面，户外图像容易受 到天气的影响，尤其是在阴雨天气，光照不稳定，运动物体强度变化较大，影响 运动估计的准确性。 其次，光流法利用最小方差估计计算光流矢量，容易受到噪声的影响。最 小方差估计的基本思想就是估计一个超定方程组的解，使得总体平方误差最小。 这种方法对噪声比较敏感，尤其是噪声比较大时，会导致估计结果偏离真实值。 最后，运动估计必须利用图像序列的相邻两帧来实现，如果当某些车辆暂 时性停止时，由于在相邻两帧图像中检测不到运动信息，难以把车辆从背景图像 中分离出来，必须采取其他方法。 2 i ( x ，y ) 除了可以描述运动参数，也可以描述图像灰度差值。由于运动信 息的存在，两帧图像在运动像素处也必然存在明显的灰度差值。灰度差值既可以 在图像序列的相邻两帧之间获取( 邻帧差值法【5 】【1 7 1 ) ，也可以由图像序列与背景 图像间( 背景帧差值法 9 】 1 8 】 1 9 1 ) 得到。两种方法各有各自的优缺点。 相邻帧差值法是利用图像序列的相邻两帧的信息差来获取，这种方法的特 点是实现简单，受噪声影响小，对天气的变化具有一定的适应性。 假设t 时刻和t 一1 时刻的图像的灰度分别为。和x 1 ，他们的差值图像为 d = a b s ( x 一x “1 1 2 4 式中a b s ( ) 表示取绝对值运算。 上海交遭大学硕士学位论文 它的缺点主要有两点： 首先，与运动估计的方法类似，只能检测相邻两帧间的运动信息，对于暂 时静止的车辆当作背景图像处理。 其次，相邻帧差值法会扩大运动区域。假如在1 帧中包含某一运动车辆 的像素集合为c “1 ，在x 中对应同一车辆的像素集合为c ，经过差值后在d 中 对应该车辆的像素集合为c e ，假设用于分割的阀值t 已知，将d 中大于丁的像 素归并到c 。中，可以得到： c d = c “1k 3 c 2 - - 5 可见，分割出来的车辆是相邻两帧车辆的并集，运动区域被扩大了。虽然可以通 过相邻三帧的差值和集合运算求出c ，但增加了算法的复杂度和存储空间。 为了克服以上两个缺点，本文利用背景帧差值法。假设当前交通图像序列 的背景图像已知曰。，可以通过下面公式求得_ d 。： d = a b s ( x 一b 1 2 6 背景帧差值法的优点是可以检测到图像中所有车辆( 包括运动和暂时静止 的车辆) ，而且不会导致运动目标的膨胀，有利于车辆的准确定位。但与相邻帧 差值法相比它也存在着缺点，从2 6 式可以看出，它需要构造和维护一个背景 图像曰。b 是一个时间的函数，为了能够适应天气、光照等环境的变化，需要b 能够得到及时的更新。 利用背景差值的运动分割流程如下： 匡堕卜x 圈 b i n a r y “q e c t r n a z k 图2 - 3 背景帧差法的遭动分嗣 - i 2 上海交通大学硕士学位论文 f i g u r e2 - 3b a c k g r o u n ds u b t r a c t i o n - b a s e dm o t i o ns e g m e n t a t m n 基于背景帧差法的运动分割主要包括四个模块：背景帧的产生、图像模型、先验 概率模型和分类决策。图像序列首先通过背景估计和更新算法得出当前帧图像的 背景，经过作背景帧羞后，得到一个差值图像，利用图像模型和先验概率模型， 通过贝叶斯决策( b a y e s i a n d e c i s i o n ) ，对图像中的前景与背景分类，最终得到一 个二值目标图像。在下面几节中分别阐述各模块的原理和实现。 2 2 2 背景的估计与更新 经过运动分割的算法分析可知，基于背景帧差值法需要构造和维护一个背 景图像b 。在本节中利用最小误差准则来估计一段序列的背景图像。 考虑到摄像头容易受到外界环境的干扰，致使图像序列具有一定程度的抖 动。为了计算简单，在此仅考虑抖动中起主体作用的图像平移。假设用于估计背 景的图像序列为x ，其中i 【1 ，】，背景图像的期望值为台，x ，相对雪的运动矢 量为i = 毒 ，r n ，则背景估计问题可被描述为： 陟查】_ a r g m i n 怿魄一斟 z 一， 式中，l 表示向量空间内的范数距离，矗( j ，) 表示对第f 帧图像作巧个像素的平 移，下面以一阶距离f 为例给出背景估计的过程 1 设定初始运动矢量_ = o ，i 口，】。 2 固定_ ，根据2 - - 7 式估计台的值。式中三( f ) ，曰) 可由下式表示 l ( x ，口) = i 毛( x 姒，y ) ) 一口( 训) l 2 8 j - y 3 固定舍，根据2 - - 7 式估计k 。 4 如果3 中计算的k 与2 中k 相等，则得出最终背景估计值为台；否则跳 到2 继续执行。 不难看出，上面算法通过几次循环，逐次逼近，最终收敛在背景期望雪 上海交通大学硕士学位论文 使得整体误差达到最小。 满足2 - - 7 式的和雪的求解方法如下： a ) 固定巧根据2 - - 7 式求解雪。当满足雪应该误差最小时 = 0 将2 9 式按像素展开，近一步化简为 2 9 可见，对于给定一个像素坐标( x ，y ) ，当s ( x ，y ) 取平移后的图像序列在( z ，y ) 点的中值时，整体误差达到最小。 b ) 固定b 根据2 - - 7 式求解砰。由于背景的估计工作可以离线完成，所以 可以通过在图像中设在一个窗口。利用穷尽搜索办法，针对每帧图像求出 误差最小情况下的。 背景更新算法的基本原理是在系统循环检测的过程中，不断修改估计的背 景图像雪，使其尽量接近当前帧图像z 的背景。更新的背景图像摩是前一时刻 背景图像估计值宣一。与当前帧背景图像层的加权平均值。 当前帧图像由前景图像( 即运动车辆) 和背景图像e 两部分组成，所以 可以利用运动分割的二值目标图像m 对当前帧图像五和前一时刻背景估计值 耷。进行选择性采样来获得当前帧的背景图像e 。具体的采样原则是：如果当前 采样像素点在m ，中的值为l ，则表示在z 中此坐标点的像素属于车辆。此时从 毒+ ，中采样当前像素点的值；如果当前采样像素点在m 中的值为0 ，则表示在x t 中此坐标点的像素属于背景，此时从z 中采样当前像素点的值。在取得当前帧 0一，o = y z j“l y 石 l 日一 )y 石 l ( k 弘 s h i i ， z 上海交通大学硕士学位论文 背景图像b t 后，可利用下面公式估计f 时刻背景宣： e = a b ，+ ( 1 一口) e - l 2 1 1 式中口为权系数，其值的大小影响到背景更新的快慢。当口取较大的值时，当前 帧背景b r 在背景估计中所占的权重比较大，背景更新比较快；当口的取值比较小 时，情况相反。在设定a 的值时，一方面为了使估计的背景能够快速地捕捉到的 环境变化，确保口值足够大；另一方面为了适应摄像头的噪声引起的图像的暂时 变化，而增大前一时刻背景估计值宣。的权值。这就产生了矛盾。试验表明，当 口= o 1 时能够取得最佳的折中