（计算机软件与理论专业论文）交通事件的视频检测算法研究与实践.pdf

摘要 摘要 交通事件检测系统在智能交通系统中有着重要的意义。交通事件检测的方 法有很多，其中视频检测是近几年发展最为迅速的技术之一因为它具有安装 方便、覆盖范围大、效果好等特点，所以已经成为智能交通系统领域的一个研 究热点。 本文围绕对交通事件视频检测系统的实现，研究了一些车辆检测和跟踪的 方法，提出了一些新的算法。主要的工作和贡献有： 1 运动车辆的检测。针对不同的情况，本文运用了两种不同的背景初 始化方法，然后采用一种动态更新背景的方法对背景进行实时的更新。运用背 景差分、膨胀腐蚀和连通性的判断对车辆进行粗定位。实验表明，综合应用这 些方法能够取得较为满意的结果。 2 运动车辆的跟踪。本文提出了一种基于时域和车辆模板相似度匹配 的算法。该算法结合车辆检测过程中得到的车辆位置，完成对车辆的跟踪，同 时对这个过程中遇到的车辆互相遮挡、分裂等情况采取了不同的策略。最后利 用跟踪信息对车辆统计和逆行等交通事件进行了检测。实验表明，这种跟踪算 法能够对车辆进行跟踪并且有较好的稳定性，并使得交通事件的检测结果较为 准确。 3 十字路口的交通事件检测。针对十字路口的复杂状况和系统的实时 要求，本文提出了一种基于虚拟线圈和车尾跟踪的检测方法，充分利用车尾部 的特征，完成了车辆数目、车速、闯红灯、超速等交通事件的检测和判断。实 验表明，该算法满足实时性要求，同时又能较为准确的检测到交通事件。 关键字：智能交通；车辆检测；车辆跟踪； a b s t r a c t a b s t r a c t t r a f f i ci n c i d e n t sd e t e c t i o ns y s t e mp l a y sa ni m p o r t a n tr o l ei nt h e i n t e lli g e n tt r a n s p o r t a ti o ns y s t e mt h e r ea r em a n ym e t h o d st od e t e c tt h e t r a f f i ci n c i d e n t sa n d t h ev i d e od e t e c t i o nm e t h o di so n eo ft h em o s t r a p i d l yd e v e l o p i n g t e c h n o l o g i e si nr e c e n ty e a r s d u et oi n s t a l l a t i o n c o n v e n i e n c e ，l a r g ed e t e c t i o nc o v e r a g ea n dh i g he f f e c t i v e n e s s ，t h ev i d e o d e t e c t i o nm e t h o di sb e c o m i n gah o t s p o ti nt h er e s e a r c hf i e l do f i n t e lli g e n tt r a n s p o r t a ti o ns y s t e m i nt h i sp a p e r ，w es t u d ys e v e r a lv e h i c l ed e t e c t i n ga n dt r a c k i n g m e t h o d sa n dp r o p o s es o m en o v e la l g o r it h m sa i m e da tt h ei m p l e m e n t a ti o n o ft r a f f i ci n c i d e n t sd e t e c t i o n o u rw o r k sm a i n l yf o c u so nt h ef o l l o w i n g a s p e c t s ： 1 d e t e c t i o no ft h em o v i n gv e h i c l e s w eu s et w od i f f e r e n tm e t h o d s t oi n i t i a l i z et h eb a c k g r o u n df i r s ta n dt h e nu p d a t ei td y n a m i c a l l y b y t h eb a c k g r o u n ds u b t r a c t i o n ，d il a t i o n ，e r o s i o na n dc o n n e c t i v i t yj u d g m e n t m e t h o d ，t h ev e h i c l e sc a nb el o c a t e d t h ee x p e r i m e n t ss h o w t h a to u r a l g o r i t h m s p e r f o r m a n c e sa r es a t i s f a c t o r y 2 t r a c k i n go f t h em o v i n gv e h i c l e s w e p r o p o s eat r a c k i n g a l g o r i t h mw h i c hb a s e do nt h et i m ea n dv e h i c l et e m p l a t ec h a r a c t e r i s t i c s t ot r a c kt h ev e h i c l e s ，w h i c hc o m b i n e st h ev e h i c l el o c a t i o nc o m p u t e d d u r i n gt h ed e t e c t i o no fv e h i c l e s m e a n w h i l e ，w ep r o v i d ed i f f e r e n t s t r a t e g i e st os o l v ed i f f e r e n tc a s e ss u c ha st h ed i s t u r b e dv e h i c l e ，t h e i n c o m p l e t ev e h i c l es h a p e ，a n ds oo n a tl a s t ，w er e a l i z et h ed e t e c t i o n o fc o n v e r s ea n dv e h i c l ef l o w b yu s i n gt r a c k i n gi n f o r m a t i o n t h e e x p e r i m e n tr e s u l t ss h o wt h a to u ra l g o r i t h mw o r k se f f e c t i v e l ya n ds t a b l y i nt h ev e h i c l e st r a c k i n ga n dt h ed e t e c t i o nr e s u l t sa r ea c c u r a t e 3 d e t e c t i o no fc r o s s r o a d st r a f f i ci n c i d e n t s i nv i e w o ft h er e a l t i m er e q u i r e m e n to fs y s t e ma n d c o m p l e xc o n d i ti o no fc r o s s r o a d ，w ep r o p o s e 交通事件的视频检测算法研究与实践 ad e t e c t i o na l g o r i t h mb a s e do nt h ev i r t u a ll o o pa n dt r a c k i n go ft h er e a r p a r to ft h ev e h i c l e t h i sm e t h o dc a nd e t e c ta n dj u d g et r a f f i ci n c i d e n t s s u c ha sv e h i c l ef l o w ，v e h i c l es p e e d ，r u s h i n gt h er e dli g h t ，o v e rs p e e d ， e t c t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ea l g o r i t h ms a t i s f i e st h er e a l t i m er e q u i r e m e n ta n dd e t e c t st r a f f i ci n c i d e n t sw i t hh i g ha c c u r a c y k e yw o r d ：i n t e l l i g e n tt r a f f i c ；v e h i c l ed e t e c t i o n ；v e h i c l et r a c k i n g ； 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成果。 本人在论文写作中参考的其他个人或集体的研究成果，均在文中以明 确方式标明。本人依法享有和承担由此论文产生的权利和责任。 声明人( 签孙粞诲 獬年乡月2 e t i 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大 学有权保留并向国家主管部门或其他指定机构送交论文的纸质版和 电子版，有权将学位论文用于非营利目的的少量复制并允许论文进入 学校图书馆被查阅，有权将学位论文的内容编入有关数据库进行检 索，有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密 后适用本规定。 本学位论文属于 l 、保密() ，在年解密后适用本授权书。 2 、不保密( ) 作者签名： 舾一麟 聊盼唧狐 日期：谚降多月乙e 1 日期：年月 日 第一章绪论 1 1 研究背景及意义 第一章绪论 近年来，由于经济的快速发展，道路交通迅速发展，机动车辆的保有量迅 速攀升，而相应的交通基础设施、交通法规普及教育和智能化交通管理系统的 建设相对滞后，对交通管理提出了新的挑战。为了解决地面交通快速发展所引 发的各种问题，智能交通系统( i t s ，i n t e l l i g e n tt r a f f i cs y s t e m ) 的研究被 提到了重要位置。许多国家就发展智能交通系统做出了长远规划。部分已经研 制成功的智能交通系统技术投入使用后取得了良好的效果和收益。我国早在7 0 年代就将电子技术和信息技术应用于交通运输领域。但9 0 年代才引入智能交通 系统的概念。现在，智能交通系统已经成为交通行业研究的热点。 智能交通系统是指利用信息技术对交通进行最有效和最理想的管理和指 挥的一系列软硬件的有机结合体。它通过信息处理、通信、控制、电子等先进 技术，使人、车、路更加协调地结合在一起，减少交通事故、阻塞和污染，从 而提高交通运输效率及生产率的综合系统。智能交通系统不单指某种或某几种 技术，更代表了一种全新的理论和思维方式，是人们对提高交通运输效率进行、 探索的最新成果。智能交通系统是从根本上解决日益膨胀的地面交通的诸多困 难而出现的一个新的技术领域，它是以信息技术为代表的高新技术在道路交通 运输中的集成应用，是先进的信息技术、数据传输技术、控制技术及计算机处 理技术等技术结合应用的综合管理系统。 智能交通系统可以为交通部门及时、准确的提供交通信息，从而使交通管 理控制系统有效的适应各种交通状况，运用多种控制系统，在相对宏观的高度 合理疏导或者调配运力，从而最大效能的发挥交通管理系统在交通监视、交通 控制、出入控制、救援管理等方面的准确性和调控性。 在智能交通系统中，交通监控是交通管理智能化的前提，建立交通自动监 控系统也就成为交通管理智能化的首要任务。交通自动监控系统的主要目标是 获取道路信息以及车辆行为信息，即交通事件，其中包括车流量、车速、车间 距、车辆类型、道路占有率、车辆违法信息、交通事故检测、道路气象、道路 交通事件的视频检测算法研究与实践 施工、视频监视图像等，主要侧重于对道路的宏观调控和对道路违章行为的治 理，对城市交通发展规划有着十分重要的意义。 1 2 技术研究现状概要 随着传感器技术，微电子技术和信息处理技术等的发展，交通检测技术也 得到了较大发展。目前，交通流参数检测的方法有很多，按其基本工作原理可 分为电磁感应式，电接触式，光电式，超声波式，红外线式等多种类型，其中 应用比较多的检测器主要有环形线圈检测、微波检测器、超声波检测器、视频 检测器等。 环形检测器是过去在交通检测系统中应用最为广泛的检测器。它的工作原 理是将其设置在上游距离停车线1 0 - 3 0 米处，当车辆通过时，检测器的电气特性 发生变化，从而可测定车流交通信息。它的优点是极佳的记数精度，技术成熟， 成本较低，安装方便。缺点是受环境影响比较大，可靠性和使用寿命强烈依赖 安装过程，安装维护时，中断交通，降低道路的使用寿命，易受到重型车辆， 道路维修及设施更换的影响。 微波检测器是利用雷达线性调频技术原理，对路面发射微波，通过对回波 信号进行高速实时的数字化处理分析，检测车流量、占有率、速度和车型等交 通流基本信息。其优点是在恶劣气候条件下能保持较好的性能，能检测停止车 辆，可设在路边对多车道进行检测。缺点是在前视模式中，需要窄带天线，以 保证投射面在车道内，分辨率低，目前应用于交通检测的微波雷达分辨率约2 米左右。 超声波检测器也是运用反射原理，发射器从顶部发出超声波，当有车辆通 过时，接收器接收到回波的时间是不一样的，据此判断是否有车通过。其优点 是体积小，易于安装。缺点是温度波动，气流波动，易造成性能恶化，只能测 量单车道。 视频检测器是最近5 年在交通检测系统中最为流行的检测器。它相比于其 他检测器有如下优点： 1 检测参数多：从视频信号中可以提取大区域范围内的多种交通参数， 并可提取一些采用其它方法难于检测到的全局参数。 第一章绪论 2 检测范围大：一路视频信号可以覆盖多个车道，实现大区域范围的交 通流检测。 3 安装简便，维护方便：安装时不需破坏路面；无须干扰正常交通，就 可完成检测器的重新设置；无须因道路路面维修而中断交通检测。 4 可扩展性强：交通流参数可以存贮在视频车辆检测系统内部，以各将 来查询；可提供视频图像，具备了交通事故管理的潜在能力。 到目前为止，在交通视频监控及其相关领域做出了比较突出的贡献的研究 小组有： 英国雷丁大学计算机系的v i e w s 项目组圆； 德国卡尔斯鲁尔大学计算机系h h n a g e l 博士领导的研究组魄们； 美国伯克利大学计算机系的r o a d w a t c h 项目组晦1 ； 美国卡耐基梅隆大学和马里兰大学等参与的v s a m 项目组口1 ； 美国康奈尔大学计算机系d a n i e lh u t t o n l o c h e r 教授领导的研究组阳一； 加拿大英属哥伦比亚大学计算机系d a v i dl o w e 教授领导的研究组n “。 1 3 论文的主要工作和成果 本文的研究工作依托于厦门高校电子信息技术有限公司的福州电子警察项 目，主要目的是实现一个交通事件视频检测系统，能够对道路上的车流量进行 统计，对车辆的速度进行估计，对车辆的违章行为( 主要是逆行和闯红灯行为) 进行判断。 首先本文对于一般道路上的交通事件特点进行分析，提出了一个适用于普 通道路的交通事件视频检测算法。该算法主要包括车辆检测、车辆跟踪、交通 事件检测三个部分，能够对车流量、逆行等交通事件进行检测。具体结构如图 1 1 ： 图1 1 ：一般道路交通事件视频检测系统框图 交通事件的视频检测算法研究与实践 其次，对于十字路1 3 的特殊情况，本文又提出了一种基于虚拟线圈和车尾 跟踪的交通事件视频检测算法，它主要包括检测区的车辆确定，跟踪区域的车 尾跟踪，综合两者信息的交通事件视频检测三部分，能够完成车流量、车速、 闯红灯、超速等交通事件的检测。具体结构如图1 2 ： 图1 2 - 十字路口交通事件视频检测系统框图 上面的两个算法分别针对普通道路和十字路口的特点提出，经过实验证明， 都能对指定的交通事件能够做到较为准确的检测，效果良好。 1 4 论文的组织结构 第一章绪论部分首先概述了智能交通系统及交通违法事件检测系统的应用 背景和对现代城市建设的重要意义，说明了交通自动监控系统所发挥的重要作 用；然后从技术角度简要的综述了国内外目前的一些研究现状。最后对本文的 主要工作和取得成果进行简要介绍。 第二章运动车辆的检测，从阐述运动目标检测与分割的内涵入手，介绍了 常用的运动检测方法：灰度特征法、背景差分法，时间差分法、光流法以及其 他一些方法；然后提出了一种有效的背景建模方法，阐述了背景的初始化和背 景维护的方法；接着利用背景差分、数学形态法得到车辆的区域，最后利用物 的体连通性定位车辆的位置，为车辆的跟踪提供一个待匹配的车辆位置列表。 第三章运动车辆的跟踪，首先简要的介绍了运动物体检测的基本概念和整 体思路；其次介绍了目前常用的跟踪方法：基于特征的跟踪方法，基于区域的 跟踪方法，基于主动轮廓的跟踪方法和基于模型的跟踪方法；接着详细介绍本 文提出的基于时域和车辆模板相似度匹配的跟踪算法，给出了算法的流程图以 及数据结构，讨论了已知车辆位置估算、候选车辆选择、车辆相似度匹配、遮 挡处理、分裂处理以及已知车辆序列更新等基本问题；然后运用跟踪的结果对 交通事件进行检测；最后给出了实验结果与分析。 第四章十字路口的交通事件检测。首先介绍了十字路口交通事件检测的重 第一章绪论 要性和十字路口的一些特征；其次详细阐述了本文针对十字路口而提出的基于 虚拟线圈和车位跟踪的交通事件视频检测算法，给出了该算法的流程和数据结 构，同时对实验过程中遇到的一些特殊干扰进行了分析并给出了解决方法；接 着利用这个算法对十字路口的交通事件进行检测；最后给出了相关的实验数据 并作出分析。 第五章总结和展望。主要是对本文工作进行了回顾，并针对本文系统存在 的不足给出了下一阶段工作的展望。 交通事件的视频检测算法研究与实践 2 1 引言 第二章运动车辆的检测 运动目标检测与分割是指检测并提取与背景存在相对运动的运动前景目 标，并根据灰度，边缘，纹理等二维图像特征将运动前景进一步分割为若干独 立目标。在整个系统中，对运动目标的检测识别是进行后续跟踪的关键之一。 可以毫不夸张地说，目标检测识别成功，则跟踪过程也完成了大半。正常情况 下，目标检测模块将从图像序列中获知是否存在运动目标，如果存在运动目标， 则给出目标在视频图像中的位置，方向，大小等特征，然后提交给目标跟踪模 块。总体流程如图2 1 ： 图2 1 运动目标检测和分割的总体流程图 运动车辆检测是运动目标检测的一个实例。 2 2 运动检测算法综述 运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动 区域的有效分割对于目标分类，跟踪等后期处理是非常重要的，因为以后的处 理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变 化，如天气，光照，阴影及混乱干扰等的影响，使得运动检测成为一项相当困 难的工作。 运动目标检测最常用的方法有灰度特征、背景差分，时间差分和光流法等。 2 2 1 灰度特征法 这种方法主要是利用路面和车辆在图像中的灰度信息特征的不同，以区分 第二章运动车辆的检测 路面和车辆。在实际路面上，车辆大多数为非灰色，而路面不外乎两种：柏油路 面和黑色沥青路面，这两种都是灰色路面。在2 4 位位图中，灰色物体表面像素 的r ( 红色) 、g ( 绿色) 、b ( 蓝色) 分量值五( f ) 、厶( f ) 和f u ( t ) 几乎是相等的。用 公式( 2 1 ) 对检测区是否为灰色进行判断： l f r ( t ) - - f b ( t ) l t h & i f r ( t ) - f o ( t ) l t h & i f b ( t ) - f o ( t ) i 其中，五( x ，y ) 一t l 与f 2 时刻的差分图像，z ( x ，y ) 一t l 时刻的图像，a ( x ，y ) 一 f 2 时刻的图像。将差分结果进行阈值处理，得到一个新的图像，即 伽，= 2 勰= r 亿4 ， 选择适当的阈值t ，使差分图像中只保留具有显著变化的区域。灰度变化 较小的部分被减掉，这里包括大部分背景和一小部分目标。由检测出的部分( 白 色区域) 可以大致确定运动目标在图像上的位置，使用相关算法时就可以缩小 搜索范围。 l i p t o n 等n 7 3 利用前后两帧的时间差分方法从实际视频图像中检测出运动目 标，进而用于目标的分类与跟踪；一个改进的方法是利用三帧差分代替两帧差分， 如v s a m 口3 开发了一种自适应背景减除与三帧差分相结合的混合算法，它能够快速 有效地从背景中检测出运动目标。时间差分运动检测方法对于动态环境具有较强 的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容 易产生空洞现象。 第二章运动车辆的检测 2 2 4 光流法 光流法就是利用图像灰度在时间上的变化与景象中物体的结果和运动的关 系，进行运动物体的检测。在图像中观察到的表面上的模式运动就是所谓的光流 场，而运动场则是三维物体的实际运动在图像上的投影。研究光流场的目的就是 为了从序列图像中近似不能直接得到的运动场。 假设运动可以由一系列映射参数描述，对应于同样的表面和三维运动的流量 矢量将具有映射参数的相同集合，通过把具有同样映射参数的流量矢量分配为同 一类的方法，完成光流分割。基于光流方法的运动检测采用了运动目标随时间变 化的光流特性，如m e y e r 等n 8 1 通过计算位移向量光流场来初始化基于轮廓的跟踪 算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前 提下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗 嗓性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。 2 2 5 其它方法 当然，在运动变化检测中还有一些其它的方法，如f r i e d m a n 与r u s s e l l n 9 1 利用扩展的e m ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法，为每个像素建立了混合高 斯分类模型，该模型可以自动更新，并能自适应地将每个像素分类为背景，影 子或者运动前景，在目标运动速度缓慢的情况下亦能较好地完成运动区域的分 割，并可以有效地消除影子的影响；另外，s t r i n g a 啪1 也提出了一种新颖的基于 数学形态学的场景变化检测算法，在变化的环境条件下获得了相对稳定的分割 效果。 2 3 车辆目标检测与分割 本章采用背景差分后运用大津法则瞳嵋进行阈值分割的方法对车辆目标进行 检测。为了保持背景差分的准确性，对于背景更新，提出一种基于车辆信息的 动态更新法。对检测出来的前景区域利用数学形态学加强车体区域的连通性， 最后利用车辆的连通性粗略定位出车体的位置，为车辆跟踪模块提供待匹配车 辆区域序列。 实验表明，以上一些方法的综合应用可以获得较好效果的待匹配车辆区域 o 交通事件的视频检测算法研究j 实践 区列，为跟踪匹配提供了足够的信息支持。 2 3 1 背景建模 在固定摄像机的视频监控中，由于背景差分法进行运动检测容易实现，速 度较快，检测效果较好，所以被广泛使用。但是背景差分法对背景要求较高， 因此需要一种较好的背景建模方法能够提取出较好的背景以及对背景能够进行 维护。 2 3 1 1 背景的提取 一般情况f ，车辆视频检测只对道路上的状况或者道路上的某个区域感兴 趣，因此我们可以预先对道路上感兴趣的部分勾画出一个区域。只对进入区域 的物体进行检测，可以提升算法的实时性。如图2 2 ： ： 图2 2 ：白色区域内为感兴趣的区域 最理想的背景是一幅纯背景，即该背景图片内不含有运动的物体。这种背 景几乎是只能在车流量稀少的道路上取得。而在一般情况下，想直接取得一帧 感兴趣的区域内无车辆的图片作为背景是很难的。因此需要用一些方法来取得 背景图片。本章主要采用下面两种方法来对背景进行提取。 方法一、灰度概率统计法 在普通的道路上，即不会出现大规模停车等待现象的道路上，我们认为在 一个给定的时间段内，背景点的灰度值出现的概率是最大的。因此给定背景初 始化时问t ( 通常取1 0 - 3 0 秒，如果车流量较大可以再适当延长) ，对任意位置 第二章运动车辆的检测 点( 石，j ，) ，该点在时间t 内出现的像素值记为g i ；该像素值在该点出现的次数记 为f r e q ( g i ) 。可以认为出现次数最多的像素值，就是对应背景图像中该点的像 素值，即该像素值出现的概率最大，可由下式表示： m 玑2 5 5 圹倒吕) = n m 嗍o ) ，俐d ，f r e q ( 2 5 5 ) r 9e 、 j b g r a y ( x , y ) = g j 、厶。7 在算法具体实现的时候，我们为每个像素点建立一个时间统计直方图，记 录该点在背景建立过程中出现的像素值及其出现频率，如图2 3 所示。 f l 时间：t 出现 i 灾数 输入的图像序列 j 占p ( x y ) 的灰度统计的时域直方图 ( a ) ( b ) 图2 3 背景模型初始化 效果如图2 4 - 图a ：1 0 0 帧得到的背景图图b ：1 0 0 0 帧得到的背景图 图2 4 ：利用灰度概率统计法得到感兴趣区域的背景图 交通事件的视频检测算法研究与实践 方法二：分块获取背景法 在图像感兴趣区域较小或车流量不是很大的情况下，我们可以将图像划分 为几个不同的小区块，然后利用人工手动取得。因为在车辆行驶过程中，车辆 之间会有间隔存在，利用这些间隔来取得背景可以获得十分纯净的区块背景， 将这些区块背景拼合起来就是一个完整的背景。效果如图2 5 ： 图2 5 ：利用分块获取法得到感兴趣区域的背景图 2 3 1 2 背景的维护 背景环境受天气和光照条件的影响而不断地发生变化，因此，背景必须不 断地更新以适应场景的动态变化。本章针对上述的背景获取方法，提出了一种 基于车辆位置信息的分块区域动态更新法。流程图如图2 6 所示： 图2 6 ：背景维护流程图 如上图所示，在对车辆进行检测与分割后，将视频帧中的所有点分为车辆点 与背景点。对于背景点，将以一定的学习概率对原来的背景进行反馈，以达到动 态维护背景的目的。 第二章运动车辆的检测 讹加躲叫峨似力瓣湍茎煮 亿6 ) 其中，z ( 工，j ，) 是当前点，口是学习概率，4 “j ，) 是维护的背景点 2 3 2 车辆的检测 本章采用的是背景差分法检测车辆，即通过评估输入图像与背景图像的差 异来提取具有显著差异的区域，即车辆区域。该检测算法的具体流程如图2 7 所示。 2 3 2 1 阈值选取 图2 7 ：车辆检测算法流程图 阈值的选取对于背景差分极为重要，它将很大程度决定运动检测的效果。 然而，如何选取适合的阈值是一件十分困难的事情，尤其是对于运动目标检测， 场景的变化给阈值的选取带来干扰。 本章采用的是1 9 7 9 年由o s t u 提出的以类间方差最大为聚类准则的动态门 限法( 也称大津准则) 进行阈值的选取乜。其算法为：对图像，记t 为前景与背 景的分割阈值，前景点数占图像比例为嘞，平均灰度为u o ；背景点数占图像比 例为m ，平均灰度为图像的总平均灰度u 为： 掰= + m 屿 ( 2 7 ) 交通事件的视频检测算法研究与实践 从最小灰度值到最大灰度值遍历t ，当t 使得公式2 8 值最大。 g = ( “o 一“) 2 + w ( “l 一“) 2 ( 2 8 ) 此时，t 即为分割的最佳阈值。这是因为阈值t 分割出的前景和背景两部分 构成了整幅图像，而前景取值，概率为w 0 ，背景取值，概率为，总均值 为“，根据方差的定义即得( 式2 8 ) 。因方差是灰度分布均匀性的一种度量， 方差值越大，说明构成图像的两部分差别越大，当部分目标错分为背景或部分背 景错分为目标都会导致两部分差别变小，因此使类间方差最大的分割意味着错 分概率最小。 l e esu 心羽等人的研究表明，在像素分类错误率、被分区域均匀性等方面， o s t u 法的性能较优。当目标面积大于整幅图像3 0 时，分割性能接近最优值。 但是当目标变小时，算法性能迅速下降。因此，在多次实验之后，我们发现， 当分割值小于3 0 的时候，感兴趣区域内的目标一般都很小甚至没有，此时用 o s t u 法分割效果极差。因此，我们设置了一个阈值3 0 ，当大津准则取得的分割 阂值小于3 0 时，就取3 0 ，有效地抑制了大津法的缺陷，实现了较好的二值化。 效果如图2 8 ： 2 3 2 2 膨胀与腐蚀 图2 8 ：背景差分和大津法的效果图 数学形态学瞳3 3 是分析几何形状和结构的数学方法，是建立在集合代数基础 上，用集合论方法定量描述几何结构的科学。数学形态学是由一组形态学的代 第二章运动车辆的检测 数运算子1 9 8 5 年后，它逐渐成为分析图像几何特征的工具，腐蚀和膨胀都属于 数学形态范畴内的运算。 简单膨胀是将与某物体接触的所有背景点合并到该物体中的过程。过程的 结果是使物体的面积增大了相应数量的点。如果物体是圆的，它的直径在每次 膨胀后增大2 个像素。如果两个物体在某一点相隔少于三个像素，它们将在该 点连通起来( 合并为一个物体) 。膨胀在填补分割后物体中的空洞时很有用处。 简单的腐蚀运算的作用是消除物体所有边界点的一种过程，其结果使剩下 的物体沿其周边比原物体小一个像素的面积。如果物体是圆的，它的直径在每 次腐蚀后将减少2 个像素。如果物体任一点的宽度小于三个像素，那么它在该 点将变为非联通的( 即变为两个物体) 。在任何方向宽度不大于2 个像素的物体 将被除去。腐蚀对从一幅分割图像中去除小且无意义的物体来说是很有用的。 在通过一系列的膨胀和腐蚀之后( 图2 9 ) ，很明显可以看到图像的连通性 增强了，这很有利于车辆的定位。 2 3 2 3 车辆的粗定位 图2 9 ：膨胀和腐蚀的效果图 从图中，我们看出来再经过膨胀、腐蚀之后，车体本身具良好的连通性。 因此我们根据车体的连通性来进行车辆的粗定位。具体算法如下： 设立一个队列q u e u e 用来判断连通性。从左上角的顶点开始，逐行扫描， 对每一个点做如下算法： 交通事件的视频检测算法研究与实践 1 若不是白点，则继续判断下一点。 2 若发现白点( 设为a ) ，则点a 进入队列q u e u e 且置为灰色。然后进行 下列的操作，同时将r e c t 的左右界都置为a 点的横坐标，上下边界都 置为a 点的纵坐标。 3 点a 出队列，对其其八邻域内的每一个点做如下判断： 4 若该点( 设为b ) 是白色，则将该点进入队列q u e u e 且置为灰色。 5 若点b 的横坐标小于r e c t 的左边界，则置点b 的横坐标为r e c t 的左边 界。否则，若点b 的横坐标大于r e c t 的右边界，则置点b 的横坐标为r e c t 的右边界。 6 若点b 的纵坐标小于r e c t 的上边界，则置点b 的纵坐标为r e c t 的上边 界。否则，若点b 的纵坐标大于r e c t 的下边界，则置点b 的纵坐标为r e c t 的下边界。 7 判断队列是否为空。是，则跳出。否，则对队首的点转 3 的操作。 经过算法的队列我们能够得到每个连通区域的外接矩形，这个就是车辆的 外接矩形。如图2 1 0 所示： 图2 1 0 ：车辆粗定位效果图 从效果图中，我们容易发现这种算法已经能大体的定位出了车体的位置。 但是因为一些特殊原因( 如车身颜色和路面较为相近、车辆间距离较近等) ，容 易出现车身分裂和车辆融合等现象。因此，我们还需要更进一步的利用车辆的 运动特性以及道路的信息进行判断、跟踪。而这些方法将会在下一章中详述。 第三章运动车辆的跟踪 3 1 引言 第三章运动车辆的跟踪 运动物体跟踪，就是在一系列的图像序列中发现并提取运动目标，不断跟 踪它们，并计算出这些运动目标的轨迹，为下一步目标识别、运动分析等算法 提供数据。由于背景图像的动态变化，如天气、光照等干扰影响，使得运动检 测成为一项相当困难的工作。它是计算机视觉研究领域的一个重要课题，在军 事视觉制导、视频监控、交通流量观测、机器人导航以及视频图像压缩和传输 等方面都有广泛的应用。 运动物体跟踪的基础是图像系列上的特征匹配或光流估算，和一个描述实 时运动进程的动态模型。特征匹配或光流估算作为跟踪算法的观察结果，它们 或者被假设存在，或者通过其它的方式从图像帧中估算出来。跟踪算法确定假 设的运动模型参数，这些参数是最佳拟合观察结果的整个集合。运动跟踪是在 一个“匹配一修正一预测 过程中实现的，在某时刻所检测到的图像特征要和系 统己有的特征建立对应关系，然后修正这些特征参数，最后预测它们可能在下 一时刻的位置。 运动车辆跟踪是运动目标跟踪的一个应用实例。 3 2 跟踪算法综述 机器视觉研究发展至今，人们已经设计出了很多跟踪系统和算法。视觉跟 踪的目的是要在图像序列中建立运动物体的位置，速度，形状，纹理和颜色等 特征的对应匹配。根据算法所用的图像信息，我们可以把这些算法做如下分类。 3 2 1 基于特征的跟踪 用于目标的跟踪的个体特征有许多，不管是刚体运动目标，还是非刚体运 动目标，在序列图像中相邻的两帧图像，由于图像序列间的采样时间间隔很小， 可以认为这些个体特征在运动形式上具有平滑性，因此可以用直线、曲线、参 照点等个体特征来跟踪运动目标。根据所选择的特征，我们可以把它们分成三 1 7 - 交通事件的视频检测算法研究与实践 类：全局特征方法，局部特征方法和相关图方法。 1 ) 全局特征方法乜t2 站利用的特征包括质心，周长，面积，曲率和各阶距等。 它采用统计模式识别的方法，速度快，识别率高，但是它无法处理遮挡和重叠 问题。 2 ) 局部特征方法啪脚1 利用的特征包括点嘲、线嚣1 或者曲线制等等。它可以 部分的解决遮挡和重叠问题，运算量也不是很大，但它的缺陷在于稳定性较差， 容易受图像中无关结构的干扰。 3 ) 相关图方法利用的特征包括特征之间的各种距离和几何关系。它也可以 解决遮挡和重叠的问题，但是它要进行图的搜索和匹配，运算量很大，难以达 到实时性的要求。 基于特征的跟踪方法有其显著的优点： 由于使用的符号模型运动方式简单，运动具有平滑性，因此跟踪目标的 算法就简单了： 这种方法己经假设特征符号运动是相互独立的运动，因此在运动分析时 可以不区分运动物体是刚体还是非刚体，也不用管它的几何形状： 跟踪过程中符号特征容易捕捉，能够匹配到每一个特征符号。 但是，基于特征的跟踪方法也有其致命的缺点b ： 伴随着复杂运动的简单运动，刚体运动目标的特征提取就会产生困难， 如圆柱旋转式运动时，运动目标不可能是匀加速运动，更不可能是匀速 运动； 运动初始化时的难点。刚体的一些特征会因为遮挡而无法识别，因此， 基于特征的跟踪算法必须解决目标跟踪过程中的运动初始化的难点，但 这些问题的解决又会使跟踪算法变得非常复杂； 在改变符号参数和3 d 目标运动参数时，这些参数是非线性的，因此特 征跟踪中恢复的3 d 运动参数对嗓声相当敏感。 在智能交通监控中，应用基于特征的方法来跟踪车辆，由于个体特征提供 的前后连贯性差，而且跟踪信息过于简单，对系统和传感器的固有噪声和目标 周围背景的干扰引起的噪声相当敏感。难以处理交通拥挤造成的阻塞、车辆的 部分遮挡问题。同时，交通场景经常发生的自然条件下的光照变化的适应性差， 第三章运动车辆的跟踪 交通行驶中的阴影现象很难解决，不能跟踪交通序列图像中复杂的汽车驾驶操 作。 3 2 2 基于区域的跟踪 基于区域的跟踪口2 1 是跟踪的一种常用技术。它的基本原则就是对候选像素 做图像分割，看是属于目标或是背景还是别的区块这类算法可以说是基于图 像分割的跟踪，因为它和图像分割用的方法一致，都是根据给定的线索优化像 素的选择和聚合。但是它和图像分割也有不同点：跟踪的目的是要在图像序列 中对目标进行定位。容忍一定程度的像素分类不准确，即只要分割结果足以区 分目标和背景及噪声就行；分割要求准确的显示图像的轮廓。使用的分割线索 有：图像灰度，颜色，物体运动特征，纹理特征，颜色直方图和深度信息。 f r a n c o i s 啪1 提出的区域跟踪方法依赖于以前的检测来区分运动目标，然后 跟踪目标跟踪算法依赖于两个互相影响的动态系统，这个系统捕获了在场景 中投影到图像平面的随时间变化的形状和运动组成，运用滤波跟踪技术精确估 计了区域几何形状和速度。j o r g e m 3 等人提出的区域跟踪算法不仅利用了分割结 果来给跟踪提供信息，同时也能利用跟踪所提供的信息改善分割效果，把连续 帧的目标匹配起来达到跟踪目标的目的。g r i n i a s 啪1 等人提出的基于半自动起始 区域增长算法的目标跟踪方法，在序列图像中连续两帧图像用一个起始区域增 长分割算法进行初始分割，然后在整个序列图像中跟踪出目标。m a n c h u r l 嘲1 等 人推荐了一种方法：在分割起始阶段即帧内分割阶段定义了一个感兴趣的区域， 相应的目标边界可以精确发现。帧内分割以后，区域自动跟踪应用于随时间演 变的区域，跟踪到操作者停止处理。 用基于区域跟踪的方法跟踪用来跟踪车辆，对于城市交通中存在的遮挡问 题不太敏感，而且这种方法跟踪可以改善图像的分割。基于区域的车辆跟踪方 法由于在跟踪目标之前能完成最后的图像分割，因此能在他们的形状突然改变 或消失时都能正确图像分割。 3 2 3 基于主动轮廓的跟踪方法 随着m k a s s 等人提出主动轮廓( a c t i v ec o n t o u r ) 姗和a b l a k e 等刎 人提出c o n d e n s a t i o n 算法以后，也有不少学者将这些方法成功的应用到车辆跟 - 1 9 交通事件的视频检测算法研究与实践 踪上汹1 。利用主动轮廓方法来跟踪物体的轮廓是计算机视觉在上一个十年中的 重要成就之一。由于它用采样的方法来模拟高斯分布，同时用一个统计差分方 程来表示目标的运动模型，即使在遮挡和存在干扰的情况下，主动轮廓方法也 能得到令人满意的结果。但是主动轮廓方法只能精确到轮廓的层次，从图像平 面上的轮廓恢复物体在三维空间的姿态仍然值得研究。更困难的是，主动轮廓 方法对初始值很敏感，在开始跟踪的时候如何自动选择一个好的初始值仍然是 一个十分困难的问题。 3 2 4 基于模型的跟踪方法 由于交通监控是一个专门领域的问题，因此可以通过领域内已有的知识来 对问题进行简化。知识的表达可以通过事先建立某种模型来完成，通过建立模 型可以增加可利用的信息量，这样会极大的促进问题的解决。 基于模型的定位与识别的文献已经出现了很多，方法也各有差别。根据他 们所选择的模型，可以把它们分成三类： 基于二维模型的方法呻4 。这类方法通过在事先建立的二维模扳和图像 中相应的特征之间进行匹配来定位和识别物体。其优点在于它们不需要 建立目标的三维模型( 一般来说，从几幅图像建立物体的三维形状是非 常困难的) ，但是它们必须以视点为中心建立模型，每一个可能的视点 都需要独立的建立一个模型。如果物体可能以三维空间的任何姿态出现 在图像中，那么这些方法将变得不实际了。 基于2 5 维模型的方法h 羽。这类方法对物体表面的某些属性建立模型， 这些属性包括颜色，区域，方向，反射和速度等。和2 维模型相比，2 5 维模型能够更准确的表示物体的特性，从而能够得到更好的结果。基于 2 5 维模型的方法同样不需要建立三维模型，也同样必须以视点为中心 建立模型。 基于三维模型的方法“3 ，枷。这类方法通过测量，c a d 模型或者其他的计 算机视觉技术实现建立起目标的三维模型，在跟踪的时候通过模型和投 影之间进行匹配来定位和识别目标。如前所述，如果物体可能以三维空 间的任意姿态出现在图像中，那么基于三维模型的方法将是最佳的选 择。由于利用了物体的三维轮廓或者表面信息，这类方法在本质上具有 第三章运动车辆的跟踪 非常强的鲁棒性，在遮挡和干扰情况下能够获得其它方法难以比拟的效 果。但是就一般性的应用场合而言，基于三维模型的方法也有自己的一 些缺点：需要在跟踪之前建立物体的三维模型。当目标是非刚体，目标 的情况无法事先确定，或者目标种类太多的时候，他就无法适应了；需 要在图像和多个模型投影之间不断进行匹配，运算量很大，必须精心设 计搜索和匹配算法才能够做到实时处理。 3 。3 。路径连贯性理论 在帧图像序列中跟踪物体运动是非常常见的应用。如果图像序列中只存在 一个物体，问题相对比较简单，但是如果同时存在多个同时并且独立地移动的 物体，那么就需要更加复杂的方法来综合单个物体的运动约束。在这种情况下， 应该审视一下用于描述物体运动的运动假设和约束，例如最大速度，最小加速 度，共同的运动，相互对应关系，运动平滑性等。因此，形成路径具有连贯性 这个概念是可能的，这意味着图像序列中任意点上的物体运动不会发生突然改 变。 3 3 1 路径连贯性函数瓴枷 表示所得到的物体轨迹和运动约束之间的一致性的度量，路径连贯性函 数应该服从下列四个原则： 函数值永远是正的； 函数反映了轨迹的局部绝对角度偏差； 函数应该平等的响应正的和负的速度改变； 函数应该加以规格化，即( ) (