（计算机应用技术专业论文）机动车测速中的目标检测与跟踪技术的研究与应用.pdf

摘要 摘要 本文的主要研究内容是机动车测速问题，其中主要涉及计算机视觉、信息 采集、视频图像处理等方面的知识。本文针对机动车测速中的目标检测和目标 跟踪问题展开如下研究： 1 ，在运动目标检测方面，本文详细分析了基于混合高斯模型前景检测算 法，对算法的缺点进行了分析。并在此基础上，结合本文的应用环境，从三个 方面对基于混合高斯模型的检测方法进行改进：在预处理时对车道线进行检测， 提取出行车区域，排除无效区域，减少算法建模的像素点数；针对传统混合高 斯模型中各像素点的高斯模型相互独立，未充分利用全局图像信息的不足，提 出了利用背景全局狄度直方图信息对背景模型做选择性更新，减少了混合高斯 模型的更新次数；对混合高斯模型参数t 进行改进，利用车流量使t 实现动态 更新，这里t 表示该点长期处于背景的概率。通过这些改进较好地提高算法运 行速度。 2 ，在多目标跟踪方面，在研究几种常用跟踪算法的基础上，提出了基于预 测的规则方法对多目标进行跟踪。并对该方法的跟踪流程、跟踪模型、匹配规 则和算法步骤进行了详细说明。试验表明，该方法效果令人满意。 3 ，本文对跟踪点和跟踪区域的选取进行讨论并给出选取依据和意义。本文 还就检测和跟踪中遇到的车辆分裂和遮挡问题进行论述，并给出了本文的解决 方法。 本文最后还给出了视频测速系统的设计方案，并针对本系统的一些问题， 提出了解决方法，通过试验表明，该系统能很好的运用于实时环境，检测和跟 踪效果比较理想。 关键字：运动目标检测；多目标跟踪；混合高斯模型 a b s t r a c t a b s t r a c t t h i st h e s i sd i s c u s s e sv e h i c l es p e e dm e a s u r e m e n tp r o b l e m i tr e l a t e st oc o m p u t e r v i s i o n t h ec o l l e c t i o no fi n f c i r m a t i o na n dt h eo p e r a t i o no fv i d e o f r e q u e n c yi m a g e a i m e da tt h ep r o b l e mo nm o v i n go b j e c td e t e c t i o na n dt r a c k i n gi nv e h i c l es p e e d m e a s u r e m e n tt h r o u g hv i d e o ，as e r i e so fe x p l o r a t o r yr e s e a r c h e sd o n ei nt h i sp a p e ra r e a sf o l l o w s ： 1 ，t h ef r o n tv i e wd e t e c t i o na l g o r i t h mb a s e do nm i x e dg a u s s e sm o d e lw a s a n a l y z e di nd e t a i la n dt h ew e a kp o i n t so fw h i c hw a sa l s oa n a l y z e di nt h ea s p e c to f m o v i n gt a r g e t sd e t e c t i o n t h em i x e dg a u s s e sm o d e lw a si m p r o v e df r o m t h r e ea s p e c t s a c c o r d i n gt ot h ea p p l i c a t i o ns i t u a t i o no ft h ea r t i c l e ：t h et r a f f i cl a n ew a sd e t e c t e do n t h ep r e p r o c e s ss t a g e ，t h ed r i v i n ga r e aw a se x t r a c t e d ，t h ei n e f f e c t i v ea r e a sw e r e r e m o v e d ，t h en u m b e ro ft h ea l g o r i t h mm o d e l i n gp i x e l sw a sd e c r e a s e d ；a i m e dt ot h e w e a kp o i n t so fc l a s s i c a lm i x e dg a u s s e sm o d e lt h a te a c hp i x e li si n d e p e n d e n ta n dd i d n o tt a k ea d v a n t a g eo ft h eg l o b a li m a g ei n f o r m a t i o n ，a ni m p r o v e dm e t h o dw h i c h u t i l i z e dt h eb a c k g r o u n dg l o b a lg r a ys c a l ec o l u m nd i a g r a mt h a tc a nm a k es e l e c t e d i m p r o v e m e n t so ft h eb a c k g r o u n dm o d e l ，d e c r e a s et h eu p d a t i n gf r e q u e n c yo ft h e m i x e dg a u s s e sm o d e lw a sp r o p o s e d t h em i x e dg a u s s e sm o d e l sp a r a m e t e rtw a s i m p r o v e dt h a tc a ni m p r o v e db a s e do nt r a f f i cf l o w sd y n a m i c a l l y a l lo ft h ea b o v e i m p r o v e m e n t sc a np r e f e r a b l yu p g r a d et h er u n n i n gs p e e d o ft h ea l g o r i t h m 2 ，i nt h ea s p e c to fm u l t i - t a r g e t st r a c k i n g ，ak i n do fr u l e sm e t h o db a s e do n p r e d i c t i o nw h i c hc a nt r a c kt h em u l t i p l eo b j e c t sw a sp r o p o s e da f t e rr e s e a r c h e do n t h e g e n e r a lt r a c k i n ga l g o r i t h m s t h et r a c k i n gc i r c u i t ，t r a c k i n gm o d e l ，m a p p i n g r u l e sa n d a l g o r i t h ms t e p sw e r es t a t e di nd e t a i l t h ee x p e r i m e n t a lr e s u l ts h o w n t h a tt h em e t h o d w a se f f e c t i v e 3 ，t h es e l e c t i o no ft h et r a c k i n gp o i n t sa n dt r a c k i n ga r e aw e r ed i s c u s s e d ，t h e b a s i sa n dt h em e a n i n go fw h i c hw e r eg i v e n t h ev e h i c l ed i v i s i o na n ds h e l t e r i n g p r o b l e m sw e r es t a t e da n dt h er e l e v a n ts o l u t i o n sw e r eg i v e n i nt h ea r t i c l e f i n a l l y , t h ev i d e os p e e d o m e t e rs y s t e md e s i g ns c h e m ew a sg i v i n g ，a n ds o m e s o l v i n gm e t h o dw a sp r o p o s e ds u b j e c tt o t h ep r o b l e m se x i s t e di nt h es y s t e m t h e s y s t e mc a nm a k eu s eo ft h er e a lt i m ee n v i r o n m e n ta n dt h ed e t e c t i v ea n dt r a c i n g e f f e c t sa r eq u i t ei d e a l k e yw o r d s ：m o v i n gt a r g e t sd e t e c t i o n ；m u l t i t a r g e t st r a c k i n g ；g a u s s i a nm i x t u r e m o d e l i i 学位论文独创性声明 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得直昌太堂或其他教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示谢意。 学位论文作者签名( 手写) ：堤；善签字日期：w 形年，y 月日 学位论文版权使用授权书 本学位论文作者完全了解直昌太堂有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权南昌太堂可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编本学位论文。同时授权中国科学技术信息研究 所将本学位论文收录到中国学位论文全文数据库，并通过网络向 社会公众提供信息服务。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：焚、0 弓 导师签名： 一 二 ， 之即色 j 签字日期：w 髫年f 明循 签字日期：埘年2 - , q 乡口日 第一章绪论 第一章绪论 1 1 课题的研究背景及意义 近年来，随着国民经济的迅速发展，交通运输和公路建设得到了快速发展， 尤其是高速公路的建设十分迅猛。交通部的统计资料表明，截止2 0 0 6 年底，全 国高速公路通车里程已经达到4 8 万k m 。而相应的交通基础设施、交通法规普 及教育和智能化交通管理系统的建设相对滞后，对交通管理提出了新的挑战。 为了解决由于交通迅速发展所带来的各种问题，世界各国都在大力发展智能交 通系统i t s 。许多国家就发展智能交通系统做出了长远规划，部分已经研制成功 的智能交通系统技术投入使用后取得了良好的效果和收益。我国早在7 0 年代就 将电子技术和信息技术应用于交通运输领域，但9 0 年代才引入智能交通系统的 概念。现在，智能交通系统已经成为交通行业研究的热点。每年召开一次的智 能交通世界大会是世界智能交通领域规模最大的国际会议，由各大洲相关协会 和机构组织进行，该大会在促进技术研发、展示、交流以及科技知识普及等方 面发挥着不可替代的作用。 智能交通系统( i t s i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m s ) 是在较完善的道路设 施基础上，将先进的电子技术、信息技术、传感器技术和系统工程技术等有效 地综合运用于地面交通管理体系，从而建立起一种实时、准确、高效、大范围、 全方位发挥作用的交通运输管理系统。它是充分发挥现有交通基础设施的潜力， 提高运输效率，保障交通安全，缓解交通拥挤的有力措施。i t s 是一个基于完善 信息系统的综合高效管理系统【。交通监测系统是智能交通系统的重要环节，负 责采集有关道路交通流量的各种参数。交通环境的车辆检测研究可以追溯到2 0 世纪7 0 年代。传统车辆检测器如磁感应线圈，激光测速和雷达测速有着诸多缺 点和局限，鉴于这种情况，人们不断提出新的替代方案，如采用雷达、超声波、 红外线、微波、声频及视频图像等技术的悬挂式传感器。近年来随着计算机和 图像处理技术的不断发展，利用机器视觉检测器来进行车辆检测成为一种特别 有潜力的替代方法，有望取代传统检测器成为现代智能交通系统的一个重要组 成部分。在智能交通系统中，高速公路车辆测速是重要的研究方向。车辆测速 系统主要目标是在高速公路上对检测区域内的车辆获取其速度信息，抓获超速 第一章绪论 车辆，从而保证高速公路上的交通安全。 运动物体的检测与提取以及目标物体的跟踪作为运动物体的视觉分析中的 两项核心技术以及底层问题，它们是后续各种高级处理，如物体分类及行为识 别、事件检测、行为分析、视频图像的压缩编码和语义索引等高层次的视频处 理和应用理解的基础，也是视频监控技术自动化和实时应用的关键，同时，它 们也是当前图像技术研究应用的热点和焦点。目前，运动物体的检测与提取以 及目标物体的跟踪在视频监控、人机交互、娱乐动画、多媒体、通讯以及军事 等领域都有着极为广泛的应用背景。同时，物体检测与跟踪技术也可以广泛的 应用在交通环境中，例如对车辆进行速度检测，监视某一路段的车流，对车辆 进行准确的定位，这样可以提高车牌识别、车辆识别的精度。 采用视频方式对交通状况进行速度监控能够克服其它方法( 如感应线圈， 激光测速和雷达测速等) 所产生的许多问题和不便( 如环形地埋式线圈感应器 检测要求设置于路面土木结构中，对路面有损坏，施工和安装不便，而且安装 的数量多；激光测速准确度不够；雷达测速在近距离受车型影响严重，且安装 在固定龙门架上俯身测量难以得到准确数据) ，具有其技术和经济优势【2 j 。 由于视频处理的独特优势，在交通监控系统中已被广泛应用，成为现代智 能交通系统( i t s ) 的发展方向和趋势，现在多数大城市中闯红灯系统已经由地 感线圈等工作方式过渡到视频处理方式，并取得了良好效果。流量、速度监控 系统也逐渐采用了视频处理方式，视频图像检测已经成为i t s 关键核心技术之 一。采用视频测速技术来对车辆的速度进行测量是将来道路测速系统的趋势。 基于车辆视频检测和跟踪技术来进行视频测速是近年来计算机视觉领域中 备受关注的前沿方向，它从运动图像序列中检测、识别、跟踪车辆，获取所需 交通统计量，属于图像分析和理解的范畴。同时，动态场景中运动物体的快速 分割、光线变化、多辆车辆粘连、车辆互遮挡的处理等也给车辆视频检测带来 了一定的挑战。 1 2 国内外研究现状 视频序列中的运动目标检测以及运动估计是计算机视觉领域的基本问题，在 机器人技术、治安监控、智能交通、视频编码、以及本文的视频测速领域起着 非常重要的作用。国外的视频检测技术研究开始的较早，经过十几年的发展， 2 第一章绪论 技术己经相当成熟，视频检测与线圈检测技术相比具有的优越性和高性价比己 得到业内人士的公认，代表了未来车辆检测领域的发展和应用方向。在1 9 9 6 年 至1 9 9 9 年间，美国国防高级研究计划局d a r p a ( d e f e n s ea d v a n c e dr e s e a r c h p r o j e c t s a g e n c y ) 资助卡内基梅隆大学、戴维s a r n o f f 研究中心等著名大学和 公司合作，联合研制了视频监视与监控系统v s a m l 3 】( v i d e os u r v e i l l a n c ea n d m o n i t o r i n g ) ，该项目的目标是拟发展一种自动的视频解译技术，实现单人对复 杂区域如战场或其他的一些重要场所内的人员行动的监视，该系统利用三帧时 域差分法实现运动目标的检测，采用自适应模板匹配的方法实现对运动物体的 跟踪，使用颜色和形状进行物体的分类和识别。美国的a r d a 机构在2 0 0 3 年 秋开始主持一项高级研究计划v a c e ( v i d e oa n a l y s i sa n dc o n t e n te x t r a c t i o n ) ，旨 在通过物体检测、识别和跟踪，以达到检测、识别和理解物体行为的目的1 4 。由 欧洲f r a m e w o r k v 负责的一个视频监控的核心项目a d v i s o r d e n g 也是为了研究和 开发类似的智能监控系统。美国i s s 公司的a u t o s c o p e 是一个较为成功的商 业系统，具有实时检测交通参数的能力，是国际上交通信息采集中最具竞争力 的视频检测系统之一。a u t o s c o p e 可以装在室外机柜里，接收多路由路边摄 像机传来的视频信号。用户根据显示的路面交通状况图像，利用鼠标在屏幕上 绘制虚拟“车辆检测器”。系统一旦完成检测器的设置，每当车辆通过任何一个虚 拟检测器时，就会产生一个检测信号。a u t o s c o p e 处理器分析输入的视频图 像，产生所需的交通数据，例如：流量、速度、占有率、车头距离、车辆排队 长度以及车辆类型等。i s s 公司对a u t o s c o p e 技术不断开发、改进和完善， 目前该公司的产品己成为业界的领头羊。另外国外还有一些公司在这方面也从 事了应用研究和开发工作，也推出了各自成熟的系统级产品。比如美国p e e 公司的v i d e o t r a c k 9 0 0 ，比利时t r a f i c o n 公司推出的m o n i t o r 系列等。 对于大场景的事件检测，e r i cg l i m s o n 和l i l yl e e 提出了建立多个摄像头监 控的解决办法巧1r 6 ，在他们的论文中，首先产生实时更新的背景，并且进行背 景差分，然后在共同的坐标系中估计出运动物体( 如车辆) 的3 d 相关位置及 运动方向，因此可以连续跟踪运动物体，而且运动物体的运动状况也可以用模 型分析出来。k a t s u s h ii k e u c h i 和m a s a os a k a u c h i 在文献r 刀中提出了一种被称为 时空马尔可夫随机场( m r f ) 的算法，该算法可以在十字路口进行交通监控及 事件检测。他们分析了在压缩域内的特征( d c t 系数) ，建立了一个基于hm m 的事件识别系统。在文献 8 中，r c u c c h i a r a 提出了在视频图像上基于规 3 第一章绪论 则推理的城市交通车辆检测算法。这个算法的优点是它正式把低阶图像处理模 型( 常被用来在不同照度条件下提取可视数据) 与高阶模型区分开，而高阶模 型可以为交通监控提供一种基于知识的常规框架。在文献 9 中，d a n i e ld a i l e y 提出了一个基于非校准摄像头的估计平均速度的算法。该论文证明了不需估计 校准摄像头的参数就可以利用图像序列里有用的几何关系、帧间的车辆运动轨 迹估计及车辆长度分布估计出车辆速度。在文献 1 0 中，作者提出了一个新 的跟踪算法，这个算法由层模型，块关系及卡尔曼滤波组成，它可以用于检测 拥挤交通的情况。 为了促进我国视频监控的研究和发展，中国科学院自动化研究所的模式识 别国家重点实验室于2 0 0 2 年在北京成功的举办了“第一届全国智能视频监控会 议”。2 0 0 3 年底又在北京举办了”第二届全国智能视频监控会议”自动化学报 在2 0 0 3 年5 月出版了一期动态场景的视频监控专刊。全国许多大学和科研机 构也都竞相展开对视频监控的研究。中国科学院自动化研究所模式识别国家重 点实验室谭铁牛研究员从2 0 世纪9 0 年代初就开始研究基于三维模型的智能视 频监控系统，领导视频监控小组，针对系统中若干关键性问题，进行了深入的 研究和探讨，提出了自己的见解和主张，取得了一系列的研究成果，在国际计 算机视觉领域权威期刊如i j c v 和重要国际会议如i c c v 上发表论文数十篇，在 i e e es m c 上作了有关视频监控的特邀报告。他们还总结了英国雷丁大学的 v i e w s 车辆交通监控原型系统的研究经验，在以往的理论研究的基础上，自行 设计了一个拥有完全自主版权的交通监控原型系统v s t a rv i s u a l s u r v e i l l a n c e s t a r ，并在p c w i n d o w s 2 0 0 0 平台上用v i s u a lc + + 6 o 语言初步实现了 这个系统。 在我们国内，视频检测技术应用研究起步较晚，但是由于近几年我国交通 事业的飞速发展，交通管理及控制的应用需求在不断增加，越来越多的研究机 构和厂家开始关注该技术的研究，也出现了一些可以应用的产品，比如湖南天 翼信息技术有限公司推出的智能交通视频图像处理系统，清华紫光开发的 v s 3 0 0 1 视频检测系统，厦门恒深智能软件系统有限公司研制的h e a d s u n s m a r t v i e w e r - i i i 视频交通检测器，哈尔滨工业大学的v t d 2 0 0 0 系列视频交通动 态信息采集系统，亚洲视觉公司的路段交通信息系统，以及深圳市神州交通系 统有限公司的v i d e ot r a c e 智能视频交通信息采集系统等等。这些系统都比较好 的实现了视频检测的功能，但在实际的推广当中效果并不明显，还远远没有达 4 第一章绪论 到实际应用的要求，同国外的产品相比还有相当的差距。因此，我们国内在这 方面的研究还要继续加强，不断开发和完善技术，真正推出适合于国情的交通 视频检测产品。 1 3 研究内容及本文章节安排 目前，车辆实时检测和跟踪技术，有着很高的实用价值和广阔的市场前景， 各个国家的科学家、学者、商人对它进行研究，甚至推出了相应的产品，而中 国在这方面相对落后，只是处于研究阶段。即使是国外的现有成果仍有许多需 要进一步完善。本文将考虑利用已有的基于视频的车辆检测和跟踪算法，在此 基础结合模式识别技术对其加以优化和改进，并实现一个基于静止摄像机的运 动车辆智能视频测速系统，能够适用于大面积、多目标的复杂场景，能排除天 气、光照、阴影及车辆的互相遮挡等干扰，并进而精确计算出所跟踪的目标车 辆在视觉范围内的平均速度，应用于高速公路和城市交通中。 本文主要研究内容包括以下部分： ( 1 ) 研究各种基于视频的车辆检测和跟踪算法，对各种方法的优劣进行比 较，通过大量的实验数据找出各种算法的优缺点，根据实验结果反映出来的问 题来研究在多种环境条件下对多个车辆目标进行视频检测和跟踪并以此计算车 辆速度的方法。 ( 2 ) 改进车辆检测算法，确定一种比较好的方法，使它能适用于复杂背景， 能排除各种干扰，提高检测车辆的精确度。在研究了各种车辆检测方法后，本 文利用混合高斯模型建立背景模型，并利用该背景模型完成运动目标的检测。 本文根据高速公路的特点提出了采用行车区域提取的方法，减少维护背景模型 的像素点数，减少了混合高斯模型的运行时间，极大的提高了系统运行速度。 同时根据检测区域的全局灰度直方图分布特点，有选择更新背景模型，进一步 缩短了算法运行时间。同时，对混合高斯模型参数t 做出改进，使其达到自适 应性，提高了检测精度。 ( 3 ) 提出了基于预测的规则方法对多目标进行跟踪。并对该方法的跟踪流 程、跟踪模型、匹配规则和算法步骤进行了详细说明。 ( 4 ) 最后，本文对跟踪点和跟踪区域的选取进行讨论并给出选取依据和意 义。本文还就检测和跟踪中遇到的车辆分裂和遮挡问题进行论述，并给出了本 5 第一章绪论 文的解决方法。 论文的各个章节内容安排如下： 第一章绪论部分对本课题的研究背景和意义做了详细阐述，同时分析了本 课题的国内外研究现状，最后对本文的研究内容和相关章节内容安排做了介绍。 第二章数据预处理和相关问题描述部分详细介绍了本文用到的相关数据预 处理操作。本章就本课题遇到的相关问题做出了阐述，本课题内容都是基于这 些问题展开。 第三章运动目标检测部分，介绍了几种常用的目标检测方法，在此基础上 提出了混合高斯模型的改进算法作为本文的目标检测方法。本章还介绍了本文 车辆检测用到的一些相关处理。最后给出了目标检测结果并对其做了详细分析。 第四章多目标跟踪部分，介绍了几种常用的跟踪算法，重要介绍了本文提 出的基于预测的规则方法实现目标跟踪的流程、目标跟踪模型、匹配规则和详 细的算法步骤。本章还对跟踪点和跟踪区域的选取进行讨论并给出选取依据和 意义。并对就检测和跟踪中遇到的车辆分裂和遮挡问题进行论述，给出了本文 的解决方法。 第五章在前文的基础上，给出了演示系统v t s 的设计。 第六章总结与展望。对本文的主要工作进行总结，并给出进一步的工作建 议。 。 6 第二章数据预处理及相关问题描述 第二章数据预处理及相关问题描述 图像的预处理在计算机视觉、图像识别中得到了广泛的应用，这主要是因 为它实际上也是一个去除无用信息，提高算法效率和速度的过程。预处理做得 好可以减少后面核心算法中的工作量，相反如果缺少必要的预处理过程，则会 对后面系统的结果产生较大的不利影响，有可能造成工作量的增大和效率的降 低，影响算法的有效性。在很多视觉系统中，预处理都占有很大的比重。 由于视频图像在采集和传输过程中都可能产生噪声，有可能造成视频图像 的模糊、淡化、残缺等不利于进一步处理的变化，因此本文主要考虑图像增强 和图像滤波对视频图像进行预处理操作。同时结合本文的应用环境，对图像事 先进行行车区域提取，将车道线数据应用到后期处理中。下面分别对这些预处 理操作进行说明。 2 1 图像增强 图像增强是一种为了改进图像质量图像处理技术。图像增强的目的是使图 像更适合于计算机的分析处理。图像增强的技术方法，现在还没有衡量图像质 量的通用标准可以用来作为图像增强处理器的设计规则。实际工作中一般根据 实践经验来判断。本文采用“直方图均衡化”的技术对图像进行增强处理。 “直方图均衡化”技术是现在应用比较多的处理方法，它的原理是：使各灰度 级具有相近的出现概率，把图像的灰度范围拉开，并且让灰度频率较小的灰度 级变大，即让灰度直方图在较大的动态范围内趋于一致，从而使图像看起来比 较清晰。但我们必须指出这种方法会修正图像的视觉质量，但同时也会增加一 些噪声，有时甚至会得不偿失【l l 】。 2 2 图像滤波 由于视频图像在采集和传输过程中都可能产生噪声，噪声使得图像的质量 有所下降，因此为保证图像的抗干扰能力，首先要去除噪声。目前，一般都是 采用滤波的方式去除噪声的干扰。滤波的方法有很多，像中值滤波、低通滤波、 高通滤波等。由于本课题应用高速公路的野外环境，主要是天气变化带来的椒 7 第二章数据预处理及相关问题描述 盐噪声，而中值滤波不但能去除椒盐噪声，同时可以保留图像细节。所以本课 题采用中值滤波去除干扰。 中值滤波由t u k e y 首先用于一维信号处理，后来很快用到二维图像的平滑 中，它是一种抑制噪声的非线性处理方法。这种方法的特点是运算简单，便于 实现，在滤除叠加白噪声和长尾叠加噪声方面显示极好的特性，尤其是在滤除 脉冲噪声的同时可以很好的保护信号的细节部分，所以能够较好的保护图像边 界。 2 3 行车区域提取 在采集的高速公路视频中除了行车区域外，还有旁边的一些图像，如高速 公路护栏以及绿化带、其他车道、路边事物等。这些图像会对车辆检测以及跟 踪带来干扰，并且会加大计算量，从而影响视频测速。所以我们在对车辆检测 之前可以先提取出行车区域，即两个车道线之间的区域，排除行车区域外的干 扰，为后面的检测与跟踪打下好的基础。对于行车区域检测，本文采用的方法 是先对图像进行边缘提取，然后进行动态闽值二值化，再检测出车道线，最后 根据车道线位置提取出行车区域i i “。 经过了提取行车区域后的检测路面如图2 1 所示。从圈中我们可以看出。经 过行车区域提取后的图像首先排除了行车区域外背景图像对车辆目标检测的影 响使背景变得较为简单，同时在维护背景模型时，可以极大的减少背景维护的 点数节省了算法运行时间，同时有利于节省内存空间，详细说明见3 4 2 节。 一n 前景田行车区域提取后的图像 图2 i 基于行车区域检测结果 第二章数据预处理及相关问题描述 2 4 课题相关问题描述 目前最常用的运动物体检测方法是背景差法，但该方法的困难不是减除本 身而是对背景模型的维护【1 3 】。本文利用改进的混合高斯模型建立背景模型，然 后实现运动目标的检测和跟踪。这其中涉及到的车辆视频检测问题是整个后续 处理的关键。因此建立一个理想的背景模型是做到运动物体准确检测和跟踪的 关键。该模型不但能在运动目标存在的初始条件下进行背景模型建立，而且能 够随着检测场景的变化自适应的进行背景模型的保持和更新，并能处理运动目 标检测中的相关问题。 结合本文的高速公路的特定应用环境，应综合考虑以下问题： ( 1 ) 背景中非目标物体的瞬时变化：当背景中一些原本静止物体由于外力等 原因造成的无规律的移动或是场景中静止物体移动到另一位置保持静止，都会 造成误检。如：公路两旁的绿化带由于风力的作用而带来的摆动。 ( 2 ) 运动物体停留在检测区域：当某个运动物体由于某种原因长期停留在检 测区域而造成误检。比如：某车辆由于需要维修而停留在路边，这时背景模型 应该包含该车辆。这就对背景模型的自适应更新提出了更高的要求，更新太慢 容易造成拖尾现象，更新太快容易出现该情况下的误检。 ( 3 ) 光照随时间的变化：光照的缓慢变化会引起整个检测区域像素值的变 化。 ( 4 ) 光照的突变：光照的突然会造成对整个区域像素值的突然急剧变化，对 背景模型的更新要求更高。 ( 5 ) 阴影的区分：对于光照造成的阴影问题也会造成误检。 ( 6 ) 多车辆遮挡问题：对于检测区域内相距不远的车辆容易造成视觉上的遮 挡，造成多辆车被检测为一辆车。 ( 7 ) 实时性要求：由于需要全天候监测，视频序列通过采集卡读取到计算机 中，因此系统需要实时处理。 9 第三章运动目标检测 第三章运动目标检测 3 1 引言 运动目标检测的目的是对序列图像使用基于信号检测的方法自动分离出运 动像素点和静止像素点，将变化区域从背景图像中提取出来。视频监控系统通 过对检测到的运动像素点进行自动分析来判断运动的类型，最终决定是否有意 外情况发生并报警。运动目标的准确检测和分割对于目标分类、跟踪和行为理 解等后期处理非常重要。 运动目标检测的主要内容之一就是监视特定场景中是否有新目标出现。这 个任务的最基本的内容可以看作是在视频序列中检测并提取这样两种类型的目 标：一是新的运动目标，二是原先场景中出现而后又停止并滞留在场景中的目 标。简单来看，这个任务可分两步来完成，第一是目标检测，第二是目标提取。 目标检测，就是检测视频序列图像中被监视的场景图像是否有变化，如果图像 有变化，则说明有新的目标出现，反之则认为没有新目标出现。而目标提取， 就是当目标检测算法检测到有目标出现时，把这个目标从视频序列图像中分割 提取出来，为下一步目标跟踪和识别提供数据。 3 2 常用运动目标检测方法 由于处理过程是基于图像序列的，而图像序列各帧之间有着相关关系，那 么，我们可以利用这种相关关系来提供更多的信息，这使得对图像序列的处理 要比对静止图像的处理更为简单。典型的运动目标检测算法有： 1 ) 帧差法 这种方法基本原理就是将前后两帧图像对应像素值相减【l4 1 ，在环境亮度变 化不大的情况下，如果对应像素值相差很小，可以认为此处景物是静止的，如 果图像区域某处的像素值变化很大，可以认为这是由于图像中运动物体引起的， 将这些区域标记下来，利用这些标记的像素区域，就可以求出运动目标在图像 中的位置。由于目标大小、背景亮度的差别，对差分图像的分割方法也不尽相 同；另外，当目标有阴影干扰时也要进行特殊处理。相邻帧差法的优点是鲁棒 性较好，能够适应各种动态环境，其缺点是不能完全提取出所有相关的特征像 1 0 第三章运动目标检测 素点，这样在运动实体内部容易产生空洞现象。另外，当运动对象速度缓慢时， 则可能检测不到，而运动对象速度过快时，将把部分背景也检测为运动对象。 2 ) 背景减除法 背景减除法的基本思想是先形成交通场景的背景图像，然后将待检测图像 与背景图像逐像素相减( 理想情况下的差值图像中非零像素点就表示了运动物 体) ，进而就可运用阈值方法将运动物体从背景中分离出来d 5 ，表示对应像素 为车辆区域，否则属背景区域。精确可靠的背景图像是背景差法能否成功提取 r o i 的关键。背景图像可由人工拍摄一幅没有车辆的图像来得到，也可以通过序 列图像的平均来得到。显然，建筑物阴影、浮云或光照的变化都会造成背景环 境明显的变化；由于这些环境变化因素，作为参照物的背景需要定时更新。 目前有多种背景更新方法，最常用的方法是多帧平均( f r a m ea v e r a g i n g ) 法【1 6 1 和选择更新( s e l e c t i v eu p d a t i n g ) 法【1 7 】。最简单的多帧平均法是直接将前面 若干输入图像的平均值作为当前背景。文献 1 6 】采用如下方式更新背景： b p t = g b p t l + ( 1 一k ) c p t _ l , 0 2 ，则在这4 s 内场景光照变化较大，需要重新进行混合高斯模型 2 0 第三章运动目标检测 各参数的训练，这时需要丢弃这段时间内的各帧数据，以避免误差太大。 还有一种情况是，本算法长期处于第一步，即长期处于两个相邻1 0 0 帧之 间的道路路面灰度变化范围在l ，这种情况容易导致无法判断长时间的灰度变 化，导致混合高斯模型参数未得到及时更新，造成检测误差。对于这种情况， 本文采用每1 0 0 0 帧判断道路路面灰度的变化，根据变化范围进入上面3 个步骤 之一。 。 通过该算法可以看出，本算法充分利用检测区域的全局信息进行有选择的 对高斯模型的各个参数进行更新。试验表明，在实际运用中出现第二种情况的 比率较大，这样就极大的提高了算法执行速度。 3 ) 参数t 的讨论 在利用混合高斯模型中，需要选择b 个高斯分布作为背景模型，如公式3 4 。 t 为预设的阈值，是一个全局的先验概率，表示该点长期处于背景的概率。公式 3 4 表示当k 个有序的高斯模型中，累计概率超过t 的前b 个模型被当作背景 模型。这里t 太小了，有可能变成单高斯，t 太大了导致误判。t 的意义其实该 点长期处于背景的概率。大部分论文在设置t 的时候，都是根据经验设置一个 固定的值，大部分文献【2 3 l 将该值设置为0 7 ，即就是说假设该点在7 0 的时间处 于背景。 本文通过分析发现，t 的取值跟车流量有很大的关系，某一时段检测区域内 车流量很大时，某点处于背景的概率很可能低于o 7 0 ，而在车流较小的时段， 该点处于背景的概率又可能大于o 7 0 ，这样用一个固定的值来表示t 容易造成 较大的误差。针对这一点，本文根据某时段的车流量来动态更新t ，实现t 的自 适应性。具体为利用第四章对运动目标的跟踪，同时统计每1 0 0 帧内的跟踪区 域中的进入区域存在车辆的帧数，用这个帧数除以1 0 0 就为t 的取值，每1 0 0 帧利用这个t 进行参数更新。 4 ) 改进算法流程图 2 1 第三章运动目标检测 图3 2 改进的混合高斯模型算法流程图 第三章运动目标检测 3 4 3 车辆检测的相关处理 上一节中我们根据分析，提出了基于混合高斯模型建模的改进检测算法用 于车辆检测。考虑到运动目标的检测与跟踪要处理大量的图像数据，而图像数 据中存在着许多噪声，它们会影响目标的检测，因此要对所处理的图像进行必 要的去噪处理。由于光照的作用，分割出的运动区域中包含目标物的影子，而 阴影会干扰目标的检测，所以要消除阴影对目标的影响。下面将分析运动目标 检测中的阴影消除，以及提取车辆信息等几个问题。 1 ) 阴影消除 由于运动对象之间的遮挡和光照的不均匀等原因，经常产生阴影现象。无 论运动分割还是变化检测都会受到运动阴影的影响。阴影对目标分割的影响比 较显著，并对后续的跟踪、识别造成负面影响，导致错误率大大上升，使系统 的整体性能下降。在实际应用系统中，目标总是伴随有阴影，大多数的目标必 须在去除阴影后才能j 下确检测与分割。运动对象及其阴影具有两个相同的特征： 一方面，两者都明显区别于背景，是可感知的；另一方面，两者有相同的运动 属性。这样在分割时很容易把阴影误分为前景点，对运动对象的分割和提取造 成严重的影n l j j t 2 4 1 。有时阴影能引起运动对象被吞没、形状的变形。因此有必要 将运动目标所包含的阴影部分滤除掉。目标的阴影检测方法有很多：在h s v 颜 色空间，利用色度、饱和度和亮度三方面的信息建立背景模型，对阴影进行检 测和识别；在r g b 颜色空间中，用矢量来表征象素点，并以当前图中的象素点 矢量与对应的背景点矢量相减得到能表征亮度和色度的彩色模型，并在此基础 上建立背景模型。 阴影被定义为在图像中半透明的区域，这个区域保留原有的表面格调、纹 理和颜色值。所以阴影和相应的背景图像中的象素点相比，具有相似的色度和 较低的亮度。许多阴影检测文献都是基于r g b 颜色空间的，本文阴影检测算法 主要参考了d n m l ( d e t e r m i n i s t i cn o n m o d e lb a s e dw i t hc o l o re x p l o i t a t i o n ) 的算 法原理【2 5 】，在算法中采用h s v 颜色空间，因为它更接近于人类感知颜色的方式， 也更适合于阴影的检测。 对于每一个检测出来的前景象素，我们可以通过以下考虑来判断它是否属 于阴影：首先，如果阴影投射在背景上，色彩( h ) 在一定范围内变化。此外， 实验证明饱和度( s ) 也会有一定程度的变化。不同的是，饱和度的差是绝对值， 2 3 第三章运动目标检测 而色彩的差别是角度值。 阴影部分与运动目标部分具有某些相似的视觉特征，这给阴影检测带来困 难。在h s v 模式下，当一个像素点被阴影覆盖时，它的亮度变化较大，而色度 信号变化不大，可以使用如下方法进行判别【2 6 1 ： m ( i ，) = v 1 产7 & i 鼠删( f ，) 一0 d d ( f ，) 库 7 m o d e l ( t 。) & i 厶乙。( f ，) 一月二o d “( f ，) i 瓦 ( 3 8 ) 0 其他情况 其中瓦，瓦分别表示色度，色彩的阈值；e 删( f ，力，瓯一( f ，力，k 刚分别 为当前帧的色度，高度和饱和度：虬o d “( f ，d ，s m o d e l ( i ，力，o d 枷分别为背景 模型的色度，高度和饱和度。阴影点的v 值总是小于非阴影相应点的v 值，所 以y 取值小于1 ，而3 取值则考虑了当前光照的强弱，光照越强阴影越明显，p 值越小。目f ； 瓦，t 的选取是通过试验来确定的。本文参数取值为：0 5 ， tm 7 ：o 6 ，_ f ：1 s ：6 。 2 ) 数学形态学 在处理过程中，有时候由于车身颜色跟路面颜色非常接近，造成车辆目标 图像断裂而不连续，同样会给后面的处理工作带来不便。而且还由于摄像机抖 动产生的干扰，以及还有一些孤立的噪声点存在，因此需要采用了形态滤波的 方法来提高车辆检测的准确度【1 2 】。 数学形态学的数学基础和所用语言是集合论，因此它具有完备的数学基础， 这为形态学用于图像分析和处理、形态滤波器的特性分析和系统设计奠定了坚 实的基础。数学形态学的应用可以简化图像数据，保持它们基本的形状特性， 并除去不相干的结构。数学形态学包括一组基本的形态学运算：腐蚀( e r o s i o n ) 、 膨胀( d i l a t i o n ) 、开启( o p e n i n g ) 和闭合( c l o s i n g ) ，基于这些基本运算还可推 导和组合成各种数学形态学实用算法【2 。 本系统是在前景目标提取出来后