（通信与信息系统专业论文）视频图像处理技术在智能交通系统中的应用.pdf

视频图像处理技术在智能交通系统中的应用中文摘要 视频图像处理技术在智能交通系统中的应用 中文摘要 视频交通流参数的检测在智能交通系统( i t s ) 中起着越来越重要的作用，它能使交 通管理者更加全面地了解交通运行状况。常用的交通流参数的检测有多种方式，但其 中基于图像处理技术的视频车辆检测方式近年来发展很快，由于它具有许多其他参数 检测方式所没有的优点，因此它逐渐地成为智能交通系统领域的一个研究热点。 基于视频的交通流参数检测系统具有直观、安装简便、费用低，它代表了车辆检 测器的发展方向。城市交通的十字路口，车辆是按车道行驶的，车辆的检测是基于各 个车道上的交通图像分析和处理来实现，我们通过在各个车道上设置虚拟检测区域， 通过提取检测区域域中的图像特征来检测交通流参数。 本文以在城市录制的一段十字路口交通视频为研究对象，先获取图像背景、再进 行图像门限分割及二值化、图像去噪等图像预处理，并在此基础上通过实现在虚拟检 测区域内的车辆计数，提出了一种城市道路交通智能控制视频处理系统模型，该系统 模型包含了在车流量计算基础上的交通灯智能控制和闯红灯车辆的跟踪。具体的研究 内容主要有： ( 1 ) 研究并分析了在视频交通图像里面如何提取运动目标的过程，采取背景差分的方 法来提取运动车辆目标； ( 2 ) 根据设置的虚拟检测区域，分析该区域内图像随时间变化的特征，完成虚拟检测 区域域内车流量计算； ( 3 ) 提出了一种城市道路交通智能控制视频处理系统模型，获得了十字路口各方向的 车流量参数和违章车辆信息，并利用这些参数和信息实现了交通信号灯的智能控制以 及对闯红灯违章车辆的跟踪。 最后本文所使用的算法，主要采用了v c + + 6 0 和o p e n c v 图像开发包，在p c 机上给予了设计与实现并取得了较好的效果。 关键词：智能交通系统；视频车流量检测；车辆跟踪 作者：姜旭 指导老师：朱灿焰 视频图像处理技术在智能交通系统中的应用 英文摘要 a p p l i c a t i o n o fv i d e op r o c e s s i n gt e c h n i q u ei ni n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m a b s t r a c t 1 1 1 ed e t e c t i o no ft r a f f i cf l o wp a r a m e t e r so nv i d e op l a y sac r i t i c a lr o l ei nt h ei n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m ( i t s ) ；i te n a b l e st h es u p e r v i s o ro ft h et r a f f i ct ok n o w t h et r a v e ls t a t u s i nt h er o u n d 1 1 1 ec o m m o f l yu s e dm e t h o d so ft r a f f i cp a r a m e t e r sd e t e c t i o nh a v em a n yk i n d s o fw a y s ，b u tt h ev i d e o - b a s e dv e h i c l ed e t e c t i o ns y s t e mh a sd e v e l o p e dq u i c k l yi nr e c e n t y e a r s s i n c et h i sa p p r o a c hh a sm a n yp a r t i c u l a ra d v a n t a g e sw h i c h o t h e rm e t h o d sd o n th a v e ， i tg r a d u a l l yb e c o m e sar e s e a r c hf o c u si nt h ef i e l do fi n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m v i d e o - b a s e dt r a f f i cf l o wp a r a m e t e r sd e t e c t i o ns y s t e mh a ss e v e r a la p p a r e ma d v a n t a g e s s u c ha se a s yt os e ea n di n s t a l la n dl o we x p e n s e ，t h u si th a sr e p r e s e n t e dt h ed e v e l o p m e n t d i r e c t i o no fv e h i c l e sd e t e c t o r a tt h ec r o s s r o a do ft h ec i t yt r a f f i c ，v e h i c l e sa r ed r o v ea l o n g t h er o a d w a y , a n dt h ev e h i c l ed e t e c t i o ni sb a s e do nt h et r a f f i ci m a g ed i s p o s a la n da n a l y s i s o fe a c hr o a d w a y s ow ec a nf i r s t l ys e td e t e c t i n gr e g i o n sr e s p e c t i v e l ya n dt h e nd e t e c tt h e 锄cf l o wp a r a m e t e r st h r o u g he a c hd e t e c t i n gr e g i o n 1 1 l i sp a p e rh a st a k e nt h et r a 伍cv i d e oo nt h ec r o s s r o a do ft h ec i t ya sa l le x a m p l e t h e f i r s ts t e pi ss t u d y i n gt h ei m a g ep r e t r e a t m e n tt e c h n o l o g i e si n c l u d i n gb a c k g r o u n dc a p t u r e 、 i m a g es e g m e n t a t i o na n dg e t t i n gr i do fi m a g en o i s e s o nt h eb a s i so ft h e s e ，w eh a v ea l s o d e s i g n e da ni n t e l l i g e n tc i t yt r a f f i cc o n t r o l l i n gm o d e l ，n l em o d e li n c l u d e st w op a r t s ：t h e f i r s tp a r ti si n t e l l i g e n tc o n t r o lo ft h et r a f h cl i g h t so nt h eb a s i so fv e h i c l e sc o u n t i n g a n dt h e s e c o n dp a r ti st h ei l l e g a lv e h i c l e st r a c k i n g n 虹sp a p e rm a i n l yf o c u s e so nt h ef o l l o w i n g c o n t e n t s ： ( 1 ) s t u d i e da n da n a l y z e dt h ep r o c e s so fe x t r a c t i n gt h em o v i n go b j e c t si nt h et r a f f i c i m a g eo nv i d e o ，a n di te x 也童c t st h em o v i n go b j e c t sb yt h eb a c k g r o u n dd i f f e r e n c em e t h o di n t h i sp a p e r ； ( 2 ) a n a l y z e dt h ei m a g ec h a r a c t e r i s t i c si nt h ed e t e c t i n gr e g i o nw h i c ha r ec h a n g e d 诵t 1 1 t h et i m e a n df i n i s h e dt h ed e t e c t i o no f t r a 伍cf l o w s ( 3 ) a ni n t e l l i g e n tc i t yt r a f f i cc o n t r o l l i n gm o d e li sp r o p o s e d b a s e do nt h i sm o d e l ，w e f i r s to b t a i np a r a m e t e r so fv i d e ot r a f f i cf l o w sa n dt h ei l l e g a lt r a f f i ci n f o r m a t i o ni ne v e r y d i r e c t i o no ft h ec r o s s r o a db yu s i n gv i d e oi m a g ep r o c e s s i n gt e c h n i q u e t h e nw ei m p l e m e n t l l 视频图像处理技术在智能交通系统中的应用英文摘要 i n t e l l i g e n tc o n t r o lo ft h et r a f f i cl i g h t sa n dt h ei l l e g a lv e h i c l e st r a c k i n g f i n a l l y , t h ei n t e l l i g e n tc i t yt r a f f i cc o n t r o l l i n gm o d e lh a sb e e nd e s i g n e db yv i s u a lc + + 6 0a n do p e n c v , a n dt h ea l g o r i t h m su s e di n t h i sp a p e ra l m o s th a v eb e e nr e a l i z e do nt h e p c ，a n di tp r o v e dt ob ea v a i l a b l e k e y w o r d s ：i t s ；v i d e ot r a f f i cf l o w sd e t e c t i o n ；v e h i c l et r a c k i n g i i i w r i t t e n b y ：j i a n gx u s u p e r v i s e db y ：z h uc a n y a n 苏州大学学位文独创性声明及使用授权声明 学位文独创性声明 本人郑重声明：所提交的学位文是本人在导师的指导下，独立进行研究工作 所取得的成果。除文中已经注明引用的内容外，本文不含其他个人或集体已经发 表或撰写过的研究成果，也不含为获得苏州大学或其它教育机构的学位证书而使 用过的材料。对本文的研究作出重要贡献的个人和集体，均己在文中以明确方式 标明。本人承担本声明的法律责任。 研究生签名：扯日期：篁军形 学位文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学文合作部、中 国社科院文献信息情报中心有权保留本人所送交学位文的复印件和电子文档，可 以采用影印、缩印或其他复制手段保存文。本人电子文档的内容和纸质文的内容 相一致。除在保密期内的保密文外，允许文被查阅和借阅，可以公布( 包括刊登) 文的全部或部分内容。文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名： 导师签名： 视频图像处理技术在智能交通系统中的应用第一章绪论 1 1 课题的研究背景和意义 第一章绪论弟一早三百。下匕 社会生产力的发展推动着交通运输现代化的进程，然而在享受着现代化交通带来 的巨大便利的同时，人们也面临着道路拥挤堵塞、交通事故频发等问题导致的严重困 扰。交通需求不断增长、交通系统日益复杂，单独从车辆方面或道路方面考虑，均很 难有效地解决交通问题。于是，近年来把道路、车辆等，凡与交通有关的所有一切都 归为一体的智能交通系统( i n t e l l i g e mt r a n s p o r t a t i o ns y s t e m ，i t s ) 1 1 的研究开发应运而 生。 i t s 是一种实时、高效、全方位的综合交通运输管理系统。它是将先进的信息技 术、定位导航技术、数据通信传输技术、自动控制技术、图像分析技术以及计算机网 络和信息处理技术等有效地综合运用于整个交通管理体系，将人、车、路三者紧密协 调、和谐统一，从而建立起大范围内、全方位发挥作用的实时、准确、高效的运输管 理系统。其基本结构如图1 1 瞄1 所示： 智能交通系统可以为交通部门及时、准确地提供诸如车流量、道路拥塞度和事故 监控等交通信息，使交通部门能有效地获取有关交通状况的信息，并进行处理，从而 更好地发挥交通管理系统在交通监视、交通控制、出入控制、救援管理等方面的准确 性和调控性。 目前得益于人工智能计算机视觉技术和硬件技术的飞速发展，图像和视频技术已 经广泛应用于新一代智能交通系统中。计算机视觉就是利用各种成像系统代替视觉器 官作为视觉信息输入手段，由计算机来代替大脑完成处理和解释。计算机视觉不仅能 使机器感知环境中的几何信息，包括位置、大小、形状、运动等，还能对它们进行描 述、解释和理解。计算机视觉技术为交通系统提供了直观方便的分析手段，交通环境 中的大量信息，如车辆、交通标志和路面标识等都源于视觉。用计算机视觉来处理和 理解这些信息成为一种必然的选择。 视频图像处理技术在智能交通系统中的应用 第一章绪论 图1 1 智能交通系统的基本结构 1 2 国内外智能交通的发展状况 目前，世界上已形成了美国、日本、欧盟三大i t s 研究开发基地，除此之外，亚 洲的韩国，新加坡和我国的香港特区i t s 发展水平也较高【3 】。 美国自动化的交通管理水平以前是落后于欧洲与日本的，由于美国土地资源相对 比较丰富，因此相当一段时间内是靠修路来解决交通拥堵问题。但近年来面对已经相 当庞大的公路网，要想再占用大量土地，投入大量资金大规模进行道路建设已经不可 能。因此美国在智能公共交通领域已建立起相对完善的车队管理( 通讯系统、地理信 息系统、车辆自动定位系统、乘客自动计数系统、公交运营软件系统、交通信号优先 智能交通系统中车辆视频检测、识别与跟踪方法的研究系统) 、公交出行信息( 出行 前公交系统、车站路边的公交信息系统、车上公交信息系统、综合乘客信息系统) 、 电子收费和交通需求管理技术等四大系统及多个子系统及技术规范标准。 日本的智能交通发展也是相当迅速，推出的车载塞车预测系统，装置有预测系统 的车辆经过某一区间时，信息中心会收集其通过这一区间所需时间，并据此统计各路 2 视频图像处理技术在智能交通系统中的应用 第一章绪论 段交通状况。通过手机访问信息中心，同时向信息中心提供自己的行车记录。随着提 供信息的车辆的增多，样本数据信息精确度也会因此而提高。如果有更多的车辆装载 塞车预测系统，就可以对车辆进行有效的分流，从而减少城市塞车的时间。 欧盟对i t s 的研究、开发也不甘落后，组成了欧洲道路运输信息技术实施组织 ( e r t i c o ) ，总开发投入5 0 亿美元，实施智能道路和车载设备的研究发展计划。后 进行了t e l e m a t i c 的全面应用开发工作，欧洲计划在全欧洲范围内建立专门的交通( 以 道路交通为主) 无线数据通信网，i t s 的主要功能如交通管理、导驶和电子收费等都 围绕t e l e m a t i c 和全欧无线数据通信网来实现。 2 0 世纪9 0 年代以来，中国经济进入高速发展的时期，交通需求越来越高，车辆 和道路的矛盾越来越大，发达国家在交通上遇到的问题，在中国来得比预期的要早， 甚至更严重，因此智能交通系统在我国的实施势在必行。智能交通系统的研究和推进 在我国还处于起步阶段，但i t s 作为新世纪经济增长点和交通系统建设必然选择的重 要性已得到国家相关部门的高度重视。 在世界经济飞速发展的今天，交通在国民经济中占据着越来越重要的地位。交通 的现代化程度成为衡量一国一城现代化水平的重要标志。然而，交通的现代化却带来 了许多问题：道路的拥挤，事故的增加，交通环境的恶化，等等。这就需要有强有力 的交通管理手段，而依靠人为管理的管理系统由于效率低、成本高，显然已不适应交 通现状。 第一代交通自动管理系统采用无线遥感、红外、雷达等方式来获取环境信息，并 传达给指挥人员，由指挥人员对交通实施管理。采用这种方式比纯人工方式有了巨大 进步，减轻了交警的负担，缓解了交警警力不足的问题。但是，采用这种方式也有其 缺点，指挥人员接收到的只是信号、数据，对现场状况无法有更深入的了解，决策的 正确性更多地依赖于经验，因此还不能说是真正的自动化、智能化。 在i t s 中车辆的实时检测、识别与跟踪是最基础的部分，其他的功能都是建立在 车辆检测、识别与跟踪算法的基础上的，它要求从摄像机所得到的图像序列中，检测 有无运动车辆进入摄像机的视场，并且定位出运动车辆的位置，它属于计算机视觉的 研究范围。得益于人工智能计算机视觉技术和硬件技术的飞速发展，图像和视频技术 已经广泛应用于新一代智能交通系统( i t s ) r 9 。视频跟踪技术近年来引起越来越多的 研究者们关注，这主要由于两方面原因：一方面，计算和存储成本的大幅度下跌使得 3 视频图像处理技术在智能交通系统中的应用第一章绪论 以视频速率或近似视频速率采集存储图像序列成为可能；另一方面，视频跟踪技术的 极为广阔市场应用前景也是推动此研究的主要动力。 目前国内的智能交通系统的主要应用还是集中在智能视频监控功能，但实际的监 控任务仍需要较多的人工完成，在很多情况下，视频监控系统所提供的信息是没有经 过任何解释的视频的裸数据，这就不能充分发挥监控系统应有的实时机动的监督作 用；另一方面，为了防止一些车辆和行人的违章、违法行为，对无人值守的视频监控 系统的需求量日益上升，这类系统主要目标是减少对繁琐人工的依赖，自动完成对复 杂环境中人和车辆进行实时观测以及对感兴趣目标的行为进行分析和描述。要完成这 些任务，需要涉及到计算机视觉领域中许多核心技术，对感兴趣目标的持续跟踪是其 中的核心技术之一，是基于视频场景分析、行为理解等诸多后续处理的基础。 1 3 本文的主要研究内容 由前文可知，车辆检测是智能交通系统研究中的一个必不可少的部分，在此基础 上，可以融合其他道路参数来实现对异常行车状况报警、跟踪以及十字路口交通信号 灯的智能控制等等。 交通信号灯是交管部门管理城市交通的重要标志信号。随着城市汽车保有量的越 来越多，城市的交通拥挤问题正逐渐引起人们的注意。目前绝大部分交通信号灯的时 间都是设定好的，不管是车流高峰还是低谷，红绿信号灯的时间都固定不变还有一些交 通信号灯能根据简单划分的时间段来调整时间，但控制起来都不是很灵活，这使得城市 车流的调节不能达到最优1 3 】。而车辆闯红灯不仅是造成道路交通拥挤、堵塞的主要原 因，也是产生交通事故的主要隐患。 本文所述设计正是针对这些弊端进行了改进，提出了一种城市道路交通智能控制 视频处理系统模型。该模型是基于v i s u a lc + + 6 0 和o p e n c v 开发包来进行开发的， 该系统使用视频图像处理技术，获取十字路口各方向的车流量参数，以及违章车辆信 息，并利用这些参数和信息实现了交通信号灯的智能控制。并通过设置闯红灯虚拟检 测区域，如果有车辆闯红灯时，很快就能将其检测到，并获取其车辆轮廓的外接矩形， 更改该辆车闯红灯标志特征的值。接下来根据视频连续两帧中同一辆车之间的对应关 系，用当前帧中出现的车辆轮廓的外接矩形与已经记录下来的闯红灯车辆轮廓的外接 矩形相匹配，根据匹配结果实现对闯红灯车辆的跟踪，并将其图像截取并且存储。 4 视频图像处理技术在智能交通系统中的应用第一章绪论 1 4 本文的组织安排 本文共分为五章基本上与文工作相对应，具体内容如下： 第一章：绪论。本章重点介绍智能交通系统( i t s ) 的概况，以及国内外的发展 现状、趋势。并简要介绍了本文的主要研究内容。 第二章：视频车辆检测技术。本章简要介绍了当前的各种车辆检测技术、以及视 频车辆检测的特点和目标检测算法。 第三章：基于视频的交通信号灯智能控制模型。本章重点介绍了本文的视频车辆 检测的常用方法、如何在车辆检测的基础上获得车流量参数、分析和建立交通信号灯 智能控制模型的过程以及该模型部分实验结果。 第四章：闯红灯违章行为跟踪。本章重点介绍了在对各种跟踪方法研究的基础上， 通过设立闯红灯虚拟检测区域，实现对闯红灯违章行为的检测，并使用基于特征的方 法实现了对闯红灯车辆的跟踪以及部分实验结果的提供。 第五章：全文总结和展望。 5 视频图像处理技术在智能交通系统中的应用 第二章视频车辆检测技术 第二章视频车辆检测技术 2 1 车辆检测技术简介 车辆检测技术有多种方式。目前常用的是地感线圈、雷达( 微波) 、超声波、红外、 激光、视频等几种检测技术1 4 】。 目前常用的车辆检测器是环型线圈检测器，它能监测车辆的存在以及路段的饱和 度。环型线圈检测器成熟、稳定，检测的精度高，而且可以工作在恶劣的天气环境下， 但环型线圈检测器也有其固有的缺点：环型线圈检测器不能同时监测多个车道，当安 装或维护线圈车辆检测器时，需要阻断交通流。当两辆车过于接近时，环型线圈检测 器将会误认为是一辆车等等。 超声波检测器利用反射回波原理制成的，微波检测器按照多普勒效应原理工作， 红外检测一般采用反射式检测技术。虽然超声波检测与光学检测器不会破坏路面，但 是也存在检测区域小、维护困难、容易造成二次触发等缺点。 由于电磁感应线圈与光学检测器的缺点，它们未能得到更好的推广，而基于视频 与图像处理的视频车辆检测技术由于具有检测区域广，维护简单等优点，使之成为了 近年来计算机视觉领域中备受关注的前沿方向。 在智能交通系统( i t s ) 的众多信息中，交通特征参数信息是最根本的，它包括车 流量、车型分类统计、车流密度等。这些数据是交管部门制订政策、采取措施、对交 通设施进行规划的科学客观的依据。要构建完整的i t s 系统，首先应建立一个能准确、 高效获得交通特征参数的交通信息采集系统，其核心是交通信息检测技术【5 】。 近年来，基于计算机视觉和图像处理技术的交通信息检测技术( 简称视频检测技 术) 逐步成为研究主流。其工作流程为：通过安装在路面上方的摄像机采集交通图像， 应用计算机视觉和图像处理技术处理图像数据，获取实时、丰富、动态的交通信息， 进行交通的信号控制、信息发布等。其主要优点有：首先视频检测具备图像监视和交 通数据采集双重功能。二是视频车辆检测系统的灵活性要大于环形线圈，视频检测系 统的检测区域容易重新定位，可满足不断变化的数据采集要求。此外，视频检测设备 还可以移到别的地方使用，并且支持多条车道同时检测。三是视频检测系统的摄像机 架设在地面以上，安装无需破坏路面，在系统的安装和维修期间不需要关闭车道。 6 视频图像处理技术在智能交通系统中的应用第二章视频车辆检测技术 视频检测算法是整个系统的核心，其好坏将直接影响系统的检测精度和检测效 率。而在近几年i t s 市场的推动下，基于视频图像分析和模式识别技术的交通检测算 法针对其特有的应用场合，逐步成为目标检测技术的一个研究分支。 2 2 视频车辆检测技术简介 2 2 1 车辆交通视频图像特点和视频目标检测过程 典型的车辆交通视频图像的特点【6 】是： l 、车辆作为唯一运动的物体； 2 、车辆运动基本与车道平行，很少有并道的现象； 3 、路面上一般都存在与道路方向平行的白色分道线，分道线间距固定，约为7 m ： 4 、路面的平均灰度反映了当前的光照条件。 因此我们可以根据这些特点对视频序列中的车辆进行检测，并在车辆计数的前提 下，获取车流量参数。 视频目标检测的基本过程【7 1 是：通过视频摄像头，对目标进行图像输入，将输入 的目标模拟图像经过图像采集卡进行数字化转换，变换成可用计算机进行处理的数字 图像。由于在进行图像采集过程中，会有一些影响图像质量的噪声信号产生，所以应 用这些数字图像进行处理之前，必须进行图像滤波除噪，图像增强等图像预处理，再 对预处理后的图像，进行图像分割和特征提取，最后利用提取的目标图像特征进行目 标检测和目标跟踪。 2 2 2 常用的视频车辆检测方法 基于视频的车辆检测方法，可分为如下4 类：知识型，运动型，立体视觉型和像 素强度型。 ( 1 ) 基于知识的方法陟1 0 1 n 用车辆的形状、颜色、对称性等信息，以及道路和阴影 等常识信息进行相关检测。该方法简单、直观，易于编程实现，但需要估计多 个经验阈值，如车辆长宽的经验比值、车辆边缘的最小长度、车辆阴影与道路 的灰度差异阈值等。经验阈值准确与否，直接关系系统性能的好坏。 ( 2 ) 基于运动的方法主要利用序列图像之间存在的大量相关信息进行车辆的预检测， 主要有光流法。光流法能检测出独立运动的对象，不要预先知道场景的任何 信息，且适用于摄像机移动情况。但缺点是耗时大，对过于复杂、过快或过慢 7 视频图像处理技术在智能交通系统中的应用第二章视频车辆检测技术 的运动检测效果不好，不适合实时系统。 ( 3 ) 建立在视差或频差理论基础上的机器立体视觉，运用两个或多个摄像机对同一 景物从不同位置成像获得立体像对，通过各种算法匹配出相应像点，从而恢复 深度( 距离) 信息1 1 2 1 。该方法能在车速很小时直接检测其位置，但它要求正确标定 摄像机，受车辆运动或天气等因素影响，这是很难做到的。在基于立体视觉的 车辆检测中，常用i p m ( i n v e r s ep e r s p e c t i v em a p p i n g ) 【1 3 】法估计图像中车辆及障碍 物的位置。 ( 4 ) 基于像素强度的方法直接检测帧间变化，主要有时间差分法和背景差分法。时 间差分法【1 4 】在一个较短的时间内检查相邻各帧之间像素强度的变化，非零像素 被认为是运动对象造成的。该方法适合于动态变化的环境，但不适合摄像机运 动的情况，也不能完整提取运动对象。现有的背景模型基本是建立在统计模型 基础或其变种之上。该方法快捷简单，实时性较好，适合运动快且形变较大的 运动目标，但不适合有全局运动的场景，如不平坦或弯路较多的道路等。 虽然车辆检测算法发展至今己有4 0 多年，但解决下列问题是一项长期的任务： ( 1 ) 车辆在尺度、位置、方向上的变化。例如进入视野的车辆具有不同的速度，在 形状、大小、颜色等方面都会产生变化。 ( 2 ) 车辆的外观受车辆的观察角度和邻近物体的影响。同时，车辆之间的遮挡、光 照条件的改变也会对车辆的外观造成一定影响。 ( 3 ) 道路两边的场景在持续变化，环境光照随时间和天气改变。 ( 4 ) 巨大的图像处理任务与系统的实时性要求。 因此，车辆检测算法在识别速度和准确度上与人们的预想还有很大差距，今后的 发展方向应该体现在提高算法的速度、准确度、自适应性方面。 2 3 运动目标检测基本原理 视频图像的最大的特点是：它有丰富的原始数据、相邻近帧间的强相关性以及时 域上的动态时变模式等，在很大程度上使运动目标易于检测、分割和识别成为可能； 与静态图像相比，图像序列及视频的最大优点就在于对运动信息的捕获。因此运动目 标的提取与分析理应是图像序列和视频研究的重点。 运动目标检测是检测视频序列中是否存在相对于背景图像运动的物体。运动目标 8 视频图像处理技术在智能交通系统中的应用第二章视频车辆检测技术 检测对于一个视频监视和处理系统来说有着至关重要的作用。它处于整个系统的最底 层，是其他高级应用如目标跟踪、目标识别的基础。只有正确地检测到运动目标才能 进行下面的工作，否则就会产生很大的偏差和错误以致后面的工作无法开展。运动目 标检测依据前景目标所处的背景环境，可以划分为两类一静态背景下的运动目标检测 和动态背景下的运动目标检测，本文主要研究摄像机不发生运动的静态背景运动目标 检测。 运动目标检测结果的好坏直接关系到整个系统的优劣。好的运动目标检测算法应 能准确的检测到运动目标，而且能适应各种监控环境有较强的抗干扰性和处理速度快 实时性的特点。通常一个好的运动检测算法应具有以下特点： ( 1 ) 在各种天气条件下都可使用，无论是刮风或雨雪天气； ( 2 ) 能适应环境光线的变化，尤其是较快的光线变化； ( 3 ) 能处理场景中背景物体的干扰，如由于风吹动树梢摇晃； ( 4 ) 处理无序的大面积区域的各种运动。 但是对于一个算法来说考虑到各种实际应用环境尤其是室外的情况，要想满足上 面的所有条件是很困难的，而且有的要求本身就是矛盾的。因此只能根据实际的应用 需要相应的调整各个要求标准在整体中寻找均衡条件，实现整个系统的性能最优化。 常用的运动目标检测算法可以分为连续帧间差分法、光流法和背景差分法，下面 将分别介绍它们。 2 3 1 连续帧间差分法 对于背景静止的运动目标检测来说，随着时间的推移背景没有变化只有运动目标 有位移。位移体现在视频帧中就是发生运动的区域灰度值产生了较大变化，如果能检 测到这种变化就可以分析目标的运动情况了。通过相邻帧的差分就可以检测到这种变 化。 皿( x ，力= i a x , y ： - a q ( x ，少) j ( 2 1 ) 利用公式( 2 1 ) 计算相邻帧之间的差别得到差分图像取，然后选择阈值对差分图 像二值化就可以获得初始的运动目标，根据需要可以添加后处理去除噪声干扰得到更 好的结果。 图像的二值化处理是一种基于灰度的处理。对于给定的阈值，程序将灰度大于给 9 视频图像处理技术在智能交通系统中的应用第二章视频车辆检测技术 定阈值的点变成自点，另外的点变为黑点。图像经处理后变为只有黑自二色的二值图 像。判决门限的自适应比人为的设定一个固定门限的检测效果要好很多，因为自适应 的门限可以反映出来不同检测视频以及不同的时间，光照度条件下的灰度信息，并根 据灰度信息的变化，自动调节门限值。假设一幅图像的宽为m ，高为1 1 ，图像像素点 ( x ，y ) 处的像素灰度值为f ( x ，y ) ，采用了如下的公式来计算自适应门限【1 5 】： f ( x ，y ) t = 翌2 ( 2 2 ) 假设灰度图像f ( x ，y ) 二值化后的结果图像为g ( x ，y ) ，则 g ( w ) ：i 他5 翌二y ；r ( 2 3 ) g ( x y 户o ，厂( x ，y ) r u - 3 ) 相邻帧间差分法进行目标检测的主要优点是：算法实现简单；程序设计复杂度低； 易于实现实时监视；基于相邻帧差的方法，由于相邻帧的时间间隔一般较短，因此该 方法对场景光线的变化一般不太敏感。 最基本的帧间差分法可以检测到场景中的变化，并且提取出目标，实际应用中， 帧间差分法的结果精度不高，难以获得目标所在区域的精确描述。考虑到后续的跟踪 和识别总是希望检测到的运动区域能够尽可能的和运动目标的真实轮廓相同，这样就 可以为跟踪和识别提供准确的信息提高系统性能。但是在使用过程中存在两个问题： 一是两帧间目标的重叠部分不容易被检测出来，即只检测出目标的一部分或者出现了 较大比例的空洞，这是由于我们直接用相邻的两帧相减后，保留下来的部分是两帧中 相对变化的部分，所以两帧间目标的重叠部分就很难被检测出来；二是检测目标在两 帧中变化的信息，这样会存在较多的伪目标点，检测出的目标往往比实际的目标大一 些，这是由于实际目标颜色或者灰度在一定的区域内较为均匀所导致的。 2 3 2 光流法 光流方法的运动检测采用了运动目标随时间变化的光流特性【1 6 1 。光流是图像灰度 模式的表面运动。光流中既包括了被观察物体的运动信息，也包括了有关的结构信息。 光流场的不连续性可用来将图像分割成对应于不同运动物体的区域。 考虑像素点m 在位置( x ，y ) 处f 时刻的灰度值l ( x ，y ，f ) ，令点m 的速度为 圪= ( 匕，v ，) r ，若设点肌的灰度保持不变，那么在很短的时间间隔西内，我们有： l o 视频图像处理技术在智能交通系统中的应用 第二章视频车辆检测技术 l ( x + v f l t ，y + v y d t ，+ 衍) = l ( x ，y ，r ) ( 2 4 ) 如果灰度随x ，y ，缓慢变化，将上式左边泰勒展开为： j ( 毛弘d + 罢叱+ 等+ 瓦a l + o ( a t 2 ) = ，( 五y ，) ( 2 5 ) 其中o ( a t 2 ) 代表阶数大于或等于2 的项，消去i ( x ，) ，f ) 并忽略o ( a t 2 ) ，得 w v 圪+ 兰= 0 ( 2 6 ) 聊，= 隆珈点聊处撇以= 降针是啪点棚处 速度的梯度。v i v 匕是向量的点积，这个方程就是光流约束方程( o p t i c a lf l o w c o n s t r a i n te q u a t i o n ) 。有匕，v ，两个未知数而只有一个约束，显然不能唯一确定光流， 必须加入其他约束条件来同时求解匕，1 ，。 为此人们提出了各种方法来求解，比如：使用光流全局平滑性假设来求解光流的 h o m s c h u n c k 方法；用一个模型通过最小二乘法来拟合像素点邻域内的光流值约束光 流进行局部调整的l u c a s - k a n a d e 方法；利用二阶导数求光流的n a g e l 方法等。 光流法的优点是在摄像机运动时也能检测出独立的运动目标。然而，大多数的光 流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧 视频流的实时处理。 2 3 3 背景差分法 背景差分法适用于摄像机静止的情形。当有运动目标出现的时候，当前图像帧的 亮度就会发生变化，通过将当前图像帧和背景模型进行比较，确定出亮度变化较大的 区域，即认为该区域为前景区域。这种方法的计算速度很快，可以获得关于运动目标 区域的完整精确的描述。但对于比较繁忙的场景来说背景模型的初始化比较困难，而 且对场景中光照变化、大面积运动和噪声比较敏感，在实际应用中需采用一定的算法 进行背景模型的动态更新，以适应环境的变化。 可以说背景差分法核心有两个，一是用合适的概率分布建立背景模型，另外就是 不断的更新背景模型以适应现实场景的变化使之能够抵抗背景变化的干扰。出于处理 速度和算法性能及应用场合的考虑，本文选择了不断的更新背景模型，以适应现实场 视频图像处理技术在智能交通系统中的应用第二章视频车辆检测技术 景的变化的方法作为前景区域的检测方法。 2 4 本章小结 本章节首先介绍了了当今的主要车辆检测技术，分析各自特点并认为基于视频的 车辆检测方法是将来的车辆检测发展的大趋势。之后，分别介绍了与视频车辆检测相 关的几种经典的动目标检测方法，并阐述了这些方法在视频车辆检测中的进一步发展 情况，为后续的如何有效地提取运动车辆目标的过程这一工作的展开作好铺垫。 1 2 视频图像处理技术在智能交通系统中的应用第三章基于视频的交通信号灯智能控制模型 第三章基于视频的交通信号灯智能控制模型 3 1 车辆的分割和提取方法 近年来，实时交通视频处理系统被广泛地运用到许多场合中，在智能交通系统 0 t s ) 中发挥了越来越重要的作用。在基于视频分析技术的交通检测算法中，前景运 动目标的分割、提取算法为后续目标跟踪以及目标分类( 机动车、行人、非机动车等) 提供了核心的参数，同时也是最容易受到各种因素干扰的关键部分c 1 7 1 。 由前文可知，背景差分法是提取前景运动目标的一种比较成功的方法。它通过计 算输入图像与背景图像之差，以获取前景物体。在本文中将使用输入图像与背景进行 差分运算的方法来提取运动信息。目标提取的具体流程如图3 1 所示： 图3 1 车辆的提取和分割不意图 ( 1 ) 将彩色图像转换成灰度图像 本实验使用的是彩色图像，而对车流量检测只需要视频图像的灰度信息即可， 所以每读入一帧彩色图像，都要先将其转换成灰度图像。自然界中颜色是由三种基本 色红( r e d ) ，绿( g r e ) ，蓝( b l u e ) 组成，而计算机中显示的任何一种颜色都可以用这三 种基本颜色按照不同的比例混合得到，这就是三原色理论。公式如下： c = 斌+ 妒+ 扭 ( 3 1 ) x + y + z = l ( 3 2 ) 其中足，g ，b 为三原色，而x ，y ，z 为3 种基本颜色的系数，c 为任意一种 视频图像处理技术在智能交通系统中的应用第三章基于视频的交通信号灯智能控制模型 颜色，计算机图像颜色处理是根据三元色理论，对三种基色分别量化成0 到2 5 5 共 2 5 6 个级别，这样根据红、绿、蓝三种不同基色的组合，就能够表示2 5 6 x 2 5 6 x 2 5 6 种 颜色，这么多种颜色对于人眼来说足够了。如常见颜色rgb 组合值表示有：红 ( 2 5 5 ，0 ，0 ) ，蓝( 0 ，2 5 5 , 0 ) ，绿( o ，0 ，2 5 5 ) ，黄( 2 5 5 ，2 5 5 ，0 ) ，灰( 1 2 8 ，1 2 8 ，1 2 8 ) 等等。 灰度 ( g r a y s c a l e ) 就是指只包含亮度信息，不包含色彩信息的图像，计算机中表 示灰度图是把亮度值进行量化等分成0 - 2 5 5 共2 5 6 个级别，o 最暗( 全黑) ，2 5 5 最亮( 全 自) ，而在rgb 模型中，如果r = g = 召，则颜色( 灭，g ，占) 就表示灰度色。 考虑到图像的合理性，选用下面的公式进行灰度转换 g r a y = 0 3 0 x r + o 5 9 x g + o 1 1 b( 3 3 ) r = g = b = g r a y ( 3 4 ) 其中g r a y 表示图像中像素的灰度值，r 表示该像素的红色分量，g 表示绿色分 量，b 表示蓝色分量；o 3 0 ，0 5 9 ，0 1 1 分别为实验和理论推导证明得出的最合理灰度图 像的权值。这样输入的彩色图像就转换成为实验中需要的灰度图像。 ( 2 ) 图像平滑 图像平滑主要是为了消除噪声，它包括空域法和频域法两大类：在空间域内可 以用邻域平均来减少噪声；在频率域，由于噪声频谱通常多在高频段，因此可以采用 各种形式的低通滤波方法来减少噪声。 在空域法中，图像平滑的常用方法是采用中值滤波或均值滤波，对于中值滤波， 就是指把以某点似力为中心的小窗口内的所有像素的灰度按从大n d , 的顺序排列， 将中间值作为 力处的灰度值( 若窗口中有偶数个像素；则取两个中间值的平均) 。但 对于细节多，特别是点、线、顶点多的图像不宜采用中值滤波。而均值滤波方法，常 采用模板法来实现，即通过一个点和它周围的几个点的某种运算( 通常是平均运算) 来 消除突然变化的点，从而滤掉一定的噪声。由于本文需要提取的特征为车辆的轮廓， 所以应该采用均值滤波的方法进行图像平滑。 均值滤波常用的模板有： r 1l1 平均模板( b o x 模板) ：吉l 11 1 l ( 3 5 ) l 1 1li 1 4 视频图像处理技术在智能交通系统中的应用第三章基于视频的交通信号灯智能控制模型 l1 21l 赫撇m 濑鳓：排蚓 b 。 中间的宰表示中心元素，即用该元素做为处理后的元素。高斯模板是一种加权平 均的模板，其把中心点的权值加强为最高而随着距中心点距离的增加减小系数值，这 是为了减小平滑处理中的模糊现象。本文便是利用该高斯模板来进行空域滤波，去除 噪声和平滑图像的。 ( 3 ) 获取背景 在基于复杂背景下的交通视频图像中，要单独的获取一帧不包含运动物体的图 片帧，也确实比较困难。因此，我们需要考虑复杂背景图像下参考帧的获取，需要对 m 帧图像进行叠加，取平均值，然后进行定时更新。 ( 4 ) 图像背景更新 前一步的在背景消除处理中，背景作为参考帧，背景的好坏直接影响到检测的结 果。简单的背景差分方法的实现可以认为背景是始终不变的，这样实现起来比较简单。 但是在现实的情况下，背景会随着时间的变化而变化，比如光照引起的变化、背景物 体移入移出等。如果保持背景模型不变的话，有可能会把很多背景点误检为前景点， 因此需对背景进行更新。 背景更新采用了每隔一段时间进行背景提取并进行背景更新的方法：程序中设置 一个定时器，每隔一段时间，程序就开始进行新一轮背景提取，在此背景的提取过程 中，程序进行车辆的检测。不过此时所用的背景为上一次提取的背景，当前背景提取 完后，用当前背景覆盖前一次提取的背景，图像下一帧的车辆检测就使用更新后的背 景进行检测。此方法能够有效抑制光线和自然条件的缓慢变化，并能够提高背景差分 算法检测车辆的效果。本文用一种加权系数法【1 8 】更新背景图像。 = k b r , 一1 + ( 1 一k ) d ( 3 7 ) 其中，为要估计的背景；一为初始背景；一。为当前图像，0 k 1 本文在 选取不同k 值进行多次实验比较背景更新效果后，将k 值设定为0 9 5 ，以实现背景 在不同时间段光照不同的情况下的更新，提高检测的准确性。图3 2 为实际交通十字 路口视频处理后得到的灰度背景图像。 ( 5 ) 输入的灰度图像减去背景图像后的提取目标效果 w 频罔诹* 4 技术