（信号与信息处理专业论文）基于视频检测的高速公路交通信息采集系统研究与实现.pdf

摘要 摘要 交通信息的采集是解决智能交通系统中信息来源的关键技术内容，及时、有 效地采集交通信息是实现智能交通的基本前提。相对于传统的地埋式感应线圈、 超声波和雷达检测器，基于视频检测的采集系统综合了图像处理、计算机视觉、 模式识别等技术，具有安装和维护方便、价格相对低廉、检测参数多、检测区域 广等显著优点，被普遍认为是交通信息采集技术的发展趋势，已成为了智能交通 信息采集领域的研究热点。因此，本文的研究课题具有很大的理论和应用价值。 本文以广州某智能交通研究院的应用项目为研究平台，对基于视频检测的高 速公路交通信息采集系统进行了研究和实现。论文的主要包括以下工作： 1 深入了解了交通采集和传输的过程，针对具体的问题给出了解决方法。 2 针对高速公路的特点，提出了一种新的车辆检测与跟踪的模型，把感兴趣 区域( r o i ) 划分为车辆识别区与车辆跟踪区两个部分。进一步提高了系统的可 靠性和实时性。 3 研究和分析了车辆检测关键的技术，并提出了基于多虚拟线圈的多信息融 合车辆检测方法，其中包括运动检测、背景更新、阴影检测等多个模块。 4 分析了车辆跟踪的基本算法。针对高速公路车辆行驶的特点，提出了基于 运动预测的快速跟踪方法。根据跟踪对象在前一帧的属性来预测在当前帧的位 置，并与当前帧运动区域的位置进行匹配来跟踪。 5 研究了交通参数提取的方法和交通事件的检测算法，并对停车，逆行，行 人出现等交通事件进行了模拟和检测。 本文不仅对系统的关键技术进行了研究，同时也从一个应用的角度对系统进 行了优化和实现。目前，本文的研究成果己应用于高速公路现场的交通信息采集， 并取得了较满意的效果，具有较大的经济价值和应用前景。 关键字：智能交通系统；交通信息采集；视频检测；车辆检测：车辆跟踪 广东工业大学工学硕士学位论文 a b s t r a c t t r a 伍ci n f o n i l a t i o na c q l l i s i 廿o ni st l l ek e yt e c h n o l o g yi ni n t e l l i g e n t1 恤l s p o r t a t i o n s ”t 锄c o l l e c t i n gt i m e l ya n de 侬妞i v d yt h e 仃a 蚯cp a r 锄e t e r si st h em a i np u r p o s eo f 拓a 伍ci n f o m l a t i o na c q u i s i t i o ns y s t e i t l c o m p a r e dw i mi n d u c t i v e1 0 0 p ，s o n a ra i l d m i c r o w a v ed c t e c t o r s ，v i d e od c t e c t i o nh a sm a i l ya d v a 玎t a 窖哼ss u c h 弱e a s yi n s t a l l a t i o n ， o p e r a t i o na 1 1 dm a i n t e n a l l c e ，l o wi n s t a l l 砒i o n s t ，谢d e rv i e wa r e a s 趾dm o r et r a 街c p a r a m e t e r s t h er e s e 盯c ha r e ai sr e l a t e dt oi m a g ep r o c e s s i n g ，c o m p u t e rv i s j o n ，a i l d p a t t e mr e c o 印i t i o n nw i l lb et h et r e n do ft r a 珩cp a r a m e f e r sa c q u i s i t i o nte c _ i l i l 0 1 0 西e s a n dh a sb e e np a i dm o r ea i l dm o r ea n e n t i o ni nr r s 1 1 1 ed i s s e r t a t i o ni sb a s e do na i l 印p l i e dp r o j e c t 疗0 mo n ei n t d l i g e n tt r a n s p o r t r c s e a r c hi n s t i t i l t e o u ra i mi st o n s t m c tat r a 伍ci n f o 【1 n a t i o na c q u i s i t i o ns y s t 锄f o r 舶e w a yb a s e do nv i d e 0d e t e c t i o n t h cm a i nc o m e n t sa r e a sf 0 1 l o w s ： 1 t r a 衔cv i d e oa c q u i s i t i o na n dt m n s m i s s i o n 2 m | o d e lo f v 踟d ed e t e c t j ：_ o na n dt r a m gf o rf 沁e w a y 3 v 曲i c l ed e t e c t i o na l g o m h mb a s e do n “r c l l a l - l o o pa n dm u l t i - i n f o n n a t i o n 血s i o n 4 f a s tv e h i d et r a c k i n gm e m o da c c o r d i n gt ot l l ef r e so fm ev e h j c l e so n f k e wa y 5 t r a m cp 猢e t e r sa c q u i s i t i o na 1 1 dt m m ca c c i d e n td e t e c t i o n b o t l ls t u d yo nt h ek c yt e c t l i l o l o 百e sa 1 1 dm eo p t i m i z a t i o n 柚dr e a l i z a t i o no ft h e s y s t e mh a v e b e e ni m p l 锄e n t c d a tp r e s e n t ，m ep r o d u c t i o n i n 仃o d u c e di nt l l i s d i s s e n a t i o nh a sb e e np u “m oa c t l l a l 印p l i c a t i o nw i t has a t i s f i c de 髓c t k e yw o r d s ：i t s ；拓a 伍ci n f o 咖a t i o na c q u i s i t i o n ；v i d e o 曲t e c t i o n ；v e h i d ed e t e c t i o n ； v e h i c l ct r a c k i n g i i 第一章绪论 第一章绪论 智能交通系统( i t s ，i n t e l l i g e n tt 岬r t a t i o ns y s t 铋) 是2 l 世纪地面交通运输 科技、运营和管理的主要发展方向，是交通运输的一场革命。对道路交通状况信 息( 车流量、平均车速、占有率等) 的采集是r r s 中的一个关键环节。因此，如 何及时、有效地获取道路交通状况信息是目前i t s 研究领域的一个热点。本课题 基于视频检测技术，在高速公路交通信息采集方面进行了一些积极有效的研究， 并取得了较满意的成果，该课题的成果已应用于实际的交通信息采集。 1 1 课题研究背景与意义 1 1 1 智能交通系统与交通信息采集 交通运输是国民经济和现代社会发展的基础。随着社会经济的不断发展和交 通量的持续增长，交通拥挤和阻塞现象日益严重，同时带来的交通污染与交通事 故也越来越引起社会的普遍关注。解决交通问题的传统办法是依靠修建更多的道 路、扩大路网规模，但随着人口的不断增加和可利用的地理面积的不断减少，人 们认识到仅仅利用这种方法来解决交通拥挤和阻塞的问题是不可取的，因此，如 何充分有效地管理、利用有限的交通设施，如何把交通基础设施、交通运输公交 和交通参与者综合起来系统考虑、如何充分利用高新技术解决交通问题便成了交 通运输领域研究的热点。在此背景下，智能交通系统应运而生。 智能交通系统是指将先进的信息技术、计算机技术、数据通信技术、感应器 技术、自动控制技术等有效地综合运用于交通运输、服务控制和车辆制造，加强 车辆、道路与使用者之间的联系，从而形成一种实时、准确、高效的综合运输系 统。其核心是智能技术，它借助电子、通信、计算机、人工智能、数据库、运筹 规划等先进的技术手段得到和提供道路交通的全方位信息，从而实现科学的管理， 达到高效合理地利用道路交通资源，及时测报和防范交通隐患，促进交通管理、 广东工业大学工学硕士学位论文 城市安全的现代化的目的。 为了解决曰益突出的交通问题，自2 0 世纪8 0 年代末以来，世界各国，特别 是美国、日本和欧洲列国等，竞相研究和发展智能交通系统，成立了许多机构， 制定并实施了开发计划。如美国r r s 协会( i t sa m 矗c a ) 、欧洲共同体的交通信 息与控制组织e r t i c o 、日本的路车交通智能协会v e r t i s ( 现改为r r sj a p a l l ) ， 以及国际标准化组织智能交通系统技术委员会( i s o 厂r c 2 0 4 ) 等。早在1 9 8 6 年， 欧洲开始大力实施以欧盟及各国政府为主导的智能交通系统研究项目( d r e ， d e d i c a t e dr o a di n 觎s t n l c t u r ef o rv e h j d es a 缸yi ne u m p e ，欧洲汽车安全专用道路设 施) 和以民间为主导的欧洲高效安全道路交通计划( p m 芦a i r l i l l e f o r e u m p e a nt r a f f i c 丽t hh i g h e s te 伍c i 饥c ya n d 咖p r e c e d e n t e ds a f e t y ) 。随后，日本也推 动了以建设省为主导的路车间通信系统和以警察厅为主导的新汽车交通信息通信 系统。9 0 年代，日本设立专款用于对电子收费系统( e t c ) 的研究，到1 9 9 9 年， 日本己向全国推行e t c ，同时还制定了智能公路系统( a h s ) 开发计划。另外， 也参与了以美国为主导的i t s 国际化工作。美国国会1 9 9 1 年就通过了“综合地 面运输效率方案”( i s t e a ) ，旨在利用高新技术和合理的交通配置提高整个网 络韵效率，并确定由美国运输部门负责全国的r r s 发展工作，在1 9 9 6 年的亚特兰 大奥运会中，美国就将r r s 的许多服务系统集成在当地的运输系统中。目前，已 经有难以计算的大小项目在开展，从理论规划到世纪实施，从现场实验到形成产 业，其发展规模和速度咄咄逼人 1 ，”。 中国作为一个发展中国家，既是当今世界上道路等基础设施建设速度最快的 国家，又是交通需求最快的国家。运输效率底下、城市交通堵塞、交通道路管理 等问题己经成为我国各大中城市面临的迫切需要解决的问题之一。为此，近十多 年来，特别是在“九五”以后，我国也加速了i t s 的研究。在国家有关部门的协调 和配合下，科研单位、院校、企业的积极参与努力下，取得了可观的研究和建设 成果，我国先后成立了全国智能交通系统协调指导小组、国家智能交通系统工程 技术研究中心，制定了中国智能交通发展战略和中国智能交通系统体系框架。实 施了是“十五”国家科技攻关项目“智能交通系统关键技术开发和示范工程”。在 北京、上海、广州等地建设了智能交通的示范工程。同时，2 0 0 7 年i t s 世界大会在 我国的召开和2 0 0 8 年的北京奥运，为我国智能交通的发展提供了一个良好契机， 这将进一步推动我国的r r s 迅速发展。目前，我国智能交通系统已在技术攻关、示 第一章绪论 范工程建设、企业产品研发和产业化以及社会环境体系建设等方面取得了一批阶 段性科技成果，有的已在大中城市道路运输中取得很好效益，这表明智能交通系 统已进入实质性的工程建设、应用阶段1 3 】。“十一五”期间，我国将构建现代化的 智能交通系统【4 j 。 交通信息的采集是智能交通系统中解决信息来源，综合分析处理多渠道信 息，进行系统数据管理和信息服务的关键技术内容，是智能交通系统的核心之一。 要实现智能交通，首先就必须及时准确地获取交通道路状况信息( 包括车流量、 占有率、违章事件、交通事故等等) ，离开了这些信息的获取就无法实现交通的信 息化、智能化。通过全面的、丰富的、实时的交通信息不仅可以把握、预测交通 道路的基本状况，动态地进行交通诱导，而且为交通规划和交通管理部门的正确 决策提供科学依据。因此，交通信息采集与处理技术无论对城市的交通规划、路 网建设、交通管理，还是对智能交通系统功能的实现都非常重要，是交通发展规 划和道路科学管理的最重要的基础和前提，是i t s 中至关重要一个环节。对交通 信息采集技术及应用进行研究对于智能交通系统的实现是非常必要的，对于加快 我国智能交通的发展，缓解交通堵塞、提供交通运输效果是具有非常重要的现实 意义的。 1 1 2 目前常用的交通信息采集技术分析与比较 随着传感技术、微电子技术、信息处理技术的发展以及智能交通发展的需求， 交通信息采集技术得到了很大的发展，先后产生了电磁感应式、光电式、电接触 式、超声波式、红外线式、微波雷达式、可见光式等多种类型的检测技术。下面 是对目前常用的几种交通信息采集技术的分析和比较。 交通微波( 雷达) 检测检测5 ：该技术是利用微波的多普勒效应来工作的。 多普勒效应的在电磁波中的表达式如式( 1 1 ) 。 ，：厶+ 孕厶 ( 1 1 ) l 式中：， 一反射信号的频率； 五一一一微波源产生的发射频率； 运动物体的径向速度分量； 广东工业大学丁学硕士学位论文 c 一一电磁波在空间的传播速度。 接受到的反射频率厂是由两部分组成的，其中一部分是微波源发出的微波频 l ， 率，另一部分是由于物体运动引起的多普勒频移正，即五= 三挚厶。微波( 雷达) 乙 检测器安装在道路的侧方或正上方，工作时，它发射一束已知频率而的微波，微 波以恒定的速度传播，当遇到运动的物体时，根据多普勒效应可知，反射回来的 频率与发射的频率存在一定的偏移厶，根据频移就可以判断是否有车，并且可以 根据( 1 1 ) 式计算出运动物体的速度。 该检测器的检测精度较高，可以同时检测多条车道，能检测交通流量、道路 占有率、平均速度及车辆排队情况，安装、维护方便，可以在不中断交通或关闭 车道的情况下进行。但缺少直观性，对于出现的一些排队、堵塞事件需要通过视 频监控系统进一步确认，并且设备的费用较高。 环形线圈检测：其包括环形线圈、传输馈线、检测处理单元及背板框架。具 体工作原理如下：首先将环形线圈埋设在需要检测路面的路基中，通过传输馈线 和检测处理单元构成一个初级调谐电路，环形线圈就相当于电路中的电感元件， 电流通过环形线圈时，在萁附近形成一个电磁场。当有车辆经过时，车身的金属 会感应出涡流电流，此时磁场的磁力线减少，调谐电路中的环形线圈电感量随之 降低，引起电路调谐的频率上升。检测单元就是通过对调谐电路的频率变化进行 检测。 环形线圈检测技术很成熟，检测精度高，能够检测出交通流量、车速、占有 率及车长、排队信息等。由于是埋设在路基下，安装维护极不方便，通常会影响 交通或关闭车道，并且在受到超载车辆的经常挤压后，易损坏。与雷达检测一样 不具有直观性，往往需要视频监控系统辅助。 视频检测：该方法基于计算机的软硬件，应用图像处理、模式识别、人工智 能、神经网络、小波分析等高新技术，通过对交通现场的视频( 图像序列) 信息 进行处理，获取交通道路的基本信息( 交通参数和交通事件) 。通常需要一个安装 在交通现场的采集装置( 摄像机) 、视频图像处理器( ，v i d e oi m a g ep r o c e s s ) 和视频、数据的传输设备( 光纤、光端机等) 。 视频检测技术是交通采集技术的一个新的发展方向。它能够采集交通流量、 占有率、车速、车型等交通参数，同时还可以采集排队、停车、逆行等交通事件， 4 第一章绪论 安装、维护方便，不需破坏路基。同时它的检测面积大，信息丰富，投资少、费 用低。但对硬件要求高，并且检测的精度易受算法和视频图像的影响。 以上是目前国内外常用的几种交通采集技术，每种技术都有其优点和不足， 其中基于环形线圈的采集设备市场占有率最高，技术最成熟。根据目前的交通管 理、营运部门的需求来看，对路基无破损的视频检测器是最受欢迎的，因此，视 频检测和微波检测也受到了关注。目前的新建项目越来越多地采用了安装、维护 不需破坏路基的交通信息采集设备。视频检测技术与其他的检测技术相比除了具 有上述优点外还具有一些独特的优势：1 同时具有交通信息采集和视频监控的功 能，交通管理人员不仅得到量化的交通信息，而且还提供了直观的监控能力，使 交通管理人员有亲临现场的感觉，这对于突发事件的处理尤为有益。2 视频检测 系统可以利用现有的视频监控设备，如摄像机、传输设备等，充分地提高了资源 的利用率。同时，随着微电子和计算机软、硬件、图像处理技术的不断发展，视 频检测的实时性和精度得到了很大的提高，硬件的要求和算法的难度已逐渐不再 是困扰视频检测的致命点，目前已有许多视频检测器应用于交通信息的采集。视 频检测大有替代环形线圈的趋势，是被认为最具有发展前景的交通信息采集技术 之一。 1 1 3 课题研究意义 交通信息采集是智能交通的关键环节，而基于视频检测的采集技术具有诸多 独特的优点而成为最具发展前景的技术之一，随着i t s 的进一步发展，基于视频 检测的采集技术会越来越受到科研、工程人员，交通管理、营运部门的关注。课 题是以广东某智能交通研究院的视频检测应用项目为研究平台，得到了广东省攻 关项目一一1 t s 中多参数集成识别技术的研究与应用的资助。因此，本课题的研 究无论是在理论研究、应用前景，还是在自主创新方面都具有现实意义。 1 2 课题研究的国内外现状 由于图像处理需要大量的计算，将图像处理应用于交通参数的实时采集，需 要依赖高性能的芯片。因此，基于视频检测的交通信息采集技术的研究与应用是 厂东工业大学工学硕士学位论文 随着计算机计算速度的提高、高性能芯片的出现及图像处理等技术的发展而活跃 起来的，近年来已成为图像处理、智能交通等研究领域的一个热点【6 】。 在国外，许多大学、科研机构和企业投入了大量的资本进行研究。如美国 m i n n e s o t a 大学是最早从事这方面研究的机构之一，在1 9 8 4 年就开始了视频检测方 面的研究，后来在政府的扶持下成立了i s s 公司，其研制的a u l 、o s c o p 系列交通 视频检测系统【9 】性能较好，目前应用较广泛；日本s e i ( s u r n j t o m o e l e m i c i n d l l s 缸e s ， n d ) 在原有系统的基础上研制了采集头与处理器整合在一起的小体积视频检测系 统10 】： 法国的c i t i l o g 公司、美国的n 舐s 公司都有自己研发的应用系统【i l 】。日本 东京大学生产技术研究所开发了基于视频图像的高速公路和隧道内发生的交通事 故自动监控系纠1 2 】。新加坡从1 9 9 8 年开始实施了高速公路监控及信息诱导系统 ( e x p r e s s w a y m o n i t o r i r 喀& a d “s o r y s y s t e m ，e m a s ) 1 3 】，其中的车辆检测系统和自 动事故检测系统都是基于视频检测和图像处理技术，完成交通数据采集和交通事 故检测等功能。 在我国，虽然起步晚，但随着国家对智能交通的建设，视频检测技术在智能 交通中的研究和应用也发展较快。许多公司结合科研院所也研发了自己的交通信 息视频植灏十产品。如士海高樗威、北京的汉王、深圳的神州交通等等。中国科学 院自动化研究所，浙江大学，上海交通大学，中国科技大学、吉林大学等许多高 等院校在车辆视频检测方面开展了有成效的工作【1 帕0 1 ，我们与广东新粤智能交通 研究院在也在这方面进行了一些初步的研究【2 1 2 2 1 。 运动物体的检测是基于视频检测交通信息采集系统的关键技术，常见的运动 检测技术主要有模板匹配法【2 3 ，2 扪、光流法【2 6 2 7 1 、特征匹配法【2 8 ，2 9 1 、邻帧差分法 【3 0 3 ”、背景帧差分法1 3 2 3 3 垮。模板匹配法首先根据先验知识，建立车辆的三维模 型，然后将车辆模型用于车辆运动估计。由于在现实中车辆的外形特征和运动特 征多变，很难建立准确的模型，而且模板匹配也非常耗时，所以在实际应用中， 模板匹配法很难达到实时性，准确性也不高。光流法的计算开销太大，不适用于 交通流量的实时检测。邻帧差分法计算速度较快，能很好地检测出运动物体，不 易受外界环境的影响，但对于缓慢运行和静止的物体就显得无能为力。背景帧差 分法计算量小，且在背景提取可靠的前提下，运动物体的检测效果最好，是普遍 应用于交通视频中运动目标检测的方法，当前很多学者的研究工作都是基于这种 方法的。这种方法对噪声的抗干扰能力较强，检测精度较高，但依赖于背景的更 6 第一章绪论 新效果。针对上述各个算法的优缺点和本系统的一些具体要求，本文的研究采用 了背景帧差分和邻帧差分相结合的方法。 1 3 课题研究需解决的关键问题和实现目标 基于视频检测的交通采集系统可以分为采集传输、处理、应用等几部分。它 涉及到计算机软、硬件、图像处理、通信、模式识别等多种高新技术。限于时间 和精力，我们没有对系统的每一部分都进行深入的研究，并且那样也是没必要的， 因此，我们根据项目的实际需要，重点研究了系统的关键性问题。本课题需要解 决的关键问题有： 交通视频图像的采集。交通视频是系统处理的对象。如果交通视频图像采 集合理，可以大大地减少车辆检测和跟踪算法的复杂度，对于提高系统的性能、 精度是非常有效的，所以目前一些车辆视频检测系统都需要架设专门的交通视频 采集设备，而不是使用一般的交通监控视频。这部分的关键主要是调节摄像机安 装角度和参数，解决车辆遮挡、夜晚车灯直射给识别带来的影响。 车辆检测和跟踪模型与算法。这是视频交通信息采集系统的核心，主要是建 立合适的车辆检测和跟踪模型，根据模型要求设计车辆检测和跟踪的算法，包括： 背景更新、车辆检测、运动跟踪算法等内容。 本课题要实现的主要目标就是基于视频检测技术建立一个适用于高速公路的 交通信息采集系统，能够实时地采集高速公路交通流量、平均车速、占有率、车 头距等交通参数和车辆排队，车辆逆行，违章停车等交通事件。 1 4 本论文的结构和主要内容 本文共分为六章，其结构和内容安排如下： 第一章介绍了课题的研究背景、国内外现状、需要解决的关键问题和实现目 标。 第二章详细介绍了交通视频的采集和传输，主要包括c c d 摄像机和镜头、图 像采集卡、光纤、光端机以及安装采集设备过程中需要注意的方面。 第三章讨论、分析了常用的运动物体检测方法，并提出了多信息融合的车辆 7 广东工业大学工学硕士学位论文 检测方法，同时也给出了背景更新、运动检测和阴影去除的具体算法。 第四章对多目标跟踪方法进行了分析，并根据高速公路的特点，提出了基于 运动预测的车辆跟踪方法。 第五章针对高速公路的特点提出了高速公路车辆检测与跟踪模型，并介绍了 从车辆检测与跟踪的结果中提取车流量、车速、车型等交通参数的方 法和检测车辆排队、违章停车、逆行等交通事件的算法。 第六章介绍了系统结构设计与运行平台，并给出了具体的系统测试结果和分 析。 第七章对课题的研究进行了总结，并对以后的工作进行了展望。 第二章交通视频的采集与传输 第二章交通视频的采集与传输 基于视频检测的交通信息采集系统可以分为视频采集传输、视频处理、信息 提取三个模块。交通视频采集模块是交通信息采集系统的第一个模块，是指通过 采集设备拍摄交通现场的视频图像并传输给视频处理模块。采集视频的质量好坏 直接影响到视频处理的效果和信息提取，如果视频中的车辆清晰，对比度好、明 亮适中，拍摄的位置恰当，车辆无遮挡，将会有利于车辆检测和跟踪，提高系统 采集的交通信息的可信度；但是如果采集的视频质量不好，车辆粘连严重，视频 图像模糊不清，甚至连人眼也很难看清楚，就会增加识别的难度，系统采集的信 息可信度就会就相应下降。因此解决好交通视频采集中存在的问题是提高交通信 息采集系统可靠性的首要前提。 采集的视频需要从现场传输到视频处理设备，这里就需要相应的视频传输设 备，整个采集的流程如图2 1 。 图2 1 图像采集和传输的过程 f i g u r c2 一lp r o c e s so f i m a g ca c q u i s i t i o na n dt m s m i s s i o n 2 1 采集设备 交通视频采集设备主要包括c c d 摄像机、镜头、图像采集卡3 4 ，5 3 1 。 9 广东工业大学工学硕士学位论文 2 1 1c c d 摄像机与镜头 摄像机和镜头在图像处理系统中相当于人的眼睛，负责拍摄对象。现在摄像 机的主要传感部件c c d ，它具有灵敏度高、畸变小、寿命长、抗震动、抗磁场、 体积小、无残影等特点。c c d 是电荷耦合器件( c h a r g e c o u p l c d c v i 嘲的简称，它 能够将光线变为电荷并可将电荷储存及转移，也可将储存之电荷取出使电压发生 变化，因此是理想的摄像元件，是代替摄像管传感器的新型器件。 c c d 的工作原理是：被摄物体反射光线，传播到镜头，经镜头聚焦到c c d 芯片上，c c d 根据光的强弱积聚相应的电荷，经周期性放电，产生表示一幅幅画 面的电信号，经过滤波、放大处理，通过摄像机的输出端子输出一个标准的复合 视频信号。这个标准的视频信号同家用的录像机、v c d 机、家用摄像机的视频输 出是一样的，所以也可以录像或接到电视机上观看。 摄像机的类型有很多。按输出的颜色来分，有彩色摄像机和黑白摄像机。彩 色摄像机：适用于景物细部辨别，如辨别衣着或景物的颜色。黑白摄像机：适用 于光线不充足地区及夜间无法安装照明设备的地区，在仅监视景物的位置或移动 时，可选用黑白摄像机。 按分辨率灵敏度等划分，影像像素在3 8 万以下的为一般型，其中尤以2 5 万 像素( 5 1 2 + 4 9 2 ) 、分辨率为4 0 0 线的产品最普遍，影像像素在3 8 万以上的为高分 辨率型。 在选择摄像机时还需考虑一些实际因素，例如对象是运动物体时，需要精确 控制摄像机的拍摄时间，这就要求摄像机要有异步重置能力，这样只要系统发出 拍照命令，摄像机马上就能重新开始曝光，并送出图像。在拍摄高速运动的物体 时，曝光时间应尽量短，否则会出现图像拖尾模糊的现象。为了减少模糊的现象， 需要减少曝光时间，提高快门的速度。数字摄像机一般采用电子快门，是用光学 电控影像表面的电荷积累时间来操纵快门。电子快门控制摄像机c c d 的累积时 间，当电子快门关闭时，对于p a l 制式摄像机，则为1 5 0 秒。当摄像机的电子快 门打开时其电子快门则以3 1 1 步覆盖从l 5 0 秒到1 1 0 0 0 0 秒的范围。当电子快门速 度增加时，在每个视频场允许的时间内，聚焦在c c d 上的光减少，结果将降低摄 像机的灵敏度，然而，较高的快门速度对于观察运动图像会产生一个“停顿动作” 1 0 第二章交通视频的采集与传输 效应，这将大大地增加摄像机的动态分辨率。其电子快门时间一般有l 5 0 s ，1 1 2 5 s ， 1 2 5 0 s ，l ，5 0 0 s ，1 1 0 0 0 s ，1 ，2 0 0 0 s ，l 4 0 0 0 s ，l l0 0 0 0 s 等。 选择完摄像机后，需要选择合适的镜头，理论上薄镜头的光学成像如图2 2 所 不： 图2 2 薄镜头的光学成像示意图 f i g u r e 2 - 2o p t i c a li m a 百n go f t h c1 1 1 i nl c n s 在实际中，使用的是镜头组，与理论上有一定的偏差，但基本接近。 鸠：鲁：拿 ( 3 1 ) 风d o 、 f ：等警 ( 3 2 ) l + m 、 l e = d f f = m f 。f( 3 3 ) 其中，m 是放大倍数，f 是焦距，皿是镜头范围，岛是像高，凰是物高，d f 是像距，d d 是物距。 市面上常见的镜头有2 8 m m ，3 6 m m ，4m m ，6m m ，12 m m ，l6 r n r n 等。所以在选择 镜头时，要根据摄像机固定的位置和需要的图像范围，可以计算出采用哪款合适 的镜头。 另外，镜头根据光圈的功能可以分为固定光圈镜头、手动光圈镜头和自动光 圈镜头。固定光圈镜头的光圈是固定的，而手动光圈镜头的光圈是可以手工调节 的，自动光圈镜头根据摄像机反馈的信号自动调节镜头光圈，使进光量恒定在一 个比较适当的位置。 2 1 2 图像采集卡 图像采集卡是图像采集部分和图像处理部分的接口。由于图像信号的传输需 广东工业大学工学硕士学位论文 要很高的速度，通用的传输接口不能满足要求，这是需要图像采集卡的主要原因。 由以下公式可计算出所需的信号传输速度： 驴靴蛐“垂 r 。是像素传输率，单位为p i x 创s e c o n d ，r 是图像分辨率，如用线扫描，垂直 分辨率为1 ，z 是拍摄两幅图像间的最小间隔时间。有些图像采集卡还提供了数字 抛控制的功能。 选择图像采集卡要考虑以下几个方面： 1 视频输入的格式和数据传输率 大多数摄像机使用黜4 2 2 或者e i a 6 “作为输出信号格式，这样图像采集卡就 需要支持系统使用的摄像机所采用的输出信号格式。从灵活性来说，如果两种格 式都支持就更好。当摄像机以较高的速度拍摄高分辨率图像后，会产生很高的输 出速率，这时摄像机一般使用多路信号同时输出，而图像采集卡必须能够支持多 路输入及摄像机的输出速率。 2 数据的吞吐量 当图像采集卡的信号输入速率较高时，需要考虑图像采集卡与图像处理系统 之间的带宽问题。在使用p c 时，图像采集卡使用p c i 接口。p c i 接口的理论峰值带 宽为1 3 2 m b s 。但在实际使用中，多数计算机上p c i 接口的平均数据传输率为 5 0 9 0 m b s ，有可能在瞬间高传输率时不能满足传输的需要。为了避免与其他p c i 设备产生冲突时丢失数据，图像采集卡上应有数据缓存。在一般情况下，有2 m b 的板载存储器可以满足大部分的任务要求。 3 数字i ，o 控制 在机器视觉系统中，输入输出的控制很重要。系统中常要根据处理过程的需 要来决定摄像机的拍摄时间。如果采用了可重设的摄像机，需要产生重设信号。 在一些系统中，由于需要设定拍摄的帧率，应该有像素时钟发生器。外同步是指 不同的视频设备之间用同一同步信号来保证视频信号的同步，它可以保证不同设 备输出的视频信号具有相同的帧行起止时间。为了实现外同步，需要给摄像机输 入一个复合同步信号或复合视频信号。如果图像采集卡已经具有数字i ，o 功能，能 够产生摄像机和其他电子设备所需的选通、触发及其他电子信号，对系统是很有 用的，否则将需要独立的数字i o 卡。 第二章交通视频的采集与传输 2 2 交通视频的传输设备 2 2 1 光纤 光纤即为光导纤维的简称。它是光纤通信的传输媒介。光纤通讯之所以在最 近短短的二十年中能得以迅猛的发展，是由它具有以下的突出优点而决定的： 1 传输频带宽、通讯容量大。 光载波频率为5 x 1 0 1 4m h z ，光纤的带宽为几千兆赫兹甚至更高。 2 信号损耗低。 目前的实用光纤均采用纯净度很高的石英( s i 0 2 ) 材料，在光波长为1 5 5 0 m 附近，衰减率可降至0 2 d b ，已接近理论极限。因此，它的中继距离可以很远。 3 受电磁波干扰。 因为光纤为非金属的介质材料，因此它不受电磁波的干扰。 4 线径细、重量轻。 由于光纤的直径很小，只有o 1 m m 左右，因此制成光缆后，直径要比电缆细， 而且重量也轻。因此，便于制造多芯光缆。 5 资源丰富。 光纤通讯除了上述优点之外，还有抗化学腐蚀等特点。当然光纤本身也有缺 点，如光纤质地脆、机械强度低；要求比较好的切断、连接技术；分路、耦合比 较麻烦等。 由于光纤具有带宽高，中继距离远等优点，非常适合图像等大容量数据的传 输，目前在高速公路的监控系统中多采用光纤通信，课题中图像的传输就是利用 高速公路监控系统中已铺设的光缆( 多根光纤的集合) 。 2 2 2 光端机 利用光纤传输视频除了需要光纤线路外还需要光电转换收发设备，即光端机。 光端机包括光发射机和光接收机。 光发射机主要由输入电路和电光转换电路组成。输入电路的作用主要是通过 广东工业大学工学硕士学位论文 均衡一码型变换一扰码一编码，将输入信号变为适合在光纤线路中传送的码型。 电光转换电路用经过编码的数字信号来调制发光器件的发光强度，把电信号转变 为光信号，送入光纤线路进行传输。 光接收机用于将光信号转换为电信号，其主要器件是光探测器。光探测器的 作用是利用光电二极管将发射机经光纤传输过来的光信号转换为电信号。在光纤 通信中广泛使用的光电二极管是p i n 光电二极管和雪崩光电二极管( a p d ) 。经光探 测器输出的光电流十分微弱，必须经多级放大器进行放大，使判决电路正常工作， 经判决电路判决后的码流再经过解码、解扰、编码后就恢复了电信号。 2 3 交通视频的采集需要注意的问题 在安装摄像机时需要考虑的主要问题有：c c d 摄像机的视场里是否会存在前 后或左右两辆车重叠，车前灯的影响等。图2 3 是摄像机安装示意图，在高速公 路的隔离带架设了一个高约l o m 的t 形架，摄像机安装在t 形架的横杆两端， 横杆的长度根据道路的宽度而定，应保证摄像机安装在道路的中央正上方。同时 调节摄像枫鹊安装角度和光母、快门等参数，使摄像杌视场中的车辆大小和有效 的可测距离适当。图2 - 4 是我们通过架设在高速公路上方的摄像机采集的图像。 从图像中可以看到，车辆无左右遮挡，车辆的大小适当。图2 5 、图2 6 分别是调 节光圈前后的视频图像，可以看到，当光圈调节适当时，能较好地抑止车灯强光 的影响。 图2 3 视频检测摄像机安装示意图 f i 粤l r e 2 3s k e t c hm 印o f f i x e dc 蛐e mi nv i d e od e t e c t i o n 1 4 第二章交通视频的采集与传输 2 4 本章小结 本章深入介绍了交通视频采集和传输的过程中的主要设备，包括c c d 摄像 机、镜头、图像采集卡、光纤和光端机等。同时也对视频采集过程中出现的问题 进行了分析，给出了一个摄像机安装和调节的基本方法。最后给出了采用我们提 出的方案采集的效果图像和对比图像。 图2 - 4 摄像机正确安装后采集的图像 f i g i l r e 2 5i l a g ec a p 删舶mc a n l e r ar i 蛳矗x e d 图2 - 5 光圈太大时的视频图像 f i g u r e 2 5h n a g ec a p t u d c dw i ml a r g ea p e r h l r e 广东工业大学工学硕士学位论文 图2 6 光圈适当时的视频图像 f i g u r e2 6i m a g ec a p 删w i mp f o p e ra p e r h 】r e 第三章基于视频的车辆检测技术 第三章基于视频的车辆检测技术 车辆检测与跟踪是交通信息采集系统的核心内容，采集的交通信息直接或间 接地来自车辆检测与跟踪的结果，因此，检测与跟踪的正确与否直接关系到采集 的信息准确与否。而车辆检测又是车辆跟踪的前提与基础，只有正确地检测出车 辆才能实现车辆的跟踪，否则，就谈不上车辆的跟踪。 车辆检测本质就是运动物体的检测，基于视频的运动物体检测方法有光流 法、模式匹配法、邻帧差分法、背景帧差分法等等。由于光流法、模式匹配等方 法的计算量太大，不利用实时检测，所以本章仅介绍和分析了几种适合实时处理 的常见的车辆检测方法。根据几种车辆检测的方法优劣，本章提出了一种基于虚 拟线圈的多信息融合车辆检测方法。它综合了邻帧差分和背景帧差分两种方法， 同时根据高速公路的特点和系统实时性的要求，提出了一种快速的背景更新算 法。 白天和晚上的道路环境是不同的，因此在两种环境下的车辆的检测和跟踪方 法也是不同的，本章中所有算法均是针对白天的。晚上的车辆检测与跟踪算法将 在第五章描述。 为了能利用原有的监控系统资源，文中处理的图像均采用灰度图像，如果是 彩色的图像，则通过相应的转化变为灰度图俐。 3 1 常见的车辆检测方法 3 1 1 邻帧差分法 邻帧差分法是一种很常用的运动目标检测和分割方法，它对于背景静止的情 况效果更好。它利用了视频图像在时间上的相关性。视频中的帧间存在着很大的 相关性，即前后几帧的图像内容很相似或相同。在背景静止的情况下，前后帧图 像中的背景部分基本是不变的。利用前后帧差分( 相减) 后就可以将背景部分去 掉。得到运动目标。由于存在噪声的影响，还需要对差分后的图作进一步处理。 广东工业大学工学硕士学位论文 通常我们对差分图像进行以下二值化处理： d ( f ，) = ： 老o 卜枷l 幻埘( 3 1 ) 式中d ( t ，) 表示差分后二值化结果，z ( f ，) ，z 一。( f ，) 分别表示t 和t l 时 刻图像帧中坐标为( f ，- ，) 的像素值，旃，船 o 埘表示用来消除噪声的闽值。当z 相 对于z 一。中有物体发生运动，在其对应于差分结果中的位置就表示为1 ，否则为o 。 相邻帧差分法是消除两帧连续图像中的静止物体以及提取运动目标区域的 最直接、最简单的方法之一。它具有一下优点： l 、对运动目标敏感，受光照、镜头抖动等环境因素的影响小。 2 、无需考虑背景提取、更新。 3 、算法简单、易行。 不过从上述其工作原理可以看出，如果图像中出现的车辆静止或者运动很 慢，利用这种方法就很难甚至无法检测，这是相邻帧差分法的最大不足，同时， 由于运动物体本身的颜色具有较大的相关性，因此，利用该方法也会失去部分关 于运动物体的信息。 3 1 2 背景帧差分法 背景帧差分法【”1 也是一种应用很广泛的运动目标提取方法，包括背景提取、 更新和运动目标提取两个部分。它将当前帧与提取的背景帧进行差分，去处当前 帧中的背景部分，提取前景部分( 运动物体) 。其基本思想是先形成交通场景的 背景图像，然后将待检测图像与背景图像逐像素相减( 理想情况下的差值图像 中非零像素点就表示了运动物体) ，进而就可运用阈值方法将运动物体从背景中 分离出来吲，即计算d j ，= lc f ，一e ，小其中( c i ，) 和( e ，) 分别为当前帧和背 景图像，( d ，) 为背景差图像，则车辆检测可表示为： 厂一j f d 打 7 f ，一1oe l s c( 3 2 ) 这里k ；= 1 表示对应像素为车辆区域，否则属于背景区域。 精确可靠的背景图像是背景差法能否成功提取r o i ( r e 百o no f h t e r e s t i n 曲的 关键。背景图像可由人工拍摄一幅没有车辆的图像来得到，也可以通过序列图像 第三章基于视频的车辆检测技术 的平均来得到。显然，建筑物阴影、浮云或光照的变化都会造成背景环境明显的 变化；由于这些环境变化因素，作为参照物的背景需要定时更新。目前有多种背 景更新方法，最常用的方法是多帧平均( f r 锄e a v e m 百n g ) 法3 8 l 和选择更新 ( s e l e c t i v eu p d a t i n g ) 法【3 9 】。最简单的多帧平均法是直接将前面若干输入图像的平 均值作为当前背景。文献【3 8 】采用如下方式更新背景： 曰尸，= 船一1 + ( 1 一七) q _ l o 肪，嚣矗。膨一窖：h 秒1 c 白“玎n ( f ，_ ，) 力1 第三章基于视频的车辆检测技术 e l s e c 。“n 嘶，) 置0 其中匆( f ，) 、z ( f ) 分别表示f 时刻的背景和当前图像对应于( f ，) 处的像素 值，拍，部 o 肘一鲥y 0 、砌珊 d 搿一g ，缈1 是灰度阈值，可以根据当时c c d 摄像 机的电位噪声和地面光照强度来动态设定。 当c 0 f o ( f ) o 且c d “n f l ( f ，) 1 时就将当前象素值作为背景 岛( f ，_ ，) 卜z ( f ，) 。也即：若检测区中象素的灰度相对背景连续次的变化均小于 阈值珐r 部 。腽一舶y o 且相对前帧n 1 次的变化均小于胁， o 材一缈1 ，则将该 当前象素值作为背景。d 、m 的值可以根据经验确定，但必须满足下式： o 5 0 ( p ，眦+ r )( 3 6 ) 式中r 为采集连续两帧图像的时间间隔。为高速公路车辆允许的最大速 度。 本文提出背景更新方法计算量小、简单可靠，这种算法既可以适应比如闪电、 云层阴影等光照突变的情景，也可适应如雨后地面水迹、固定物体阴影等变化缓 慢的环境。 3 2 3 运动检测 我们采用背景帧差分法来获取运动区域，考虑计算量，我们没有对整个检测 区进行分析，而是采用水平采样的方法( 虚拟线的方法) 来分析，这是目前应用 很普遍并且很有效的方法。 文献【4 2 】采用基于虚拟线的检