（电路与系统专业论文）基于特征跟踪的交通流检测系统设计[电路与系统专业优秀论文].pdf

复曰大学硕士学位论文 摘要 交通系统是社会发展的基础，道路运输在国民经济和社会发展中起着举足轻 重的作用。智能交通系统( i n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m ，简称i t s ) 旨在提高 现有交通网络的利用效率，是解决日前交通需求与交通供给矛盾的有效途径之 一。交通流视频检测技术一直是智能交通、计算机视觉、图像处理领域的研究热 点，出现了许多检测方法，其中较为常用有基于背景差值的检测、基于车辆模型 的检测和基于动态轮廓的检测，这些方法在车流量较小的情况下能够取得较好的 效果，但当车流量较大，由于这三种方法是将车辆作为一个整体来检测，在车辆 间存在局部遮挡、或者长影将相邻的车辆连接起来的情况下，系统的检测准确性 会大大降低。因此，本文设计了一种基于特征跟踪的交通流检测系统，该系统通 过提取和跟踪车辆角特征点的运动来实现对道路上通行车辆的检测。这种方法的 优点在于检测结果不容易受到局部遮挡、长影等现象的影响。 关键词：智能交通系统角点检测特征跟踪运动约束摄像机标定o r ，e n c v 复旦大学硕士学位论文 a b s t r a c t t r a f f i cs y s t e mi st h eb a s i so fs o c i a ld e v e l o p m e n ta n dh a sb e e np l a y i n gak e yr o l e i nt h ed e v e l o p m e n to f e c o n o m y i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ( i t s ) ，a i m e dt o m a k et h et r a f f i cs y s t e mm o r ee f f e c t i v e ，i so n eo f t h em o s te f f i c i e n tw a y st os o l v et h e c o n f l i c tb e t w e e nt h es u p p l yo f t h et r a f f i cs y s t e ma n dt h ed e m a n do f i t v i s i o nb a s e d t r a f f i cs u r v e i l l a n c ei sa na c t i v er e s e a r c ha r e a m a n ym e t h o d sh a v eb e e np r o p o s e d ，s u c h a sr e g i o nb a s e dt r a c k i n g , 3 dm o d e lb a s e dt r a c k i n ga n da c t i v ec o n t o u rb a s e dt r a c k i n g t h e s em e t h o d sw o r kw e l li nf r e e - f l o w i n gt r a f f i c h o w e v e r , w h e nt h e r ei sc o n g e s t i o n ， t h e s em e t h o d sb r e a kd o w ni nf a c eo f c o n g e s t e dt r a f f i cd u et ot h ep r o b l e m so f p a r t i a l o c c l u s i o na n dl o n gs h a d o w s t h e r e f o r e ，af e a t u r eb a s e dt r a c k i n ga p p r o a c hi sp r e s e n t e d i nt h i sp a p e r i n s t e a do f t r a c k i n ge n t i r ev e h i c l e s v e h i c l es u b - f e a t u r e sa r et r a c k e da n d g r o u p e d ，w h i c ha r eu s e dt or e p r e s e n tv e h i c l e s t h em a i na d v a n t a g eo f t h ef e a t u r e b a s e dt r a c k i n gm e t h o di st h er o b u s tt op a r t i a lo c c l u s i o na n dl o n gs h a d o w s k e yw o r d s ：i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ( i t s ) ，c o m e rd e t e c t i o n ，f e a t u r e t r a c k i n g , m o t i o nc o n s t r a i n lc a m e r ac a l i b r a t i o n ，o p e n c v 2 复旦大学硕士学位论文 第一章绪论 1 1 智能交通系统概述 现代社会中，交通系统是社会发展的基础，道路运输在国民经济和社会发 展中起着举足轻重的作用。随着交通需求的急剧增长，进入8 0 年代以来，道路 运输所带来的交通拥堵、交通事故和环境污染等负面效应也日益突出，逐步成 为经济和社会发展中的全球性共同问题。 在过去相当长的一段时间里面，人们解决车和路的矛盾，常用的有两个办 法：一是控制需求，最直接的办法就是限制车辆的增加；二是增加供给，也就 是修路。但交通是社会发展和人民生活水平提高的基本条件，经济的发展必然 带来出行的增加，而且目前正是我国汽车工业发展的关键阶段，因此限制车辆 的增加不是解决问题的好办法。而采取增加供给，即大量修筑道路基础设施的 办法，在资源、环境矛盾越来越突出的今天，面对越来越拥挤的交通、有限的 资源和财力以及环境的压力，也将受到极大的限制。 智能交通系统( i n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m ，简称i t s ) 旨在提高现有 交通网络的利用率，是解决日前交通需求与交通供给矛盾的有效途径之一。近 年来，以“保障安全、提高效益、改善环境、节约能源”为目标的i t s 概念正 逐步在全球形成。成为世界交通运输领域的前沿研究热点，各国重点发展项目。 1 1 1 智能交通系统内容 国际上普遍认为智能交通系统( i t s ) 起步于6 0 7 0 年代，最初的原型是 交通管理计算机化。随着社会的发展和技术的进步，逐步发展成为强调系统性、 信息交互性以及服务广泛性的交通工程与管理系统。智能交通实质上是在较完 善的道路设施基础上，将先进的电子技术、信息技术、传感器技术和系统工程 技术集成运用于交通管理所建立的一种实时、准确、高效、大范围、全方位发 挥作用的交通运输管理系统。它旨在充分发挥现有交通设旌的潜力，提高运输 效率，保障交通安全，缓解交通拥挤。 i t s 的功能主要表现在三个方面： 顺畅功能，增加交通的机动性，提高运营效率，提高道路网的通行能 力，提高设施效率，调控交通需求； 安全功能，提高交通的安全水平，降低事故的可能性避免事故，减轻 事故的损害程度，防止事故后灾难的扩大； 复旦 学硕士学位论文 环境功能减轻堵塞低公害化，降低汽车运输对环境的影响。 国际上通常把i t s 分为七个子系统： 1 、先进交通管理系统( a d v a n c e dt r a f f i cm a n a g e m e n ts y s t e m s ，a t m s ) a t m s 为智能型运输系统的核心与基础，此系统系利用侦测、通讯及控制等 技术，将交通监控系统侦测所得之交通状况，经由通讯网路传输到交通控制中心， 中心再结合其它方面获得之信息，制定及评估交通控制策略，执行整体性的交通 管理，并将相关信息传送给用路人与相关道路管理单位，以达到运输效率最大化 及运输安全之目的。本系统主要特色系强调其与各子系统间之整合与实时控制之 功能，提供匝道控制、号志时制计画、事故管理、替代路线导引等之参考。 2 、先进用路人信息系统( a d v a n c e dt r a v e l e ri n f o r m a t i o ns y s t e m s a t i s ) a t i s 藉先进信息、通讯及其它技术，使旅行者能在车内、家里、办公室、车 站等地点方便取得所需之交通信息，作为选择和决策的依据，以顺利到达目的地。 3 、先进车辆控制及安全系统( a d v a n c e dv e h i c l ec o n t r o la n ds a f e t ys y s t e m s ， a v c s s ) a v c s s 结合传感器、计算机、通讯、电机及控制技术应用于车辆及道路设施 上，协助驾驶人驾驶，以提高行车安全，增加道路容量，减少交通拥挤。此系统 之主要特色系利用传感器协助人类感官功能之不足，减少危险之发生：提商自动 控制之程度，从事更安全、准确、可靠之控制，弥补驾驶人因判断错误及技术不 佳所造成的疏失与危险。 4 、商用车辆营运系统( c o m m e r c i a lv e h i c l eo p e r a t i o n s ，c v o ) c v o 将前述a l m s ，a t i s 与a v c s s 技术应用到商业营运车辆，以提升运输效 率及安全，减少人力成本，提高生产力。此处“商用车辆”不仅包括大型与重型 车辆如卡车、货车，也包括紧急救护用车辆，以及每日运作的商用小型车。 5 、先进公共运输系统( a d v a n c e dp u b l i ct r a n s p o r t a t i o ns y s t e m s ，a p t s ) a p t s 将前述a i m s ，a t i s 与a v c s s 技术应用于公共运输系统，以改善公共运 输服务品质，提高营运效率，增加公共运输系统的吸引力。 6 、先进乡区运输系统( a d v a n c e dr u r a lt r a n s p o r t a t i o ns y s t e m s ，a r t s ) 研究发现几乎有5 0 以上之交通事故是发生在郊区道路，且由于距离医疗服 务太远，延误治疗，死伤情形较市区严重。i t s 增加此子系统，希望藉由紧急号 志、事故侦测、路线导引、双向通讯及自动定位等技术之应用，以降低事故造成 之损失。 7 、自动公路系统( a u t o m a t i ch i g h w a ys y s t e m s ，a h s ) 自动公路系统是i t s 各项技术最先进的一项系统，它利用路旁设施的布设，使 车辆能够自动驾驶。a h s 的目的是由先进通讯及自动控制等技术的应用，协助驾 复旦大学颈士学位论文 驶人开车，以降低驾驶人开车时精神及体力上的负担，并提升交通安全与运输效 率。a h s 的概念可分为车辆完全自主( 即车辆完全智能化) 、道路设施控制( 即 大部分由道路上相关设施来控制) ，以及介于前两者之间的系统。 中国智能交通系统框架包括八大服务领域2 】： 交通管理与规划 电子收费 出行者信息 车辆安全与辅助驾驶 紧急时间与安全 运营管理 综合运输 自动道路 1 1 2 国际i t s 发展概况 美国、欧洲等一些发达国家在上世纪6 0 7 0 年即已经开始i t s 的研究，进 过一段时间的探索之后，在8 0 年代进入了i t s 发展的高峰期，取得了许多优秀 成果阳】。 美国：自上而下开发 美国自动化的交通管理水平以前是落后于欧洲与日本的，由于美国土地资 源相对比较丰富，因此相当一段时间内是靠修路来解决交通拥护问题，欧洲人 甚至批评美国人还在向日本人学习交通控制，但是美国在工t s 的开发研究上 大有后来者居上之势。 面对己经相当庞大的公路网，要想再占用大量土地，投入大量资金大规模 进行道路建设已经不可能。因此，1 9 9 1 年美国国会通过了“综合地面运输效率 方案”( i s t e a ) ，旨在利用高新技术和合理的交通分配提高整个网络的效率， 根据计算机仿真的结果，有可能提高接个路网的通行能力约2 0 至3 0 。i s t e a 的主要内容就是实施智能运输系统，并确定由美国运输部门负责全国的i t s 发 展工作，并在以后的6 年中由政府拨款6 6 亿美元，用来进行i t s 研究工作。 可以说美国的i t s 研究工作是采用了自上而下的方式，美国在组织i t s 研究时， 首先是从i t s 的体系结构着手，通过体系结构的研究，引出各子系统服务功能， 并希望在今年提供全面的服务。 为了加强i t s 研究，美国联邦政府公路局在全美建立了3 个i t s 研究中心， 中心的经费由联邦政府和地方共同提供。为了调动企业和私人投资公路建设的 积极性，美国大力展开了电子收费系统和不停车收费系统的实验研究，目前美 复旦大学硕士学位论文 国己有1 2 个运输管理机构在进行这方面的工作。 日本：各方协调组织 日本日前在i t s 项目上己经形成了官民学的协调体制，这对日本i t s 的发 展起了很大的推动作用。日本特别重视i t s 技术的商品化发展，以自动导航系 统为例，己开发出了以现有交通管理系统为基础，配以数字地图和红外信标， 短程通信的道路交通情报通信系统( v i c s ) ，v i c s 是一个以通信、信息采集处 理与信息提供和车载设备为核心的系统，汽车上附加装置约2 0 万日元，据介绍 已卖出1 5 0 多万套，目前己经形成了3 千亿日元的市场。另外日本十分重视自 动电子收费系统( e t c ) 的开发，并制定了e t c 的统一开发规范。在这一规范 下根据各大公司的研究成果和特长，组织各大公司、研究所开发研究工作。1 9 9 8 年日本的e t c 标准得到批准，日本极力将这个标准推荐为正在讨论中的短程通 信国际标准基础。 欧洲：官方民间并行 欧洲的i t s 研究开发以欧盟为主导。在2 0 世纪8 0 年代中期，欧洲十多个国家 投资5 0 亿美元，联合执行一项旨在完善道路设施提高服务水平的d r i v e ( d e d i c a t e dr o a d i n f r a s t r u c t u r e f o r v e h i c l es a f e t y i n e u r o p e ，欧洲汽车安全专用道 路设施) 计划。该计划含义是欧洲用于车辆安全的专用道路基础设施，主要研究 内容有：需求管理、交通和旅行信息系统、城市综合交通管理、城市间综合交通 管、辅助驾驶等，该计划到1 9 9 4 年己完成。之后进行t e l e m a t i c 的全面应用开发工 作，欧洲计划在全欧洲范围内建立专门的交通( 以道路交通为主) 无线数据通信 网，i t s 的主要功能如交通管理、导航和电子收费等都围绕t e l e m a t i c 和全欧无线 数据通信网来实现。 1 1 3 我国i t s 发展概况 我国i t s 的发展起步较晚。7 0 年代以来，从国外引进、消化了一些项目，并 进行了一些i t s 基础项目的研究和应用。7 0 年代中至8 0 年代初，主要是进行城市 交通信号控制试验研究。8 0 年代中至9 0 年代初，在一些太城市引进和消化城市交 通信号控制系统，如上海引进澳大利亚s c a t 系统，北京引进英国的s c o o t 及南 斯拉夫的t r a n s y t - 7 f 交通信号控制系统。实现了一些( 高速) 公路监控系统、 高等级公路电子收费系统和路边信息服务系统，例如广佛高速公路监控系统、首 都机场高速公路电子收费系统。9 0 年代中以来，开始研究部门i t s 发展战略和g i s 、 g p s 、e d i 在交通中的应用等，重视交通信息网络的建设，如交通部的公路智能 运输系统发展战略研究、铁道部t m i s 、d m i s 等信息系统开发。 近几年来，i t s 在中国有了长足的发展。1 9 9 9 年，由科技部牵头，联合建设 6 复旦大学硕士学位论文 部、交通部、公安部等十多个相关部委，组织成立了全国智能交通系统( 1 t s ) 协调小组，为推动交通系统的智能化发展提供了组织机制保障。2 0 0 0 年完成了中 国i t s 体系框架研究和标准规范的制定。其中标准规范的制定从一定程度上确定 了系统构成、功能模块以及模块之间的通信协议和接口，建立了能够与国际接轨 的i t s 标准体系，中国i t s 体系框架也己成为指导中国i t s 发展的纲领性文件。 1 2 交通流检测基础 智能交通系统的实时信息采集与处理能力使管理者能够全面地了解交通运 行状况，能自如地处理各种道路交通异常情况，其发布信息能力又使管理及时 将决策传达给交通行为者。这里的实时交通数据信息采集与处理就是通过交通 流检测系统来实现的。借助计算机视觉、图像处理技术设计准确、可靠的实时 交通流量检测系统己成为现代城市智能化交通监控系统的一个重要组成部分。 1 2 1 交通流的描述 再讨论交通流检测技术之前，有必要对交通流和交通流参数有大致的了解。 交通流 5 】是道路上人、车从甲地到乙地的流动形态。交通流的定量特征及其 随时间、空间变化而变化的一般规律称为交通特征。其中交通量、速度和交通密 度是表征交通流特性的三个基本要素。 1 、交通量 在单位时间t ( 一般为小时) 内通过线路某断面的车辆数n ，单位：辆小时。 图1 1 车辆行驶时空图 常用反映交通量的参数还有： 车头时距届同一地点车辆经过的时间间距； 车头间距x s ：同一时间相邻两车头之间的距离； 复旦大学硕士学位论文 车辆在不同时刻的行驶轨迹的时空图如图1 1 所示，图中在路段长度为的 固定时间乙的交通量玑= 万辆，在时间，内固定时间一的交通量q a = 4 辆，交通量可 表示为平均车头时距目的倒数： 1 q 2 h 2 3 2 、平均速度 车速分地点车速、行驶车速、时间平均车速和空间平均车速。 地点车速：车辆驶过道路某一地点的瞬时速度： 行驶车速：车辆通过一段路线，在实际行驶时间中( 不含停车时间) 的车速： 区间车速：车辆在某一种路段所行距离。除以行驶的总时间( 包括行 车及停车时间) 所求得的速度称为区间车速； 时间平均速度：固定观测地点，在给定的时间间隔内测得的地点车速 的平均值称为时间平均速度k ， 巧= 亡巧 ”百 式中k 是时间平均速度，圪是第廊i 车的地点车速，堤单位时间内观测 到的车辆总数。 空间平均车速：在某一特定瞬间，行驶于道路某一特定长度内的全部 车辆的地点车速分布的平均值。 _ ：乏了：罟 吉善寺善 式中x 为观测长度，岛是第霸两车的行驶时间，口是车辆行驶于路段长度 硇q 次数，玎第确目车的行驶速度，k 为空间平均车速。 3 、交通密度 某一瞬间，一定长度的车道内拥有的车辆数，单位：辆，千米车道。交通 密度是表示交通流拥挤状态的指示，但观测困难。因此，在交通管理控制方面， 多以较易测定的占有率取代密度。占有率有可以分为两种： 空间占有率：在观测路段内，行驶车辆总长度占该路段长度的比例。 时间占有率：在一定时间内，全部车辆通过某一断面所需时间的累计 值占该时间的比例叫做时间占有率 1 2 2 传统的交通流检测技术 全面、准确、可靠地检测交通流信息是实现交通智能化的基本保障。在智能 复县大学硕士学位论文 交通系统中，交通流参数检测是交通系统管理的基础，是先进的智能交通管理技 术得以实时与正确控制与引导交通，提高交通安全性和效率的前提。正确的交通 流参数检测系统可以使智能交通管理系统正确及时获得交通状况信息，对交通状 况进行有效预测、管理，并发出诱导信息，达到提高交通网运行效率的目的。 多年来，在世界各个国家，交通流检测技术研究得剑了普遍的重视，各个机 构、公司以及大学、研究所纷纷投入相关技术的研究，开发了许多交通流检测系 统。近些年，交通流检测系统的研究也在国内很多机构展开。 传统的车辆检测方法主要有电磁感应环形线圈式和声波式两大类1 6 j 。 电磁感应环形线圈式车辆检测器 地埋磁感应线圈检测器是传统的交通检测器。是目前世界上使用最为普遍 的一种检测设备。这类监测器由埋在路基下的环形线圈和检测该线圈电磁感应 变化的相关电子设备组成，有车辆经过时，该线圈上的电磁感应就会发生变化。 这种方法最大的优点是技术成熟，易于掌握。南非的n o r t e c h 国际公司所 研制的t d 系列单通道、双通道和四通道车辆检测器是利用此类技术比较有代 表性的产品。它具有线圈绝缘保护、线圈故障监控、最优化灵敏度、最优化反 应时间、顺序轮询检测、可调存在时间、检测器同步、通道禁止等功能。 这种方法也有以下缺点：( 1 ) 线圈在安装或维护时必须直接埋入车道，这 样交通会暂时受到阻碍。( 2 ) 切割路面面积比较大，埋置线圈的切缝软化了路 面，路面被雨水浸泡后容易出现路面下陷，使路基遭到破坏，容易造成整个路 面的下陷。( 3 ) 感应线圈易受冰冻、路基下沉、盐碱等自然环境的影响，容易 损坏，使用寿命短。( 4 ) 感应线圈由于自身的测量原理所限制，当车流拥堵， 车间距小于3 m 的时候，其检测精度大幅度降低，甚至无法检测。 声波式检测器 这类检测器主要有微波检测器、红外检测器、超声检测器等。 微波检测器主要依据多普勒效应，以恒定的频率传送电磁波，当有车辆经过 时，反射波的频率发生频移。通过检测传送和接收信号间的频率差异，可以计算 驶过车辆的行驶速度。微波检测器的优点是可以在恶劣气候下有出色的性能，受 到天气的影响较小，可以直接用于测量车辆速度。但是它无法检测速度较慢的车 和静止的车，当由于红灯或堵车引起车速缓慢绒车辆静止时，多普勒效应失灵。 另外，由于多普勒原理的方向性，系统安装难度较大，必须以向前方式用定向天 线跟踪单车道，对于多车道则需要多个设备，安装要求也会增加。 红外检测器可以分为主动红外检测和被动红外检测两种。主动红外测定车 辆通过两条红外光线的时间差来获取车速数据。它的优点是雾天的穿透力较强， 可以用于直接测速，但是其它天气的适应性差，只能用于单车道的检测，安装 复旦大学硕十学位论文 难度很大，容易被车撞毁。被动红外检测用对能量敏感的光子检测仪来测定一 定范围内物体所发出的红外能量。被动红外的检测系统能提供车辆存在，车辆 数目等数据。同样，它的优点是雾天的穿透力较强，但是在雨雪天，到达检测 仪的能量的差异将减小，因此不适合雨天和雪天。 超声波检测器发射超声波，经车辆表面反射的声波被接受端装置接受，以 此来判断车辆存在。超声波检测系统可以用于车辆记数，检测车辆存在。超声 波检测的优点是体积小、结构紧凑，安装方便。缺点是较易受到环境变化的影 响，性能会随环境温度和气流影响而变化，不能够各种天气条件下稳定工作。 1 2 3 交通流视频检测技术 视频检测技术是利用摄像机拍摄道路图像，运用计算机视觉、图像处理等 技术自动检测车辆，计算交通流参数。 基于视频的交通流参数检测系统具有如下优点： 基于视频图像处理的车辆检测法监视的面积很大，信息丰富，能提供多 种交通信息。 能够适应于各种环境，全天候工作。 检测器安装、维修简便，无需在车道路面上施工。 系统使用寿命长，大多数升级可以在软件端完成，无需更换硬件。 在提供交通流数据描述的同时，对于检测到的异常事件( 例如交通堵塞、 交通事故等) 可提供现场画面，以供分析。 表i i 为视频检测技术的主要特点，表i 2 为视频检测信息种类，概括了从 理论上讲视频检测技术所能发挥的检测作用。 表1 1 视频检测技术的主要特点 主要特点 举例说明 能对视线范围2 0 0 米以内的车辆进行跟踪检测 检测范围广 检测的车道数可达到8 条 安装维护无干 由于视频检测器往往是安装在路侧或中央隔离带上，因此安装及 扰 维护不需要关闭车道，也不需要开挖、破坏路面 ， 传统的感应线匿检测器在损坏时，需要开挖路面进行维护而视频 维护方便低耗 检测设备发生问题时可直接摘除或修理设备不需要关闭车道或 开挖路面，减少了维护费用 能够检测交通流量、速度、密度、占有率等基本交通参数 检测参数丰富 还能检测排队、逆行、停车、行程时间、延误、散落物、事件、 拥挤等，这是一般的感应线圈检褪9 器无法比拟的 可视性 能够将实时的图像传给交通管理者，实现监视的职能 能够全天候工作 检测可靠性高 不受雨、雪等恶劣天气的影响 i o 复旦大学硕士学位论文 i先进性、 视频检测技术是智能交通系统的关键技术之一能够与先进的车 l 可持续发展性 辆信息系统、先进的交通信息诱导系统、先进的公交信息系统等 l 智能交通模块衔接，实现更多的功能 表1 2 视频检测信息种类 检测信息类型检测信息 交通流量 时间占有率 车辆速度 交通流运行参数 车流密度 车头时距 车头间距 车型信息 车型分类( 大型车、中型车、小型车) 排队 停车 事件信息 逆向行驶 散落物( 一定体积以上) 排队 拥挤信息 拥挤自动检测算法得到的事件警告 其它信息 行程时间 视频检测技术己引起世界各国智能交通系统研究的高度重视，有着良好的 应用前景。视频车辆检测系统在现代交通监控系统中占有很重要的地位，是智 能交通系统发展的重要环节。然而作为一项正在发展的技术，基于视频的交通 流检测技术还存在许多问题有待解决。例如由于成像原理决定、高车流密度下 的车辆间遮挡问题，昼夜转换间的长影问题等都给这项技术带来了不小的挑战。 1 3 论文主要内容及章节安排 本文的任务是设计一个基于特征跟踪的交通流检测系统，属于视频检测技 术。研究的主要目的是希望在一定程度上解决长影现象、车辆间局部遮挡问题给 交通流视频检测技术带来的困难，提高系统在车流密度较大的情况下检测精度， 并且使其能够不受天气、光照等外部条件变化的影响，全天候工作。 论文第二章首先分析了现有的视频检测技术，并在此基础上提出系统设计目 标，设计思想和系统实现框架。第三章是本论文的核心部分，根据系统的实现框 架，具体介绍系统的各个功能模块，包括：摄像机标定模块、角特征点提取模块、 特征跟踪模块、动态分组模块，给出了系统采用的算法、程序实现的流程以及实 验结果。第四章为总结和展望。 复旦大学硕士学位论文 第二章系统设计思想及实现框架 本章首先分析基于视频的交通流检测技术的研究现状，在此基础上阐述系 统设计思想，提出了实现框架。 2 1 基予视频的交通流检测技术研究现状分析 交通流视频检测技术是i t s 的一项基础技术，也是实现i t s 的关键环节， 一直受到广泛的重视，是计算机视觉、图像处理领域的研究热点。下面对几种 主要的技术途径进行简单分析。 2 1 1 背景差值检测法 背景差值检测法是经典的运动检测方法，目前大多数车辆检测系统均是采 用此类方法。它的主要思想是用当前图像减去道路背景图像，找出差值大于设 定阈值的部分，再进行图像分割进而检测出场景中的车辆。 实现背景差值检测关键是背景提取。此处“背景”指道路上没有车辆的情 况，得到背景存在两方面的困难：( 1 ) 不可能要求交通暂停来蛊接获取道路背 景：( 2 ) 背景会随着光照的变化而发生明显的变化，例如白天和黑夜道路背景 是完全不同的。所以要求在交通正常运行的情况下，实时、动态地获得对当前 光照条件下的道路背景的量佳描述。目前提取背景的主要方法有：按图像序列 中出现频率判别、按单帧圈像中出现频率判别、图像序列时间平均【4 ，7 】。 按图像序列中出现频率判别的思路是：在一段较长时间内，路面上的点被 相同车辆的像素覆盖的可能性较小。可以统计一段时间内各个像素点上不同的 值出现的频率，据此得到壹方图，认为图中峰值对应道路本身的像素值。此方 法的缺点是在道路上车辆较多的情况下，统计直方图中峰值会受到削弱，道路 本身的像素值甚至可能不是最大值。 按单帧图像中出现频率判别的思路是：道路上圊时存在的车辆不可能都是 一样的，所以统计单幅图像中各像素点值的直方凋，处于峰值的为路面对应的 值。此方法极易受到路面复杂性的影响，如路面光照情况不一样，交通拥挤等。 图像序列平均的思路是：图像中由于车辆经过而引起的变化在较长时间平 均后可忽略不计，从而可对一段较长时间的图像序列进行时间平均得到道路背 景。此方法相对前面两种有更好的适应性。另外文献f 1 0 】还提出了一种基于卡 尔曼滤波的背景自适应模型，能够根据一天光照情况的变化自动更新背景预测。 复旦大学硕士学位论文 2 1 2 车辆模型检测法 美国加州大学伯克里分校k o l l e rd 等人【8 1 和英国里丁大学b a k e rk ，s u l l i v a n g1 9 1 提出了基于三维模型的车辆检测跟踪方法。该方法需要首先设计一系列三 维车辆模型，并生成它们在各种情况下对应的一维、二维模板，利用单摄像头 所拍摄的图像中区域与这些模板的匹配来进行车辆的检测跟踪。 这种方法最大的优势在于可以恢复出车辆的行驶轨迹和车辆模型，能够在 一定程度上克服遮挡和阴影等问题。但在实际应用中，很难得到道路上可能出 现的所有车辆类型的详细几何模型，所以此类方法很难运用于实际的交通流检 测系统中。 2 1 3 动态轮廓检测法 动态轮廓检测同样属于区域检测，基本的思想是【1 2 ”】：当车辆进入摄像机 检测范围时，捕捉其轮廓，以捕捉到的轮廓作为检测对象，根据运动和灰度边 界进行动态更新，从而达到车辆检测跟踪的目的。 如果车辆在进入检测范围时，系统正确地初始化了车辆的轮廓，那么如果 该车辆在随后的行程中与其它车辆发生了局部遮挡，系统仍然能够将其检测出 来。但是，如果车辆在进入检测区域时没能正确地初始化车辆轮廓，例如两辆 车在进入检测区域的时候已经发生了局部遮挡并被检测为一镧车，那么系统将 检测错误。在交通较为拥挤的情况下，上述情况发生概率较大。 2 1 4 特征检测法 基于特征检测跟踪的交通流参数提取系统，与前面三种方法有很大的不同。 它并不把车辆当作一个整体来处理，而是检测和跟踪车辆的子特征信息，通过 对子特征信息的运动分析来达到车辆检测的目的【。此类方法的优点在于即使 在交通拥挤、存在局部遮挡的情况下，被遮挡车辆仍可以被检测原踪到，因此 该系统适用于交通较为拥挤的状况。另外，由于选取子特征作为检测和跟踪对 象，系统对于光照环境变换有很好的鲁棒性。 本论文提出的基于特征跟踪的交通流检测系统即属于此类检测方法，下面 具体介绍系统设计思路。 复且大学硕士学位论文 2 2 系统设计思想 2 2 1 交通流检测系统判定标准 确定每一项系统设计方案之前，除了了解相关领域研究状况外，有必要根 据系统设计目标，明确评价系统是否有效的条件。 交通流检测系统的设计目标是希望能够应用到交通现场，稳定、准确、全 面地采集交通流参数。为了到达( 或接近) 上述目标，系统应该满足以下5 个 条件： 1 、能够检测到道路上所有车辆，包括将车辆与背景分离、车辆与车辆之间分离。 这实际上要求系统对背景变化和高密度车流量、车辆间存在遮挡的情况有良 好的适应性。 2 、能够检测道路上可能出现的各种车型，包括卡车、工程车、大巴士、轿车、 摩托车等等。基于模型的检测系统很难满足此项条件，因此难于适应于实际 的工程应用。 3 、能够适用于各种交通状况，包括畅通、拥堵、车速变化频繁等等。 4 、能够全天候工作，包括白天、黄昏清晨、夜间，并且能够适用于各种天气 状况，包括晴天、阴天、雨天等。由于光照引起的长影、能见度低、背景变 化等问题给基于视频的交通流检测系统的研究带来了不小的挑战，如何克服 这些问题是目前交通流检测系统的研究热点之。 5 、有良好的实时性。 国内基于视频的交通流检测技术的研究开展的较晚，目前的研究成果离实用 尚有不小的距离。本论文提出的利用特征跟踪技术实现交通流参数检测，重点 在于减少光照、交通状况、车型等因素对检测结果的影响，尽可能使所设计的 系统能够适用于实际交通环境中。 2 2 2 系统设计思路 本小节讨论两个问题：一、基于视频的交通流检测系统的结构；二、基于 特征跟踪的检测方法的特点。 2 2 2 1基于视频的交通流检测系统结构 基于视频的交通流检测系统基本结构如图2 - l 所示，摄像机安装在道路旁的 电线杆、灯柱等高度物体上，俯视道路，采集交通流视频数据。现场的嵌入式 复旦大学硕士学位论文 系统处理得到的视频数据，计算交通流参数，并通过有线或无线通信方式将处 理结果传输给交通管理中心。交通管理中心保存数据，形成历史记录，或者结 合其它检测点数据进行更进一步的数据分析、数据挖掘，得到新的信息，为交 通管理或交通服务提供支持。 图2 一l 基于视频的交通流检测系统 交通流视频处理可以分为三个阶段： 1 、 从场景中分割并跟踪车辆。 2 、 计算当地交通流参数，包括车流量、车流速度和车流密度等，然后 将结果传输到远程交通管理中心。 3 、 交通管理中心整合和处理多个检测点传输来的数据，并以此进行智 能交通控制，例如信号灯控制、交通信息显示、行程时间预计等。 本论文重点研究第一阶段，即从背景中分割、跟踪车辆，研究内容集中于 算法和软件的实现。软件实现是基于c c + + 语言实现的，代码具有可移植性， 为将来进一步研究工作的开展打下了基础。 2 2 2 2 系统设计思想 本论文的基于特征跟踪的交通流检测系统的主要设计思想如图2 2 所示。 图2 - 2 系统设计思想 复旦大学硕士学位论文 车辆首先进入检测区域，系统提取车辆上角特征点。在跟踪、动态分组区 域中，系统跟踪检测到的角特征，同时对这些特征点进行分组，依据两点：( 1 ) 属于同一辆车上的所有特征点的运动轨迹保持严格一致，简称运动约束；( 2 ) 距离较近的特征点为同一辆车的特征点的概率较大。每一个分组代表一个车辆， 计算分组数就能得出道路上的车辆数目。 采用上述方法实现交通流的检测主要基于两点考虑：( 1 ) 角特征点几乎不 受光照、长影等现象的影响。在交通较拥挤时，车辆间存在局部遮挡的情况下， 车辆上仍有部分角特征是可见的，能够被检测和跟踪。( 2 ) 角特征点的运动情 况能够代表车辆的运动情况，由此可以提取交通流参数。 2 3 系统实现框架 如图2 - 3 所示，系统得到摄像机的视频数据后，首先设定检测区域、跟踪和 动态分组区域、退出区域，同时进行去抖动处理。系统的角特征点检测模块在 检测区域中提取驶过车辆的特征点，检测结果输入特征跟踪模块。特征跟踪模 块采用一系列策略，找到有效特征点( 即属于车辆的角点而非背景的角点) ，跟 踪、管理这些特征点，并将它们的运动轨迹等信息输入动态分组模块。动态分 组模块根据运动轨迹和当前的坐标，对所有输入的特征点进行动态分组，每一 个分组表示一个车辆。在将来进一步的研究中，系统计算交通量、平均速度、 交通密度的参数，发送给交通控制中心。 图2 3 系统实现框图 图2 4 所示为本论文所讨论的软件部分的实现框图，具体将在论文第三章详 细介绍，在此不再赘述。 复旦大学硕士学位论文 读取视频文件 创建视频预览窗口 读墩帧图像 ( 摄像机标定) 设定检测区域 提取角特征点 跟踪角特征点 特征点动态分蛆 进入诅出区域? n 。 视频结束? 图2 - 3 系统软件实现框图 本论文实验数据是通过普通摄像机采集的，拍摄地点为上海市海宁路、吴 淞路路口。为了方便处理，转成a v i 文件，图像大小为2 4 0 x 1 8 0 ，帧速率2 5 帧秒，视频采样大小2 4 位，未经压缩。 2 4 系统软件开发平台简介 本系统软件是在v i s u a l c + + 6 0 和o p e n c v b e t a 5 0 平台上开发的，在此简 单介绍一下o p e n c v 的使用。 2 4 1o p e n c v 的特点 0 p e n c v 全称是i n t e lo p e ns o u r c ec o , t 口，u t e rv i s i o nl i b r a r y , 是一个由 复且大学硕士学位论文 i n t e l 公司组织软件开源项目，为计算机视觉、图像处理方面的程序开发提供了 3 0 0 多个c c + + 函数，可用于实现一些流行的图像处理和计算机视觉算法”。选 用o p e n c v 辅助软件开发，基于以下三点考虑： o p e n c v 具有跨平台特性：o p e n c v 提供的a p i 函数大多用c 语言实现( 少 数用c + + 实现) ，所以它具有跨平台特性。在w i n d o w s 操作系统下开发 的基于o r ) e n c v 的程序，无需修改就可以在l i n u x 操作系统下运行。因 此设计的软件可以较容易地移植到嵌入式系统上。 o p e n c v 可以提高软件开发效率：基于标准c c + + 开发，从基本的图像 处理函数开始，工作量巨大，很难保证代码质量；基_ fm f c 开发，会 调用到许多微软提供的不公开源码的库函数，因此很难移植到嵌入式 平台上实现 基于m a t l a b 的开发，主要是快速地验证算法设计，要在 嵌入式硬件平台上实现，还需要重新开发；利用o p e n c v 进行图像处理、 计算机视觉程序开发，能够利用许多现有的研究成果，可以大大加快 开发速度和效率，并且o p e n c v 是完全开放源代码的，可以方便地进行 改进。 o p e n c v 无论对于非商用还是商用均是免费的。 2 4 2o p e n c v 的数据结构 使用o p e n c v 辅助程序开发，首先必须了解o p e n c v 支持的数据结构。o p e n c v 中常用的数据结构有以下几种： l 、图像结构 o p e n c y 是建立在i n t e l 图像处理库( i n t e li m a g ep r o c e s s i n gl i b r a r y ) 上的中间层至高层( m i d d l e - t o h i g h ) 的a p i 函数集。它继承了i p l 对图像的 描述方式，定义了结构体i p l i m a g e ，将图像描述为一系列属性和指向图像相关 数据的指针的集合，如图2 4 所示。图2 5 为i p l l m a g e 结构定义。 图2 - 4o p e n c v 中图像结构 1 8 复旦大学硕十学位论文 图2 - 5i p l i m a g e 结构定义 在此仅介绍i p li m a g e 中几个重要参数： w i d t h 和h e i g h t 分别表示图像的宽度和高度，单位为像素数。 d e p t h 表示像素数据类型，支持无符号8 位整型( i p l _ d e p t h _ 8 u ) 、有符合 8 位整型( i p l _ d e p t h _ 8 s ) 、1 6 位整型( i p ld e p t h 一1 6 s ) 、3 2 位整型 ( i p ld e p t h _ 3 2 s ) 、3 2 位浮点单精度型( i p l _ d e p t h 一3 2 f ) 。 n c h a n n e l s 表示图像中色彩的通道数，灰阶图像通道数为1 ，彩色圈像通道 数为通常包括3 个或4 个通道。 o r i g i n 参数指示图像在内存中的存储方式，如果o r i g i n = o ，左上角的像素 点为图像的零点。如果o r i g i n = l ，左下角的像素点为图像的零点。w i n d o w s 的位图的零点在图像的左下角，而其它大多数情况下，图像的左上角为零 点。 w i d t h s t e p 表示图像的一行在内存中的存储大小，单位为字节。通常通过此 参数来访问同一列的下一个元素。 i m a g e d a t a 是指向图像数据第一行的指针。 复旦大学硕士学位论文 r o i 表示感兴趣区域r o i ( r e g i o no fi n t e r e s t ) 。o p e n c v 中许多函数允许 用户在图像上设定一个矩形区域，函数只作用于该区域。如果r o i = n u l l ， 表示选中整幅图像：如果r o i 不等于n u l l ，这指向一个i p l r o i 结构体，该 结构体包含选定区域的参数，如图2 - 6 所示。 t v l j es j e $ t r u c tl p l r o i 一 i 黔tc o i 7 c h a r t n e o ! i n t e r e s to rc 0 1 + i n tx o f f s e t ； i n t y o 艇s e t ；。 i n tw i d t h j i 】、t h e i g h t ； j i p l r o i f 图2 - 6i p l r o l 结构体 2 、矩阵结构 图像处理中涉及到大量矩阵运算，o p e n c v 对矩阵运算有很好的支持，定义 了c v m a t 二维矩阵、c v m a t n d 一多维矩阵、c v s p a r s e m a t 稀疏矩阵三 种结构体，其中c v m a t 结构内的元素如下： i n tt 0 1 s i n tc o l s u n i o n u c h a r * p t r ； 曲o f t * s ： j ，7 f 事i ： i 1 d a ，f l ： d o u b l e * d b ： ) d a t a ； o p e n c v 中同时提供了一些操作矩阵数据的函数，例如c r e a t e m a t 、 c r e a t e m a t h e a d e r 、r e l e a s e m a t 、r e l e a s e m a t h e a d e r 等等，大大提高了图像处 理编