（电路与系统专业论文）基于视频的道口交通信息采集与处理系统研究[电路与系统专业优秀论文].pdf

摘要 随着我国社会经济的不断发展，汽车的拥有量逐年增加，城市交通拥挤的问 题越来越突出。为了对道路交通系统进行有效的管理，必须提高道口交通信号控 制的智能化程度，为此我们研究设计基于视频的道口交通信息采集与处理系统， 这个系统由自行设计的视频采集设备获取图像数据，由d s p 芯片完成图像处理 和3 2 位嵌入式处理器实施系统控制，交通信息采集的软件部分采用了实时嵌入 式操作系统和多种图像处理算法进行实时分析，计算道口车流量，车辆通行速度 和排队长度等。 我们对系统的研究分为算法和平台两部分，先利用v i s u a lc + + 进行基本的车 辆检测和跟踪算法的设计与研究，在此过程中，为了解决交通信息采集中的诸多 实际问题，还研究设计了背景生成与更新，阴影抑制和车辆运动预测等算法：在 算法深入的研究同时，完成了硬件平台的设计和相关系统软件的研究，包括视频 采集模块，d s p 算法处理平台和系统中央控制模块等。 关键字：交通信息采集，背景更新，车辆检测，车辆跟踪，视频采集，d s p 上海大学硕士学位论文基于视频的交通信息采集与处理系统研究 a b s t r a c t w i t ht h ed e v e l o p m e n to fs o c i e t ya n de c o n o m yi no u rc o n n t r y , t h et r a f f i cj a m s b e c o m em o r ea n dm o r es e r i o u sb e c a u s et h a ta n q o u n to fv e h i c l ei n c r e a s eq u i c k l y i n o r d e rt oi m p r o v et h ee f f i c i e n c yo fr o a dt r a f f i cm a n a g es y s t e m ，s o m em e a s u r es h o u l d b et a k e nu r g e n t l yt oe n h a n c et h e i n t e l l i g e n c eo fc u r r e n ti n t e r s e c t i o nt r a f f i cs i g n a l c o n t r o le q u i p m e n t i nt h i sp o i n t s ，w ei n v e s t i g a t et h et r a f f i ci n f o r m a t i o nc o l l e c t i o n s y s t e mb a s e do nv i d e oa n di m a g ep r o c e s s i n gt e c h n i q u e s ，i nw h i c hv i d e od a t ai si n p u t b yas p e c i a l l yd e s i g n e dv i d e oc a p t u r ec a r d ，t h e np a s st ot h ed s pc h i p sf o ra n a l y s i s a n dp r o c e s s i n g ，f i n a l l y , ac e n t r a lc o n t r o lm o d u l eb a s e do n3 2 - b i t se m b e d d e dm c u r e s p o n s i b l ef o rs y s t e mc o n t r 0 1 i nt h es o f t w a r ep a r t ，ar e a l - t i m ee m b e d d e do p e r a t i o n s y s t e mm a n a g es o m ei m a g ep r o c e s s i n ga n dc o n t r o l l i n gt a s k st oc o u n tt h ev o l u m eo f f l o w ，s p e e do f v e h i c l ea n dw a i t i n gl e n g t ho f l a n e si nt h i si n t e r s e c t i o n ，a n ds oo n t h et a s ko fs y s t e mi n v e s t i g a t i o ni sd i v i d e di n t ot w op l a n e s ：a l g o r i t h m sa n d p l a t f o r m t h ep r o c e s s i n ga l g o r i t h m s s u c ha sv e h i c l ed e t e c t i o na n dt r a c ki s i n v e s t i g a t e df i r s t l yw i t hv i s u a lc + + ，a l g o r i t h m so fb a c k g r o u n de x t r a c t i o na n du p d a t e ， s h a d o ws u p p r e s s i o na n dm o t i o ne s t i m a t i o na r ea l s oi n t r o d u c e dt or e s o l v et h ea c t u a l p r o b l e m sw h i c hm a yb eo c c u r r e di np r a c t i c a ls y s t e m t h eh a r d w a r ep l a n ei sc o n s i s t e d o fv i d e oc a p t u r ec a r d ，d s pp r o c e s s i n gb o a r d ，c e n t r a ls y s t e mc o n t r o lm o d u l ea n d s o m er e l a t e ds y s t e ms o f t w a r e sd e s i g n k e yw o r d s ：t r a f f i ci n f o r m a t i o nc o l l e c t i o n ，b a c k g r o u n du p d a t e ，v e h i c l ed e t e c t i o n , v e h i c l et r a c k ，v i d e oc a p t u r e ，d s p ，i i 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：；瞍魏裂 导师签名：陲垒竺整日期：丝：主：z 第一章绪论 1 1 课题的意义和目的 我国是一个经济快速发展的国家，随着人们生活水平的提高，汽车的拥有量 逐年增加。而汽车数量的增加，交通密度的大幅度提高使交通紧张，拥挤问题已经 城市发展面临的难题。针对日益严重的交通需求，有限的资源财力和环境保护压 力，需要依靠除限制需求和提供道路设施以外的其它方法来满足日益增长的交通 需求。采用信息技术、通信技术、计算机技术、控制技术等对传统交通运输系统 进行深入的改造，形成的一种实时、准确、高效的综合运输系统“1 ，即所谓的智 能交通系统( i t s ) 实现交通运输服务和管理智能化，使交通运行处于最佳状态， 改善交通拥挤和阻塞，提高路网通行能力和整个交通系统的机动性、安全性和效 率，从而获得巨大的经济效益和社会效益。目前，智能交通系统已经成为已经成 为世界交通运输领域研究的热点。 1 1 1 智能交通系统及其发展现状 智能交通系统的组成大致包括以下3 个子系统： 1 交通信息采集系统：该系统通过多种检测和监控手段获得道路系统的交 通状况信息( 如车流量，车速，事故等) 。 2 交通信息服务系统：该系统利用通信网络发布已有的交通信息，并能配 合车载智能系统实现车辆安全驾驶和自动导向等功能。 3 交通管理系统：该系统对车辆和交通运营实施管理，主要包括电子收费 系统，道口交通信号控制系统。 自本世纪八十年代末以来，智能交通系统在全世界等到了蓬勃发展，尤其 以日本、美国和西欧等为首的发达国家发展最快。3 。这些国家都投入巨额资金建 立了”智能运输系统”研究机构。1 9 9 1 年美国国会通过了“综合地面运输效率 方案”( i s t e a ) ，并在以后的6 年中由政府拨款6 6 亿美元，用来进行i t s 的研 究工作。1 9 9 5 年美国运输部又正式出台了“国家i t s 项目规划”，明确规定了i t s 上海大学硕士学位论文 基于视频的交通信息采集与处理系统研究 的7 大领域和2 9 个用户服务功能，另外由政府资助下的大学也在积极地开展 i t s 方面的研究，较著名的有加州大学完成的p a t h 项目。1 。日本目前在i t s 研究 中已经形成了官方、民间、学术机构的协调体制，如1 9 9 3 年成立了日本“车辆、 道路与交通智能协会，1 9 9 5 年8 月，日本制订了公路交通车辆领域的信息 化实施方针，其目的在于在i t s 的统一规划下推进其工作。根据此方针，i t s 由 导航系统、自动收费系统、安全驾驶援助系统等9 个开发领域和2 0 个用户服 务功能构成，这对日本i t s 的发展起到了很大的推动作用。而欧洲早在1 9 6 9 年， 当时欧共体委员会就提出要在成员国之间开展交通控制电子技术的演示，到8 0 年代中期，欧洲十多个国家投资5 0 多亿美元，联合执行一项旨在完善道路设施 提高服务水平的d r i v e 计划。除了欧、美、日以外，新兴的工业国家和发展中国 家也开始i t s 的全面开发和研究。 我国是当今世界上道路等基础设施建设速度最快的国家，又是交通需求增长 最快的国家。运输效率低下、城市交通堵塞已经成为我国各大中城市面临的迫切 需要解决的问题之一。未来十年，正是智能交通系统在世界主要国家进入全面实 施的阶段，因此，中国也迫切需要根据中国交通的实际需求尽早研究开发智能交 通系统，以实现交通运输的可持续发展目标。但是由于我国在智能交通领域起步 较晚，所以发展水平较低，目前仅在北京，上海等大城市的局部区域采用一些i t s 系统如北京公交采用了i t s 技术，包括：用于运营调度指挥与企业管理信息传输 的综合通信技术：用于对车辆动态监控的车辆定位技术：用于对运营车辆进行区 域适度集中调度的调度平台技术：用于总调中心提高应变能力，处理突发事件且 具有多种显示功能的大屏幕技术：用于为乘客提供运营信息的电子站牌技术：会 议电视技术：用于取代纸质车票的感应式ic 卡技术和用于提高企业管理自动化 与办公效率的计算机网络技术。上海在80 年代初引进了澳大利亚的scat 悉 尼自适应交通信号控制系统。通过该系统的引进，改善了部分路段的交通通行能 力。此外，在本市的高速公路如沪嘉、沪杭、沪宁高速公路以及内环线高架道路 上，安装了交通监控系统。 上海大学硕士学位论文基于视频的交通信息采集与处理系统研究 1 1 2 课题研究的必要性和意义 作为智能交通系统的基础部分，基于视觉的道口交通信号智能控制系统在 i t s 中占有很重要的地位，并且作为一种全新的技术已经引起全世界范围内的关 注。在道口交通灯控制系统中，如何有效地获取准确的道口交通参数( 如汽车流量 车速，车辆等待队列长度等) 是实现交通灯智能控制的关键所在。在传统的道口交 通信号采集系统中，多采用埋设在路面以下环路线圈来检测通过的车辆，如英国 的s c o o t 系统和悉尼的s c a t 系统，这种方法固然有其技术成熟，系统简单的优 点，但也有不少缺点：如信号不直观，使用维护成本高，对于感应环传感器来说， 一条道路每个车道都要埋设一个，并且时常容易损坏，安装和维护的成本较高， 获得的数据量少而且单一，无法获得总体的路况信息和被检测车辆的身份等。 基于视频信号处理的方法是近年来，国际上新兴发展起来的一种方法，已受 到广泛重视。这种方法主要采用摄像机采集图象数据，利用数字视频处理技术获 取道路交通信息。这种方法优点是： 1 信息直观，信息量大 使用基于视频的交通信息采集系统可以检测、跟踪车辆，划分车辆类型，估 计车辆行驶速度，监测违章驾驶，道路异常和事故，并可通过检测车牌确认车辆，以 进行综合管理【4 。 2 使用维护成本较低 单台摄像机和处理器可用于多车道的监控，视野范围大另外摄像机安装在高 处，受破坏的可能性较小，所以维护成本较低【5 】。 但是这种方法真正实现起来也有很大的挑战性，主要的挑战来自于实际条件 下多种变化的环境因素和复杂的处理算法，使目前研制的这类系统的可靠性、可 维护性和实时性都难以保证。特别是在日益拥挤的路况条件下，路面背景复杂， 车辆的检测分割和跟踪技术的研究相对不足，导致以上问题更加突出。 综上所述，为了解决基于视频处理的交通信息采集系统面临的诸多问题，并 结合上海市高校科技发展基金项目“基于视觉的道口交通信号控制系统研究”的 实际需要，我们课题组立志开发一套功能较为完整，具有一定正确性和可靠性的 上海大学硕士学位论文幕于视频的交通信息采集与处理系统研究 道口交通信息采集和处理系统测试平台。该平台基于一个嵌入式硬件系统，通过 处理捕获的视频图象，尽可能实时地计算出当前道口各车道上的车流量，车速，车 辆等待队列长度等信息，并具备良好的可扩展性和开放性，它能够把处理结果发 送给p c 机，为以后完成道口交通信号的智能化控制提供判决依据。 1 2 课题研究的内容 本课题主要研究基于视频的道口交通信息采集和处理系统的实现过程中所 涉及的软件算法和硬件平台设计。其中的主要内容分为算法和平台两大块，算法 部分研究不同路况条件下，复杂背景和光线变化，阴影等对车辆检测的影响，车 辆的跟踪也是这部分的重点；平台部分研究获取道口交通场景的视频采集卡的设 计，基于d s p 的算法处理板的设计，基于a r m 7 嵌入式处理器的主控制板的设 计，各硬件模块问的数据通信和控制接口，另外为了保证各种处理和控制任务能 实时协调地工作，引入了实时嵌入式操作系统u c o s 1 i 作系统软件，因此， u c o s i i 的移植使用和在本系统中如何完成任务的分配和调度也是研究的内容。 应该说，本课题研究的原则是尽可能开发一个实用化的交通信息采集系统， 因此涉及到的实际问题相当之多，工作量也比较大，这是一个需要分阶段完成的 团队型科研项目。在此项目中，本人和课题组的老师和同学一起设计了系统方案， 并负责硬件测试平台设计及其系统软件的开发，另外采用v i s u a lc + + 完成了大部 分车辆检测算法的验证工作。 分车辆检测算法的验证工作。 上海大学硕士学位论文 基于视频的交通信息采集与处理系统研究 第二章课题研究的方法和手段 2 1 车辆检i n 白 j 方法比较 2 1 1 基于地面感应线圈的方法 这是最常用的一种车辆检测手段，一般是将感应环线圈埋在道路下面，每当 有车辆通过时就会在线圈上产生一定的感应电流曲线，这样就能起到识别车辆的 目的。这种方法是当前用于车辆检测计数最常用，也是最可靠的方法。如果结合 一定的算法对感应电流曲线进行模式识别分类，就能实现车辆的分类和跟踪。这 类系统已经被大量开发出来，并得到广泛应用，例! t l l ：南非的n o r t e e h 国际公司所 研制的t d 系列单通道、双通道和四通道车辆检测器。但是此类系统的安装需要 开挖路面来埋置线圈，所以必须暂停交通，并在一定程度上破坏路面，影响路面 寿命；安装过程对可靠性和寿命影响很大；易被重型车辆、路面修理及路面受热膨 胀等因素而遭到损坏，而且它的维护难度较大【6 j 。 2 1 2 基于红外线的方法 红外检测系统通过测定车辆通过两条红外光线的时间来获取车速数据。它的 优点是雾天的穿透力较强，可以用于直接测速，但是它受天气的影响较大，并只 能用于单车道的检测，安装难度很大，容易被车撞毁。 2 1 3 基于视频图像的方法 基于视频图像处理技术的车辆检测系统，通过安装在道路旁边或者道路上方 支架上的摄像机和图像采集设备输入实时的视频信息，经过对视频图像的 实时分析处理，得到各种交通信息的检测系统。 通过设置摄像机的焦距、安装高度的拍摄安装角度，摄像机可以采集到4 车道以上的交通范围，从而可以用于多车道检测。通过划定用户感兴趣的区域， 并对检测区域进行描述( 比如所在车道运行方向，是否转弯道等) ，可以帮助分析 5 上海大学硕士学位论文基于视频的交通信息采集与处理系统研究 得车辆的运行状态和转弯情况。 基于视频图像处理的车辆检测法监视的面积很大，信息丰富。系统只要求摄 像机和处理机，硬件设备简单，维护方便，性价比很高，升级容易。因此，各个 国家的各个机构都纷纷研究基于视频图像处理的交通信息采集设备。 基于视频图像处理的车辆检测法缺点在于大型车辆会遮挡随行的小型车辆， 由于摄像安装的角度与高度的限制导致的不同车道的车辆遮挡问题，阴影或昼夜 转换可造成检测误差。不过，视频检测的车辆遮挡问题的解决可以通过软件的算 法修正和摄像机的安装方案等来改进。阴影问题在现有的软件研究中也得到了一 定的解决。而在夜晚可以使用低照度的高灵敏度黑白摄像机来改善检测与分割的 效果。总之，随着对此类系统研究的不断深入，基于视频图像处理的车辆检测方 法正在变得日益成熟和完掣“。 2 2 基于视频的车辆检测算法比较 其中车辆检测的方法主要有基于车辆3 d 模型的匹配检测和基于图象块的区 域检测。基于车辆3 d 模型的匹配检测的例子主要有日本o m r o m 公司研制出 的基于立体视觉的交通信息采集系统【_ n 和美国加州大学伯克利分校计算机系 d k o l l e r 等人基于车辆3 d 模型的车辆检测系鲥”。这类系统在解决阴影、雨天 地面反射和拥挤情况下遮挡问题等方面较为出色，但是普遍存在的问题是模型匹 配运算所带来的庞大的计算量难以满足实时性要求，另外还要设计多视角下的各 种车辆先验模型和运动模型，工作量相当大，也很不灵活。在这类系统中往往利 用摄像机安装信息：高度，俯视角等参数将原图转换成为每一车道的侧向投影图， 试图在减少计算量的情况下获得3 d 方法的测量精度，但是这样一来又提高了对 摄像机的标定的要求，并且转换后的计算量仍然很大。目前，更多的专家倾向于基 于图象块的车辆检测方法，如背景差法、帧差法和边缘检测法。 2 2 1 背景差检测法 用当前帧图像与背景帧图像进行差分，这是最常用的方法，运动车辆和暂时 上海大学硕士学位论文基于视频的交通信息采集与处理系统研究 停止的车辆都可以检测。它存在的问题：背景会随着光照不同而变化，有时变化 是突然的。因此背景的实时更新【4 ，是一个很重要的部分。图像分割中的阈值控 制也是一个难题。 2 2 2 帧间差分检测法 这个方法是运动视觉中最基本的方法。车辆运动使图像的前后两帧图像发生 变化，利用帧间差别可以用来检测车辆的运动。问题：1 车辆检测除了要检测出运 动车辆，同时要检测出暂时不动的车辆，在这个方面，运动视觉无能为力。2 由于车辆的体积往往较大，车辆在前后帧中有重叠部分，这使得帧间差分的结果 主要为车辆头和尾，车辆中间差分的差分值相对很小，不利于拥挤情况下个车辆 的分割。 2 2 3 边缘检测法 边缘检测法对环境光线变化的稳定性高于背景差法 4 1 。运动边缘检测可通过 计算图象在空间上的差分获取空间上的差分可用各种已有的边缘检测算法得 到，常用边缘检测算 子：l a p l a c e 算子，s o b e l 算子。缺点是：当图象中车辆边缘不清 楚，特别是当色彩较暗的车辆位于阴影中时，边缘检测的方法容易漏检车辆 另外，在基于视觉的车辆检测中通常可以在输入图象中设置一些检测窗口， 即虚拟传感器 5 】，以判断是否有车辆通过该区域，进而获取有关交通流量的各种参 数。事实上，一个实际的车辆检测系统往往是以上多种算法的综合应用，如以本 课题研究的系统为例，为了提取路面背景，采用了帧间差分来区分前景和背景， 为了消除车辆周围的运动阴影，采用边缘检测来区分车辆和阴影。 2 3 基于视频的车辆跟踪算法比较 与车辆检测相比，车辆的跟踪显得更加复杂，尤其是在拥挤情况下的跟踪问题 上海大学硕士学位论文 基于视频的交通信息采集与处理系统研究 尤为困难。目前提出的主要方法有 2 3 1 匹配跟踪法 在各帧图中检测分割出车辆，然后检测前后几帧中的车辆匹配程度，如： d a n i e l j d a i l e y 年nf w c a t h c r y 提出以车辆中心位置的线性匹配度确定是否是同一 车辆 9 1 ，从而完成跟踪。如连续三帧中初定位的车辆块的中心点为 0 ，y a ( x 2 , y 2 ) ， ) 则当它们的线性度大于0 9 5 时，认为是同一辆车在不同帧中 出现，线性度r 的计算公式如下： n 2 x j y j - z x i z y 斛x i 胞y ；( 新r ( 2 1 ) 此方法对车辆分割的依赖性较强，因而在拥挤情况下，算法不理想，另外在拥挤时，车辆行 驶的线性化变差，会造成严重错误。 2 3 2 图形优化法 这种算法将目标的跟踪转化为图形的最优化问题。如明尼苏达大学的 s u r e n d r a g u p t e 和o s a m a m a s o u d 等人提出在完成连续帧内车辆块的初定位后， 建立当前帧内车辆块c i 和先前帧内车辆块p i 的关系图口0 1 ，图中的连接端点的边 目的权值计算公式为w ( e i j ) = a ( p j nc i ) 一即车辆块c i 和p j 间重叠( 匹配) 部分的 面积，然后将车辆跟踪的问题转变为寻找最大权的图问题，其做法是计算具有最 大关系因子s p - e = a ( p j n c i ) ，a ) 和s 。一p = a r q c i ) a ( c i ) 的块对c i 和p j ，认为它 们之间有对应关系，如果存在一对多或多对一的关系( 发生冲突) ，则将一个车辆 块分裂成几个或多个块并为一个块，通过以上计算和比较能够在连续帧中实现 车辆跟踪的目的。这种方法在拥挤条件下由于冲突频发，会导致跟踪性能下降， 可靠性有待提高。 # 。h | 、 、 上海大学硕士学位论文 基于视频的交通信息采集与处理系统研究 2 3 3 特征跟踪法 这种方法选取车辆特征，如：具有代表性的小块图像，在图像序列中匹配搜 索小块图像的位置，从而跟踪车辆。本系统采用了这种方法。 2 4 图像采集的手段 由于本系统是按照一个实用系统的原则来设计的，所以摈弃了以往研究中常 用的采用摄像机拍摄交通场景片段后离线处理的方式，加之以往的研究处理平台 大都是基于工业计算机的，因此可以采用现成的视频采集卡转换图像数据。而本 系统设计的最终目标是要提出一个安装在道口现场的交通信息采集终端，是作为 一个独立的、可以连续工作的嵌入式处理系统，对这类系统必须自行定制图像采 集接口和处理控制平台。原因是目前市面上能买到的图像采集卡大都是配合p c 机使用的，一般采用u s b 接口或p c i 接口，并且需要安装设备驱动程序，底层 数据的格式也不公开，难以适用于嵌入式系统开发。图像采集卡的硬件设计也是 本课题的研究内容之一。因此我们自主开发了一套适合于本系统的图像采集卡， 并自定义了接口协议，其性能指标如下： ( 1 ) 自动支持n t s c 和p a l 全电视模拟信号输入 ( 2 ) 支持3 2 0 x 2 4 0 的8 位灰度视频图像的输出 ( 3 ) 采集的速度最高可达2 5 帧，秒 ( 4 ) 简单的4 线控制接口( 开始采集，地址复位，读数据，中断) 和1 6 位并行数 据总线。 考虑到前期算法验证必须工作在离线处理的方式，有必要保存部分图像素 材到p c 机，我们在这块采集卡的基础上，又设计了一个版本以支持u s b l 1 接 口转存图像，并编写p c 端的相关驱动程序和图象录制程序。这一工作方式既节 省了资源又为以后开发实际系统积累了经验。 上海大学硕士学位论文 基于视频的交通信息采集与处理系统研究 2 。5 硬件实现平台比较 在实现系统的硬件设备方面，目前国内外基本上分为两类 2 5 1 利用工业控制计算机加插卡形式 这类系统采用工业控制计算机加插图像采集卡的形式。利用这种方法，设计 者利用硬件( 图像采集卡) 进行图像采集工作，经采集卡采集到的图像数据送计算 机内存中用软件进行处理达到软硬件结合的效果。这种形式优点是投资小，成本 低，较容易实现。但它有明显的缺点：1 处理能力不够强，受硬件运算速度限制会 出现处理速度跟不上系统实际要求的情况2 受操作系统和计算机稳定性的影响， 在连年累月全天候的交通现场的工作情况下，软件以及计算机操作系统出错的情 况会很多，甚至死机，导致系统无法正常运作。因此，这种工业控制计算机加插 卡的形式仅适合用于开发的初期实验阶段，不适合用于环境复杂、要求较高的交 通现场【6 o 2 5 2 基于d s p 的嵌入式系统 嵌入式系统融合了计算机软硬件技术、通信技术和半导体微电子技术；可以 根据应用要求，把相应的计算机部分直接嵌入到应用系统中。嵌入式系统是面向 用户、面向产品、面向应用，它以应用为中心、以计算机技术为基础、软件硬件 可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算 机系统。和通用计算机不同，嵌入式系统的硬件和软件都必须高效率地设计。自 行设计硬件系统实现图像采集、存储与数据传送，并利用d s p 开发嵌入式图像 处理软件，自行设计相应的操作系统，来对系统进行管理和网络数据通信。这样 系统可以实现交通信息采集的一体化设备开发。开发基于d s p 的嵌入式系统所 需要的设计过程相对复杂，但是它处理的速度比较快，处理功能强大，最重要的 是它可以确保长时间连续无故障工作，具备交通信息采集设备所必需的可靠性。 上海大学硕士学位论文 基于视频的交通信息采集与处理系统研究 2 6 系统的硬件平台方案和开发计划 本系统的硬件平台采用了第二种方法，但是算法验证工作目前大多在p c 平台 上完成。下面是本系统硬件平台的设计方案： 图2 1 系统硬件平台方案 限于目前的开发条件，本硬件平台方案采用t m s 3 2 0 v c 5 4 0 2 作为视频信号 处理器。t m s 3 2 0 v c 5 4 0 2 具有1 0 0 m i p s 的定点处理速度，并且能很容易的将浮 点运算转化为定点运算。另外本系统采用的检测和跟踪算法大都是基于图象区域 的算法，多为象素值的简单运算，对处理器的浮点运算能力的要求也不高。 中央控制器采用带a r m 7 t d m i 内核的s 3 c 4 4 b o x 处理器，具有丰富的外设 接口和存储地址空间，可以满足本系统对控制的各种要求，并能完成部分数据运 算和逻辑判断。 视频采集模块如上所述我们采用自制的图象采集卡来实现，这样可以满足自 定义数据格式和特殊控制的要求。 作为前期调试，我们会将图象采集卡的数据接到一块u s b 接口卡输入p c 机， 获取视频图象，作前期的算法验证。 上海大学硕士学位论文基于视频的交通信息采集与处理系统研究 系统的通信模块，我们将视课题进展情况，灵活处理。作为基本功能要求， 我们将d s p 和s 3 c 4 4 b o x 处理得到的交通参数通过r s 2 3 2 口送到计算机供显示 和存储，并接收控制指令。作为扩展功能，将在s 3 c 4 4 b o x 实验板上实现嵌入 式t c p i p 协议栈，负责通过以太网与p c 机传送图象数据和交通信息。这样一 来，系统将真正具备远程数据采集的能力。 本地图象存储模块也是一个扩展功能，主要负责将图象数据存储i d e 硬盘， 视课题进展情况而定 目前，通信模块只在串行口上实现了一个简单的人机界面，而本地图象存储 模块还未列入正式研究阶段，但是为了便于操作和实验，我们加装了l c d 显示屏 以较慢的速度( 5 帧，秒) 显示采集的数字视频图像和操作员界面 2 7 系统软件的选择 在嵌入式系统不复杂的情况下，系统软件可以采用前后台系统结构。但是随 着系统复杂性的提高，越来越多的嵌入式设备采用操作系统。本系统的多任务和 对实时性的要求决定了必须采用嵌入式实时操作系统。目前主流的嵌入式操作系 统有很多，如w i n c e 、e m b e d d e dl i n u x 、v x w o r k s 、q n x 、n u c l e u s 等但是这些 操作系统要么价格昂贵( 如w i n c e 和v x w o r k s ) ，要么开发难度大、缺少文档和支 持( 如e m b e d d e dl i n u x ) 。为了降低成本，加快开发进程，我们的系统中采用了一 种时下流行并已得到广泛应用的免费嵌入式操作系统u c o s i i 。它开发源代码， 适合于小型控制系统，具有执行效率高，占用空间小，实时性能优良和可扩展性 强等特点，且有充足的文档资料和开源社区的广泛支持，保证能以最小的代价获 得最大的效用。在本系统中采用u c o s i i 主要用来管理和调度交通信息采集系 统中接口控制与通信、数据处理和人机界面三大块的任务，具体安排在会在相关 章节论述。 上海大学硕士学位论文基于视频的交通信息采集与处理系统研究 第三章道口交通信息采集系统中的算法 3 1 算法验证软件的结构与流程 在本系统的研究与实现过程中，我们采用了算法与平台分开设计的方法。在 课题的前期，我负责了图像标定、车辆检测和跟踪的大部分算法验证和实现工作。 这一期间，我们通过将实地拍摄的交通场景保存在摄像机的磁带里，带回来后使 用自制的图像采集录制卡转换到计算机中，保存成位图文件。然后，在计算机上 采用v c + + 编写了一个算法验证平台软件，读取这一系列位图帧进行算法处理。 这个软件如附图4 所示，采用了w i n d o w s 对话框的界面方式，将主用功能分为 以下四大块：图像显示，参数设置，参数计算和算法处理。 3 1 1 图像显示 完成图像帧的显示和浏览。由于我们采集的视频图像是以一组图像序列的位 图形式保存在同一日录下，文件的名称就是帧号，因此我们的软件可以自由打开 和显示指定的帧，并支持向前，向后浏览功能。由于只用了一个图像显示视图， 所以图像处理的中间结果也会显示在同一视图内，这时可以要求显示当前帧以恢 复原始图像来对照处理效果。另外，软件还支持多种显示选项，如以标定图显示 还是原始图显示，是否显示车道范围标记，是否显示检测到车辆块矩形框等。 3 1 2 参数设置 用来输入各种实际道路的参数和各算法中所需用的预设参数，如拍摄图像中 实际道路的长度和宽度，实际矩形路面四个顶点在拍摄图像中的坐标( 可以在图 像显示视图中点击鼠标方式输入) ，车道数和各车道矩形路面在拍摄图像中位置， 最小车长等。另外各算法中所需用的预设参数有背景更新间隔，背景更新中的加 权系数等。 上海大学硕士学位论文基于视频的交通信息采集与处理系统研究 3 1 3 参数计算 参数计算部分是将系统参数设置部分获得的信息中的一部分转化为系统直接 需要的参数。它主要包括：标定系数的计算，在设置实际路面检测区和尺寸后， 可以进行标定参数的计算。系统通过8 * 8 矩阵的求逆和乘法算得图像标定所需要 的8 个系数。另外还有背景分割闽值的计算等。 3 1 4 算法处理 这是软件验证平台的核心，考虑到算法验证和比较的目的，各处理模块间保 证一定的独立性，部分处理功能还实现了多种不同的算法，这样一来可以实现算 法代码的复用和整个处理系统的重构。它主要包括以下算法模块： 3 1 4 1 背景生成与更新 通过一系列的原始图像帧获取初始背景图像，并在以后的图像帧处理过程中 随环境光线的变化更新初始背景。这里我们实现了传统的平均背景生成法，基于 差值的加权平均背景更新算法和基于运动信息的自适应背景生成与更新算法。 3 1 4 2 图像分割 在背景生成与更新的基础上，求取背景分割阈值并进行图像分割。这里我们 实现了统计方差法求闽值和差值直方图统计比例法求阈值。 3 1 4 3 阴影抑制 由于交通场景图像中常会出现伴随车辆行驶的运动阴影，而这些阴影用连续 帧差法或背景相减法都是无法去除的，而在拥挤条件下忽略它的存在又会导致严 重的车辆漏检和错检。所以有必要引入一个专门的阴影抑制处理功能来消除运动 阴影对车辆检测的影响。这里在对运动阴影的特征分析和已有算法比较的基础上 提出了基于轮廓跟踪的阴影去除算法，并实现了这一算法，取得了较好的效果。 3 1 4 4 车辆检测 在标定图像中，经过背景分割，结合路面车道信息，作垂直于主行方向的投 影，通过分析投影曲线的波峰位置来分割不同的车辆，形成初步定位的车辆块， 然后再经过上述阴影抑制处理后，对明显过大的车辆块判断是否有多辆车的头尾 上海大学硕士学位论文基于视频的交通信息采集与处理系统研究 连在一起了，如果有则将它们区分开来。另外，由于车道投影法难以检测正在变 道的车辆，所以在各车道之间设置几条检测线用于检测变道车辆。 3 1 4 5 车辆跟踪 在车辆检测的基础上，对己检测到的车辆块中取适当的跟踪小块来代表该车 辆，并对此进行跟踪。车辆的跟踪是采用最小差分绝对值( s a d ) 搜索方法上的， 为了降低计算量，使用了运动预测、金字塔搜索法、搜索路径优化以及循环来减 少s a d 计算次数。由于课题时间限制，对车辆跟踪的研究相对不足，目前只是 初步实现了简单的运动预测来改进s a d 搜索过程。 3 1 4 6 交通信息分析与计算 在车辆检测和跟踪的基础上，建立车辆检测状态机，来对计算各车道上的车 流量、车辆平均速度和道口等待队列长度等。 整个算法软件的结构和流程图如下： 检测路面 尺寸设置 l 读萎昙像ji 标妻委数il 车差萎息 j r j r l 鬻h 纛。h 黯撇。 与更新 il 背景分割ii l 车辆跟踪 i 车辆检测 程序迭代器，车辆检测状态机 输出车流量输出车辆运行速度输出等待队列长度 图3 1 算法软件的结构和流程图 上海大学硕士学位论文基于视频的交通信息采集与处理系统研究 另外，考虑到算法处理过程的可移植性，必须模仿在真实嵌入式操作系统中 按任务运行的情况，因此给检测路面上每个车道的算法处理任务都分配一个工作 线程，而参数设置和图像显示放在界面线程中。整个算法验证平台按照以下多线 程模型工作： 图3 2 算法软件的多线程模型 3 2 视频图像素材的输入 本系统的算法验证平台是建立在对存放在计算机中的一组位图格式( b m p ) 文件处理的基础上的。为了获取真实的道口交通场景图像，我们多次前往上海市 成都北路和延安路交叉路口的人行天桥上进行实地拍摄，获取了大量的视频素 材。这一路口每向都有4 个车道，两边还有自行车道和人行道，路面情况和环境 光线条件都较为典型，非常适合作为本系统的研究对象。我们在人行天桥架设了 摄像机，摄像机大约位于距路面7 8 米的高度，以正对前方路面中心方向拍摄， 拍摄的视频素材保存在磁带后带回实验室使用自制的u s b 图像录制卡将视频数 据以位图格式导入到计算机中，以各处理。我们采集了在不同路况和背景条件下 的多组素材以便各种条件下的算法验证工作。 为了简化算法处理，目前只采用了8 位灰度图的位图格式。根据算法的实时 性的最小要求，我们的图像录制卡工作在l o 帧秒的速度下转换，但是由于计算 机保存数据到位图文件时有明显的延迟，整个录制过程还是会偶而出现丢帧现 上海大学硕士学位论文基于视频的交通信息采集与处理系统研究 象，对后面的车辆检测和跟踪产生了一定的影响。 3 3 图像标定 交通场景是3 d 的，而摄像机获取的图像是2 d 的，为了能在检测，跟踪以 及测量车辆速度的计算中，得到切合实际准确的位置信息，我们必须建立地球坐 标系中的交通场景和图像坐标中检测区域内各个物体点的对应关系，这就涉及到 图像标定的问题，即如何在2 d 的拍摄图像中近似恢复出在实际交通场景中的物 体位置关系。 3 3 1 成像几何模型 成像几何研究的内容是3 d 景物如何形成2 d 图象的物理过程。成像几何模型 与多个参数有关，如摄像机安放位置、焦距、物体与摄像机的相对运动参数等， 而与2 d 图像的信息强度无关。显然，我们不能通过2 d 图像直接恢复出3 d 场 景，但是通过研究成像几何模型，可以提取蕴涵在2 d 图像中的3 d 信息和运动 估计。一般采用如下图所示的透视投影变换来分析3 d 物体点和2 d 图像点间的 变换模型阎【l i j 。 地球坐标系 图3 3 成像几何模型示意图 力 上述图示的变换模型也称为小孔摄像机后投影模型，在示意图中物体点和图 上海大学硕士学位论文 基于视频的交通信息采集与处理系统研究 像点位于统一的地球坐标系。显然，成像模型有以下约束关系：物体点p ，投影 中心和p 对应的像点共线，即： 七f | 耄 一至1 = 刭一 i ，可整理得到二! ：妻i 二三茎1 ( 3 1 ) 七：三二上：三一 显然，物体点与其图像平面成像点之间存在着非线性关系，为了解决这种非线性带来的分析 困难，常引入齐次坐标将非线性关系转化为线性关系来分析。令 孙孚 分别是图像点一和物体点z 在齐次坐标中的表示 这样，得到新的变换关系；，：出 这里的a 是一个4 x 4 矩阵，通过矩阵变换可以消去一中的z 项，这样一来得 到的爿的维数减少为3 x 4 ，但是前者的4 是可逆的，而后者a ，是不可逆的将彳 重写成以下参数矩阵形式： 1 日l l q 2d 1 3口1 4 i a = l 口2 1 口2 2口2 3 口2 4 i ( 3 2 ) l 口3 l 口3 2口 口3 4 j 至此，整个透视投影变换问题转换为如何求取这1 2 个变换系数 上海大学硕士学位论文 基于视频的交通信息采集与处理系统研究 3 3 2 计算机视觉标定及其近似方法 目前已有的计算机视觉标定分为基于多目视觉的标定和基于单目视觉的标 定。在交通信息采集系统中，较多的仍是单摄像机的情况。由于成像模型的不可 逆性，从单个2 d 图像很好的恢复场景是不可能的。另外也有其它的研究算法【1 2 1 ， 利用平面映射方法，来简化标定问题，这些算法在实际使用中取得了较好的效果。 由于本系统研究的问题大多只需二维图像处理和射影几何知识就能解决，无须作 精确的图像标定。因此在我们的系统中就采用了一种简单实用的平面映射的方法 来来简化标定问题【制，变换参数方程如公式： 出= z ? 1 0 z f 2 0 x 9 3 0 z f 4 0 l 0 一x ，l 丑f 1 一y ，i 工p l x f 2 工9 2 一y ，2 x f 2 一善n x 扣 一y 日x p 3 一x ，4 丑f 4 一y ，4 x 其中( 乓，y 9 1 ) c 和，0 ) 四点是矩形路面的四个顶点在z = 0 ( 忽略车辆高度) 的地球坐标系中的坐标，这些坐标可以通过测量实际路面长度和宽度获得；而 扛m y ，) 叫0 汹y 一4 ) 四点是矩形路面的四个顶点在图像中的坐标，当然为了实现坐标 尺寸上的统一，必须将实际地球坐标系中的坐标乘上一个比例系数( 如1 2 象素 米，以实际路面长2 0 米，图像路面长2 4 0 象素计算) 转换成图像中象素坐标 可以利用这己知的四对点代入方程，求出转换系数口，川8 以后就能方便的进行两 种平面之间的转换转换公式如下： 誓裁a x ay 1 1 - 4a 。h 7+8+ y ，= 篆等a 辫， 、sy 1 口一x + + 其中x i , y i 为标定图坐标 y 为原始图坐标，这种平面映射的示意图如下： 耳弓t一n m加m舢出出西出 viiiiiiiiiiijijji一 l1 0匕匕0匕 h n h 一 一 一 一 一 一 一 一 0匕0匕00 0oo以oo 匕o巧o匕oo 上海大学硕士学位论文 基于视频的交通信息采集与处理系统研究 ( 1 ，1 ) ( r e a l w i d t h + 1 2 ，1 ) ( x my i l )( x i 2 ，y 1 2 ) 心 ，y 1 3 )( x w ，y i 4 ) 图3 , 4 平面映射示意图 应该指出的是，这种平面变换的过程是需要一定计算时间的，但是同样应该 注意到，在得到标定图后，车辆位置和运动信息的检测算法( 如单车道投影，测 量排队长度等) 将大大简化，避免了传统方法中对道路拍摄角度的考虑。在实际 使用中，为加快速度，在本系统中采用了查表法实现图象的平面变换，经实际测 试：在a r m 7 处理器上使用优化代码，该变换过程只占用不到4 m s 的时间，能 够做到实时变换。下面是个实际平面映射的例子。 图3 5 平面映射的实际例子 当然，这种简单的平面映射也存在一些问题：如图所示，在交通场景图像中， 道路中间的标志线发生一定程度的弯曲，从而导致平面映射标定的出现偏差，这 是由于我们需要检测的交通场景的范围较大，一般需要用广角镜头，所以不易完 全避免。建议在摄像机安装中，尽量将摄像机安装在道路的正上方，并摄像机轴 上海大学硕士学位论文 基于视频的交通信息采集与处理系统研究 线尽量与道路主方向平行。另外，由于标定过程认为交通场景为高度为0 的平面 图，而当车辆的高度不可忽略时，车辆的竖直平面将占据较大的视角，而使得在 标定图中，车辆的后背面被拉长。 3 4 车辆检测中的算法与实现 在基于视频的交通信息采集与处理系统中，车辆检测的正确率是一系列后续 处理的关键。典型的车辆检测方法，有连续帧差法和背景相减法，前者是基于车 辆运动使图像前后两帧发