（电路与系统专业论文）基于视频的道路交通信息处理研究[电路与系统专业优秀论文].pdf

上海大学硕士学位论文 摘要 随着社会经济的发展，交通拥挤、交通事故等问题已经成为世界各国 面临的共同问题。在此背景下，智能交通系统的概念就应运而生了。而实 现交通系统的智能化，关键问题就是交通信息的获取、处理以及分析，为 此，在分析现有算法的基础上，本文提出了一套新的交通参数提取方法。 本论文的主要工作如下： 首先，分析了现有的几种典型的基于视频的交通信息检测系统：车牌 自动识别系统、车型识别系统及交通状态参数提取系统，重点关注其中所 用到的视频图像处理算法，并对基本的视频图像处理理论方法做了详细介 绍，如色彩空间模型、空间域图像处理，以及数学形态学运算等。 之后，以大量的文献调研为基础，分析了五类典型的彩色视频图像处 理中的目标提取算法，并决定在r g b 模型空间中寻找一种能将三维的色彩 特征空间映射为一维特征空间的算法做为研究思路。 然后，提出了一种基于滑动差分滤波的车辆提取算法。利用滑动差分 滤波器在一维特征空间里对图像数据进行处理，以使得车辆的边缘像素点 得以凸现，进而完成状态特征矩阵的赋值。 最后，通过对状态特征矩阵进行分析、计算，完成车辆的提取、车流 量统计及车道占有率的计算。 文章的结尾对整个研究做了总结和展望。在展望中提出了有待解决的问 题和下一步工作的内容。 关键词：彩色视频、滑动差分、车辆提取、车辆计数、车道占有 率 v 上海大学硕上学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h es o c i a l e c o n o m y , t r a f f i cj a m sa n dt r a f f i c a c c i d e n t sh a v eb e c o m em o r ea n dm o r es e r i o u sp r o b l e m sa l lo v e rt h ew o r l d a s t h i ss i t u a t i o n ，t h ec o n c e p to fi n t e l l i g e n tt r a n s p o r ts y s t e mh a sa p p e a r e d t h ek e y i s s u eo fi m p l e m e n t a t i o no fi n t e l l i g e n tt r a n s p o r ts y s t e mi st h ew a yt og e t t i n g 、 p r o c e s s i n ga n da n a l y z i n gt h et r a n s p o r ti n f o r m a t i o n s ot h i st h e s i sp r o p o s e sa n o v e lm e t h o df o rg e t t i n gt r a n s p o r ti n f o r m a t i o nb a s e do nt h ea n a l y z i n g a l g o r i t h m se x i s t e d t h em o s td i s t i n c t i v ep a r t sc a nb ed e s c r i b e di nt h ef o l l o w i n g a s p e c t s f i r s t ，a n a l y z es e v e r a lt y p i c a lv i d e o - b a s e dt r a f f i ci n f o r m a t i o np r o c e s s i n g s y s t e m ss u c ha s l i c e n s ep l a t ea u t o m a t i cr e c o g n i t i o ns y s t e m ，v e h i c l et y p e a u t o m a t i cr e c o g n i t i o ns y s t e m ，a n dt r a f f i cp a r a m e t e ro b t a i n i n gs y s t e m t h em a i n a s p e c ti st h ev i d e os e q u e n c ep r o c e s s i n ga l g o r i t h ma n db a s i ct h e o r y ：c o l o rs p a c e ， i m a g ee n h a n c e m e n ti nt h es p a t i a ld o m a i na n dm o r p h o l o g i c a li m a g ep r o c e s s i n g s e c o n d ，a n a l y z ef i v et y p i c a lo b j e c te x t r a c t i o na l g o r i t h m si nt h ec o l o rv i d e o i m a g ep r o c e s s i n gb a s e do nr e a d i n gal o to fp a p e r sa n dd e c i d et oa d o p tf i n d i n ga n a l g o r i t h mw h i c hc a l lm a p3 dc o l o rs p a c et ol - df e a t u r es p a c ea st h er e s e a r c h m e t h o d t h i r d ，p r o p o s ean o v dm e t h o do fv e h i c l ee x t r a c t i o nb a s e do nm o v i n g d i f f e r e n c e t h ep i x e l so fv e h i c l ee d g ew i l lb es t o o do u tb yp r o c e s s i n gi m a g e d a t aw i t hm o v i n gd i f f e r e n c ef i l t e r a f t e rv e h i c l ee d g eh a sb e e nd e t e c t e d ，s t a t e f e a t u r em a t r i xc a nb ea s s i g n e d f o u r t h ，v e h i c l ee x t r a c t i o n ，v e h i c l ec o u n ta n dc a ro c c u p a t i o nr a t i o c a l c u l a t i o nc a nb e d o n eb yp r o c e s s i n gs t a t ef e a t u r em a t r i x i nt h ee n d ，t h ec o n c l u s i o na n dv i e wo ft h ep a p e rh a v eb e e np r e s e n t e da n d 上海大学硕上学位论文 s o m ew a y sa n di d e a sh a v ea l s ob e e np u tf o r w a r d ，w h i c hc a nb ef i n i s h e di nt h e f u t u r e k e y w o r d s ：c o l o rv i d e o 、m o v i n gd i f f e r e n c e 、v e h i c l ee x t r a c t i o n 、 v e h i c l ec o u n t i n g 、c a ro c c u p a t i o nr a t i o v i i 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均己在论文中作了明确的说明并表示了谢意。 签名： 本论文使用授权说明 日期：趟：至等 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名： 新虢例冲期：出 i i 上海大学硕士学位论文 1 1 课题的背景 第一章绪论 随着社会经济的发展，城市化、汽车化速度的加快，交通拥挤、交通事故 等问题已经成为世界各国面临的共同问题。解决交通问题的传统方法是修建 道路。但无论是哪个国家，可供修建道路的空间越来越小。交通系统是一个 复杂的系统，单独从车辆方面考虑或单独从道路方面考虑，都很难从根本上 解决问题。在此背景下，把交通基础设施、交通运载工具和交通参与者综合 起来系统考虑、充分利用高新技术解决交通问题的思想就油然而生了，这就 是智能交通系统产生的背景。 智能交通系统( i n t e l l i g e n tt r a n s p o r ts y s t e m ) ，简称i t s ，是指在较完善的 基础设施之上，将先进的信息技术、通信技术、控制技术、传感技术和系统 综合技术有效的集成，并应用于地面运输系统，从而建立起大范围的发挥作 用的、实时的、准确、高效的交通系统。智能交通系统由以下几个子系统组 1 先进的交通管理系统( a t m s ) 主要指先进的监测、控制和信息处理系统。该类系统向交通管理部门和 驾驶员提供对道路交通进行实时疏导、控制和对突发事件应急反应的功能。 它包括城市集成交通控制系统、高速公路管理系统、应急管理系统、公共交 通优先系统、不停车自动收费系统、交通公害减轻系统和需求管理系统等。 a t m s 在道路、车辆和监控中心之间建立起通讯联系。监控中心接受到各种交 通信息并经过迅速处理后，通过调整交通信号，向驾驶员和管理人员提供实 上海大学硕士学位论文 时信息和最优路径诱导，从而使交通流始终处于最佳状态。 2 先进的旅行者信息系统( a t i s ) 主要是对交通出行者提供及时的信息服务。在出行前通过办公室或家庭 的计算机终端、咨询电话、咨询广播系统等，向出行者提供交通信息，以帮 助出行者选择出行的方式、时间和路线。在出行途中，通过车载信息单元或 路边动态信息板，向出行者提供交通信息，通过路径诱导系统对车辆定位和 导航，使出行者以最佳的出行方式和路线到达目的地。 3 先进的公共交通系统( a p t s ) 采用各种智能技术促进公共交通的发展，它包括公共车辆定位系统、客 运量自动检测系统、行驶信息服务系统、自动调度系统和电子车票系统等。 例如，利用全球卫星定位系统和移动通讯网络对公共交通进行监控和调度； 采用i c 卡进行客运量检测和公交出行收费；在公交车辆上和公交车站通过电 子站牌向乘车者提供车辆的实时运行信息，提高公共交通的吸引力。 4 先进的车辆控制系统( a v c s ) 主要指智能汽车的研制。该系统包括事故规避系统和监测调控系统等。 智能汽车具有道路障碍自动识别、自动报警、自动转向、自动制动、自动保 持安全车距、车速和巡航控制功能。安装在车身各部位的传感器、盲点监测 器、微波雷达、激光雷达、摄像机等设施由计算机控制，在易发生危险的情 况下，随时以声、光形式向司机提供车体周围的必要信息，并可自动采取措 施，从而有效地防止事故的发生。车内计算机中存储大量有关驾驶员个人和 车辆各部分的信息参数，当监测到这些参数发生变化、超过某种安全极限时 就会向司机发出警报，并采取相应措施，以预防事故发生。不仅是安全，而 2 上海大学硕士学位论文 且还能提高道路的通行能力。 5 商用车辆运营系统( c v 0 ) 这是专为运输企业提高赢利而开发的智能型运营管理技术，目的在于提 高商业车辆的运营效率和安全性。通过卫星、路边信号标杆等装置，以及车 辆自动定位、车辆自动识别、车辆自动分类和动态称重等设备，实现电子通 关、辅助企业的车辆调度中心对运营车辆进行调度管理。 要实现交通系统的智能化，关键的问题就是交通信息的获取、处理及分 析。本论文将在此方面做一些探讨。 1 2 交通信息获取方法介绍 目前获取交通信息的方法主要有三种：感应线圈探测器、微波探测器和 视频检测器【1 】【2 1 。下边分别做一简单介绍。 1 2 1 感应线圈 工作原理：检测单元同环形线圈与引线线路组成一个电感电容调谐电路。 此电路中的电感主要决定于环形线圈，环形线圈是此电路中的电感元件；电容 决定于检测单元中的电容器。电流通过环形线圈时，在其附件形成一个电磁场， 此磁场可用磁力线来描述。当车流进入这个磁场时，车身金属中感应出涡流电 流，涡流电流使磁场的磁力线减少，环形线圈电感量随之降低，引起电路调谐 的频率上升。此频率的改变成为检测器检测到车辆的一个信号。 应用范围：通常用于检测交通流量、占有率等交通参数。此种交通信息获 取方式主要适用于高速道路、桥梁、隧道等。 优点：性能稳定可靠、灵敏度高、数据准确。 上海大学硕士学位论文 缺点：需要埋入车道，维护成本高，易受冰冻、盐碱等环境的影响。 1 2 2 微波探测器 工作原理：利用多普勒效应。多普勒效应是指微波在波源移向观察者时 频率变高，而在波源远离观察者时频率变低。当观察者移动时也能得到同样的 结论。微波探测器就是利用这个效应的。 假设微波以频率厂速度c 传播，在其传播区域内如遇到运动的物体，将 有- - d , 部分波被反射回来，即频率为的反射波，微波检测器收到这部分反 射波，比较发射与反射波的两个频率f o , df 便可判断是否有车辆通过，并根 据频率的变化计算出物体的速度。 应用范围：通常用于检测各车道的车流量、道路占有率、平均速度等。 优点：安装不影响交通，工作不受气候环境的影响，可应用于多车道的 道路上。 缺点：检测精度不高，获取的信息量有限且价格昂贵。 1 2 3 基于视频的方式 基于视频的交通信息处理方式是指将摄像机安放在道路两侧或是道路上 方，获取交通场景的远距离图像，应用视频、图像处理技术进行车辆检测、 车辆跟踪、交通参数检测、违章检测等，所获得的信息可以用于法律裁决和 交通流量控制等。 下图是一种典型的基于视频的交通检测系统的框图。 4 上海大学硕士学位论文 图1 1基于视频的交通检测系统框图 目前在国内应用较多的视频车辆检测器为美国i t e r i s 公司生产的 v a n t a g e 视频检测器、比利时t r a f f i c o n 公司生产的v 1 p 视频检测器、法国 c i t i l o g 公司的视频检测器等。 优点：信息直观，信息量大，使用维护成本较低。 缺点：受目前技术所限，应用限制较多。 1 3 课题研究的意义 有研究表明，人类8 0 的信息是由视觉获得的，所以利用视频方式获取 交通信息是最为直观最为有效的方法之一。做为衡量交通状况的重要指标， 车流量及车道占有率是经常需要关注的。本论文的研究目的就是针对此两种 参数的获取进行研究和探讨，试图寻找一种算法复杂度低、准确度高的获取 5 上海大学硕上学位论文 交通信息的方法。 1 4 论文的主要研究内容 本论文首先对基于视频的交通信息处理做一简单综述，而后重点分析其中 的彩色视频处理算法，最后以阐述作者提出的基于视频的交通参数提取算法 为重点。所以本文的结构安排如下： 第一章为绪论，概述了智能交通系统的研究意义及背景，随后介绍了智能 交通系统中的信息获取的各种方式，并进行了简单的比较。 第二章以大量的文献调研为基础，对基于视频的交通信息处理系统进行了 概述。 第三章介绍了目前基于视频的车辆检测的基本方法，并介绍了部分方法中 用到的理论知识。随后对几个有代表性的算法进行了分析，得出了研究思路， 为提出新的算法奠定了基础。 第四章提出了一种在彩色视频序列中提取车辆的方法。该算法创造性的提 出了滑动差分滤波器的概念。通过该空间域滤波器对已经降维的彩色图像信 息进行处理，则可以直接将车辆从图像中准确的提取出来。此方法具有计算 量小，准确度高的特点。 第五章提出了一种基于状态特征矩阵的交通信息提取算法，该算法可以对 第四章算法得到的状态特征矩阵分析，进而可以得到车流量、车道占有率等 交通信息。基于状态特征的方法，大大减少了算法的计算量。 第六章对整个研究课题进行了总结与展望。 6 上海大学硕士学位论文 第二章基于视频的交通信息处理介绍 将视频技术应用于智能交通系统是近来的研究热点之一。我们知道，道 路上的交通状况是经常随时间变化的。仅仅靠静态图像还不足以表示道路上 的交通信息。这就需要采集随时间变化的图像，也需要对所采集的视频做出 分析。视频图像处理通常是指分析用传感器( 例如摄像机) 采集的一组随时 间变化图像的过程。 按照检测系统所提供的信息类型，基于视频的交通信息处理系统可以分 为以下几种。 2 1 车牌自动识别系统 2 1 1 车牌自动识别系统概述 车牌自动识别系统【3 1 ，又称l a r s ( l i c e n s ep l a t ea u t o m a t i cr e c o g n i t i o n s y s t e m ) 系统。一个典型的l a r s 系统主要有由四个单元模块构成：车辆监测 单元，图像采集单元，图像处理识别单元，查询单元。其系统构成如图2 1 所示。 图2 1 系统框图 7 上海大学硕士学位论文 其中，车辆检测单元一般使用车辆传感器，它的功能是探测车辆的经过、 通过、停留等状态。目前在我国的停车场和公路路口建设中应用较多的电磁 感应环探测器和视频探测器。图像采集单元包括照明光源和摄像设备。照明 光源可能是日光照明、红外线照明、强光照明等。摄像设备可为c c d 摄像机 或数码相机。 图像处理识别单元如图2 - 2 所示。它由计算机或d s p ( d i g i t a ls i g n a l p r o c e s s i n g ) 处理器以及l a r s 软件组成，可完成对车牌的识别。计算机及d s p 是车牌识别的硬件部分。软件的主要部分是l a r s 算法。 l a r s 系统的工作原理： 当车辆通过时，车辆检测单元受到触发，将车辆通过信号传至图像采集单 元；车辆通过信号启动图像采集单元采集车辆图像并将图像传至处理识别单 元；处理识别单元进行车牌识别后将识别结果写入数据库，供监控中心或收 费处等应用场所查询使用。 我们知道在原始图像中直接搜索车牌区域并对车牌上的字符进行识别是 十分困难的，所以需要进行一系列处理。车牌自动识别的处理算法主要由三 个部分组成如图2 2 所示。首先对通过摄像机摄入的图像作预处理，以改善图 像的质量；其次在一个含有汽车的复杂背景中确定车牌的位置；最后对车牌上 的文字进行切割，进行特征提取和识别。其中影响整个系统识别率的关键问 题是车牌区域的精确定位。如能准确定位车牌区域和切分字符，可以减少存 储容量，避免干扰，进行准确的字符识别，从而提高整个识别系统的工作效 率和识别精度。因此，车牌区域定位分割的算法研究一直都是各国学者研究 的热点问题。 8 上海大学硕士学位论文 2 1 2 车牌定位算法 图2 2 算法流程图 现有的车牌定位算法可以分为两大类：基于灰度图像的定位算法和基于彩 色图像的定位算法。比较有代表性的有以下几种算法。 在灰度图像中，车牌中背景和字符有一定的灰度差别，这样车牌区域内会 有较多的灰度突变。所以穿过车牌区域和没有穿过车牌区域的直线在灰度变 换的次数上肯定是不同的。基于车牌区域灰度变化特征的定位算法【4 】中，就是 利用了这一特点，对车牌的灰度图像进行从上而下、从左到右的逐行、逐列 扫描。假设背景的灰度为0 ，字符的灰度为1 ，当扫描到o 1 和1 o 的变化 次数大于阈值t l ，就认为已经进入车牌区域，当扫描到o 1 和l 0 的变化 次数小于阈值t 2 ，就认为已经离开车牌区域，并将这两处位置记下，如果两 者之差大于阈值t 3 ，则认为目标区域已经检测到，否则继续扫描。 由于车牌的形状为直线段围成的矩形，特征最为明显，所以许多学者利用 这个特性来对车牌区域进行定位。a l n e d 【5 1 提出了一种只需检测垂直直线就可 定位车牌的方法。且这个方法已经成功的应用于沙特阿拉伯的车牌识别系统 中。第一步先用s o b l e 算子检测垂直直线，第二步用s i z e a n d s h a p e 滤波来移 除一些多余的直线，第三步用检测出的成对的垂直直线的长度和两者之间距 9 上海大学硕士学位论文 离的比值也就是车牌的长宽比例来确定车牌区域，最后一步，如果检测出多 个区域，则对每个区域都计算黑白像素的比例，因为车牌区域内包含字符， 而字符图像二值化后就是白色像素。如果这个比例在一个阈值之内，就认为 是车牌区域。 郁梅【6 1 提出了一种基于线模板的二值图像角检测算法，在二值图像中搜寻 类似矩形形状的区域，利用线模板来分别检测角点附件的黑白像素的个数。 如果两者都超过一定阈值就认为检测到一个角点。由于图像中形状的尖角易 破损，所以不直接利用角点附近的信息，而是利用角边的信息，如果同时存 在若干个候选像素都满足角点匹配条件，那就取坐标的平均值作为角点的估 计。同时利用车牌的长宽比例及字符在车牌中的位置信息来定位目标区域。 相对于灰度图像，彩色图像可以提供更多的视觉信息，有利于图像分割 和目标提取。一般彩色图像常采用r g b 颜色模型存储，但由于r g b - - 原色空间 中两点的欧氏距离与颜色距离不成线性比例。因此，很多算法将r g b 模型转换 到其他颜色模型中去，! f l y u v 、h s i 等。 基于彩色图像的车牌分割算法也有很多种，有的基于遗传算法【7 】【8 1 ，有的 基于神经网络【9 1 ，有的基于彩色边缘检测【1 0 】【l l 】【1 2 】【1 3 】【1 4 】【15 1 。 随着研究的深入，将多种检测方式进行有机结合也取得了很好的效果。如 结合颜色和数学形态学进行车牌定位。在该算法中，先将捕获到的彩色图 像从r g b 空间转换到h s i 空间，然后将图像的色彩特征与状态特征分离，并 充分利用车牌的色彩特征调整彩色图像的状态特征，并结合了数学形态学的 方法来对图像进行处理，取得了很好的效果。 1 0 上海大学硕士学位论文 2 2 车型识别系统 2 2 1 车型识别系统概述 要实现车辆车型的自动识别与分类，需要做的第一步是探测和提取车辆 的某些特征信息。在车辆的所有特征中，可以用来识别和区分车型的通常有 车辆的外型( 长、宽、高等) 、车辆的轴重、轴距或总重、车辆牌号、发动机 排气量、车辆可以乘载的人员数或载重量等特征。在这些特征中，只有部分 可以用于基于视频的自动车辆识别和分类，主要是车辆的外型参数。 2 2 2 车型识别算法 基于视频图像的车型识别方法也是国内外的研究热点之一，在目前所提 出的算法中，比较有代表的性有基于模型匹配的方法和基于神经网络的方法。 模型匹配是识别中的重要方法，而基于3 d 模型的识别是被研究较多的 一种方法r 1 7 】【1 8 】。此类方法一般是先获得典型的几类车，如轿车、大型客车、 卡车等的三维模型，将其做为模板。之后与视频序列中提取被检测出的车辆 的模型与模板进行比较，进而达到分类的目的。此种方法的缺点是计算量大， 很难把所有车型都考虑到，而且当模板的数量增多的时候，计算量会迅速上 升。 人工神经网络适合处理具有残缺信息和含有一定错误的模式，也就是说 神经网络具有容错功能，所以将人工神经网络应用于车型识别也是研究的热 点之一。 刘怡光【1 9 1 等构建了一种用于图像目标识别的多层前向神经网络，给出了 上海大学硕士学位论文 网络拓扑结构，并成功地把该神经网络运用到车型识别中。该方法综合了神 经网络、模糊逻辑、模式识别的相关算法，对图像目标轮廓进行整体识别， 并得到了较高的目标识别准确率。该文所构建的用于车型识别的神经网络包 含一个卷积网络和一个模糊分类器，该网络依据整个车体轮廓对车型进行识 别，避免了通过图像处理提取一个或多个特征值进行识别，算法适应性差等 缺点。 王年等提出了一种利用前向三层神经网络及计算机视觉技术对汽车车 型进行自动识别的方法。为了实现对汽车车型进行自动识别和分类，首先必 须对车型图像进行分割和特征提取，具体的处理过程为：l 、对背景图像和车 辆图像分别进行边缘增强。2 、然后对两幅边缘图像进行一种“相减 运算， 剔除车辆图像与背景图像中共同的边缘，得到一幅边缘相减图像。3 、再经过 滤波、二值化、填充、边缘提取等一系列处理，最终得到一幅完整的车辆轮 廓图像。接着提取汽车的某些特征：顶蓬长度与车辆长度之比，称之为顶长 比；顶蓬长度与车辆高度之比，称之为顶高比；以顶蓬中垂线为界，前后两 部分之比，称之为前后比。最后建立基于算法的前向三层人工神经网络。在 进行前向多层神经网络的学习时，不断调整隐层节点数。该神经网络训练成 功后，其权值即确定下来。在进行识别时，神经网络由于具备并行运算、自 学习、自组织等特点，可以快速地计算应变值，给出正确的识别结果。 1 2 上海大学硕士学位论文 2 3 交通状态参数提取系统 2 3 1 交通状态参数提取系统概述 交通状态参数提取系统是一套对道路交通情况进行实时检测与分析的多 功能处理系统，它主要由视频检测系统和中心处理系统几部分构成。视频检 测系统通过摄像机将采集到的实时视频图像发给中心处理系统，系统在收到 图像后，运用计算机视觉技术对每帧图像进行分析比对，一方面可以得到道 路的基本信息如车流量、交通密度、道路占有率、车辆队列长度等数据，为 交通管理部门对道路的宏观管理提供充足的理论依据；另一方面，也可以与 其他智能交通系统联动，如车牌识别系统，当其检测到有违法行为如闯红灯、 超速等则通知车牌识别系统进行抓拍与识别，并将识别结果提供给交警部门 进行统一处理，从而实现对道路状况的监控，实现规范交通秩序、减少事故 发生的效果。 2 3 2 交通状态参数提取算法 交通状态参数提取的核心问题是正确的在视频序列中提取出车辆。在此 方面，国内外做了大量的研究，大致可以分为两类：基于车辆3 d 模型的匹配 检测和基于图像块的区域检测。 基于车辆3 d 模型的匹配检测的例子主要有日本o m r o m 公司研制出的 基于立体视觉的交通信息采集系统【2 1 】和美国加州大学伯克利分校计算机系 d k o l l e r 等人基于车辆3 d 模型的车辆检测系统 2 2 1 。这类系统在解决阴影、雨 天地面反射和拥挤情况下遮挡问题等方面较为出色，但是普遍存在的问题是 1 3 上海大学硕士学位论文 模型匹配运算所带来的庞大的计算量难以满足实时性要求，另外还要设计多 视角下的各种车辆先验模型和运动模型，工作量相当大，也很不灵活。在这 类系统中往往利用摄像机安装信息：高度、俯视角等参数将原图转换成为每 一车道的侧向投影图【2 1 】【2 3 1 ，试图在减少计算量的情况下获得3 d 方法的测量 精度，但是这样一来又提高了对摄像机的标定要求，并且转换后的计算量仍然 很大。 目前，更多的研究倾向于基于图像块的车辆检测方法，如背景差法和帧间差 分法【2 4 1 。 ( 1 ) 背景差检测法：用当前帧图像与背景帧图像进行差分运算，这是最常用 的方法，运动车辆和暂时停止的车辆都可以检测。它存在的问题：背景会随 着光照不同而变化，有时变化是突然的。因此背景的实时更新 2 5 1 是一个很重 要的部分。 ( 2 ) 帧间差分法：这个方法是运动视觉中最基本的方法。车辆运动使图像的 前后两帧图像发生变化，从而用帧间差别可以来检测车辆的运动。存在的问 题是：1 、车辆检测除了要检测出运动车辆，同时要检测出暂时不动的车辆， 在这个方面，运动视觉无能为力。2 、由于车辆的体积往往较大，车辆在前后 帧中有重叠部分，这使得帧间差分的结果主要为车辆头和车辆尾，车辆中间 差分的差分值相对很小，这不利于拥挤情况下个别车辆的分割【2 6 】 2 7 】。 除此以外，以上两种方法都会出现目标被分裂和空洞的情况，因此 d a n i e l j d a i l e y 等提出采用数学形态学中的膨胀和腐蚀运算来消除目标区域中 的空洞和边缘阴影噪声【2 8 1 。 上述的方法多是在灰度图像中进行处理的，相比于灰度图像，彩色视频 1 4 上海大学硕士学位论文 提供的信息量更大，本文将在第三章中详细阐述基于彩色视频序列的交通信 息检测算法。 2 4 本章小结 本章以大量的文献调研为基础，介绍和分析了目前的几种基于视频的交通 信息处理系统：车牌识别系统、车型识别系统和交通状态参数提取系统。对 于每个系统，除了介绍了他们的基本情况外，还对系统中所用的代表性算法 进行了分析。 1 5 上海大学硕士学位论文 第三章交通信息处理中的彩色视频处理 3 1 视频与图像 视觉是人类最重要的感觉，也是人类获取信息的主要来源。据统计，在人 从外界获得的信息中，8 0 以上来自视觉。图像与视频作为信息最重要的载体 之一，已经深入人们的日常生活【2 9 1 。 一副单色的数字图像可以看成是一个矩阵，矩阵中的元素代表图像的一个 点，相应的矩阵元素值表示该点的灰度电平。该元素也称为像素，数字视频 就是这样一些图像组成的序列，人们又把数字视频称为视频图像、图像序列 或运动图像。在数字视频里，每一幅这样的图像称之为一帧。对于视频显示 来说，帧速率就是时间序列的播放速率。 彩色图像相对于灰度图像包含有更丰富的信息，因此对彩色图像分割方法 的研究有利于克服传统的灰度图像分割方式的不足，是一个更为广阔的研究 领域。 对于彩色图像，则是利用不同的颜色模型来表征每一个像素的颜色。较为 常用的有r g b 、h s i 及h s v 等模型 3 0 】【3 l 】。 在r g b 模型中，每种颜色都用三个基色分量红( r ) 、绿( g ) 、蓝( b ) 来表示。这种模型基于笛卡尔坐标系统，颜色子空间如图3 1 所示。 在图中，红色、绿色、蓝色在三个顶角上，紫色、黄色和青色在另外三个 项角上，黑色在原点，白色在离原点最远的角上。用r g b 模型表示的彩色数 字图像则可以看成是由三个独立的矩阵组成的，r 矩阵中的元素代表某一个像 1 6 上海大学硕士学位论文 素的r 值，g 矩阵中的元素代表某一个像素的g 值，b 矩阵中的元素代表某 一个元素的b 值。 b r 图3 1r g b 模型空间示意图 同时，为了适应不用的要求，还可以将颜色模型建立在不同的色彩空间模 型里，如h s i 空间。如图3 - 2 所示： 其中h 代表色调，s 代表饱和度，i 代表强度，该模型可在彩色图像中从 携带的彩色信息里消去强度分量的影响。 1 7 上海大学硕士学位论文 白 黑 图3 2h s i 模型空间示意图 还有与h s i 空间类似的h s v 空间等，如图3 3 所示。 其中，h 代表色调，s 代表饱和度，v 代表数值，该空间比r g b 空间更 接近于人们的经验和对彩色的感知。 上海大学硕士学位论文 图3 3h s v 模型空间示意图 3 2 彩色视频图像处理中运动目标提取研究现状 将彩色视频图像处理技术应用到交通状态参数提取中的关键问题是在彩 色图像中快速有效的提取运动目标。目前的提取方法，比较有代表性的有如 下几种。 3 2 1 基于统计分类的方法 c h a o - j u n gc h e n 2 3 提出了一种在r g b 色彩空间利用统计分类进行车辆提 取的方法。此算法的依据是认为在视频序列中，如在某一像素上对图像序列 中可能出现的色彩信息进行统计的话，那么背景像素的色彩信息的出现频率 肯定是最高的。所以此算法对在不同帧上的同一位置出现的色彩信息，根据 1 9 上海大学硕士学位论文 其r 、g 、b 分量的数值进行分类。最后根据分类的结果来确定该点背景的r 、 g 、b 分量数值，进而就可以得到一副背景图像。算法流程如图3 - 4 所示。 r _ 土1 l 如喇i lc a n 唧i l - _ _ _ _ _ _ _ - - _ - - _ - 一 图3 4 算法流程 在背景图像建立之后，则通过逐像素计算当前图像与背景图像的差值， 利用阈值判断的方法，分割出运动物体。在背景更新方面，将每帧运动物体 像素点的颜色信息用于背景的更新，采用的是加权求和的方法。目标分割及 背景更新的流程如图3 - 5 所示。 2 0 上海大学硕士学位论文 图3 5目标分割及背景更新流程 此类算法的核心是通过统计的方法获得高质量的背景。 3 2 2 基于概率模型的分类方法 n i rf r i e d m a n 3 3 1 提出了一种利用概率方法对车辆像素进行建模并提取背 景的方法。该算法的基本思路是利用像素处于不同类型的概率模型对所有像 素点进行分类。例如，一个像素点在不同的时刻，有时是道路像素点，有时 是阴影像素点而有时是车辆像素点。作者利用递增e m 算法为每个像素建立混 合高斯模型。通过建立模型，就可以得到每一个背景像素点的期望值。同时 将阴影像素点用背景像素点的信息予以替换。进而可以得到准确的背景图像。 利用此背景图像，只要将原始图像与背景图像相减，就可以提取运动物体。 3 2 3 基于阴影抑制的方法 k a i - t a is o n g 3 4 1 提出了一种用于视频交通检测的阴影抑制算法。该算法 2 1 上海大学硕士学位论文 首先利用彩色直方图统计的方法，获得背景的高斯模型。然后利用比较输入 图像与背景模型的r g b 的差值对图像进行前景提取。此时分离出来的前景则 是包括运动目标及其阴影的。此后，该算法利用非参数统计的方法为阴影建 立了高斯模型。当模型被建立了之后，对于在输入图像提取出的前景部分的 每一个像素点都与此模型比较。符合模型的像素点被归为阴影，不符合的被 归为车辆。比较规则如公式3 1 所示： r】 眠力= b 【 纠糕十跏玎黯十蜘，z 黯十瓯 。， o , o t h e r w i s e 其中， ，置( x ，j ，) ，g ( z ，j ，) ，b ( z ，y ) 分别为输入像素点的r g b 值， 只( x ，y ) g ( z ，y ) ，b ( x ，j ，) 分别为背景图像的r g b 值。，厂g ，白表示此像素被阴 影所覆盖与未被阴影所覆盖时的r g b 值比率的平均值，靠，如表示此比值 的标准方差。同时为了提高阴影抑制的性能，还引入了阴影的形状及边界信 息以确认阴影的正确抑制。算法的流程如图3 - 6 所示： i m a g e 图3 - 6 算法流程 v e h 泌l eb l o bf o r 翱哗a n a l y s i s 上海大学硕士学位论文 3 2 4 基于h s v 空间的提取方法 不同于上述三种基于r g b 模型的车辆提取算法，r i t ac u c c h i a r a 3 5 1 提出 了一种在h s v 空间进行阴影抑制并进行运动目标提取的方法。该算法首先利 用背景剪除的方法得到图像中的前景。显然，得到的前景图像是包含阴影的。 为进行阴影抑制，该算法将色彩域由r g b 转换到h s v 。因为h s v 空间更接近于 人类的视觉系统，也被证明相比于r g b 色彩空间能更有效的进行阴影抑制。 用g ( x ，y ) 代表第k 帧图像中坐标为( x ，y ) 的像素点的数值。用b f ( 石，y ) 代 表背景图像中坐标为( x ，y ) 的像素点的数值。用i s ( x ，y ) 代表第k 帧图像中坐标 为( z ，j ，) 的像素点的饱和度，用b f ( 石，y ) 表示背景图像中坐标为( x ，y ) 的像素点 的饱和度，用，( x ，j ，) 表示第k 帧图像中坐标为( x ，y ) 的像素点的色调，用 醚( x ，y ) 表示背景图像中坐标为( z ，y ) 的像素点的色调。那么对于阴影的判别 就可以利用公式3 2 ： 阮( x ，j ，) = 纩口嬲 a ( i s ( x ，y ) - b s ( x ，j ，) ) r s 人( i h ( x ，y ) - b y ( x ，y ) ) r m 0 o t h e r w i s e 其中s p 。( x ，y ) 为1 就代表此像素点为阴影。 将前景中的阴影部分剔除之后，就可以准确的提取出运动目标。 3 2 5 基于阈值判定的提取方法 ( 3 2 ) 不同于提出较多的各种基于统计模型或概率分布的判别方法，e n r i q u ej c a r m o n a 3 6 1 提出了一种完全基于阈值判定的逐像素提取方法。 上海大学硕士学位论文 此算法基于这样的假设：一帧图像上的所有像素点可以根据不同的特点分 为两个大类：前景和背景。而在前景中，又可以分为运动物体、前景噪声、 背景噪声等，如图3 7 所示： 图3 7 像素分类 为找到合适的分类准则，此算法首先通过对r 、g 、b 值求模值及相位角 的方法，将r g b 模型的三维空问转化为两维空间。在此两维空间上，根据各 自不同的特点，定义了一系列的判定准则，根据此判定准则，对每个像素进 行分类。整个算法的流程如图3 8 所示： 非- _ - f 盯t h y 删幽屯啦吖蚺峥畔懈l 埔t h c 向妒删缸h 弘州y 曲i 图3 - 8 算法流程 上海大学硕士学位论文 3 3 研究现状分析及研究思路提出 3 3 1 研究现状分析 从以上几种方法可以看出，目前在彩色视频中提取车辆的方法多是首先 将车辆及阴影从视频中一起提取出来，然后再应用各种阴影抑制算法将阴影 去除掉。即要完成车辆的准确提取，必须经历前景提取及阴影抑制两个步骤。 此外，无论是基于统计或概率的方法，还是利用阈值判断的方法，多是 进行逐像素的判别。这样做有两个方面的不足： l 、基于视频的交通信息检测的应用环境是在室外，而室外的光照条件是 复杂的，这就会引起即使是同一辆车，它的部分像素会因为光照的不同，所 表现出来的色彩特征不同。这种情况在逐像素判断的情况下就会引起误检， 从而导致算法的准确性不高。 2 、对于基于统计模型或是概率分布的算法来讲，对图像进行逐像素判别 的话，相应的计算量就会较大。对于基于阈值判断的算法来讲，虽然不需要 进行复杂的统计运算，但是因为此方法还是要对每一个像素点进行分类，为 保证分割的正确，就要建立足够细的分割准则，也会相应的增加计算量。 3 3 2 研究思路 基于以上分析，本论文拟从如下角度出发，试图寻找一种能够直接将车 辆从视频中提取出来的算法。 r g b 模型是在视频设备中经常使用的一种色彩空间，所以拟提出的算法 应该是在r g b 色彩空间里的。 上海大学硕士学位论文 考虑到在彩色视频序列中，对于任一像素点的色彩信息，都是用r 、g 、 b 三个分量来进行表示即用三维的数据来进行表示的，所以如果拟提出的算法 能对数据进行有效的降维且又不丢失有效的色彩变化信息的话，则会显著的 减少计算量。 目前的车辆提取算法在提取车辆的时候多是先将车辆及阴影一起提取出 来，然后再用阴影抑制算法将阴影去除掉。为提高算法的鲁棒性，降低算法 的计算量，应寻找一种能对车辆进行直接提取的算法，并且提出的算法应该 避免逐像素判定。 车辆的几何信息在视频序列中还是较为明显的，所以在拟提出的算法中， 如果能有效利用车辆的几何特征，如车辆宽度等，则可以很好的提高算法的 性能及准确率。 3 4 空间域图像处理 “空间域”一词是指图像平面自身，这类方法是以对图像的像素直接处理 为基础的【3 0 1 。空间域图像处理可由公式3 3 定义： g ( x ，j ，) = t f ( x ，y ) 】( 3 3 ) 其中f ( x ，少) 是输入图像，g ( x ，y ) 是处理后的图像，r 是对的一种操作， 其定义在( z ，y ) 的领域。 定义一个点( x ，y ) 邻域的主要方法是利用中心在( x ，y ) 点的正方形或矩形 子图像，如图3 - 9 所示。子图像的中心从一个像素向另一个像素移动，比如说， 可以从左上角开始。r 操作应用到每一个( x ，y ) 位置得到该点的输出g 。这个 过程仅仅用在小范围邻域里的图像像素。 上海大学硕士学位论文 图3 - 9 点( x ，y ) 的邻域 邻域处理工作的处理对象是邻域的图像像素值以及相应的与邻域有相同 维数的子图像的值。这些子图像可以被称为滤波器、掩模或模板。在滤波器 中的值是系数值，而不是像素值。这种直接对图像像素处理的操作称之为空 间滤波。 空间滤波的机理如图3 1 0 所示。 上海大学硕士学位论文 原 虹 图3 1 0 空间滤波机理 该处理就是在待处理图像中逐点的移动掩模。在每一点( x ，y ) 处，滤波器 在该点的响应通过事先定义的关系来计算。对于线性空间滤波，其响应由滤 波系数与滤波掩模扫过区域的相应像素值的乘积之和给出。如图3 1 0 所示的 3 3 掩模，在图像中的点( 石，y ) 处，用该掩模线性滤波的响应尺为： r = w ( 一1 ，一1 ) f ( x 一1 ，y 1 ) + w ( 一1 , 0 ) f ( x l ，j ，) + ( 3 4 ) + w ( o ，o ) f ( x ，y ) + + w ( 1 ，0 ) f ( x + 1 ，y ) + w ( 1 ，1 ) f ( x + 1 ，y + 1 ) 、。 最终得到的结果则是掩模系数与直接在掩模下的相应像素的乘积之和。 一般来说，在m n 的图像厂上，用m x1 大小的滤波器掩模进行线性滤 波由公式3 5 给出： 2 8 上海大学硕士学位论文 ab g ( x ，少) = w ( s ，t ) f ( x + s ，y + f ) ( 3 5 ) 这里，a = ( m - 1 ) 2 且b = ( 拧- 1 ) 2 。为了得到一副完整的经过滤波处理的 图像，必须对x = o ，l ，2 ，m 一1 和y = o ，