（模式识别与智能系统专业论文）基于单目视觉的运动车辆类型识别.pdf

基于单目视觉的运动车辆类型识别 摘要 随着我国社会经济的快速发展，城乡交通流量日益加大，如何高效地管理 道路车辆，迅速便捷地统计交通信息成为了当前道路交通管理中的一种迫切需 求。车流量和车辆类型信息作为最基础的数据得到道路交通管理相关部门的高 度重视，因为准确掌握车流量和车辆类型信息的统计不仅有利于交通指挥、道 路养护等相关工作的丌展，而且长期统计分析可以为未来城市道路建设规划、 不同地区间高速公路设计标准制定、未来国家机动车结构调整提供重要的参考； 同时车流量信息和车辆类型信息作为未来智能交通系统的一个重要组成部分也 得到了很多研究学者的高度重视。 车流量和车辆类型信息在相当长的一段时间内采用人工统计的方式获取， 这样不仅不能保证统计结果的准确性，而且信息采集存在难度，尤其是在地理 位置相对偏僻的地方，相关信息更是难以获取。随着计算机视觉和人工智能技 术的飞快发展，智能监控大量应用到了我们的现实生活当中，尤其在环境恶劣 的地方更是发挥了无可替代的作用。本文针对当前道路交通信息采集难度大的 问题，设计了基于单目视觉的运动车辆类型识别系统，该系统可以在任何自然 环境中全天二十四小时平稳运行，并能够对监测区域内的机动车辆数量进行精 确计数，同时能够提供八种不同类型车辆的识别与统计，它们分别是小客车、 大客车、小型载重车、中型载重车、大型载重车、拖挂车、拖拉机和摩托车。 本文提出的运动车辆类型识别系统不仅涉及到了运动车辆目标识别、车辆 阴影消除、运动车辆跟踪、车辆遮挡识别和车辆类型判定方面的相关技术，还 提出了一种极面图的运动车辆目标提取方法，通过运动统计行识别车辆之间的 相互遮挡，给出了一种模糊约束满足问题的运动车辆类型识别算法，同时针对 当前研究很少的夜间车辆类型识别问题，本文给出了一种结合了车辆灯光信息 的改进识别方法。最后通过实际的安装测试评估验证了本文提出的相关技术方 法，同时根据实验结果提出了一些相关的改进建议。 关键词：单目视觉，车辆类型识别，模糊约束，交通流量 武汉理工大学硕士学位论文 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fs o c i e t ya n de c o n o m yi no u rc o u n t r y , t h et a f f i ci n r u r a la n du r b a ni sb e c o m i n gt om o r eb u s y t h e r e f o r e e f f e c t i v ev e h i c l em a n a g e m e n t a n dq u i c ka n da c c u r a t et r a f f i ci n f o r m a t i o nc o l l e c t i o na r eb e c o m i n gav e r yi m p o r t a n t i s s u ef o rt r 缅cm a n a g e m e n td e p a r t m e n t a st h eb a s i sd a t ai l it r a f f i cm a n a g c m e n t f i e l d , 1 r a m cf l o wa n dv e h i c l et y p ei n f o r m a t i o na n a l y s i s i sd r a w i n gm u c hm o r e a t t e n t i o no ft h em a n a g e r , b e c a u s et h ea c c u r a t et r a 伍cf l o wa n dv e h i c l et y p e i n f o r m a t i o na g eh e l p f u lf o rm a n a g e rt oo a l r yo u tt r a f f i cm a n a g e m e n t , r o a d m a i n t e n a n c ea n dr e l a t e dw o r k s a n dl o n gt i m es t a t i s t i c sa n a l y s i so ft r s l ci n f o r m a t i o n a l s oc a nb et a k ea sav e r yi m p o r t a n tr e f e r e n c e sf o rt h ef u t u r ew o r k s ，s u c ha su r b a n r o a dc o n s t r u c t i o np l a n ，e x p r e s s w a yd e s i g ns t a n d a r dm a k i n gf o rd e f e r e n ta r e a , v e h i c l e t v p ea d j u s t m e n ti n0 1 1 1 c o u n t r ye t c a tt h es a m et i m e ，1 r a 伍cf l o wa n dv e h i c l et y p e i n f o r m a t i o na n a l y s i si sb e c o m m gt h e h o tr e s e a r c hi s s u ei na l lo v e rt h ew o r l d i nt h ep a s t , t r a f f i cf l o wa n dv e h i c l et y p ei n f o r m a t i o nc o l l e c t i o na g em a i n l y d e p e n d e d0 1 1m a n u a ls t a t i s t i c s i nt h em a n u a ls t a t i s t i c sm e t h o d , t h e r ea g es o m e s h o r t c o m i n g s ，f h s to fa l l ，a c c u r a c yo ft h ei n f o r m a t i o nc a nn o tb eg u a r a n t e e d , a n d s e c o n d l y , i n f o r m a t i o nc o l l e c t i o ni s 衄i c u l te s p e c i a l l yf o rr u r a la r e a w i t ht h e d e v e l o p m e n to fc o m p u t e rv i s i o na n da r t i f i c i a li n t e l l i g e n t , i n t e l l i g e n ts u p e r v i s i o ni 8 w i d e l yu s e di no u rd a i l y 胁，e s p e c i a l l yi nr u g g e ds u r r o u d m g s ，i n t e l l i g e n ts u p e r v i s i o n a l w a y sp l a ya ni m p o r t a n ti r r e p l a c e a b l er o l e i no r d e rt os o l v et h ep r o b l e mi n1 r a 伍c f l o wa n dv e h i c l et y p ei n f o r m a t i o nc o l l e c t i o n i nt h i st h e s i s av j e h i c l ec l a s s i f i c a t i o n s y s t e mb a s e do nm o n o c u l a rc o m p u t e rv i s i o nw a sp r o p o s e d , w h i c hc a nb e s u c c e s s f u l l yo p e r a t e di nn a t u r a le n v i r o n m e n t , a n de i g h tk i n do fv e h i c l et y p ec a nb e t a k e nc o u n tb yt h es y s t m n ，i e o a r , b u s ，m i n i - c a m i o n ，l i g h tc a m i o n , m e d i u mc a m i o n ， t r u c lt r a c t o r , m o t o r c y c l e t h es y s t e mp r o p o s e di nt h i st h e s i si sc o n s i s t so fv e h i c l ed e t e c t i o n ，v e h i c l es h a d o w r e m o v a l ，v e h i c l et r a c k i n g ，v e h i c l eo c c l u s i o nr e c o g n i t i o n ，a n dv e h i c l et y p er e c o g n i t i o n e s p e c i a l l y , i nt h i st h e s i s ，am o t i o nv e h i c l es e g m e n t a t i o nb a s e do ne p i p o l a rp l a n e i m a g ea n dm u l t i p l ev e h i c l eo c c l u s i o nr e c o g n i t i o nb a s e d0 1 1m o t i o ns t a t i s t i c sl i n ei s p r o p o s e dt od e v e l o pah 亿z yc o n s t r a i n ts a t i s f a c t i o na l g o r i t h mt os o l v ev e h i c l et y p e r e c o g n i t i o ni s s u e b e s i d e s ，r e g a r d i n gt h ci s s u eo fv e h i c l er e c o g n i t i o ni nt h en i g h tt h a t i sf e wr e s e a r c h e d , t h i sp a p e rp r o p o s e da ni m p r o v e dr e c o g n i t i o nm e t h o dw h i c h i n v o l v e dv e h i c l el a m pi n f o r m a t i o n f i n a l l y , t h et e c h n i q u e sm e n t i o n e dmt h i sp a p e r a g ev e r i f i e db yr e a le x p e r i m e n t , a n dt h ei m p r o v e m e n ts u g g e s t i o ni sa l s og i v e nb a s e d t h ee x p e r i m e n tr e s u l t s k e yw o r d s ：m o n o c u l a rc o m p u t e rv i s i o n ，v e h i c l ec l a s s i f i c a t i o n ，f u z z yc o n s t r a i n t s ， 蜥c f l o w 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说 明并表示了谢意。 研究生( 签名) ： 座立压期丝呈：鱼：多 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权保留送 交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部内容，可以采用影 印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 一 ， 研究生( 签名) ：么釜乏丛导师( 签名) ：研究生( 签名) ：么邑型型导师( 签名) ： 基于单目视觉的运动车辆类型识别 1 1 研究背景 第1 章绪论 随着我国经济社会的飞速发展，各地区之间交流不断增多，我国的交通事 业面临着前所未有的发展机遇。近些年，我国地区之间高速公路的建设力度逐 年加大，城市之间国道和省道罩程不断增加，而如何科学有效地管理这些道路 成为我们面临的严峻问题。如今，得益于科技的不断进步，在信息技术支撑下， 道路交通管理信息化水平得到了很大程度的提升。随着道路交通管理信息系统、 卫星全球定位和导航系统、车牌自动识别系统等先进技术不断地得到推广和应 用，我国道路交通的管理能力不断提高。但是，在取得巨大成绩的同时，我们 不可否认在信息化交通管理领域还存在一些亟待解决的问题，特别是在机动车 数量逐年增多，道路交通流量日益加大的情况下，如何迅速便捷地统计交通信 息成为了当前道路交通管理中的一种迫切需求。目前，车流量和车辆类型信息 作为最基础的道路交通信息得到相关部门的高度重视，因为准确掌握车流量和 车辆类型信息一方面有利于现有的道路的充分利用，为以后道路设计、道路交 通规划建设、道路维护以及城市规划提供重要的决策依据：另一方面，准确掌 握这些基础资料，有利于车辆车型结构的改善，科学规划道路交通发展布局， 加快区域和城乡交通一体化的进程。目前，车流量和车辆类型信息作为未来智 能交通系统的一个重要组成部分已成为国内外众多学者研究的热点。 智能交通系统是采用计算机、智能识别软件和交通信息采集传感器获取各 种道路交通信息的一整套设备的总称。为了实现道路交通的智能化管理全世界 众多研究机构都在不遗余力地进行各种智能化产品的研发，例如：各种道路收 费系统，车辆号牌识别系统等，其中：类似于车辆号牌识别这样的系统经过多 年的发展，现在都有了相当成熟的解决方案，并且得到了广泛的应用。交通流 量信息指的是在一定的时间内通过某一个监控地点的各个类型的车辆数量的总 和；车辆类型信息指的是通过监控地点的车辆类型，以及在一定的时间内通过 监控地点的各个类型的车辆数量；速度信息主要是指车辆通过监控点的车辆行 驶的瞬时速度。长期以来，道路交通流量、车辆类型和速度信息作为道路交通 武汉理工大学硕士学位论文 管理中的一项重要统计数据一直采用人工统计的方式来获取。人工统计的方式 不仅工作量大，而且不能保证统计数据的准确性，尤其是地理位置相对偏僻的 地区，信息的采集就更加困难。而各种传感器的出现，为我们提供了一些可以 降低人工统计工作量或者替代人工统计的相关设备。例如：利用压电传感器、 红外传感器、环形磁感应线圈等获取车辆信息等，但是这类设备安装复杂、使 用寿命短、识别准确率偏低、后期维护成本高等缺点一直制约着它们的应用范 围。 近些年，随着视频图像处理和模式识别技术的不断进步，基于计算机视觉的 智能监控和识别技术得到广泛的应用。采用计算机视觉技术进行智能监控识别 只需要在监控现场安装相应的监控摄像机，监控视频信号就可以有线或无线的 方式传输到远端监控中心，工作人员只需要在监控中心就可以同时对多个地方 的进行频图像进行实时监控，如果配合智能识别软件就可以实现无人工介入的 全自动运行，这样就使得在很多不便于工作人员到达地区的监控变得简单方便。 但在很多实际应用当中，由于需要完成的任务相对复杂，人工干预依然不可避 免。随着图像处理识别技术的进步和硬件性价比的大幅提高，出现了一些很有 实用价值的系统，基于计算机视觉系统的车流量和车辆类型信息的统计中能否 克服了各种环境干扰并长期稳定的工作成为了研究者十分关注的问题，由于采 用计算机视觉系统实时处理交通监控视频计算量大，识别算法不成熟也是制约 其发展的一个重要因素。不同车辆类型之间的高相似性( 如图1 1 所示) 和同一类 车辆之间的差异性( 如图1 - 2 所示) 也增大了基于计算机视觉的车流量和车辆类型 识别系统的设计难度，使得基于计算机视觉的车辆类型识别系统的研究一直处 在艰难前行当中，不过我们可以看到基于计算机视觉的车辆数量统计和类型识 别的研究依然具有重大意义和研究空间。 本文在总结分析和借鉴学习国内外众多研究机构有关研究成果的基础上， 首先简要回顾了基于计算机视觉的车辆类型识别分类的发展情况，而后，研究 分析了当前图像处理和模式识别中的有关技术和方法，尝试设计一种基于单目 视觉的运动车辆类型识别系统，该系统利用安装在高速公路或者国道监控点上 方的单个固定视频监控摄像机监视路面，通过设计相应的车流量统计和车辆类 型识别软件来实现对道路上行驶车辆进行分车道的数量统计和类型识别，并且 希望能将车型识别的种类细化n d , 型客车、大型客车、小型载重车、中型载重 车、大型载重车、拖挂载重车、拖拉机和摩托车八类，以期解决道路交通管理 2 基于单目视觉的运动车辆类型识别 中道路交通流量、车辆类型信息的自动获取问题。 膨 旷 4 大型客车 e ； 溪 b 大型载重车 d 小型客车 车辆的类间高相似性图示说明 a 大型载重车( 载重重量区分)b 大型载重车( 车辆长度区分) 图1 - 2 相同类型车辆类内的差异性图示说明 阪麟黪f ”献。f k 等重舅k 篇震糖 鞋蝮旷 武汉理工大学硕士学位论文 1 2 研究现状 车辆的分类识别与计数相关方面的研究经历了长时间的发展，但是，目前智 能交通系统中车辆类型识别仍然是国内外众多科研机构的重要研究课题，主要 是因为其依然存在很多现阶段无法解决的技术难点，例如：提取的车辆特征无 法有效描述不同类型车辆之间的差异等。从相关的研究进展来看，最早是2 0 世 纪8 0 年代由c a n d e r s o n 、p e t e rb u t t 和g v a nd c rw a l 提出的采用金字塔变换的 方式进行运动物体的变化检测和跟踪【1 1 ，到了2 0 世纪9 0 年代初c t o m a s 和 t k a n a d e 提出了从视频流中进行形状和运动检测的方法【2 】，此后出现了众多车辆 分类方面的研究【3 】【4 1 。9 0 年代后半期由美国卡内基梅隆大学的r o b e r t t c o l l i m 、 a l a nj l i p t o n 、t a k e ok a n a d e 等历时4 年主导研究的视频监控系统对此前的基于 计算机视觉的运动检测和跟踪识别研究进行了全面的总结，到了2 1 世纪初，随 着模式识别算法和计算机技术的快速发展，出现了功能更加丰富的车辆类型识 别系绀5 1 ，这些相关研【6 1 究期望从实时的道路监控视频录像中识别出小型车辆、 中型车辆和大型车辆。 在国外对基于计算机视觉的智能交通系统的研究要早于国内，并且已经取 得了一定的成果。在运动车辆检测方面m a r i e p i e r r ed u b u i s s o nj o l l y 和s r i d h a r l a k s h m a n a n 提出了一种从静态复杂背景视频流中使用三帧差的方法，进行运动 车辆目标检测【_ 7 】；a l a nj l i p t o n 提出了使用光流法进行静止摄像机监控的自然场 景的运动目标的检测方法【8 1 ；y 勰盯s h e i k h 和m u b a r a ks h a h 提出了一种动态场景中 使用贝叶斯建模的方法进行物体的检测【9 】，这种方法可以克服混合高斯模型方法 的不足，在自然场景中尤其是周围存在树木的晃动等情况下能够取得很好的效 果；。t a k e ok a n a d e 、r o b e r tt c o l l i n s 和a l a nj l i p t o n 提出了采用多传感器进行视 频监控的方法【1 0 i i 儿】，其中对运动物体的检测进行了系统的概述；g u p t es 、m a s o u d 0 、m a r t i nr f k 和p a p a n i k o l o p o u l o sn p 采用了自适应的背景更新的方法进行 运动车辆的检测【1 2 】：h i r o n o b uf u j i y o s h i 和a l a nj l i p t o n 提出了在自然动态场景中 对背景建模的方法来提取运动物体【1 3 l ；b u g u rt o r e y i n ，a e n i sc e t i n 等提出了在 小波变换压缩视频中提取运动物体的方法【1 4 1 。在车辆阴影处理方面j i e nk a t o 、 s e b a s f i e nj o g a 等提出了采用隐式马尔可夫模型的方法进行交通监控中车辆目标 的检测1 1 5 】，该方法通过对背景、前景和车辆阴影分别建立对应的隐式马尔可夫 模型，然后通过训练学习将其用到交通监控录像的分析当中，取得了不错的效 4 基于单目视觉的运动车辆类型识别 果，该方法在后来的研究中被广泛引用。在车辆遮挡方面e c o r v c e 、s v e l a s t i n 和g a j o n e s 在综合多种预测方案实现遮挡情况下目标跟踪中提出了结合了运 动区域块匹配与口一跟踪相结合的运动物体遮挡处理的方法0 6 1 ：c l e m e n t c h u n c h e o n gp a n g 、w i l l i a mw 缸l e u n gl a m 等提出了一种处理多车辆遮挡时车辆计数 方法【l7 】，该方法针对发生了车辆遮挡的运动区域目标分割出来后，找到表述当 前运动区域的关键点，然后建立多种情况的车辆外形可变模型，通过分解发生 车辆遮挡的运动区域来达到对多车辆的分割识别。在运动目标跟踪方面的研究 相对较多，其中：j i a n g u a n gl o u 、t i c n i ut a n 等提出的基于3 d 模型的车辆跟踪方 法l l 引，该方法通过对不同视角的车辆建立对应的车辆外形3 d 模型，在检测到车 辆目标时，然后通过匹配3 d 夕j 形模型进行车辆的跟踪，此外还有学者提出使用 增强型的3 d 模型进行目标跟踪【1 9 1 ；d o n g j mh a n 等人提出了采用3 d 曲线描述车 辆外形特征进行车辆跟踪【2 0 1 ；k a m i j os ，i k e u c h ik 等提出的基于马尔可夫随机场 的低角度前视图的车辆跟踪方法【2 l j ；其他关于运动车辆跟踪的还有采用时空流 图的方法1 2 2 1 1 矧、扩展转移网络的方法1 2 4 】；在车辆类型识别方面m a r i e p i e r r e d u b u i s s o nj o l l y 和s r i d h a rl a k s l u n a n a n 提出了一种从静态复杂背景视频流中进行 车辆类型识别的方法【7 l ，该方法采用了一种可变模板模型对运动车辆进行分割， 然后定义了这种类型车辆的外形变化关键点位置，提出了一种包含了车辆运动 信息和边缘方向的似然概率密度方程进行车辆类型的识别。后来g u p t e ，s 和 m a s o u d , o 提出了基于视觉的车辆分类【2 5 1 ，他们将车辆识别分成基于图像、图像 块和车辆三个级别，使用卡尔曼滤波对车辆的运动参数进行估计，使用矩形框 来模拟车辆外形，通过建立图像块和车辆之间的关联来识别运动车辆类型，该 方法对车辆的分类仅限于小型车、中型车和大型车，对于一些像外形大小差不 多的货车和客车仍无法进行准确的识别；在车辆类型识别方面还有很多学者提 出了参数模型的方法2 6 l 【2 7 j 【冽【矧。从以往的各种车流量和车辆类型识别的研究来 看，都多集中对不同外部几何形状的区分，并且很多方法实际应用难度相当大。 目前国内对车辆等运动目标的识别与分类的研究还多集中在运动检测与跟 踪方面，车辆类型识别方面的研究相对较少。在运动目标检测方面，万缨等对 运动目标检测方法进行了总结和概述1 3 0 l ：李刚等提出的利用背景差分法提取运 动目标的方法1 3 1 j ；王新增等人提出的基于自适应门限滤波的红外弱小运动目标 检测方法【3 2 l ；刘冰等人提出了序列图像中一种快速检测运动目标的方、法【3 3 1 ；王 哲等人提出了基于立体视觉的运动目标检测方法【3 4 l ；李泉富等人提出的基于背 武汉理工大学硕士学位论文 景差与帧间方块编码差值法的运动目标检测1 3 5 1 ；国内其他相关运动目标检测的 研究还有很纠3 6 l 【3 7 】【3 8 】【3 9 j 【柏】【4 1 1 f 4 2 】1 4 3 儿删；也有一些学者为这些较常见的运动目标 检测方法加入了新的观点，如齐美彬等人提出的基于三角核估计模型的运动目 标检测方法【4 5 】：代科学等人对基于背景差分方法进行目标检测的方法进行了总 结和分析】；宋胜利等人给出了一种联合图像分割与背景建模的运动目标检测 方澍4 7 l ；任明武等人提出了一种适用于复杂背景下的运动目标检测方法【4 射。在 运动目标跟踪方面曹丽等人给出了基于动态图像序列的运动目标跟踪方法嗍； 王长军等人给出了一种基于统计模型和活动轮廓的运动目标检测和跟踪方法 【5 0 l 。在运动目标的阴影消除方面王典等人给出了基于混合高斯模型得运动阴影 抑制方法l n 】。在对运动目标分析的研究主要有自动监控系统的研列5 2 】、动态场 景多目标综合检测分析得研刭”】，还有部分关于低照度下运动目标得识别研究 【5 4 】。对车辆类型的识别与分类的研究也出现了一些，主要有的是基于s v m 的车 辆类型识别1 5 5 1 ，支持向量机方法被看作是对传统学习分类方法的一个好的替代， 特别在小样本、非线性情况下，具有较好的泛化性能，该方法将采集到的视频图 像进行边缘检测获取监控区域中车辆特征，主要采用的特征就是车辆的长和宽， 将这些特征作为训练样本离线训练s v m 分类器，然后将测试车辆的特征数据作 为测试样本，让训练好的s v m 分类器对输入进行车辆类型的判别，虽然该方法 在有限的训练样本情况下有着较好的泛化能力，但是该方法并不能达到实际应 用的程度，对于不同类型中有高相似度的情况无法进行有效区分，只是为我们 在这一方面的研究提供了较好的参考。翟乃斌等介绍了一种在定观察角视频场 景内随机运动车辆的分类算澍5 6 l ，将待分类车辆在固定观察角下进行3 6 0 度旋 转，每隔一度计算该角度下投影图像的不变矩特征，形成了该类型车辆在固定 观察角下的训练曲线，然后对同观察角度场景内运动车辆的掩模进行特征提取， 将得到的特征与训练曲线进行匹配分类。 总之，现阶段基于计算机视觉的车辆运动检测识别所采用的设计方法依然是 通过单个或者多个视频监控摄像机将监控的道路实时视频信息传输到远端的计 算机终端，然后通过设计相应的图像处理和模式识别算法来对接受到的监控视 频数据进行分析，在对监控视频数据分析时常用的处理流程是先进行感兴趣区 域( r o i ) 分隔，检测到运动车辆目标，然后对运动车辆进行跟踪，最后根据提 取的车辆特征进行车辆类型的判定。在具体的车辆运动检测方面通常采用以下 几种方法：基于点的检测方法，如在特定的检测区域设置特殊分布的点，通 6 基丁单目视觉的运动车辆类型识别 过不断更新点的分布情况进行识别是否有车辆通过：基于线的检测方法，主 要是通过在检测区域有规律的设置检测线，通过这些线的特征变化来检测是否 有车辆通过，该方法的鲁棒性要高于基于点的检测方法；基于局部区域或者 整幅图像的面检测方法，这一类检测方法主要分为两类，一类是有学习过程的 检测方法，在进行检测之前首先要让系统对监测区域的环境参数进行学习，以 便得到更多的信息，用来提高检测的准确率；另一类是无学习过程的检测方法， 这一类车辆检测系统在进行车辆检测之前不需要进行训练学习，主要通过在某 一段很短时间内的视频监控图像信息来综合判断是否有车辆存在，此类方法适 应环境能力强，但在总体的检测精度上要稍稍逊色。些。而在车辆类型识别方 面常被采用的方法有：使用运动车辆外部形状的几何特征、纹理特征、不变 矩和运动特征等设计分类器的方法；基于车辆模板匹配的方法，这类方法中 比较早采用得有基于豪斯道夫距离的模版匹配方法；基于车辆外形的3 d 模型 重建的方法，这一类方法在系统进行识别之前，先对各种类型的车辆建立相应 的3 d 模型。 以上所描述的识别方法或者系统中存在的缺陷主要包含以下几个方面： ( 1 ) 基于计算机视觉的系统主要采用c c d 摄像机来获取信息，因此在应 用的现场要求有较好的光照环境，如在阴雨雪天气或者夜间光照条件较差的情 况下由于摄像机传输到终端的视频数据不能够提供有效的信息，因此这一类系 统有可能会失去作用； ( 2 ) 摄像机安装的实际应用环境多在相对偏僻的或者周围环境比较复杂 的道路上，经常会有各种环境噪声或者其它干扰影响系统运行的精度，例如： 道路两旁的树木晃动，行人或者牲畜穿越监控区域等； ( 3 了由于接受到的视频数据量大，计算机硬件性能的制约也严重影响这 一类系统的应用，在监控图像处理常常要面对大量的运算，现今发表的相当一 部分研究中提到的方法仍然处于研究阶段，离实际应用仍有很大的距离： ( 4 ) 在车流量较为密集的区域，现有的基于计算机视觉的车辆分类系统 由于无法较好的解决多个车辆之间的相互遮挡问题，容易误将多辆相互遮挡的 车辆识别错误，导致系统精度的下降； ( 5 ) 随着对统计数据精度要求的提高，车辆类型准确分类的需求不断凸 显。由于现今不同类型车辆之间的高相似性和同一类车辆之间的差异性，使得 现有的基于计算机视觉的车辆类型识别系统难以做到多类型的车辆区分，分类 7 武汉理工大学硕士学位论文 的种类较为单一也是其严重的一个缺陷。如何设计相应的识别算法来消除或削 弱相应缺陷也就成为了本文研究的重点。 1 3 研究创新 在学习和总结车辆类型识别众多研究成果的基础上，本文针对当前基于计算 机视觉的车辆类型识别分类系统中存在不足，提出了一些自己的观点和相应的 识别算法，用来提高车辆类型识别与分类系统的准确率和对环境的适应能力， 主要体现在以下五个方面： 1 、目前，采用直接从监控视频图像进行车辆检测分析时，存在监控图像中 车辆外形畸变和外界环境噪声多的问题，针对该问题，本文提出了一种基于极 面图像的监测识别方法，该方法通过针对各种环境的监控区域，提取局部路面 图像，将原始的全局监控图像映射到一幅极面图像上，有效地避开了全天不同 时刻各种复杂环境噪声的干扰，同时在要求苛刻的分车道细化监测识别系统中 简化了对不同车道的建模过程，通过映射变换，有效地矫正了采用单个摄像机 监测造成的同一大小物体在监控画面中不同距离所造成的外形显示比例畸变问 题。 2 、在交通管理相对薄弱的道路区域，行人或者牲畜通过监控区域会干扰和 影响识别系统的精度，针对此问题，本文提出了一种基于双极面图的运动行为 分析，从检测到的运动物体的运动速度、外形特征、纹理特征和极面图检测的 运动目标外形特征进行综合判定，有效地区分出检测到的运动目标是否是行驶 的车辆，在一定程度上提高了系统的检测识别精度。 3 、针对现今车辆分类识别中的一个重要难题车辆遮挡的判断识别问题， 本文提出了一种基于运动统计行的检测方法，通过在运动速度经过矫正后的极 面图像上提取运动统计行，并实时更新运动统计行，将运动统计行生成的变化 曲线与事先生成的不同类型的车辆运动统计模版进行比较，分离出多个遮挡的 运动车辆。 4 、针对不同类型车辆之间的高相似性导致的无法有效识别出准确类型的问 题，本文中提出了一种包含了车辆在行驶过程中运动变化信息的运动统计模版， 设计了一种基于模糊约束满足的车辆类型识别算法，在一定程度上解决了这一 类问题，有效地扩大了系统识别车辆的种类，扩大了系统的应用范围。 。 8 基于单目视觉的运动车辆类型识别 5 、针对在夜间或者阴雨天气光照比较差的环境下，无法准确地从极面图像 上提取车辆的外形和运动变化信息的问题，本文提出了一种加入了车辆灯光的 预识别过程，通过利用小型车和大型车辆之间在行驶过程中灯光的分布和强弱 信息，对车辆类型进行预判断，调整模糊约束问题识别算法中的隶属函数参数， 使得系统在夜间不用夕l - j n 照明设备的情况下，有效地提高系统的识别准确率， 使得系统的工作环境适应能力更强，降低了设备的安装难度，达到了全天候工 作的要求。 以上提出的创新点在实际的应用中经过反复试验，实际证明了它们的有效 性，在一定程度上解决和弥补了现今的基于计算机视觉的车辆类型识别与分类 系统的不足。本文提出的基于单目视觉的运动车辆识别分类方法，可以有效地 对车辆类型和数量进行统计，比以往的识别系统有了明显的进步，可以稳定地 进行全天2 4 小时运行，该系统立足于智能交通行业的信息化建设，致力于为我 国的交通事业的发展提供先进、优越的信息化解决方案。 1 4 本章小结 本章首先简要阐述了我国道路交通快速发展对智能交通中车辆类型识别与 分类系统的迫切需求；同时，详细论述了目前国内外针对车辆类型识别和分类 所采用的检测理论和方法，并对近年来车辆类型识别与分类的相关研究进行了 总结，分析了现有方法存在的问题和不足。之后，分别从五个方面提出了自己 在车辆类型识别与分类算法研究中的创新点。在后续的章节中，将按照基于计 算机视觉的车辆类型识别与分类系统构建的不同阶段，详细说明其实现的过程。 9 武汉理工大学硕士学位论文 第2 章运动车辆目标检测 2 1 运动目标检测 在智能交通车辆类型识别的过程中，如何有效地检测和分割出运动的车辆目 标是至关重要的。运动车辆目标检测是实现车辆目标跟踪、交通监控、车辆行 为分析等任务的基础。运动目标的分割是后期工作的前提，运动的车辆目标检 测和分割的好坏也直接影响着接下来的车辆的跟踪和特征的提取。但由于运动 车辆目标的提取易受到背景、光线变化、阴影、运动速度等因素的影响而导致 运动车辆目标提取失败，所以如何更好的实现运动目标检测具有重要的意义。 现在常用的运动车辆目标的分割方法主要有背景差分法、块匹配法和帧间差分 法等，本章将对这些方法进行分别论述和分析，并提出相应的改进方法。 2 1 1 背景差分法 背景差分提取运动目标的方法最早是由w r e n 等人 s t i 于1 9 9 7 年提出的，该 方法首先得到道路上没有车辆通过的时候提取视频中的一帧图像作为背景，或 者是给系统一个学习背景的过程，通过学习算法得到相应的不包含运动车辆的 监控区域的背景。当道路上存车辆通过的时候，使用当前视频图像帧与事先学 习得到的背景图像f 5 8 i 进行相减的运算，这样由于不包含运动车辆的区域的像素 灰度值与背景对应区域的灰度值相等或很相似，而包含车辆的区域像素的灰度 值与背景图像对应区域的灰度值有较大的差别，相减运算之后，就可以得到当 前帧与背景图像之间的一个差值图像。 现今经常被研究者采用的背景差分的方法具体描述如下：首先进行背景重 建，由于安装在道路监控区域的摄像机是固定，背景变化缓慢，因此可以利用 图像序列中的多帧图像逐渐恢复出背景图像( 如图2 - l 所示) 。其恢复的基本原理 是：对监控道路得到的图像上每一个像素进行判断，如果在较长时间内该点像 素的灰度值没有发生明显变化，则认为该点象素的当前灰度值属于背景区域， 将该象素灰度值复制到背景缓冲区，否则该点像素的灰度值就属于运动目标， 1 0 基于单目视话的运动车辆类型识别 不属于背景区域。由于光照变化以及车辆阴影等多种因素的影响，采用这种方 法恢复出来的背景图像存在着较大噪声，在实际的应用场景中受到这样或那样 的限制。在后来不断的改进过程中，一种对原始的监控视频采集到的图像先进 行梯度二值化处理，然后再进行背景重建，经过实验验证这样可以有效的减小 阴影的干扰，加快背景重建速度。不过这种先经过二值化后的背景重建方法， 适用于在车辆识别过程中只利用车辆边缘纹理和外形大小信息的系统，而要在 获取其它特征信息就不太容易。对图像进行二值化处理后得到背景边界图像后， 冉利用帧差法虽然可以分割运动车辆目标，但是却存在一个无法消除的问题， 即：如果运动车辆目标的边界和背景边界发生重合的时，进行做差运算会将相 减之后运动车辆目标错误的判定为背景区域。 图2 - 1 原始监控视频画面 为了能够得到较好的背景图像，目前比较流行的方法是建立一个单分布的高 斯背景模型d 9 l ( 如图2 - 2 所示) ，单分布的高斯背景模型认为，对于一幅背景图 像特定像素的灰度值分布满足高斯分布，即对背景图像b ，坐标位置为伍力的点 的灰度值满足： ，鼬n(u，d)(2-1) 从上式中可以看到背景模型中的每个像素包含了两个参数，一个是平均值 “，另一个是方差d 。对于一幅图像g ，如果其中某个点( 毛y ) 满足： e x p ( - - ( i g ( x , ，一u ( x ，y 2 ( 2 x d 2 ) ) t ( 2 - 2 ) 则我们认为该点属于背景点，否则认为是前景运动目标。同时采用了单分布的 武汉理工大学硕士学位论文 高斯背景模型产生的背景图像会随着时间的变化，对应的每个点的灰度值也会 发生缓慢的变化，这样就需要不断的更新每个像素点的参数，具体更新的方法 如下式所示 虬+ l ( t ，) = a x u , ( x ，y ) + 0 一日) ，( y ) ( 2 。3 ) 卜式中n 被称为更新速率参数，表示的式背景变化的快慢，在实际的研究 过程中发现，d 的取值为o6 4 时效果可以达到最好。 嘱 二鎏 图2 - 2 单分布高斯模型生成的背景图像 在实际应用当中背景差分方法被发现存在很多不足之处，主要体现在以 下几个方面： ( 1 ) 背景图像的生成要求系统在启动时有相当一段时间的初始化过程； ( 2 ) 随着时间的变化外界光照也会不断变化，单一的背景无法满足系统的 要求每间隔一段时间就需要重新生成一幅新的背景图像，这样就严重的加重 了系统的运算量； ( 3 ) 出现阴雨天气，系统的使用受到极大的限制，有时甚至出现系统失效 的情况： ( 4 ) 设备受到较大的外力干扰时，系统的输出结果会出现较大偏差。 2 12 帧间差分法 帧闻差分的方法6 0 l 最早是由a n d c r s o n 等人在1 9 8 5 年提出的，帧闯差分由于 适应动态环境能力强，在很长一段时间内被广泛应用。帧间差分的运动目标提 取方法与背景差分的方法有许多相似的地方，但也有很大的不同。最大的差别 鬻 基于单目视觉的运动车辆类型识别 之处在于：帧间差分的方法检测运动目标不用在系统运行过程中花费大量的时 间去学习或估计得到一个没有运动目标的背景图像，该方法不需要事先去得到 道路监测区域无车辆通过时的背景图像，这在一定程度1 - + 力n 快车辆类型识别与 分类系统的启动处理速度，消除了环境变化对系统的影响；相同之处是帧间差 分的方法也是两幅图像做差分运算，常见的帧间差分提取运动目标的方法有两 帧差和三帧差。 两帧差的方法提取运动车辆目标的方法具体如下：在摄像机拍摄的连续的车 辆监控视频中，取任意时刻连续的两帧图像z l 、z 2 ，其对应的时间分别为t j t 2 ， 如果监控视频的序列帧率为3 0 帧秒，则t 2 t j = 1 3 0 s ，如果监控视频在白天光照 较好的情况下采集的是r g b 彩色图像，先将彩色图像转为灰度图像，然后对灰 度图像做高斯滤波，假使某一时刻的图像帧是厶，则对应这一时刻的两帧差方法 得到的差值图像为厶= 五， 厶，为当前帧前一时刻的图像。两帧差的方法能够简 单快速地检测出相邻两帧图像中的运动物体，但是该方法有着不能克服的缺点， 即：如果当前帧或者是上一帧图像由于某种不能预见的干扰导致了外界光照发 生了明显的变化，就会出现检测到整幅图像都是运动目标，发生这种情况就会 对后续的车辆特征提取与车辆跟踪产生严重错误。 图2 - 3 两帧差方法得到的运动车辆掩模事例( 形成的检测边缘轮廓) 三帧差的方法提取运动车辆目标在克服了两帧差在大的外界干扰下会出现 大的检测失效的前提下，存在自身独有的优点。具体实现方法如下： 武汉理工大学硕士学位论文 在个连续的车辆视频序列中，任意时刻包含有运动车辆的连续的三帧图像 z = ( z l 、z ：a a d z ，) ，其对应的时间分别为、f 2 、乞，如果视频序列的帧率为3 0 帧秒，则岛一岛= 乞- t , = l 3 0 s ，每帧图像使用3 x 3 的均值模版进行平滑，得到 平滑后的图像z i 、z ：、z 3 ，定义三帧差的差值图像为 d ( i ，) = iz ，( j ，) 一z ；o ，歹) i iz ；0 ，歹) 一z ；( f ，) l ( 2 4 ) 这样如果在连续的三帧图像中位置( i ，) 处没有明显的灰度变化，则d ( i ，) 在( i ，j ，) 位置上的灰度值就很小，在三帧差的差值图像上灰度值突出的主要集中 在运动物体的边缘上。对得到的三帧差差值图像进行二值化，通过选取合适的 阂值就可以得到输入图像序列的运动目标。二值化后的图像口定义为： 咖) 吨徊( f ，少托( f ，。三篡屯。g “d 化。倍5 ， 其中：g 是任意一个全连通区域。二值化后的阈值图像n 用来生成一个运 动掩模m ，如果在图像中对应的( f ，) 位置的属于运动的物体则m ( f ，) = l ，否 则m ( ，) = 0 。然后对膨进行形态学的运算，去除一些孤立的点，并使用闭运 算填充连通区域中的空洞。图2