（交通信息工程及控制专业论文）基于视频跟踪的交通事件检测技术研究.pdf

摘要 本文分析了交通事件自动检测技术存在的主要问题，研究了基于视频跟踪的交通事 件检测系统中的关键技术，在此基础上提出了基于目标运动轨迹分析的交通事件检测方 法。针对摄像机采集的交通视频图像，主要对所涉及的图像二值化分割、目标跟踪和轨 迹提取以及交通事件检测相关技术做了分析和研究。 在图像二值化分割过程中，采用了改进的多帧图像平均法的背景提取方法，并提出 基于块的二值化方法，该方法把图像分成若干互不重叠的子块，通过计算前景和背景的 每个子块内像素的均值和方差，以块为单位对图像进行二值化分割。 本文采用基于目标角点的块匹配跟踪方法，用基于s o b e l 边缘检测算子的角点检测 算法提取目标角点，以目标角点所在块为模板采用全搜索的匹配方法得到目标的运动轨 迹。在轨迹处理中，提出基于弦长和弧长关系的伪轨迹处理方法，得到合理的运动轨迹。 通过研究分析目标的运动轨迹，给出了目标运动方向的计算方法。结合交通事件的 轨迹、速度特点，给出了车辆慢行、超速、逆行、变道等交通事件的检测方法。在行人 和停车事件检测中，文中提出基于速度与目标外接矩形面积大小相结合的检测方法。 文中提出的算法在不同的交通场景中进行了实验，实验结果证明，算法对目标遮挡、 粘连等有较强的适应性，计算量相对较小，满足了实时跟踪的要求，给出的事件检测算 法能够准确的检测出车辆的异常行为，并实现事件的自动报警。 关键词：交通事件检测，块匹配，角点提取，运动轨迹，二值化，背景提取 a b s t r a c t t h i sp a p e ra n a l y s e st h em a j o rp r o b l e m so fa u t o m a t i cd e t e c t i o nt e c h n i q u e so ft r a f f i c e v e n t s ，a n ds t u d i e st h ek e yt e c h n i q u eo ft r a f f i ce v e n t sd e t e c t i o ns y s t e mb a s e do nv i d e o t r a c k i n g ，t h e np r o p o s e sat r a f j f i ce v e n t sd e t e c t i o nm e t h o db a s e do nt h ea n a l y s i so ft a r g e t t r a j e c t o r i e s w i 也t r a f f i cv i d e oi m a g e sc a p t u r e db yc a m e r a s ，b i n a r ys e g m e n t a t i o n , t a r g e t t r a c k i n g ，t r a j e c t o r ye x t r a c t i o na n do t h e re v e n t sd e t e c t i o nr e l e v a n tt e c h n i q u e sa r ea n a l y z e da n d s t u d i e d d u r i n gt h ep r o c e d u r eo fb i n a r ys e g m e n t a t i o n , a ni m p r o v e dm u l t i - f r a m ei m a g ea v e r a g e m e t h o di sa p p l i e d ，a n dab l o c k - b a s e db i n a r i z a t i o nm e t h o di sp r o p o s e d , w h i c hd i v i d e sa n i m a g ei n t os e v e r a lu n o v e d a p p e db l o c k sa n db i n a r i z e sa n ds e g m e n t st h ei m a g eb l o c kb yb l o c k b yc o m p u t i n gt h ea v e r a g ea n dt h ev a r i a n c eo ft h ep i x e l si ne a c hs u b - b l o c k a t r a c k i n gm e t h o du s i n gb l o c km a t c h i n g ，w h i c hi sb a s e do nt a r g e tc o m e r s ，i su s e di nt h i s p a p e r ac o m e rd e t e c t i o na l g o r i t h mb a s e do nt h es o b e le d g ed e t e c t i o no p e r a t o ri su s e dt o e x t r a c tt a r g e tc o m e r s ，a n dt a r g e tt r a j e c t o r i e sa r eo b t a i n e db yu s i n gaf u l l - s e a r c hm a t c h i n g m e t h o dw i t ht h eb l o c ki nw h i c ht a r g e tc o m e r se x i s ta st h et e m p l a t e ap s e u d o t r a j e c t o r y p r o c e s s i n gm e t h o db a s e do nt h er e l a t i o n s h i pb e t w e e nc h o r dl e n g t h sa n da r cl e n g t h s i s p r o p o s e dt oo b t a i nr e a s o n a b l et r a j e c t o r i e s am e t h o df o ro b t a i n i n gt h et a r g e tm o v i n gd i r e c t i o n si sp r e s e n t e da f t e rs t u d y i n ga n d a n a l y z i n gt a r g e tt r a j e c t o r i e s a c c o r d i n gt ot h ec h a r a c t e r i s t i c so f t r a f f i ce v e n tt r a j e c t o r i e sa n d v e h i c l es p e e d s ，ad e t e c t i o nm e t h o df o rl o wv e h i c l es p e e d ，s p e e d i n g ，r e t r o g r a d a t i o n , l a n e c h a n g ea n do t h e rt r a f f i ce v e n ti sp r e s e n t e d a n dad e t e c t i o nm e t h o db a s e do ns p e e d sa n d b o u n d i n gr e c t a n g u l a ra r e a si sp r o p o s e df o rp e d e s t r i a na n dp a r k i n ge v e n t sd e t e c t i o n t h ep r e s e n t e da l g o r i t h mw a st e s t e di nd i f f e r e n tt r a f f i cs c e n a r i o s e x p e r i m e n tr e s u l t ss h o w t h a tt h i sa l g o r i t h mh a sg r e a ta d a p t a b i l i t yt oo c c l u s i o na n da d h e s i o no nt a r g e t s ，a n di t s r e l a t i v e l yl o wc o m p u t a t i o ns a t i s f i e st h er e q u i r e m e n tf o rr e a l t i m et r a c k i n g t h ep r o p o s e d e v e n t sd e t e c t i o na l g o r i t h mc a nc o r r e c t l yd e t e c ta b n o r m a lv e h i c l eb e h a v i o r sa n dr e a l i z et h e a u t o m a t i ci n c i d e n ta l a r ma sw e l l k e yw o r d s ：t r a 伍ce v e n td e t e c t i o n , b l o c km a t c h i n g ，c o m e re x t r a c t i o n , t r a j e c t o r y , b i n a r i z a t i o n , b a c k g r o u n de x t r a c t i o n 长安大学硕士学位论文 第一章绪论 目前，我国的高速公路基本上都已经建设了交通监控中心，对缓解道路拥堵、减少 交通事故起到了巨大作用。随着我国高速公路建设的高速发展，道路监控规模迅速扩大， 依靠人工通过交通监控中心的监控系统来检测道路上车辆运行状况的方式，已经很难满 足目前日益复杂的交通管理的需要。因此一种实时、准确、高效、智能的交通管理系统 的出现迫在眉睫。基于视频交通事件自动检测是实现交通管理智能化、交通事件实时检 测和预防、缓解交通拥堵的有效措施之一。本文主要对基于视频跟踪的交通事件检测技 术展开研究。 1 1 课题研究背景和意义 交通事件的自动检测因其能够有效的预测交通事件的发生，并可以对已经发生的交 通事件做出迅速的反应，受到研究人员的广泛关注。自从2 0 世纪6 0 年代陆续出现了一 些交通异常事件检测方法和技术，如环形线圈、微波、红外线视频、数字视频、超声波 等。目前常用的主要有以下几种： 环形线圈检测：其包括环形线圈、传输线、检测处理单元及背板框架等，是一种路 面接触式的交通信息检测技术。环形线圈检测技术目前已经发展的很成熟，因其具有检 测精度高、设备稳定、不受外界天气影响全天候工作、易于掌握等优点得到广泛的应用。 但是，由于环形线圈需要埋设在路基下，该技术的使用有其固有的缺点：首先可扩展性 差，安装维护时必须中断交通、破坏路面；其次随着出行车辆的增多，车辆对道路的挤 压导致这类检测装置的使用寿命越来越短；另外随着道路建设的不断发展，各种复杂环 境下的道路日益增多，如沿海道路软基、盐碱和冰冻等也限制了这种检测技术的使用， 另外该检测技术不适宜隧道、桥梁、城市交通等交通环境，实际使用中常常需要可视的 检测手段作为辅助。 微波检测：微波检测技术是根据车辆经过检测区域时引起的电磁波的返回时间或频 率的变化进行检测，有着恶劣气候条件下性能出色，可全天候工作，可检测静止的车辆， 可以同时检测多车道，安装维护方便等优点。但也有他自身的缺点：缺少直观性，对于 出现的一些排队、堵塞等交通异常事件需要通过视频监控系统进一步确认，而且检测设 备的维护和管理费用相对较高。 数字视频检测：数字视频检测技术具有检测区域大、信息量大、功能多的特点。与 第一章绪论 其他检测技术相比，其具有以下优点：安装维护方便，不需要破坏路面，施工时基本不 影响交通；摄像机设置方便、灵活；可以同时对多车道的车流量、占有率、平均车速、 车型等交通信息进行检测和统计；可以实时进行各种交通异常事件，如超速、慢行、逆 行、闯红灯、拥堵等检测和报警。但是该检测技术依赖于前端摄像机采集图像的质量效 果，因此检测效果容易受到周围环境的影响，如光线变化，雨、雪、大雾等恶劣天气， 对检测效果影响比较大；并且对于阴影、遮挡问题比较敏感，昼夜转换时光线变化较快， 也可能会影响检测效果【l 棚。 以上是目前国内外常用的几种交通信息检测技术，每种技术都有其优点和不足，其 中基于环形线圈的检测技术目前市场占有率较高，技术比较成熟。但根据目前的交通管 理、营运部门的需求来看，对路基无破损、实施方便灵活的视频检测技术越来越受欢迎。 目前的新建项目越来越多地采用安装、维护不需破坏路基、检测区域大、实施方便灵活 的基于视频的交通信息检测技术。 鉴于以上技术发展背景，本文提出基于视频跟踪的交通事件检测技术的研究，采用 一种快速有效的检测方法实现对交通异常事件的检测和快速反应。以图像理解为基础的 视频交通事件检测系统是交通视频监控系统中的一个重要子系统，它包括了信息检测、 信息分析与处理、判断、执行等几个环节，为交通监控系统提供了直观、方便的分析手 段，实现了管理者对交通情况的可视化管理。 交通视频监控系统利用计算机代替传统的人工监控完成监控任务，即由计算机系统 负责自动完成运动车辆的检测、跟踪、分类以及行为理解，并维护图像序列数据库。当 发生交通异常事件，如逆行、超速、变道以及交通堵塞等，完成自动抓拍，记录当时的 有关视频信息，并将其存储在数据库中，同时将相关图像信息传送到监控中心，供有关 人员及时掌握道路运行情况，迅速制定调控措施。从而，加强了车辆、道路、使用者三 者之间的联系，形成实时、准确、高效的综合监控系统，并最终使交通运输服务和管理 智能化，使路网上的交通流运行处于最佳状态，最大限度地提高路网的通行能力，提高 整个公路运输系统的机动性、安全性和高效性 7 , 8 1 。 本文研究的基于视频跟踪的交通事件检测技术是交通视频监控系统的具体应用。该 技术利用现有的网络设备资源，有效的提升了道路交通的智能化管理水平：首先可实时 发现交通异常事件并及时做出相应的处理，可以最大程度的避免二次事故的发生；其次 减少工作人员的工作量，使工作人员更有效率的应对和完成工作，提高总体的工作效率， 还可以减员增效，大大降低人员的成本的支出；另外管理层可以通过统计交通事件的数 2 长安大学硕士学位论文 据，制定出相应的交通政策和措施，以提高整体的运营水平。 1 2 国内外发展状况及存在的问题 基于视频的交通监控技术的研究与应用，随着数字图象技术、计算机技术、模式识 别技术的发展越来越被人们所重视，近年来已经成为图像处理、智能交通等研究领域的 一个热点。 在国外，许多大学、研究机构和企业投入了大量的人力、物力进行研究。如在美国 联邦公路管理局的资助下，加州j e tp r o p u l s i o n 实验室于1 9 7 8 年开始尝试使用视频技术 来检测车辆的运行，并取得了初步的进展；美国明尼苏达大学研制开发并逐渐发展壮大 的a u t o s c o p 系列交通视频检测系统，性能较好，应用比较广泛；日本东京大学生产 技术研究所研究开发的基于视频图像的高速公路和隧道内的交通事故自动监控系统；新 加坡从1 9 9 8 年开始实施的高速公路监控及信息诱导系统( e x p r e s s w a y m o n i t o r i n g & a d v i s o r ys y s t e m ，e m a s ) ，其中的车辆检测系统和事故自动检测系统都是基 于视频检测和图像处理技术；法国的c i t i l o g 公司近几年推出的一种基于车辆跟踪的交通 信息分析系统，研发的动态图像背景自适应技术和车辆图像跟踪技术，消除了光线，雨 雪，灰尘对系统的影响，可以实现实时的交通参数和交通事件的自动检测，辅助交通控 制等，该系统在世界范围得到了广泛的认可，并已开始在我国推广 9 1 。 在我国，虽然起步晚，但随着国家对智能交通的建设越来越重视，传统环形线圈检 测设备安装维护的种种缺陷，高速公路管理信息化、智能化的目标和国外视频检测产品 的推进，迫使国内的交通管理者和智能交通企业开始越来越重视视频检测技术的应用与 推广。许多公司结合科研院所也研发了自己的交通信息视频检测产品，如清华紫光与清 华大学合作开发的新一代视频交通流检测系统v s 3 0 0 1 ；厦门恒深智能软件系统有限公 司推出的智能交通视频图像处理系统；哈尔滨工业大学的v t d 2 0 0 0 系列视频交通动态 信息采集系统；北京宇航时代科技发展有限公司的时代一号交通事件检测系统；亚洲视 觉公司的路段交通信息检测系统等。这些产品虽说也较好的实现了视频检测的功能，但 大多数产品功能比较单一，在实际推广过程中效果并不理想，同国外的产品还有相当大 的差距。因此，我们必须借鉴国外已有的相关技术，开发出适合我国交通特点的拥有自 主产权的视频交通分析系统的技术和产品，以改变对国外技术的依赖，真正推出适合于 我国实际交通状况的视频检测产品。 从目前国内外相关技术的研究发展情况可以发现，快速有效的视频图像目标分割及 第一章绪论 跟踪是解决交通参数与事件检测问题的关键。目前，在运动目标检测和跟踪过程中遇到 的主要难点有： ( 1 ) 图像中运动目标的分割缺乏自适应性。目标分割是图像分析领域目前公认的 一个较大的难题。交通视频图像中，运动目标的分割基本上是基于对连续视频图像序列 的分析，然而，实际场景中的恶劣天气( 如雨、雪、大雾等) 、道路周围树木、花草的 随风摇动以及目标间的互相遮挡、粘连等因素使得目标准确检测变得非常困难。目前的 运动目标的检测方法主要有：光流法、帧间差分法、背景差分法。虽然每一种方法都有 各自的优点，但是却没有一种方法能在任何复杂的环境下将目标快速、准确的分割出来。 ( 2 )目标跟踪实时性和精度差。目前常用的跟踪方法有模板匹配法、m e n s h i f t 跟踪法、粒子滤波跟踪法。以上几种方法都依赖于模板的选择，当目标互相粘连或者是 分裂时会降低跟踪精度，而且由于目标所处图像位置的不同模板有所不同也会降低跟踪 的精度。由于算法计算复杂，很难达到实时跟踪的效果。 1 3 本文的主要内容和工作安排 本文以现有的道路监控摄像机采集的视频图像为实验对象，通过对图像二值化分割 得到图像目标区域，以目标角点所在的块为模板进行匹配跟踪得到目标运动轨迹，并通 过对运动轨迹的分析处理，实现对交通事件，如逆行事件、慢行事件、超速事件、变道 事件、行人事件、停车事件等的自动快速检测，实现系统自动报警。本文的系统工作流 程如下图： 4 长安大学硕士学位论文 图1 1 本文主要工作流程图 为了给系统工作提供所需的数据，提高系统的运行速度，需要初始化系统的参数设 置，如路面参数、事件阈值参数、车道线和检测区域参数等。路面参数主要是道路的通 行方向和摄像机视场的监控范围，该参数的设置是为后面的目标运动方向和实际行驶速 度计算提供数据；车道线设置是标识出道路车道线位置，为系统确定事故位置和变道事 件等检测提供数据；检测区域设置是设置系统的检测范围，去除不必要区域的计算，提 高计算速度，同时屏蔽路边花、草、树木随风摇动以及无关车道对检测精度的影响。 本文的主要工作安排： 第二章监控图像二值化分割。介绍目前常用的几种分割方法，并采用一种改进的 平均法的背景提取算法提取背景，并采用自适应的背景更新方法对背景进行更新，通过 对差分图像的以块为单位进行二值化检测出图像中的目标区域。 第三章目标跟踪和轨迹提取。介绍几种常用跟踪方法，采用基于目标角点的块匹 配的目标跟踪方法，以目标角点所在的图像块为模板块，采用全搜索的方法利用s a d 第一章绪论 匹配准则在搜索窗口内进行滑动匹配，得到目标运动轨迹。在轨迹处理过程中，提出了 一种利用轨迹弦长和弧长之间的关系的伪轨迹处理方法，得到较好的运动轨迹，为后续 轨迹分析、事件检测做好准备。 第四章基于轨迹分析交通事件检测。通过对目标运动轨迹的分析，给出目标运动 方向的计算方法，并采用基于像素实际距离映射的视频测速算法，得到目标的实际行 驶速度。结合交通事件的轨迹、速度特点，提出车辆慢行、超速、逆行、变道事件的检 测方法。 第五章停车和行人事件检测。结合目标行驶速度，提出一种通过计算目标最小外 接矩形面积的方法确定目标的类型，从而确定事件类型的检测方法来检测停车和行人事 件。 总结与展望。总结本文所做主要工作，展望以后工作内容。 6 长安大学硕士学位论文 第二章交通监控图像二值化分割 在视频图像的研究应用过程中，我们感兴趣的往往是图像中的一部分区域，通常将 这部分区域称之为前景( 其余部分称之为背景) 。在实际应用过程中，需要将感兴趣的 前景从复杂的图像信息中区别出来，即从视频序列图像中将前景与背景区别开，即对图 像进行二值化分割。图像二值化分割的准确性和实时性是整个基于视频跟踪的事件检测 系统的基础，只有准确、实时的检测出前景，才可以实现对目标的跟踪，为后续的研究 工作提供基础数据。尤其是在复杂场景中，需要对多个不同的目标同时进行实时跟踪处 理时，前景的准确检测就显得特别重要【l o j 。 前景图像的有效分割是整个目标跟踪、事件检测系统的关键步骤，后面章节的内容 都是建立在图像中前景的正确、可靠的分割基础上的。因而，在整个研究过程中，图像 二值化分割结果的好坏对后面工作有着直接影响，是整个后期工作成果的关键。 然而，由于图像的复杂变化，如天气、光照、阴影以及其他外在条件的干扰，给检 测工作带来了很大的难度。同时，运动场景中多目标的粘连、互相遮挡等问题也使得整 个分割过程变得复杂而具有挑战性。本章的主要工作就是选择一种合理有效的图像分割 算法，尽可能的消除外在环境的影响，实时、准确检测出图像的目标。 一帧图像中包含有前景、背景和噪声，怎样从复杂的图像信息中将前景图像准确的 分割出来是本章的主要工作内容。目前常用的将前景与背景图像区分开的方法主要有帧 间差分法和背景差分法。本文采用背景差分的方法进行分割，在背景提取过程中，采用 了一种改进的平均法的背景提取方法，利用自适应的背景更新方法对背景进行更新，并 利用基于块的二值化方法以块为单位进行图像二值化，为后面工作提供基础数据。 2 1 常用分割方法 前景的准确检测是目标跟踪和事件检测的基础。目前视频监控系统中常用的前景分 割算法主要有：帧间差分法和背景差分法。 2 1 1 帧间差分法 帧间差分法是根据连续的视频图像序列中，相邻的两帧或者是几帧图像之间具有很 强的相关性而提出的一种分割方法【1 3 , 1 4 , 1 5 】。 帧间差分法的算法过程是在连续的视频图像序列中，通过基于像素在相邻两帧或几 7 第二章交通监控图像二值化分割 帧间的灰度差分，进行阈值化得出不同两帧之间图像的差别，从而将图像中前景运动区 域提取出来1 2 1 ，公式如下： 巧( w ) ：l 协y ) 矿k 1 ( 训) 一协y ) i 丁 ( 2 1 ) l 0o t h e r s 其中：d f ( x ，y ) 表示帧间差分图像，厶( x ，y ) 表示第k 帧图像中( x ，y ) 位置处像素灰 度值，丁表示分割阈值。 常用的是两帧差分的方法，它直接利用公式( 2 1 ) 来提取前景运动物体，但是该技术 会把部分背景( 在前一帧中该位置为前景区域，而在当前帧中却为背景区域) 误判为前 景。因此，后来人们又提出了一种多帧差分法，即公式( 2 1 ) 中取间隔一帧或几帧的图 像进行计算。 2 1 2 背景差分法 背景差分法一般适用于摄像机静止的情况，或自然环境变化缓慢的情况。其最简单 的实现算法是从视频序列中预先提取一帧不含前景物体的图像作为背景，然后利用当前 帧图像与背景图像的差分来检测运动区域，这种差分法对于复杂背景下的运动物体检测 效果较好，一般能够提供最完整的特征数据，计算量小，实用价值大。但是这种方法对 于环境的变化，如光照、雨、雪和外来无关事件的干扰等特别敏感，因此需要采用一定 的算法进行背景模型的实时动态更新【1 6 - 1 9 1 。 在基于视频跟踪的交通事件检测系统中，人们关心的对象是在道路上运动的目标， 如何将目标从连续的视频序列中检测出来，是后续工作的关键。上面所述的最常用检测 方法中：帧间差分法对于动态环境具有较强的自适应性，不受背景图像的影响，但是这 种方法只对图像中的运动区域敏感，在分割过程中对图像中运动不明显的目标不容易检 测出来，如对慢行、停车、车辆长时间重叠等行为不敏感，因此不适用于本文的要求； 背景差分法能够提供完整的特征数据，计算量小，实用价值大。因此，本文中主要采用 背景差分算法检测目标。 2 2 背景提取 采用背景差分法检测图像目标的关键是先要得到图像背景，即没有车辆运动时的视 频图像。由于交通系统不可能暂停交通来得到背景，因此只能根据有车辆运行的图像得 8 长安大学硕士学位论文 到背景，称为背景提取。常用的背景提取方法主要有：多帧图像平均法、统计直方图法、 统计中值法。本文对多帧图像平均法加以改进，提出一种新的背景提取算法，可以快速 准确的提取出背景图像。 2 2 1 常用背景提取方法 1 、多帧图像平均法 考虑到运动图像的多样性，有的灰度值比背景灰度高，有的比背景低，有的与背景 相当。但是，在足够长的时间内，背景被显示的概率是很大的，所以从统计学的角度看， 有运动目标经过而引起的灰度变化在长时间内可用求平均的方法来消除。多帧图像平均 法是将运动的目标看作是噪声，用累加平均的方法进行消除。利用一段时间的序列图像 进行平均而得到背景图像，计算表达式为： b a c k g r o 怵n d = 耗砌力 眨2 ) 其中：b a c k g r o u n d ( x ，y ) 表示提取的背景图像在o ，y ) 处的灰度值，i m a g e , ( x ，j ，) 表示 第f 帧序列图像在像素点( x ，夕) 的灰度值，表示累加的帧数。 该算法的特点是模型简单，计算方便。但是，在实际应用中，往往是图像中的某些 区域有灰度值高的运动目标，而某些区域有灰度值低的运动目标经过，通过平均法得到 的背景图像就会出现亮暗不均匀的区块；另外，该算法得到的背景图像受运动目标的数 量的影响比较大。当然，随着累加帧数的增加，消除噪声后的结果后有所改善，但是随 着帧数的增加计算量也随之增大。 2 、统计直方图法 该方法是统计一段时间内帧图像中每个像素点不同灰度的出现次数，其中出现次 数最多的，即直方图中的最大值就取为背景图像在对应点的灰度值，帧的统计方法可 以表示为： p ( x ，y ，七) = q ( 2 3 ) b a c k g r o u n d ( x ，y ) = m a x t 【尸( x ，y ，后) 】 ( 2 4 ) i m a g e ；( x ，y ) = k i = 1 ，2 ，3 ，k = 1 ，2 ，3 ，2 5 5 ( 2 5 ) 其中： 尸( z ，y ，七) = q 七表示像素点( x ，少) 处灰度值为七的出次数，i m a g e , ( x ，少) 表示 9 第二章交通监控图像二值化分割 某一帧图像像素点( x ，y ) 处的灰度值。 该算法抗噪声干扰性好，在通常情况下提取背景较好。但是，运算量较大，提取背 景速度慢，并且随着统计帧数的增加，得到的背景图像中的近景，因为目标的快速通过， 背景显现的时间较长，效果较好；而对于图像远景，一些运动目标相连，会误把运动目 标当成背景统计出来，得到的背景图像失真。 3 、统计中值法 考虑到在运动目标较少的情况下，连续多帧图像中背景的灰度值占主要部分，这样 在一段时间内，中值便可以认为是背景灰度值。 统计中值法从统计学的角度统计单个像素点( x ，y ) 在连续图像中的灰度值 e ( f = 1 ，2 ，3 m 。在一段时间t 内对视频序列图像的灰度值忍进行排序，然后取其中 值灰度m ( x ，y ) 作为背景灰度。 该算法与统计直方图都是从统计学的角度来看问题，存在相似问题，当图像远景有 连续运动目标经过时会误认为是背景，而图像近景得到的背景图像效果较好。此外，该 算法实现时计算量较大，占用计算机资源较多，处理速度较慢。 2 2 2 本文采用背景提取方法 为了快速准确的提取到背景图像，本文对传统的多帧平均提取背景的方法做了改 进。在实际场景中，某个区域存在运动目标的时间是有限的，那些灰度差异较大的点一 般是由运动目标经过引起的，去除它们后再求平均，会得到更好的效果。因此，本文中 首先计算n 帧图像的像素点i 的平均灰度值，去除与该平均值差异较大的像素点灰度值， 然后再以该点像素的平均灰度值作为背景灰度值，该算法的基本步骤： ( 1 ) 读取视频中n 帧图像，对每个点灰度值只( x ，y ) 求平均，均值记为： n 1 彳= 万f 三1 耳圳 他6 ( 2 ) 计算总差值： n 9 ( x ，y ) =i 琢x ，y ) 一彳( x ，y ) i ( 2 7 ) f = 1 ( 3 ) 求出平均差值： l o 长安大学硕士学位论文 即川= 警产 ( 2 8 ) ( 4 ) 去除差异大的点： 尸( x ，y ) = 鼻( x ，y ) i i 鼻( x ，y ) 一彳( z ，y ) i 丁 ( 2 1 4 ) l0 o t h e r s 其中：阈值t 一般根据图像灰度分布或者是直方图灰度确定。 在本文中采用一种基于块的人工选择阈值的方法对图像进行二值化处理。与传统基 于像素的二值化方法相比，基于块的二值化方法，计算量小，对噪声的抑制效果比较好， 能将物体从复杂的图像信息中有效的分割出来，为后面工作提供更为准确的数据。 2 4 算法实现与实验结果 2 4 1 算法流程图 本章采用一种改进的平均法的背景提取方法得到图像背景，然后每隔一段时间进行 一次背景更新，利用当前帧图像与背景图像的差值得到差分图像，通过种基于块的二值 化方法凸显出图像目标，为后续工作提供基础数据。算法流程图： 第二章交通监控图像二值化分割 否 图2 2 二值化分割算法流程图 否 2 4 2 实验结果 本实验所用图像拍摄于某人行天桥上，图像大小为7 2 0 * 2 8 8 ，四种背景提取算法结 果如图2 3 、2 4 、2 5 、2 6 所示，基于块的二值化结果如图2 7 所示。 ( a )平均2 0 帧 ( b ) 平均8 0 帧 1 4 长安大学硕士学位论文 ( c ) 平均1 0 0 帧 ( d )平均1 5 0 帧 图2 3 基于多帧图像平均的背景提取算法实验结果 通过图2 3 可以发现在一段较短的时间内通过平均法得到的背景就会出现亮暗分布 不均匀的状态，该算法得到的背景图像受车流量的影响变化较大。然而随着平均帧数的 增加，噪声消除的效果会有所改善，通过图2 3 ( c ) ，可以发现当我们累加的帧数增加 到1 0 0 时，便可以得到较好的背景，而采集的帧数再增加时得到的背景效果更好，但是 同时也加大了计算机的运算量。 ( a ) 统计4 0 帧彻统计踟帧 1 5 第二章交通监控图像二值化分割 ( c ) 统计1 0 0 帧 ( d ) 统计2 0 0 帧 图2 4 基于统计直方图的背景提取算法实验结果 ( a ) 统计4 0 帧( b ) 统计8 0 帧 ( c ) 统计1 0 0 帧 ( d ) 统计2 0 0 帧 图2 5 基于统计中值的背景提取算法实验结果 从图2 4 和图2 5 中可以看出，当统计帧数为1 0 0 时就可以得到较好的背景，而随 着帧数的增加，对于图像下半部分，由于车辆快速通过，路面显现的时间较长，所以统 1 6 长安大学硕士学位论文 计得到的背景图像很好，而对于图像上半部分，由于远景的原因，车辆相连，路面始终 被车辆覆盖，所以得到的背景失真。同时，由于这两种算法都需要将数据存入内存，占 用计算机的内存较大，计算时需要循环处理，计算速度较慢。 ( a ) 提取加帧( ” 提取8 0 帧 ( c )提取1 0 0 帧( d ) 提取2 0 0 帧 图2 6 本文采用的背景提取算法实验结果 从图2 6 中可以看出，利用该算法克服了上述几种算法的缺点，当统计帧数为8 0 时就可以得到较好的背景，且随着帧数的增加，提取的背景图像比较稳定。而且实验中 发现，这种方法计算简单，计算机资源消耗小，计算速度较快。 1 7 第二章交通监控图像二值化分割 c a ) 差分图像 ( b )二值化图像 图2 7 基于块的二值化 基于块的二值化算法相对于传统以像素为单位的二值化法，减小了图像噪声对二值 化效果的影响，同时减小了计算机的运算量，可以为后续工作提供了准确、高质量的实 验数据。 田 长安大学硕士学位论文 第三章基于块匹配的目标运动轨迹提取 目标跟踪是实现交通参数统计、交通事件自动检测的重要步骤。基于视频的运动目 标跟踪的过程，就是在视频图像序列中实时地检测出运动目标，进而对运动目标进行跟 踪，获知运动目标在摄像机视野范围内的运动轨迹的过程。 通过上一章的工作，可以将运动目标从复杂的图像信息中检测出来。针对跟踪整个 目标计算量大，且对相互遮挡、粘连的目标处理难度大的问题，本章中采用以目标角点 所在块为模板块的匹配跟踪算法对目标进行跟踪，从而得到目标的运动轨迹。 本章中对目标的运动轨迹的提取主要分为三个步骤：首先提取目标的角点，并预测 其在下一帧图像中可能的状态，然后将预测结果与实际结果相匹配，记录目标在每一帧 图像中的位置，根据运动轨迹的弦长与弧长的关系滤除跟踪不合理的伪轨迹，得到平滑、 有效的目标运动轨迹，为交通事件检测提供数据。 本文中根据图像灰度的阶跃变化检测目标的特征点，因而需要将前面的二值化图像 中的目标恢复为原有的差分图像，如图3 1 所示。同时设置出图像的检测范围，避免临 近线路车辆的干扰，如图3 2 所示，其中红线之间的区域为图像的检测范围。下文中提 到的对图像的操作都是在此区域内进行的。 图3 1 差分图像图3 2 检测区域 3 1 常用的目标跟踪方法 t a m e rr a b i e f 2 0 1 将基于视频的跟踪方法总结分为以下三种： 1 9 第三章基于块匹配的目标运动轨迹提取 ( 1 )基于3 d 模型的跟踪 基于3 d 模型跟踪方法是利用摄像机和运动场景的几何信息，将一个3 d 模型投影 成2 d 图像，利用其在图像中位置的变化来进行跟踪。采用基于3 d 的跟踪方法对运动 目标的运动进行跟踪，需要从2 d 图像中推断出目标的3 d 形状。因此，这种方法对几 何物体的细节模型依赖性较强，而实际中要获取公路上行驶的任意目标的细节模型是非 常困难的。 这种方法缺点是对目标模型的过分依赖，而很明显的是不可能为公路上行驶的每个 目标都建立精确的细节模型。此外，这种方法的计算量较大，实时性差【2 1 1 。 ( 2 ) 基于区域的跟踪 基于区域的跟踪方法是通过跟踪检测出来的图像的前景区域来实现的。采用这种方 法的前提是首先要利用背景差分法检测出图像中连通的目标区域，然后利用连续图像序 列中不同时刻前景图像的相似度实现跟踪。 这种方法对于相互分离的目标具有较好的跟踪效果，但是对相互遮挡、互相粘连的 目标不敏感，不同的目标可能会被作为统一目标处理，且计算量也比较大。 ( 3 ) 基于特征的跟踪 基于特征的跟踪思想是通过对运动目标上的子特征( 如灰度特征、边缘特征等) 的 跟踪来实现对目标的跟踪，是目前常用跟踪方法之一。这种方法放弃目标的几何形状等 区域特性，只选择目标的有代表性的部分特征进行跟踪。由于不用考虑目标的几何形状 等区域信息，只利用了图像的灰度信息和特征点位置信息，因此实现起来会相对简单。 其优点在于受目标互相遮挡问题的影响不大，即使目标之间有部分遮挡，仍会有一部分 的特征是可见的，可以为跟踪过程提供依据；同时，因为利用的是目标的子特征，并不 关心目标的几何形状，不需要将整个运动目标准确的检测分割出来，避免了对互相粘连 目标的分离的问题，操作比较简单1 2 2 2 3 1 。因此，相对于上述两种跟踪方法基于图像特征 的跟踪方法有其自身的优势，主要体现在以下四个方面： 1 ) 目标的特征点比整个目标的像素点要少很多，从而大大减少了匹配过程的计算 且 亘； 2 ) 特征点的匹配度量值对位置变化比较敏感，从而可以提高匹配的精度； 3 ) 特征点提取的过程可以减小图像少噪声的影响，对图像灰度变化、图像形变以 及遮挡等有较强的适应能力； 4 ) 不依赖目标的几何形状，不需要将整个运动目标准确的检测分割出来，避免了 2 0 长安大学硕士学位论文 对互相粘连目标的分离的问题 但是，基于特征的跟踪方法却存在着图像聚类的问题，即那些特征点是属于同目 标物体上的。 本文对目标跟踪目的是为了快速准确的获取目标在道路上的运动轨迹。因此，综合 以上几种跟踪方法的优缺点，本文采用基于图像特征的跟踪方法，通过对图像特征的跟 踪实现对运动目标的跟踪。 3 2 目标特征提取 图像特征主要包括像素灰度特征、色彩特征、区域特征、纹理特征、边缘特征、角 点特征等叫, 2 s l 。边缘特征和角点特征是两种最常用的图像特征。而角点特征因其具有比 较丰富的结构信息，便于检测和表示，对环境光照的变化有较强的适应性，尤其适用于 目标相互遮挡和发生几何变形的情况等优点而成为许多基于特征匹配算法的首选。角点 是图像的重要局部特征，是像素点在其邻域内的至少两个方向上灰度变换值足够大的 点。在实际图像中，轮廓边缘的拐角、线段的末端、一条或多条线段的交点等都是角点 2 9 , 3 0 l 。本文选用目标的角点为特征点，以角点所在的块作为模板块进行匹配跟踪，从而 实现对目标的跟踪。 3 2 1 基于h a r r i s 算子的角点提取 h a r r i s 角点检测算子是最常用的角点提取方法之一。h a r r i s 算子是一种基于信号的 角点特征提取算子。h a r r i s 算子的计算公式中只涉及图像的一阶导数，对灰度图像上的 每一个目标像素，计算其横向和纵向的一阶导数，以及两者的乘积，这样可以得到三幅 新的图像，其中每个像素对应的属性值分别为& 、g ，和& g ，。对这三幅图像进行高斯 滤波，计算原始图像上对应的每个点的兴趣值【3 1 1 ，计算过程： m ：g ( s ) 。l 毛屯弓l ( 3 1 ) 守x g yg y ，= d e t ( m ) 一k * t r 2 ( 加 ( 3 2 ) 其中：矩阵中的& 为x 轴方向的梯度，毋为y 轴方向的梯度，g ( ；) 为高斯模板，d e t 为矩阵的行列式，护为矩阵的迹，七为默认常数，般取0 0 4 0 0 6 ，矩阵，中的元素值 对应于原图相应点的兴趣值。 2 l 第三章基于块匹配的目标运动轨迹提取 该算子认为角点是局部范围内极大兴趣值对应的像素点。在实际操作中，取每一个 像素和他的8 邻域的8 个像素，提取中心点和这8 个像素点中兴趣值的最大值。如果这 个最大值刚好是中心点，那么中心点像素就是角点。因此，当公式( 3 2 ) 中的i 大于特 定阈值的像素点就是角点，即： m ，y ) ：j 2 5 5 i f ( m ，j ，) 丁) ( 3 3 ) 【0 o t h e r s 其中：e ( x ，y ) 为2 5 5 时是角点，阈值丁依赖于实际图像的尺寸、纹理等。 h a r r i s 算法稳定性高，对图像噪声不敏感，提取的角点特征均匀合理，但是由于采 用了三次高斯滤波，运算速度相对要慢一点；而且存在定位不准确，高斯平滑窗口大小 不易控制，过度平滑而导致角点信息丢失等问题。 图3 3h a r r i s 算法选择角点 3 2 2 基于s o b e l 边缘检测算子的角点提取 图像的边缘是以图像灰度的梯度变化来体现的，是周围像素灰度有阶跃变化的像素 点的集合，其中将阶跃变化比较明显的点，即边缘特征较强的点作为目标的角点。基于 边缘的角点检测方法首先要提取目标的边缘信息，然后寻找边缘特征最强的点或者是拐 点【3 2 1 。 图像边缘的明显程度由图像灰度的梯度大小决定。梯度对应一阶导数，是一个矢量， 对一个连续图像函数f ( x ，y ) ，在点f ( x ，y ) 处的梯度是一个矢量，用耵表示，可的表 达式： 长安大学硕士学位论文 v f ( 五力：( q ，q ) r ：，关) r ( 3 4 ) c 扰卯 其中：q 和g 分别为沿x 方向和y 方向的梯度。 梯度的幅度i 耵( x ，y ) l 和方向表达式： v f ( x , y ) i = 厢= j ) 2 + 考) 2 n 5 ) a n 一份t a n 。吲 6 ， i v 厂( x ，y ) i = 厂( x ，y ) 一厂( x 一1 ，j ，) 】2 + 厂( x ，y ) 一厂( x ，y 一1 ) 】2 ) ( 3 7 ) 常用的边缘检测算子是对q 和q 各用一个模板，将两个模板组合起来就构成了一 个梯度算子【3 l 】。s 。b e - 算子的水平模板q ： ；三 和垂直模板q ： 三三三 。 采用基于s o b e l 边缘检测算子提取图像( x ，y ) 的角点，取每一个像素和他的4 邻域 e b ，访= 攒乏嚣1k 麓k 譬 8 ， 兰。i 盘朋 一盘一陋 u 岱 其中：e ( x ，y ) 为的图像( x ，y ) 处的特征值，取值2 5 5 时表示该点是角点；s o b e l 算子 的阈值t 可以根据经验人工设定。由于摄像机透视角度的关系，为了均匀合理的提取角 点，可以根据图像区域与摄像机位置关系对阈值t 划分区域进行设定。 第三章基于块匹配的目标运动轨迹提取 图3 4s o b e l 算子提取角点 从图3 6 中可以看到，提取的角点在局部区域过于集中。这种情况下，如果对每一 个角点都进行跟踪，将使得计算量相对比较大，耗费计算机资源。为了防止这种现象的 出现，需采用一定的方法来减弱或消除这一问题。本文采用邻近点最大数量限制的方法： 根据图像的实际特点，选用一个m * m 模板对图像进行处理，若在该模板下存在不止一 个角点，则只保留其e 值相对较大的一个或几个点。采用该