（信号与信息处理专业论文）基于ip+camera的车辆违章行为检测.pdf

杭州电子科技大学硕士学位论文 摘要 随着人民生活的提高，我国的汽车保有量正在急速增长。车辆的增加导致了道路交通事 件的日益增多，其主要原因之一是车辆的违章行为。有效地预防和确认交通违章行为( 如闯 红灯、违章变道、违章停车等) 并及时阻止进一步发生是摆在我们面前迫在眉睫的任务。随 着计算机视觉技术、嵌入式技术、网络通信技术的发展，研究车辆违章行为自动检测系统已 经成为当前的一个研究热点。 本文搭建了基于i pc a m e r a 的车辆违章行为检测的系统，并通过i p 网络将带有违章车辆 信息的视频图像数据流传输至计算机，从而实现远程监控的功能。具体包括以下几个内容： 根据交通道路场景的特点，提出了基于分类模式的背景更新算法，以块为基础，通过块 计数触发的方法和一定稳定度的块匹配方法，使得场景有新背景物体产生时保证了背景物体 的完整性，并与混合高斯模型法进行了对比，结果表明本文的方法在更新新背景物体时该物 体更具完整性。 介绍了基于区域的m e a ns h i f t 车辆跟踪算法，并在此基础上结合车辆跟踪区域的车辆前 景点信息和车辆位置区域信息提出了结合车辆信息的m e a ns h i f t 方法，实验表明改进的m e a n s l l i f 方法取得了更好的跟踪效果。 在车辆目标检测和车辆跟踪的基础之上对车辆闯红灯、违章停车、违章压线或变道、违 章掉头4 种车辆违章行为进行了研究。提出了双虚拟线圈结合车辆跟踪的方法用于闯红灯检 测；提出了在基于分类模式背景更新方法下的一定稳定度的块匹配方法，对道路中的违章停 车进行检测；提出了道路兴趣区域变换方法，并结合车辆外接矩形框提取和车辆跟踪对车辆 违章压线或变道行为进行了检测；利用车辆在道路中行驶时的坐标变化特点以及车辆行驶方 向的统计特点实现了车辆的违章掉头检测。 以t i 的t m s 3 2 0 d m 6 4 2 芯片作为核心处理器，开发了基于i pc a m e r a 的车辆违章行为检 测系统，并完成了相应的硬件和软件设计，实现了通过普通浏览器查看和保存带有违章车辆 信息的交通场景图像的功能。 关键词：网络摄像机，目标检测，车辆跟踪，违章行为检测，块匹配，视频采集，网络通信 杭州电子科技大学硕士学位论文 a b s t r a ct w i t ht h ei m p r o v e m e n to f p e o p l e sl i f e , t h et o t a la u t o m o b i l en u m b e ri nc i t yi sg r o w i n gr a p i d l y t h ei n c r e a s eo fv e h i c l eo nt h er o a dl e a d st ot h e g r o w i n g o ft r a f f i ce v e n t s ，o n eo ft h em a i nr e a s o n si s t h ev e h i c l ev i o l a t i o no ft r a f f i cr e g u l a t i o n s t oe f f e c t i v e l yp r e v e n ta n dc o n f i r mt h et r a f f i cv i o l a t i o n b e h a v i o r ( s u c ha sr e dl i g h tr u n n i n g , i l l e g a ll a n ec h a n g e , i l l e g a lp a r k i n g ，e t c ) a n dt h e ns t o pi t sf u r t h e r d e t e r i o r a t i o ni sae x t r e m e l yu r g e n tt a s k a l o n gw i t ht h ed e v e l o p m e n to f c o m p u t e rv i s i o n ，e m b e d d e d s y s t e m ，a n dn e t w o r kc o m m u n i c a t i o n , t h er e s e a r c ho fa u t o m a t i cd e t e c t i o ns y s t e mt od e t e c tv e h i c l e v i o l a t i o nb e h a v i o rh a sb e e na p o p u l a rs t u d yp o i n t t h i sd i s s e r t a t i o nb u i l d sad e t e c t i o ns y s t e m ，w h i c ht od e t e c tt h ev e h i c l ev i o l a t i o no ft r a f f i c r e g u l a t i o n sb a s e do ni pc a m e r a , t ot r a n s m i ti m a g es i g n a lw h i c hc o n t a i n i n gv e h i c l ev i o l a t i o n i n f o r m a t i o nt oac o m p u t e r t h i sd i s s e r t a t i o ni n c l u d e st h ed e t a i l sa sf o l l o w s a b a c k g r o u n du p d a t i n ga l g o r i t h mb a s e do nt h ec l a s s i f i c a t i o nm o d e l ，f r o mt h ec h a r a c t e r i s t i c so f r o a dt r a f f i cs c e n e ，w a sp r o p o s e d ，a n di te n s u r e st h ei n t e g r i t yo ft h eo b j e c ti nas c e n ew h e nan e w b a c k g r o u n do b j e c tf o r m s ，b yt h em e a n so ft h eb l o c kc o u n t i n gt r i g g e r i n ga n dt h es t a b i l i t yo ft h eb l o c k m a t c h i n g e x p e r i m e n ts h o w st h a tc o m p a r e dw i t ht h eg a u s s i a nm i x t u r em o d e lm e t h o d ，t h ep r o p o s e d i sb e t t e rw h e nu p d a t i n gan e wb a c k g r o u n do b j e c t t h er e g i o n - b a s e dm e a ns h i f tv e h i c l e st r a c k i n ga l g o r i t h mw a si n t r o d u c e d ，a n db a s e do ni ta m o d i f i e dm e a ns h i f tm e t h o dc o m b i n e dw i t hv e h i c l ei n f o r m a t i o nf r o mt h ev e h i c l et r a c k i n gr e g i o n a l v e h i c l e sp r o s p e c ti n f o r m a t i o na n dt h el o c a t i o nw a sp r o p o s e d ，t h e nt h ee x p e r i m e n ts h o w st h e i m p r o v e di sb e t t e r r e dl i g h t sr u n n i n g , i l l e g a lp a r k i n g , i l l e g a lp r e s s u r el i n eo rl a n ec h a n g e ，a n di l l e g a lu t u r nw e r e s t u d i e db a s e do nt h ev e h i c l ed e t e c t i o na n dt r a c k i n g t w ov i r t u a lc o i l sc o m b i n e dw i t hv e h i c l e t r a c k i n gw e r eu s e dt od e t e c tr e dl i g h tr u n n i n g , a n dt h ec e r t a i ns t a b i l i t yo fb l o c km a t c h i n gm e t h o d b a s e do nt h ec l a s s i f i c a t i o nm o d e l - b a s e db a c k g r o u n du p d a t i n ga l g o r i t h mw a su s e dt od e t e c ti l l e g a l p a r k i n g , a n dt h ei n t e r e s t a r e at r a n s f o r m a t i o nc o m b i n e dw i t he x t e r n a lr e c t a n g u l a rb o xv e h i c l e e x t r a c t i o na n dv e h i c l et r a c k i n gw a su s e dt od e t e c tt h ei l l e g a lp r e s s u r el i n eo rl a n ec h a n g ev e h i c l e , a n dt h ec h a n g e so fc o o r d i n a t e so fm o v i n gv e h i c l e sa sw e l la sc h a n g e so fs t a t i s t i c a lc h a r a c t e r i s t i c so f t h ed i r e c t i o no fav e h i c l ew e r eu s e dt od e t e c ti l l e g a lu t u r n av e c h i c l ev i o l a t i o nb e h a v i o rd e t e c t i o ns y s t e mb a s e do ndc a m e r aw i t ht m s 3 2 0 d m 6 4 2w a s d e v e l o p e d ，a n dc o r r e s p o n d i n gh a r d w a r ea n ds o f t w a r ew e r ed e s i g n e d i tm a k e su s e rc a ne a s i l yv i e w a n ds a v et h et r a f f i cs c e n ei m a g ew i mi l l e g a lv e h i c l e si n f o r m a t i o nu s i n ga o r d i n a r yb r o w s e r i i 杭州电子科技人学硕士学位论文 k e y w o r d s ：i pc a m e r 钆t a r g ad e t e c t i o n , v e h i c l et r a c k i n gv i o l a t i o nb e h a v i o rd e t e c t i o n ，b l o c k m a t c h i n g ，v i d e oc a p t u r e ，n e t w o r kc o m m u n i c a t i o n s i i i 杭州电子科技人学硕士学位论文 第1 章绪论 1 1 论文研究的背景和意义 改革开放以来，随着我国社会经济的不断发展，人民生活水平的不断提高，我国的汽车 化进程也在不断加快，截至2 0 11 年8 月底，全国机动车保有量达到2 1 9 亿辆。其中，汽车 保有量首次突破1 亿辆，占机动车总量的4 5 8 8 ，是机动车的主要构成部分。车辆的增多导 致了道路交通拥挤问题的日益严重和道路交通安全问题的日益严峻，据统计数据资料表明， 我国近三年来每年因交通事故造成的人员死亡人数已超过6 万人。如何有效的检测各种交通 事件，减少和预防交通事故带来的损失，快速有效的进行交通事故处理，防止交通堵塞，并 记录交通事件已成为当今社会的一个重要议题。 交通事件按发生的时间不同可以分为一次事件和二次事件，二次事件就是在一次事件发 生后发生的交通事件。统计分析表明，超过6 0 造成这些交通事件的主要原因是车辆的违章 行为，且5 0 的二次事故是在一次事件发生的十分钟内发生的。对车辆的违章行为进行快速 准确的检测，就能及时发现事件，然后采取措施及时有效地处理和消除交通事件，就能减少 或避免交通拥堵，防止二次交通事件的发生。从全国范围来看，现在交通道路口的电子警察 大多是用来对车辆的闯红灯违章行为进行检测的，而对于其它的车辆违章行为，缺乏科学的 检测和识别手段，仅依靠少数行政执法人员的抽查、罚款，这样的违章车辆检测方式浪费大 量人力物力的同时，却得不到理想的效果。 基于计算机视觉的智能车辆违章检测系统的提出希望利用监控系统获得视频信号，综合 图像处理、图像分析、模式识别等技术，进行车辆违章检测与识别理论的方法研究，实现车 辆违章的自动识别与记录，充分利用道路或道路口的视频图像中蕴含的丰富实时交通信息， 为纠正交通违章、加强交通管理提供有效依据。在交通的管理过程中，利用现代科技的力量， 不仅能协助交通管理部门对违章车辆的驾驶员进行处罚教育，促使其自觉遵守交通法规，以 确保道路畅通，而且能有效的减少交通执法人员人力的投入，缓解交通的压力。 随着视频检测技术的不断进步，基于视频的车辆违章检测技术将成为今后交通事件检测 的主流技术。但是当前的视频检测技术需大面积的铺设专用线路，造成了费用的急剧上涨， 严重阻碍了其快速发展，迫切需要一种解决方案来解决这个问题，而这个问题的核心是传输 线路问题。当前随着因特网和移动网的发展其网络几乎覆盖了全国各地，且其传输速率正在 不断变快，这为我们解决基于视频的违章车辆检测的视频图像信号传输提供了一个良好的平 台。本文研究的基于i pc a m e r a 的违章车辆检测系统不仅可以对交通信号进行远距离传输， 而且由于智能分析模块的应用可以改善人为查看违章车辆的不足之处。该系统具有实时处理 信号的能力，可以将道路交通的实时视频信号传输给交通部门的计算机进行显示，当有违章 杭州电子科技大学硕士学位论文 车辆时自动通知交通管理部门进行处理，达到了智能筛选的功能。这种具有智能违章车辆检 测的网络摄像机系统的使用可以减少由于交通车辆违章而引起的交通事故，有利于我国和谐 社会、平安社会的建设。 1 2 车辆违章检测技术的发展 1 2 1 车辆违章检测方式 违章车辆检测的方式很多，目前常用的检测方法有：感应线圈检测、激光检测、红外线 检测、微波检测、视频检测等。 感应线圈检测【l 】：其在违章车辆的检测中应用很广，如车辆的闯红灯检测、超速检测等。 感应线圈检测应用了电磁感应原理，将感应线圈埋在路面下，并通有一定的电流，当车辆经 过感应线圈时，车辆的铁质切割磁通线，造成回路电感量的变化，检测器通过电感量的变化 就可以检测出车辆的通过与存在的信息。它的优点是稳定、检测精度高，可以应用在恶劣的 环境下。但其缺点也非常明显，感应线圈的维护安装需要阻断交通；其不能同时检测多个车 道；对某些场景下其不适用，如立交桥桥体表面，由于厚度限制不能埋设线圈；它容易被重 型车辆、路面修理等损坏，影响路面寿命。 激光检测【2 】：激光检测器由激光发射器和接收器组成，可以分为反射式和对射式两种。 对射式激光检测器通过检测光速是否被阻断来判断车辆的存在或通过，反射式激光检测器通 过检测是否有光束被发射来判断车辆的状态。 红外检测方法【2 】与激光检测方法基本相同，也是通过红外线是否被阻断来判断车辆的状 态。 微波检测：微波检测器由发射天线和接收器组成。其中发射天线对准检测区域发送微波 波速，当有车辆通过或存在检测区域时，发射波速以不同的频率返回天线，当检测器检测出 这种频率变化时就表示车辆的通过或存在。 以上三种检测方式容易受到干扰，且检测区域有限。它们只适用于超速、违章变道等少 数几种车辆违章检测。 视频检测【3 叫：视频检测是计算机视觉应用领域的一个重要分支，它是一种将视频图像和 人工智能相结合的技术，视频检测通过摄像机和电脑模仿人眼的功能，与前面所述的方法相 比，视频检测车辆技术有着明显的优势：1 ) 可以准确全面的获得各种交通信息，如车长、车 型、车流量、车辆速度、车道拥塞度、车辆的停止、车辆逆行、闯红灯、超速、跨道等信息， 还可以多个车道进行监控，可以对远距离大范围场景进行检测：2 ) 视频检测法的设备易于安 装和调试，扩展性好，在安装时不需像感应线圈那样破坏道路。随着视频检测技术的不断进 步，基于视频的违章车辆检测技术将成为今后违章车辆检测的主流技术。 1 2 2 国内外的发展状况 目前国外在这方面的研究已经很成熟，出现了很多产品，如美国i t e r i s 公司的 v a n t a g e 系统、美国i i s 公司的a u t o s c o p e 系统、比利时路畅通公司的t r a f i c o n 系 2 杭州电子科技大学硕士学位论文 统等【7 j o 】。v a n t a g e 车辆检测器在全球已有3 万个系统正在使用，是全球在用系统数最多、 最受欢迎的车辆检测产品之一；a u t o s c o p e 系统已在美国亚特兰大、芝加哥等地投入使用； t r a f i c o n 系统已在美国华盛顿州塔科马港市、卢森堡、瑞士、挪威奥斯陆、中国北京四环 路、法国f o i x 隧道等地安装使用】。在这些系统中，大部分将违章车辆检测和识别作为其 子系统。例如t r a f i c o n 系统可以检测违章逆行、超速、违章占道等，并在实际使用中取得 了良好的效果。然而这些系统在中国的引进及使用其效果并不理想，主要原因是不适合我国 的特殊国情，如我国人口众多、人均道路里程较少、交通参与者交通法律法规意识淡漠、交 通设施和法规还不健全等。 我国在车辆违章检测与处理方面的研究起步比较晚，早期应用的系统中车辆检测方式比 较单一，主要是对交通道路口的违章闯红灯车辆进行检测。近些年，我国的车辆违章检测技 术发展速度很快，也有很多公司研制了相关的产品，如中科卓视科技公司研发的交通事件检 测器【1 2 】、天津市铁通计算机网络工程有限公司的智能交通视频事件检测系统【1 3 】，平安视讯科 技有限公司的智能交通事件检测系统【1 4 】等。虽然它们中的很多产品能对多种车辆违章行为进 行检测，但是还存在准确度不高、系统不稳定、使用条件要求高等问题，需有待进一步研究 和应用。 在各种车辆违章行为中以违章闯红灯、违章停车、违章压线或变道、违章掉头这四种违 章行为最为常见。 闯红灯违章检测 目前，违章闯红灯检测技术可以分为两类，一类是基于环形感应线圈的检测方法；第二 类是基于视频图像处理的检测方法1 1 5 - 2 0 1 ，随着视频图像处理技术的不断发展，基于视频图像 处理的检测方法必将成为违章闯红灯检测的主流方法。在已有的基于视频处理的违章闯红灯 方法中，又可以分为两种子方法，一种是设置虚拟线圈；另一种是对车辆进行跟踪。 在设置虚拟线圈的方法中 1 5 , 1 6 】，虚拟线圈可以分别设置在停车线前、停车线上、停车线 后、人行横道上，在红灯时对图像序列中的虚拟线圈区域进行匹配即可检测闯红灯车辆，该 方法比较简单，图像处理的实时性高，但无法得到车辆的具体运动轨迹。 对车辆进行跟踪的方法主要有三步搜索算法旧，基于m e a ns h i f t 的车辆跟踪算法【1 8 l ，基 于快速匹配的算法【2 0 】，基c a ms h i f t 的跟踪算法【1 9 1 等。当在红灯状态下，跟踪到的某一辆车的 图像坐标越过路口红线的图像坐标时，就判别车辆闯红灯。由于需对道路交通中的车辆进行 实时跟踪，硬件要求比较高。 违章停车检测 已有的对车辆的违章停车检测方法可以分为两种，一种是根据道路中检测区域的图像灰 度波动进行检测【2 ，还有一种是对道路中的车辆进行跟踪【2 2 1 。 利用图像灰度波动进行检测的方法，当有车辆进入监测区，图像厌度会产生突然的波动， 若车辆停留在监测区，则监测区图像灰度与背景有很大的变化，且图像在灰度波动后保持稳 定；反之，若车辆只是通过监测区则该监测区的图像灰度会重新与背景图像相同。 杭州电子科技大学硕士学位论文 在对车辆进行跟踪的方法中需对车辆进行检测并对车辆进行跟踪，提取每一帧中车辆的 轮廓和中心位置，如果某辆车在一段时间内，车辆中心位置和轮廓变化小于一定阈值时，则 认为该车辆发生了违章停车。 违章压线或变道检测 现有的车辆违章压线或变道检测方法都是建立在视频图像处理的基础之上。基于视频的 违章压线或变道的检测中首先必须解决的问题是对白色实线或黄线区域的确定，一般分为两 类，第一类是手动确定【2 3 洲，对于视频所拍摄的序列图像进行人工白色实线或双黄线区域的 确定，这种方法的优点是算法复杂度低、准确度高。但也存在缺点，对于不同的场景需都需 人为进行区域划定，鲁棒性不高，且该方法自适应性较差，只能用在摄像机固定不变的场景 中；第二类是自动识别，如基于h o u g h 变换的车道线提取【2 5 1 、基于改进的s o b c l 模板算子对 车道线的提取【2 6 1 等，这种方法算法复杂度较高，且只能用于车道线形状基本完好的条件下。 当车道线确定以后就可以对车辆违章压线或变道进行检测。一种简单的方法是利用在背 景图中的车道线区域的灰度直方图和视频中当前帧的车道线区域的灰度直方图进行比较【2 3 1 ， 一般来说无车辆违章压线或变道时的车道线区域灰度直方图是单峰现象，而在有车辆违章压 线或变道时其车道线区域的灰度直方图会出现双峰现象，以此来判断是否有车辆违章。这种 方法简单易行，但是准确度不高。另一种方法是基于车辆动态跟踪的违章检测【2 5 1 ，当车辆违 章检测系统对车辆进行实时动态跟踪时，视频中的每一幅图像都可以对车辆进行定位，根据 定位所得的图像坐标与车道线的图像坐标进行比较即可完成车辆的违章压线或变道检测。还 有一种方法是将当前帧图像减去背景图像，在检测区域内图像象素变化的个数超过一定的个 数时就表示有车辆的违章压线或变道发生。 违章掉头 未检索到相关内容的报道。 基于视频的车辆违章检测技术的研究在国内外方兴未艾，必将有更多的科研机构和公司 参与到该课题的理论研究或产品研发中。 1 3i pc a m e r a 系统概述 i pc a m e r a 是一种结合传统摄像机和网络技术所产生的新一代摄像机，它可以将影像通过 网络传至地球的另一端，且远端的浏览者不需要任何专业软件，只要标准的网络浏览器( 如 i e 或搜狗浏览器) 即可监视其影像，i pc a m e r a 通常内置一个嵌入式芯片，采用嵌入式操作 系统。摄像头传过来的视频信号经数字化后由视频压缩芯片压缩，通过网络传送至w e b 服务 器。远端网络上的用户可以直接观看w e b 服务器上的视频图像。 尽管网络摄像机产品已经很早出现在市场上，但是由于早期产品功能的不成熟以及网络 带宽较小等问题制约了其发展。随着互联网的飞速发展和软硬件技术的不断成熟，网络视频 产品市场正在不断扩大。i pc a m e r a 既可以用于局域网的视频监控，如商场、办公楼、小区、 银行等，也可以通过互联网用于远程视频监控，如无人值守的通信机房、远程看护儿童及老 人、产品网上展览、旅游景点网上演播等。 4 杭州电子科技大学硕士学位论文 当前，生产网络摄像机的国外厂商有a x i s 、s o n y 、d l i l l l 【、朗驰等，国内的厂商有海康、 大华等，这些厂商生产的网络摄像机之间的对比如表1 1 所示。从表中可知，国外厂商生产 的网络摄像机在技术上有一定的优势，而国内的厂商由于在产品的研发及测试方面相比于国 外厂商来说起步要晚，开发的很多产品在技术上还未达到国外厂商的高度，但是国内的厂商 有一个非常明显的特点就是价格相对便宜，在我国人均收入还不高的大背景下，其有一定的 发展前景。 表1 1 阈值判定时间对比 a x i s s o n y d l i n k 朗驰海康大华 品牌很好很好很好一般很好好 性能很好好好一般好一般 产品系列好好好一般一般一般 软件支持好一般一般一般一般一般 外观很好很好很好一般一般一般 价格 差差差一般 好 好 近年来，智能视频监控技术一直都是安防领域的一个热门话题。所谓的智能视频监控技 术，就是在已有的监控平台下增加智能监控模块，采用智能化的视频分析算法，提取摄像头 视野范围内的目标行为特点，当监控场景中的目标有某种不符合规定的行为发生时，自动向 监控系统发出警示信息通知监控人员，监控人员根据警示信息所表示的内容进行人工干预。 智能分析技术属于模式识别技术的一种，结合了智能监控技术的网络摄像机通过设计特 定的算法从视频中分析、提取和识别某个个体的行为特征，并判断这些个体发生了一些什么 行为，进而判别这些行为是否符合某些规则，当有不符合规则的行为发生时网络摄像机通过 网络将信号传输至监控人员并提醒监控人员注意“可疑行为”，具有智能分析技术的网络摄 像机摆脱了人工的判断，能够实现“代替 人工进行监控的功能。从更形象一点的角度来看， 监控系统中的网络摄像机以及传输技术解决了“眼睛”的问题，而具有智能分析模块的网络 摄像机则是在监控系统的基础上增加了“大脑”，在一定程度上能够代替人随时监控视频， 而无需人工随时监看。 目前基于视频的交通事件检测技术已经成为车辆违章检测的热点技术，基于视频的交通 事件检测可以使交通管理者对道路交通实施可视化管理，可以记录违章车辆和车辆违章行为。 本文研究的网络摄像机系统方案不仅具有视频检测固有的特点，还内置d s p 芯片，融合了智 能分析技术，并使用现有的i p 网络对数据进行传输，最大限度的利用了现有的社会资源，降 低了安装、运行、维护费用。 1 4 研究内容 基于视频的车辆违章检测内容涉及广泛，有很多问题在理论上尚无法得到有效的解决， 一些关键技术还正在研究开发中。论文完成了基于i pc a m e r a 的车辆违章检测系统设计，系 统能够对交通道路中的违章车辆行为进行自动、准确、稳定的检测，并通过i p 网络将检测到 的结果传输到远端计算机。本文进行了以下几个方面的研究。 5 杭州电子科技大学硕士学位论文 1 针对混合高斯模型背景更新方法计算复杂度较大，研究了基于分类模式的背景更新方 法。 2 研究了现有的m e a ns h i f t 方法，针对其存在错误跟踪的问题本文结合了车辆信息以改 善车辆跟踪的效果。 3 检测了四种违章车辆：( 1 ) 闯红灯检测，( 2 ) 违章停车检测，( 3 ) 违章压线或变道检测， ( 4 ) 违章掉头检测。 4 系统的软硬件设计和实现。 1 5 论文章节安排 结合论文研究内容，将本论文内容分为六章，各章节的关系如图1 1 所示。 图i i 论文各章节关系图 第一章主要介绍基于i pc a m e r a 的车辆违章行为检测的研究背景、发展和应用，国内外 研究现状和论文主要工作。 第二章介绍了车辆目标提取的三种常用方法，光流法、帧间差分法、背景差法，采用了 背景差法提取车辆目标，并提出基于分类模式的背景更新方法。 第三章介绍了m e a ns h i r 的车辆跟踪方法，并提出结合车辆信息的m e a ns h i f t 方法，提 高了车辆跟踪的准确性。 第四章分别对车辆闯红灯检测、违章停车检测、违章变道检测、违章掉头检测这四种车 辆违章行为进行了检测，并取得了较好的检测效果。 第五章讨论了系统的软硬件实现，以d m 6 4 2 为核心芯片完成了系统的软硬件设计并对车 辆的闯红灯行为和违章压线或变道行为进行了检测，取得了良好的检测效果。 第六章对论文内容进行总结，并指出了论文内容尚存在的不足之处及后续工作的研究方 向。 6 杭州电子科技大学硕士学位论文 第2 章运动车辆检测 2 1 引言 视频流中的运动目标检测是一个非常重要且困难的研究领域，它是图像分析、图像识别 和图像理解的基础，而运动车辆检测的准确与否直接决定了后续对车辆行车路线的有效跟踪 以及对车辆违章行为的准确判别。我们将一段视频文件理解为一系列的图像序列，对视频文 件的处理即是对这些图像序列的处理。图像序列中包含了一些运动目标不断变化的信息，通 过对图像序列的分析可以得到在单帧图像中无法得到的信息。对运动目标的检测就是当场景 中有新的目标进入或者场景中有物体移动时，通过检测算法检测出目标，在图像序列中表现 为像素值和位置的变化。运动目标的检测分为两种情况，一种是摄像头静止下的运动目标检 测；第二种是摄像头运动下的运动目标检测。交通场景中的车辆目标检测一般属于第一种情 况，然而由于环境的动态变化，如天气、光照、新背景物体进入场景等现象，使得准确、快 速、稳定的检测车辆目标变得相当困难。 2 2 运动目标检测算法 交通场景中的车辆运动目标检测算法主要有光流法、帧间差分法、背景差法。光流法是 对图像的运动场进行估计并将相似的运动矢量合并来检测运动目标，帧间差分法通过计算图 像的帧问变化来检测运动目标，背景差法是将图像序列与背景帧相减得到运动目标信息。 2 2 1 光流法 一 当人眼观察运动物体时，被观察的运动物体会在人眼的视网膜上形成一连续变化的图像 序列，这些图像序列依次“流过 视网膜就好像一种光的“流”，故称之为光流，其最初是 由h o r n 和s c h u n c k 提出【2 7 】，它包含了运动目标信息，常被用来确定目标的运动情况。 在三维空间中，物体的运动可以用运动场来描述，而在图像平面上物体的运动是通过图 像中不同的灰度分布体现的，将物体在三维空间中的运动场转到图像上便是光流场，它包含 了运动物体的表面结构和运动信息。光流场反映了图像上每一个像素点的灰度变化趋势，可 以看成是带有灰度的像素点在图像平面上运动而产生的速度场，光流场是对运动物体运动场 的近似估计。 光流法计算是进行像素级的运动估计，其理论基础是光流约束方程，光流约束方程可用 式( 2 1 ) 表示： f x u + 1 ，+ z = 0 ( 2 1 ) 在上式中正、兀、z 分别是对图像在工方向、y 方向及时间t 的导数，u 和1 ，分别是像素 点的光流分量。光流的计算问题就是在满足一定约束条件下，估计光流分量u 、，的数值问题。 当前计算光流场的方法主要有四类：基于匹配的方法、基于能量的方法、基于梯度的方法和 7 杭州电子科技大学硕士学位论文 基于相位的方法。 1 基于匹配的光流法包括基于区域和基于特征这两种。基于区域的方法是在序列图像中 的类似区域进行匹配定位，再由匹配到的相似区域的位移计算光流，这种方法的主要缺点是 计算量比较大。基于特征的方法是先定位运动目标的主要特征，然后对这些特征进行跟踪， 它的特点是对大的运动目标的运动和亮度变换具有很好的鲁棒性，但是这种方法主要难点是 特征的提取以及特征的跟踪。 2 基于能量的方法【2 8 】先要对视频图像进行时空滤波，时空滤波是一种时间和空间的整合。 对于均匀的流场，想要获得正确的速度估算，对图像进行时空滤波是有必要的，但是时空滤 波会降低光流估计的时间和空间分辨率。尤其是当在时空滤波区域包含几个运动成份时，估 计精度将会降低。此种方法设计需要大量的滤波器，导致计算耗时比较大。 3 基于梯度的方法中的2 d 速度场由图像序列的时空微分获得。虽然很多基于梯度的光流 场法能得到较好的光流估计，但由于在计算光流时可靠性评价因子选择较困难且参数需人工 选取，以及图像预处理对光流计算结果的影响，在对运动目标进行检测和跟踪还存在很多的 问题。 4 基于相位的方法。f l e e t 和j e p s o n 2 9 】首次提出了用相位信息计算光流场的问题。此方法 之所以被称为基于相位的方法是因为速度是由带通滤波器的输出相位决定。带通速度调谐滤 波器输出的等相位轮廓相垂直的瞬时运动来定义分速度。带通滤波器按照尺度、速度和定向 来分离输入信号。此方法虽然能获得较高的光流估计精度，但往往涉及复杂的计算，且很难 进行可靠性评价。 光流场法的优点是不需要预先知道场景的任何信息就能有效地检测出独立运动的对象。 然而，光流场法有着非常明显的缺点，由于噪声、阴影、透明性、遮挡等原因造成了计算出 的光流场的不精确；光流场法一般计算都很复杂，计算耗时多，在交通场景中对车辆目标的 检测很难做到实时性，因此很少会被采用。 2 2 2 帧间差分法 帧间差分法是检测相邻帧图像之间的变化，考虑了相邻帧图像具有的相关性。帧间差分 法先计算图像序列中前后两帧或三帧对应图像像素点间的差分，如果某一个像素点的差分值 很大，则认为该点为运动目标点；反之，如果该像素点的差分值很小就认为在该点为无运动 目标，然后将运动目标点进行连通性判定，以此来检测运动目标。图2 1 为帧间差分法的基 本流程。 图2 1 帧间差分法基本流程图 杭州电子科技大学硕士学位论文 帧间差分法实现比较简单、程序复杂度低、易于实时实现、对场景的变化不敏感。但这 种方法不能用于对运动目标的短暂停留进行检测，且处理效果与图像采样频率以及目标的运 动快慢有关。采用帧间差分法时需考虑如何根据目标的运动速度选择合适的时间间隔进行图 像差分。对于快速运动的目标，需要选择较小的时间差，如果时间差过大，有可能目标在前 后两帧中完全没有重叠，造成一个运动目标错误检测成两个分开的运动目标；而当目标运动 速度很慢时，需选择较大的时间差，如果时间差过小，有可能在前后两帧中该运动目标几乎 完全重叠，检测不到目标。此外，由于前后两帧之间同一目标在图像中会有重叠区域，当这 些重叠区域的颜色信息比较相似时在检测到的运动目标内部容易产生空洞现象，即检测到的 运动目标不完整，造成检测效果不理想，该方法较适用于简单运动检测场合，不太适合对交 通场景车辆进行检测。 2 2 3 背景差法 背景差法是当前研究最多的一种运动目标检测方法，被广泛应用于各种场景中的运动物 体提取。它的原理非常简单，利用当前图像和背景图像的差分来检测运动物体的前景区域， 将场景的图像和不含运动物体的图像进行比较，两者在图像中存在明显差异的区域一般包含 了运动物体信息。 l 视频图像h预处理卜_ 叫图像差分卜_ 叫 二值化 h 后续处理 jl l 眢县圆膨 7 1 月尿因4 陈 图2 2 背景减法基本流程图 在摄像头固定的情况下，车辆目标检测通过对每一幅场景图像帧与一幅参考背景帧之间 的比较来获得，它的流程图如图2 2 所示。 设t 时刻背景图像为以( f ) ，当前图像为丘( f ) ，则由当前图像和背景图像得到的差分二值 图像中的像素值大小为： 讹y 舻 烈五只力。2 裟r 汜2 ， 上式中丁为阈值可以动态获得或者根据经验设置成一个静态值，厶( x ，y ，f ) 值为1 的像素 对应的是场景中的运动目标像素。 道路交通场景是时刻变化的，在不同的时间段，如白天、夜晚；不同的光照条件，如多 云、阴天、晴天、雨天、浓雾等各种交通场景下，背景也会随时变化，必须对背景进行更新。 背景更新算法的性能直接影响着后续的运动目标检测和车辆违章行为分析的准确性。 9 杭州电子科技大学硕士学位论文 2 3 背景更新算法 目前，背景提取算法有很多种，大致可以分为基于统计的方法和基于预测的方法。在基 于统计方法中有统计直方图法【3 0 1 、统计均值法【3 1 1 、高斯分布模型法、混合高斯分布模型法 3 2 - 3 4 】、非参数化模型法【3 5 1 、k _ 均值聚类法f 3 6 】、s u r e n d r a 澍5 1 等；在基于预测的方法中有维纳 滤波器法【3 7 1 、卡尔曼滤波器法等。基于预测的方法相对基于统计的方法算法复杂度相对较 大，且当模型出现错误时会造成较长时间的影响。考虑到交通场景的实时性、准确性等问题， 在交通场景的背景更新中一般采用的是基于统计的方法，而混合高斯分布模型法是基于统计 方法中最常用的方法。 2 3 1 混合高斯分布模型法 s t a u f f e r 和g r i m s o n 提出了一种自适应的混合高斯模型法【3 4 1 ，算法使用混合高斯分布模型 来表征图像序列中的同一个像素点的特征，混合高斯模型是有限个高斯函数的的叠加，每获 取一帧新的图像，更新混合高斯分布模型，某一个像素点在某一时刻选取混合高斯模型的背 景子集，当在某帧图像中的该像素点与混合高斯模型的背景子集匹配，则判定该像素点为背 景点，否则判定为前景点。 假设用k 个高斯分布表征每一个像素点，设t 时刻图像中某一像素的特征为x ( f ) 则其概 率密度为： p ) ：壹w f ，刁伍。) ( 2 3 ) 其中k 为混合高斯分布中表不像素特征的商斯分量个数，k 越大计算越复杂，考虑到算 法的速度和有效性，足值一般取3 - 5 之间，刁k ，“，叫) 为t 时刻第i 个高斯分量的概率密 度固数，“和为第i 个分量的均值向量和协方差矩阵，嵋o ) 为第i 个高斯分量的权值， 且w f j = 1 ，其中： 刁伍 ，印) ：七口扣啊j 4 似- l t j ( 2 4 ) ( 2 万弦i “i j 式( 2 4 ) 中n 是特征向量x o ) 的维数，当假设每个像素的色彩空间中各颜色分量相互独 立且有相同的方差时，则可用单位对角矩阵来表示高斯概率密度函数的协方差矩阵，即： f ，f = 吼， ( 2 5 ) 混合高斯模型的初始化： “。= 万1 缶n - i l= 万1 刍n - i 亿一“。) 2 ( 2 6 ) 其中n 为初始图像序列的帧数，在初始化阶段假设背景静止或者场景中仅有- d , 部分运 动，且图像序列中的每个像素持续一段时间。 杭州电子科技大学硕士学位论文 初始化后视频序列中每得到一帧图像更新模型的参数，首先检查每一个新的像素值是否 与模型匹配。即在t 时刻，如果所服从的像素特征对第i 个高斯分量有： p l , t 皂倒篷i “, t ( 2 7 ) 式( 2 7 ) 中d 是置信参数，一般取值为2 到3 之间，当l 以一坼i d 时屈，的值为0 ，则 表示输入的像素点与背景的高斯混合模型不匹配，说明该像素是前景像素，不对高斯混合模 型参数进行更新。当i 置一吩lsd u 时局j 的值为l 则认为输入的像素点和混合高斯模型匹配，接 下去更新高斯混合模型的参数。混合高斯模型的权值、均值和方差按式( 2 8 ) ( 2 1 0 ) 更新： w i j = 0 一口h j l + 口 ( 2 8 ) u f ，f = ( 1 _ a ) u “一l + p x , ( 2 9 ) q ，= ( 1 一p ) 吒一。+ p 一“) r 一掰“) ( 2 1 0 ) 其中a 是权值更新率，( 0 a 1 ) ，p 是参数更新率： p = 口7 7 iu i , t - l , q 卜1 ) ( 2 1 1 ) 在这选取混合高斯模型中权值较大、方差较小的模型为背景模型，权值大说明在t 时刻 前自较多的观测值与该高斯模型分量相匹配，方差较小说明对应的高斯分量较稳定，使用适 合度嵋吼的大小来衡量高斯分布模型的优先级对各高斯分布按优先级从高到低次序排列， 前b 个分布表示为场景的背景，b 由下式确定： 厂b、 b = a r g m i n 6 i f ti ( 2 1 2 ) i = 1 式( 2 1 2 ) 中t 为背景模型所占的最小比例，是场景判为背景的最小阈值，把前b 个权 值之和大于预设阈值的高斯分量作为场景当前时刻的背景模型，按照优先级次序将x ，与前b 个高斯分布逐一按式( 2 1 2 ) 进行匹配来确定该点当前时刻是前景点还是背景点，完成对场 景中的目标检测。 混合高斯分布模型法虽然能适应复杂的场景，但是其计算复杂度较大、对场景的亮度比 较敏感、建模参数比较难调等问题制约了其应用。针对以上方法的不足之处本文提出了一种 基于分类模式的背景更新方法。 2 3 2 基于分类模式的背景更新方法 基于分类模式的背景更新方法中讨论了分块原理，对于前景子块物体两帧之间的稳定性 问题，采用了m a d 块匹配的方法对子块物体进行稳定性度量。根据前景点和背景点的不同， 提出了两种背景更新策略，直接更新和选择性更新。背景点采用了简单的直接更新方法，这 部分的更新主要是适应场景背景的缓慢变化，如光照强度的变化等，选择性更新部分根据前 景物体占图像面积的比例不同分别应用了基于块计数触发和一定稳定度的块匹配方法进行背 杭州电子科技大学硕士学位论文 景更新，在基于块计数触发部分中提出了历史连续匹配度和子块触发概念，对触发子块8 邻 域内的子块采用了队列操作思想，一定稳定度的块匹配方法用于处理大前景物体的背景更新 问题，它由m 阶段和m 阶段组成。最后用实验验证了本文提出的算法的有效性，从实验结 果分析可知，该算法特别适用于视频中有新背景物体产生的情况。 ( 1 ) 分块原理 不同于传统的对视频图像中每个像素提取背景的方法，本文采用对图像块进行处理的思 想，一般情况下视