（交通信息工程及控制专业论文）基于视频图像分析的交通事件检测算法研究.pdf

摘要 摘要 交通事件检测在现代交通管理中具有重要作用。本文对基于视频图像分析的交通事件检铡技术 中的背景更新、交通参数提取以及交通事件检测算法进行了研究。论文的主要工作和成果主要有以 下三个方面：- 1 研究了基于k a l m a n 滤波的渐消记忆递归背景更新，提出了一种彩色空间背景更新算法，并 进行了实验验证；结果表明本文方法提取的彩色背景与灰度背景相比，能提高运动目标检测的准确 性。 2 研究了交通流量、密度、车速等交通流参数的检测，提出了一种车辆速度检测算法，利用建 立映射关系来减少摄像机透视成像的影响，把不同位置的车辆运动矢量统一成一个标准，再由标准矢 量换算成车辆速度，实现车速的检测，实验结果表明该算法有较好的测量精度。 3 研究了车辆逆行、变道、u 形转及行人等典型交通事件检测，基于车辆运动矢量方向与轨迹 时间顺序检测车辆逆行；基于车辆跟踪轨迹与车道线比较检测车辆变道。提出了一种车辆u 形转检 测方法，将车辆跟踪轨迹拟合成二次曲线，根据二次曲线方程检测车辆u 形转。论文还对行人检测 与跟踪进行了研究，采用梯度直方图特征将行人从运动目标中分离，基于k a l m a n 滤波进行行人跟踪。 实验验证了本文提出方法的有效性。 关键词：智能交通系统，背景更新，交通参数提取，交通事件检测，行人检测 东南大学硕士学位论文 a b s t r a c t t r a f f i cp a r a m e t e r sa n de v e n td e t e c t i o np l a ya ni m p o r t a n tr o l ei nm o d e mt r a f f i cm a n a g e m e n t i nt h e t h e s i st h ea l g o r i t h mo fi m a g eb a c k g r o u n du p d a t i n g ，v e h i c l et r a c k i n g ，t r a f f i cp a r a m e t e r se x t r a c t i n ga n d t r a f f i ce v e n td e t e c t i n ga leg i v e ni n - d e p t ha n a l y s i s t h em a i n w o r ko ft h i st h e s i sa n dt h ep r i m a r yr e s u l t sa r e a st h ef o l l o w i n gt h r e em a i na s p e c t s ： 1 f i r s t l y , r e s e a r c h i n go nt h eb a c k g r o u n du p d a t i n gm e t h o db a s e do nk a l m a nf i l t e r w i t hr e c u r s i v e f a d i n gm e m o r y a n dt h e n aa l g o r i t h mo fc o l o rb a c k g r o u n du p d a t i n gi sp r o p o s e da n de x p e r i m e n t a l v e r i f i c a t i o ni sd o n e r e s u l t ss h o w e dt h a tt h ec o l o r e db a c k g r o u n dc a no v e r c o m et h es h o r t a g eo fg r a ys p a c e a n dh a v ev a r i o u sd e t e c t i o np u r p o s e s 2 r e s e a r c ho ns e v e r a lm a j o rt r a f f i cp a r a m e t e r sd e t e c t i o nm e t h o d si n c l u d i n gt r a f f i cf l o w , t r a f f i c d e n s i t ya n dv e h i c l es p e e dp a r a m e t e r s ，a n dav e h i c l es p e e dd e t e c t i o na l g o r i t h mi sp r o p o s e d 。u s i n gt h e m e t h o do fe s t a b l i s h i n gm a p p i n gr e l a t i o n s h i p ，t h ei m p a c to ft h ec a m e r ai m a g i n gl e n si sr e d u c e a n dt h e n d i f f e r e n tp o s i t i o n so ft h ev e h i c l em o t i o nv e c t o r si su n i f i e di n t oas t a n d a r do n e ，b a s e do nw h i c ht h ev e h i c l e s p e e di sc o n v e r t e d t h ee x p e r i m e n tr e s u l ts h o w e dt h a tt h ea l g o r i t h mh a sb e t t e rm e a s u r e m e n ta c c u r a c y 3 r e s e a r c ho nt h et r a f f i ce v e n td e t e c t i o nm e t h o di n c l u d i n gv e h i c l e sr e t r o g r a d e ，v e h i c l e sr o a dc h a n g e ， u - t u r na n dp e d e s t r i a nd e t e c t i o n w h e t h e rt h ev e h i c l e sr e t r o g r a d eo rt h ev e h i c l e sr o a dc h a n g ei sd e t e r m i n e d t h r o u g hv e h i c l et r a c k i n ga n dt r a j e c t o r yv e c t o r b a s e do nt h et r a c k so fv e h i c l e s ，aq u a d r a t i cc u r v e i s f i t t e d a n dt h r o u g ht h ec h a r a c t e r i s t i c so ft h i sc u r v ew ec a nj u d g ew h e t h e rt h eu - t u r nh a sh a p p e n e d a tt h es a m e t i m e ，t h ep e d e s t r i a nd e t e c t i o nb ym e a n so fp e d e s t r i a nc h a r a c t e r i s t i c sd e t e c t i o nt h r o u g hg r a d i e n th i s t o g r a m a n dt r a c k i n gt h ep e d e s t r i a nt h r o u g hk a l m a nf i l t e ri sa l s od i s c u s s e d e x p e r i m e n t a lv a l i d a t i o nt h em e t h o d s p r o p o s e da r ee f f e c t i v e k e y w o r d s ：i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，b a c k g r o u n du p d a t i n g ，t r a f f i cp a r a m e t e re x t r a c t i o n ， t r a f f i cl n c i d e n td e t e c t i o n p e d e s t r i a nd e t e c t i o n 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：龇 e l 期： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：兰叁丛坠导师签名 日期： 啦衫 第一章绪论 1 1 研究背景 第一章绪论 随着社会与经济的发展，交通需求不断增加；以北京车辆数为例，建国初期只有机动车2 3 0 0 辆，1 9 9 7 年2 月突破了1 0 0 万辆，2 0 0 3 年8 月5 日突破了2 0 0 万辆，2 0 0 7 年5 月底超过3 0 0 万辆。车辆的剧增， 给交通造成了巨大的压力，各种交通问题不断涌现。拥堵的城市交通使得车辆在爬行，造成了能源的极大 浪费，都市环境受到严重的污染。交通事故的频繁发生，据统计，全球每年死于交通事故人数超过1 2 0 万 人；中国每年因为交通事故丧生人数已经超过了1 0 万人，居世界首位。以“安全、快速、高效、舒适、 方便”为特征的高速公路【i 】也出现了频繁的事故与拥挤等问题。 目前造成各种交通问题的原因，除了交通需求的不断增加外，还有人们的交通安全意识观念差，如司 机酒后驾车、超速行驶、闯红灯、变道与逆行等违章行为；但更重要的是我国交通管理设施落后，各种交 通违章事件监测技术水平相对较低，从而导致了交通管理的困难。近年来，如何应用现代高新信息技术， 将人、车辆和道路综合起来系统地解决交通运输问题的探索，促使智能运输系统( i t s ) 应运而生。i t s 的运作是建立在各种交通运输信息共享的基础上，通过对这些信息的采集、融合与提炼，达到对诸如交通 流的控制与诱导等功能；i t s 是目前解决各种交通问题的重要途径。交通事件监测与管理系统能有效地控 制与减少交通拥堵和交通事故，它属于智能运输系统的一个方面，包括交通参数的采集、事件检测与判断。 事件检测算法的好坏直接影响事件管理系统的效率。 交通视频图像分析技术是i t s 关键技术。传统的交通参数采集是通过安装大量环形线圈，安装与维护 都不方便；随着图像处理技术的发展，视频图像处理器町对摄像机提供的图片进行分析，确定车辆与相关 交通流数据。通过使用计算机，图像被数字化，通过一系列算法处理确定图像背景的变化，即进行图片像 素之间的静对比，有关交通量、车速、距离、车道变化等信息可由视频图像提供。基于视频图像处理的交 通事件检测方法，通过摄像机采集交通的各种参数，然后做出分析，可快速检测各种交通事件；基于视频 图像分析的交通监控方法以其性价比高、检测范围广、检测信息量大、检测信息直观等优点，在交通检测 和监控系统的研究中越来越受到重视。 现有交通道路都装有大量的视频系统，但大部分的视频系统都由人工方式监控，由于缺乏较好的人工 智能检测算法，未能实现由视频与计算机组成的智能监控系统。这样不仅浪费了人力来看管视频系统，还 大大限制了视频系统的功能发挥。所以研究视频图像技术来检测交通事件对提高交通视频系统的利用与视 频监控效率都有十分重大的意义。 基于视频图像技术的交通事件自动检测系统是利用计算机视觉、模式识别等技术和方法进行交通参数 采集、交通事件检测、特殊车辆识别和跟踪等。它能陕速、准确地确定交通事件的发生，以及事件地点， 可以大大减轻事件的危害程度，尽早排除事件对交通通行能力的影响。与传统方式相比，视频检测有着无 法比拟的优越性，对解决我国道路交通安全问题具有重要的意义。 1 2 国内外研究现状 1 、国外研究现状 国外对于交通事件的检测方法研究比较早，早期具有代表性的算法有：加利福尼亚算法及十个版本的 改进算法1 2 j 时间序列算法1 3 l ，贝叶斯算法1 4 】等。近年来，视频图像处理技术迅速发展，许多数学模型应用 于图像方面来检测交通事件。文献 5 6 建立了一个混合高斯隐马尔可夫模型来提取事件特征。从而对高 速公路发生的交通事件进行检测。h t a n i g u c h i 等人研究了一个背部碰撞榆测系统用来检测发生在检测区 域的碰撞事伴7 】。文献 8 】【9 】采用基于轨迹检测的方法来实现自动交通检测，其一般的步骤是：背景提取， 东南大学硕士学位论文 背景差分，运动轨迹提取，场景建模识别。在文献e 1 0 中，作者提出了一种采用跚一嗍( e n t r o p y m i n i m i z a t i o na n dh i d d e nk a r k o vm o d e l ) 的算法，该算法通过减少共同分布的熵，用h 删的内部状态能 够把观察到的交通事件组织成有意义的状态，在视频图像中自动发现和分割交通事件。对于大场景的事件 检测，e r i cg r i m s o n 和l i l yl e e 提出了建立多个摄像头监控的解决办法i l2 1 ，在他们的论文中，首先产 生实时更新的背景，并且进行背景差分，然后在共同的坐标系中估计出运动物体( 如车辆) 的3 - - e 相关 位置及运动方向，因此可以连续跟踪运动物体，而且运动物体的运动状况也可以用模型分析出来。k a t s u s h i i k e u c h i 和m a s a os a k a u c h i 提出了种被称为时空马尔可夫随机场( m r f ) 的算法叫，该算法可以在十字 路口进行交通监控及事件检测。他们分析了在压缩域内的特征( d c t 系数) ，建立了个基于h 眦的事件识 别系统。r c u c c h i a r a 提出了在视频图像上基于规则推理的城市交通车辆检测算法【。这个算法的优点是 它正式把低阶图像处理模型( 常被用来在不同照度条件下提取可视数据) 与高阶模型区分开，而高阶模型 可以为交通监控提供种基于知识的常规框架。d a i l e y 提出了个基于非校准摄像头的估计平均速度的算 i 去l b j ，该论文证明了不需估计校准摄像头的参数就可以利用图像序列里有用的几何关系、帧间的车辆运动 轨迹估计及车辆长度分布估计出车辆速度。论文 1 6 提出了个基于近红外与模糊神经网络分类的计算车 辆占有率的算法。如果不计算占有率而是进行车辆计数，这个思想可以用到交通事件检测上来。a l b i o 提 出了个基于形态学的可以用于实时高密度人群计数的方法旧，与论文 1 6 提出的方法一样，这个方法可 以用来检测车辆密度。t a n gs h a m i n g 通过学习交通流的信号波提出了个非参数回归( an o n - - p a r a m e t e r r e g r e s s i o nm e t h o d ( n p r ) ) 的方澍蟮j 。b e j a m i n 提出了一个新的跟踪算法，这个算法由层模型，块关系 及卡尔曼滤波组成，它可以用于检测拥挤交通的情况【1 9 1 。文献 2 0 2 1 用到了熵进行交通参数的提取。 2 、国内硼i 究状况 国内理论研究方面，西北工业大学自动化学院的胡太平和史忠科介绍了一种以视频图像为检测源的快 速运动检测方法并给出了该方法在闯红灯监控系统中的应用实例田l 。电子科技大学自动化工程学院的张继 平提出了一种自适应的背景相减法来分割运动物体，并采用差分图像投影和边缘投影相结合的方法来定位 车体，同时利用双向加权联合图匹配方法对运动车辆区域进行跟踪 2 3 】。华中科技大学控制科学与工程系的 张绍满等人提出了一种在视频图像上的特定区域定义虚拟线圈，然后通过估算虚拟线圈的运动矢量来检测 通过虚拟线圈车辆的运动速度【2 4 】。西安电子科技大学机电工程学院的计文平等人提出了一种车流量检测方 法。通过在视频图像中设置好虚拟线圈作为检测区域，然后用光流法对检测区域进行图像处理，求出光流 场，根据光流场信息来判断检测区域内是否有车辆通过，通过对检测区域的不断判断来统计车流量信息。 该方法能够用来测量占有率、车速等交通参划2 5 】。 在交通事件自动检测系统算法研究方面，由于我们国内视频检测技术应用研究起步较晚，在关键问题 解决研究方面并不完善。但是由于近几年我国交通事业的飞速发展，交通管理及控制的应用需求在不断增 加，越来越多的研究机构开始了该技术的研究。 总之，目前国内外的一些学者和专家都着力于基于视频的车辆检测和跟踪以及交通信息参数检测等算 法的研究，并取得了一定的研究成果；而这些算法在应用方面还存在着不足，如背景的实时更新不能适应 真实交通场景情况的各种变化，交通违章事件难以检测，车速精确度不高，室外行人等非刚体跟踪预测不 准等，这些算法还有待改进和完善。 1 3 本文研究目标及内容 1 、研究目标 利用计算机视觉技术与数字图像处理技术，研究道路交通中背景提取、参数检测及事件检测等技术， 并设计相关实验去验证本文提出方法的有效性。 2 、研究的主要内容 ( 1 ) 背景更新的研究 分析传统灰度空间的背景更新算法，讨论基于k a l m a n 滤波的渐消记忆递归方法进行背景更新； 针对灰度背景在运动检测上存在目标残缺的不足，研究提出了彩色背景更新算法，从背景差分法实 2 第一章绪论 验来验证本文方法提取背景的有效性。 ( 2 ) 车辆跟踪研究 分析了车辆跟踪技术的过程，讨论了车辆跟踪中的些基础算法，基于运动矢量的车辆跟踪方法主 要包括车辆检测、运动估计以及标号更新几个方面内容。首先阐述运动检测所用到的方法，然后介绍 了块匹配的运动估计算法，最后根据运动估计来进行车辆标号的移位与修正。 ( 3 ) 交通参数检测研究 分析了交通流量、交通密度、车辆速度等几种交通参数的检测方法。提出了一种基于运动矢量的车 辆测速方法，通过建立了一种映射关系来减小摄像机透视现象的影响，并根据建立的映射关系对车 辆运动矢量换算成实际的车辆速度，并通过实验来验证本文方法测量车速的精度。 ( 4 ) 交通事件检测研究 研究了车辆逆行、车辆变道以及车辆u 形转以及行人等几种交通事件检测方法，基于车辆运动 矢量方向与轨迹时间顺序检测车辆逆行；基于车辆跟踪轨迹与车道线比较检测车辆变道；提出了一 种车辆u 形转检测方法，将车辆跟踪轨迹拟合成二次曲线，根据二次曲线方程检测车辆u 形转：还 对行人检测与跟踪进行研究，采用梯度直方图特征将行人从运动目标中分离，基于k a l m a n 滤波进行 行人跟踪；并对上述内容进行实验分析。 3 东南人学硕士学位论文 第二章彩色背景更新算法研究 本章分析了传统灰度空间的背景更新算法，讨论了基于k a l m a n 滤波的渐消记忆递归进行背景更 新的研究；然后在灰度的基础上提出了彩色的背景更新算法，对在交通场景中采集的r g b 图像的三 个图像分量分别进行背景更新，然后合成彩色背景；通过背景差分检测车辆目标的实验表明，经本 文算法得到的彩色背景，能克服传统灰度背景在运动目标检测中出现目标残缺等不足，为准确提取 运动目标打下了基础。 2 1 基于k a l m a n 滤波的背景更新 交通背景图像会随着光照强弱、方向等因素的变化而变化，所以要不断地更新背景。背景更新 算法不仅要能过滤掉图像中的运动目标，还要能适应光照变化引起的交通背景图像的变化。一般的 加权滤波方法是在已经取得初始背景的前提下，当采集到一帧新的图像时，利用下式进行背景的更 新： 最= “一圳牛壤，+ a 宰五 ( 2 1 ) 此类方法属于回归( 递归) 背景模型，改善了非回归( 递归) 背景模型如平均法2 6 i 、中值法【2 7 】 及频率统计法2 8 1 等占用内存较大的特点，只要存储前一背景图像鼠一i 和当前帧以，大大减小了存储 图像的数量；然而更新系数口却难以给出一个定量的选择标准，通常根据实验或者经验来确定，且 很大程度上取决于具体问题。从式( 2 1 ) 可以看出，口越小当前帧五对背景的影响越小，背景统的 影响主要来自于前一次的背景图像统一，背景更新较为缓慢；反之，当前帧对背景的影响较大，背 景更新较快。 目前在背景更新的研究中，大部分的方法都属于回归性的背景模型，k a l m a n 滤波背景更新也属 于其中的一种。本节重点讨论了k a l m a n 滤波在背景更新中的作用，介绍了k a l m a n 滤波的基本原理， 根据在其原理基础上研究了渐消记忆递归的背景更新方法，并进行了相应的背景更新实验，实验结 果表明渐消记忆递归的背景更新方法能提取出较好的交通实时背景，能克服传统背景更新算法在车 辆经过后遗留下拖影的现象。但灰度空间提取的背景本身也存在着不足，现实中的交通场景是充满 色彩的，灰度图像使得现实场景的许多有用的信息丢失：因此本节还进行了彩色背景提取更新的研 究，为充分利用视觉特征做好准备。本节在已有的灰度空间k a l m a n 滤波背景更新的基础上，提出了 彩色背景更新方法，通过两种空间的目标检测实验对比，验证了彩色空间的优越性。 2 1 1k a l m a n 滤波的基本原理 1 9 6 0 年美国工程师r e k a l m n a 在线性最小方差估计的基础上，提出了数学结构上比较简单的 最优线性递推滤波方法，即著名的k a m l a n 滤波算法【2 9 1 。卡尔曼滤波理论具提出之后在动态估计领 域中得到了广泛的应用，下面介绍k a l m a n 滤波的基本原理。 首先，引入一个离散控制过程的系统，该系统可用一个线性随机微分方程( l i n e a r s t o c h a s t i cd i f f e r e n c ee q u a t i o n ) 来描述： x f k l = a x ( k i ) + b u ( k ) + w 佚)q 4 第二章彩色背景更新算法研究 再加上系统的观测值： 孤，= h x ( k ) + 所动( 2 3 ) 上两式中，撇) 是k 时刻的系统状态，u 例是k 时刻对系统的控制量。彳和b 是系统参 数，对于多模型系统，4 、b 为矩阵。讹) 是k 时刻的测量值，日是测量系统的参数，对于 多测量系统，日为矩阵。瞅) 和矽分别表示过程和测量的噪声。假设成高斯白噪声( w h i t e g a u s s i a nn o i s e ) ，它们的c o v a r i a n c e 分别是q ，r ( 这里假设它们不随系统状态变化而变 化) 。 满足上面的条件( 线性随机微分系统，过程和测量都是高斯白噪声) ，卡尔曼滤波器是最 优的。其计算过程如下： 1 ) 首先利用系统的过程模型，来预测下一状态的系统。假设现在的系统状态是k ，根据 系统的模型，可以基于系统的上一状态而预测出现在状态： x ( kk 一，) = a x ( k 1k j ) + b u ( k ) ( 2 4 ) 式( 2 4 ) 中，x ( kk u 是利用上一状态预测的结果，x ( k 1i 七砂是上一状态最优的结 果，矾动为现在状态的控制量，如果没有控制量，它可以为0 。 2 ) 接着更新预测值x ( kk 圳的c o v a r i a n c e ( 协方差) 尸体ik ，： p 仗l 七j ) = 彳p 佛一ji 七一1 ) a + q ( 2 5 ) 式( 2 5 ) 中，尸传1k 一矽是x ( k 一1k 一对应的c o v a r i a n c e ，a 表示彳的转置矩阵，q 是系统过程的c o v a r i a n c e 。 3 ) 计算k 时刻状态的最优化估算值x ( k i 尼) ： 研i 砂= x ( kk 一矽+ k g ( k ) 仫例一聊ik 一圳 ( 2 6 ) 其中k g ( k ) 为卡尔曼增益( k a l m a ng a i n ) 。 4 ) 计算k a l m a n 增益k g ( k ) k g ( 移= p ( k k 1 ) h f ( hp ( k k 1 ) h 1 + r ) ( 2 1 、) 5 ) 已经得到了k 状态下最优的估算值x ( ki 矽，为了让卡尔曼滤波器不断地运行下去直 到系统过程结束，还要更新k 状态下x ( ki 七) 的c o v a r i a n c e ： p l k k ) = ( 1 一k g ( k ) h ) p k k 1 ) 0 2 8 、) 其中，为单位的矩阵，对于单模型单测量，i = 1 。 当系统进入k + 1 状态时，尸( 后lk ) 就是式子( 2 5 ) 的尸陆一jk 矽。这样，算法就可以自 回归地运算下去。这就是卡尔曼滤波器的基本原理描述，式子( 2 4 ) 、( 2 5 ) 、( 2 6 ) 、( 2 7 ) 和( 2 8 ) 就是它的5 个基本公式。 2 1 2 基于k a l m a n 滤波背景更新算法 在实际复杂场景中，场景的变化状态是很难把握的，由于无法为其提出一个精确的数学模型， 在此情况下使用卡尔曼滤波器递推来实现背景更新估计，计算值和真实值之间可能存在较大偏差。 基于k a l m a n 滤波的背景更新研究有多种，如文献 3 0 】、【3 l 】，但其效果一般，本文讨论了另一种k a l m a n 滤波的背景更新算法，即渐消记忆递归背景更新算法p 引。 卡尔曼滤波器可以根据当前采集的图像对背景的预测值进行修正，而不是将当前采集的数据加 入过去采集的数据里重新计算。因此，在背景更新估计中更多地采用“新”观测的数据从而加快更 新的速度，同时减小“旧”数据的影响。这样，可使背景具有更强的实时性，更能反映当前的背景 状态。所以，在基于卡尔曼滤波算法中引入遗忘因子口后得到渐消因子的卡尔曼滤波背景模型，即 渐消因子卡尔曼滤波模型。 把运动目标看作是一个对背景图像的随机扰动，如果再认为这种扰动的平均值为零，则可以用 k a l m a n 滤波在零均值白噪声时的退化公式，即渐消记忆递归最小二乘法来重建和更新背景。渐消记 s x ( t + 1 ) = x t ) + k ( t + 1 ) l z ( 1 + 1 ) h f x t ) 】 ( 2 9 、) k ( t + 矽= p ( t ) h o t + 厶驴7 一 ( 2 1 0 ) p ( t + 1 ) = 二一k ( t 七1 ) h 】p t ) 也1 1 1 这里z p + 矽是，+ ，时刻的观测值；x ( o 、x ( t + 砂分别是对t 时刻和f - 卜，时刻的观测值z 和 z ( t + 矽的估值；k ( t + 矽是卡尔曼增益矩阵；尸和p p + 矽分别是f 时刻和f + j 时刻的方差矩阵； 如果认为图像中每个点在空间上是独立的，则卡尔曼滤波方程( 2 9 ) ( 2 1 1 ) 中的变量均退 化为标量【3 3 l ，即h = i ，因此以上几个式子可以改写成： x ( t + 1 ) = x t ) + k ( t + o z ( t + 1 ) 一x ( t ) 1 乜、 聊驴删心 绀7 2 南 q 1 3 ) p ( 1 + 1 ) = 二k ( t + 1 ) 】p ( t ) q 1 4 1 钟+ 砂2 南加伊南 ( 2 1 5 ) b p + 矽= a b e ) + 11 3 ( t ) = 1( 2 1 6 ) 将( 2 1 5 ) 代入( 2 1 3 ) 则可得到增益因子： k ( t + 矽= 鲁 ( 2 1 7 ) b ( t + i ) p l 1 ) 2 之l l 。瓦高】p ( 1 j = 考制尸 亿 仪b “+ j ) 一 ：盟p f l ) b ( t + i 】 其中，初始时间的滤波误差协方差可为1 ，即：p ( 1 ) = 1 。 公式( 2 1 2 ) 、( 2 1 7 ) 、( 2 1 8 ) 构成了图像序列背景重建更新模型的渐消记忆因子卡尔滤波器， 引入渐消因子口后可以防止滤波发散，限制滤波记忆长度，关于遗忘因子的选择，实际应用中根据 系统的实际特性来选取适当的遗忘因子，参考公式如下【3 4 i ： 口= l 一1 ( 2 1 9 ) 其中n 为渐进记忆长度。式( 2 1 5 ) 中的8 因子是在推导过程中引入的，定义由式( 2 1 6 ) 给出。 式( 2 1 2 ) 是时域渐消递归最d - - 乘法的数学表达式，由其可以完成背景的递归估计，实现背景图像 6 墨三兰堂皇堕墨里堑苎苎堕窒 的实时重建和更新。公式中增益园子k ( t + 是当前帧图像对背景估值的影响大小的反映，决定滤 波器的响应时间，它必须是一个小于1 的高敞函数。式( 21 2 ) 中，可以看到相邻两帧中不同的部分 被自0 弱，相同的部分几乎不变，具有低通滤渡器的性质，也就是目标运动过的区域是真正处理的区 域。随着目l + 耶的增大，x ( t + 1 ) 就可以无限逼近于背景。而 - i a 渐消园子口是考虑到滤波时为 防止发散，限制滤波记忆长度，通过对历史数据的指数加权，逐渐消除旧的数据影响- 图2 1 给出了式( 21 2 ) 的结构框图。对采集的运动图像来说，如果系统采样频率足够快则可吼 认为背景相对静止，所咀当图像序列通过这个低通滤波器时，图像序列中随时间的缓变部分c 背景) 就可咀从连续图像序列中分离出来。从图2 2 中可以看出背景估计滤波器在实现上只需要一帧的 存储空间和简单的运算器。 x f t 圈2 1 渐消记忆递归最小二秉背景估计漳涟器结构 x ( 什1 ) 下面对渐消记忆递归背景更新算法进行实验，图2 - 2 是灰度空间中的交通场景图像，第1 0 帧、 5 0 帧及9 0 帧仅为实验中图像的代表，在实验过程中连续若干帧均需要用到。囤2 - 3 中可以看出，渐 消记忆递归背景更新是一个渐进的改良过程，在实验过程中开始几帧更新得比较慢，但随着时间的 增加，更新的速度加快在9 0 帧时已经更新到接近真实背景，所以渐消记忆递归背景更新对“旧” 的数据残留更新很快，可使背景具有更强的实时性，更能反映当前的背景状态。 r 。一f 一嘭飞 ( a 1 第l o 帧( m 第5 0 帧 ( c ) 第9 0 帧 图2 - 2 灰度交通场景 厂1 厂1 r 1 a l 第1 0 帧f b l 第5 0 帧( c 僳9 0 帧 同2 - 3 莸度 问渐7 自记忆递归背景更* 东南大学碰士学位论文 2 2 彩色背景更新研究 本章上一节讨论了灰度空间中基于k a l m a n 滤波的渐消记忆递归背景更新方法t 井进行了实验。 但灰度空间提取的背景使现实场景许多有用的色彩信息丢失，造成运动检测目标残缺。针对灰度背 景的不足，奉节提出一种彩色背景更新方法。以灰度空间中用k a l m 卸滤波提取背景的基础上在 r g b 空向内，对r 、g 、b 分量分别进行基于k a l m a n 溏波的淅消记忆递归背景更新处理，再合成彩色 的图像，得到了彩色空问背景更新。 固2 m 是由摄像机采集的彩色变通场景图像，将r 、e 、b 三个分量分别采用渐消记忆递归的背 景更新方法进行更新，其结果如图2 - 5 至2 - 7 所示；三个分量各自独立由于其显示图像为单一分量， 所以作灰度级值显示，从它们变化中也可以看到背景的更新过程；在得到了r 、g 、b 三个分量的更 新结果，然后台成如图2 - 8 所示的r g b 彩色空间背景。 ( a ) 第1 0 帧m 第5 0 帻( c ) 第9 0 帧 圈2 4 r g b 彩色空间变通场景 罗j 1 厂1 厂1 i a l 第1 0 帧 c o ) - 5 0 帻 ( c ) 第9 0 帧 目2 - 5r * 量渐* 日忆归背e 新 r 1 1 厂1 厂1 f a ) 第1 0 帧 童 ( 坼第5 0 帧( c 怫9 0 帧 目2 - 6 0 分i 渐消忆递蚰背景更新 1 黟j j 曩 ，。 第= 彩色背景更新算法研究 r 1 厂1 罗1 ( a 】第1 0 帧 ( 1 1 第1 0 帧 嘞第钟帧0 ) 第如帕 圈2 - 7 b 分丘新消e 忆递归背景更新 第如帧耻) 第9 0 帻 圈2 - 8r g b 合成的渐滑记忆递归背景更新结果 2 3 彩色背景与灰度背景在目标检测中的比较 为了比较本文提出的彩色背景与灰度背景更新方法，本文进行了实验研究分析：实验分别在彩 色空间和灰度空间中进行背景差分法检测前景目标以检测得到的目标完整度为检验算法优劣的标 准进行彩色背最与灰度背景更新方法对比。 实验过程如下图所示。图2 - 9 为当前帧图像，图2 一l o 为相应空间提取出来的彩色背景及灰度背 景田像。在彩色空问中对r 、g ，b 三个分罱分别进行当前帧与背景帧差分并且采用二值化及去峰卢 处理，然后把二个结粜融合得到如图2 - 1 1 ( a ) 的结粜：扶度空问也进行当前帧与背景帧差分的目标检 测，并进行值化及去噪声处理，得到的结粜如图2 - 1 i o ) 所示。从图2 - 1 1 中可以看! l jr g b 彩色它问 的检测结粜完整由于车辆的玻璃灰度与路面接近，灰度字问结果出现目标残缺现象；可见通过彩 色空间来进行运动目标检铡的结果比灰度空间明显准确利用本文提出的彩色空问背景更新方法， ( a ) j 前彩色圈像 圈2 - 9 前帧图像 m ) 前帧灰班剧像 1 一 厂 ，一j ， ，j 。 一 厂一1 厂。1 第三章基于运动矢量的车辆跟踪 第三章基于运动矢量的车辆跟踪 车辆跟踪是交通事件检测的基础。本章介绍了车辆跟踪技术的过程，讨论了车辆跟踪中的些基础算 法，基于运动矢量的车辆跟踪方法主要包括车辆检测、运动估计以及标号更新几个方面内容。首先 阐述运动检测所用到的方法，然后介绍了块匹配的运动估计算法，最后根据运动估计来进行车辆标号的移 位与修正。 3 1 车辆跟踪技术 车辆跟踪包括车辆检测、运动估计以及目标移动更新等过程。交通场景中的大多数车辆都有驶 入、行驶和驶出三个过程。车辆检测就是对车辆的驶入进行判断，并对不同时刻不同地点驶入交通 场景的多辆车进行识别；车辆检测完成之后，要对车辆运动矢量进行估算，并根据矢量对所有的车 辆分别进行跟踪，不断更新车辆位置，直到车辆离开交通场景。 图3 1 是基于矢量运动的车辆跟踪原理框图，主要包括车辆检测、运动估计、标号移位以及标 号修正几方面，下面分别对相关方面技术进行讨论。 3 1 1 车辆检测 车 惩标标 辆动号号 检估移 修 测计 位正 图3 1 车辆跟踪基本原理框图 运动目标检测算法按照被监控场景与摄像机之间是否存在相对运动，分为静止背景下运动目标 的检测和运动背景下运动目标的检测两大类，本节重点讨论静止背景下运动目标检测。比较常用的 运动目标检测方法有三种：背景差分法，光流法，相邻帧差法。 背景差分法【3 5 】是目前最常用的运动检测方法，通过当前图像与参考背景图像相比较来检测运动 物体所在的像素区域。一般来说，当前图像中那些包括运动物体的像素区域与背景图像有明显的差 别，背景差分方法就是利用这一特点进行运动区域检测的。只要能获得1 个实时更新的参考背景， 就能够准确地进行运动检测和分离运动目标。本文中第二章就是为了解决运动检测中获取实时更新 背景而做的准备。 基于光流法【3 6 】的运动检测研究相对较少。光流法的优点是能够独立检测运动，不需要预先知道 场景的任何信息，并且可用于摄像机运动的情况，但是由于噪声、多光源、阴影、透明性和遮挡性 等原因，使得计算出的光流场分布不是十分可靠和精确。 相邻帧差法也是在运动目标检测中使用较多的一类算法| 3 7 | p s 】。基本原理就是将前后两帧图像对 应像素值相减，在环境亮度变化不大的情况下，如果对应像素值相差很小，可以认为此处景物是静 止的，如果图像区域某处的像素值变化很大，则认为这是由于图像中运动物体引起的，将这些区域 标记下来，利用这些标记的像素区域，就町以求出运动目标在图像中的位置。由于目标大小、背景 亮度的差别，对差分图像的分割方法也不尽相同。另外，当目标有阴影干扰时也要进行特殊处理， l l 东南大学硕士学位论文 文献【3 9 】对此进行了详细的讨论。为了提高差分图像法的性能，有人在此基础上提出了累积图像差分 法和对称图像差分法【删，这两种方法都可以在提高检测概率的同时降低虚报概率，效果相差不大。 本节讨论的检测目标是道路上的车辆，其中背景差分法以及虚拟检测线法对运动车辆的检测效 果相对较好，所以下面分析了这两种方法的具体原理。 1 背景差分法运动检测 背景差分法是运动物体检测与分割的重要方法之一，它的原理就是用当前帧图像与静止的背景 帧图像相减来检测运动物体，再通过阈值分割将运动物体从背景中分离出来。与相邻帧差法相比， 背景差分法具有定位准确、不扩大运动区域等特点。 在r g b 空间中作背景差分法检测运动物体，要通过对r 、g 、b 三个颜色通道融合的办法来完成， 即分别对r 、g 、b 三个颜色通道进行当前帧与背景帧差分；然后分n - - 值化，将三个颜色通道的差 分二值化图像按照一定的规则( 如投票法) 融合成一个分离前景目标的二值图像。 在背景帧差分法运动检测后，得到的运动目标检测二值化图像往往都存在一些噪声，所以要通 过数学形态学的方法来修正目标的二值图像。首先，应用膨胀运算来去除目标图像中的“小孔”类 噪声；然后，用腐蚀运算减少膨胀运算使目标面积扩大的负面影响；最后，用邻域去噪的方法来去 除图像中的孤立点噪声。 2 虚拟检测线法车辆检测 虚拟检测线法就是在待检测图像上的合适位置设置虚拟检测线，检测线的作用类似于埋于地下 的感应线圈传感器，当有车辆经过检测线时，检测线上的像素会发生变化，从而感知到车辆经过。 本文用的检测线是一条槽线，设置在与车道相垂直的方向，宽度占用8 个像素。将检测槽线位置上 的背景图像作为参照，当车辆经过检测线时，检测线位置上的像素就会由于车辆的覆盖而发生改变， 当运动物体覆盖检测槽线的宽度大于某个阈值时，就认为检测到一辆车辆。经过检测线上的车辆使得 序列图像检测线位置上的像素值发生变化，通过对色调值的变化进行计算分析，实现对运动车辆的检测， 算法流程如图3 2 所示。 检测线车辆检测的算法步骤如下： ( 1 ) 根据本文第二章的方法获得图像背景。 ( 2 ) 确定检槽测线的宽度、位置。 ( 3 ) 计算当前帧和背景图像之间的差，探测检测槽线上的像素变化。 ( 4 ) 计算差分图像检测槽线上块的平均像素值。 ( 5 ) 计算差分图像检测槽线上的分割阈值。 ( 6 ) 比较检测槽线上块的平均像素值和阈值，若连续的块像素值变化大于阈值，给这些块标记上初 始的标号。本论文中，由于是对实地采集的录像进行计算和分析用于验证车辆跟踪的算法，因此，标号从 1 开始累计。若检测线上有阿处甚至更多的连续的块的灰度变化大于阈值，分别给这几处连续的块标上不 同的连续标号，有几处标号数字累计几次。 ( 7 ) 逐帧重复步骤( 3 ) ( 6 ) ，探测检测线上的车辆，并进行背景更新操作。 1 2 第三章基于运动矢量的车辆跟踪 3 1 2 车辆运动估计 图3 - 2 虚拟检测线车辆检测流程 运动估计是数字视频处理的基本问题之一，本文主要研究三维运动物体的运动矢量在视场平面 投影的计算。图3 3 表示了一个三维运动物体在二维平面上投影的概念，即为三维运动物体在二维图 像平面上的透视或者正交投影。本文运动检测是基于二维图像平面，因此相对应的运动估计也是在 二维图像平面上进行的。 - p x ， 图3 3 三维物体平面投影图 1 3 銮堕盔兰堡圭堂垡丝奎 本文中，二维运动估算的问题主要是指正向的对应估算，如图3 4 所示，运动目标点p 在时问，时 的位置是( ，而) ，当经过了，出时刻后，p 点出现在位置( x l ，x 2 ) 处，二维运动估算即计算在f + ，f 时刻与，时刻上的运动矢量【4 ，畋】r 。 辨鲥f 时6 唾，卅a t 图3 - 4 二维运动估算示意图 本文中主要是以视频图像中的运动车辆二维运动估算，即为计算每帧图像与前一帧的车辆运动 矢量。如果每帧每一个像素点都计算运动估算的话，计算量将会很大；为减少计算量，本文中将大 小为3 2 0 2 4 0 像素的图像分割成4 0 3 0 个8 8 像素的块。故本文中所求的运动矢量即车辆块在前后 帧的运动矢量。 基于块的分析方法有相位相关法和块匹配法4 1 1 等方法。块匹配法由于它较少的硬件复杂度，因 此对于实际运用来说被认为是比较通用的算法，在国际标准中已经采用基于块的运动补偿进行数字 视频压缩( 如m p e g i 2 ) 4 2 】。 基于块的运动模型是假设图像是由运动的块组成的，主要考虑两种类型的块的运动：块的简单 二维平移和块的各种变形。在本文中，假设车辆的运动只是简单的块的二维平移。设第k 帧的一个 中心位于( ，r 1 2 ) 的n 木n 块b 被模型化成第k + ，( ，是整数) 帧中同样尺寸块的一个完全位移形式。 即： f ( n a ，n 2 ，后) = f ( x + d l ，y + 吐，r + i a t ) x ，y ，】7 = v 【强