（计算机软件与理论专业论文）基于交通视频的车辆检测跟踪及分类技术研究.pdf

l 苏州大学学位论文使用授权声明 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即：学位论文著作权归属苏州大学。本学位论文电子文档的内容和纸 质论文的内容相一致。苏州大学有权向国家图书馆、中国社科院文献 信息情报中心、中国科学技术信息研究所( 含万方数据电子出版社) 、 中国学术期刊( 光盘版) 电子杂志社送交本学位论文的复印件和电子 文档，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段 保存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数 据库进行检索。 涉密论文口 本学位论文属 在年一月解密后适用本规定。 论 导 期：垄l 垦：垒：垒 期：型i9 ：皇：墨 基于 理的层次、质量更是与人们生活密切相关，提高交通管理水平的重要措施就是采用智 能交通系统，即i t s 。基于视频的车辆检测、跟踪和分类技术的发展为i t s 中动态交 通信息的采集与分析提供了一条很好的途径，这些技术可以广泛地应用于车辆收费、 道路监控、大型停车场以及提高公路利用效率等领域。 本文对基于交通视频的车辆检测、跟踪及分类技术进行了深研究，并有针对性地 提出了若干算法和技术方案。本文主要研究工作如下： ( 1 ) 通过对现有检测方法和背景模型的分析，提出了基于帧间差分的统计背景重 构算法和基于信息融合的背景自适应更新算法。 ( 2 ) 针对现有跟踪算法对运动车辆和背景区分度不高，在车辆出现尺度变化、旋 转、遮挡、噪声干扰等情况下跟踪效果不好的问题，提出一种基于s i f t 特征度量的 s i f t - m e a ns h i f t 目标跟踪算法。 ( 3 ) 根据本文的车辆分类标准对车辆特征进行了选择，对特征的可区别性和有效 性进行了论证，提出一种车辆分阶段分类模型。并利用运动目标的动态特征，提出一 种实现对车辆目标识别的方法。 ( 4 ) 针对不同分类阶段的特点，设计了相应的分类模型。在第一阶段，利用改进 的遗传算法同时对神经网络的结构和权值进行优化，避免了神经网络陷入局部最优的 可能。在第二阶段，选择岭形分布函数建立了车辆大小隶属函数的初始模型，并用遗 传算法对其优化，根据优化后的隶属函数设计了相应的模糊神经网络，解决了车辆大 小概念模糊、分类效果差的问题。 文中还对提出的算法和技术方案进行了实验，结果表明本文提出的算法和技术方 案是行之有效的。 关键词：智能交通系统，运动检测，目标跟踪，s i f t - m e a ns h i f t ，车辆分类 作者：翟海涛 指导老师：崔志明( 教授) r e s e a r c ho nv e h i c l ed e t e c t i o nt r a c k i n ga n dc l a s s i f i c a t i o nt e c h n o l o g yi nt r a f f i cv i d e o r e s e a r c ho nv e h i c l ed e t e c t i o nt r a c k i n ga n d c l a s s i f i c a t i o nt e c h n o l o g yi nt r a f f i cv i d e o a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fs o c i e t ya n de c o n o m y , t r a f f i cb e c o m e sm o r ea n dm o r e i m p o r t a n t t ot h eh u m a n i t y t h ei n t e l l i g e n t t r a n s p o r ts y s t e m s ( i t s ) i sa ni m p o r t a n t m e a s u r et oi m p r o v et h et r a f f i cm a n a g e m e n t sl e v e la n dq u a l i t y , a n di sc l o s e l yr e l a t e dw i t h p e o p l e sl i v e s v e h i c l ed e t e c t i o n ，t r a c k i n ga n dc l a s s i f i c a t i o nt e c h n o l o g yp r o v i d eag o o d w a yt oc o l l e c ta n da n a l y z et h ed y n a m i ct r a f f i ci n f o r m a t i o ni nt h ei t sa n dc a nb ew i d e l y u s e di nt h ea r e a so fv e h i c l ec h a r g e ，r o a dm o n i t o r i n g ，l a r g ep a r k i n gl o t ，r o a d se f f i c i e n c y i m p r o v i n ga n ds oo n t h i st h e s i sd o e sr e s e a r c ho nv e h i c l ed e t e c t i o n ，t r a c k i n ga n dc l a s s i f i c a t i o nt e c h n o l o g y b a s e do nt h et r a f f i cv i d e o ，a n dp r o p o s e sc o r r e s p o n d i n ga l g o r i t h m sa n ds o l u t i o n s t h em a i n c o n t r i b u t i o n si nt l 】i st h e s i sa r ea sf o l l o w s ： m o r e o v e r , t h i st h e s i sa l s od e s i g n sa n dp e r f o r m ss e v e r a le x p e r i m e n t so nt h ep r o p o s e d m e t h o d sm e n t i o n e di nt h et h e s i s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h e s em e t h o d sa r e f e a s i b l ea n de f f e c t i v e k e y w o r d s ：i t s ，m o v i n gd e t e c t i o n ，o b j e c tt r a c k i n g ，s i f t - m e a n s h i f t ，v e h i c l e c l a s s i f i c a t i o n w r i t t e n b y ：h a i - t a oz h a i s u p e r v i s e db y ：z h i - m i n gc u i i i i 目录 第1 章绪论1 1 1 研究背景及意义1 1 2 国内外研究现状一1 1 2 1 智能交通系统研究现状2 1 2 2 运动目标检测研究现状3 1 2 3 运动目标跟踪研究现状3 1 2 4 车辆分类研究现状4 1 3 本文的特色与贡献4 1 4 本文的结构安排5 第2 章运动车辆检测7 2 1 运动检测技术简介7 2 1 1 背景差分法7 2 1 2 帧间差分法8 2 1 3 光流法8 2 2 背景重构及更新9 2 2 1 基于帧间差分的统计背景重构9 2 2 2 基于信息融合的背景自适应更新1 2 2 3 运动分割及预处理。13 2 3 1 背景差分1 3 2 3 2 形态滤波去噪1 4 2 3 3 阴影检测及去除15 2 4 实验结果及分析1 7 2 4 1 背景重构验证l7 2 4 2 背景更新验证2 0 2 5 本章小结2 0 第3 章运动车辆跟踪。2 2 3 1 跟踪技术简介2 2 基于s i f t 特征度量的m e a ns h i f t 目标跟踪2 2 2 1m e a ns h if t 算法2 3 2 2s i f t 特征度量2 4 2 3 目标表示与s i f t - m e a ns h i f t 跟踪2 6 实验结果及分析2 9 3 1 验证尺度、旋转不变性2 9 3 2 验证抗噪性3 0 3 3 验证遮挡及稳定性31 3 4 验证收敛及实时性3 1 3 5 多目标跟踪及车流量统计。3 2 本章小结3 3 第4 章特征提取及车辆目标识别3 4 4 1 车辆分类标准3 4 4 1 1 常用车辆分类标准3 4 4 1 2 本文车辆分类标准。3 5 4 2 特征选择及提取3 5 4 2 1 特征选取原则。3 5 4 2 2 动态特征选取3 6 4 2 3 静态特征选取3 8 4 3 车辆目标识别。4 1 4 3 1 特征选取4 1 4 3 2s v m 分类4 1 4 3 3 实验结果及分析4 3 4 4 本章小结。4 4 第5 章车辆分类模型的建立与优化4 5 5 1 分类模型原理简介4 5 5 1 1 人工神经网络概述4 5 5 1 2 人工神经网络模型4 7 5 1 3 模糊模式识别4 8 5 2 1 神经网络分类模型设计5 0 5 2 2 遗传算法优化5 1 5 3 货车分类模型5 5 5 3 1 隶属函数拟合5 5 5 3 2 隶属函数优化5 7 5 3 3 模糊神经网络分类器设计5 8 5 4 实验结果及分析。5 9 5 4 1 第一阶段分类5 9 5 4 2 第二阶段分类6 0 5 5 本章小结6 3 第6 章总结与展望6 4 6 1 工作总结6 4 6 2 展望未来6 5 参考文献。6 6 攻读学位期间公开发表的论文与科研项目7 0 致谢7 2 图表目录 2 1 序列图像中某像素灰度变化1 0 2 2 连续差分图像1 0 2 3 临时视频序列1 1 2 4 差分图像及灰度分布。1 4 2 5 二值差分图像1 4 图2 - 6 形态学去噪效果1 5 图2 7 阴影去除效果图1 7 图2 - 8 背景重构采样点灰度分布18 图2 - 9 重构背景效果图19 图2 1 0 复杂交通视频中背景重构2 0 图2 1 1 背景自适应更新2 0 图3 1m e a ns h i f t 示意图2 3 图3 2 高斯金字塔和高斯差分金字塔图。2 4 图3 3s i f t 算子种子结点关键点邻域中的特征向量分布2 6 图3 4s i f t - m e a ns h i f t 算法流程图。2 8 图3 5 算法s i f t - i m e a n s h i f i _ t r a c k i n g 。2 9 图3 6 特征向量分布折线图。2 9 图3 7 序列图像加入椒盐噪声后的跟踪效果图3 1 图3 8 跟踪目标出现部分遮挡时的跟踪效果图3 l 图3 - 9 序列图像迭代曲线图3 2 图3 10 多目标跟踪3 3 图4 1 运动摆幅示意图3 7 图4 2 分阶段分类流程3 8 图4 3 车辆轮廓几何参数示意图3 9 图4 4s v m 最优分类面示意图4 2 图5 1 分阶段分类整体流程图一4 5 图5 2 人工神经元模型4 6 图5 4 常见的网络结构示意图4 7 图5 5 第一阶段神经网络模型5 0 图5 - 6 染色体编码示意图5 2 图5 7 交叉示意图5 4 图5 8 模糊统计隶属函数5 5 图5 - 9 岭形函数分布示意图。5 7 图5 1 0 模糊神经网络结构5 8 图5 1 1 优化后隶属函数图6 1 表1 1 主流i t s 产品2 表3 1 算法单位时间内处理帧数。3 2 表3 2 车流量统计3 3 表4 1 收费公路车辆通行费车型分类3 4 表4 2 本文车辆分类标准3 5 表4 3 第一阶段分类标准一3 9 表4 - 4 部分运动目标的特征4 3 表4 5 车辆分类准确度4 3 表5 1g a 算法参数表5 9 表5 2 抽象车形的部分特征数据5 9 表5 3 车形分类结果6 0 表5 4 大型车模糊神经网络输出层结果6 2 表5 5 中型车模糊神经网络输出层结果6 2 表5 6 小型车模糊神经网络输出层结果6 2 表5 7 模糊神经网络分类结果6 2 基于交通视 一。1 。- 。_ _ i _ _ _ _ _ - - _ _ - 。_ _ - _ - _ _ _ 频的车辆检测跟踪及分类技术研究第1 章绪论 _ - _ - _ i _ - _ _ _ - _ _ _ _ _ _ _ _ - _ _ _ _ - _ _ _ _ _ - 。_ - _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ - _ _ _ _ _ - _ _ _ _ - _ _ _ _ _ i _ - _ _ - _ _ _ _ _ - _ _ - - _ - i _ _ i _ _ _ _ - - _ _ _ _ _ _ _ _ _ - - _ _ _ _ _ _ _ _ _ _ _ - 。- - _ 。_ 。- 。_ _ - 一 第1 章绪论 本章首先简要介绍文章的研究背景及该领域的研究现状，然后详细阐述本文研究 的主要内容，最后是全文的结构安排。 1 1 研究背景及意义 随着社会经济快速发展，交通在人类经济、社会活动中的地位日益显著，交通管 理的层次、质量更是与人们生活密切相关。然而，由于机动车辆数量的不断增加，道 路拥挤、事故频发、违章逃逸、能源紧张、环境污染等问题也越发严重，交通运输环 境急剧恶化。提高交通管理水平的重要措施就是采用智能交通系统( i n t e l l i g e n tt r a f f i c s y s t e m ，既i t s ) 。它是将先进的信息技术、数据传输技术、电子控制技术以及计算机 处理技术等有效地综合运用于整个运输管理体系而建立起的一种在大范围内、全方位 发挥作用的，实时、准确、高效的综合运输管理系统【1 1 ，是目前解决交通阻塞、提高 行车安全和保护环境的主要措施，也是在道路交通建设的限度下，提高生产能力的战 略措施。 交通动态信息的获取是i t s 的第一步，是实施进一步的交通监控和管理的基础， 主要包括车牌、车流量、车速、车辆类型等信息的采集与分析。目前交通信息的采集 主要采用人工统计的方式，这种方式不仅工作量大，而且不能保证统计数据的准确性： 利用红外线、环形磁感应线圈等传感器的交通信息获取方式实时性好，识别率高，但 是安装复杂，使用寿命短，后期维护成本高，并且获得的信息非常有限，无法识别和 分析车辆的行为，因此有很大的局限性。计算机视觉和模式识别技术的不断发展，为 以视频理解为基础的智能交通系统进入实际应用提供了良好发展契机。基于视频的车 辆检测、跟踪及分类技术的研究与发展为交通信息的采集与分析提供了一条良好途 径，这些技术可广泛地应用于车辆收费、道路监控、大型停车场以及提高公路利用效 率等领域，是基于计算机视觉的智能交通系统中的关键技术，也是目前智能交通系统 研究的热点。 1 2 国内外研究现状 受到了 举办，讨论了国内外关于智能交通系统的研究和应用现状。 早期由于计算机速度和存储能力的限制，道路交通的管理主要是靠人工来实现 的。2 0 世纪8 0 年代后，随着计算机处理能力的增强和人工智能的发展，i t s 也慢慢 活跃起来，世界各国都相继将研究重点投入这一领域，对基于计算机视觉的i t s 中的 关键技术进行了深入的研究，取得了显著的成果。 c o l l i n s 2 】等创建了一个路上移动目标的检测、跟踪、识别系统，用训练的神经网 络来识别运动目标是人、人群、车辆还是干扰，网络的输入特征量有目标的分散性度 量、目标大小、目标表面大小与摄像机监视区域大小的相对值。t a n 和b a k e r l 3 描述 了一种车辆定位和识别( 微型公共汽车、轿车、卡车等) 的方法。国内许多科研机构 也非常关注对i t s 技术的研究，比较成功的系统有：中国科学院自动化研究所模式识 别国家重点实验室视觉监控小组自行设计的交通监控系统v s t a r ( v i s u a ls u r v e i l l a n c e s t a r ) 和上海交通大学计算机视觉实验室刘允才教授领导的科研小组研制的“交通信 息实时视频检测系统 。 目前国内外成熟的i t s 产品如表1 1 所示： 表1 1 主流i t s 产品 2 基于交通视频的车辆检测跟踪及分类技术研究 第1 章绪论 1 2 2 运动目标检测研究现状 运动目标检测的目的是将序列图像中的运动目标从背景图像中分割出来，是运动 目标跟踪和车辆分类的前提，也是交通信息采集的第一步。目前运动目标检测算法主 要有帧间差分法【4 ，5 1 ，基于统计模型的方法1 6 , 7 和基于运动矢量估计的方法【引。 吴思等人在文献 4 】中提出了一种基于动态背景构造的视频运动对象自动分割算 法。该方法利用基于前景分离的动态背景构造技术，使用与当前帧相邻的前后多帧图 像中的背景信息准确地构造当前背景，然后通过背景消除分割出运动对象，同时对静 态前景区域( 即帧间静止的运动对象区域) 进行检测，并将其合并到已分割出的对象 区域上，从而获得完整的对象区域。h a r i t a o g l u 等在文献 6 d p 利用最小、最大强度值 和最大时间差分值为场景中每个像素进行统计建模，并且进行周期性的背景更新。运 动场估计的检测与分割是通过视频序列的时空相关性分析并估计运动场，建立相邻帧 对应的关系，进而利用目标与背景表现运动模式的不同进行运动目标的检测与分割。 1 2 3 运动目标跟踪研究现状 目标跟踪就是利用图像处理、模式识别的方法发现视频序列中与指定目标图像最 相似的部分，是计算机视觉领域内的一个典型问题。为了实现对复杂环境中运动目标 快速、稳定的跟踪，人们提出了众多跟踪方法。在不同的视角下，跟踪的具体方法有 些不同，但总体上可分为基于模型的跟踪【9 1 、基于区域的跟踪【1 0 ，7 1 、基于轮廓的跟踪【1 1 】 和基于特征的跟踪f 心】。就研究现状来看，国外对于基于视频的目标检测和跟踪理论研 究及应用研究起步较早，在美国和英国等国家已经开展了大量相关项目的研究，并取 得了一定的成果。1 9 9 6 年美国国防高级研究项目署设立了视频监控重大项目 v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，其目标是为未来城市和市场监控应用开发 的一种自动视频理解技术。v s a m 不但能监测和识别异常对象，还能分析与预测人 的活动。美国国际商用机器公司( i b m ) 与美国马里兰大学联合开发的w 4 ( w h a t ，w h e r e ， w h e n ，w h o ) 系统，主要用于对人体目标的检测和跟踪，监视目标的活动。不同于多数 人体目标跟踪系统，w 4 不采用颜色线索，而采用单目灰度或红外摄像机作为视觉传 感器，以目标形状分析和跟踪技术实现人体及其头部、手部等定位，并对目标外观进 行建模，以便在目标叠加或遮挡时依然能够进行跟踪。我国这方面研究较晚，中国科 基于交通视频的车辆检测跟踪及分类技术研究 研究所模式识别国家重点实验室、上海交通大学计算机视觉实验室、华中 像识别与人工智能研究所等科研机构都对该领域进行了相关研究。 1 2 4 车辆分类研究现状 车辆分类就是依据车辆外貌特征，把车辆归为预先设定的类型。车辆分类不但是 不停车自动收费系统中的关键技术，而且在停车场的车辆管理，交通流量统计等多方 面都有应用。国内关于车辆分类的研究主要采用基于神经网络的方法。例如文献【1 3 】 提出了一种利用前向三层神经网络及计算机视觉技术对汽车车型进行自动识别的方 法，取得了很好的效果。但是该方法分类过于简单，应用价值不大。文献 1 4 提出了 一种利用小波分析和矩不变量理论进行车辆识别的方法。识别率虽然有所提高，但是 该算法计算量大，无法满足实时分类的要求。国外对车辆分类的研究较早，文献 1 5 】 用高精度摄像机观察车辆的运动来估计车辆形状，通过估计特征点得到车辆轮廓，从 而实现对车辆的识别。 1 3 本文的特色与贡献 长期以来人们试图用智能化的交通管理手段来规划管理交通，并以此弥补传统交 通管理方法效率低、成本高等缺陷，提高公路收费、交通管理等部门的工作效率，解 决日益严重的交通问题。i t s 的出现为学者和业界开辟了一片新的天地，社会的需求 和惊人的商业价值使该领域中的关键技术成为研究的热点。对交通视频中的车辆检 测、跟踪及分类是i t s 中的重要组成部分，是获取动态交通信息的主要途径。基于这 种认识，本文对i t s 中基于视频的车辆检测、跟踪和分类技术进行了深入的研究，提 出了面临的几个重要问题，并给出相应的解决方案。本文的特色与主要贡献如下： ( 1 ) 设计了一种基于帧间差分的统计背景重构方法，该方法利用与帧间差分检 测运动目标相反的思想将运动目标、摄像机抖动和随机噪声等从背景图像中过滤，并 对过滤后的背景采用在线聚类的方法得到初始背景。 ( 2 ) 通过分析光照和背景扰动对交通视频背景的影响，设计了一种基于种信息 融合的背景自适应更新算法。该算法能根据光照、运动目标和背景扰动的变化剧烈程 度，自适应地调整背景更新速度。 ( 3 ) 提出了一种基于s i f t 特征度量的m e a ns h i f t 目标跟踪算法，即s i f t m e a n 4 很好的抗干扰性等优点，用经优化的s i f t 特征结合m e a ns h i f t 算法实现了对车辆的 跟踪。 ( 4 ) 在充分分析车辆分类特点的基础上，设计了一种分阶段的车辆分类模型。 该模型针对不同的分类阶段，选择相应的分类特征，增强了不同类别车辆之间的差异 性，提高了特征的可区别性。并利用运动目标的动态特征，提出了一种实现对车辆目 标识别的方法。 ( 5 ) 针对不同分类阶段的特点设计了不同的分类器。第一阶段，在车辆形状的 识别过程中，利用改进的遗传算法实现了对神经网络结构和权值的同步优化；第二阶 段中，在资料统计和分析的基础上，结合专家经验选择岭形分布函数建立了隶属函数 的初始模型，并用遗传算法对隶属函数进行优化。基于优化后的隶属函数建立了模糊 神经网络，实现了对货车车形和客车车形大小的分类。 1 4 本文的结构安排 本课题的研究背景项目是“基于特征的机动车视频与图像智能检索挖掘系统 2 0 0 9 年江苏省省级现代服务业( 软件产业) 发展专项引导资金项目( 2 0 0 9 1 3 3 2 6 4 ) 】、 “基于内容的机动车图像智能检索与挖掘系统1 2 0 0 9 年苏州市应用基础研究( 工 业) 项目( s y j g 0 9 2 7 ) 及“基于多源信息融合的交通视频智能分析技术研究”( 苏州 大学科研预研基金项目) 。在该背景下对i t s 中的车辆检测、跟踪及分类技术进行了 深入研究，全文共分6 章，具体内容安排如下： 第一章首先对课题的研究背景、目的和意义进行了简要分析，然后总结了智能交 通系统及其关键技术的研究现状，最后是本文的主要内容及章节安排。 第二章是运动车辆检测技术的研究。首先对当前运动检测技术做了简要介绍，提 出了一种基于帧间差分的统计背景重构算法，较好的完成了视频背景的重构；接下来 提出一种信息融合的背景自适应更新算法，增强了背景更新的鲁棒性；最后归纳、介 绍了常用的去噪和阴影检测技术，针对交通视频提出了自己的解决方案。 第三章是车辆跟踪技术的研究。该章介绍了常用的运动跟踪技术，针对交通视频 车辆跟踪的要求，选择m e a n s h i f t 算法实现对运动车辆的跟踪，提出了一种基于s i f t 特征度量的m e a ns h i f t 跟踪算法，即s i f t m e a ns h i f t 。首先根据s i f t 算子得到被 别性和有效性进行了论证，提出一种车辆分阶段分类模型；最后针对复杂交通场景下， 常用噪声过滤方法无法将行人和自行车从视频图像中去除的问题，提出了利用运动目 标的动态特征实现车辆目标识别的方法。 第五章实现了分阶段车辆分类器。首先利用改进的遗传算法对三层感知器神经网 络的结构和权值同时优化，以实现第一阶段车辆的分类；其次分别对货车车形、客车 车形和吉普车形构建相应的分类模型进行进一步的细分。针对客车和货车大小概念比 较模糊的问题，总结了现有的隶属函数的特点，提出了更加符合车辆模糊特性的隶属 函数初始模型，并使用遗传算法对模型参数进行优化，随后利用优化后的隶属函数构 建模糊神经网络实现对车辆大小的分类。 第六章对本文的工作进行了总结，并对以后的研究工作进行了展望。 6 基于交通视频的车辆检测跟 受道路状况的多样性、背景扰动、车辆遮挡、光照变化以及车辆阴影等因素的影 响，交通视频中运动车辆的检测面临着很大的挑战。本章就此问题进行了深入的研究， 并给出了相应的解决办法。 2 1 运动检测技术简介 运动车辆检测是利用视频序列中图像的时间域或空间域信息将运动车辆从视频 背景图像中提取出来的技术，是进行车辆跟踪和分类的前提。一种好的检测方法应该 能够准确、快速地从背景图像中分割出运动车辆，对光照，背景扰动和天气变化等具 有较强的鲁棒性。目前常用的视频运动检测方法有背景差分法、帧间差分法和光流场 检测法等。 2 1 1 背景差分法 背景差分法首先通过一定算法建立背景模型作为背景图像，然后用前景图像减去 背景图像，得到前景图像和背景图像的差分图像。前景图像分为背景和运动物体两部 分，在所求的差分图像中，前景图像的背景部分将对应差分图像的低灰度值部分，前 景图像的运动目标对应差分图像的高灰度值部分。该方法可用公式( 2 1 ) 和( 2 2 ) 描述： 砬( x ，y ) = l a ( x ，少) 一最( x ，y ) l ( 2 一1 ) 蚺力= 佬糍芝r p 2 ， 其中l ( x ，y ) 为视频序列第k 帧前景图像；反( x ，夕) 为背景图像；取( x ，y ) 表示差 分图像；m 。( x ，y ) 是差分图像阈值化后的二值图像。m 。( x ，少) 中为1 的部分对应前景 图像中的运动部分，为0 的部分对应背景。 该方法的优点是原理简单，计算速度快，得到运动目标的位置、大小、面积、形 状等特征较为精确，是目前运动检测领域最常用方法。缺点是易受光照变化、背景扰 动等外界条件的影响，很难在不停车的场合下构建精确的背景图像，并且需要考虑背 景的实时更新。 7 车辆检测基于交通视频的车辆检测跟踪及分类技术研究 司差分法 差分法又称时间差分法，它基于相邻帧间像素差分的阈值化来提取视频图像 中的运动目标。交通视频中的序列图像相邻帧之间时间间隔较短，帧间的差异主要体 现为运动目标的变化。直接对连续的两帧图像做差并进行阈值化处理后，灰度没有发 生变化的部分将被减掉，灰度发生变化的部分将被保留。设五( x ，y ) ，五一。( x ，y ) 分别 为视频中的笫k 帧和第k l 帧图像，则差分图像定义为： 皿( x ，力= i 五( x ，力一五一。g y ) i ( 2 3 ) 对差分图像做阈值化处理，就可以提取运动目标： 厶= 胪力燃乃 ( 2 4 ) 式中，乃分割阈值，可以事先给定或采用自适应的方法确定。文献 1 6 提出一种 改进的帧间差分方法，根据连续帧间背景的相似性和运动目标与背景的差异性将运动 目标从背景中提取出来。这种方法对光照和天气变化抗干扰性强，并且可以实现不停 车的运动目标检测，但是准确度低，检测的同时会产生大量噪声。 2 1 3 光流法 光流( o p t i c a lf l o w ) 的概念是由h o r n 与s c h u n c k 于1 9 8 1 年提出来的。在计算 机视觉领域，光流法已经被广泛的应用于运动目标检测和物体结构的基本表示之中。 光流场t 8 , 1 7 1 1 拘主要思想是：计算图像上每一个像素点的速度矢量，得到一个图像运动 场，在视频序列的一个特定时刻，图像上的每一个具有速度矢量的像素点通过投影与 三维物体相对应，然后根据各个像素点的速度矢量特征对图像进行动态分析。当视频 序列中存在运动目标时，根据运动目标形成的速度矢量和邻域背景速度矢量的不同， 从背景中检测出运动目标，利用一些约束条件从速度场中推测出运动参数和物体的结 构。 该方法的优点是能够在不需要预先知道场景的任何信息的情况下检测独立的运 动目标，并且不受摄像机移动的影响，适应性比较强。但是光流法计算量大，并且对 噪声敏感，抗干扰能力弱，无法检测到交通视频中的静止车辆，不能满足i t s 的实时 性要求。 8 基于交通视频的车辆检测跟踪及分类技术研究 第2 章运动车辆检测 2 2 背景重构及更新 通过上述对几种车辆检测的分析可知，帧间差分法准确度低，无法检测到静止目 标。光流法算法复杂度高，实时性差，易受噪声和光照变化的影响。尽管背景帧差法 需要构建初始背景并考虑背景的更新，但由于算法简单，仍是一种简单易行的方法。 本文提出了一种基于帧间差分的统计背景重构算法，以消除随机噪声和运动目标的干 扰，构建初始背景图像，并提出了一种基于信息融合的背景自适应更新模型，根据背 景扰动和光照变化对背景进行自适应更新。 2 2 1 基于帧间差分的统计背景重构 所谓静止的“背景”就是在图像序列中灰度不发生变化或变化很小的像素；从统 计学的角度来看，背景中像素的灰度值可以看作是一个统计的结果，即图像序列中各 个像素在统计上最可能出现的值1 8 】。林洪文在颜色空间下，将y 的变化范围 分成若干区域，对每个像素点，统计一段时间内每个区间内亮度值出现的次数，找出 出现次数最多的区间，并用该区间的平均值作为背景模型在该点的亮度值。文献 2 0 】 提出了一种m o d e 背景提取算法，该方法假设在很小的一段时间间隔内，背景的灰度 值在很小的范围内变化，而前景目标( 即车辆) 的灰度值随车辆的不同而变化，即使 同一辆车，不同部位的灰度值也有不同，用直方图对视频中的像素点进行统计，并选 取灰度分布最大的区间的中值作为m o d e 值，即背景灰度值。如果车流量较大，随机 噪声较多，背景构建过程中出现次数最多的区间有可能会被运动目标或噪声覆盖，造 成背景统计不准确，这就限制了这两种方法的使用范围。 如下图2 1 所示：受运动目标遮挡、相机抖动及随机噪声的影响，视频中某一像 素点在连续2 0 0 帧中的灰度值表现出在背景灰度值附近剧烈波动的现象，在背景重构 阶段我们将这些干扰当作噪声。这些噪声将会对背景重构造成负面影响，导致背景图 像模糊或出现“孔洞”。 9 动车辆检测 基于交通视频的车辆检测跟踪及分类技术研究 l1 22 33 44 55 66 77 88 91 0 0l l l1 2 21 3 31 4 4 1 5 51 6 61 7 71 8 8 1 9 9 图2 1 序列图像中某像素灰度变化 帧间差分的思想是利用连续视频帧之间背景的相似性，通过帧问求差的方法，去 除图像中的背景部分，检测出运动目标。本文利用帧间差分的这一特点，提出了一种 基于帧间差分的统计背景重构算法。该方法的基本思想是：首先采用与帧间差分相反 的思想，通过帧间差分去除当前帧中的部分运动目标及噪声干扰，保留背景区域；其 次，对连续多幅去除干扰的连续图像进行在线聚类；最后利用最大聚类的中心像素值 构成初始背景。算法的具体步骤如下： 1 ) 生成差分序列图像； 图2 - 2 连续差分图像 如图2 2 所示，选取帧连续视频序列作为初始背景图像的训练图像。相邻两帧 图像相减得到一1 幅连续帧差图像。假设序列图像在视频阮力处的灰度值为 ( x ，y ) ，i = 1 ，2 ，n ，则连续两帧相减后得到的差分图像在视频 力处的灰度值为 p ( x ，y ) ，i = 2 ，3 ，n 。 1 0 | 卿 瑚 啪 姗 o 基于交通视频的车辆检测跟踪及分类技术研究第2 章运动车辆检测 厶回口x 母归曰 ， 图2 - 3 临时视频序列 4 ) 生成背景图像； 设p 。( f ，) ，k = 2 ，3 ，为第k 幅临时图像在视频( f ，j ) 处的灰度值，则定义视频 ( f ，j ) 处背景点集合为： 乞= 所( f ，川p k ( i ，j ) o ，k = 2 ，3 ，n ( 2 - 6 ) 由于以上过程可以随视频采样进行线性处理，本文利用在线聚类法对4 ，中的背 景点聚类。假设背景点被分为三个聚类中心( c ，w f ) ，i = l ，2 ，l 。其中c ，为第f 类的聚 类中心；w j 为第i x 中背景点的个数。若w k = m a x ( w ，) ，i = 1 ，2 l ，则选取第k 类的中 心q 为( f ，) 处像素点的灰度值。本算法也可以利用间隔差分法进行干扰去除，即第k 基于交通视频的车辆检测跟踪及分类技术研究 必须建立一种合适的背景更新模型才能 通环境下背景难以更新主要是由以下因 ( 1 ) 运动目标引起的变化：包括人将某个东西带入或带出背景，汽车驶入或驶 出背景，人或物在场景中停留又运动的情况。 ( 2 ) 运动目标本身干扰：实验表明，道路背景难以实时更新在很大程度上是由 于交通视频中车辆的车窗等部位和道路的背景很相似。 ( 3 ) 背景扰动：例如摄像机的轻微抖动或视频区域中树枝的摆动、水波等。 ( 4 ) 光照变化：包括白昼交替，闪电等自然界的光照变化和投影到背景中的阴 影。 运用背景差分法对视频进行运动目标分割，可以将前景图像分割为运动区域和背 景区域，本文利用前景图像中的背景部分更新背景图像。 = 窿。川m 篱 ( 2 7 ) 其中，口为背景更新的速度，取值范围为 o ，1 】。当视频中外界干扰比较大时，应 降低口的值，以便使背景得到及时的更新，而当外界影响较小时，应提高口的值，以 保持系统的稳定性。导致背景变化的原因主要有背景扰动和光照变化，因此口的取值 必须能够适应这些变化。针对以上问题，本文综合考虑背景扰动和光照的影响： ( 1 ) 背景扰动的影响。差分图像直方图的峰值附近是背景像素相对集中的区域， 可以通过分析该区域像素点数目的变化来估计背景扰动的强度。用l ( x ，y ) 减去 b k ( x ，y ) 得到差分图像珥( x ，y ) ，对b ( x ，y ) 做灰度值统计，得到差分图像的直方图， 表示为： h i = 红ii = 0 ，l ，2 5 5 ) ( 2 - 8 ) 式中，h j 表示灰度值为f 的像素点在仇( x ，y ) 中的个数。令， a i = m a x ( h i ) i = 0 ，l ，2 5 5( 2 - 9 ) 1 2 基于交通视频的车辆检测跟踪及分类技 式中，瓦表示差分图像喀( x ，y ) 中灰度值在q d 到a k + d 之间的像素点的个数， 文中取d = 1 0 且一d 0 & & 吼+ d 2 5 5 。同样的方法得到瓦一。，即么一。( x ，y ) 中灰度 值在 嚷一l d ，a k l + 棚之间的像素点的个数。取： q _ 1 _ 旺型( 2 - 1 1 ) f t i 与背景扰动的强度成负相关关系，背景扰动越大，越小，反之越