（信号与信息处理专业论文）交通视频监控中车辆检测与跟踪的研究.pdf

交通视频监控中车辆检测与跟踪的研究 交通视频监控中车辆检测与跟踪的研究 摘 要 摘 要 智能交通系统(its: intelligent transportation system)是一种在大范围、全方 位发挥作用的，实时、准确、高效的综合运输和管理系统，它通过运用先进的 信息技术、数据通讯传输技术、电子传感技术、电子控制技术以及计算机处理 等技术，对整个交通运输管理体系进行准确、有效、安全地监控和管理。 车辆的检测与跟踪是智能交通系统中最核心、最关键的技术之一，这项技 术的性能优劣直接关系到整个系统能否有效地运行，因此车辆检测和跟踪技术 的研究对智能交通系统具有重要的意义和价值。 本文首先采用一种适用于复杂交通场景的多层次背景模型提取算法提取 出背景，该算法具有快速准确的特点；然后采用一种用于车辆检测的选择性背 景更新方法，可以有效地处理光照变化等因素引起的背景缓慢变化以及背景局 部突变的问题，并具有良好的实时性。 其次，对于车辆检测，本文首先去除车辆阴影，然后利用上述算法提取的 背景，采用一种改进的对称差分法和背景帧差相融合检测车辆运动区域，并使 每一个运动目标成为独立的连通域， 最后采用改进的两次扫描法分割目标车辆， 并在此基础上进行种子填充，解决由于车辆表面与路面灰度接近而产生的运动 目标“孔洞”问题，进而得到更准确的车辆检测结果。该算法可以适应各种复 杂的交通道路场景。 最后进行车辆跟踪。本文使用模板匹配的方法实现对车辆的跟踪，在该算 法中引入几个参数描述车辆的整体特征（如运动目标的质心，长宽比等）来建 立匹配模板，实现下一帧车辆的匹配，并在匹配完成后实时更新模板，为下一 帧的车辆匹配做好准备。在匹配过程中针对车辆间互相遮挡的问题，采用一种 基于匹配的方法分割遮挡目标，以使车辆匹配取得更好的效果。 整个算法需实现在dsp上的高效运行，本文最后结合tms320dm6437嵌入 式系统介绍了算法的优化方法，包括编译器选项优化、少使用函数调用、编写 汇编代码和edma乒乓操作等， 并通过统计算法时间性能的方式测试优化效果。 实验结果表明，优化后的本文算法具有较好的实时性和稳定性。 关键词：关键词： 背景更新 车辆检测 两次扫描法 种子填充 车辆跟踪 dsp 优化 research of vehicle object detection and tracing method in traffic video monitoring abstract intelligent transportation system(its) is a real-time, accurate and efficient integrated transportation management system which creats a wide range, all-round role.it can accurately, effectively manage and monitor the entire traffic system with integrated advanced information technology, data communication transmission technology, electronic sensor technology, electronic control technology and computer processing technology. the detection and tracking of vehicle is one of the core and most critical technologys, the good or bad performance of the technology directly relates whether the entire system can run effectively, so the research of vehicle detection and tracking technology have great significance and value to its. first of all, the title use a kind of way called multi-level background model extraction algorithm which applies to complex traffic scenes to extract background. the algorithm is fast and accurate.next, it use a selective background update method for vehicle detection, which has good real-time, can effectively deal with the problems that slow changes of background caused by the influence of illumination change and local background mutation. second, for vehicle detecting, the title remove the shadows of the moving vehicles at first, then utilizing the background extracted by previous algorithm, it use the fusion of improved symmetric difference method and background of the frame-difference-phase to detect vehicle movement area, and to make each of moving target become an independent connected domain, then use seed filling technology based on two scanning method, to solve the problem of moving targets hole which is caused by the gray of vehicles surface close to the roads, and achieve more accurate results of vehicles detection. finally, the title does vehicle tracking. this paper use template matching method to achieve vehicle tracking, the method use several parameters(such as target centroid, aspect ratio, etc) to describe the overall characteristics of the vehicle, and establish the match template of vehicles for matching vehicles in next frame, at last update the template to prepare for the next frame-match. for the problem of vehicles blocking each other in the process of match, the paper use a method base on match to break up target, and achieve better results of vehicle match. the whole algorithm need to achieve efficient operation on the dsp, the title at last introduced optimization algorithm with tms320dm6437 embedded systems, and the optimization introduced includes compiler options optimization, less use of function calls, writing assembly code and edma ping-pong operation.and the title at last tests optimization results with detecting the time of algorithm performance. the last results show that algorithm have good real-time and stability. keywords：background update； vehicle detection； two scanning method；seed filling；vehicle tracking；dsp optimization； 插图清单插图清单 图 1.1 算法的结构流程 .6 图 2.1 生成候选背景 bn .10 图 2.2 三种方法在前 30 帧生成的背景结果.12 图 2.3 三种方法对第 43 帧图像的检测结果.12 图 2.5 初始背景模型和三种背景更新方法的结果.15 图 2.6 提取的 3 帧原始图像.16 图 2.7 三种方法对背景突变区域的更新结果及车辆检测结果 .16 图 3.1 帧间差分法算法过程.19 图 3.2 背景差分法算法过程.20 图 3.3 改进的背景差分法的算法流程图 .21 图 3.4 对称差分和背景帧差相融合的检测结果 .22 图 3.5 三种方法的目标检测结果 .22 图 3.6 投影法区域分割示意图 .24 图 3.8 连通域两轮扫描法示例 .25 图 3.9 两个互相衔接的目标块 .26 图 3.10 目标快外截矩形区域边界的像素点.27 图 3.11 扫描点邻近像素点位置 .27 图 3.12 改进的两次扫描法实验结果.27 图 3.13 传统扫描线种子填充法和本文方法的比较.28 图 3.14 两种方法的实验结果.29 图 3.15 逐行扫描法和本文方法的实验结果比较.30 图 3.16 yuv 空间中点的运动对其色度、饱和度的影响.31 图 3.17 阴影检测算法流程图.32 图 3.18 消除阴影的实验结果.32 图 3.19 运动车辆检测算法流程图 .33 图 4.1 遮挡车辆与非遮挡车辆的二值化图.38 图 4.2 搜索操作 .39 图 4.3 分割操作 .39 图 4.5 遮挡车辆的分割结果.41 图 4.6 对第 17 车的跟踪结果.41 图 5.1 硬件结构图 .44 图 5.2 算法在 tms320dm6437 平台的实验结果.50 表格清单 表格清单 表 3.1 两种方法的算法时间性能 .29 表 4.1 本文方法跟踪结果的相关数据.42 表 5.1 背景更新的时间性能比较 .47 表 5.2 目标检测的时间性能比较 .48 表 5.3 两轮扫描法的时间性能比较 .48 表 5.4 种子填充的时间性能比较 .49 表 5.5 算法的时间性能统计.49 独独 创创 性性 声声 明明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得 合肥工业大学 或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示谢意。 学位论文作者签字：杨强 签字日期： 2011.4.25 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解 合肥工业大学 有关保留、使用学位论文的规定，有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人 授权 合肥工业大学 可以将学位论文的全部或部分论文内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后适用本授权书） 学位论文作者签名：杨强 导师签名： 齐美彬 签字日期：2011.4.25 签字日期：2011.4.25 学位论文作者毕业后去向：工作 工作单位：杭州中电 52 所 电话通讯地址：杭州马腾路 36 号 邮编：310012 1 第一章第一章 绪绪 论论 1.1 课题研究背景与意义 1.1 课题研究背景与意义 随着国民经济的快速发展，我国对交通运输的需求迅猛增长。从 2000 年开 始，我国主要城市的交通状况开始恶化，机动车辆的迅速增长给交通运输和管 理带来了巨大挑战，道路阻塞问题日益严重、交通事故频繁发生、交通状况日 益复杂，这些都使交通建设面临巨大压力。因此，智能交通系统(its: intelligent transportation system)已成为我国城市交通运输的研究重点和发展方向。 智能交通系统是一种在大范围、全方位发挥作用的，实时、准确、高效的 综合运输和管理系统，它通过运用先进的信息技术、数据通讯传输技术、电子 传感技术、电子控制技术以及计算机处理等技术对整个交通运输管理体系进行 准确，有效，安全的监控和管理。 1.1.1 智能交通系统的意义和相关应用 起初由于越来越严重的交通堵塞问题，人们对研制智能交通系统逐渐产生 兴趣，另一方面，全新的信息技术、实时控制技术、和通信网络技术的迅速发 展也为智能交通系统的开发提供了理论基础。目前，由于人口的不断增长、快 速的都市化进程以及急剧增长的机动车数量，交通堵塞问题已成为全球范围的 问题。智能交通系统的引入大大改善了现代道路交通质量，它将传感、控制、 信息技术、电子技术、通信技术、图像处理技术、计算机技术和交通运输管理 与传统的运输系统相结合，为人们展现出一个以人为中心、大规模、高端和复 杂的动态系统。智能交通系统的目的是为驾驶人安全提供可靠信息的前提下， 降低交通堵塞的几率，因此该系统更加人性化。 智能交通系统使科技技术更加多元化， 从基本的交通管理系统如车辆检测、 交通信号控制系统、车流量管理系统、可变信号标记系统、自动车牌号识别系 统和高速摄像机监控系统，到可以将诸多实时数据及时反馈给所有用户的先进 技术，如停车引导和标识系统、天气预报系统、桥梁结冰预警系统等等，它使 现有的交通运输系统更加智能化，具有更高的安全性和更强大的运输能力。 智能交通系统以交通视频监控为手段，在多项应用中发挥着重要的作用： 1）道路违规检测 机动车辆违规是造成交通习惯性拥堵的主要原因之一。智能交通系统往往 利用摄像机等监控设备组成的系统进行道路监控和管理，用来遏制违规行为。 这类系统的主要功能是监测和识别超速行驶车辆或其他道路违规事件，同时记 录违规车辆的车牌号并自动开据罚单。具体应用包括： ? 速度监控摄像机，可以识别超速行驶的机动车辆。这类设备大多利用雷 达技术探测车辆速度，或使用埋设在道路下方的电磁环。 2 ? 电子眼摄像头，可以检测闯红灯或违规停车的机动车辆。 ? 公交站台监测摄像头，可以识别违规进入公交站台的非公交车辆。 2）流量监控 全方位的监控和统计交通车流量，并将信息及时反馈给各个指挥中心，以 便其适时地疏通、分散车流量，使各道路的车辆占有率平均化，是解决交通阻 塞、缓解交通压力最有效的办法。然而仅仅依靠传统的人工方法监控和统计车 流量，在速度和准确性上都无法达到要求。因此，智能交通系统利用视频监控 手段准确高效地监控各个道路的交通状况，将车流量等信息及时反馈，使指挥 中心可以及时判断和部署。 3）车牌识别 车牌识别是智能交通系统的一大应用，通过对车牌的自动识别可以快速识 别和记录车辆身份，进而实现车辆统计、违规检测、不停车收费和寻找被盗车 辆等多种功能。因此，车牌识别技术被广泛应用在道路监控、机场、港口等场 合或公安机关、政府机关等重要部门。 此外，将高清视频监控技术与智能交通系统相结合，会使智能交通系统在 交通监控方面更加准确可靠。这里的一个典型应用是视频智能分析系统，它采 用高清视频技术，通过建立多个监测信息点，帮助公安机关交通管理部门准确 采集多种交通信息数据，如高清视频图像、交通流数据、车辆信息、违规行为 检测等。在交通管理方面，该系统的出现改变了单系统单功能、对视频基础数 据利用率低的现状，并建立起了一套基于高清、智能视频图像的交通管理系统， 可以实现交通视频监控、事件检测、流量检测、违法监测和卡口监测等多项功 能，有效地缓解交通压力。可以预见，在不久的将来智能交通系统必将成为交 通行业中的研究热点和发展主流，并在交通管理系统中发挥举足轻重的作用。 车辆的检测与跟踪是智能交通系统中最核心，最关键的技术之一，这项技 术的性能优劣直接关系到整个系统能否有效地运行，因此车辆检测和跟踪技术 的研究对智能交通系统具有重要的意义和价值。 1.1.2 智能交通系统在国内外的发展状况 基于视频的智能交通系统相比原始交通管理系统，具有安装简便、不需破 坏路面、维修简单和费用低等明显优势，因此具有广阔的应用前景。目前，视 频交通系统和基于此的交通视频监控模型在美国、新加坡及欧洲等许多发达国 家都取得了巨大进展。 美国对智能交通系统的研究起步较早，目前是智能交通系统发展最为先进 的国家。在美国，智能交通是促进国家交通运输业更加安全、可靠和高效的领 航技术，目前美国已建成的基于 its 的交通管理系统有 16 类，其中包含 13 类 道路基础设施管理系统和 3 类车辆管理系统，它们为缓解交通拥塞、监控和管 3 理车流量带来了巨大便利；同时，它们为驾驶者提供路线建议等多项服务功能， 使驾驶者行车更加便捷、高效。 新加坡在 1995 年成立了道路交通管理局，目前，该局已经开展并完成了多 个关于智能交通系统的工程，如交通监察和管理系统、电子眼系统等。同时， 新加坡成立了 its 技术委员会（itstc），主要致力于 its 相关技术的研究， 促进国际 its 标准的制定，该协会还联合当地政府和企业为提高国家智能交通 水平不断努力。 我国十分重视 its 的研究和发展 1，在 1996 年就成立了相关部门组织和促 进针对 its 的项目研发和国际合作。中科院自动化所(楼建光等，2003)、香港 大学(yung，1998)、浙江大学(刘光耀，2005)等单位陆续开展了 its 的研究工 作 。 其 中 中 科 院 自 动 化 所 设 计 出 了 用 于 智 能 交 通 监 控 的 原 型 系 统 ： star visualsurveillancestar，该系统主要实现对车辆目标的检测、跟踪以及交通 行为分析，目前该系统具有良好的稳定性，同时对天气造成的光线变化、道路 上的交通指示线干扰以及障碍物遮挡等影响具有良好的自适应性。另外，北京 奥运会、广州亚运会和上海世博会为我国带来巨大商机的同时，也极大地促进 了我国 its 的建设， 仅 2008 年我国对 its 的资金投入就有 9.5 亿元， 相比 2006 年增加了 39.3%。 相比国外而言，国内这方面的研究起步较晚，但发展迅速。目前，公路智 能交通技术主要应用在高速公路监察提示与收费系统、道路安全保障系统等。 同时，我国已开发了多种相关产品，如运动车辆检测器、车型识别器、电子监 控地图等，而且针对现有的智能交通管理系统制定了相关的法律法规。随着我 国智能化、自动化在交通运输领域的不断发展和普及，智能交通技术必将具有 广阔的应用前景。 1.2 车辆检测与跟踪技术的研究现状 1.2 车辆检测与跟踪技术的研究现状 1.2.1 背景模型的初始化及更新技术 背景初始化及更新方法是车辆跟踪技术的重要保障。基于高斯分布的背景 模型 2是目前较为常用的一种背景模型更新方法。它认为当前图像的全部像素 点都符合两种高斯分布中的一种，即符合背景的高斯分布或符合前景的高斯分 布；而该方法完成的主要工作即是判断当前像素点符合哪种分布，当符合前者 时就认为该像素点是背景像素点，反之则认为是前景像素点，以此实现背景的 建模，同时不断更新初始背景。高斯背景模型具有较好的效果和较强的鲁棒性， 但是该方法算法复杂，运算量大，不适合dsp处理器要求实时性高的特点，因此 在实际的车辆检测场合应用较少。另一个常用的更新方法是选择性背景更新方 法 3，该方法利用已建立好的背景模型与当前图像进行差分运算，然后将差分 图像的每个像素点与阈值比较，将小于阈值的像素点判为背景像素点，并采用 4 某种更新算法更新背景图像与之对应的像素点；对大于阈值的像素点，则保持 不变。该方法算法简单、速度快，尤其适用于光照等引起背景小幅度缓慢变化 的情况，但该方法无法处理背景突变，如无法处理车辆在背景更新中由运动变 为静止和由静止变为运动等情况；而且方法中的背景差分运算，无法消除由于 车辆表面某些区域与背景中路面的亮度接近所产生的运动目标“孔洞”现象。 使用卡尔曼滤波 4进行背景更新也是一大常用的背景更新方法。由于图像 序列中背景像素点变化较为缓慢，前景像素点变化较为迅速，因此可以利用这 一特点，通过卡尔曼滤波的方式判断当前像素点属于背景像素点还是前景像素 点，然后对两类像素点采用不同的背景更细策略进行更新。但缺点是会将干扰 产生的噪声误判为前景目标，影响后续的车辆检测。 另外，也可以从一组观测图像中按照一定的假设选择像素灰度值更新当前 背景。文献5将背景像素点变化缓慢、较前景像素点更加稳定的特点作为判别 背景的依据，但如果车辆运动缓慢，则无法得出准确的判别结果。文献6利用 光流场法解决了文献5存在的问题，即使存在车辆缓慢运动的问题，也能得到 较好的效果，然而光流场法计算量大，实时性差。文献7认为背景像素点出现 的概率常常大于前景像素点，因此利用这一特点使用像素灰度归类的方法进行 背景建模，但是如果交通场景中车流量较大，则不能满足背景像素点出现概率 大于前景像素点的假设，此时该方法失效。文献8使用分级分块背景估计法更 新背景，将当前图像帧分为几个子块，并计算各子块能量和高阶矩，以此判断 该子块属于背景或前景， 然而子块大小的划分方式直接关系到背景建模的结果， 子块太小则计算量大大增加，同时又使高斯分布发挥不了应有的作用；过大又 会影响到较小的运动目标的判别。 1.2.2 车辆检测技术 对于摄像机固定的车辆监控，交通场景中不包含运动物体的背景像素点， 受车辆的影响较小，一般在短时间内比较稳定。间隔较短时间的两帧图像仅仅 在车辆运动区域存在差异，因此可以利用这样的帧间差异获取运动车辆的边缘 轮廓，达到车辆检测的目的。这类方法检测速度快、便于硬件实现，对车辆速 度较快的交通场景，效果不错；但也存在许多缺点 9。一方面，只利用帧间差 异检测目标， 会因前后帧存在运动重叠区域， 使检测出的目标产生大面积的 “孔 洞”现象，如果车辆运动缓慢，该车辆在前后两帧的差异就会很小，两帧做差 后必然导致检测出的目标极不完整，边缘断裂，甚至出现目标丢失的问题；同 时由于前后帧的时间差，当后一帧运动车辆尾部经过某一区域使该区域背景再 次出现时，前一帧的该区域往往仍被车辆占据，导致做差后车辆尾部出现“拖 影”问题；另一方面，帧差阈值的选取也十分关键，过大过小都会影响检测的 准确性，此外，交通场景的光线变化需要选取的阈值具有自适应的能力，这就 5 需要阈值随时间进行动态自适应变化，这也成为一个难题。 针对以上问题，许多人对此方法做出了改进：文献10利用时间域上的中 值滤波去除“拖影”。但该方法仅适合于背景像素点出现的频率高于运动物体 像素点的情况， 因此当交通场景中存在大量运动车辆时， 该方法失效。 文献11 采用分块的方法，对不同的块采用不同的帧差阈值进行目标提取，已达到减小 椒盐噪声的目的。同时为了防止分块带来过多的边缘信息丢失，利用边缘所在 块的前景像素点进行补充。文献12对一段时间内的帧差信息进行统计，然后 使用统计得到的累积信息进行目标提取，进而得到较为完整、无“拖影”的运 动目标。但是该方法在车辆目标速度较慢的场合，无法完全去除“拖影”。 另一种常用的方法是基于背景模型的车辆检测方法 13。由于背景中不包含 运动车辆，因此当前帧运动车辆的像素点在灰度上与背景对应像素点有明显差 异，这就导致两帧作差后的差值图像在运动区域具有较大的灰度值，将差值图 像每个像素点的灰度值与适当的阈值比较，可以达到检测车辆的目的，即将灰 度值大于阈值的像素点视为运动车辆像素点，反之则视为背景，该方法算法简 单，实时性好，然而该方法对背景图像依赖很大，所以对光照变化等天气因素 较为敏感；同时，车辆阴影往往也作为车辆的一部分被检测出来，过多的阴影 会导致车辆目标互相粘连，影响后续的目标跟踪。 比较两种常用的检测方法， 背景差法更为简单,而且只要能实现较为准确的 背景建模和更新，就能保证该方法检测效果的可靠性。本文采用背景差法实现 车辆检测，而背景模型的建立、背景实时更新以及阈值选取等问题在本文中都 得到了有效解决。 1.2.3 车辆跟踪技术 车辆跟踪的目的就是通过对序列图像进行分析研究，计算出车辆目标在连 续帧图像中的运动轨迹 14 。这对于了解车俩的运动状态有重要的意义，同时 为判断驾驶人是否违规、改善日益复杂的交通状况、防止城市道路阻塞等问题 提出了一个很好的解决途径。为了获得准确可靠的车辆目标跟踪效果，前人提 出了各种有效的方法，但归纳起来可以分为两种 15，一种是首先建立车辆目标 的模板，然后依据某种匹配度量在当前帧中寻找与模板匹配的运动区域块，并 且实时更新匹配成功的目标模版。这类方法将主要精力放在搜索匹配模板的运 动区域块上，而在建立好模板后，对后续帧的车辆检测算法则要求不高，甚至 可以完全放弃目标检测，但模板与区域块匹配算法的计算量比较大，常会影响 到整个跟踪算法的实时性；第二类方法要求对每帧图像进行较为准确的目标检 测和分割，然后通过一种简单的匹配关系匹配相邻两帧图像中检测到的车辆， 这实质就是为两帧中检测到的运动区域块建立对应关系。这种方法的重点是如 何准确检测每帧图像的运动区域块，而匹配度量算法则较为简单。 6 本文将两种跟踪方法相结合，首先建立车辆模板，然后依靠准确的车辆检 测方法建立车辆模板与当前目标的对应关系，完成车辆与模板的正确匹配，实 现实时可靠的车辆跟踪。但是在实际的交通监控中，由于架设的摄像机位置与 角度以及车流量等原因， 获取的视频序列的车辆之间往往存在互相遮挡的问题。 如果不处理遮挡问题， 简单的依靠车辆目标与模板的对应关系对车辆进行跟踪， 必然会大大降低准确性，而如何处理遮挡问题也是车辆跟踪的难点之一。 1.3 本论文的主要工作和各章内容安排 1.3 本论文的主要工作和各章内容安排 1.3.1 本文主要工作 智能交通系统中有一系列的关键技术，本文主要围绕智能交通系统中的背 景建模与实时更新，以此为基础的车辆检测、分割与跟踪进行研究。论文算法 的总体结构流程如下图： 视频 图像 序列 车辆 跟踪 车辆 分割 车辆 检测 背景 建模 和更 新 dsp算 法优 化 图 1.1 算法的结构流程 1） 视频图像序列： 在交通道路口或车辆进出通道处安装的摄像机实时拍摄， 将每一帧图像传入dsp目标板进行实时处理。 2）背景建模或更新：首先收集一段视频图像，采用多层次背景模型提取算 法提取出初始背景，然后对后续的图像帧采用选择性背景更新方法实时更新背 景，可以有效地处理光照变化等因素引起的背景缓慢变化以及背景局部突变的 问题。 3）车辆检测：然后利用上述算法提取的背景，采用一种改进的对称差分法 和背景帧差相融合检测车辆运动区域。 4）车辆分割：采用改进的两次扫描法分割车辆目标，可以有效地分割每个 独立的联通域，又能保证良好的实时性。 5）车辆跟踪：引入几个参数提取车辆的整体特征（如运动目标的质心，长 宽比等）来建立匹配模板（建立相互对应关系），实现下一帧车辆目标的匹配， 并在匹配完成后实时更新模板，为下一帧的车辆匹配做好准备。 6）dsp算法优化：针对tms320dm6437嵌入式系统对全部算法进行优化， 优化过程主要考虑算法的实时性、稳定性等因素。 1.3.2 各章内容安排 第一章 绪论，主要阐述了课题的来源、研究背景、意义以及相关应用， 并简单介绍了背景建模及更新、车辆检测与车辆跟踪技术的研究现状，确定了 本课题的研究内容并提出了论文将要开展的工作。 7 第二章 背景模型的初始化及更新方法，首先介绍了背景模型的相关知识， 然后就背景建模和背景更新分别阐述了目前就为流行的方法和本文的方法，并 通过实验结果进行了比较。 第三章 运动车辆检测， 首先阐述车辆检测方法的相关知识和几种常用的检 测方法，然后引出本文的检测方法，并通过实验论证本文方法较前几种方法的 优势。本章后半部分以传统的车辆分割方法为基础介绍本文改进的分割方法， 并通过实验结果进行验证。 第四章 运动车辆跟踪，介绍常用的车辆跟踪方法，并重点介绍了本文使用 的基于模板匹配的跟踪方法。对跟踪过程中存在的车辆遮挡问题，本文提出了 一种基于模板匹配的遮挡去除方法。 第五章 介绍了整个算法针对 tms320dm6437 的优化方法，在优化过程中 主要考虑算法的实时性和稳定性。 第六章 对本论文的工作作了总结和展望。 8 第二章第二章 背景模型的初始化及更新方法背景模型的初始化及更新方法 背景建模和更新是车辆检测中背景差法的基础，目的是为了分离背景与前 景，得到一帧不含运动物体仅含静止背景的图像。获取背景最简单的方法是在 视频序列中提取一帧没有运动物体的图像作为初始背景，然而实际交通场景中 车流量较大，每帧图像几乎都有运动车辆，因此人们进行车辆检测往往采用专 门的方法为背景建立估计模型。同时，简单的背景建模并不能有效地处理光照 变化等因素引起的背景缓慢变化以及背景局部突变的问题，因此需要在背景建 模的后续帧中引入背景更新算法，实时更新已得到的初始背景，使背景具有自 适应的能力。 本章首先介绍了几种常用的背景建模与更新方法，然后引出本文使用的方 法，为下一章的车辆检测研究打基础，最后通过实验结果比较这几种方法的优 缺点。 2.1 背景建模方法 2.1 背景建模方法 2.1.1 常用的背景建模方法 1）图像时间平均法 最简单原始的背景建模方法是图像时间平均法 1617,即取一定时间内的连 续多帧图像，将它们相加后求取平均值，得到的结果即可认为是初始背景。该 算法认为视频图像中的背景区域占据图像的大部分面积，而临时运动物体（如 车辆、行人等）仅占小部分面积，可以在求取均值过程中被滤除。 图像时间平均法直接将若干输入图像帧的平均值作为背景图像，即采用连 续n帧图像累加求均值： 11 1 (.) kkkkn bfff n + =+ (2.1) 图像时间平均法算法简单，但是缺点也是显而易见的，如用于求均值的n帧 图像序列，n值太小会造成初始背景不准确，存在许多车辆的拖影，而n值太大 则需要保存大量的图像数据，增大了存储空间；另外该方法在运动车辆较多， 运动速度缓慢的情况下效果会很不理想，因此在实际中很少使用该方法。 2）混合高斯模型提取算法 混合高斯模型(gmm)提取算法进行前景检测的方法由stauffer和grimson 提出 18-20，该方法在运动目标检测中应用非常广泛。算法的任务主要是判断当 前像素点属于背景的高斯分布还是前景的高斯分布，以此完成背景的建模和更 新。理想情况下每个像素点服从单高斯分布模型，但在实际情况下，背景在一 段时间内往往并不是完全静止的，如场景中存在抖动的树枝或摄像机由于风吹 造成的轻微晃动等，因此仅仅用单高斯模型更新背景不够准确，在实际应用中 9 往往使用多高斯分布来建模和更新背景。 混合高斯模型实质上是利用统计的思想进行建模的：对于每一个像素点， 出现概率最多的像素值被判为背景像素 15。混合高斯模型首先获取一个像素点 的多个观察值，然后使用多个高斯分布的混合模型来描述这些观察值。设时刻t 像素 t x 的概率为： , 1 ()(,) k ti titi ti t i f xx = = (2.2) 其中 12 ,. t xxx是一个像素点在不同时刻的观察值， i 是第i个高斯分布的概 率密度函数： 1 , 1( )() 2 /21/2 , 1 (, , ) (2 )| t tttt i t xx t n i t xe = (2.3) 其中k是高斯分布的数目（一般取3-5个） ， i 和 i 是第i个高斯分布的权值和均 值，n为每个像素观测向量 i x的维数（一般指像素的颜色信息） ，而 , i t = 2 k i。 建立好每个像素点的混合高斯模型后，将当前图像帧的像素点 t x与其对应 的k个现有的高斯分布一一进行匹配，如果满足下面的匹配公式，则证明该像素 点与这个高斯分布相匹配： ,1,1 | ti ti t xth (2.4) 其中th是阈值，常取2.5。然后更新满足上述匹配公式的高斯分布，其参 数的更新公式如下： ,1 (1) i tii ti =+ (2.5) ,1 (1) i tii tit x =+ (2.6) 22 ,1, (1)() () t i tii titi tti t xx =+ (2.7) 其中 i 是迭代率， i 是参数学习率。 最后进行背景判别，计算每个高斯分布的 , i t / ,1i t ，该值越大，证明该像 素点属于背景的概率越高，因此可以取所有高斯分布对应 , i t / ,1i t 的最大值， 与阈值比较进行判定。 如果当前像素点与任何高斯模型都不匹配，则当前像素点属于前景的可能 性很大，因此可以用一个新的高斯模型对该像素点权值最小的高斯模型进行更 新，并使新高斯模型的方差较大、权值较小。 混合高斯模型提取背景的效果比较理想，可以对较为复杂、背景存在微小 重复运动的交通场景进行准确的背景建模，但缺点是算法复杂，计算量大导致 实时性差，而且只有当高斯模型积累到一定程度时，才可能对前景与背景进行 准确判断，更新速度过慢，因此，当局部背景突变时，该方法不能及时获取和 更新背景。 10 2.1.2 多层次背景模型提取算法 本文提出一种多层次背景模型来提取背景。基本思想是：将背景模型分为 路面背景，非路面背景，经前述提取仍无法提取的背景点三部分进行分层提取。 由于其中路面背景的像素点亮度值往往是整幅图像中出现频率最高的，因此可 以利用这一特点提取存在运动物体几率最大的路面背景，使背景提取结果更为 准确。 背景提取前首先进行一些准备工作： 对图像中的每个像素点设置status属性来表示该像素点是否属于背景： 0,1,2status，0表示未知,1表示背景,2表示疑似背景,默认值为0。 选取在t1 、t2时刻的两帧图像 1 ( )f t与 2 ( )f t，利用下式获得待选背景图像 bn： 121 12 121 0,( , , )( , , ) ( , ) ( , , )( ,