复杂环境下车辆检测算法优化及实现.docx

复杂环境下车辆检测算法优化及实现 东南大学学校代码： 10286分类号： TN4 密 级： 公开 U D C： 621.3 学 号： 133523 工程硕士学位论文复杂环境下车辆检测算法优化及实现2016年 6月 23 日工程硕士学位论文复杂环境下车辆检测算法优化及实现专业名称： 集成电路工程 OPTIMIZATION AND IMPLEMENTATION OF VEHICLE DETECTION ALGORITHM IN COMPLEX ENVIRONMENTA Thesis Submitted toSoutheast UniversityFor the Academic Degree of EngineeringBY Zhang RenchenSupervised byProfessor HU ChenandSenior Engineer YU Jian-liSchool of Integrated CircuitsSoutheast UniversityMay 2016独创性声明东 南 大 学 学 位 论 文 独 创 性 声 明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：日 期： 东 南 大 学 学 位 论 文 使 用 授 权 声 明东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权东南大学研究生院办理。研究生签名： 导师签名： 日 期： 目录摘 要随着汽车保有量的不断增加，交通拥堵等问题日益严重，人们开始着力于研究智能交通系统，充分利用道路资源，缓解交通压力。智能交通系统中对车流量的统计是评价交通拥堵状况的一项核心工作，通过对交通拥堵状况的评价来合理分配道路资源。而复杂环境下，车辆检测的不准确会给车流统计带来直接的影响，导致统计误差，进而影响到整个智能交通系统的性能。因此对复杂环境下车辆检测的研究具有重要理论意义和实际应用价值。复杂环境是指雨雪天、夜间及车辆遮挡情况。在雨雪天及夜间的车辆检测目前已取得较好的效果，本文针对车辆遮挡情况进行研究。对当前遮挡检测算法无法同时保证实时性、检测率与多车辆遮挡处理的问题做了深入分析，采用了基于矩形模板的车辆遮挡检测算法。该方法首先使用面积比率，快速筛选出明显遮挡车辆。对无法判断的车辆采用特征点的方法进行检测，进一步提高了遮挡检测率。检测到遮挡时采用矩形模板特征点进行分割，通过车辆外围的特征点，可以处理多辆车遮挡的情况。矩形模板的简易性，使得检测分割过程十分迅速，可以满足实时性。此外，遮挡检测方法依赖于前景目标轮廓的完整性，本文针对ViBe前景检测算法查全率不高而影响前景检测结果完整的问题，采用了一种改进的算法，该算法通过将灰度背景模型与颜色空间背景模型相结合，并使用了像素级与帧级相结合的背景模型更新算法，大幅提升了前景车辆的检测效果。实验结果表明本文的遮挡检测算法可达到91.02%的检测率，且可处理多车遮挡，系统实时性测试结果在Core 2GHz处理器上，320240分辨率的监控视频的平均每帧处理速度为23ms，满足实时性要求。与Heidari快速算法相比检测错误率降低了50%，且具备了处理车道中多辆车相互遮挡的能力，而平均每帧处理速度仅增加了2ms。与CHIU高检测率算法相比检测率只降低了3.03%，但是平均每帧处理速度减小了50%。本文的遮挡检测算法在满足实时性的前提下，具有高检测率且可处理多辆车遮挡的交通场景，可应用于实际的交通车流统计等场景。关键词：车辆检测，遮挡，运动目标检测，特征点VAbstractWith the continuous increase in car ownership, traffic congestion and other problems have become increasingly serious.Numerous studies have been done on Intelligent Transportation System, which aims to make full use of road resources to ease the traffic pressure. Statistics of traffic flow is a core job to evaluate traffic congestion. By traffic congestion evaluation, road resources can be reasonablely allocated. In complex environment,inaccurate vehicle detection makes a direct influence on traffic flow statistics,which leads to affection to the performance of Intelligent Transportation System.Thus, study on vehicle detection in complex environment is of great value theoretically and practically.Complex environment refers to environment of rain, snow, night time and vehicle occlusion. High detection rate has been achieved in rain,snow and night time. This thesis focuses on environment of vehicle occlusion.First,a thorough analysis is made to current occlusion detection algorithms,which can not guarantee real-time,detection rate and multiple vehicle occlusion handling simultaneously.Then,an occlusion detection algorithm based on rectangular template is proposed.This method first screening out obvious occlusion by area ratio.To area ratio lower than threshold,feature point is used for further detection to improve detection rate.When occlusion is detected,vehicles are devided by peripheral feature points which enables the method ability of handling multiple vehicle occlusion. Simplicity of rectangle template makes detection and segmentation so fast that can meet the real-time requirement. In addition, occlusion detection method relys on the integrity of the foreground object contour.To the problem of low recall rate of ViBe foreground detection algorithm, an improved algorithm is proposed by combining gray model with color space model and using the pixel level and frame-level background model update strategy. This dramatically improves the results of vehicle detection.Experimental results show that proposed algorithm can achieve detection rate of 91.02% and is capable of handling multiple vehicle occlusion. The real-time part test on a Core 2GHz processor with an average of 320 240 resolution video monitor, result shows each frame process in 23ms. Compared with Heidari fast algorithm ,error detection rate is reduced by 50% and capable of handling multiple vehicles occlusion, while each frame processing time with an increase of only 2ms. Compared with the high detection rate CHIU algorithm, detection rate decreased only by3.03%, but each frame processing time is reduced by 50%.The proposed algorithm can meet the real-time requirement with high detection rate and can handle multiple vehicles occlusion which can be applied to the actual traffic flow statistics and other scenes.Keywords: vehicle detection, occlusion, moving object detection, feature point目录摘 要IAbstractIII目录V第一章 绪论11.1 论文背景和意义11.2 国内外研究现状21.3研究内容和设计指标31.3.1研究内容31.3.2设计指标41.4论文组织结构4第二章 车辆检测基本原理72.1 车辆检测的基本流程72.2 遮挡检测算法82.3 运动目标检测算法132.4 运动目标算法性能对比172.5 本章小结18第三章 遮挡场景下的车辆检测193.1 典型算法分析193.1.1 实时性分析193.1.2 准确性分析213.1.3 多车遮挡分析223.2 矩形检测算法223.2.1 检测算法流程233.2.2 矩形算法原理243.2.3 特征点检测253.2.4 特征点分类273.2.5 模型匹配293.2.6 遮挡分割303.3 本章小结33第四章 运动目标检测优化354.1 ViBe算法分析354.2 算法改进374.2.1颜色空间选择分析384.2.2前景检测424.2.3背景更新434.3 改进算法测试454.4 本章小结47第五章 验证结果及分析495.1 遮挡检测测试环境495.2 遮挡检测测试495.2.1 算法检测率495.2.2 多车辆遮挡分割准确性515.2.3 实时性525.3 本章小结53第六章 总结与展望556.1 总结556.2 展望55致谢57参考文献59攻读硕士学位期间发表论文63第五章 验证结果及分析第一章 绪论1.1 论文背景和意义在进入了21世纪之后，中国的城市化进程在不断加速1。城市化的同时也伴随着一系列的问题，其中一个就是严重的交通拥堵。为了解决交通的拥堵问题，人们开始着力于研究智能交通系统23。智能交通系统的目的是解决不断增加的交通需求与有限道路资源间的矛盾，使道路资源能够被充分利用，提高人的出行效率，保障出行安全。在智能交通系统中通过车流量的统计来评估交通拥堵状况，以此来对道路交通资源进行合理的分配。而复杂情况下，车辆检测的不准确会给车流统计带来直接的影响，将导致车流量统计数据的不准确，进而影响整个智能交通系统的性能。因此对复杂环境下车辆检测的研究具有重要理论意义和实际应用价值。复杂情况是指雨雪天、夜间及车辆遮挡情况。在当前的研究中，雨雪天及夜间的车辆检测已获得较好的效果4。而车辆遮挡情况下，目前的算法仍然存在着问题，如快速的算法检测率低，且无法处理多车辆遮挡的情况；高检测率的算法计算量大，无法保证实时性。车辆间的相互遮挡，从车辆可获取信息的角度，可以分为不完全遮挡和完全遮挡。不完全遮挡是指车辆之间有一定程度上的重合，但是被遮挡车辆仍有部分信息可见。而完全遮挡是指一个目标被另一个目标完全挡住，没有信息可见。遮挡所带来的问题本质上是三维交通场景投射到二维图像平面的过程致使车辆的部分信息丢失。而处理遮挡问题的核心就是对于丢失信息的评估。提供尽可能多的特征将遮挡的车辆恢复。本文只针对不完全遮挡给出解决方案。图1.1给出了道路监控采集的图像。一定程度上，遮挡的产生与摄像头的摆放高度以及摆放角度有关，摄像机摆放过低、或倾斜角度过大，会更容易产生遮挡，如图1.1(a)所示。经验上来说，摄像头越高则产生遮挡的可能性越小，但是在实际场景中摄像头不可能无限高，摄像头过高则监控的视野就会减小，就减小了摄像机的单位监控面积。此外，从侧面采集的图像也更容易产生遮挡，换而言之，摄像头的监控角度与道路方向越小，则更不容易产生遮挡。(a) 侧面采集图像 (b) 沿道路方向采集图像 图1.1 道路监控采集图像通过改变摄像机的拍摄高度，拍摄角度可以减少一部分遮挡的发生。而为了获得更大的监控视野，现在大多数的车流监控摄像机都架设在合适的高度，并沿着道路的方向监控车流，如图1.1(b)所示。遮挡最大的问题是使得车辆跟踪时目标信息的残缺、丢失，变得不稳定。从而目标的位置也无法准确判断,影响到对车辆统计判断的准确性。1.2 国内外研究现状对于遮挡情况下的车辆检测，国内外学者也进行了大量的研究。本文对目前检测遮挡的方法进行了归纳整理，当前的遮挡检测方法主要分为以下几种：1）紧密度方法5678紧密检测的方法是通过检测到的车辆与包围其凸包之间的紧密程度来判断是否产生了遮挡，由于其简易性和容错性，是目前最为简单高效的一种办法，许多车辆跟踪的研究者都采用其作为遮挡检测的方法。但是这种方法检测率不高，且对多辆车产生遮挡的情况无法处理。2）特征匹配方法部分遮挡的车辆虽然不能完全被摄像头捕捉到，但是车辆的部分仍然会出现在画面中，所以利用漏出的部分特征依然可以作为遮挡检测的依据。Li9利用与或图(And-or Graph，AOG)检测遮挡车辆。首先，构建AOG特征以表征交通阻塞中的车辆，然后训练AOG特征参数，最后用自下而上的匹配检测车辆。在AOG的构建中，车辆特征选择复杂着重于车辆可见部分而避免使用简单的车辆遮挡部分。作者选择了车前窗与前灯作为车辆特征。此种方法的缺点是需要采集的图像有较高的分辨率，并且计算量大无法用于实时监测。Qing10通过颜色信息来区分遮挡时的不同车辆，当车辆的颜色相同或相近的遮挡车辆单使用颜色信息便无法处理，此时用Sobel算子提取车辆的边缘信息，两辆车遮挡边界会产生明显的边缘，从数值上找出最大值，以此为界检测和分割两辆车。Sadeghi11采用阴影特征定位车辆的位置，以此检测车辆，从而规避遮挡和分割的问题。这种方法对于摄像机的采集角度有限制，且受光线影响大。3）使用统计的方法统计的方法是指提取前景图像，计算灰度直方图，根据其直方图的不同来判断是否产生遮挡。Yue12提出了一种基于统计图的方法。背景使用改进的直方图以提取准确的背景模型并实时更新，再使用背景提取方法补充边缘信息获得完整的背景模型，最后使用形态学去除干扰并填补空白以获得完整的前景信息。统计信息中，当只有一辆车时曲线要更为平滑，而当有两辆车相互遮挡时曲线会有突起的峰值。这种方法仅依赖与直方图上的统计差异，并不可靠，且对于多辆车的遮挡无法处理。4）使用跟踪预测的方法跟踪预测方法的主要思路是用随机采样的一些离散点来近似表示状态变量的概率密度函数。靠预测和评估粒子的位置来判断目标的位置，以此检测目标。当发生遮挡时两个被跟踪的对象所预测的位置将会重叠或十分接近。文献13141516中均使用了卡尔曼滤波器或是粒子滤波器。Khong13提出了多线索车辆跟踪算法来持续有效的跟踪遮挡车辆，粒子滤波器使用多线索重新处理可以更准确的跟踪遮挡车辆而不损失处理时间。Ghasemi17使用基于区域的跟踪器以更清楚的定义车辆间的遮挡关系，而对于遮挡情况使用卡尔曼滤波器评估移动车辆的位置，用树形结构将移动区域组合起来，如此就可准确的评估车辆的移动并获得车辆轨迹，这种方法的缺点在于需要在检测到车辆时并未发生遮挡且检测率不高。5) 基于模板的方法181920Pang19提出了基于模板的方法使用三维模板匹配车辆，并对遮挡车辆进行分割。首先进行摄像机的标定，然后对运动目标的检测结果提取特征点，使用特征点与摄像机标定的三维空间坐标系确定特征边。之后会计算物体的三维信息即特征边的描述来判断是否发生遮挡以及是何种类型的遮挡。接着使用三维模板对检测到的遮挡车辆进行分割。这种方法可以达到很高的检测率，但是计算复杂度高，处理时间过长，无法用于实际检测。在上述算法中，可满足实时性的紧密度法与检测率高的三维模板法目前应用最为广泛。遮挡算法需要解决三个问题：1）高检测率2）实时性3）处理多车辆遮挡。这样才能实际应用并取得好的效果。而这两种典型的算法均无法同时满足这三点要求。本文针对这三个问题进行研究，提出一种检测算法，在满足实时性的前提下，达到较高的检测率并且适用于多车辆遮挡的场景。1.3研究内容和设计指标1.3.1研究内容本文对车辆遮挡检测进行研究，主要目的是解决遮挡造成车辆粘连，进而造成车流统计准确率下降的问题。对采集到的图像进行实时处理，判断当前帧是否产生车辆遮挡，产生遮挡时进行遮挡分割。详细内容如下：1）对典型遮挡算法的紧密度法和三维模板法进行分析，得出了紧密度法检测率不高与无法处理多车辆遮挡的原因，以及三维模板法计算复杂度高的算法耗时的原因。这两种方法存在着无法同时满足实时性，高检测率，处理多车辆遮挡的问题。2）针对上述两种方法的缺点，提出一种基于矩形模板的遮挡检测算法。首先使用面积比率的方法，快速筛选出明显遮挡车辆。对可能无法判断的车辆采用特征点的方法进行检测，进一步提高遮挡检测率。采用了矩形模板，使用特征点描述车辆边缘的轮廓走向特征。通过使用特征点具备了处理多辆车遮挡的能力。由于矩形模板的简易性，使得检测十分迅速，可以满足检测的实时性的要求。3）对运动目标检测算法进行了优化。首先分析了ViBe算法对检测算法产生影响的原因，然后针对其不足提出了灰度模型结合YCbCr颜色空间的背景模型，并使用了像素级与帧级相结合的背景模型更新算法，对原有ViBe算法进行了改进。4）对遮挡检测算法使用了5个测试序列进行测试，测试以检测率，实时性和多车辆场景分割准确率为评价标准。1.3.2设计指标算法的评价分为三部分进行：一是对算法检测率的评测，二是对算法实时性的评测，三是对算法多车辆遮挡分割的评测。算法检测率评测以检测率为标准，实时性的评测以平均每帧处理时间为标准，多车辆遮挡分割的评测以分割的准确率为标准。设计指标以目前算法的检测结果为参考依据。目前算法中以CHIU三维模板算法检测率最高，达到95.04%，以Heidari紧密度法最低，为83.01%。实时性根据视频每秒 30 帧的速率可知，要满足系统的实时性需求，每帧图像的处理时间最多33ms，那么检测算法的平均每帧处理时间要低于33ms。分割成功率考虑到两辆车和多辆车场景的不同，以适用于多种场景的三维模板法为参考，其分割成功率为93.82%。依照以上参考标准，本文将设计指标检测率定为不低于90%，实时性平均每帧处理时间不大于33ms，可以处理多辆车遮挡的场景其分割成功率不低于90%。1.4论文组织结构本文针对复杂环境下的车辆检测算法进行研究，内容共分为六章。各章的主要内容具体如下：第一章为绪论。本章主要介绍论文的研究背景和意义、研究内容和设计指标，并对国内外的研究现状进行概要性分析和总结，最后对本文的结构安排进行了阐述。第二章对车辆检测的基本流程进行了介绍，对流程中的各部分功能作了描述。首先对代表实时性和代表高检测率的两种典型的遮挡检测算法做了介绍。由于运动目标检测是遮挡检测的基础，会对检测率产生直接的影响。故本章对运动目标检测算法也做了详细介绍。最后对典型的运动目标算法进行了实验测试，选择了ViBe算法作为本文的运动目标检测算法。第三章提出一种基于二维矩形模板的车辆遮挡检测算法。首先对现有遮挡检测的典型算法的优缺点，从实时性，检测率和多车辆遮挡处理能力三方面进行了分析，并针对典型算法的缺点进行改进。提出一种基于二维矩形模板的车辆遮挡检测算法，然后详细介绍了算法的过程及检测流程。第四章对运动目标检测算法进行了优化。首先分析了ViBe算法对检测算法产生影响的原因，然后针对其不足提出了灰度模型结合YCbCr颜色空间的背景模型，并使用了像素级与帧级相结合的背景模型更新算法，对原有ViBe算法进行了改进。最后对改进后的算法与原算法进行对比测试。第五章对车辆遮挡检测算法从检测率、多车辆分割准确率以及实时性三方面进行了测试。首先介绍测试环境，然后给出测试指标、测试方法以及测试结果并对结果做了分析。第六章总结了本文完成的工作，明确本文工作的意义并提出了本文存在的不足与欠缺，同时给出了进一步的改进思路与方向。71第二章 车辆检测基本原理本章介绍了车辆检测的基本流程和流程中的各部分功能。首先典型的两种遮挡检测算法做了介绍。由于运动目标检测是遮挡检测的基础，会对检测率产生直接的影响。故本章对运动目标检测算法也做了详细介绍。最后对典型的运动目标算法进行实验测试，选择ViBe算法作为本文的运动目标检测算法。2.1 车辆检测的基本流程车辆检测是指从采集的视频序列中检测到运动的车辆并将其识别的过程。目前对于视频序列的采集方法大致分为单目视觉和多目视觉(双目及以上)。单目视觉相较于多目视觉，设备结构简单，摄像机标定方便，不受视场范围的限制，故近年来为人们广泛采用。本文检测所使用的视频序列也是由单目视觉设备采集得到。车辆检测的过程是一个复杂的过程，在不同的文献中都对其过程做了不同的描述，但是其本质都是相似的，大致分为图2.1所示几个部分： 图2.1 车辆检测流程车辆检测的整个过程分为了车辆检测、车辆识别和车辆跟踪三个部分。其中车辆检测部分是本文的重点研究工作。车辆检测部分又分为了运动目标检测和遮挡检测两部分。运动目标检测是车辆检测工作的基础。运动目标检测主要是为了获得感兴趣的物体（这里即是车辆）。有效的运动目标检测可以大大降低后续工作的工作量，并提高检测和识别的成功率，所以高效准确的运动目标检测算法对于检测将会起到重要的作用。由于车辆产生遮挡时，运动目标检测会将遮挡的车辆检测为同一车辆，当多辆车产生遮挡时，统计到的车辆数量与实际车辆的数量将会产生较大的偏差，所以需要对检测到的车辆进行遮挡判断并对遮挡车辆进行分割。车辆识别是车辆检测的核心部分，运动目标检测的感兴趣的区域和物体将作为这一部分识别的重点对象，通过识别算法将车辆从干扰物体中检测出来，完成对车辆的识别。车辆跟踪是车辆检测的后续部分，对于检测到的车辆要进行持续的跟踪才能进行有效的交通信息监测和控制。2.2 遮挡检测算法本文在研究现状中提及了多种遮挡检测算法，其中以紧密度算法和三维模板法最具代表性。紧密度法代表了简单快速的一类算法，可以满足实时性的要求。三维模板法代表了高检测率的一类算法，并且可以适用于多车辆遮挡场景的检测和分割。这两种方法各有优势和缺点。本文将对这两种方法做出分析，并以这两种方法为基础，提出改进的算法。下面先对这两种方法进行详细介绍： 紧密度法方法的最大特点是检测简单，计算量小可以满足实时性的要求。首先引入两个概念：1）凸包图，表示车辆外围凸包包裹的二值区域；2）凸包图差，表示车辆以及外围凸包之间差异的区域。图2.2给出上述两个概念的示意图，其中最外围部分即凸包图，如图2.2(a)所示，而车辆与凸包图会形成凹陷处，这部分即是凸包图差，如图2.2(b)所示。(a) 遮挡车辆凸包 (b) 凸包图差 图2.2 紧密度遮挡检测随后引入紧密度的概念，用以评估车辆外形的紧密程度，定义如下： (2.1)式(2.1)中BL(Boundary Length)表示图形的周长，AO(Area of an Object)表示图形的面积。以分别表示凸包和车辆的紧密度，由于车辆的面积一定小于凸包图的面积，而车辆外围轮廓的周长一定大于凸包图的周长，那么则必然总是大于。对于未遮挡的车辆，必然接近于，而对于遮挡车辆，则远小于，据此定义紧密度率，如式(2.2)所示： (2.2)图2.3给出了分割的过程示意。根据与阈值的比较来判断是否产生遮挡。检测出遮挡之后，将会进行分割。紧密度的分割方法是寻找遮挡车辆凹陷部分的最深点，即凸包图差的两个最深点，如图2.3(a)所示。如此可以得到车辆的分割线。据此分割线将遮挡的车辆分割开来，如图2.3(b)。在两辆车遮挡时这种方法效果较好，而当多辆车遮挡时则无法处理，极易产生误分割,如图2.3(c)。(a) 分割点 (b) 车辆分割 (c) 多辆车错误分割图2.3 紧密度车辆分割三维模板提供了另一条解决的问题的思路，采用了文献38提出的三维模板，使用模板对车辆进行表征，这种模板包含了了六个顶点，如图2.4所示。图2.4 车辆三维模板六个顶点表示如下，。由于需要对前景目标进行模板匹配，首先进行摄像机的标定，以便于进行3维世界坐标系和2维相机坐标系的转换。模板贴合的过程如图2.5所示：1）计算凸包的重心g；2）沿着道路方向的画矢量，其长度任意,如图2.5(b)所示；3） 将向量 转换成三维，将 在三维坐标系内旋转 ，得到向量 ，再将 转换为 ， 与道路方向垂直，如图2.5(c)； 4）连接gp，p表示消失点，在gp垂直方向，2维坐标系搜索 ，连接p与,如图2.5(d)；5）沿垂直方向画线，贴合两侧边缘；6）找到前三步所画线的交点，这些交点即为模板所求的六个顶点，至此模板贴合完成,如图2.5(e)。贴合了模板之后需要检测外围的轮廓的特征点，特征点检测之后会得到一系列的点，可以表示如下 。 (a) 测试图像 (b) 获取 (c) 三维坐标转换 (d) 获得 (e) 模板贴合 图2.5 模板贴合过程在摄像机标定环节得到了三维世界坐标系的消失点 ，其中是道路方向的消失点，是垂直于道路方向的消失点，是垂直于地面方向的消失点。根据边的走向与消失点的靠近程度定义“a”，“A”，“b”，“B”，“c”，“C”，如图2.6所示。a表示边的走向是远离消失点 ，A表示边的走向是靠近消失点；同样，c、C与消失点，b、B与消失点也存在相似的关系。这样就得到一个完整车辆的外围描述“aBcAbC”。需要指出的是，这一外围描述是循环的，即外围描述也可以写成“AbCaBc”或是“BcAbCa”。 图2.6 外围轮廓描述此外，由于摄像机采集图像的位置不同，获取到的外围轮廓所呈现的特征点数也可能出现不同，如图2.7所示： 图2.7 不同角度呈现的形状由左至右分别表示了观测到四个点，五个点以及六个点的情况。由于顶点个数和位置的不同，上述的外围特征边可能被其他的面或边遮挡，而导致不可见，因此外围轮廓的描述也会相应的出现不同，表2.1给出了这一描述的集合：表2.1 外围轮廓描述有了外围轮廓的描述就有了检测和分割的判断依据。下面介绍使用外围轮廓描述进行车辆分割的过程，如图2.8所示。从采集到的测试图像，得到遮挡车辆的轮廓，如图2.8(b)。依照特征边的定义可以得到车辆轮廓的特征边组合，如图2.8(c)。示例所给的特征边描述为“aBaBcaBcAbCbcAcAbCbCbC”。需要从特征边的描述来判断出遮挡的车辆的数量。1） 其中，“aBcAbC”对应于表2.1中的“aBcAbC”，表征了一辆车；2） “aBcb”对应于表2.1中的“aBcAbC”，表征了一辆车；3） “cA”对应于表2.1中的“aBcAbC”，表征了一辆车；4） “cAbC”对应于表2.1中的“aBcAbC”，表征了一辆车；5） “aBbC”对应于表2.1中的“aBcAbC”，表征了一辆车；6） “bC”对应于表2.1中的“aBcAbC”，表征了一辆车。这就表示在这个轮廓中有六辆车存在，即六辆车产生了遮挡，如图2.8(d)。检测到了六辆车产生了遮挡，下一步就是将遮挡的车辆分割开来，分割方式即是依据上述的特征边在利用之前描述的贴合模板的方法将提取出的车辆都恢复成定义的三维模板,如图2.8(e)。至此，整个算法的检测和分割结束。 (a) 测试图像 (b) 外围轮廓 (c) 特征边描述 (d) 车辆分割 (e) 分割车辆恢复 图2.8 模板车辆分割2.3 运动目标检测算法运动目标检测是车辆遮挡检测的前期步骤，运动目标检测的结果对后续遮挡检测的检测率会产生直接的影响。本节对目前常见的运动目标检测算法做了介绍，方法主要分为三种：帧间差分法、光流法以及背景差分法。1） 帧间差分法帧间差分法21是使用不同帧间的差异来得出运动物体。而根据具体的方法来说又可以分为相邻帧间差分法和非相邻帧间差分法。相邻帧间差分法，顾名思义，是使用两帧相邻的图像相减。非相邻帧间差分法又称为多帧法，是使用多帧非相邻的图像相减。除去这些区别之外，其本质是相似的。具体而言，首先使用两帧或多帧图像相减，就得到图像中每个像素点之间的差值，当这些差值大于某个设定的阈值时，就表示这个像素点有运动，可能是运动的物体，相反，这个像素点就是背景点。帧间差分法的缺点在于通常得到的运动部分会比实际的运动物体大，而出现空洞或是双影。帧间差分法作为三类运动目标检测方法之一，使用极为广泛。其详细原理如下，设为像素点的像素值，位于第帧，R为阈值，帧间差分法表达式可表述如下： （2.3）式(2.3)中 为前景点, 为背景点。从公式(2.3)可以看出，帧间差分法计算量小，实时性高，易于实现。但该算法也存在明显缺点，运动目标速度正常或较慢时，当前帧和前一帧产生重叠，由于运动目标内部像素一定范围内一致，两帧相减运动目标中间产生空洞，查全率降低。当运动目标速度快时，当前帧和前一帧不产生重叠，检测出两个前景目标，查准率降低。帧间差分法检测到的结果图像如图2.9所示。图2.9 帧间差分法检测结果Collins Retal22提出的视频监控系统(Video Surveillance and Monitoring，VSAM)利用三帧差分法代替两帧差法，能快速有效的从背景中检测出运动目标。帧间差分法还可用于和其他算法相结合已完成某一特定目标，例如Li23中帧间差分法与视觉背景提取算法相结合以消除背景模型误差。2） 光流法光流法24，顾名思义就是光的流动，这是一个形象的说法。给图像中的每一个像素点赋予一个速度矢量，当图像中没有运动的物体时，每个像素点的速度矢量应该是连续的，而当图像中有运动的物体时，那么背景像素点与前景像素点之间就必然存在着相对运动，那么前景像素点的速度矢量必然与背景像素点的速度矢量不同，这样就可以检测出运动车辆。光流法可以在没有任何信息的情况下检测出运动车辆，但是计算量大，很难满足实时性的要求。光流法的基本原理是根据连续的几帧图像，求得每个像素点的运动矢量大小，包括运动速度和运动方向，得到图像的光流场，转化光流场为灰度图，通过最大OSTU最大间方差法，求得图像二值图，获得运动目标的相关像素点。设时刻图像上像素点的灰度值为，经过时间，像素点在方向上的位移为，在方向上的位移为，假设移动前后灰度不变化可得： （2.4）将等号右边泰勒展开可得： （2.5）其中为关于，和的高阶项，将公式(2.5)左右两边同时除，并化简得到： （2.6） 当时，公式(2.6)为： （2.7）令，和两个参数分别表示垂直和水平两个方向的位移分量，公式(2.7)可表示为： （2.8）光流法基本约束方程为公式(2.9)，其中含有两个未知数和。一个方程式两个未知数是无法解出未知数的，因此有必要提出其他约束条件。假设光流在整个图像上是平滑变化的，即光流场的速度的改变处处相等，即光流在水平方向和垂直方向上的拉普拉斯算子的平方和为零，即： （2.9） （2.10）根据公式（2.8）、（2.9）和（2.10）求出像素点运动速度的大小和方向。光流法的优点是适用于运动背景的场景下，只要背景和前景存在相对运动，即使不记录任何背景信息也能检测出前景点。其缺点是抗噪声能力差，容易受光照因素的影响，运算过程存在大量的迭代运算，计算量大，若是没有特定的平台，很难实时检测出前景。光流法检测的结果图像如图2.10所示。图2.10 光流法检测结果Ming Ye和Robert M 25提出不同的附加约束，源自于假设组成物体的各个小平面运动方向及速度相近似，并且在短时间内为常量；Valentinotti26为了解决光流场法计算复杂度高、实时性不强的问题，利用并行计算，实现了基于相位的光流算法，提高了光流场的计算速度。3） 背景差分法背景差分法2728，通常也叫做背景减除法，主要思路是从采集到的图像中挑选几幅图像通过一定的算法构造出背景模型，构造出的背景模型就作为基准，后续帧的图像与背景模型相减来提取出前景车辆。构造背景模型的图像需要静止，所以一般使用变化很慢或静止的部分。具体步骤而言，首先在采集到的图像中挑选几十帧图像(一般是使用前几十帧)，取每帧图像像素的平均值构造出背景图像，然后用后续帧的图像减去背景图像，这样背景就从图像中去除，剩下的部分即是前景物体。这就是背景差分法的原理，但是在实际情况中，采集到的图像中背景并非一成不变，会包含很多扰动的物体，例如树叶的抖动，光线的变化等等，所以构建的背景图像也并非是完全静止，这样就会造成提取出的前景物体不完全。背景差分法的优点是计算量小，可以满足实时性的要求。详细原理如下，设像素点在背景模型中的像素值为，像素点在当前帧的像素值为，阈值为，那么背景差分法可表示为： （2.11） 其中为背景点集合，为前景点集合。一般背景差法的处理流程如图2.11所示。背景差法的实现有三个步骤，第一个步骤是初始化背景模型，连续帧图像通过求均值或者求正态分布函数的方法，得到可描述背景特征的背景模型；第二个步骤是检测结果，当前帧和背景模型比较，判断当前帧中哪些像素点是前景，哪些像素点是背景；第三个步骤是更新背景模型，初始建立的背景模型不能完全表征随后图像的背景，所以需要背景不断更新，更新背景模型的方式一般有两种，一是保守型更新模式，只有被判断为背景点的像素点能更新背景模型，被判断为前景点的像素点不能更新背景模型，这种方式能检测慢速移动的物体，但是被误判为前景点的背景点无法消除，另一种方式概率更新模式，前景点和背景点都能更新背景模型，一般情况下，背景点更新背景模型的概率大于前景点更新背景模型的概率。这种方式对误判为前景点的背景点能快速消除，但是不可避免的带来慢速移动物体误检漏检的问题。图2.11 背景差法的检测流程图背景差法的优点是背景模型接近真实背景场景，查全率和查准率较高。背景差法最关键技术是初始化背景模型和更新背景模型，以高斯混合背景法为例，初始化背景模型采用高斯混合法，更新背景模型时仍需要进行高斯混合，实现高斯函数分布，计算复杂且计算量大。背景差法检测到的结果图像如图2.12所示。图2.12 背景差法检测结果帧间差分法、光流法和背景差分法的优缺点比较如表2.2所示。帧间差分法虽然计算量小，易于实现，但是检测结果十分不准确，容易产生“空洞”。光流法可适用于动态背景的场景，但是抗噪能力差，对光照敏感，且计算量大，不适用于嵌入式实时系统。背景差法因其计算复杂度和检测效果的优势，一直是近几年来的主要研究热点。常用的背景差法有平均背景法29、码本模型30、单高斯模型31和混合高斯模型32。近几年新算法也提出了许多，如Hofmann等人33提出的非参数背景建模法，Lanza 等人34的针对光照变化的统计变化检测方法，Caseiro等人35基于黎曼几何框架提出的背景建模方法和Ko等人36提出的基于邻域点的扭曲背景模型，Olivier Barnich等人37提出基于随机选择模型的视觉背景提取算法（Visual background extractor，ViBe）。表2.2 三种运动目标检测方法的比较算法名称优点缺点帧间差分法计算量小，易于实现易产生“空洞”，无法适应动态背景光流法适应动态背景抗噪能力差，计算量非常大背景差分法计算量适中，检测结果较为准确无法适应动态背景2.4 运动目标算法性能对比在背景差分法中，选择了均值背景法、混合高斯模型(Gauss Mixture Model，GMM)、ViBe算法最为典型的三种算法，作为本文运动目标检测的候选算法。均值背景法原理是将运动目标物体看做噪声，用累积平均的方式消除噪声，无前景目标时，某一点灰度值保持基本不变，只有当前景目标经过时，像素灰度值发生明显变化，所以用像素点灰度值的均值表示该点背景模型中的像素值。这种方法实现简单，检测速度快。混合高斯模型是这三种算法中检测效果最好的一种，其原理是使用个单高斯模型来表征图像中像素点。获得新一帧图像后更新高斯模型，将当前帧的像素点与混合高斯背景模型匹配，如果匹配成功则该像素点为背景点，如果匹配不成功则该点为前景点。这种算法的检测过程需要经过大量的函数计算，检测时间较长。ViBe是一种像素级视频背景建模或前景检测的算法，实现简单、计算量小，其原理是通过初始化第