复杂环境下车辆检测算法优化及实现答辩.pptx

,133523指导老师(校内)(校外,复杂环境下车辆检测算法优化及实现,目录,CONTENTS,背景、问题及目标,背景,内容,背景,研究背景:汽车的数量在不断增加，使得交通阻塞和交通事故日益严重，人们的出行时间也在不断增加,智能交通系统(ITS)的开发用来缓解这一问题，交通流量监测是ITS的一个核心部分。复杂环境下，车辆检测的不准确会给车流统计带来直接的影响，导致统计误差，进而影响到整个智能交通系统的性能。因此对复杂环境下车辆检测的研究具有重要理论意义和实际应用价值。,研究背景和意义,研究现状：复杂环境是指雨雪天、夜间及车辆遮挡情况。在雨雪天及夜间的车辆检测目前已取得较好的效果，本文针对车辆遮挡情况进行研究。目前针对于遮挡问题的检测已有不少研究，基于特征的、基于模型的等等。车辆检测是需要满足一定的实时性的，而目前检测率高的算法复杂度都较高无法满足实时性，而满足实时性的算法中检测率不高，且无法处理多种车辆遮挡的情况。,研究目的:提出一种车辆遮挡的检测算法，在满足实时性的前提下可以获得较高的检测率。,背景,研究背景和意义,整体框架示意图,未产生遮挡,内容,遮挡场景分析,遮挡的产生与采集图像的摄像机摆放的高度及监控的角度有一定的关系摄像头过低则容易产生遮挡，经验上来说，摄像头越高则产生遮挡的可能性越小，摄像头过高则监控的视野就会减小，就减小了摄像机的单位监控面积此外，从侧面采集的图像也更容易产生遮挡，换而言之，摄像头的监控角度与道路方向越小，则更不容易产生遮挡,为了获得更大的监控视野，并通过摄像机的位置摆放减少遮挡，就要求摄像机摆放在合适的高度，采集方向沿着道路方向。为此调研了在线道路采集网站，/，随机选取的100个摄像机中有76个是摆放在一定高度沿道路方向采集。,内容,内容,对比方法为紧密度检测法(CompactnessMethod)，由于其检测原理简单，实时性高，被广泛采用。,=2,=,，分别表示凸包和车辆的紧密度,紧密度率定义为,未遮挡的车辆此比率将接近于1，而当车辆发生遮挡时凸包的紧密度将大于车辆的紧密度，紧密度率将会小于1，只要设定合适的阈值就可以有效的将遮挡的车辆检测出来,内容,两辆车遮挡多辆车遮挡准确率(83.01%),内容,车辆图像,GDM模型,内容,原图,外围轮廓图,特征点,内容,根据摄像机摆放位置的不同会造成顶点个数的不同,内容,实验表明方法的检测率可以达到95.04%,但是每帧处理速度51ms，计算复杂度高,内容,存在的问题紧密度方法可达到实时性要求，但准确度不高无法处理多车辆遮挡的分割3D模型方法准确度高，但计算量大，无法达到实时性,算法改进本文在结合紧密度算法和3D模型算法的基础上，提出一种改进的检测算法减小复杂度，达到实时性要求检测的准确程度较高检测算法适于多车辆遮挡的场景，且易于分割,内容,当从摄像头后侧拍摄时，车辆所展示出的图形都会呈矩形状,内容,以一个具有四个顶点的2维的方形线框表征车辆，线框的长度可变，这样可以有两个明显的好处：可以适用于任何车型可以适配于任何大小的车辆,内容,内容,从角度变化上可以看出，检测的过程中会有一些抖动和干扰，需要在检测特征点前将这些抖动滤除之后进行特征点的检测，特征点外围轮廓代表了走向趋势改变的点，依据这一特征我们可以得到符合要求的特征点提取到的特征点存在着重复，对重复点进行处理后得到我们需要的特征点,内容,特征拐点,基础特征点,辅助特征点,内容,从上步中我们可以得到，车辆外围轮廓的特征点，但这是一些外围的基本特征点，为了进行后续的分割，我们按照特征点的走向对其进行分类,1.对轮廓线上任一点Pi分别取其前后各N个点，按左图模板计算点的轮廓走向矢量2.ADi中各元素初始化为0对点(101)重复以下步骤点(101)的下一个点+1如果在位置1，则,加1,如果在位置7，则,加1，在位置3，则,加1，在位置5，则,加1，在其他位置则不变对点(+10+10)重复以下步骤点(+1+10)的下一个点+1如果在位置1，则,加1,如果在位置7，则,加1，在位置3，则,加1，在位置5，则,加1，在其他位置则不变3.将满足,M1并且,M2的点记录为第1类拐点；将满足,M1并且,M2的点记录为第2类拐点；将满足,M1并且,M2的点记录为第3类拐点；将满足,M1并且,M2的点记录为第4类拐点；,内容,如前所述，我们假定摄像机的采集位置是沿着道路的方向一致，为了使遮挡的车辆最紧密的贴合预先定义的车辆模型101.计算前景车辆的重心点表示外围轮廓上的点，N表示外围轮廓上点的数量2.沿着道路的方向从重心点做直线，直至达到其垂直走向轮廓上，距重心点最远的点的距离,分别得到点q,q3.沿着垂直于道路方向从重心点做直线，直至达到其垂直走向轮廓上，距重心点最远的点的距离,分别得到n,n4.分别垂直于作垂线，四条直线相交的点即填充了平面模型，而四条线相交的点即使特征点,使用矩形的对顶点分割恢复成矩形模板,内容,车辆的分割根据特征点的组合类型车辆产生遮挡时，可能被遮住一个点或两个点或三个点，轮廓的扫描顺序是逆时针，故1,2,3,4在一定可以被检测到，由这四个基本点表征一辆车辆当被遮住一个、两个点、三个点时车辆外围仍然可检测到的特征点如下表所示由于两个点和三个点被遮挡时，外围的特征点个数变少，无法将车辆恢复为一个矩形，这时需要结合辅助的，5,6,7,8特征点进行分割,内容,上图中特征点的顺序为1,5,1,2,6,2,3,4,8,7,3,4,根据上面给出的特征点表征，其中2,3,4对应一辆车3,4,1对应一辆车1,2对应一辆车由于1,2同属一边，无法恢复一个矩形，故加上辅助特征点，辅助恢复,内容,运动目标检测使得车辆轮廓残缺不全，凹陷，分离，极易在检测过程中造成误检,内容,在前景检测时，背景会存在干扰及噪声的影响，使得的算法的查准率不高，而车辆检测是需要检测出车辆完整的轮廓，那么需要算法的有较高的查全率与查准率13,查全率不高具体表现在检测到的运动目标不完整前景目标有空洞前景目标边缘残缺前景目标分离断开,造成这些问题的原因由于ViBe算法本身的缺陷，ViBe使用样本模型描述场景，而样本模型个数有限无法准确的描述背景模型外界扰动变化突然，背景模型来不及更新前景区域与背景区域颜色相近，前景被作为背景,内容,这里采用Vibe使用灰度图来检测，采集到的图像中包含了颜色信息，在RGB颜色空间中背景点更为分散，HSV和YCbCr颜色空间中背景点更为集中，与背景点重叠区域较少,正常场景下各颜色空间中前景点与背景点的分布图,RGB,HSV,YCbCr,内容,RGB,YCbCr,HSV,光照场景下各颜色空间中前景点与背景点的分布图,光照场景下与正常场景相比背景点更为分散，在RGB颜色空间下背景点与前景点的距离更为靠近，而在HSV和YCbCr颜色空间下背景点与前景点的分离更为明显,内容,文献11研究了在交通检测环境下，各颜色空间的前景检测效果,TD表示正确检测前景点占总前景点个数的比例FD表示错误检测背景点占总背景点个数的比例,YCrCb颜色空间下检测率最高且误检率最低RGB颜色空间下将高亮区域检测成为前景因此提高了误检率HSV颜色空间也对高亮区域敏感，将其检测成为了前景，在测试的五个颜色空间中检测率最低,内容,在连通域的测试中,TD表示正确的前景点占检测到前景点的比率FD表示错误检测的点占检测到前景点的比率,RGB颜色空间的检测率相对较高且误检率低HSV颜色空间的检测率最高但是误检率也最高YCrCb保持着很高的检测率且误检率相对也很低，综合而言是表现最均衡的,YCrCb颜色空间是最适合用于交通监测环境下前景检测的颜色空间,内容,内容,1.为每个像素点建立一个包含N个样本的背景模型2.以为中心，R为半径的区域，U表示与背景模型的交集数3.BG表示背景点集合，FG表示前景点集合4.背景模型更新,内容,内容,17,评测方案,评测平台：IntelCoreDuo2GHz，1GRAMMicrosoftVisualStudio2010UltimateOpenCV2.4.10,评估项准确率评测查全率()=检测出的正确前景点真实的前景点查准率()=检测出的正确前景点检测出的前景点,评测输入：测试集highway、pedestrians视频序列，320 x240,对比算法：Vibe算法混合高斯模型算法,内容,17,评测方案,原图vibe本文,内容,评测方案,运动目标检测结果,从结果可以看出，本文的算法大幅提高了ViBe的查准率，而计算量低于高斯混合模型，且本文在原ViBe算法上进行改进，依然保持了抗干扰能力强的特点,内容,17,评测方案,评测平台：IntelCoreDuo2GHz，1GRAMMicrosoftVisualStudio2010UltimateOpenCV2.4.10,评估项实时性评测测试每段视频平均用时准确率评测检测率()=检测遮挡数()遮挡总数()误检率()=错误检测遮挡数()未遮挡车辆数(),评测输入：Caltra实时道路交通监测，5段视频，采集于日间，室外环境，每段约3分钟，320240，30fps,对比算法：Heidari算法1(2013PRIA)CHIU算法2(2010JOURNALOFINFORMATIONSCIENCEANDENGINEERING),内容,评测方案,上表给出了本文算法在测试序列下的检测结果，可以看到平均可以检测出91.62%左右的遮挡车辆，准确度较高右表给出了本文，Heidari1,CHIU2算法的ROC曲线图，横坐标为FPR,纵坐标为TPR，可以看到本文的算法要略优于1的算法，而差于CHIU2的算法，但是实时性方面要显著的快于CHIU2的算法。综合而言，本文的算法更为占优。,内容,评测方案,本文算法可以处理大多数遮挡情况的分割，整体的分割率达到了平均90.76%，与Heidari算法相比具备了多车辆遮挡情况下的处理能力。,内容,评测方案,实时性评测结果：,从实时性评测结果来看，本文的速度略慢于Heidari1的算法，但仅为CHIU2算法的1/2左右，满足实时性的要求,内容,工作总结：1.对背景差分的Vibe算法进行了改进，大幅提高了算法的查全率，降低了车辆检测的误检率2.在借鉴前人工作的基础上，提出了一种基于矩形模板的遮挡检测算法，在保证实时性的前提下，达到了91.62%的检测率，并且使用与多车辆场景的遮挡分割,谢谢,文献,1HeidariV,AhmadzadehMR.AmethodforvehicleclassificationandresolvingvehicleocclusionintrafficimagesC./PatternRecognitionandImageAnalysis(PRIA),2013FirstIranianConferenceon.IEEE,2013:1-6.2ChiuCC,KuMY,WangCY.AutomaticTrafficSurveillanceSystemforVision-BasedVehicleRecognitionandTracking.J.JournalofInformationScience&Engineering,2010,26(2):611-629.3ZHANGWei,WUQMJ,YANGXiao-kong,etal.MultilevelframeworktodetectandhandlevehicleocclusionJIEEETransonIntelligentTransportationSystems,2008,9(1):161-1744OhJ,MinJ,HeoB.DevelopmentofanintegratedsystembasedvehicletrackingalgorithmwithshadowremovalandocclusionhandlingmethodsJ.JournalofAdvancedTransportation,2012,46(2):139150.5Faro,A,Giordano,etal.AdaptiveBackgroundModelingIntegratedWithLuminositySensorsandOcclusionProcessingforReliableVehicleDetectionJ.NllgnRanoraonYmRanaonon,2011,(4):1398-14126LiY,LiB,TianB,etal.VehicleDetectionBasedontheandorGraphforCongestedTrafficConditionsJ.IntelligentTransportationSystems,IEEETransactionson,2013,14:984-993.DOI:10.1109/TITS.2013.2250501.7SadeghiM,FathyM.ALow-CostOcclusionHandlingUsingaNovelFeatureinCongestedTrafficImagesC./IEEEIntelligentTransportationSystemsConference.IE