基于视频检测的行人交通参数提取研究 硕士论文

硕士学位论文基于视频检测的行人交通参数提取技术研究ExtractionTechnologyofPedestrianTrafficParametersBasedonVideoDetection北京交通大学DATE\@"yyyy年M月"2021年6月学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保存、使用学位论文的规定。特授权北京交通大学可以将学位论文的全部或局部内容编入有关数据库进行检索，提供阅览效劳,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。〔保密的学位论文在解密后适用本授权说明〕学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日中图分类号：学校代码：10004UDC：密级：公开北京交通大学学位论文基于视频检测的行人交通参数提取技术研究ExtractionTechnologyofPedestrianTrafficParametersBasedonVideoDetection作者姓名： 学号：导师姓名：职称：学位类别：工学 学位级别：硕士学科专业：交通运输规划与管理 研究方向：城市交通规划与管理北京交通大学DATE\@"yyyy年M月"2021年6月中文摘要摘要：目前交通监控的主要方式是两种：人工观察；摄像机记录，人工统计。这两种方式都需要投入大量的人力和物力资源，并且人工统计的准确性有限，可能会出现疏漏，对异常情况不能及时做出反响。为此需要建立一种不需人工干预、或者只需要很少人工操作的智能交通管理系统，通过安装在固定位置的摄像机拍摄视频，实现对目标的定位、识别和跟踪及交通参数的提取和分析，并在此根底上进一步实现目标〔例如行人、车辆等〕行为的分析与判断。目前，针对车辆的目标检测、跟踪、识别研究已经比拟成熟，但针对行人的目标检测、跟踪、识别研究那么相对滞后，而且具体情况异常复杂，例如行人为非刚体，在视频中的面积小，行动较为随机，速度并不连贯，而且行人之间的间距有可能较小，这些都给相关技术造成了很大的挑战。本文对上述难点进行了研究，通过提取交叉口的行人流量、速度、步行方向等参数，给行人的交通管理与控制以及仿真系统模拟现实提供根底数据。本文的主要研究内容包括：〔1〕分析了智能交通监控视频中的降质因素，并研究了各种噪声的数学模型，针对交通视频中最常见的椒盐噪声和高斯噪声实现了经典滤波算法的去噪，并设计了一种改良算法，将参加图像像素点是否为噪声的判决预处理，只针对可能为噪声点的区域进行去噪，而对于非噪声点不进行去噪，更好地保持了图像的细节信息。〔2〕对于行人检测和识别问题，针对各种具体难点设计了具体的解决方案和步骤。比拟了常用目标检测算法，并根据交叉口智能交通监控视频的特点选用了适宜的行人检测算法。由于检测算法可能造成区域的不完整和空洞，采用形态学操作对行人目标区域的断裂区域实现连接，并对目标区域内的空洞进行填充。对可能存在噪声的区域采用区域面积统计的方法计算面积，并去除小面积的噪声斑块。对阴影采用几何形状的方法予以去除。对交叉路口复杂环境中的各种运动目标进行建模，并总结了行人目标的特点，实现了基于视频检测的行人目标识别。〔3〕实现了交通视频中交叉口行人目标的跟踪。通过对摄像机视场的标定，完成了摄像机空间拍摄的视频数字图像中的坐标到实际物理世界空间坐标系的映射换算，提取了包括行人目标的质心、位移、速度、加速度和流量等交通参数，为仿真系统模拟现实提供实际状况提供了翔实的根底数据。 综上所述，本文的研究成果能够为仿真系统模拟现实提供实际状况，并分析所在路口的交通状况，为交通管理与控制提供依据。关键词：交通参数提取；行人检测；行人识别；行人跟踪；视场标定ABSTRACTABSTRACT:Currently,mostmonitoringoftrafficsceneismainlyachievedthroughmanualsupervisorycontrolorartificialobservationofvideoaftertheevent.Thesemethodsneedalotofmanpower,materialresources;furthermore,omissionsmayoccurabnormalsituationscan’tberespondedduetothelimitationofhuman'senergyandattention.Thusthereisneedtoestablishintelligenttrafficmanagementsystemthatiswithouthumaninterventionorrequiresverylittlemanualoperation.Inthesystem,installingcamerasarefixedtocapturevideotoachievetargetslocation,identificationandtracking.Behaviorofgoals(suchaspedestrians,vehicles,etc.)areanalyzedandjudgedbasedonthetrafficparametersthatareanalyzedandextracted.Themethodsofvehicledetection,trackingandrecognitionhavebeenproposedandachievedsomefruitsandcontributions,however,pedestriandetection,trackingandrecognitionisrelativelylaggingbehind.Besides,thespecificsituationofpedestrianismuchmorecomplex.Thepedestrianareainthevideoissmall;theactionofpedestrianisrandom;thespeedofpedestrianisnotconsistent;andthespacingbetweenthepedestriansmaybeverysmall.Theaboveproblemsposeagreatthreatontechnologicalrealization.Therefore,itisrequiredtosearchandsolvethedifficultiesofparametersextracting,includingtheamountofpedestrianonintersectionoftraffic,speed,directionandotherparametersimportanttrafficdatawhichareimportanttothesimulationsystemthatcansimulatetheactualstateofreality.Themaincontentsofthispaperinclude:(1)Thelowerqualityfactorsoftheintelligenttrafficsurveillancevideowereanalyzedandvariousnoisemodelsaresummarizes.Themostcommonnoiseinintelligenttrafficvideo,salt&peppernoiseandGaussiannoise,werereducedbyclassicalfilteringalgorithms.Animprovedalgorithmwasproposedinwhichtheimagepixelswillbepre-judgedasnoiseornon-noise.Onlypossiblepixelsintheregionofnoisewerefilteredwhilenon-noisepixelswerenotfiltered,thustheimagedetailswereremainedbetter.(2)Forpedestriandetectionandidentification,specificsolutionsandspecificstepsweredevelopedtosolvethedifficulties.Thecommonlyalgorithmsusedfortargetdetectionwerecomparedandsuitablepedestriandetectionalgorithmwasselectedaccordingtothecharacteristicsintelligenttrafficintersectionsurveillancevideo.Thedetectedregionofpedestriansisoftenincompleteandhasemptyregions,morphologicaloperationswereemployedonthepedestrianregiontoconnectthefractureofthetargetareaandfilltheholesinthetargetregion.Smallnoisepatchesthatmayexistinregionofpedestrianswereremovedbyareacalculation.Theshadowofpedestrianwasremovedbygeometric-basedmethod.Variousmovingobjectmodelsinthecomplexenvironmentofintersectionwereestablishedandthecharacteristicsofpedestriangoalsweresummarizedtoachievevideo-basedpedestriandetectionandrecognition.(3)Pedestriantrackingalgorithminintelligenttrafficvideointersectionswasrealized.Throughcalibrationofthecamerafield,thecameraspaceofdigitalimagecoordinatesinvideowasmappedtotheactualphysicalworldspacecoordinate.Alotofimportanttrafficparameterswereextracted,includingcenterofpedestriantarget,displacement,walkingspeed,walkingacceleration,flowrateofpedestriantrafficandsoon.Thevaluabletrafficinformationanddataareimportantforthesimulationsystemtoproviderealisticsimulationoftheactualsituation.Inconclusion,theresultsandconclusionsofthisresearchprojectcanprovidepracticalsimulationsystemwiththerealtrafficsituationwhichanalyzesthetrafficsituationinthejunctionofthetransportationsystem.Besides,itprovidesthebasisforcomprehensivemanagementandmaintenance.Thus,thispaperisnotonlyofgreattheoreticalsignificance,butalsohasextensiveapplicationvalue.KEYWORDS：Trafficparameterextraction;pedestriandetection;pedestrianrecognition;pedestriantracking;fieldcalibration目录TOC\o"1-3"\h\z31632中文摘要 v31537ABSTRACT vi281321绪论 10171411.1研究背景和意义 10303281.2智能交通系统概况 11218201.3国内外研究现状 12227071.4主要研究内容和论文框架 1330622交通图像预处理 1588052.1视频图像降质模型 15212212.2常用的滤波去噪模型 1663172.2.1空间域滤波器 16269852.2.2频率域滤波器 17228242.3去噪实验及分析 18193322.3.1椒盐噪声 18146842.3.2高斯噪声 22174072.4本章小结 26324483基于视频检测的行人检测与识别 27309543.1常用检测算法 2771283.1.1背景消除法 2732613.1.2光流场法 28171983.1.3帧间差分法 294903.2本文行人检测方法 30264293.3区域处理 32152663.3.1形态学概述 32139573.3.2连接断裂区域 3336083.3.3空洞填充 34239003.4噪声区域抑制 3585853.4.1噪声斑块去除 35254093.4.2阴影去除 38181283.5基于视频检测的行人识别算法 41265453.5.1运动目标特征建模 4144333.5.2行人运动目标判断准那么 42253053.6本章小结 44270024行人跟踪与交通参数提取 46288224.1常用跟踪算法 4692744.1.1基于特征的跟踪 4683444.1.2基于3D模型的跟踪 46202374.1.3基于活动轮廓的跟踪 47237334.1.4基于区域的跟踪 4775704.2本文交叉口行人的跟踪 48160404.2.1MeanShift概述 4832824.2.2基于MeanShift的行人跟踪 49145314.3摄像机视场的标定和转换 50126904.3.1标定原理 50208484.3.2本文的标定方法 5147154.3.3标定过程与结果 52285244.4交通参数提取 55131874.4.1质心 55258884.4.2位移 56268994.4.3步行速度 5670494.4.4加速度 57284524.4.5流量 583934.5本章小结 60307595总结与展望 6119097参考文献 6312624作者简历 668243独创性声明 6729414学位论文数据集 68绪论研究背景和意义我国的交通事业经过了几十年的快速开展，已取得了突飞猛进的进步。但随着快速开展给人们生活带来极大便利的同时，也引起了各种平安隐患。例如交通事故发生率逐年上升，交通拥挤现象也成为大城市亟待解决的交通问题。交叉路口是交通事故和交通堵塞的频发地带，因此需要对交叉路口实现交通视频的监控，防止和减少事故和堵塞的发生。目前对高速路出入口、事故多发路口、停车场、住宅小区出入口等交通场景监控的主要方式是通过安排专人监看。不仅需要消耗大量的人力和物力资源，并且由于人工的方式准确度是有限的，可能会出现在高强度工作环境下发生错误，从而不能对特殊情况及时做出反响。为了解决这些问题，在一些交通场景中也使用了摄像机进行录像，事后再采用人工观察的手段来进行统计，但是这种做法仍然需要大量的人工辅助工作，同样无法对特殊情况做出实时的应对。目前，监测的手段大局部是使用环形线圈传感器来对交通的情况进行监测，但这种传感器只能监测机动车的交通量、速度等信息，获得的信息非常有限，无法分析和识别目标的行为，并且无法对非机动车进行有效的监测。除此以外这种线圈的安装和维护有其自身的缺点，比方在桥梁、立交桥上不能埋设，维修需要开挖路面等等，安装和检修的代价太大，因此具有很大的局限性。智能交通视觉监控的技术主要采用数字图像处理技术和计算机视觉技术来共同建立一个完整的智能交通管理系统。此系统不需要人工干预、或者只需要很少的人工操作，通过安装在固定位置的摄像机拍摄的视频，实现对目标的定位、识别和跟踪及交通参数的分析，并在此根底上进一步实现目标〔例如行人、车辆等〕行为的分析和判断，并对目标行为给出合理的语义描述，做到既能完成日常管理，又能在发生紧急情况时做出及时反响，从而提供了一种准确性、适应性更好的监控方案。智能交通系统中的交通检测和信息采集技术已经成为视觉技术应用的两个重要课题。当前，智能交通系统是计算机视觉的一个重要研究方向。与传统方法相比，智能交通系统具有本钱低、性能好、功能多等优点。基于视频检测的交叉口行人交通参数提取技术是智能交通系统的技术之一，也是智能交通系统中的重要应用。对行人的检测、识别、跟踪，并对具体的交通参数进行提取，例如行人的流量、步行速度、方向等，这些参数将成为交通数据统计的重要依据，因此具有重要的实用价值。由于基于视频的交叉口行人检测、跟踪的复杂性，该技术仍处在起步阶段，需要不断的研究并加以改良。本论文针对行人检测、识别、跟踪中一些关键问题进行了探索和研究，提出了新的方法，这些关键技术可以有效地提高行人检测与跟踪的性能，提高所提取的交通参数的准确性。智能交通系统世界各国城市化的开展和车辆家庭化的普及，使事故发生率上升和拥挤现象成为亟待解决的交通问题。为了解决该问题，美国、西欧和日本等兴旺国家先后投入了大量的人力、物力，在智能交通系统(IntelligentTransportSystems，简称ITS)的研究上取得了一定的成果。ITS将先进、快速、准确的计算机技术、数据通讯传输技术、信息技术、电子技术、自动控制技术等进行整合，综合运用到整个交通运输体系中，在车辆、道路、使用者三者之间建立了紧密的联系，实现交通运输管理的智能化。通过各种先进的设备和手段实时采集和处理交通信息，对突发的交通状况进行协调和处理，建立起实时、高效。准确的综合交通运输管理体系，充分利用先进的交通设施，更大程度的提高交通效率和平安，最终使得交通运输效劳质量和管理水平进一步提升，实现交通运输管理的集约式开展。ITS研究始于欧洲1986年的高效平安欧洲交通方案〔PROMETHEUS〕和美国的智能车辆与道路系统(IVHS，1992年)。该系统的最初目的是实现对建成的道路网功能扩展，实现车辆管理的智能化。随着其他领域技术的不断开展，PROMETHEUS和IVHS的研究逐渐开展为整个ITS的研究。为了减少交通拥挤，改善交通环境，世界各国投入大量的物力和人力加紧研究，以争取在未来竞争的ITS市场中占据一席之地。欧洲作为最早开展ITS研究的地区，早在70年代就开始智能交通方面的研究，2000年欧共体推出了一项e-Europe的方案，目的是投入更多的人力和物力推进ITS在欧洲的开展；日本开始是从道路的智能控制研究起步，70年代就己经成功研制了许多道路控制系统。当前，日本的ITS研究的主要领域包括：自动收费系统、车辆导航系统以及平安驾驶系统等。经过近几年的开展，欧美和日本在ITS研究和ITS系统开发上都处于领先地位。中国经济20世纪90年代以后步入了高速开展时期，导致交通需求越来越高，车辆和道路的供需矛盾越来越大，智能交通系统在我国的实施开展是大势所趋。虽然智能交通系统的研究在我国仍然处于起步阶段，但ITS作为新的经济增长点和作为解决交通供需矛盾的主要手段已得到相关部门的高度重视。国内外研究现状将道路系统和车辆作为紧密相关的一个整体去考虑，是当前ITS研究的根本思想，因此，智能车辆系统IMS(IntelligentVehicleSystem)成为智能交通系统ITS的一个重要组成局部。美国的ITS工程开发分为7类，其中的自动高速公路系统AHS(AutomatedHighwaySystem)、先进的驾驶员信息系统ADIS(AdvancedDriverInformationSystem)、先进车辆控制系统AVCS(AdvancedVehicleControlSystem)都是紧紧围绕车辆进行。各个国家不断开展和完善ITS体系，加强了智能车辆系统的研发，经过近几年的开展，欧美和日本在智能车辆方面的研究和开展处于世界领先地位，一些地区已经实现了成熟的智能车辆控制系统。在实际生活中，交通使用者通过直接的观察可以得到90%左右的交通信息，例如车辆根本状况、交通信号灯、交通标志牌、车道线、道路根本状况、道路标记、障碍物等。因此，可以考虑应用视觉技术来识别道路环境。基于视觉技术的智能车辆研究始于60年代末，由于需要实时图像处理的数据量非常大，而当时计算机的运算能力有限，只有少数几个研究组能够从事这方面的研究。随着计算机技术的不断开展，目前的计算机硬件水平到达了实时图像处理的要求。一方面，计算机硬件的价格不断下降，体积不断变小，性能有了大幅度的提高；另一方面，CCD(ChargeCoupledDevice)摄像头的价格廉价，体积小，图像处理算法有准确性高和适应能力强等特点。因此视觉技术在智能交通系统中有广阔的应用前景。目前国内外对基于视频图像处理的运动目标检测和跟踪研究有很多，有一批很有应用价值的文献和一些成型的系统HYPERLINK[1]。国内如西安交通大学的图像处理与识别研究所、华中理工大学的图像识别与人工智能研究所，他们的研究重点放在运动目标的检测上。清华大学的图形图像研究所、中科院自动化所模式识别国家重点实验室以及上海交通大学的图像处理与模式识别研究所那么主要是针对运动跟踪中的轮廓跟踪算法进行了深入的研究。但是国内的研究主要停留在理论方面，还没有出现比拟大型的并应用于实际的成型系统。国外的研究重点在于在应用中的理论研究，如卡内基梅隆大学和Sarnoff公司联合开发的视频监控系统VASM(VideoSurveillanceAndMonitoring)系统[2]，该系统的目的是为了改良自动视频识别技术，它通过用户的操作可以监视复杂的场景，如城市市中心或战场；美国马里兰州大学和IBM公司联合开发的实时视频监控系统W4HYPERLINK[3],该系统能够将形状分析和跟踪技术相结合，对人的外观进行模型构建。该系统可以在复杂的环境下检测到人群并实现跟踪；美国麻省理工学院开发的PfinderHYPERLINK[4]系统实现了人的三维描述，能够在复杂的室内环境下对单个人进行跟踪等。从上文可以看出，针对车辆的目标检测、跟踪、识别研究已有局部的成果问世，车辆的体积大，速度稳定，运动轨迹较为连贯，和具有一定的规律，而且车辆之间的间距较大，因此车辆方面的相关技术相对较为容易。但针对行人的目标检测、跟踪、识别研究那么相对滞后，而且具体情况异常复杂，例如行人在视频中的面积小，行动较为随机，速度并不连贯，而且行人之间的间距有可能较小，甚至可能有重叠，这在车辆的检测中是不可能出现的，这些都给相关技术造成了很大的技术难点。主要研究内容和论文框架本文主要是针对交通视频中交叉口行人的检测、识别、跟踪和交通参数提取技术进行研究，其中对视频图像预处理、行人的检测、识别、行人的跟踪和交通参数提取几个步骤的相关算法进行了设计和改良。主要创新点为：〔1〕提出一种改良的中值滤波去噪算法，此算法对受噪声污染的图像的像素点进行分类，有针对性的对噪声点区域去噪，而对于非噪声点不进行操作，更好的保持了图像的细节信息，使去噪更有针对性，降低了滤波器去噪过程的模糊效应。〔2〕针对智能交通交叉口的行人的检测和识别问题，设计了具体操作步骤解决各种技术难点。设计了完整的行人检测、区域处理、行人识别和阴影的去除算法的完整流程，实现了基于视频检测的行人目标识别。〔3〕完成了摄像机空间拍摄的视频数字图像中的坐标到实际物理世界空间坐标系的映射换算，建立了世界坐标与图像坐标之间的函数关系，得到了图像中目标点在现实中的二维位置坐标，为之后的交通参数提取打下了根底。针对行人的特点，提取了包括行人目标的质心、位移、步行速度、步行加速度和行人的流量等交通参数，为交通根底研究、仿真系统模拟现实提供了珍贵的数据和信息。本文共分成五个章节，第一章绪论，包括本文的选题背景和研究意义、智能交通系统概述、国内外研究现状和全文章节体系。第二章至第四章分别对视频图像预处理、行人检测、识别、跟踪和交通参数提取三个方面的研究内容进行阐述，并对原有方法和改良方法进行了比照。第五章为总结与展望。交通图像预处理由于存在客观因素如系统噪声〔成像系统在成像、通信过程产生的噪声〕、摄像设备的分辨率因素和外界干扰因素的影响，都会使受噪声影响的交通视频质量下降，从而导致有关信息的丧失和提取错误。因此有必要对交通视频图像采取一定的预处理，从而得到高质量的图像。视频图像降质模型由于智能交通视频的每帧数字图像的信号产生、传送和处理到最后成像的过程的复杂性，最终得到的图像很有可能受到噪声的干扰。例如，在图像传输中会产生脉冲噪声，在激光和超声图像中常存在乘性椒盐噪声，而照明不稳定、镜头或感光器件灰尘以及非线性信道传输引起的图像退化等都会产生不同种类的噪声。受到上述噪声干扰图像的数学模型根据方式的不同可以分为高斯噪声、椒盐噪声和乘性噪声等噪声类型[5]。 高斯噪声和椒盐噪声属于原始信号叠加噪声，公式为 (2-1)其中为参加噪声后的图像，分别是原始的图像和噪声信号。〔1〕高斯噪声主要为在原始的图像信号上参加了正态分布的噪声，高斯噪声的概率密度函数满足正态分布，公式为 (2-2)其中，z表示灰度值，表示z的均值或期望值，表示z的标准差。〔2〕椒盐噪声是在原始的图像信号上叠加数值为0或者255的噪声信号。0对应黑色表示椒噪声，255对应白色表示盐噪声。表现在图像上是很多白色和黑色的噪声点。〔3〕乘性噪声的信号跟原始信号的强度有关，具体公式为： (2-3)从公式中可以看出，对原始图像通过函数f的运算得到了乘性噪声的系数。函数的表达式根据具体的情况进行建模。去噪属于图像处理中非常根本也是最重要的一类问题之一。因为图像处理的关键问题即通过处理增强图像的质量。由于通信信道中干扰因素，即噪声的存在使图像清晰度降低，质量下降，通过去噪处理提高图像清晰度，尽量恢复原先图像的内容。交通的视频中最常见的是高斯噪声，有时也会出现椒盐噪声，因此主要针对这两种噪声类型进行分析和去噪。图2.1是交通监控视频中出现的椒盐噪声和高斯噪声的情况。〔a〕椒盐噪声〔b〕高斯噪声图2.1交通监控视频中的噪声图像常用的滤波去噪模型不同的情况下和不同的应用背景中通常存在不同的噪声类型，各种去噪算法针对不同的噪声类型表现出不同的性能特点。去噪的滤波器主要分成了空间域和频率域两大类，空间域去噪包括均值滤波和中值滤波两大经典算法[6-7]。空间域滤波器〔1〕均值滤波器均值滤波也被称为“邻域平均法〞，是图像增强算法中很实用的空间域去噪算法。通常，图像中相邻像素的灰度或色彩有极强的相关性，因此灰度和色彩也能更改是连续地、缓慢变化。椒盐噪声表现为明显的黑色点〔椒噪声〕和白色点〔盐噪声〕，这些点与周围非噪声点比照强烈，可以通过周围的非噪声点对噪声点进行处理，到达平滑噪声的效果，均值滤波的公式可表示为： (2-4)其中M表示窗口中的像素个数。g(x,y)是均值滤波后中心像素的灰度值。均值滤波是一种线性滤波器，但模糊效应比拟严重，去噪的同时会引起细节信息的丧失[8-9]。〔2〕中值滤波器中值滤波通常选取含有奇数个点的滑动模板，将模板中各点的灰度值排序，选取中值代替模板中心像素的的灰度值，中值滤波公式表示为： (2-5)其中，i,j的取值取决于滑动模板长与宽的尺寸。中值滤波是一种非线性滤波器，模糊效应没有均值滤波严重，一般可以保存更多的边缘等细节信息。中值滤波可以有效滤除孤立的噪声点，因此非常适合处理椒盐噪声[10]。频率域滤波器图像在频域通过低通滤波器去除高频的噪声成分也是消除噪声的有力手段。噪声在图像的灰度值中主要集中在傅里叶变换的高频局部，因此，可以通过衰减抑制图像傅里叶变换后的高频成分消除噪声，得到图像平滑增强的效果。频域中的滤波模型可用下式表示：(2-6)其中，是含有噪声图像的傅里叶变换，是平滑后图像的傅里叶变换，是去噪滤波器的传递函数。频域滤波的目标是选择一个滤波变换函数，通过衰减的高频成分得到，通过傅里叶反变换可以得到平滑图像。由于具有低通滤波特征，这种方法称为低通滤波平滑处理。常用的滤波器有理想滤波器、巴特沃斯滤波器和高斯滤波器。这三种滤波器涵盖了从非常锋利到非常平坦范围的滤波器函数。当巴特沃斯滤波器的阶数较高时，比拟接近理想滤波器，因此，巴特沃斯滤波器可以看作其他两种滤波器的过渡。频率域滤波器需要通过傅里叶变换转化到频率域操作，最后再进行傅里叶反变换，恢复到空间域，因此这种方法的计算的复杂性较高，处理的时间相对较长，对于交通视频需要具备实时性处理的要求不太符合。因此本文主要研究和设计空间域的滤波去噪算法。〔三〕改良中值滤波器为了降低中值滤波带来的模糊，本文对中值滤波算法进行了改良，对中值滤波前期进行预处理，通过统计分析和判决条件来搜索图像的噪声区域，把图像分成非噪声局部和噪声局部两类区域，对非噪声区域不进行去噪处理，也就不会带来模糊效应，对噪声区域采取去噪处理，去除噪声，改良算法在保持中值滤波原有去噪能力的根底上进一步降低了去噪引起的模糊效应。具体算法过程如下：〔1〕首先对图像中的每个像素进行灰度值的判断，如果在[0,0+α]或[255-α,255]两个范围内，说明可能是椒盐噪声点；如果不在这两个范围内，那么不是椒盐噪声点。对于非噪声点，不进行处理，而对于可能属于椒盐噪声点的像素进行滤波处理。〔2〕对于可能是椒盐噪声的像素点进行滤波处理，将此噪声点3×3邻域范围九个像素的灰度值，分别判断统计是否属于[0,0+α]或[255-α,255]两个范围内。在高强度噪声的情况下，周围邻域的点假设属于这个范围也可能是噪声点，假设用这些噪声点平滑，那么效果不理想，因为去掉邻域内灰度属于噪声区域范围的像素，只保存不在这个范围内的像素。〔3〕将3×3邻域内不在噪声区域范围内的像素保存下来，组成一个序列，并对这个序列进行排序，选取中值取代中心位置原先像素的灰度值。〔4〕如果图像原先的某个区域就很亮，或者很暗，那么区域内的像素灰度可能都处在噪声区域范围内，这种情况下通常3×3邻域的九个像素的灰度值都属于噪声区域，那么根据上述判断准那么所有的像素点都去掉了，序列中没有任何元素。所有为了防止这样的情况，参加了一个判断语句，如果序列长度为0，即此时为空序列，那么这个像素点不做处理，还是保持原先灰度值。这种改良算法更有针对性地滤波可能的椒盐噪声点，同时防止滤波引起的非噪声点的模糊现象，去噪性能更好。下文将有详细具体的实验结果和比照分析。去噪实验及分析椒盐噪声对于椒盐噪声，中值滤波效果通常比均值滤波效果好，中值滤波的模糊效应低于均值滤波，可以更好的保护图像的边缘等细节信息，但仍存在模糊效应。改良的中值滤波对于高强度的椒盐噪声仍可以较为准确的分辨噪声像素和非噪声像素，从而可以实现更理想的去噪效果。图2.2是交通监控视频椒盐噪声存在下列图像去噪比照，其中(b)~(e)中自左至右分别为噪声图像、均值滤波结果、中值滤波结果、改良中值滤波算法去噪结果。从图中可以明显的看出，对于椒盐噪声，中值滤波的性能明显优于均值滤波，本文的改良算法又明显优于传统的中值滤波算法。(a)原始图像 (b)0.2椒盐噪声 (c)0.4椒盐噪声 (d)0.6椒盐噪声 (e)0.8椒盐噪声图2.2交通监控视频椒盐噪声污染图像去噪比照〔每组的四个图中，自左至右、自上至下分别为噪声图像、均值滤波结果、中值滤波结果、改良中值滤波算法去噪结果〕为了验证和比照去噪算法的有效性，仅从图中难以直观得到定量结果，因此选择全参考的客观评价测度来比拟不同方法的性能。首先介绍全参考评价测度，设x={x1,x2,…,xN}表示没有噪声污染的图像的每个像素的灰度，N表示像素的个数，y={y1,y2,…,yN}表示去噪处理后输出的图像的每个像素的灰度，N也表示像素的个数。每个像素的灰度数值对应的噪声去噪后的误差ei计算公式为 〔2-7〕均方误差(meansquarederror,MSE)衡量算法误差的定义为 〔2-8〕其中，均方误差也称为标准误差，定义为各测量值误差的平方和的平均值的平方根。反映了每个像素去噪后对没有噪声污染情况下的平均能量失真。MSE值越小，说明去噪后的像素灰度和对应的没有噪声污染的实际灰度差异越小。由于MSE具有明确的物理意义，而且计算简单，被广泛应用各种统计学领域衡量算法优劣。在MSE的根底上引入峰值信噪比(PeakSignaltoNoiseRatio，缩写PSNR)衡量去噪的效果。峰值“peak〞的中文翻译是顶点。而radio的意思是比率或比例的，PSNR的意思是到达噪音比率的顶点信号，一般作为一个重要指标参数用于最大值信号和背景噪音之间的衡量。通常噪声污染和去除噪声后，输出的图像通常会与原始影像在某种程度上不一致，为了衡量经过去噪处理后的图像质量，通常可以参考PSNR值来认定某种去噪算法的效果，数值越高说明去噪效果越好。PSNR的计算公式为 (2-9)三种算法在椒盐噪声强度为0.2、0.4,、0.6、0.8的情况下计算得到的PSNR的数值见表2-1所示，表中的数据对应了图2.2的统计数值。图2.3是表中数据对应的不同噪声强度下几种去噪算法的PSNR比照。表2-1椒盐去噪算法PSNR比照噪声强度0.8均值滤波21.621218.97817.714617.0905中值滤波27.503121.758117.338914.4376改良中值滤波28.657826.255324.950723.5192图2.3不同强度椒盐噪声下几种去噪算法的PSNR比照。从以上的实验可以得出以下结论：〔1〕随着椒盐噪声强度的不断增加，每种算法的PSNR值都呈现下降趋势。因为噪声密度越大，那么对于去噪的难度越大，和原始图像的差异就越大。〔2〕椒盐噪声中，中值滤波通常效果较均值滤波效果好。但如果噪声密度太大，例如到0.8时，大局部的数据已经是噪声点，此时均值滤波的PSNR值反而高于中值滤波。可见中值滤波对于椒盐噪声的去噪效果优于均值滤波是有噪声强度约束的，假设噪声强度过大，那么中值滤波和均值滤波的性能难以简单比拟。〔3〕三种算法中传统中值滤波随着噪声强度的增加，去噪的性能下降较快，均值滤波的下降相对中值滤波较慢。〔4〕改良的中值滤波性能明显优于中值滤波和均值滤波，并且噪声密度越大，这种优势越明显。随着噪声密度的增加，改良中值滤波算法的PSNR值下降的也最慢，因此是一种良好的去除椒盐噪声的滤波算法。高斯噪声对于高斯噪声，均值滤波效果通常比中值滤波效果好，但对于噪声强度不强的时候，中值滤波可能有更好的效果，并更好地保护图像的边缘等细节信息。图2.4是交通监控视频高斯噪声污染图像去噪效果比照，其中(b)~(e)中自左至右分别为噪声图像、均值滤波结果、中值滤波结果、改良中值滤波算法去噪结果。从图中可以明显的看出，对于高斯噪声，总体来说，均值滤波的性能优于中值滤波，但在噪声强度不大的时候，可能本文改良的中值滤波也有较好的优势，但随着噪声强度增强，均值滤波的优势更为明显。(a)原始图像 (b)10dB高斯噪声 (c)20dB高斯噪声 (d)30dB高斯噪声 (e)40dB高斯噪声图2.4交通监控视频高斯噪声污染图像去噪比照〔每组的四个图中，自左至右、自上至下分别为噪声图像、均值滤波结果、中值滤波结果、改良中值滤波算法去噪结果〕为了验证和比照去噪算法的有效性，仅从图中难以直观得到定量结果，因此仍选择PSNR来比拟不同方法的性能。三种算法在椒盐噪声强度为10dB、20dB、30dB、40dB的情况下计算得到的PSNR的数值见表2-1所示，表中的数据对应了图2.2的统计数值。图2.3是表中数据对应的不同噪声强度下几种去噪算法的PSNR比照。表2-2高斯噪声去噪算法PSNR比照噪声强度(dB)10203040均值滤波28.868528.256224.711417.8773中值滤波29.631228.39823.717315.4339改良中值滤波38.071128.04918.157510.4033图2.3不同强度高斯噪声下几种去噪算法的PSNR比照。上面的实验结果图和表的数据是对应了，从以上的实验可以得出以下结论：〔1〕随着高斯噪声强度的不断增加，每种算法的PSNR值都呈现下降趋势。因为噪声密度越大，那么对于去噪的难度越大，和原始图像的差异就越大。〔2〕高斯噪声中，均值滤波通常效果较中值滤波效果好。但如果噪声密度不大，例如小于20dB时，此时均值滤波的PSNR值反而低于中值滤波。此时，本文的改良的中值滤波算法性能也优于传统中值滤波。假设噪声强度超出这个阈值，那么均值滤波对高斯噪声的去噪性能更优。〔3〕三种算法中本文的改良中值滤波随着噪声强度的增加，去噪的性能下降较快，均值滤波的下降较慢。从不同强度的椒盐噪声和高斯噪声的比照图中可以看出，通常情况下的噪声强度一般不会过高，本文的实验在较为极端的情况下模拟了高强度的噪声实验，并对各种算法的实验结果进行了比拟和分析。针对椒盐噪声，本文的改良中值滤波的方法有理想的优势。对于高斯噪声，当强度小于20dB的情况下，本文的改良算法一般优于经典算法。因此在高斯噪声强度低于20dB的情况下，也可以使用本文方法进行去噪，实现图像的增强。本章小结本章分析了智能交通监控视频中的降质因素，并总结了各种噪声的数学模型，针对智能交通视频中最常见的椒盐噪声和高斯噪声实现了均值滤波和中值滤波算法的去噪。虽然中值滤波可以更好的保持细节，但中值滤波仍然会带来一定的模糊效应，并且对于噪声的去噪过程没有针对性，因此本文提出一种改良算法，总体思路是将参加图像像素点是否为噪声的判决预处理，只针对可能为噪声点的区域进行去噪，而对于非噪声点不进行去噪。对不同强度下的椒盐噪声、高斯噪声进行各种去噪算法的实验和比照，分析了各种算法的优势。预处理后的智能交通视频去除了噪声的干扰，为后续的操作步骤奠定了根底。基于视频检测的行人检测与识别常用检测算法传统的交通监控方法，如电磁感应环线圈式车辆检测器，不能识别车辆的行驶方向，不能进行车辆分类等。雷达波检测器只能检测运动目标，但对目标缓行和目标静止的情况不能有效地提取背景，可能无法做出准确的检测。当图像处理逐步开展为一个成熟的领域之后，出现了基于图像处理的交通监控系统，但图像处理往往是把一张图像变成另一张图像，图像处理的手段仅一些图像增强、图像压缩和校正等工作、仍然需要大量的人工干预把丧失信息恢复回来。另外由于计算机硬件和软件的制约，能得到的交通参数实际上很有限，这样的系统无法做到信息的实时回馈，无法在交通发生拥挤时起到及时疏导交通的作用[11]。因此基于视频的运动目标的处理技术更具有实际的研究价值和应用意义。近年来，国内外学者对视频图像的运动目标检测和识别做了许多研究，常见的方法有背景差分法、光流场法HYPERLINK[12-16]以及图像差分法HYPERLINK[17-19]。背景消除法背景消除法是目前运动分割检测中一种很常见的方法，也称为背景差分法，通过比拟当前图像与背景图像的差异实现目标运动区域的检测。如果假设B为背景帧，It是第t帧的视频序列，那么差分的计算公式为： (3-1)其中，(i,j)表示每个像素点的位置,|·|表示绝对值运算，通过进入画面的目标与背景的差异可以检测到目标的位置。但得到的差异需要通过阈值的判定实现二值化操作，最终确定目标的位置，二值化的公式为： (3-2)其中，τ是阈值，即做差后差异到达一定的阈值才认为是目标。这种算法定位精确、速度快，但缺乏合理的背景更新方法，因此大局部研究人员目前都需要开发出不同的背景模型。其中Haritaoglu等人[20]利用最小、最大强度值和最大时间的差分值为交通场景中每个像素进行统计建模，并且周期性的进行背景更新；McKenna等HYPERLINK[21]利用了像素色彩与梯度信息具备相关性这个特质，建立了自适应背景模型以排除阴影对分割的影响；Karmann、Brandt[22]和Kilger[23]那么采用了基于卡尔曼滤波的自适应背景模型以应对天气和光照的变化情况；Staufer和GrimsonHYPERLINK[24]采用了自适应的混合高斯背景模型，并且对Haritaoglu提出的统计模型进行了一系列改良。光流场法光流场法检测HYPERLINK[25]是利用目标随时间变化所产生的光流特性进行检测。光流的含义是图像亮度状况的运动，当目标运动时，在图像上对应的目标的亮度也在变化，表现出一种类似运动的直观感觉。通过光流法可以得到位移向量的光流场，从来初始化目标的轮廓，便于后续基于轮廓的跟踪算法有效地检测和跟踪目标。光流场方法的两个根本假设是：1、图像上的任意一点某一时刻所观测到的亮度在时间间隔dt内是恒定不变的；2、图像上任一点都不是独立的，光流在整个图像范围内作平滑变化。假设在时间t的时刻图像中坐标为(i,j)的像素点灰度值为I(i,j,t)，经过时间Δt后，运动到(i+Δi,j+Δj)，灰度值变为I(i+Δi,j+Δj,t+Δt)。那么这两个点实际上就可以看成是同一个点在不同时刻的两个位置，因此可以假设这两个点的灰度是一致的，即 (3-3)前文已经指出灰度随(i,j,t)是缓慢变化的，并且变化过程是连续的，因此，对上述公式的右边用泰勒级数展开： (3-4)式中，e是dx,dy,dt的二次和高次项，对二次项化简和约去，得到 (3-5)假设，那么可用下式表示光流场的根本方程 (3-6)光流法的主要优点在于能够直接用于摄像机运动下的目标检测，对目标在帧间的运动的限制较少，可以处理大的帧间位移；主要缺点是大多数光流计算方法相当复杂，且抗噪性能差，如果没有相关硬件支持，不适合实时处理。帧间差分法帧间差分法〔也可简称为帧差法〕可以提取出物体的运动信息。帧差法根据公式中计算需要帧的个数可以分为二帧差分法、三帧差分法等。帧差法的根本假设是在视频序列中相邻两帧的视频序列图像是连续性，假设画面中没有待检测的目标，那么相邻帧图像的变化非常小；而有运动目标进入画面时，会引起比拟明显的帧差。如采用前后相邻两帧做差，通过相邻两帧的差异检测运动目标的方法成为二帧差分法，这也是运动目标检测中最简单也最常用的运动目标检测方法。假设假设It是第t帧的视频序列，It+1是第t+1帧的视频序列，那么二帧的差分的计算公式为 (3-7)在背景图像区域的灰度值和位置变化不大的情况下，二帧差分法可以得到比拟好的检测效果。假设背景图像有明显的抖动，并且位置本身存在变化，那么这种方法的应用就会受到局限。二帧差分法得到的帧差结果也需要通过设置适宜的阈值进行二值化才能得到具体的运动目标区域。二帧差分法的主要缺点是检测出的目标可能不完整、位置也未必精确，而且运动目标内部可能存在“空洞〞，并且运动物体的形状沿运动方向被拉伸，因此检测得到的目标比实际物体的面积大，存在一定的失真。为此有人提出了许多改良的方法，像是基于边缘的背景消除法HYPERLINK[26]，但该方法存在一定的缺点，比方当运动目标的边缘与背景边缘重叠的时候，局部运动目标信息就可能被消除了。此外，C.VierenHYPERLINK[27]提出的一种获取运动目标精确位置的方法——三帧差分法，但该方法需要连续的三帧图像，并且需要计算梯度图像，计算量大并且有一帧时间的滞后性。三帧差分法，采用基于相邻的三帧图像进行差分运算，然后将第一帧和第二帧，第二帧和第三帧计算得到的两个差分图像进行对应像素的“与〞运算，实现运动目标的提取。假设假设It-1是第t-1帧的视频序列，It是第t帧的视频序列，It+1是第t+1帧的视频序列，将这连续三帧图像每两帧分别差分，将所得到的两个差分图像的对应像素“与〞运算，得到 (3-8)同样，三帧差分法得到的帧差结果也需要通过设置适宜的阈值进行二值化才能得到具体的运动目标区域。前文对各种检测算法进行了阐述和介绍，表3-1总结了各种检测算法对检测所得信息、复杂度、技术难点和适用情况进行了比照[28]。每种算法都有各自的优缺点，因此没有绝对优势的方法，一般需要针对具体的工程应用背景、条件、环境、指标因素等综合考虑，选择满足精度和实时性的检测方法，表3-1常用检测算法比照背景消除法光流场法二帧差法三帧差法所得信息目标位置、大小、形状等目标位置、大小、形状等目标边界目标边界、位置复杂度小大小较小难点背景选取机制、背景更新复杂度高空洞空洞、滞后性适用情况摄像固定；实时性要求不高；对目标信息要求较高；有光照、光线、天气等影响摄像固定；对目标信息要求高；背景或者容易获取；光照、光线、天气等影响小；摄像固定；实时性要求高；对目标信息要求不高；摄像固定；实时性要求高；对目标信息要求不太高；行人检测方法由于在交叉路口通常难以在无人的情况下建立背景场景，同时受各种因素，例如光照、光线、天气等，可能使背景消除法失效，而光流场的计算较大，限制了光流场法在实时性较高的智能交通视频监控中，因此本文主要考虑采用帧差法，包括二帧差分法和三帧差分法，并比照。图3.1是二帧差分法的行人检测效果，图(a)(b)分别是智能交通视频中相邻两帧的图像，图(c)是二帧帧差检测到的行人目标。图3.2是采用三帧差分法的行人检测效果，图(a)(b)(c)分别是智能交通视频中相邻三帧的图像，图(d)(e)是每相邻两帧得到的帧差，图(f)是两个两帧帧差“与〞运算得到的三帧帧差检测的行人目标效果。从图中可以看出，二帧帧差虽然可能导致目标的失真，也存在空洞问题，但是整体的目标检测较为完整，后期经过形态学等区域处理方法可以得到较为完整的区域，三帧帧差虽然减少了目标的失真，但是提取区域信息过少，除了空洞问题外还难以闭合，并且计算复杂度高于二帧差分法，因此本文采用二帧差分法进行行人目标的检测，针对二帧帧差法的具体问题，可以考虑采用更多的后期处理予以解决。(a)第t帧 (b)第t+1帧(c)二帧帧差图3.1二帧差分法行人检测(a)第t帧 (b)第t+1帧(c)第t+2帧 (d)前两帧二帧差(e)后两帧二帧差 (f)三帧帧差图3.2行人检测区域处理行人检测可以大致确定行人的目标，但是这种目标非常不规整，存在空洞、间隙。因此需要其他手段对区域进行规整处理。这里采用形态学进行区域处理，包括连接断裂区域、空洞填充、去除孤立噪声区域三个步骤。形态学概述形态学(Morphology)一词来源于生物学的一个分支，是主要研究动植物形态和结构的科学。数学形态学运算是对于二值化图像根据集合论方法建立并开展的图像处理方法，其语言是集合论，拥有完备的数学根底[29-30]。数学形态学由法国巴黎矿业学院的Mathern和其学生Serra于1964年提出，他们在研究过程中提出了“击中/击不中变换〞理论，并在理论上首次阐述了形态学的表达式。法国枫丹白露数学形态学研究中心于1968年成立，这一领域引起学者的普遍关注。Serra于1982年发表专著?图像分析与数学形态学?[31]，首次将数学形态学与图像分析相结合，提出了数学形态学图像处理的根本理论。近年来数学形态学在数字图像处理、机器视觉等领域中得到了广泛的应用，成为一种独立开展的图像处理的方法，并且在当今的图像相关领域发挥着越来越大的作用。其中在医学图像方面已在细胞检测、心脏运动过程研究、脊椎骨癌图像自动数量描述等方面的应用有成功的案例。连接断裂区域一般的形态学图像处理都表现为在邻域中的运算形式，这种经过特殊定义过的邻域结构叫做“结构元素〞〔StructureElement〕。通过这种结构元素定义的邻域关系，对每个像素进行与二值图像相应区域特定的逻辑操作，逻辑计算的结果作为此像素的输出值，每个像素进行操作后得到了一次形态学的结果。形态学计算的结果往往与结构元素的尺寸、形状和逻辑运算的定义等有关。腐蚀(Erosion)和膨胀(Dilation)是两种最根本的数学形态学运算，其他的形态学运算一般都可以通过这两种根本的运算形式进行一定的组合和衍生。下面给出腐蚀和膨胀的公式。假设A和B是Z中的两个集合，其中B是结构元素，那么A被B腐蚀，可以表示为A⊝B，计算公式可以表示为： (3-9)式〔3-9〕的含义表示A被B腐蚀即所有B中包含在A中的点的集合用平移。当然，腐蚀的公式形式并不唯一。假设A和B是Z中的两个集合，其中B是结构元素，那么A被B膨胀，可以表示为B，计算公式可以表示为： (3-10)式〔3-10〕是为了得到B的相对于其原点的映像且由对其映像进行平移为根底的。所有B中包含在A中的点的集合用平移。A被B膨胀是所有位移的集合。从而与A至少有一个元素是重叠的，所以公式也可以写成= (3-11)一般行人目标的检测难以形成闭合区域，并且区域之间由于帧差不够明显可能出现断裂，因此需要将区域连接。这里采用膨胀的算法将图像的区域膨胀连接。图3.2是对帧差检测结果进行膨胀后的效果，膨胀后断裂的区域彼此可以更好的连接。(a)帧差结果(b)膨胀结果图3.2断裂区域连接空洞填充空洞填充是对图像中的空洞进行填充，使图像中的目标成为实心的区域，防止空心目标区域。空洞填充算法也是形态学中的一种重要的处理方法，但和其他的形态学操作不同，填充的空洞属于目标外的背景区域，因此空洞填充是对目标区域内部的空洞的背景区域实现操作。对于智能交通视频中的行人检测的结果，行人目标区域很可能出现空洞，因此需要采用相应的填充算法对空洞填充，使行人区域完整。区域填充是在集合膨胀、求补和交集预算的根底上实现的。如果定义表示包含子集的集合，其子集元素都是区域的八连通边界点。需要得到的效果是从边界点的一个点开始，填充整个空洞区域。这个过程可以看作是一个迭代过程，因此，指定所有的背景〔非边界点〕标记为1，以将1赋给点开始进行迭代过程，整个填充过程可以表示为 (3-12)图3.3是对膨胀连接断裂区域的结果进行空洞填充的效果，空洞填充后行人目标区域成为实心，区域更为完整。(a)膨胀结果 (b)空洞填充图3.3空洞填充效果噪声区域抑制噪声区域同传统的噪声不同，传统噪声一般是叠加与原始图像信号上的，但是噪声区域一般是一个区域对行人目标检测造成的干扰，这种区域一般可以分为两种，一种是由于检测情况的复杂性造成的孤立的噪声区域，这些噪声区域一般有一定的面积，并且此时的图像已经是二值化图像，因此一般的去噪算法并不适用。另外一种是经常遇到的阴影问题，由于行人目标通常会有一定的阴影区域，因此需要考虑根据阴影的特点实现有效的阴影去除的方法。噪声斑块去除噪声斑块通常是由于检测算法不能完全准确完整提取目标或者其他的干扰区域造成的，这种噪声斑块并非是一个像素，而是由多个像素构成的区域，可以通过判断区域的面积进行比拟，去除面积较小的噪声斑块。通过对每个连通区域进行统计，计算每个连通区域的像素点的个数，假设此区域全部像素的个数总和小于一定数值，说明此区域的面积过小，属于噪声斑块，可以去除。具体对每个连通区域像素的统计采用基于垂直扫描的种子生长算法。具体步骤如下：〔1〕对每列进行扫描，自左至右，根据列数从小到大依次扫描，假设扫描到一个点为1，即对应的二值化图像中的点是白色，那么将此点作为种子，并开始这个种子的生长。假设此种子点的坐标为(m,n)，并记作此区域为t。〔2〕设置标记矩阵，用于标记已经搜索过的点，初始化为矩阵中元素全部为0，记为。 (3-13)〔3〕建立队列保存每次根据起点进行区域生长的新的点的位置，初始化的位置为种子位置，即F(m,n)=1。〔4〕假设对初始点周围邻域搜索为空，说明整对第t区域的填充过程完毕，否那么继续下一轮搜索。 (3-14)〔5〕以起点开始，上下左右四个邻域分别搜索，假设相邻点与种子点的状态相同，都为目标前景点，并且标记矩阵中说明此点未被搜索过，那么将此点的坐标保存到第t区域的坐标队列中Quenet。(3-15)其中，。每生长一个点，将新生长的点的坐标记为(m1,n1)，每次新生长的点生成的(m1,n1)将覆盖原先的点的(m1,n1)。因此(m1,n1)是最后一个生长的点。〔6〕以此次搜索过程最后一个填充的点为新的起点，即m=m1,n=n1，返回步骤〔4〕进行下一轮的搜索。此算法的具体流程图如图3.4所示。通过这个算法可以完整的将一个连通区域的坐标保存起来。第t区域完成种子生长后，将第t区域的全部的点去除，然后进入下一个区域，即第t+1区域的种子生长，t=0,…,N。N是整个二值化图像中全部连通区域的个数。然后对每个连通区域的面积进行统计，即每个区域的像素点的个数，也就是每个区域的坐标队列的长度，记为Areat。 (3-16)设置适宜的阈值，判断每个区域是否为噪声点区域，标记为Noiset。噪声区域记为1，非噪声区域记为0。 (3-17)τ是面积阈值。图3.4种子生长算法流程图将噪声区域的点全部清楚，即将噪声区域由前景点变为背景点。图3.5是去除噪声区域的结果。(a)空洞填充后效果 (b)噪声区域去除图3.5噪声点去除效果阴影去除阴影去除问题是视频识别检测的根底工作，对于室外交通视频，由于日照变化因素的干扰，视频图像中的目标往往在地面形成影子。而且影子的形状是随着光照强度、目标运动等因素不断变化的。因此，它不能作为目标的一局部被识别，否那么会导致目标识别的失败。在视频检测中，必须采取必要的手段去除目标的影子，为目标的正确识别提供条件。国内外学者对运动目标的影子去除进行了许多研究，根据这些方法使用的信息或者模型，常用的方法可以大致分为四类：颜色模型〔Colormodel〕方法，纹理模型〔Texturalmodel〕方法，统计模型〔Statisticalmodel〕方法，几何模型〔Geometricmodel〕方法[32]。文献[33,34]提出了基于HSV颜色空间模型和基于形态学的目标重构方法消除运动阴影。HSV颜色空间中，H表示色度，S表示饱和度，V表示亮度，反映了人的视觉系统感知色彩的方式，比RGB颜色空间能更准确地检测出阴影。RGB色彩空间到HSV颜色空间的转换公式为： (3-18)HSV颜色空间中，阴影像素点与背景像素点相比，色度变化不大，饱和度较小，因此可以采用下式区分阴影： (3-19)其中，和分别是原始图像和背景图像在处的像素值。采用HSV颜色空间模型检测阴影，得到消除阴影后的前景图像。由于去除阴影的过程中有一些与阴影相类似的或者更暗的像素点被误判为阴影而被消除掉，导致这些像素点丧失。为了尽可能提高前景目标的完整性，将采取基于形态学的处理方法对目标进行重构： (3-20)纹理模型方法的假设是前景对象和背景的纹理存在差异，阴影区域虽然光线比没有阴影时暗，但与背景的纹理根本不变。Xu等人提出了一组步骤实现室内场景下阴影的检测，包括变化模板检测、Canny边缘提取、多帧融合阴影区域检测、边缘匹配、条件膨胀、后处理[35]。Leone等人采用冗余系统的方式表示纹理信息，通过一个过完备原子库上的追踪算法实现阴影检测[36]。Zhang等人通过分析正交变换的归一化系数来进行阴影检测[37]。但由于本文未使用背景消除法，没有对背景建模，因此此种方法并不适用。统计模型的阴影检测也是很常用的方法。Toth等学者通过显著性检验检测阴影[38]。Wang等人用高斯分布为背景、阴影和边缘信息建模，采用贝叶斯框架检测阴影[39]。Martel-Brisson和Zaccarin一起提出一种利用混合高斯模型去除阴影的方案[40]。基于几何模型的阴影检是通过地面和目标的几何形状信息区分阴影。Hsieh等人使用一个直方图方法检测道路分割线，并借助这些分割线去除车辆阴影[41]。本文针对垂直拍摄的视频，在没有背景建模的情况下难以用颜色等特征来实现阴影的去除，因此设计了一种“多层区域分割〞模型的阴影检测和去处算法。此模型假设检测到的人的区域分为三个区域〔也有可能分为多个区域〕。具体算法过程如下：〔1〕搜索整个区域的最暗的一个像素点，或者几个像素的区域位置。此像素或者此区域通常位于人头内部。〔2〕检测到的人的区域明显的特征是人头的黑色类似圆形区域，阴影局部也为黑色，但可能没有人头黑色区域暗。通过对检测到的区域进行分析，分割出人头最暗的区域。〔2〕在人头区域的外层随意选取一个初始化种子点，采用种子填充算法实现人头区域的外围分割。种子填充算法的具体过程和原理前文已经论述。人头区域的外层通常对应的是上衣的区域。〔3〕然后再新的外层根底上继续上述过程，直至整个目标检测区域分割完毕。〔4〕上述过程中，第一层分割的通常是人头区域，第二层对应的是上衣区域，第三层对应的是阴影区域。也可能由于更复杂的目标过程分成多层，例如由于拍摄的并且绝对理想垂直，导致人头区域外层是人脸和脖子区域，然后是上衣区域，假设步行过程中双腿的区域也出现在视频中，并且裤子的颜色较上衣不同，也可能上衣区域外是裤子区域等。〔5〕对区域面积进行统计，由于被多层区域分割，可能小的区域例如胳膊、脚步等小面积区域也被分割，假设面积过小，那么予以去除。〔6〕逐层分割后，假设存在阴影，那么最外层通常对应的是阴影区域。统计最外层区域的亮度，假设满足较暗，那么认为是阴影，予以去除。〔7〕假设最外层区域不满足阴影的亮度范围，那么不进行处理。保持检测的运动目标的原状。图3.6是根据上述过程实现的阴影去除效果。此图的情况是实现了三层区域分割，依次是人头、上衣和阴影。对三个区域分割的定位效果准确。最终从检测的运动目标中去除阴影，得到了较为准确的行人区域。(a)含有阴影的行人区域 (b)运动目标检测(c)人头区域 (d)上衣区域(e)阴影区域 (f)去除阴影区域结果图3.6阴影去除效果基于视频检测的行人识别算法运动目标特征建模以往智能交通系统监控视频大多以车辆作为研究目标进行检测、识别和跟踪，对行人为研究目标进行检测、识别和跟踪的成果较少，在国内也属于起步阶段。智能交通系统监控视频中行人的移动目标比拟复杂，包括车辆、摩托车和自行车等目标，因此需要提取行人与以上干扰目标不同的特征，通过分析总结下述假设和模型：〔1〕面积而言，车辆的面积较大，并且车辆不会出现与人头面积相当的黑色区域，假设为黑色汽车，那么整个车顶都为黑色，面积较大；假设为其他颜色汽车，那么汽车区域不会出现黑色区域。〔2〕摩托车和自行车等目标也面积较大，如果骑摩托车或者自动车的人佩戴的头盔，可能这些区域不存在黑色的人头区域，假设没有佩戴头盔，那么会出现人头区域，但人头一般位于整个车身区域的中间位置。行人运动目标判断准那么通过上述分析，可以总结交叉口具体场景下，根据每个区域接近黑色的区域情况，对行人识别的具体条件为：〔1〕假设没有一定面积的黑色区域，那么不是行人。〔2〕假设存在较大面积的黑色区域，并且此区域面积S远超过人头的可能范围，那么一般是黑色汽车，不是行人。〔3〕假设存在属于人头面积范围内的黑色区域，可能是行人，也可能是没有佩戴头盔的人在骑自行车或者摩托车。此时需要进一步根据三种情况判断：a)假设区域面积S不大()，那么说明是普通行人。b)假设区域面积S较大，区域的长短轴比L超出一定的范围，说明对应的是自行车或者摩托车。c)假设区域面积S较大，黑色区域对应的人头在区域一头，说明对应的是人手拉提箱等情况。注：对于、L、3个参数确实定依据视频的具体情况，一般根据前期采集的视频得到人头的所占像素范围，继而确定、L、的值。行人判断流程如下列图3.7所示：图3.7行人判断检测流程上述情况的前两种情况较为容易去除，主要针对第三种情况较为复杂。图3.8是对运动目标区域进行黑色检测的效果，并根据结果进行正确的行人判断的过程。其中，图(a)对六个主要的运动目标区域进行了编号，图(b)是检测到的六个运动目标区域，图(c)中人头的区域都可以检测到，但是也存在其他的干扰区域，具体的判断过程如下：〔1〕编号4和编号5根本没有干扰，作为运动目标可以检测到正常的黑色人头区域，因此能够正确判断为行人。〔2〕编号2的行人的黑色裤子也检测成了黑色区域，但是并不影响他们作为行人的判断。〔3〕编号3的行人手拉拖箱，因此此区域比没有拖箱的行人区域有所增加，但是未影响行人的判断条件。〔4〕编号1的是其自行车的情况，并且手提的黑包，对应的区域长短轴比超过了一定的范围，行人行走过程检测的运动区域的长短轴比不会像自行车、摩托车那么明显，因此判断，此区域超出了认为是行人的条件范围，因此予以去除。〔5〕左下角编号6的人骑着摩托车，与自行车的编号为1号的情况类似，根据长短轴比判断，此区域超出了认为是行人的条件范围，因此予以去除。通过上述过程，最终可以将图中的行人目标识别为5个，非机动车数为7个，得到正确的行人目标识别结果和个数，如图(d)所示。(a)智能交通监控视频画面 (b)检测运行目标区域(c)检测运行目标中的黑色区域 (d)行人目标识别结果图3.8行人目标识别本章小结本章主要内容解决交叉路口复杂环境下行人的检测和识别问题。针对各种技术难点提出了有针对性的具体解决方案。通过比拟常用的运动目标检测算法，根据交叉口智能交通监控视频的特点，分析了背景消除法和光流场法的缺陷和不适合性，而采用帧差法作为交叉口的智能交通视频的行人检测。由于检测算法的固有缺陷，一般检测的运动目标会存在区域的不连接，采用形态学的膨胀运算，实现了区域断裂的连接。运动目标可能存在的空洞现象，那么采用形态学的空洞填充予以填充，使目标区域更为完整。对可能存在的噪声斑块区域采用区域面积统计的方法计算面积，设置适宜的面积阈值，去除小面积的噪声斑块。对阴影采用几何形状的方法予以去除。通过交叉路口复杂环境中的各种运动目标进行建模，总结了各种运动目标的特点，并设计了行人目标的判断准那么。行人跟踪与交通参数提取本文通过实现摄像机标定后，得到了视频图像中和实际空间物理距离的映射关系，将图像中的一些参数通过映射，转化为