2012基于视频检测的行人交通参数提取研究 硕士论.doc

硕士学位论文基于视频检测的行人交通参数提取技术研究Extraction Technology of Pedestrian Traffic Parameters Based on Video Detection 北京交通大学2018年12月学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）学位论文作者签名： 导师签名：签字日期：年月日签字日期：年月日中图分类号： 学校代码：10004UDC：密级：公开北京交通大学学位论文基于视频检测的行人交通参数提取技术研究Extraction Technology of Pedestrian Traffic Parameters Based on Video Detection作者姓名： 学 号： 导师姓名： 职 称： 学位类别：工学 学位级别：硕士学科专业：交通运输规划与管理 研究方向：城市交通规划与管理北京交通大学2018年12月63北京交通大学硕士学位论文ABSTRACT中文摘要摘要：目前交通监控的主要方式是两种：人工观察；摄像机记录，人工统计。这两种方式都需要投入大量的人力和物力资源，并且人工统计的准确性有限，可能会出现疏漏，对异常情况不能及时做出反应。为此需要建立一种不需人工干预、或者只需要很少人工操作的智能交通管理系统，通过安装在固定位置的摄像机拍摄视频，实现对目标的定位、识别和跟踪及交通参数的提取和分析，并在此基础上进一步实现目标（例如行人、车辆等）行为的分析与判断。目前，针对车辆的目标检测、跟踪、识别研究已经比较成熟，但针对行人的目标检测、跟踪、识别研究则相对滞后，而且具体情况异常复杂，例如行人为非刚体，在视频中的面积小，行动较为随机，速度并不连贯，而且行人之间的间距有可能较小，这些都给相关技术造成了很大的挑战。本文对上述难点进行了研究，通过提取交叉口的行人流量、速度、步行方向等参数，给行人的交通管理与控制以及仿真系统模拟现实提供基础数据。本文的主要研究内容包括：（1）分析了智能交通监控视频中的降质因素，并研究了各种噪声的数学模型，针对交通视频中最常见的椒盐噪声和高斯噪声实现了经典滤波算法的去噪，并设计了一种改进算法，将加入图像像素点是否为噪声的判决预处理，只针对可能为噪声点的区域进行去噪，而对于非噪声点不进行去噪，更好地保持了图像的细节信息。（2）对于行人检测和识别问题，针对各种具体难点设计了具体的解决方案和步骤。比较了常用目标检测算法，并根据交叉口智能交通监控视频的特点选用了合适的行人检测算法。由于检测算法可能造成区域的不完整和空洞，采用形态学操作对行人目标区域的断裂区域实现连接，并对目标区域内的空洞进行填充。对可能存在噪声的区域采用区域面积统计的方法计算面积，并去除小面积的噪声斑块。对阴影采用几何形状的方法予以去除。对交叉路口复杂环境中的各种运动目标进行建模，并总结了行人目标的特点，实现了基于视频检测的行人目标识别。（3）实现了交通视频中交叉口行人目标的跟踪。通过对摄像机视场的标定，完成了摄像机空间拍摄的视频数字图像中的坐标到实际物理世界空间坐标系的映射换算，提取了包括行人目标的质心、位移、速度、加速度和流量等交通参数，为仿真系统模拟现实提供实际状况提供了翔实的基础数据。综上所述，本文的研究成果能够为仿真系统模拟现实提供实际状况，并分析所在路口的交通状况，为交通管理与控制提供依据。关键词：交通参数提取；行人检测；行人识别；行人跟踪；视场标定ABSTRACTABSTRACT: Currently, most monitoring of traffic scene is mainly achieved through manual supervisory control or artificial observation of video after the event. These methods need a lot of manpower, material resources; furthermore, omissions may occur abnormal situations cant be responded due to the limitation of humans energy and attention. Thus there is need to establish intelligent traffic management system that is without human intervention or requires very little manual operation. In the system, installing cameras are fixed to capture video to achieve targets location, identification and tracking. Behavior of goals (such as pedestrians, vehicles, etc.) are analyzed and judged based on the traffic parameters that are analyzed and extracted.The methods of vehicle detection, tracking and recognition have been proposed and achieved some fruits and contributions, however, pedestrian detection, tracking and recognition is relatively lagging behind. Besides, the specific situation of pedestrian is much more complex. The pedestrian area in the video is small; the action of pedestrian is random; the speed of pedestrian is not consistent; and the spacing between the pedestrians may be very small. The above problems pose a great threat on technological realization. Therefore, it is required to search and solve the difficulties of parameters extracting, including the amount of pedestrian on intersection of traffic, speed, direction and other parameters important traffic data which are important to the simulation system that can simulate the actual state of reality. The main contents of this paper include:(1) The lower quality factors of the intelligent traffic surveillance video were analyzed and various noise models are summarizes. The most common noise in intelligent traffic video, salt &pepper noise and Gaussian noise, were reduced by classical filtering algorithms. An improved algorithm was proposed in which the image pixels will be pre-judged as noise or non-noise. Only possible pixels in the region of noise were filtered while non-noise pixels were not filtered, thus the image details were remained better.(2) For pedestrian detection and identification, specific solutions and specific steps were developed to solve the difficulties. The commonly algorithms used for target detection were compared and suitable pedestrian detection algorithm was selected according to the characteristics intelligent traffic intersection surveillance video. The detected region of pedestrians is often incomplete and has empty regions, morphological operations were employed on the pedestrian region to connect the fracture of the target area and fill the holes in the target region. Small noise patches that may exist in region of pedestrians were removed by area calculation. The shadow of pedestrian was removed by geometric-based method. Various moving object models in the complex environment of intersection were established and the characteristics of pedestrian goals were summarized to achieve video-based pedestrian detection and recognition.(3) Pedestrian tracking algorithm in intelligent traffic video intersections was realized. Through calibration of the camera field, the camera space of digital image coordinates in video was mapped to the actual physical world space coordinate. A lot of important traffic parameters were extracted, including center of pedestrian target, displacement, walking speed, walking acceleration, flow rate of pedestrian traffic and so on. The valuable traffic information and data are important for the simulation system to provide realistic simulation of the actual situation.In conclusion, the results and conclusions of this research project can provide practical simulation system with the real traffic situation which analyzes the traffic situation in the junction of the transportation system. Besides, it provides the basis for comprehensive management and maintenance. Thus, this paper is not only of great theoretical significance, but also has extensive application value.KEYWORDS：Traffic parameter extraction; pedestrian detection; pedestrian recognition; pedestrian tracking; field calibration北京交通大学学位论文目录目录中文摘要vABSTRACTvi1 绪论101.1 研究背景和意义101.2 智能交通系统概况111.3 国内外研究现状121.4 主要研究内容和论文框架132 交通图像预处理152.1 视频图像降质模型152.2 常用的滤波去噪模型162.2.1 空间域滤波器162.2.2 频率域滤波器172.3 去噪实验及分析182.3.1 椒盐噪声182.3.2 高斯噪声222.4 本章小结263 基于视频检测的行人检测与识别273.1 常用检测算法273.1.1 背景消除法273.1.2 光流场法283.1.3 帧间差分法293.2 本文行人检测方法303.3 区域处理323.3.1 形态学概述323.3.2 连接断裂区域333.3.3 空洞填充343.4 噪声区域抑制353.4.1 噪声斑块去除353.4.2 阴影去除383.5 基于视频检测的行人识别算法413.5.1 运动目标特征建模413.5.2 行人运动目标判断准则423.6 本章小结444 行人跟踪与交通参数提取464.1 常用跟踪算法464.1.1 基于特征的跟踪464.1.2 基于3D模型的跟踪464.1.3 基于活动轮廓的跟踪474.1.4 基于区域的跟踪474.2 本文交叉口行人的跟踪484.2.1 Mean Shift概述484.2.2 基于Mean Shift的行人跟踪494.3 摄像机视场的标定和转换504.3.1 标定原理504.3.2 本文的标定方法514.3.3 标定过程与结果524.4 交通参数提取554.4.1 质心554.4.2 位移564.4.3 步行速度564.4.4 加速度574.4.5 流量584.5 本章小结605 总结与展望61参考文献63作者简历66独创性声明67学位论文数据集68北京交通大学硕士学位论文总结与展望1 绪论1.1 研究背景和意义我国的交通事业经过了几十年的快速发展，已取得了突飞猛进的进步。但随着快速发展给人们生活带来极大便利的同时，也引起了各种安全隐患。例如交通事故发生率逐年上升，交通拥挤现象也成为大城市亟待解决的交通问题。交叉路口是交通事故和交通堵塞的频发地带，因此需要对交叉路口实现交通视频的监控，避免和减少事故和堵塞的发生。目前对高速路出入口、事故多发路口、停车场、住宅小区出入口等交通场景监控的主要方式是通过安排专人监看。不仅需要耗费大量的人力和物力资源，并且由于人工的方式准确度是有限的，可能会出现在高强度工作环境下发生错误，从而不能对特殊情况及时做出反应。为了解决这些问题，在一些交通场景中也使用了摄像机进行录像，事后再采用人工观察的手段来进行统计，但是这种做法仍然需要大量的人工辅助工作，同样无法对特殊情况做出实时的应对。目前，监测的手段大部分是使用环形线圈传感器来对交通的情况进行监测，但这种传感器只能监测机动车的交通量、速度等信息，获得的信息非常有限，无法分析和识别目标的行为，并且无法对非机动车进行有效的监测。除此以外这种线圈的安装和维护有其自身的缺点，比如在桥梁、立交桥上不能埋设，维修需要开挖路面等等，安装和检修的代价太大，因此具有很大的局限性。智能交通视觉监控的技术主要采用数字图像处理技术和计算机视觉技术来共同建立一个完整的智能交通管理系统。此系统不需要人工干预、或者只需要很少的人工操作，通过安装在固定位置的摄像机拍摄的视频，实现对目标的定位、识别和跟踪及交通参数的分析，并在此基础上进一步实现目标（例如行人、车辆等）行为的分析和判断，并对目标行为给出合理的语义描述，做到既能完成日常管理，又能在发生紧急情况时做出及时反应，从而提供了一种准确性、适应性更好的监控方案。智能交通系统中的交通检测和信息采集技术已经成为视觉技术应用的两个重要课题。当前，智能交通系统是计算机视觉的一个重要研究方向。与传统方法相比，智能交通系统具有成本低、性能好、功能多等优点。基于视频检测的交叉口行人交通参数提取技术是智能交通系统的技术之一，也是智能交通系统中的重要应用。对行人的检测、识别、跟踪，并对具体的交通参数进行提取，例如行人的流量、步行速度、方向等，这些参数将成为交通数据统计的重要依据，因此具有重要的实用价值。由于基于视频的交叉口行人检测、跟踪的复杂性，该技术仍处在起步阶段，需要不断的研究并加以改进。本论文针对行人检测、识别、跟踪中一些关键问题进行了探索和研究，提出了新的方法，这些关键技术可以有效地提高行人检测与跟踪的性能，提高所提取的交通参数的准确性。1.2 智能交通系统世界各国城市化的发展和车辆家庭化的普及，使事故发生率上升和拥挤现象成为亟待解决的交通问题。为了解决该问题，美国、西欧和日本等发达国家先后投入了大量的人力、物力，在智能交通系统(Intelligent Transport Systems，简称ITS)的研究上取得了一定的成果。ITS将先进、快速、准确的计算机技术、数据通讯传输技术、信息技术、电子技术、自动控制技术等进行整合，综合运用到整个交通运输体系中，在车辆、道路、使用者三者之间建立了紧密的联系，实现交通运输管理的智能化。通过各种先进的设备和手段实时采集和处理交通信息，对突发的交通状况进行协调和处理，建立起实时、高效。准确的综合交通运输管理体系，充分利用先进的交通设施，更大程度的提高交通效率和安全，最终使得交通运输服务质量和管理水平进一步提升，实现交通运输管理的集约式发展。ITS研究始于欧洲1986年的高效安全欧洲交通计划（PROMETHEUS）和美国的智能车辆与道路系统(IVHS，1992年)。该系统的最初目的是实现对建成的道路网功能扩展，实现车辆管理的智能化。随着其他领域技术的不断发展，PROMETHEUS和IVHS的研究逐渐发展为整个ITS的研究。为了减少交通拥挤，改善交通环境，世界各国投入大量的物力和人力加紧研究，以争取在未来竞争的ITS市场中占据一席之地。欧洲作为最早开展ITS研究的地区，早在70年代就开始智能交通方面的研究，2000年欧共体推出了一项e-Europe的计划，目的是投入更多的人力和物力推进ITS在欧洲的发展；日本开始是从道路的智能控制研究起步，70年代就己经成功研制了许多道路控制系统。当前，日本的ITS研究的主要领域包括：自动收费系统、车辆导航系统以及安全驾驶系统等。经过近几年的发展，欧美和日本在ITS研究和ITS系统开发上都处于领先地位。中国经济20世纪90年代以后步入了高速发展时期，导致交通需求越来越高，车辆和道路的供需矛盾越来越大，智能交通系统在我国的实施开展是大势所趋。虽然智能交通系统的研究在我国仍然处于起步阶段，但ITS作为新的经济增长点和作为解决交通供需矛盾的主要手段已得到相关部门的高度重视。1.3 国内外研究现状将道路系统和车辆作为紧密相关的一个整体去考虑，是当前ITS研究的基本思想，因此，智能车辆系统IMS(Intelligent Vehicle System)成为智能交通系统ITS的一个重要组成部分。美国的ITS项目开发分为7类，其中的自动高速公路系统AHS(Automated Highway System)、先进的驾驶员信息系统ADIS(Advanced Driver Information System)、先进车辆控制系统AVCS(Advanced Vehicle Control System)都是紧紧围绕车辆进行。各个国家不断发展和完善ITS体系，加强了智能车辆系统的研发，经过近几年的发展，欧美和日本在智能车辆方面的研究和发展处于世界领先地位，一些地区已经实现了成熟的智能车辆控制系统。在实际生活中，交通使用者通过直接的观察可以得到90%左右的交通信息，例如车辆基本状况、交通信号灯、交通标志牌、车道线、道路基本状况、道路标记、障碍物等。因此，可以考虑应用视觉技术来识别道路环境。基于视觉技术的智能车辆研究始于60年代末，由于需要实时图像处理的数据量非常大，而当时计算机的运算能力有限，只有少数几个研究组能够从事这方面的研究。随着计算机技术的不断发展，目前的计算机硬件水平达到了实时图像处理的要求。一方面，计算机硬件的价格不断下降，体积不断变小，性能有了大幅度的提高；另一方面，CCD(Charge Coupled Device)摄像头的价格便宜，体积小，图像处理算法有准确性高和适应能力强等特点。因此视觉技术在智能交通系统中有广阔的应用前景。目前国内外对基于视频图像处理的运动目标检测和跟踪研究有很多，有一批很有应用价值的文献和一些成型的系统1。国内如西安交通大学的图像处理与识别研究所、华中理工大学的图像识别与人工智能研究所，他们的研究重点放在运动目标的检测上。清华大学的图形图像研究所、中科院自动化所模式识别国家重点实验室以及上海交通大学的图像处理与模式识别研究所则主要是针对运动跟踪中的轮廓跟踪算法进行了深入的研究。但是国内的研究主要停留在理论方面，还没有出现比较大型的并应用于实际的成型系统。国外的研究重点在于在应用中的理论研究，如卡内基梅隆大学和Sarnoff公司联合开发的视频监控系统VASM(Video Surveillance And Monitoring)系统2，该系统的目的是为了改进自动视频识别技术，它通过用户的操作可以监视复杂的场景，如城市市中心或战场；美国马里兰州大学和IBM公司联合开发的实时视频监控系统W43,该系统能够将形状分析和跟踪技术相结合，对人的外观进行模型构建。该系统可以在复杂的环境下检测到人群并实现跟踪；美国麻省理工学院开发的Pfinder4系统实现了人的三维描述，能够在复杂的室内环境下对单个人进行跟踪等。从上文可以看出，针对车辆的目标检测、跟踪、识别研究已有部分的成果问世，车辆的体积大，速度稳定，运动轨迹较为连贯，和具有一定的规律，而且车辆之间的间距较大，因此车辆方面的相关技术相对较为容易。但针对行人的目标检测、跟踪、识别研究则相对滞后，而且具体情况异常复杂，例如行人在视频中的面积小，行动较为随机，速度并不连贯，而且行人之间的间距有可能较小，甚至可能有重叠，这在车辆的检测中是不可能出现的，这些都给相关技术造成了很大的技术难点。1.4 主要研究内容和论文框架本文主要是针对交通视频中交叉口行人的检测、识别、跟踪和交通参数提取技术进行研究，其中对视频图像预处理、行人的检测、识别、行人的跟踪和交通参数提取几个步骤的相关算法进行了设计和改进。主要创新点为：（1）提出一种改进的中值滤波去噪算法，此算法对受噪声污染的图像的像素点进行分类，有针对性的对噪声点区域去噪，而对于非噪声点不进行操作，更好的保持了图像的细节信息，使去噪更有针对性，降低了滤波器去噪过程的模糊效应。（2）针对智能交通交叉口的行人的检测和识别问题，设计了具体操作步骤解决各种技术难点。设计了完整的行人检测、区域处理、行人识别和阴影的去除算法的完整流程，实现了基于视频检测的行人目标识别。（3）完成了摄像机空间拍摄的视频数字图像中的坐标到实际物理世界空间坐标系的映射换算，建立了世界坐标与图像坐标之间的函数关系，得到了图像中目标点在现实中的二维位置坐标，为之后的交通参数提取打下了基础。针对行人的特点，提取了包括行人目标的质心、位移、步行速度、步行加速度和行人的流量等交通参数，为交通基础研究、仿真系统模拟现实提供了珍贵的数据和信息。本文共分成五个章节，第一章绪论，包括本文的选题背景和研究意义、智能交通系统概述、国内外研究现状和全文章节体系。第二章至第四章分别对视频图像预处理、行人检测、识别、跟踪和交通参数提取三个方面的研究内容进行阐述，并对原有方法和改进方法进行了对比。第五章为总结与展望。2 交通图像预处理由于存在客观因素如系统噪声（成像系统在成像、通信过程产生的噪声）、摄像设备的分辨率因素和外界干扰因素的影响，都会使受噪声影响的交通视频质量下降，从而导致有关信息的丢失和提取错误。因此有必要对交通视频图像采取一定的预处理，从而得到高质量的图像。2.1 视频图像降质模型由于智能交通视频的每帧数字图像的信号产生、传送和处理到最后成像的过程的复杂性，最终得到的图像很有可能受到噪声的干扰。例如，在图像传输中会产生脉冲噪声，在激光和超声图像中常存在乘性椒盐噪声，而照明不稳定、镜头或感光器件灰尘以及非线性信道传输引起的图像退化等都会产生不同种类的噪声。受到上述噪声干扰图像的数学模型根据方式的不同可以分为高斯噪声、椒盐噪声和乘性噪声等噪声类型5。高斯噪声和椒盐噪声属于原始信号叠加噪声，公式为(2-1)其中为加入噪声后的图像，分别是原始的图像和噪声信号。（1）高斯噪声主要为在原始的图像信号上加入了正态分布的噪声，高斯噪声的概率密度函数满足正态分布，公式为(2-2)其中，z表示灰度值，表示z的均值或期望值，表示z的标准差。（2）椒盐噪声是在原始的图像信号上叠加数值为0或者255的噪声信号。0对应黑色表示椒噪声，255对应白色表示盐噪声。表现在图像上是很多白色和黑色的噪声点。（3）乘性噪声的信号跟原始信号的强度有关，具体公式为：(2-3)从公式中可以看出，对原始图像通过函数f的运算得到了乘性噪声的系数。函数的表达式根据具体的情况进行建模。去噪属于图像处理中非常基本也是最重要的一类问题之一。因为图像处理的关键问题即通过处理增强图像的质量。由于通信信道中干扰因素，即噪声的存在使图像清晰度降低，质量下降，通过去噪处理提高图像清晰度，尽量恢复原先图像的内容。交通的视频中最常见的是高斯噪声，有时也会出现椒盐噪声，因此主要针对这两种噪声类型进行分析和去噪。图2.1是交通监控视频中出现的椒盐噪声和高斯噪声的情况。（a）椒盐噪声（b）高斯噪声图2.1 交通监控视频中的噪声图像2.2 常用的滤波去噪模型不同的情况下和不同的应用背景中通常存在不同的噪声类型，各种去噪算法针对不同的噪声类型表现出不同的性能特点。去噪的滤波器主要分成了空间域和频率域两大类，空间域去噪包括均值滤波和中值滤波两大经典算法6-7。2.2.1 空间域滤波器（1）均值滤波器均值滤波也被称为“邻域平均法”，是图像增强算法中很实用的空间域去噪算法。通常，图像中相邻像素的灰度或色彩有极强的相关性，因此灰度和色彩也能更改是连续地、缓慢变化。椒盐噪声表现为明显的黑色点（椒噪声）和白色点（盐噪声），这些点与周围非噪声点对比强烈，可以通过周围的非噪声点对噪声点进行处理，达到平滑噪声的效果，均值滤波的公式可表示为：(2-4)其中M表示窗口中的像素个数。g(x,y)是均值滤波后中心像素的灰度值。均值滤波是一种线性滤波器，但模糊效应比较严重，去噪的同时会引起细节信息的丢失8-9。（2）中值滤波器中值滤波通常选取含有奇数个点的滑动模板，将模板中各点的灰度值排序，选取中值代替模板中心像素的的灰度值，中值滤波公式表示为： (2-5)其中，i,j的取值取决于滑动模板长与宽的尺寸。中值滤波是一种非线性滤波器，模糊效应没有均值滤波严重，一般可以保留更多的边缘等细节信息。中值滤波可以有效滤除孤立的噪声点，因此非常适合处理椒盐噪声10。2.2.2 频率域滤波器图像在频域通过低通滤波器去除高频的噪声成分也是消除噪声的有力手段。噪声在图像的灰度值中主要集中在傅里叶变换的高频部分，因此，可以通过衰减抑制图像傅里叶变换后的高频成分消除噪声，得到图像平滑增强的效果。频域中的滤波模型可用下式表示： (2-6)其中，是含有噪声图像的傅里叶变换，是平滑后图像的傅里叶变换，是去噪滤波器的传递函数。频域滤波的目标是选择一个滤波变换函数，通过衰减的高频成分得到，通过傅里叶反变换可以得到平滑图像。由于具有低通滤波特征，这种方法称为低通滤波平滑处理。常用的滤波器有理想滤波器、巴特沃斯滤波器和高斯滤波器。这三种滤波器涵盖了从非常尖锐到非常平坦范围的滤波器函数。当巴特沃斯滤波器的阶数较高时，比较接近理想滤波器，因此，巴特沃斯滤波器可以看作其他两种滤波器的过渡。频率域滤波器需要通过傅里叶变换转化到频率域操作，最后再进行傅里叶反变换，恢复到空间域，因此这种方法的计算的复杂性较高，处理的时间相对较长，对于交通视频需要具备实时性处理的要求不太符合。因此本文主要研究和设计空间域的滤波去噪算法。（三）改进中值滤波器为了降低中值滤波带来的模糊，本文对中值滤波算法进行了改进，对中值滤波前期进行预处理，通过统计分析和判决条件来搜索图像的噪声区域，把图像分成非噪声部分和噪声部分两类区域，对非噪声区域不进行去噪处理，也就不会带来模糊效应，对噪声区域采取去噪处理，去除噪声，改进算法在保持中值滤波原有去噪能力的基础上进一步降低了去噪引起的模糊效应。具体算法过程如下：（1）首先对图像中的每个像素进行灰度值的判断，如果在0,0+或255-,255两个范围内，说明可能是椒盐噪声点；如果不在这两个范围内，则不是椒盐噪声点。对于非噪声点，不进行处理，而对于可能属于椒盐噪声点的像素进行滤波处理。（2）对于可能是椒盐噪声的像素点进行滤波处理，将此噪声点33邻域范围九个像素的灰度值，分别判断统计是否属于0,0+或255-,255两个范围内。在高强度噪声的情况下，周围邻域的点若属于这个范围也可能是噪声点，若用这些噪声点平滑，那么效果不理想，因为去掉邻域内灰度属于噪声区域范围的像素，只保留不在这个范围内的像素。（3）将33邻域内不在噪声区域范围内的像素保留下来，组成一个序列，并对这个序列进行排序，选取中值取代中心位置原先像素的灰度值。（4）如果图像原先的某个区域就很亮，或者很暗，那么区域内的像素灰度可能都处在噪声区域范围内，这种情况下通常33邻域的九个像素的灰度值都属于噪声区域，那么根据上述判断准则所有的像素点都去掉了，序列中没有任何元素。所有为了避免这样的情况，加入了一个判断语句，如果序列长度为0，即此时为空序列，那么这个像素点不做处理，还是保持原先灰度值。这种改进算法更有针对性地滤波可能的椒盐噪声点，同时避免滤波引起的非噪声点的模糊现象，去噪性能更好。下文将有详细具体的实验结果和对比分析。2.3 去噪实验及分析2.3.1 椒盐噪声对于椒盐噪声，中值滤波效果通常比均值滤波效果好，中值滤波的模糊效应低于均值滤波，可以更好的保护图像的边缘等细节信息，但仍存在模糊效应。改进的中值滤波对于高强度的椒盐噪声仍可以较为准确的分辨噪声像素和非噪声像素，从而可以实现更理想的去噪效果。图2.2 是交通监控视频椒盐噪声存在下图像去噪对比，其中(b)(e)中自左至右分别为噪声图像、均值滤波结果、中值滤波结果、改进中值滤波算法去噪结果。从图中可以明显的看出，对于椒盐噪声，中值滤波的性能明显优于均值滤波，本文的改进算法又明显优于传统的中值滤波算法。(a) 原始图像(b) 0.2椒盐噪声(c) 0.4椒盐噪声(d) 0.6椒盐噪声(e) 0.8椒盐噪声图2.2 交通监控视频椒盐噪声污染图像去噪对比（每组的四个图中，自左至右、自上至下分别为噪声图像、均值滤波结果、中值滤波结果、改进中值滤波算法去噪结果）为了验证和对比去噪算法的有效性，仅从图中难以直观得到定量结果，因此选择全参考的客观评价测度来比较不同方法的性能。首先介绍全参考评价测度，设x=x1,x2,xN表示没有噪声污染的图像的每个像素的灰度，N表示像素的个数，y=y1,y2,yN表示去噪处理后输出的图像的每个像素的灰度，N也表示像素的个数。每个像素的灰度数值对应的噪声去噪后的误差ei计算公式为（2-7）均方误差(mean squared error,MSE)衡量算法误差的定义为（2-8）其中，均方误差也称为标准误差，定义为各测量值误差的平方和的平均值的平方根。反映了每个像素去噪后对没有噪声污染情况下的平均能量失真。MSE值越小，说明去噪后的像素灰度和对应的没有噪声污染的实际灰度差异越小。由于MSE具有明确的物理意义，而且计算简单，被广泛应用各种统计学领域衡量算法优劣。在MSE的基础上引入峰值信噪比(Peak Signal to Noise Ratio，缩写PSNR)衡量去噪的效果。峰值“peak”的中文翻译是顶点。而radio的意思是比率或比例的，PSNR的意思是到达噪音比率的顶点信号，一般作为一个重要指标参数用于最大值信号和背景噪音之间的衡量。通常噪声污染和去除噪声后，输出的图像通常会与原始影像在某种程度上不一致，为了衡量经过去噪处理后的图像质量，通常可以参考PSNR值来认定某种去噪算法的效果，数值越高说明去噪效果越好。PSNR的计算公式为(2-9)三种算法在椒盐噪声强度为0.2、0.4,、0.6、0.8的情况下计算得到的PSNR的数值见表2-1所示，表中的数据对应了图2.2的统计数值。图2.3是表中数据对应的不同噪声强度下几种去噪算法的PSNR对比。表2-1 椒盐去噪算法PSNR对比噪声强度0.20.40.60.8均值滤波21.621218.97817.714617.0905中值滤波27.503121.758117.338914.4376改进中值滤波28.657826.255324.950723.5192图2.3不同强度椒盐噪声下几种去噪算法的PSNR对比。从以上的实验可以得出以下结论：（1）随着椒盐噪声强度的不断增加，每种算法的PSNR值都呈现下降趋势。因为噪声密度越大，则对于去噪的难度越大，和原始图像的差异就越大。（2）椒盐噪声中，中值滤波通常效果较均值滤波效果好。但如果噪声密度太大，例如到0.8时，大部分的数据已经是噪声点，此时均值滤波的PSNR值反而高于中值滤波。可见中值滤波对于椒盐噪声的去噪效果优于均值滤波是有噪声强度约束的，若噪声强度过大，那么中值滤波和均值滤波的性能难以简单比较。（3）三种算法中传统中值滤波随着噪声强度的增加，去噪的性能下降较快，均值滤波的下降相对中值滤波较慢。（4）改进的中值滤波性能明显优于中值滤波和均值滤波，并且噪声密度越大，这种优势越明显。随着噪声密度的增加，改进中值滤波算法的PSNR值下降的也最慢，因此是一种良好的去除椒盐噪声的滤波算法。2.3.2 高斯噪声对于高斯噪声，均值滤波效果通常比中值滤波效果好，但对于噪声强度不强的时候，中值滤波可能有更好的效果，并更好地保护图像的边缘等细节信息。图2.4是交通监控视频高斯噪声污染图像去噪效果对比，其中(b)(e)中自左至右分别为噪声图像、均值滤波结果、中值滤波结果、改进中值滤波算法去噪结果。从图中可以明显的看出，对于高斯噪声，总体来说，均值滤波的性能优于中值滤波，但在噪声强度不大的时候，可能本文改进的中值滤波也有较好的优势，但随着噪声强度增强，均值滤波的优势更为明显。(a) 原始图像(b) 10dB高斯噪声(c) 20dB高斯噪声(d) 30dB高斯噪声(e) 40dB高斯噪声图2.4 交通监控视频高斯噪声污染图像去噪对比（每组的四个图中，自左至右、自上至下分别为噪声图像、均值滤波结果、中值滤波结果、改进中值滤波算法去噪结果）为了验证和对比去噪算法的有效性，仅从图中难以直观得到定量结果，因此仍选择PSNR来比较不同方法的性能。三种算法在椒盐噪声强度为10dB、20dB、30dB、40dB的情况下计算得到的PSNR的数值见表2-1所示，表中的数据对应了图2.2的统计数值。图2.3是表中数据对应的不同噪声强度下几种去噪算法的PSNR对比。表2-2 高斯噪声去噪算法PSNR对比噪声强度(dB)10203040均值滤波28.868528.256224.711417.8773中值滤波29.631228.39823.717315.4339改进中值滤波38.071128.04918.157510.4033图2.3不同强度高斯噪声下几种去噪算法的PSNR对比。上面的实验结果图和表的数据是对应了，从以上的实验可以得出以下结论：（1）随着高斯噪声强度的不断增加，每种算法的PSNR值都呈现下降趋势。因为噪声密度越大，则对于去噪的难度越大，和原始图像的差异就越大。（2）高斯噪声中，均值滤波通常效果较中值滤波效果好。但如果噪声密度不大，例如小于20dB时，此时均值滤波的PSNR值反而低于中值滤波。此时，本文的改进的中值滤波算法性能也优于传统中值滤波。若噪声强度超出这个阈值，那么均值滤波对高斯噪声的去噪性能更优。（3）三种算法中本文的改进中值滤波随着噪声强度的增加，去噪的性能下降较快，均值滤波的下降较慢。从不同强度的椒盐噪声和高斯噪声的对比图中可以看出，通常情况下的噪声强度一般不会过高，本文的实验在较为极端的情况下模拟了高强度的噪声实验，并对各种算法的实验结果进行了比较和分析。针对椒盐噪声，本文的改进中值滤波的方法有理想的优势。对于高斯噪声，当强度小于20dB的情况下，本文的改进算法一般优于经典算法。因此在高斯噪声强度低于20dB的情况下，也可以使用本文方法进行去噪，实现图像的增强。2.4 本章小结本章分析了智能交通监控视频中的降质因素，并总结了各种噪声的数学模型，针对智能交通视频中最常见的椒盐噪声和高斯噪声实现了均值滤波和中值滤波算法的去噪。虽然中值滤波可以更好的保持细节，但中值滤波仍然会带来一定的模糊效应，并且对于噪声的去噪过程没有针对性，因此本文提出一种改进算法，总体思路是将加入图像像素点是否为噪声的判决预处理，只针对可能为噪声点的区域进行去噪，而对于非噪声点不进行去噪。对不同强度下的椒盐噪声、高斯噪声进行各种去噪算法的实验和对比，分析了各种算法的优势。预处理后的智能交通视频去除了噪声的干扰，为后续的操作步骤奠定了基础。3 基于视频检测的行人检测与识别3.1 常用检测算法传统的交通监控方法，如电磁感应环线圈式车辆检测器，不能识别车辆的行驶方向，不能进行车辆分类等。雷达波检测器只能检测运动目标，但对目标缓行和目标静止的情况不能有效地提取背景，可能无法做出准确的检测。当图像处理逐步发展为一个成熟的领域之后，出现了基于图像处理的交通监控系统，但图像处理往往是把一张图像变成另一张图像，图像处理的手段仅一些图像增强、图像压缩和校正等工作、仍然需要大量的人工干预把丢失信息恢复回来。另外由于计算机硬件和软件的制约，能得到的交通参数实际上很有限，这样的系统无法做到信息的实时回馈，无法在交通发生拥挤时起到及时疏导交通的作用11。因此基于视频的运动目标的处理技术更具有实际的研究价值和应用意义。近年来，国内外学者对视频图像的运动目标检测和识别做了许多研究，常见的方法有背景差分法、光流场法12-16以及图像差分法17-19。3.1.1 背景消除法背景消除法是目前运动分割检测中一种很常见的方法，也称为背景差分法，通过比较当前图像与背景图像的差异实现目标运动区域的检测。如果假设B为背景帧，It是第t帧的视频序列，则差分的计算公式为：(3-1)其中，(i,j)表示每个像素点的位置,|表示绝对值运算，通过进入画面的目标与背景的差异可以检测到目标的位置。但得到的差异需要通过阈值的判定实现二值化操作，最终确定目标的位置，二值化的公式为：(3-2)其中，是阈值，即做差后差异达到一定的阈值才认为是目标。这种算法定位精确、速度快，但缺乏合理的背景更新方法，因此大部分研究人员目前都需要开发出不同的背景模