基于交通视频的道路拥堵检测

电 子 科 技 大 学UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA学士学位论文BACHELOR THESIS论文题目 基于交通视频的道路拥堵检测 专 业 自动化 学 号 2013070902013作者姓名 陈金佳指导教师 李云霞 摘要摘 要随着我国城镇化的持续快速发展，汽车保有量和道路通车里程数源源不断地等价，交通事故频发、道路车辆拥挤、环境污染加重等新问题的日益突出。发展智能交通系统（Intelligent Transportation System, ITS）对缓解这些问题有着良好的作用，而道路交通拥堵情况是智能交通系统中重要的基础研究内容之一。传统安装在道路上用于检测交通参数从而判定交通拥堵情况的检测器，其存在成本较高、检测范围小、采集参数单一等缺点。基于视频的交通参数提取方法以其系统设置灵活、信息量丰富、检测范围大等优点发展迅速，成为道路交通拥堵检测的一个新的突破点，也是智能交通领域的一个研究热点，有着广阔的应用前景。本文重点对视频图像运动目标检测算法和道路交通参数提取进行了研究，通过实验分析与验证，改进了相关算法。并在此基础上完成了基于视频检测技术的道路交通拥堵检测。论文主要工作如下：（1） 在深入分析了各种运动目标检测算法的优缺点的基础上，重点研究了背景差分法。最后经过比较各种背景提取方法，采用了基于样本的背景建模的运动目标检测算法进行视频运动目标检测。并通过实验表明了该算法检测运动目标的有效性。（2） 在学习理解交通参数物理含义的基础上，对交通参数的提取方法进行了深入研究，并构建了提取道路交通参数的流程。在提取参数的过程中，使用了Criminisi提出的平面单视测量方法，通过计算出空间平面与图像平面之间的单应性矩阵，从而获取实际距离的方法，分别求出车辆速度，道路占有率。另外还提取了车流量信息。通过提取这些信息为后续工作的开展提供了有力的保障。（3） 本文提出了一种交通拥堵模型，更具车辆平均速度、空间占有率和车流量来作为交通参数进行车辆交通拥堵程度分析，把拥堵程度分为通畅、轻度拥堵、拥堵、严重拥堵四个级别。还提出了道路拥堵因数的概念，并将其与拥堵程度做了对应。（4） 本文对道路交通拥堵进行了检测用来警示交通，最终体现了交通拥堵检测的功能。实验证明检测结果是准确的关键词：交通拥堵，背景建模，目标检测，交通参数IABSTRACTABSTRACTWith the sustained and rapid development of urbanization in China, the number of car ownership and the number of road traffic mileage are constantly equivalent, frequent traffic accidents, road vehicles crowded, increasing environmental pollution and other new problems become increasingly prominent. The development of intelligent transportation system (ITS) has a good effect on alleviating these problems, and road traffic congestion is one of the important basic research contents in intelligent transportation system. The traditional installation on the road for the detection of traffic parameters to determine the traffic congestion of the detector, the existence of high cost, detection range is small, a single acquisition and other shortcomings. Video-based traffic parameter extraction method is a new breakthrough point of road traffic jam detection, and it is also a research hotspot in intelligent transportation field, and has a wide application prospect.This paper focuses on the video image moving target detection algorithm and the extraction of road traffic parameters were studied, through the experimental analysis and verification, improved the relevant algorithm. And on this basis, completed the road traffic jam detection based on video detection technology. The main work of the paper is as follows:(1) Based on the analysis of the advantages and disadvantages of various motion target detection algorithms, the background difference method is mainly studied. Finally, a variety of background extraction methods are compared, and a moving object detection algorithm based on background modeling of samples is used to detect video moving objects. And the experiment shows that the algorithm can detect the effectiveness of the moving target.(2) On the basis of learning and understanding the physical meaning of traffic parameters, the method of extracting traffic parameters is studied deeply, and the process of extracting road traffic parameters is constructed. In the process of extracting parameters, Criminisis method of plane single-view measurement is used to calculate the actual distance by calculating the homography matrix between the space plane and the image plane. The vehicle speed and road occupancy The In addition, the traffic information is extracted. Through the extraction of these information for the follow-up work carried out to provide a strong guarantee.(3) This paper presents a traffic jam model, more vehicle average speed, space occupancy and traffic flow as a traffic parameter for vehicle traffic congestion analysis, the congestion is divided into smooth, mild congestion, congestion, serious congestion Four levels. The concept of road congestion factor is also proposed and corresponds to the degree of congestion.In this paper, the road traffic congestion was detected to warn traffic, and ultimately embodies the function of traffic jam detection. Experiments show that the test results are accurateKeywords: traffic congestion，Background modeling, target detection, traffic parameters57目录目 录第一章 绪 论11.1 研究工作的背景与意义11.2国内外研究与现状21.2.1 国外研究现状21.2.2 国内研究现状41.3 本文的主要工作51.4 本论文的结构安排61.5 本章小结6第二章 图像相关算法介绍72.1 视频简介72.2 数字图像简介72.3 图像的表示方法82.3.1 二进制图像82.3.2 灰度图像82.3.3 RGB图像92.4 图像预处理技术92.4.1图像类型转换92.4.2 滤波去噪112.4.3 形态学处理122.4.4 边缘检测132.5 本章小结14第三章 运动目标检测算法研究153.1 运动目标检测方法概述153.1.1 背景差分法153.1.2 帧间差分法163.1.3 光流法173.2 常用背景提取方法概述183.3基于样本的背景建模的运动目标检测算法203.3.1 初始背景提取213.3.2 背景模型的建立223.3.3 前景目标检测223.3.4 背景模型更新233.3.5 前景目标后处理243.4 目标检测实验结果与分析243.5 本章小结25第四章 道路交通参数提取方法274.1 车辆速度提取274.1.1车辆速度概述274.1.2基于视频图像的车辆速度检测284.2 路面参数提取304.2.1 车流量参数提取304.2.2 道路占有率参数提取304.3 本章小结31第五章 道路拥堵判定325.1 交通状态分类325.2 交通参数的选定及权重325.2.1 交通参数的选定325.2.2 交通参数的权重确定335.2.3 交通拥堵情况的判定345.3 实验结果分析355.4 本章小结36第六章 总结与展望376.1 总结376.2 展望37致 谢39参考文献40外文资料原文42外文资料译文52第一章 绪论第一章 绪 论1.1 研究工作的背景与意义随着城市化与工业化进程加快，道路通车里程与汽车保有量不断增加，道路车辆拥挤、交通事故频发、环境污染加重等新问题日益突出。其中，交通拥堵不仅仅造成巨大的时间浪费，加大环境污染，对于经济的发展也存在着巨大的制约。然而现在的道路水平还不能马上适应交通量的增大，所以道路拥堵的情况便大规模、大范围的出现。就2016年中国主要城市交通分析报告中的数据1，2016年全国1/3的城市通勤受拥堵威胁，32座城市高峰拥堵延时指数超过1.8，也就是说正常情况通勤30分钟在这些城市会增加24分钟，达到54分钟。其中，更有4个城市高峰拥堵延时指数超过2.0。2016年中国主要城市拥堵地图如图11所示。图1 Error! Main Document Only. 2016年中国主要城市拥堵地图交通拥堵不只是我们国家才出现的问题，包括美国、日本在内的发达国家也饱受交通拥堵造成的巨大损失。交通拥堵和事故引起的生命财产损失、环境污染和能源浪费，已引起社会的广泛关注。解决这样问题的方法不外乎两种，第一是硬件方面来解决，比如可以通过增加道路修建的规模，但是修建道路的投入非常之大，而且随着社会的发展，总归满足不了交通量增长的需求；第二就是通过软件方面来解决，尤其是在传统扩建道路的方式受到资金和土地资源的限制无法进一步优化路网通行能力的今天，按照交通的系统属性，系统的观点出发将车辆和道路综合考虑，用各种高新技术系统地解决道路交通问题的思想应运而生，现了智能交通系统（Intelligent Transportation System, ITS）2。智能交通系统3是是将先进的信息系统、传感器技术、数据通信技术、自动控制技术、运筹学、图像分析技术、计算机网络以及人工智能，有效综合运用于整个交通运输和管理。它是现代地面交通运输体系的发展方向，是交通运输进入信息时代的重要标志4。智能交通系统已成为当前国际公认解决交通问题的最佳途径5。交通参数作为智能交通系统中重要的基础研究内容之一，可广泛的被用于信号感应控制，交通诱导，交通调查等需求。为获得交通参数，交通的监控手段也在不断更新。传统的交通监控手段实时性不强，准确性的不到保障，而红外线，线圈等方式虽具有实时性好，识别率高等优点，但因为施工工程巨大，使用时间较长之后损耗厉害、后期维护费用高等缺点的存在，也具有很大的局限性。常见的交通参数检测器的优缺点如表1-1所示6。表1 1 常见的交通参数检测器的优缺点检测器类型优点缺点地感线圈成本较低，故障率低难安装，检测参数单一雷达易安装，检测信息丰富检测精度受地形影响激光检测距离远，精度高成本高，易被干扰超声波成本较低，易安装反应时间长，误差大当前，数字图像处理，计算机通信，模式识别和人工智能等领域的蓬勃发展，基于视频的交通参数提取方法以其系统设置灵活、信息量丰富、检测范围大等优点迅速发展，不仅成为智能交通领域的一个研究热点，还成为解决交通监管，获得交通参数问题的新观点和新思路。1.2国内外研究与现状本节主要介绍该领域国内外研究现状，主要分成国外情况的分析和我国智能交通的发展现状，分析了我国在这领域这么多年来的发展变化和趋势。1.2.1 国外研究现状国外在智能交通系统领域的研究起步较早，经过几十年的发展，技术已经相当成熟，初步形成了以美国、日本和欧洲等发达国家为主导的智能交通系统体系。除此之外，亚洲部分经济发达的国家（如韩国、新加坡等）智能交通发展水平也比较高7-8。智能交通系统最早并不叫做这个名字9。九十年代初期，美国机动车拥有量的急剧增长导致了一系列譬如交通拥堵，事故增多的问题，之后美国为了达到“保障安全，改善环境”的目的，开始大规模地进行道路交通运输智能化的研究。这项研究最初称为智能车辆道路系统（IVHS），随着研究的不断深入，系统功能扩展到道路交通运输的全过程及其相关服务部门，发展成为带动整个交通运输现代化的“智能交通系统（ITS）”。与此同时，甚至在更早的七十年代，日本就开始研究综合汽车交通控制系统（CACS），之后又研制了电子线路引导系统（ERGS），但由于当时技术条件的限制，这些系统未实际应用。图1 Error! Main Document Only. 美国ITS体系美国ITS体系出行和交通管理系统出行需求管理系统公共交通运管系统商用车辆运营系统先进的车辆控制和安全系统应急管理系统电子收费系统九十年代以来，日本，美国，欧洲等国家和区域不断深化在智能交通系统方面的发展。并且逐步制订了标准。在1995年3月，美国运输部正式发布了“国家智能交通系统项目规划”，规定了智能交通系统的7个子系统和29个服务功能，确定了到2005年的年度发展计划。欧洲十多个国家联合成立了“欧洲智能交系统研究协调组织”。日本也成立了由官方、民间、学术机构构成的“日本道路交通车辆智能化推进协会”。美国、日本ITS体系如图1-2、图1-3所示10。图1Error! Main Document Only. 日本ITS体系日本ITS体系公交优先系统交通信息提供系统综合智能图像系统安全驾车辅助系统行人信息通信系统紧急车辆优先系统紧急状态通报系统环境保护系统动态诱导系统车辆行驶管理系统国际上于1994年在巴黎召开了第一届智能交通系统世界大会，在1995年举办的第二届大会上，与会国统一了ITS的名称。几十年的发展中，国外研究人员不断突破技术障碍，提出了很多算法。其中有很多不同的基于视频的车辆检测算法。如，Badenas11提出了基于区域跟踪的车辆检测算法，Fathy12等采用了多个窗口来检测车辆信息，Coifman13等提出了基于车辆特征的车辆检测算法。之后基于视频的交通检测技术进入商业化阶段。目前，在视频车辆检测的商用领域，美国的Image Sensing System（ISS）和Peek Traffic System（PTS）两家公司的产品几乎垄断市场。其中ISS公司推出的AUTOSCOPE检测系统，市场份额占有率达到40%以上。类似已经用于商用的产品还有日本的Sumitomo公司的IDET视频车辆检测系统，美国PTS公司的VideoTrack视频车辆跟踪与探测系统。1.2.2 国内研究现状与国外相比，我国对智能交通系统的研究起步较晚。到了二十世纪九十年代，智能交通及时开始引起国内相关学术研究者的关注和重视，并逐步开展智能交通系统方面的理论、技术研究与工程试验14。先是有国家于2000年制订了标准规范，建立了能与国际接轨的交通标准体系，并且当年在国家交通部和公安部牵头下，联合全国各大科研院所和多家高校制订了国家ITS体系框架。后有北京、广州、长沙、重庆等地政府主导，建立了相应的道路交通控制和公共交通指挥和调度以及高速公路等子系统的相关部门，并且投入大量资金用于建立联票售票、联网监控、图1Error! Main Document Only. 我国ITS体系中国ITS体系交管系统电子收费交通信息服务智能公路与安全辅助驾驶运管系统交通运输安全综合运输交通基础设施管理ITS数据管理移动目标抓取等子系统。我国智能交通体系如图1-4所示。随着计算机技术、图像处理技术和模式识别技术的快速发展，我国加快了对智能交通关键技术的研究步伐，涌现了许多智能交通产品。例如清华大学和清华紫光集团共同研制的VS3001系统，中国科学院开发的Vs-star系统等。目前，我国发展智能交通系统的关注点在于自动驾驶，大数据，车路协同。总的来说，我国视频检测技术的发展比国外落后较多。因此，基于视频的道路交通参数检测技术未来将是国内智能交通领域的一个研究热点，有着广阔的应用前景。1.3 本文的主要工作本文的主要工作是研究基于交通视频检测技术的道路交通拥堵情况判定系统，具体内容包括：（1） 在深入分析了各种运动目标检测算法的优缺点的基础上，重点研究了背景差分法的目标检测方法。经过比较各种背景差分的方法，最终采用了自适应较强的基于像素自适应分割的运动目标检测算法进行视频运动目标检测，并通过实验验证了该算法检测运动目标的有效性。（2） 在学习理解交通参数物理含义的基础上，对交通参数的提取方法进行了深入研究，并构建了提取所需交通那个参数的流程。（3） 在掌握了运动目标检测算法以及交通参数提取流程的基础上，设计了基于交通视频检测技术的道路交通拥堵情况判定系统。完成了系统的视频图像采集、运动车辆检测、交通参数提取和道路拥堵情况判定的功能。并通过实验验证了该系统能够有效的监测道路交通参数，符合预期效果。1.4 本论文的结构安排本文针对交通拥堵程度分析研究关键技术进行研究，共分为五个章节，本文内容结构安排如下：第一章 绪论。介绍了智能交通系统的背景和意义、国内外的发展状况以及本文作者的主要工作内容。第二章 图像处理相关算法介绍。首先介绍了数字图像概念。然后介绍了几种本文中需要使用的图像预处理技术，并通过实验说明其功能。第三章 运动目标算法研究。首先对运动目标检测算法进行概述，然后着重分析几种常见的背景提取方法。接着深入研究了基于像素自适应分割的目标检测算法，并通过实验结果说明算法的有效性。第四章 道路交通参数的提取方法。将交通参数分为路面参数与车辆参数两部分，并分别介绍其参数的物理含义。同时对交通参数的提取方法进行研究，针对项目的具体要求，选择合适的方法实现了交通参数的提取。第五章 对车辆拥堵程度分析。本章节主要是对车辆拥堵程进行了划分，分别是通畅、轻度拥堵、拥堵、严重拥堵。根据上章提取的交通参数进行道路交通拥堵程度分析，从而进行拥堵程度的划分。并通过实验结果说明算法的有效性。第六章 总结与展望。对全文的工作内容进行总结，并对课题的深入研究做了展望。1.5 本章小结本章首先介绍了智能交通系统课题的研究背景和意义，综述了课题相关的国内外发展现状；然后阐明了本文的主要工作内容；最后介绍了文章各章节的内容安排。第二章 图像相关算法介绍第二章 图像相关算法介绍2.1 视频概念简介Video（视频）又称影片、视讯、视像、录像、动态影像，泛指将一系列的静态图像以电信号方式加以捕捉、纪录、处理、存储、传送与重现的各种技术。连续的图像变化每秒超过24帧(frame)画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面;看上去是平滑连续的视觉效果，这样连续的画面叫做视频。图2Error! Main Document Only. 视频、帧示意图视频：图像序列帧在图像处理中，需要提取视频中的每一帧，即视频这个连续的图像序列中每一幅静态的图像。2.2 数字图像简介在通过计算机处理图像之前，需要先将真实的图像数字化处理，是指称为能够在计算机中存储和显示的格式，然后再采用计算机进行分析处理。其中，采样、量化与编码是图像数字化过程中主要的三个步骤。一般常用一个二维函数fx,y来描述一幅图像，其中x和y是空间（平面）坐标，f是在座标点x,y处的振幅，又称为图像在该点的亮度。图像关于横纵坐标以及幅值连续，因此可以通过数字化坐标和幅值，实现一幅图像数字形式的转换。其中，坐标值数字化称为采样；将幅值数字化称为量化；所以，当f的x，y分量和振幅都是有限且离散的量时，称该图像为数字图像。其中经过采样之后得到的二维离散信号的最小单位就称为像素。如图2-1所示，左边是一幅经过数字化处理后的视频图像，中间显示的是在左图方框中截取的图像。假设该截取图像长度为L，高度为H，则可以使用一个LH矩形栅格表示该图像。其中每个栅格代表图像中的一个像素，栅格中的值代表该栅格对应的像素的灰度值，一般灰度值的值域范围是0,255。图22 图像数字化示意图2.3 图像的表示方法2.3.1 二进制图像二进制图像也称为二值图像，通常用一个二维数组来描述，1位表示一个像素，组成图像的像素值非0即1，没有中间值，通常0表示黑色，1表示白色，如图2-3所示。二进制图像一般用来描述文字或者图形，其优点是占用空间少，缺点是当表示人物或风景图像时只能描述轮廓。0000111000111100111110111111111111111111111111111图23 二进制图像2.3.2 灰度图像灰度图像也称为单色图像，通常也有1个二维数组表示一幅图像，8位表示一个像素，0表示黑色，255表示白色，1254表示不同的深浅灰色。通常灰度图像显示了白色与黑色之间许多级的颜色深度，比人眼所能识别的颜色深度范围要宽得多。2.3.3 RGB图像RGB图像也称为真彩色，是一种彩色图像的表示方法，利用3的大小相同的二维数组表示一个像素，3个数组分别表示R、G、B这三个分量，R表示红色，G表示绿色，B表示蓝色，通过3种基本颜色可以合成任意颜色。2.4 图像预处理技术图像预处理是运动目标检测过程中的一个重要环节。运动目标检测系统的输入图像由于图像设备所处采集环境的差异，如电磁干扰程度的不同、光照明暗程度的不同等，往往存在对比度不够，噪点显著等缺点。另外，图像采集设备的焦距大小，距离远近等又使得带检测的目标在整幅图中间的大小和位置不确定。为了保证图像中目标大小，位置以及目标图像质量的一致性，必须对图像进行预处理。从而提高目标检测的准确性，本节介绍常用的预处理方法。2.4.1图像类型转换在本文所述的检测算法中，需要进行图像类型的转换。常见的转换如图2-4所示：RGB图像二值图像灰度图像图24 图像类型转换关系图以上就是本文所需的图像类型转化，由于受篇幅制约，其它图像类型的转化不在本文中予以介绍。下面将具体介绍灰度变换。灰度图像相比彩色图像有着数据量小，更易实现实时算法的优点，影刺在图像处理中被广泛地应用。在进行视频图像运动目标检测执勤，常常第一个步骤就是对摄像机采集到的彩色图像进行灰度变换。另一方面，灰度图像是由未经特殊绿光处理的光线所产生的图像，因此从数字图像处理的角度考虑，这种没有经过处理的数字图像包含的信息更加有价值。灰度图像是指将每个像素的信息进行量化处理，采用量化处理后的灰度级来描述的数字图像，灰度图像中不包括色彩信息。不过要格外关注的是，灰度图像虽然丢失了一些颜色信息，但无论是从图像的整体还是局部的亮度以及色彩等级分布特征来看，灰度图像描述与彩色图像的描述的特征信息是一致的。对RGB彩色图像进行灰度化处理，即是对彩色图像的红、绿、蓝三个颜色分量求取加权平均，从而得到最终的灰度值。RGB彩色图像转化为灰度图像的方法较多，下面介绍3种最常见的灰度变换方法。最大值法，将彩色图像中的三个颜色分量亮度的最大值作为灰度图像的灰度值。可表示成如公式（2-1）所示的形式：Gray= max(R,G,B) (2-1)平均值法，将彩色图像中的三个颜色分量亮度求平举止，从而得到一个灰度值。可表示成如公式（2-2）所示的形式：Gray=R+G+B/3 (2-2)加权平均值法，依据某些理论，赋予R、G、B不同的权值，然后加权求和。可表示成如公式（2-3）所示的形式：Gray=WRR+WGG+WLB/3 （2-3）人眼对RGB颜色的感知并不相同，其中对蓝色敏感最低，对绿色敏感度最高。因此一般有WGWRWB，使得灰度变化后的图像较为合理。一般而言，从人体生理学角度（人眼对绿色的敏感最高，对蓝色敏感最低）所提出的权值WG=0.59，WR=0.30，WB=0.11最好。此时，获得的灰度图像较为理想。图25 加权平均法获取的灰度图本文所用的就是加权平均法，效果如图2-5所示：2.4.2 滤波去噪在现实生活中，通过摄像机采集的图像，难免会遭到各种各样噪声的干扰。这些噪声造成图像质量退化，影响视觉效果。因此，往往在图像处理之前，需要对灰度图像进行滤波处理。一般情况下，常用的滤波去噪方法有均值滤波、中值滤波和高斯滤波。均值滤波，是指使用邻域均值替代原图像中的各个像素值。具体而言，是对待处理的某个像素，选择一个模板，该模版由其邻域内像素构成，使用该模扳的均值替代原像素值。模板的大小可以自主设定，如图2-6所示，为一个3*3大小的模板，中心点为0位当前处理的像素，序号1-8位领域内的像素。首先求取模板中所有像素的均值，然后将其赋值给当前待处理的像素f(x,y)，设滤波处理后的像素为g(x,y)，则有如公式（2-4）所示的形式：gx,y=1Mfsfx,y（2-4）其中，M为模板内像素总个数，s为模板。123405678图26 3*3模板示意图中值滤波，是一种非线性的图像滤波方法，与均值滤波方法以及其他现行绿波方法相比，该滤波方法能够很好地滤除脉冲噪声，同时又能够保留目标图像的边缘信息。中值滤波处理方法类似于卷积，但并不是计算的加权和，而是把邻域中的像素按照其灰度值进行排序，然后选择排序后的中间值作为输出像素值。踏实一种典型的邻域运算，可定义为如公式（2-5）所示的形式：gx,y=Medfx-k,y-l,k,lW（2-5）其中，fx,y，gx,y分别为待处理图像和滤波处理后图像。W是二维模板，一般选择3*3、5*5领域，也可以选择不同的形状，如十字形、圆形等。高斯滤波，是一种线性的图像滤波方法，对输入图像中的每个像素点的像素值进行计算。计算的准则是，该像素点输出灰度值由该点的灰度值以及其模板邻域内的其他像素灰度值加权平均所得，其中加权平均的权重系数由二维离散高斯函数进行采样、归一化后所得。具体可表述为如公式（2-6）、（2-7）的形式：gx,y=fs,wHwx,yfx,y（2-6）Hi,j=122-k-12+j-k-1222（2-7）其中，fx,y，gx,y分别为待处理图像和滤波处理后图像。s是二维模板，wx,y加权系数，H是高斯卷积核，其大小为2k+1*2k+1。2.4.3 形态学处理在二值化图像处理中，形态学处理是一大类重要的处理方法。常用的形态学处理方法由腐蚀、膨胀、开运算和闭运算。腐蚀，是一种消除边界点，使边界向内部收缩的二值图像处理过程。设二值图像为F，X为连通域，S为结构元素，Sxy表示结构元素的原点移动到x,y。则此时图像X被结构元素S腐蚀的运算表达式如公式（2-8）所示：E=FS=x,ySxyx（2-8）其中，当结构元素S的原点移动到x,y位置时，如果S完全包含在X中，则在腐蚀后的图像上该点为1，否则则为0。膨胀，则将与目标区域接触的背景点合并到该目标中，是目标边界向外部扩展的二值图像处理过程，设二值图像为F，X为连通域，S为结构元素，Sxy表示结构元素的原点移动到x,y。则此时图像X被结构元素S膨胀的运算表达式如公式（2-9）所示：D=FS=x,ySxyx=（2-9）其中，当结构元素S的原点移动到x,y位置时，如果S中包含至少一个像素值为1的点，则在膨胀后的图像上该点为1，否则为0。 开运算，是指使用同一个结构元素对二值图像先进行腐蚀才做在进行膨胀操作的运算。其运算定义如公式（2-10）所示：FS=(FS)S（2-10）开运算通常用来消除小的对象物体、在纤细点处分离物体、平滑加大物体的边界，与此同时开运算并不明显改变其面积。闭运算，是指使用同一个结构元素对二值图像先进行膨胀才做在进行腐蚀操作的运算。其运算定义如公式（2-11）所示：FS=(FS)S（2-11）闭运算通常用来填充目标内细小的空洞、连接断开的邻近目标、平滑较大物体的边界，与此同时闭运算并不明显改变其面积。2.4.4 边缘检测边缘特征是凸显个最基本的特征之一，往往包含了图像中非常重要的信息。具体而言，边缘是指周围像素灰度有节约变化或者屋顶变化的那些像素的几何，为人们描述或者识别目标以及解释图像提供了一个有价值的和重要的特征参数15。一般认为图像的边缘特征有幅度和方向两个属性，沿边缘方向的像素点，其像素值变化剧烈。因而，可以采用微分算法检测出这种边缘像素值的变化，通常用像素值的一阶或者二阶导数来进行边缘检测。所以边缘检测在图像分析、计算机视觉等应用中起着非常重要的作用。本节将介绍3种常用的边缘检测算子，分别是Roberts算子、Sobel算子、Prewitt算子。Roberts算子，是一种最简单的算子。它是一种利用局部差分算子寻找边缘的算子。具体而言，是采用对角线方向相邻的两个像素的像素值之差近似地表示梯度赋值来检测边缘。该算子检测垂直边缘的效果好于检测斜向边缘的效果，定位精度高，但是该算子对噪声敏感，无法抑制噪声的影响。同时该算子通常会在图像边缘附近的区域内产生交款的响应，因此采用Roberts算子检测的边缘图像，通常需做细化处理。该算子具体定义如公式（2-12）所示：f=fx+1,y+1-fx,y+fx+1,y-fx,y+1（2-12）其中fx,y表示正在处理的像素，依据图像的模板描述形式，公式（2-12）又可以表述为公式（2-13）所示的形式：1=D1fxy, 2=D2fx,yD1=-1001, D2=0-110 fx,y=1+2 （2-13）Sobel算子，是一种在奇数尺寸（3*3）模板下的全方向的微分算子。Roberts算子由于模板的尺寸为偶数，导致待处理的像素无法放置于模板的中心位置，处理的结果回有半个像素的错位。而Sobel算子则可以避免这种情况的发生，同时该算子引入了类似局部平均的运算，因此对噪声具有平滑作用，能很好的消除噪声的影响。具体形式可以表述为如公式（2-14）、（2-15）所示的形式：Dx=fx+1,y-1-fx-1,y-1+2fx+1,y-fx-1,y +fx+1,y+1-fx-1,y+1Dy=fx-1,y+1-fx-1,y-1+2fx,y+1-fx,y-1 +fx+1,y+1-fx+1,y-1（2-14）f=Dx2+Dy2（2-15）因此Sobel算子的图像模板表达形式如公式（2-16）所示的形式：Dx=-1-2-1000121Dy=-101-202-121 （2-16）Prewitt算子，是一种采用一阶微分的边缘检测算子。该算子利用像素点上下、左右邻点的灰度值差在图像边缘处达到极值来检测边缘。它能过滤部分伪边缘，并且对噪声具有一定的平滑作用。其检测边缘的原理是通过在图像空间中使用两个方向的模板与图像进行邻域卷积来实现的，其中这两个方向的木板一个模板用来检测水平边缘，另外一个模板用来检测垂直边缘。其定义如公式（2-17）、（2-18）所示的形式：Dx=fx+1,y-1-fx-1,y-1+fx+1,y-fx-1,y +fx+1,y+1-fx-1,y+1Dy=fx-1,y+1-fx-1,y-1+fx,y+1-fx,y-1 +fx+1,y+1-fx+1,y-1（2-17）f=Dx2+Dy2（2-18）Prewitt算子与Sobel算子的数学定义形式相近，但其系数发生改变。一定程度上Prewitt算子比Sobel算子更具抗干扰性。Prewitt算子的图像模板表达形式如公式（2-19）所示的形式：Dx=-1-1-1000111Dy=-101-101-101 （2-19）2.5 本章小结本章首先介绍了数字图像和几种常见的图像表示类型，建立对数字图像相关概念的基本认识。接着对灰度变换、滤波去噪、边缘检测等图像预处理技术做了重点介绍，为本文后续视频图像算法研究奠定了基础。第三章 运动目标检测算法研究第三章 运动目标检测算法研究运动目标检测是计算机视觉领域的热点研究课题之一，它在视频监控、智能交通、遥感测绘等领域都具有很重要的应用价值。在智能交通系统领域中，运动目标检测是后续目标跟踪、识别与分析的基础。采用有效，适应性好、抗干扰能力强的运动目标检测算法是之后交通参数提取处理的重要保障。3.1 运动目标检测方法概述运动目标检测是智能交通系统核心部分之一，它的目的是，如何快速、准确地检测出交通监控视频中的运动前景目标。依据视频图像采集设备所处的空间状态可将待处理的视频分为基于固定摄像头采集的视频与基于移动摄像头采集的视频两大类16。通常固定摄像头（如摄像头固定于路口上方）采集的视频图像，其图像背景相对变化缓慢；移动摄像头（如四旋翼的图像设备）采集的视频图像，其图像背景相对变化较快。本章讨论的视频是基于固定摄像头采集的视频。目前，处理成此类视频图像运动目标检测的方法主要有：光流法、帧间差分法、背景差分法17。3.1.1 背景差分法运动目标检测中常用的方法就是背景差分法。检测步骤是首先选取背景中的一副获几幅图像的平均作为背景图像，然后用以后的序列图像当前帧和背景图像做减法，如果差值大于设定的值就认为是背景像素无需表示从而进行背景消去。若所得到的像素数大于某一阈值，则判定被监视场景中有运动物体。这种法对于复杂背景下的运动物体检测效果比较好，它的特点是计算量小和实用价值大。目前有很多方法提取背景图像，比较简单的是在无运动物体的情况下拍摄一副背景图像，利用待测的每一幅图像与其相减的到的运动的物体，此方法智能适合与背景不变或者变化较小的情况。另一种方法提取背景图像的方法是根据几帧或者几十帧的图像形成背景，利用检测后每一帧待测图像更新背景。这种方法减去体检拍摄背景的麻烦，但是建立背景需要一定的时间，对于急剧变化的外界干扰比较敏感。一般基于背景差分法的视频图像运动目标检测算法流程图如图3-1所示。当前帧背景差分前景目标背景模型背景更新图 3Error! Main Document Only. 背景差分法流程图3.1.2 帧间差分法帧间差分法是一种通过对图像序列中相邻的两帧作差分运算而得出的运动目标轮廓的方法，这种方法的好处是它可以很好地适用于存在多个运动的目标。它的主要思想是，通过逐像素计算相邻两帧或多帧的像素差值，然后与设定阈值比较来确定对应前景目标像素的位置，进而得到运动前景目标区域。常用的有双帧差分法、三帧差分法18等。双帧差分法直接采用相邻两帧图像简单差分来检测运动目标。分为两个步骤：首先对相邻两帧图像fkx,y，fk-1x,y做差的到差值图像Dkx,y；接着依据设定的阈值，对差值图像Dkx,y做二值化处理，当差值图像中的像素值大于阈值时，将该像素位置标记为目标像素，反之则标记该像素为背景像素。双帧差分法算法简单介绍如下：设fkx,y，fk-1x,y分别是第k帧和k-1帧图像，则：Dkx,y=fkx,y-fk-1x,y (3-1) 做阈值处理，就可以提取运动目标：fobj=fkx,y DkxyTd0 othrwis (3-2)其中，fobj为运动前景目标区域，Td为设定的阈值。双帧差分法有它特有的特点：此种方法的算法简单，程序设计复杂度比较低，计算效率非常高，对光线等场景变化不太敏感，帧间差分法可以适应各种不同变化的动态环境，且此种方法的系统稳定性比较好。但是任何的方法都会有它的缺点和不足：它的不足主要体现在利用帧间差分法很难检测出静止或运动速度相对来说比较慢的对象，即会产生所谓“空洞”和“鬼影”。三帧差分法是通过在连续的三帧图相见进行差分，来检测运动前景目标。假设fk-1x,y，fkx,y，fk+1x,y表示图像序列中任意连续的三帧图像，则逐个像素的差分图Dkx,y为：Dkx,y=fkx,y-fk-1x,y and fkx,y-fk+1x,y (3-3)同时对上述差分图像Dkx,y的二值化处理即可确定运动前景目标区域fobj：fobj=fkx,y DkxyTd0 othrwis (3-4)三帧差分法虽然减少了“鬼影”的存在，但由于其进行了与操作，同时扩大了“空洞”。在实际应用中，帧间差分法往往适用于通过对算法的改进可以将它与其它算法结合来提高整体的检测效果。3.1.3 光流法如图3.2所示，光流19是空间运动物体在观测成像面上的像素运动的瞬时速度。我们提出的光流畅法的基本思路是：在一个特定的空间中，运动用运动场来描述，而在一个图像平面上，物体的运动往往是通过图像序列中不同图像灰度分布呈现的，空间中的运动场转移到图像上就称之为光流场（OPTICAL FlOW FIELD）。它反映了图像上灰度的变化趋势等同于像素点在图像平面上运动而产生的瞬时速度场。光流计算基于三个前提假设：被观测物体由t时刻的位置x,y运动到t+1时刻的位置x+x,y+y过程中，物体像素的亮度是不发生改变的；相邻视频帧的取帧时间连续，或者相邻帧之间前景目标的运动比较微小；保持空间一致性，即同一子图像的像素点具有相同的运动。基于以上假设可得光流约束方程如下所示：Ixxt+Iyyt+It=0 (3-5)令u=xt，v=yt，则有：Ixu+Iyv+It=0 (3-6)其中，Ix是视频图像帧沿x坐标轴的差分，Iy是视频图像帧沿y坐标轴的差分，It是视频图像帧沿t时间轴的差分。在理想的情况下，它能够检测独立的运动对象。我们可以做到的是即使不能够先知道场景的信息，仍然可以计算出运动物体的瞬时速度。成像传感器二维空间光流矢量x,y三维空间运动矢量 图3Error! Main Document Only. 光流示意图 在最近的几十年来有很多人提出了各种各样的光流场的算法，但是我们发现建立可靠的光流算法模型仍然是要面临的巨大挑战。开展的研究光流算法涉及多个学科领域的理论和技术。比如模式识别和图形图像、矩阵分析以及优化理论等。对