视频分析在交通控制中的应用

摘要

在交通管理中，带有智能分析的监控系统可以实现实时监控和预警功能。本

文提出了从视频中提取图像的方法，并且建立了统计车流量的数学模型。

问题一中，首先将题中视频转化为matlab可以读取的avi格式视频图像，

然后对每一帧图片进行灰度处理，再通过中值滤波去除噪音干扰，并对得到的图

像进行加强，这就完成了图像的预处理。接下来，杈据一种改进后的平均法提取

出图像背景，由于视频总长只有5分05秒，所以可以将得到的背景用于整个视

频，即不进行背景更新，对前景图像的提取，首先使用背景差分法得到差分后的

图像；然后对图像进行二值化处理，得到二值化后的图像；然后为了去掉图像中

不属于车辆上的小白点和填补车辆上的小黑洞以及狭缝，通过形态学中的开运篁

和闭运算对图像进行后处理得到最终的前景图像，从而监测出了图像中的运动目

标（车辆），即完成了视频图像的提取。

问题二中，首先通过分析选择虚拟线圈作为合适的检测区域，并且确定出虚

拟线圈的大小、数量以及位置；然后根据检测区域的工作原理建立了统计车辆数

的数学模型；再通过matlab编程实现统计车辆数模型的算法，最后根据车辆总

数和统计时长计算出车流量，并且与实际车流量（人工统计的）作比较。

本文最后提出了模型的优缺点和推广。

关键词：中值滤波；改进平均法；背景差分法；二值化处理；形态学处理

一、问题重述

传统的视频监控由人工进行视频监测发现安全隐患或异常状态，或者用于事

后分析，这种应用具有其固有的缺点，难以实现实时的安全监控和检测管理。视

频分析是指将先进的信息技术、数据通讯传输技术、电子控制技术、计算机处理

技术等应用于工业生产，从而提高生产效率。在交通管理中，带有智能分析功能

的监控系统可以通过区分监控对象的外形、动作等特征，做到主动收集、分析数

据，并根据预设条件执行报警、记录、分析等动作。对于视频分析而言，其关键

技术是建立合理的数学模型。利用你所学知识解决以下问题：

问题一：根据提供的视须，建立提取附录提供的视频图像的数学模型。

问题二：结合已提取的背景，建立计算车流量数学模型。

二、模型假设

1、假设在视频时间内，光照、天气不会发生剧烈的改变；

2、假设高速公路上车流量密度适中，很少出现车辆紧挨的情况;

3、假设道路上除了车辆没有其它运动物体；

4、假设监测设备不会因为来往车辆的影响而发生震动。

三、符号说明

符号含义

灰度函数

f(x,y)

k离散的灰度级数

单位时间内车流量

Q

T记录车流的时间段

C表示在时间T内经过的车辆总数

s检测区域的状态变量

四、问题分析

问题一中，需要建立提取视频图像的模型，本文中首先对视频图像进行预处

理，然后根据一种改进平均法提取背景图像，再利用背景差分法得到前景差值图

像，对差值图像通过二值化和形态学处理后得到最终的前景图像，从而完成对视

频图像的提取。具体的流程如下图所示：

本文中通过分析选取合适类型的检测区域，并确定检测区域的大小、位置和数量，

然后根据检测区域状态变量的变化建立计算车辆数的模型，进而计算出车流量。

五、模型建立与求解

5.1问题一模型的建立与求解

问题一中需要建立提取附录提供的视频图像的数学模型，实际上就是建立一

个可以对来往车辆准确识别的模型。

5.1.1图像预处理

亮度范围不足或非线性等因素造成的对比度不足，造成视觉效果不理想。如果设

全幅图像的灰度范第是从0-255级，若相邻物体目标灰度相差小于10级，那

么就会超过人眼对灰度差的感知能力，人眼就难以分辩。为此，需要增加图像的

对比度来改善图像的视觉效果。增强图像的对比度一般是通过对图像灰度直方图

的变换来实现的。通过加大图像灰度动态范围，图像对比度得到扩张，细节特征

更加明显。

直方图均衡化处理的中心思想是把原始图像的灰度直方图从比较集中的某

个灰度区间变成在全部灰度范围内的均匀分布，增加了像素灰度值的动态范围，

从而达到增强图像整体对比度的效果，是一种常用的灰度增强算法。

其中，p(S)代表原始图像中灰度出现的概率。以n为自变量，以p(S)为

kkkkk

函数得到的曲线就是图像的直方图。

设f(X,y)和g(x,y)分别为增强前和增强后的图像，而EH代表增强操作。若

EH是定义在每个(x,y)上的，则EH是点操作。这种情况下，g(x,y)的值取决

于在(x,y)处的f(x,y)值，而EH就是一个灰度变换,如以s和f分别代表f(x,y)

和g(x,y)在(x,y)位置外的灰度值，则此时的点处理增弼可用如下式表示：

tEH(s)

这里，增强函数需要满足两个条件：

(1)EH(s)在0sL1范围内是一个单值单增函数；

(2)对0sL1有0EH(s)L10。

其中条件(1)保证原图各灰度级在变换后仍保持从黑到白或从白到黑的排列

次序。条件⑵保证变换后灰度值动态范围的一致性。

累积分布函数满足上述两个条件并能将s的分布转换为t的均匀分布。事实

上s的累积分布函数就是原始图的累积直方图，此时有

tEH(s)kp(s)k10s1,k0,1，…,L1

kksi|-|k

i0i0

这里，k为离散的灰度级。计算累积直方图以后，对t取整：

k

t[(N1X0.5]

kk

其中，[X]表示采用四舍五入进行取整。需指出的是，由于数字图像的灰度离散

化，均衡化图像的直方图是近似均匀分布。

加强后图像与中值滤波后图像对比如下图所示:

图3中值滤波后图像图4加强后图像

5.1.2背景的提取

背景图像是指道路上没有运行车辆时的图像，即使道路上有车辆运行，背景

算法也通过技术处理除去车辆而获得没有车辆运行的背景图像。

5.1.2.1背景选材

通过观察视频可以发现，在距离监控设备较近和较远处车辆的有无情况分为

三种，如下表：

表1图像中车辆分布的情况

较远处较近处

有平有隼

有车无车

无车有车

经过分析可以得到，对于同一车辆血含，当它赳离监控役备较远时,在画面

上的移动速度较慢，而当它距离监控设备较近时，在画面上的移动速度较快。如

果选用远处有车的图像来提取背景，由于相隔两帧图像中车辆位置变化不明显，

所以可能会将车辆误认为为背景，而选用近处有车的图像来提取背景，由于相隔

两帧图像中车辆位置有明显变化，所以可以较好的提取背景。因此，我们选择远

处无车而近处有车的情况来提取背景。

通过对视频的仔细观察，选取第7099帧7118帧共20帧作为提取背景的困

像。

5.1.2.2提取背景

视频分析是一种基于视频实现交通实时监测的手段，它呈现出两个特点：第

一数据量大；第二实时性要求高。综合考虑这两个特点，我们采用计算量最小的

多帧图像平均法提取背景。

考虑到运动目标的多样性，有的亮度值比背景低，有的比背景高，有的与背

景相当，所以从统计学角度来看，有运动目标经过而引起的变化，在长时间内可

按求平均值的方法来消除。多帧图像平均法是将运动目标看作为噪声，用累加平

均的方法消除之。利用运动目标运行一段时间的序列图像进行平均而得到背景图

像，计算表达式为：

1N.

Background(x,y)一image(x,y)

N，

i1

式中Background(x,y)表示背景图像，image(_x,y)表示第i帧序列图像在象素点

(x,y)的亮度值，N表利瀛由于该算法的模型简单、计算方便，我们通过matlab

编程计券很快可以得到结果，如下图所示:

am秘月13H量用三i2：oi38

HYUK

图1原图像图5平均法背景图像

从图5中可以看出背景的效果不是很好，这是因为在实际应用中，往往是图

像中的某些区域有亮度高的运动目标，而某些区域有亮度低的运动目标经过，通

过平均法得到的背景图像就会出现亮暗分布不均匀的区块。另外，该算法得到的

背景图像受运动目标数量的影响比较大。

针对以上算法的不足，在传统的平均法基础上，采用一种新算法来提取背景

图像。

该算法的基本思想及步骤如下：

(1)对视频中一定数量的帧N,先对每个像素值P(x,y)求平均，均值记为:

I

A(x,y)1NP(x,y)

i1

(2)计算总差值：

D(x.y)I(x,y)A(x,y)

i1

(3)求出平均差值：

B(x,y)

(4)去除差异大的点

P(x,y){P.y)［俨y)A(x,y)|B(x,y)},i1,2....N

(5)对P(x,y)再求平均值，记为I(x,y),该值则作为初始背景的像素值

在现实场景中，某个区域存在运动目标的时间是有限的，那些差异较大的点

一般是由运动目标经过引起的，去除它们以后再求平均，会得到更好地效果。

5.1.2.3提取结果

根据5.1.2.2中的算法，通过matlab编程提取出的背景如下图所示：

图5平均法背景图像图6改进平均法背景图像

从图6中可以看出，由于采用了改进后的算法，所以消除了图像中亮暗不均

匀的区域。又因为视频总长只有5分05秒，而且视频为静态背景，所以可以忽

略背景的更新。

5.1.3前景的提取

前景提取就是将车辆等从交通场景视频图像中提取出来，以便进行后续的车

i/i®统计等操作，根据5.1.2中已经提取出来的背景，采用背景差分法提取前景，

然后通过二值化处理得到二值图像，再用形态学处理得到最终图像。

5.1.3.1背景差分法

背景差分法假定图像背景是静止不变的，即图像背景不随图像帧数而变，可

表示为background(x,y),定义图像序列为image(x,y,i),其中(x,y)为图像坐标

位置，i为图像帧数，将每一帧图像的灰度值减去背景的灰度值可得到一个差值

图像：

difference(x,y)image(x,y,i)background(x,y)

其中difference(x,y)为背景与图像帧的差值。

通过matlab编程得到差分的图像，与原图像比较如下图所示:

图1原图像图7差分后图像

5.1.3.2阈值分割

阈值分割即图像的二值化处理，是将图像分成目标和背景的一种方法，最简

单且常用的方法是根据实验或人的先验经验，预先给定一个固定阈值T,一般来

说T是处于图像灰度范围内的灰度阈值。其计算方法如下：

255,iff(x,y)T

g(x,y)

0.iff(x,y)T

当车辆部位清晰，轮廓明显，干扰较小时这是一种行之有效的方法，但是这

种方法存在明显的缺点：

(1)、不能根据图像确定它的最佳阈值。

(2)、确定阈值T后，光源等外界条件改变时，不能使阈值随之改变。

因此，本文采用最大方差比法来确定最佳阈值。

最大方差比法又称为Otsu阈值化方法，它是一种自动的非参数无监督的阈

值选择法，它基于类间方差为最大的测度准则，最佳的阈值是在该测度函数取最

大时得到的。该方法计算简单，自适应性强，在一定条件下不受图像对比度和亮

度变化的影响，因而在一些实时图像处理系统中得到了广泛的应用。该方法的基

本思路是：选取的最佳阈值应当使得不同类间分离性最好。

具体做法如下：

设图像灰度级1~M,第i级像素n个,总象素NMn,则第i级灰度出现

ii

i1

的概率为Pn/N0

i

最大方差比法无需给出特定的条件，首先根据灰度直方图选取阈值T将图像

分成C和C两类，其中C类像素灰度值比T值高，C类像素灰度值比T值低,

1212

计算类间方差2和类内方差2由下式给出:

8W

类间方差：2(T)w(W[2)

B11

9

类内方差:(T)W2W2

W1122

其中，w和w分别是类C和类C的像素数,和分别是类C和类C中

12121212

像素的灰度平均值，是所有像素的灰度平均值，2和2分别是类C和类C的

1212

灰度方差。

使分离(T)为最大值的阈值T即为最佳阈值，即:

(T)max[2(T)/Z(T)]

BW

Otsu方法是通过寻找一个最大方差值，来将图像分割成两部分。因为方差是

图像灰度分布均匀性的一种度量，方差值越大，说明构成图像的两部分差别越大，

当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小，因此使

类间方差最大的分割意味着错分概率最小，因此Otsu方法具有很好的阈值分割效

果。

通过matlab编程计算得到二值化处理后的图像，与原图像比较如下图所示:

图7差分后图像图8二值化后图像

5.1.3.3后处理（形态学处理）

在对图像前景的提取和分割时，由于受到噪声的影响，会使一些属于背景上

的点被错误地检测为前景运动目标，也会使前景目标点被错误地检测为背景点。

为了消除这些影响，需要对获得前景图像作一些后处理，才能更精确地进行后续

的车流量统计。

本文中采用数学形态学对图像进行后处理。形态学的组合运算分为开运算和

闭运算，开运算是指对图像先进行腐蚀操作再进行膨胀操作，闭运算是指对图像

先进行膨胀操作再进行腐蚀操作。由于开闭运算的操作顺序不同，所以两者的作

用效果也不同。开运算用来删除小物体、将物体拆分为小物体以及平滑大物体边

界面不明显改变它们的面积。闭运算可以填充物体的小洞、连接相近的物体和平

滑物体的边界而不明显改变它们的面积。

在本题中，由于前景图像中车辆表面存在着一些未处理掉的小白点以及有可

能将一辆车分为两辆的小洞或狭缝，所以先用开运算再用闭运算对图像进行处

理，通过matlab编程计算，得到最终处理后的图像，与处理前的图像对比如下

图所示：

图8二值化后图像图9形态学处理后图像

5.2问题二模型的建立与求解

问题二要求建立计算车流量的模型,而车流量是指单位时间内通过道路上某

断面的车辆数，即：

C

式中Q表示车流量，T表示记录车流的时间段，c表示在时间T内经过的车

辆总数。所以只需要根据问题一中提取的图像，选择合适的检测区域建立车辆记

数模型即可求得车流量。

5.2.1检测区域的选择

要想测得某段道路的车流量，必须选择合适的检测区域，包括检测区域的类

型、位置、数量以及大小等。

常见的检测区域类型有三种：

⑴、检赃戋

检测线是设置在交通流场景中的一条垂直于道路方向的直线，其宽度覆盖要

检测的车道，高度为1-3个像素之间。由于检测线只有一两个像素高，抗噪声能

力较差，因此很容易因噪声而导致误检；同时，它对运动目标提取的质量要求很

高，一旦提取的运动目标中存在“孔洞”或“断层”，则很容易将一辆车检测为

两辆，导致多检；此外，它对摄像机的安装条件也有较高的要求，通常只适用于

摄像机安装在道路正中夬的情况(例如安装在横跨道路的天桥上),否则很容易由

于车辆遮挡或“粘连”而导致漏检。由于缺点较多，因此基于检测线的车流量统

计方式在实际工程应用中较少被采用。

(2)、检测带

检测带是设置在交通流场景中的一条垂直于道路方向的带状区域，其宽度覆

盖要检测的车道，高度为8T4个像素之间。由于检测带具有一定的高度，因而该

方式的抗噪能力比检测线方式强，由于提取的运动目标中存在“孔洞〃或“断层〃

而导致的多检现象也比检测线方式少。但是与检测线方式一样，该方式通常也只

适用于摄像机安装在道路正中央的情况；摄像机安装在路侧时容易由于车辆遮挡

或“粘连〃而导致漏检。

(3)、

虚拟线圈是设置在交通流场景图像待检测车道上的矩形或四边形区域，其宽

度比一个车道略小，高度一般为一辆小车的长度。基于虚拟线圈的车流量统计方

式的优点有很多：首先，它的位置设置很灵活，对摄像机安装条件的要求较低，

可以根据实际拍摄的交通流场景来相应地调整每个虚拟线圈的位置，从而减少由

于车辆遮挡和“粘连”而导致的漏检现象；其次，它的抗噪能力比检测带方式更

强，而且也不容易由于提取的运动目标中存在“孔洞”或“断层”而导致多检。

它的缺点在于：当车辆骑线或变线行驶时容易导致漏检或多检；另外，由于虚拟

线圈的高度较大，当交通流场景的车流密度较大时，容易发生“粘连”现象，即

将同一车道前后相邻较近的两辆车检测为一辆车，导致漏检。因此，基于虚拟线

圈的车流量统计方式不太适合用于城市道路等车流密度较大的交通流场景，而比

较适合用于高速公路等车流密度较小的交通流场景。

所以在本文中采用虚拟线圈作为检测区域。

通过仔细观察题中的视频，我们本着漏检率最小和重检率最小两个原则，在

画面的下方选取了四个位于不同车道的虚拟线圈，如下图所示：

Z0114(HMi!TM"OOO

图10选定的检测区域

将图中的检测区域从左向右依次编号为1、2、3、4,然后根据虚拟线圈的

一般大小（宽度比一个车道略小，高度为一辆小车的长度），我们选取四个虚拟

线圈的大小如下表所示：

表2虚拟线圈的大小

虚拟线圈编号虚拟线圈大小（像素点个数）

130X15

245X15

325X15

430X15

因为四个虚拟线圈的工作原理相同，所以我们以1号虚拟线圈为例说明车流

量的统计原理。

定义虚拟线圈的状态为S,当虚拟线圈中无车时状态为0,当虚拟线圈中有

车时状态为1,即：

0无车

S

1有车

记虚拟线圈中运动目标（灰度值为255）特征像素点的数目为n,全部像素

点（灰度值为0和255）的数目为N。进而我们给出有车和无车的定义，在理想

情况下，车辆所在像素点的灰度值为255,其余各点的像素值为0,然而在实际

中往往会因为噪音或采集设备等造成某些不是车辆上的点的灰度值也是255,所

以在这里设定一个阈值k，当n/Nk时，认为虚拟线圈内无车，此时的状态变

量赋0,当n/Nk时;认为虚拟线圈内有车，此时的状态变量赋1。

然后判断当前帧是否有车辆，如果当前帧图像没有车辆，前一帧图像也没有

车辆,则表示无车辆通过,流量不记数：如果当前帧图像有车辆,前一帧图像没

有车辆，则表示有车辆驶入检测区，流量不记数；如果当前帧图像有车辆，前一

帧图像也有车辆，则表示该车还未驶出检测区，流量不记数；如果当前帧图像没

有车辆，前一帧图像有车辆，则表示该车驶出检测区，流量记数。

车流量的具体统计流程如下图所示：

图11车流量统计流程图

根据上述流程图，程序中运行时，首先扫描每一帧图像中检测区域的每个像

素点，得到该区域的状态变量，如下图所示：

图12检测区域状态变量变化图

该图是以3号检测区域为例，扫描前500帧图像得到该区域的状态变量，从

图中可以看出只需要记从1变到0的个数，就可以统计出车辆数，这也是程序最

终运行的结果，如下表所示：

表3车流量订算结果与实际结果的比较

1号检测区域2号检测区域3号检测区域4号检测区域

实际计算实际计算实际计算实际计算

开始一Imin2314161010169

Imin—2min2930192419151111

2min-3min152320251513189

3min-4min141881012141213

4min一结束910461491214

总车数/辆6984658170616956

车流量/(辆/分)13.616.512.815.913.812.013.611.0

正确率(%)78.375.487.181.2

从表中可以看出「四个检测区域及四个车道的车流量统计正确率也80%左

右，正确率并不是很高主要是两方面原因导致的，第一，视频中光线条件不是很

好，并且监测设备摆放位置不好，所以不能清晰的识别每一辆车；第二，在实际

中存在大车挡住小车以及两车首尾相连进入检测区域的情况，这样导致漏检或重

检的发生。从表中还能看出，3号车道由于受其它车道车辆的干扰较小所以正确

率相对高于其余车道，而1号和2号车道由于存在车辆互相影响而导致正确率相

对低于其它车道。

六、模型的评价与改进

优点：

1.本文从实际出发，为保证视频分析的实时性，考虑采用计算量小的方法提

取初始背景，首先采用了多帧图像平均法，得到的结果不能令人满意，接下来对

平均法进行了改进，改进后的平均法既保留了多帧图像平均法计算简单、易实现

视频实时分析的特点，又提高了提取背景的质量，并对两种方法得到的背景进行

了比较，取得了满意的结果。

2.对差值图像进行二值化处理时，采用了OTSU动态自适应阈值分割法得到