视频内容分析在智能交通监控系统中的应用

1、视频内容分析在智能交通监控系统中的应用摘要：视频检测技术在智能交通方面的应用，代表着道路交通检测技术的一种新的发展趋势。本文提出了一种高性能、多功能的道路交通视频检测方法，采用背景消除、多目标跟踪、定制检测虚拟线等手段来检测和处理在道路多车道上的车辆通行情况，并及时统计和分析道路交通的状况，为智能交通提供基本信息；运用动态图像理解技术分析道路上的车辆事故、车辆违章等事件，为交通管理提供了一种有效、灵活、性价比高的道路交通监控手段。关键词：智能交通，道路视频监控，视频内容分析1引言嵌入式计算、无线通信和传感器技术的迅速发展和结合，使人们能几乎是无所不在地采集、传输和存储道路视音频数据。如果对这些

2、海量的视频数据能进行及时准确的分析和理解，就能实时获取交通基本数据，对交通拥堵和交通事故进行预测，在智能交通领域发挥重要作用。但是目前对各种交通事件和异常情况的视频监控主要还是依靠人工判断，使得这些数据难以得到充分的利用。因此基于动态图像理解的智能交通监控技术开发高效的系统已经成为目前计算机视觉领域极富有挑战性的科学问题之一。当前，交通信息检测的方式主要有磁频车辆检测、波频车辆检测和视频车辆检测三种。磁频车辆检测如环形线圈检测器需要安装特定的装置，也许首次的投资少，但维护费用大且麻烦；波频车辆检测则容易受到干扰；而视频检测作为交通参数采集的一个新的检测方式，它与其他的车辆检测方式相比具有以下的

3、优点：(1)检测手段完备；(2)检测区域较大；(3)安装无需接触公路实体。随着计算机软硬件技术和图像处理、人工智能、模式识别等技术不断发展，视频检测的实时性和正确率已达到了较满意的程度，被认为是最有发展前途的检测方式之一，目前受到交通经营、管理部门和研究人员越来越密切关注1-2。2论文概述2.1研究结果本文利用视频图像处理的方式对道路的情况进行视频监控，通过动态图像的理解获取道路基本信息，包括交通流量、车辆速度以及占有率等重要交通流数据；此外通过图像高级语义来分析车辆的违规行为，如超速、占用车道及逆向行驶；在线检测车道上的异常情况，如交通堵塞、交通事故的发生。实验结果表明，本文所开发的系统具有

4、准确性高、实时性好的特点。2.2相关的国内外研究状况在智能交通视频检测方面由于有诸多优点，近年来已成为国内外学者关注的热点3,4,5,6。目前绝大多数的研究方式都是先进行视频采集，然后对视频文件进行处理和分析，然后把结果进行显示，或者传输给其他处理分析程序使用或者存储以备下次处理分析使用。而动态图像理解属于人工智能学科中一个非常重要的分支。人工智能是模仿人类思维行为的一门学科，那么是否可以将人类的思维方式应用到我们的视频检测中去呢?Mubarak Shah等学者在国际计算机视觉权威杂志“International Journal of Computer Vision”期刊上撰文7指出：21世纪

5、的计算机视觉研究将从今天的静态图像研究转向动态图像序列分析或者说是动态图像理解。对动态视频监控主要的目标任务是实现监控对象的行为进行语义化描述，即被专家学者们称之为“逆好莱坞问题”(Inverse Hollywood problem)12。Kojima等学者8指出：要在动态图像语义鸿沟之间用架桥的方式(bridge a semantic gap)来解决“逆好莱坞问题”。动态图像序列的语义理解是智能视觉监控的关键理论和方法，是实现智能交通的重要途径，国内外许多学者发表了各个领域中的研究成果5,6。2.3系统的理论架构从以上研究成果中，可以知道世界各国学者们把注意力集中在现存的、比较容易采集到的动

6、态视频图像理解方面，因此大多数的论文都是集中在道路车辆的监控、智能安保等领域。本文中提出了一个对所关心的对象的行为、事件及情景等通过高级语义进行描述的系统理论构架，并通过该框架来解析道路视频监控一些问题。动态图像理解问题从高层语义的角度来看可以认为是解释一个情景语义问题，以人的思考方式来说，人们从视频图像中首先关心是获取关心的对象信息，然后通过解析获取所关心对象的状态或者事件信息，最后通过对其一个个状态或者事件信息进行分析和抽象得到我们所需要的理解结果。本文的目的也是希望机器也能具备与人的思考方式一样管理着道路交通以及交通安全与调度。其中关键问题是如何将对象跟状态或者事件进行关联，再将状态或者

7、事件跟对象行为语义进行关联，最后对视频情景作出语义解释。本文根据“解决逆好莱坞问题”的视频处理思路将图像的语义分为：底层特征层、对象层和概念层；将图像理解和处理中分为四个阶段，分别是：视觉感知处理、概念化处理、形式化处理和行为语义处理，在这个四个阶段处理研究中所获得的一些方法我们就称为中间件，分别是基础中间件、应用中间件、面向高层中间件和情景动作规则中间件，如图1所示。除以上三部分以外，还有很重要的一部分即为层与层之间的语义关联算法，这也是我们要重点研究的一部分。2.3.1底层特征层底层特征层主要涉及到基于对象的一些基本属性，如颜色、形状、纹理和空间关系等。在这个层面上的知识和信息获取手段属于

8、低级视觉感知处理，本文中将实现各种视觉感知处理的一些算法归属于基础中间件。2.3.2对象层从图l中可以看出对象层处在底层特征层与概念层之间，起到承上启下的作用，因此在不同层次之间或者层内之间必须建立语义映射关系。在对象层中我们关心的有对象(Object)和事件(Event)两类。对象又可以分为可以看作是静态对象的场景对象和可以看作是动态对象的前景对象，而事件(Event)则是对象之间发生了新的动态联系。如本文所关心的静态对象是道路，活动对象是车和交通信号灯，利用相关关联模型我们就可以得到在某帧图像中诸如车辆处于哪条车道上，车辆现在的所处的位置等等事件或者状态。这个层面上需要经过概念化和形式化两

9、个处理步骤，前者主要的任务是要识别出所关心的前景对象，并从底层特征层所得到的属性与前景对象进行关联；后者主要的任务是获取该对象的一些事件或者状态，为提取所关心对象的行为语义作好准备。前景对象的事件或者状态必须通过动态过程才能展现出来，因此在前者与后者之间必须建立一种动态关联。在这个层次上，本文中将概念化处理的各种算法归属于应用中间件；将形式化处理的各种算法归属于面向高层应用的中间件。底层特征层颜色、形状、纹理、区域对象层对象与对象之间的关系概念层对象的行为语义基础中间件分割变化区域应用中间件识别对象面向高层的应用中间件提取对象语义情景动作规则提取对象行为语义视觉感知处理概念化处理形式化处理行为

10、语义化处理图1 系统理论结构2.3.3概念层概念层主要解决图像通过道路场景、车辆行为等所表达的意义。这个层的知识和信息获取手段属于行为语义化处理。在这个层面上是采用一些用于提取对象行为语义的情景动作规则中间件来实现的。通过上述的划分，主要目的是能通过中间件的方式来实现开发高效的视频监控系统，容易的跨越语义鸿沟。3统理论构架中各分层设计3.1系统底层特征层的分析与描述本文研究的是道路上的视频监控，场景对象是道路，前景对象是车辆。因此首先要在底层特征层将道路背景中把前景车辆分离出来。在这一层中文本所用到的基础中间件主要由自适应背景消减、阴影抑制和连通区域标识三个部分组成，其处理顺序图如图2所示：自

11、适应背景消减阴影抑制连通区域标识图2 基础中间件处理过程1）自适应背景消减对于非运动的视频传感器。背景建模是解决实时分割动态目标的有效方法。我们采用的是基于混合高斯分布模型的自适应背景消除算法，它的基本思想是：使用混合高斯分布模型来表征图像帧中每一个像素点的特征：当获得新的图像帧时，更新混合高斯分布模型；在每一个时间段上选择混合高斯分布模型的子集束表征当前的背景：如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点9。2）阴影抑制由于运动对象之间的遮挡和光照的不均匀等原因，经常产生阴影现象。这样通过背景消减所得到的前景目标区域中含有很大部分阴影区域，为运动对象

12、的正确分割和提取造成严重的影响。在彩色颜色模型空间中，任何颜色部可由YCrCb表示。阴影和道路的区别在于颜色分量CrCb相同(相近)，亮度分量Y较小。我们可以先学习道路的颜色分量CrCb和亮度分量Y，当碰到前景点时，我们判断该点的颜色分量CrCb是否和道路相近，亮度分量Y是否比道路低。这样就可以判断出是否属于阴影。3）连通区域标识连通区域标识的方法很多，本文中采用的是八连通区域提取算法。另外连通区域标识受初始数据中的噪声影响很大，一般需要先进行去噪处理，去噪处理可以通过形态学运算实现，本文中利用腐蚀和膨胀算予分别去除孤立的噪声前景点和填补目标区域的小孔通过这种目标分割算法既能保持目标的完整性同

13、时也避免了噪声前景点的影响，还保留了目标的边缘细节部分。经过以上三步我们就可以从静态的车道背景中将动态的前景车辆分割出来，并且可以得到基于对象的一些初始信息，如对象的火小和形状等等。3.2系统对象层的分析与描述对象层主要考虑的是图像中的对象、对象的活动时间序列及空间刈题、相关事件。要正确、快速的理解某一个对象的语义，知道该前景对象所处的情景(场景的语义)对用机器来理解图像非常有利。情景的内容包括：关心的前景对象，干扰对象和场景对象。在这一层我们要首先在概念化处理阶段得到对象，然后在形式化处理阶段束获取研究对象的一些状态和事件信息，以提供给概念层进行情景规则动作计算使用。3.2.1概念化处理阶段

14、概念化处理阶段是获取对象的阶段，就是在基础中间件获得的动态前景区域基础上，分离出我们关心的研究对象。在本系统中，我们要研究的对象有两个，一个是场景对象车道，一个是前景对象车辆。对于车辆对象获取，关系到底层特征层与对象层的关联。我们知道，在底层特征层中我们获取了动态前景对象的大小、颜色、形状等信息，那么如何通过这些信息，将得到的动态前景区域跟我们所研究的车辆对象关联起来呢?由于本文中关心的活动对象是车辆，那么就可以从动态前景区域的大小来判断其是否为车辆。具体作法是设定一个闽值，如果连通区域的外接矩形的面积在这个闽值范围内的连通区域，我们就判定其为车辆，否则判定为否，这样我们就得到了我们要关心的对

15、象了，实现底层特征层与对象层的关联。3.2.2形式化处理阶段在这个阶段，我们要实现对象与事件的关联，即要描述对象正在处于一个什么事件或者状态之中，这里要关心的对象分为车道对象和车辆对象两部分。车道对象：对于车道对象，在这一层中我们主要关心的是车道的流量和车道占有率两个状态：1)车道流量要获取一个车道的车流量是一个动态图像序列的理解问题，我们在对每辆车进行跟踪的同时，当它第一次进行车道的第区域时，我们就依其所处的车道ID号来统计对应车道的车流量。2)车道占有率车道占有率有空间占有率和时间占有率之分，在本文中我们着重关心空间占有率的计算，空间占有率即指在观测路段长度内，行驶车辆总长度占该路段长度的

16、比例称为空间占有率，即可以用公式(1)进行计算： (1)式中，为第辆车的长度；为观测路段长度。根据公式(1)，我们可以将在跟踪队列中的车辆对象，根据车道RoadWayNo来确定其是否在该车道，如果是就将其长度加入到车辆总长度上去，车辆长度可根据外接矩形的高度来获取，然后除以车道长度即可获得空间占有率。车辆对象：在本文中我们所关心的对象车辆，我们可以使用以下一个对象来描述其特征：Car(CarlD，RoadwayNo，StartPositionStartTime，EndPosition，EndTime，CarType)。在车道第1区域我们要获得CarID和RoadwayNo；在车道第区域我们要获

17、得StartTime和StartPosition：在车道第区域我们要获得EndTime和EndPosition。通过这三个区域数据的获得就可以得到某个车辆对象Car的完整信息，直接用于后续的相关情景计算。这里关键问题是要在对象与事件之间建立种动态的关联，就是处理动态图像序列上对象的一致性，而这个动态的关联需要由跟踪算法来完成。通过前面基础中间件和应用中间件的处理，已经获得当前摄像装置监控区域中的所关心运动对象、对象目标的大小和位置信息。接着通过跟踪算法对所关心的对象进行实时跟踪。本文中采用基于目标颜色特征跟踪算法，该算法是对MEANSHIFT算法10的进一步改进。与MEANSHIFT算法只能处

18、理静态分布相比，基于目标颜色特征跟踪算法需要处理动态变化的分布。而原有的目标颜色特征跟踪算法，CamShift算法11，在图像跟踪方面需要人工干预，即要通过人为的选定跟踪对象的外接矩形(对象的颜色特征)才能实现对目标对象的跟踪。由于上述的基础中间件和应用中间件处理中可以得到的车辆目标对象的方位以及大小，然后将处理结果提交给目标颜色特征跟踪算法，以实现自动跟踪。3.3系统概念层分析与描述通过系统对象层，当一辆车最后出现在第区域时我们可以得到一个完整车辆对象信息：Car(CarID，RoadwayNo，StartPosition，StartTime，EndPosition，EndTime，CarT

19、ype)。所以在概念层的可以对车辆的情景问题进行分析，将对象的状态或者事件与对象的行为语义相关联起来，来得到我们所关心的情景。下面我们主要来介绍在概念层中如何将上述的状态与具体的情景行为语义进行关联。3.3.1车辆行驶速度以及超速在现实中是没有直接获得速度的机器，要判断某一辆车是否发生超速行为，首先我们要计算出该车辆的速度。一般可以根据公式(2)进行计算： （2）式中，是车辆的速度；是车辆在某一时间内行驶的距离；是车辆经过某一段距离所花费的时间；为测量终点，对应于车辆对象信息中的EndPosition；为测量始点，对应于车辆对象信息中的StartPosition；为测量终了时间，对应于车辆对象

20、信息中的EndTime；为测量起始时间，对应于车辆对象信息中的StartTime。从车辆速度这个行为语义这个角度来看，与其相关联的车辆状态或者事件即为我们在对象层中所提到的车辆对象在车道的第区域和第区域所关心的两个事件。根据这两个车辆事件信息我们知道，要计算某一辆车的速度，就像是解这样的一道计算题：一辆汽车在公路上行驶，在StartTime的时间它处在StartPosition；而在EndTime时它处在EndPosition，问汽车的速度是多少?那么我们只要计算这两个距离间隔长度与时间间隔的商就可以根据公式(2)计算得到车辆的速度。关于车辆超速这个违规行为，只要设定一个速度阈值，如果车辆的速

21、度超过了这个阈值，则可判定为超速。对于判定为超速车辆，系统自动记录视频的全过程，同时通知另一台摄像装置对该违章车辆的车牌部位进行抓拍，然后通过图像识别技术对其车牌号码识别，将识别结果与刚才所记录的视频图像自动打包保存，并发送给有关部门进行处理。3.3.2拥塞城市快速道路拥挤度的判别是与路段的行驶速度、车辆密度、实际交通量与最大服务交通量之比等3个交通指标密切有关的13。根据这一定义，我们知道，车道拥塞这个车道对象的行为语义是与行驶速度、车辆密度、实际交通量与最大服务交通量之比这三个对象状态或者事件相关联的。行驶速度我们通过上面超速部分所提到的算法可以获得，而车辆密度也就是车道的车道占有率，实际

22、交通量为车道的车流量，这两个值我们在对象层车道对象的研究中已经获得，另外最大服务交通量是先验知识，可以向有关部门获得。得到以上基本交通数据后，根据有关部门定制的拥塞等级来发布车道的拥塞情况，及时采取相应的措施来控制拥塞的发生，疏导道路的车辆流向以保证交通流畅。3.3.3违章占道停车、车辆故障、交通事故、违章变道、逆向行驶、违反标志标线等对于违章占道停车、车辆故障、交通事故、违章变道、逆向行驶等情况检测，在计算机视觉中都可以认为是一种道路的异常事件。发生这种异常事件的主体是车辆，判断异常事件的依据是车辆与道路的关系是否符合道路交通法规。这些违规行为我们都可以在对象层中对底层特征层信息的关联将其检

23、测出来。4实验结果及讨论在底层特征层处理中，本文采用自适应背景消减和阴影抑制方法，得到了前景对象的二值图；在对象层处理中，首先对前景对象的连通区域面积阈值进行判断，如果判断结果是车辆就对视频图上的该区域进行标识一个矩形框；然后对进入车道第区域的所有车辆添加一个对象信息，即CarID、RoadwayNo和CarType，并将该车辆跟踪对象(矩形框)信息提交给目标颜色特征跟踪算法进行跟踪处理；实验表明，对每辆进入车道第区域的车辆在后续的第区域及第区域的视频图像中都能实现良好的跟踪效果。在概念层中，主要针对进入车道第m区域的车辆进行计算处理，由于这时每辆车的基信息：Car(CarID，Roadway

24、No，StartPosition，StartTime，EndPosition,EndTime，CarType)已经全部得到，我们就可以根据这些基本数据实现对高层语义的描述。如果我们对高速公路上行驶的车辆速度进行限制，如定为15米秒，那么如果检测到的车辆超过该速度的话就将该车的外接矩形颜色设为红色，表示该车辆超速。虽然本文中在各层中实现的各种中间件都能嵌入到其他应用系统中去，为了验证各种算法正确性以及处理效果，我们设计了系统定制界面以及视频监控检测结果显示界面。在速度和车型的在线视频检测方面，根据底层特征层及概念层处理的结果实时地将通过检测区域的车辆速度以及通过的大型车和小型车的数量，其中显示的

25、速度为最新一辆检测出速度的车的速度；在道路车流量统计方面，可以统计总的车流量也可以统计分车道的分流量；此外本文中设计了每个车道的占有率曲线图，通过该车道占有率曲线可以一目了然地把握目前道路上的车流量，在线的展示每个车道上的占有率。由于每经过检测区域的车辆都会产生一个记录Car(CarID，RoadwayNo，StartPosition，Start Time，EndPositon，EndTime，CarType)，根据这些基本数据可以满足各种智能交通系统的需要。5结束语综上所述，视频交通信息聚集技术有很多优点，拍摄区域广，可获得一个区域交通图像信息，可对交通状况做出更全面了解与把握，测量信息更准

26、确：本文提出的交通检测算法不但能同时检测和处理在道路上多车道的车辆通行情况，统计和分析道路交通的状况，为智能交通提供基本信息，同时也能用于检测道路上的车辆事故、车辆违章等，为交通管理提供了一种有效、灵活、性价比高的道路交通监控手段。此外，本文提出了通过使用行为语义描述的理论构架来研究道路检测的方法，将图像语义划分底层特征层、对象层和概念层三层，来进行图像的理解，圆满地解释了许多交通拥堵和交通事故等事件，为实现区域交通状态的评价、预报和预警，建立区域交通系统状态的集成应用系统提供了新的解决方案。通过基础中间件、应用中间件、面向高层中间件和情景动作规则中间件来实现相关层次之问的关联，为快捷、方便地

27、跨越语义鸿沟，高效的开发各种智能视频监控系统提供了一种新的思路。参考文献1王伟,李志鹏,刘允才.交通信息实时视频检测系统的实现.微型电脑应用.2006.22(9)25282 】曹江中,蜮青西,谭志标,邸磊.基于视频的高速公路车辆检测和跟踪算法J计算机虚用，2006,26(2):496-5003 Harini Veeraraghavan, Nathaniel Bird, Stefan Atev and Nikolaos Papanikolopoulos. Classifiers for driver activity monitoring. Transportation Research Part C: Emerging Technologies.2007.4 Leone A, Distante C. Shadow detection for moving objects based on texture analysis. Third International Conference on Information Technology and Applications Sydney. SW,Australia,2005: 1222-1233.5 王伟,李志