基于视频图像序列的抛洒物检测毕业设计

东北石油大学本科生毕业设计（论文）1基于视频图像序列的抛洒物检测 第 1 章 概述1.1 论文研究背景如今，中国高速公路里程已达 7.4 万公里，居世界第二位 1。随着高速公路、城市公路通行量的不断增加，交通事故所带来的安全隐患也所之增加，在众多危害安全的事故中交通事故是当前最为严重的，而中国交通局对近 10 年交通事故官方统计显示，世界上因交通事故死亡人数最多的国家中，中国位列前三之中。至今中国每年交通事故约 50 万起，每年的事故死亡人数均已达到 10 万人以上，已经连续十年居世界第一。而今，随着我国经济的不断发展，交通需求的不断增长，高速公路和隧道已成为经济社会发展的重要助推器。然而，高速公路在给人们带来巨大的经济效益和社会效益的同时，各类交通事故也明显增加，尤其是各类恶性重大事故频发，据不完全统计，2005 年底每万公里死亡 1823 人，死亡人数以每年近 20%的比率递增。由于高速公路和隧道具有车流量大、行车速度高等特点，一旦发生交通事故将会非常严重，不仅一次事故殃及的车辆多、伤亡率高，还会造成严重的交通阻塞和行车延误，而且还可能会引起二次事故的发生，严重影响高速公路和隧道的整体通行能力和运营效率。而高速公路里程长，交通事件自身又有很强的随机性，如何快速检测交通事件，最大限度地减少交通事件的发生和影响，一直是国际交通领域所关注的问题。城市中大货车货运过程中抛洒物事件已经严重危害交通安全，成为造成交通事故的主要原因之一，其带来的安全隐患是我们急需重视及解决的问题。因过往车辆上的抛洒物、坠落物引发的交通事故不仅给通行车辆和司乘人员造成了生命财产损失，影响了道路的通畅，而且给高速公路运营管理单位带来了经济损失和诉讼纠纷，损害了高速公路的社会形象。每天通过车辆数以千万计，路面上抛洒物、坠落物随时随地可能出现 2。尽管高速公路管理单位已安排保洁工路面巡查，养排中心专职巡查，交警路政也在巡查，但仍不可能做到在时间上、空间上的无缝覆盖。而这些抛洒物、坠落物很有可能随时引发交通事故，给过往司机旅客造成财产甚至生命的损失，给高速公路经营管理带来经济上、法律上的纠纷和后果。如何及时准确的检测到抛洒物事件的发生，高效率的检测路面上产生的抛洒物，并且及时清理避免造成交通事故已经成为国内外交通部门关注的热点问题。东北石油大学本科生毕业设计（论文）21.2 国内外研究现状目前，我国大部分的公路监控控制中心应用的视频图像检测系统均依赖于人工对事件进行检测，其功能更接近于一套“监视”系统而非自动“检测”系统 3。但是由于人员和技术上的问题，其方法操作起来具有局限性及效率低等问题，无法满足路面安全检测对实时性的要求，不过人工检测确实可以作为综合事件检测手段。西方的一些发达国家已经研发并实施了一些基于视频图像检测的算法，缓解了愈加严重的由抛洒物引发的交通安全隐患，如加利福尼亚算法、贝叶斯算法、基于视频图像序列的抛洒物检测低通滤波算法、交通流模型算法、视频检测算法、人工神经网络算法等。现场实验表明，这些算法可以有效的检测产生的抛洒物，及时的避免二次交通事故，减少人工检测需要投入的资源，并提高检测的效率，对抛洒物的检测有重要的意义。就抛洒物事件而言，目前有许多算法来检测抛洒物事件的发生。Elena Stringa、Carlo S. Regazzoni 等人研制了一个系统，该系统可以检测在一段时间内场景的永久改变，并可以识别这种改变是由抛洒物引起的还是其他原因引起的 4。这些系统关注基于内容检索的能力，诸如颜色、纹理、语义学等，以便提取感兴趣区域内导致报警的原因的信息。这个系统可以自动检测出触发报警的遗留物体的序列。M.Spengler，B.schiele 等人综合了跟踪和监视系统以检测抛洒物事件的发生，包括两个级联的模块：贝叶斯多目标跟踪模块和目标检测监视模块。M.D.Beynon，D.J.Van Hook 等人提出一个多摄像机视频监视系统来自动检测抛洒物事件。每个抛洒物的拥有者都会被检测和跟踪，采用距离和时间参数，多摄像机用于重叠区域监视以适应多种不同的情况。上述这些抛洒物检测方法多用于室内有人遗留或者偷窃物体的场景，用于抛洒物交通事件的检测的并不多。国内人工检测技术的应用，除了电话报警之外，一些公路还布设了一定数量的视频远程监控系统，也有很多公路配备了交通巡逻车和事件检测车(Probe Vehicle)。国内首次接触交通事件视频检测器是在二十一世纪初，当时的事件视频检测器的空白是由国外产品所填补的。应国内道路发展所需，国外大多是将用于交通数据采集的视频检测器根据中国特殊的交通状况进行改进，使其具备基本交通事件检测功能，但由于图像质量、软件更新、产品维护等诸多方面严重受滞，从而导致视频检测器自身有无法弥补的诸多缺陷。如沪宁高速采用的是比利时 Traficon 公司的核心技术。而这些视频检测器多采用视频虚拟线圈技术，即通过在视频图像的车道上设置虚拟检测器，当车辆通过虚拟检测器时，就会产生检测信号，再经过处理和计算得到所需的交通数据。这种方法只能检测到车辆拥堵、停车等基本事件，无法检测抛洒物事件的发生。后来，国内许东北石油大学本科生毕业设计（论文）3多大中型企业也开始涉足交通事件视频检测器领域，但也大多未打破固有的技术模式。如今，我国已有了具有自主知识产权的技术。比如 2006 年由北京宇航时代科技发展有限公司研发的“时代一号”道路交通事件视频检测系统己实现抛洒物、隧道烟雾火焰、路面突发异常等多项事件检测的功能 5。然而，由于我国涉足交通事件检测起步较晚，时间尚短，目前市场还有些混乱，在目前的服务水平下，检测效果也未必理想，其实际应用效果还有待检验，可能还存在很多问题。很多高速公路、隧道路段采用的依旧是国外的解决方案，特别是有关抛洒物事件的检测，仍是一个有待解决的问题。东北石油大学本科生毕业设计（论文）4第 2 章 开发工具简介2.1 OpenCV 简介OpenCV 是一个开源的计算机视觉库，全名 Open Source Computer Vision Library，是 Intel 开源计算机视觉库。采用 C/C+语言编写，可以运行在Linux/Windows/Mac 等操作系统上。OpenCV 还提供了Python、Ruby、MATLAB 以及其他语言的接口。 OpenCV 的设计目标是执行速度尽量快，主要关注实时应用。因它采用优化的 C 代码编写，能够充分利用多核处理器的优势。OpenCV 的一个目标是构建一个简单易用的计算机视觉框架，以帮助开发人员更便捷地设计更复杂的计算机视觉相关应用程序。OpenCV 包含的函数有 500 多个，覆盖了计算机视觉的许多应用领域，如工厂产品检测、医学成像、信息安全、用户界面、摄像机标定、立体视觉和机器人等。因为计算机视觉和机器学习密切相关，所以OpenCV 还提供了 MLL(Machine Learning Library)机器学习库。该机器学习库侧重于统计方面的模式识别和聚类(Clustering)。MLL 除了用在视觉相关的任务中，还可以方便地应用于其他的机器学习场合。本系统在分析国内外抛洒物检测基础上，着重研究基于视频图像序列的抛洒物事件检测。采用 OpenCV 开源计算机视觉库对视频图像序列进行处理。它实现了图像处理和计算机视觉方面的很多通用算法。其重要特性有：1. OPenCV 拥有包括 300 多个 C 函数的跨平台的中、高层 API。它不依赖于其它的外部库尽管也可以使用某些外部库。2. OpenCV 对非商业应用和商业应用都是免费(FREE)的。3. OpenCV 为 Intel Integrated Performance Primitives(IPP)提供了透明接口。这意味着如果有为特定处理器优化的 IPP 库，OpenCV 将在运行时自动加载这些库。本系统采用 OpenCV 1.0 版本，主要包含 CxCore、机器学习、CvAux、Cv 、 HighGUI 五个类别的功能。其中主要包括：1. 基本函数。如基础结构定义了 OpenCV 中所用的数据结构，包括点、矩形、图像信息、图像矩阵数组等；数组操作实现数组元素的访问、修改、变换和置换、算逻比较、及一些离散变换如 DCT 变换等；动态结构实现一些内存操作，序列、树、图等结构的操作；数据保存和运行时类型信息，如文件的读写等、错误处理等。2. 图像处理和计算机视觉功能。图像处理，如直方图、梯度边缘角点、采样差值几何变换、腐蚀膨胀、色彩空间变换等；结构分析，如轮廓处理、平面东北石油大学本科生毕业设计（论文）5划分等；运动分析与对象跟踪，如一些运动模版、对象跟踪算法如 Kalman。3. 机器学习。如 Boosting、NormalBayes 分类器、K 近邻算法、决策树等常用的机器学习算法等。4. 绘图函数。用于在视频中绘制一些点线面或者文字等。5. 用户交互，其他三维函数及系统函数等。OpenCV 是目前世界上最好的开源图像及视觉软件包之一，这一点已经被广泛认同，由于其开源软件的特性，任何开发人员都可以利用其开发自己的图像或者视觉应用，对于中小型的视觉项目，它是比较好的选择，开发人员可以在其基础之上做出功能更为强大的系统。虽然 Matlab 也是目前世界上最强大的图像算法处理软件工具之一，可应用于图像处理计算及仿真领域，其编程快速，实现简单，但是其代码效率低，执行速度慢，编写的应用大多用于仿真，难以脱离 Matlab 平台和商业化。而 OpenCV 不仅开源，函数功能丰富，而且方便快捷，平台无关，可在 Windows 系统、Linux 系统、MacOSx 系统等操作平台上使用，与其他编程工具相结合，是二次开发的理想工具。大多数计算机科学家和程序员已经意识到计算机视觉的重要作用，但是很少有人知道计算机视觉的所有应用 6。例如，大多数人或多或少地知道计算机视觉可用在监控方面，也知道视觉被越来越多地用在网络图像和视频方面。少数人也了解计算机视觉在游戏界面方面的应用。但是很少有人了解大多数航空和街道地图图像( 如 Google 的 Street View)也大量使用计算机定标和图像拼接技术。一些人知道安全监控、无人飞行器或生物医学分析等方面的应用，但是很少人知道机器视觉是多么广泛地被用在工厂中：差不多所有的大规模制造的产品都在流水线上的某个环节上自动使用视觉检测。 OpenCV 所有的开放源代码协议允许你使用 OpenCV 的全部代码或者OpenCV 的部分代码生成商业产品。使用了 OpenCV 后，你不必对公众开放自己的源代码或改善后的算法。许多公司(IBM，Microsoft ，Intel ， SONY，Siemens 和 Google 等其他公司) 和研究单位 (例如斯坦福大学、MIT 、 CMU、剑桥大学和 INRIA) 中的人都广泛使用OpenCV，其部分原因是 OpenCV 采用了这个宽松的协议。OpenCV 在全世界广受欢迎，在中国、日本、俄罗斯、欧洲和以色列都有庞大的用户群。自从 OpenCV 在 1999 年 1 月发布 alpha 版本开始，它就被广泛用在许多应用领域、产品和研究成果中。相关应用包括卫星地图和电子地图的拼接，扫描图像的对齐，医学图像去噪(消噪或滤波)，图像中的物体分析，安全和入侵检测系统，自动监视和安全系统，制造业中的产品质量检测系统，摄像机标定，军事应用，无人飞行器，无人汽车和无人水下机器人。将视觉识别技术用在声谱图上，OpenCV 可以进行声音和音乐识别。在斯坦福大学的 Stanley 机器人项目中，OpenCV 是其视觉系统的关键部分。Stanley 在 DARPA 机器人沙漠挑战赛中，赢得了二百万美元奖金。东北石油大学本科生毕业设计（论文）6计算机视觉是将来自静止图像或视频的数据转换成一个决策或者一种新的表达方式的过程，所有的这些转换都是为了达到某个目标。输入数据可以包含一些辅助信息，如“摄像机架在汽车上”或“激光扫描仪在 1 米处发现一个物体” 。最终的决策可能是“场景中有一个人”或“在这个切片中有 14 个肿瘤细胞” 。一种新的表达方式可以是将一张彩色照片转为灰度照片，或者从图像序列中去除摄像机晃动影响。 因为人类是视觉动物，所以会误以为可以很容易地实现计算机视觉。当人类凝视图像时，我们凭直觉会觉得很容易从中找到一辆汽车。人脑将视觉信号划分入很多个通道，将各种不同的信息输入大脑。大脑有一个关注系统，会根据任务识别出图像的重要部分，并做重点分析，而其他部分则分析得较少。在人类视觉流中存在大量的反馈，但是目前我们对之了解甚少。肌肉控制的传感器以及其他所有传感器的输入信息之间存在广泛的关联，这使得大脑可以依赖从出生以来所学到的信息。大脑中的反馈在信息处理的各个阶段都存在，在传感器硬件( 眼睛 )中也存在。在眼睛中通过反馈来调节通过瞳孔的进光量，以及调节视网膜表面上的接收单元。在计算机视觉系统中，计算机接接收到的是来自摄像机或者磁盘文件的一个数值矩阵。一般来说，没有内置的模式识别系统，没有自动控制的对焦和光圈，没有多年来经验的积累。视觉系统通常很低级。实际上，计算机视觉问题比前面我们提到的更糟糕，它是不可解的。给出三维世界的二维视图，是没有固定方法来重建出三维信息的。在理论上，此类病态问题没有惟一和确定的解。即使数据很完美，同一张二维图像也可以表示多种三维场景。然而，如前面提到的，数据会被噪声和形变影响。这些影响来自真实世界的变化(天气、光线、反射、运动)，镜头和机械结构的不完美，传感器上的长时间感应(运动模糊)，传感器上和其他电子器件上的电子噪声，以及图像采集后的图像压缩引入的变化。设计实际系统时，为了克服视觉传感器的限制，通常会使用一些其他的上下文知识。例如，移动机器人在室内寻找并捡起订书机。机器人可以利用这个先验知识：可在办公室内发现桌子，订书机最可能在桌子上被找到。这给出了一个隐含的尺寸参考或参照，也就是订书机能够放在桌子上。这也可以用于消除在不可能的地方(例如在天花板或者窗户上) 错误识别出订书机的可能性。机器人也完全可以忽略一个 200 英尺大小的跟订书机形状类似的广告飞艇，因为飞艇周围没有桌子的木纹背景。与之相反，在图像检索中，数据库中的所有订书机图像都是对真正的订书机拍摄的，而且尺寸很大和形状不规划的订书机图像一般不可能被拍到。也就是拍摄者一般只拍摄真正的、普通大小的订书机图像。而且人们拍照时一般会将被拍物体置于中心，且将物体放在最能表现其特征的方向上。因此在由人拍摄的图像中，具有相当多的隐含信息。我们也可以使用机器学习技术对上下文信息进行显式建模。隐含的变量(例东北石油大学本科生毕业设计（论文）7如物体大小、重力方向及其他变量) 都可以通过标记好的训练数据里的数值来校正。或者，也可以通过其他的传感器来测量隐含的变量。使用激光扫描仪可以精确测量出一个物体的大小。计算机视觉面临的另一个难题是噪声问题。我们一般使用统计的方法来克服噪声。例如，一般来说不可能通过比较一个点和它紧密相邻的点来检测图像里的边缘。但是如果观察一个局部区域的统计特征，边缘检测会变得容易些。由局部区域卷积的响应连成的点串，构成边缘。另外可以通过时间维度上的统计来抑制噪声。还有一些其他的技术，可以从数据中学习显式模型，来解决噪声和畸变问题。例如镜头畸变，可以通过学习一个简单多项式模型的参数来描述这种畸变，然后可以几乎完全校正这种畸变。2.2 C+简介C+是一种使用非常广泛的计算机程序设计语言。它是一种静态数据类型检查的，支持多范型的通用程序设计语言。C+支持过程化程序设计、数据抽象化、面向对象程序设计、泛型程序设计、基于原则设计等多种程序设计风格。贝尔实验室的比雅尼斯特劳斯特鲁普博士在 20 世纪 80 年代发明并实现了C+。起初，这种语言被称作“C with Classes”(“ 包含类型的 C 语言”) ，作为C 语言的增强版出现。C+进一步扩充和完善了 C 语言，成为一种面向对象的程序设计语言。C+目前流行的编译器最新版本是 Borland C+4.5，Symantec C+6.1，和 Microsoft VisualC+ 2012。C+提出了一些更为深入的概念，它所支持的这些面向对象的概念容易将问题空间直接地映射到程序空间，为程序员提供了一种与传统结构程序设计不同的思维方式和编程方法。因而也增加了整个语言的复杂性，掌握起来有一定难度。但是，C 是 C+的基础，C+语言和 C 语言在很多方面是兼容的。因此，掌握了 C 语言，再进一步学习 C+就能以一种熟悉的语法来学习面向对象的语言，从而达到事半功倍的目的。随后，C+不断增加新特性。虚函数(virtual function)、操作符重载(operator overloading)、多重继承(multiple inheritance)、模板(template)、异常处理(exception)、RTTI(Runtime type information)、命名空间(namespace)逐渐纳入标准。1998 年，国际标准组织 (ISO)颁布了 C+程序设计语言的第一个国际标准 ISO/IEC 14882：1998，目前最新标准为 ISO/IEC 14882：2011。另外，就目前学习 C+而言，可以认为它是一门独立的语言；它并不依赖 C 语言，我们可以完全不学 C 语言，而直接学习 C+。根据C+编程思想(Thinking in C+)一书所评述的，C+ 与 C 的效率往往相差在5%之间。所以有部分人( 谁？) 认为在大多数场合(哪些？) 中， C+完全可以取代 C 语言。C+语言发展大概可以分为三个阶段：第一阶段从 80 年代到 1995 年。这一阶段 C+语言基本上是传统类型上的面向对象语言，并且凭借着接近 C 语言东北石油大学本科生毕业设计（论文）8的效率，在工业界使用的开发语言中占据了相当大份额；第二阶段从 1995 年到2000 年，这一阶段由于标准模板库(STL)和后来的 Boost 等程序库的出现，泛型程序设计在 C+中占据了越来越多的比重性。当然，同时由于 Java、C#等语言的出现和硬件价格的大规模下降，C+受到了一定的冲击；第三阶段从 2000 年至今，由于以 Loki、MPL 等程序库为代表的产生式编程和模板元编程的出现，C+出现了发展历史上又一个新的高峰，这些新技术的出现以及和原有技术的融合，使 C+已经成为当今主流程序设计语言中最复杂的一员。东北石油大学本科生毕业设计（论文）9第 3 章 基于视频图像序列的抛洒物检测系统设计3.1 抛洒物问题分析首先，研究抛洒物视频检测的必要性。抛洒物事件引发的交通事故，不仅在经济上造成重大损失，而且往往也会造成重大人员伤亡。因此，研究公路抛洒物事件的检测是很有现实意义的。 其次，公路抛洒物视频检测的可行性。本系统从技术与经济两方面来分析其可行性。 在技术方面抛洒物一般描述为，在监控视频中，从运动目标上分离，逐渐静止到场景中，并融入背景的物体。在公路上的抛洒物是从车辆目标上分离的，且抛洒物一般较小(与车辆相比)。也就是说，抛洒物具有以下特征，从运动的车辆目标上分离，其外形特征与车辆目标差别很大，运动一段时间后，静止到场景中。那么，分析到此，已经基本可以断定公路抛洒物的检测是可行的了。第一，从公路监控视频中，检测出目标，包括车辆目标和抛洒物(在运动阶段的时候) ，这一点没有问题；第二，从目标中，分离出车辆目标，根据上面分析的抛洒物与车辆目标在特征上有较大差异，所以，这一点用分类器可以做到；第三，从除去车辆目标的剩余目标中区分出抛洒物，这一点可以根据其静止的特征，将此问题转换成静态前景物的检测。第一、二两点，可行性毋庸质疑，接下来，讨论第三点的可行性。经过第二步区分出车辆目标之后，剩余目标均为可疑目标了，根据抛洒物的静止特征，用静态前景物的检测方法，将其检测出来，另外，目前很多用于遗留物体检测和滞留与偷窃物检测等算法均属静态前景物检测算法范畴，至此，可以说第三点也是可行的。综合上述分析，通过公路监控视频对抛洒物检测，在技术方面是可行的。 在经济方面，基于监控视频的抛洒物检测，可以利用公路原有的视频监控设备，并能提高和改善传统的、落后的人工视频监控的状况，提高设备的利用价值，对提前预防交通隐患，保障公路高效安全运行有着十分重要的意义，因此，在经济方面也是可行的。 此外，通过上面的分析，公路抛洒物检测尽管是可行的，但是，依然面临很多问题。第一，监控环境属于室外环境，复杂多变，场景在一天中随时间的变化而变化(光线变化) ，并受季节和天气(阴、晴、雾等)的影响，抛洒物的检测最终要使用静态前景物检测算法，这类算法大都需要基于一张可靠、真实的背景，因此，如何在这复杂多变的场景下提取具有较强鲁棒性的背景，是本系统面临的第一个问题；第二，在如此复杂多变的监控场景下，如何准确、完整地东北石油大学本科生毕业设计（论文）10检测到目标，特别是目标与背景在灰度上接近的情况下，因此，获得一个适合公路监控场景的目标检