智能视频监控技术.doc

智能视频监控简介 工程师金兴：2547110899一、 智能视频监控的概念视频监控系统经历了从第一代的模拟系统（VCR），到第二代部分数字化的系统（DVR/NVR），再到第三代完全数字化的系统（网络摄像机和视频服务器）三个阶段的发展演变。在这一过程中，视频监控系统与设备虽然在功能和性能上得到了极大的提高，但是仍然受到了一些固有因素的限制，其中既包含人类作为监控者自身在生理上的弱点，也包含视频监控系统配置和以及视频监控设备在功能和性能上的局限性。这些限制因素使各类视频监控系统均或多或少的存在报警精确度差、误报和漏报现象多、报警响应时间长、录像数据分析困难等缺陷，从而导致整个系统在安全性和实用性的局限。智能视觉监控，是指通过机器来帮助人脑对视频图像进行视觉分析和自动监控，以提高监控有效性的一种技术，是对传统视频监控观念的一种革新。通过智能视觉监控，可以把监控人员从“24小时紧盯屏幕”这种简单低级的重复劳动中解放出来，以便专注于安全事件的事前预防和事中处理等更高级的工作。智能视觉源自计算机视觉（CV，Computer Vision）技术。它能够在图像及图像描述之间建立映射关系，自动的分析和抽取视频源中的关键信息。如果把摄像机看作人的眼睛，而智能视频系统或设备则可以看作人的大脑。智能视频技术借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤掉用户不关心的信息，仅仅为监控者提供有用的关键信息。 智能视觉监控技术让计算机能够认，认出目标的类型或者人的身份；能够看，看目标物体的行为：能够想，想目标物体的行为意味着什么；能够说，把想的结果用特定的形式（声、光报警，语音提示等等）表达出来。W4：(Where？，When？，Who？，What？)二、 智能视觉监控的作用和意义传统视频监控系统固有的局限性 无论是传统的第一代纯模拟视频监控系统，还是第二代、第三代经过部分或完全数字化之后的视频监控系统，都具有一些固有的局限性： 1人类自身的弱点 在很多情况下，人类并非一个可以完全信赖的观察者，无论是在观看实时的视频流还是在观看录像回放的时候，由于自身生理上的弱点（人很难同时关注多路视频中的内容变化，即便是集中观察同一路视频信息，20分钟内将产生视觉疲劳，不由自主地会忽略视频内容），经常无法察觉安全威胁，从而导致漏报（False Negatives）现象的发生。 2监控时间除了一些规模较小的监控应用之外，很少有视频监控系统会按照1:1的比例为监控摄像机配置监视器。这意味着对于那些机场、港湾等大型的视频监控系统来讲，各个监控点并非每时每刻都处于监控当中。 3误报和漏报 误报（False-Positive）和漏报（False-Negative）是视频监视系统中最常见的两大问题。漏报指的是在监控点发生安全威胁时，该威胁没有被监控系统或安全人员发现。误报指的是位于监控点的安全活动被误认为是安全威胁，从而产生错误的报警。 4数据分析困难 报警发生后对录像数据进行分析通常是安全人员必须要做的工作之一，而误报和漏报现象则进一步加剧了对数据分析的需求。安全人员经常被要求找出与报警事件相关的录像资料，找到肇事者、确定事故责任或评估该事件的安全威胁。 由于传统视频监控系统缺乏智能因素，录像数据无法被有效的分类存储，最多只能打上时间标签，因此数据分析工作变得及其耗时，并且很难获得全部的相关信息，而经常发生的误报现象使无用数据进一步增加，从给数据分析工作带来更大的难度。 5响应时间长 对于安全威胁的响应速度关系到一个安全系统的整体性能。传统的视频监控系统通常都由安全工作人员对安全威胁作出响应和处理，这对于处理一般性的、实时响应要求较低的安全威胁来说已经足够。但是很多情况下，在威胁发生时，需要安全系统的多个功能部分，甚至多个安全相关的部门在最短的时间内协调配合，共同处理危机。这时候，监控系统的响应速度将直接关系到用户的人身或财产的损失情况。智能视觉对视频监控系统的价值提升n 24x7全天候可靠监控：弥补人的生理局限，始终出于警戒状态，等待一个动作的触发来启动报警和录像，彻底改变以往完全由安全工作人员对监控画面进行监视和分析的模式，通过嵌入在前端设备（网络摄像机或视频服务器）中的智能视频模块对所监控的画面进行不间断分析。n 提高报警精确度：前端设备（网络摄像机和视频服务器）集成强大的图像处理能力，并运行高级智能算法，使用户可以更加精确的定义安全威胁的特征，有效降低误报和漏报现象，减少无用数据量。n 提高响应速度：识别可疑活动（例如有人在公共场所遗留了可疑物体，或者有人在敏感区域停留的时间过长），在安全威胁发生之前就能够提示安全人员关注相关监控画面以提前做好准备，还可以使用户更加确切的定义在特定的安全威胁出现时应当采取的动作，并由监控系统本身来确保危机处理步骤能够按照预定的计划精确执行，有效防止在混乱中由于人为因素而造成的延误。n 信息融合：智能视频将原始视频数据变成可操作的信息。监控系统提供的智能信息可支持更高层的决策系统或决策者在紧急情况下作出高质量的决策。n 有效扩展视频资源的用途：将视频资源应用到非安全领域，如利用商场大堂的监视系统自动识别VIP用户的特征，并通知客服人员及时做好服务工作；发现人群中有人不慎跌倒时，及时通知附近的商场工作人员提供帮助。此外，智能视频系统还可以帮助零售店的老板统计当天光顾的客户数量，用以分析销售情况等等。三、 智能视觉监控的关键技术1. 概述新一代的智能视觉监控技术涉及图像处理、图像分析、机器视觉、模式识别、人工智能等众多研究领域，是一个跨学科的综合问题，也是一个极具挑战性的前沿课题。图1给出了一个典型的视觉监控系统的基本工作流程。摄像机获取视频序列后，首先通过图像恢复或超分辨率复原技术提高图像质量，然后对场景中的目标进行检测、分类和跟踪，进而实现视频内容的分析理解，包括场景中的异常检测、人的身份识别以及视频内容的理解描述等。2. 目标检测目标的实时检测处于视觉监控技术的最底层，是各种后续处理如目标分类、行为分析理解的基础。人们希望设计能适用于各种监控环境，不受光照、天气等外界因素影响的目标检测(object detection)算法。但这种算法难免复杂度大，现有一些算法大多是针对某一类问题提出的，主要包括背景减法、相邻帧差法和光流法等 。3. 目标分类目标分类(object classification)的两个关键问题是特征量的提取和分类器的构造。用于目标分类的特征主要包括空问特征和时问特征。空间特征是与单帧图像里的目标相关的一些特征，如目标的形状、大小、位置等。时问特征与跟踪过程相联系，如目标大小的变化、运动的速度等。分类器的设计方面，常用的分类器有贝叶斯分类器，人工神经网络分类器 以及新兴的支撑向量机(SVM) 分类器等。其中，支撑向量机及各种改进算法，因其在小样本分类方面的优势，得到了广泛的关注。4. 目标跟踪运动目标的跟踪过程，就是依据目标及其所处的环境，选择能够唯一表示目标的特征，并在后续帧中搜索与该特征最匹配的目标位置的过程。它不仅是目标运动分析和场景分析的主要数据来源，也为目标的检测和识别提供帮助。目前关于目标跟踪(object tracking)的算法有很多，各种算法的根本区别在于选择何种特征对目标进行描述以及采用何种搜索匹配算法。这里介绍几种常用的目标跟踪算法，包括基于特征的方法、基于3维模型的方法、基于活动轮廓模型的方法等。5. 视频内容分析视频内容的分析是在完成运动目标的检测、分类和跟踪后，对其内容的智能化分析和理解，并做出相应的判断。它处于智能监控技术的高级阶段，是真正实现监控智能化的关键。实际应用中，视频内内容分析包括异常检测(abnormal detection)、人的身份识别以及视频内容理解描述等几个方面。51 异常检测异常情况实际上是一个相对概念，并没有一般的定义形式。典型的异常情况主要有 ：(1)用户定义的异常情况，包括 场景目标是否运动及其运动特性。如博物馆中监控文物的移动；机场长时间未被移动的行李物品等。 异常目标。如机场跑道出现的除飞机以外的目标。 异常行为。如停车场、车站等公共场合的可疑行为等。(2)非常规事件，即与特定场合的常规事件有显著区别的事件。如交通监控系统遵循“车辆走公路，行人走人行道”的规则，若检测到不符合该规则的事件均可被认为是非常规事件。目前异常事件的检测方法主要可分为基于模型的方法和基于分类器的方法两种。基于模型的方法强调对异常事件的检测而非分类，它对正常(异常)事件建立相应的统计模型，通过判断待检测事件是否符合该模型确定其是否为正常事件。该方法特别适合于其中一类样本不易获取的情况，只对易获取的一类样本建模，根据新的样本是否属于该类别确定检测结果。事件的建模是算法的关键，常用的模型有隐马尔可夫模型和混合高斯模型(GMM)等。基于分类器的方法强调对场景中事件的分类，通过构建合理的分类器，实现对正常和异常事件的区分。如Wu等人 采用支撑向量机分类器，实现了人群中奔跑、弯腰、招手等动作的有效检测。Tony等人 采用基于人工神经网络的方法，对停车场中人的可疑行为进行检测。52 人的身份识别人通常是监控场景的主体，人的身份识别(person recognition)对于场景内容的理解具有非常重要的意义。特别是在安全敏感场合(如银行、机场等)，非接触式远距离的身份识别技术备受关注，人脸和步态被认为是可供利用的两个重要特征 。人脸识别技术涉及人脸的检测、跟踪、特征提取和识别等4个方面。53 视频内容理解描述视频内容的理解描述是指在对序列进行低级处理(目标检测、跟踪)的基础上，进一步对场景中的事件进行分析和识别，并用自然语言等加以描述。其中最典型的是对场景中的运动目标特别是人的行为的理解和描述。其实现过程首先是一个时变特征数据的分类过程：将未知测试序列的相关特征与一组预先存储的典型行为参考序列进行匹配，以确定其所属的类别；并在此基础上应用自然语言的概念，选择恰当的词语或短句对行为进行描述。由于自然语言中，关于动作、事件和状态的描述有丰富的概念，现有的研究尚处于探索阶段，主要是针对某种特定应用场合中特定行为的描述。视频内容理解和描述本质上是一个人工智能问题，如何借助先进的视觉算法和人工智能等领域的成果，将现有的简单行为识别和语义理解推广到更为复杂场景下的自然语言描述，建立能够不断积累知识、丰富经验、具有自主学习能力的系统将是该领域的主要发展方向。四、 智能视觉监控优势和局限功能上不可否认，智能视频的功能强大了，但是这些强大的功能到目前为止，恰恰没有被人们所认可。如智能视频在大区域监视上，提供了普通安防系统所没有的传感器技术。要想监视大区域，我们要么采用激光雷达、地面雷达、被动红外传感器，要们就得实际安装很多的对射装置，这在安装成本或可操作性上都有问题。所以说，如果我们讨论大区域监视，如军事基地、核电站等开放式区域上，当前的这些智能视频技术是特别适合的。大家其实从各个厂家宣传的资料中也可以看出，如ioimage说自己入围以色列边防项目，objectvideo大量应用在军事基地、大桥监视等。当然，除了监视区域大，很多厂家都大力推崇所谓的自动化监视，节省人力成本，其实在中国，安防项目都没有那么大。另外考虑中国的人力资源成本，也不一定划算。智能视频还有统计人数的功能，这就主要是零售行业需要，在此不展开。像徘徊、禁行等功能，在安防项目，实用性很小，用在停车场会顶点事。我们总不能为了用这个技术而把围墙推翻，大楼随便可以进入吧。虽然还有人吹嘘智能视频能够识别打架、跌倒、人群密集、捡包、看包、涂鸦等功能，但是实用性是非常有限的。所以，按照惯性思维，我们看到智能视频的用途还是周界防范，谈到革命性，它是要革红外对射、激光对射、微波对射等传统传感器技术的命，他是要用另外一种传感器技术替代现有传感器技术，功能实现上还是监视是否有人翻越了围墙，在这点上讲，应该说没有突破性的功能革命。价格上价格绝对是当前智能视频技术厂商不愿意探讨的题目，即便探讨，他们也是抱着国外人工成本高的思路来探讨，尤其是往往用自己的代理商价格和传统传感器的终端用户价格比较。应该说，入门价格是智能视频的痛中之痛；持续的售后优化服务所导致的不可预见成本是智能视频技术应用的隐形杀手！使用便捷性智能视频技术作为科学家的“玩意”，是只可远观不可亵玩焉！智能视频不同于传统的传感器技术，我们传统的传感器讲究的是活生生的感觉，具有数学性、逻辑性、可重复性。而智能视频是虚拟传感器，他给出的结论不一定是真实的。例如，只要有东西穿过红外对射，肯定会报警，虽然有可能是人、动物、树叶，但绝对是个真实的遮挡。但是对于智能视频来讲，一个乌云阴影、树荫、闪光就可能导致报警，要想防止这些误报，那就需要复杂的调试，这种调试没有捷径可言，就得需要长时间的尝试，设置-误报-优化-误报-优化，无穷无尽，天气变化了，季节变化了，都有可能导致误报，这都需要专业人员的优化。显然，便捷性并没有体现出来。所以说，当前的智能视频技术还处于一