电子信息工程前沿讲座与信息检索报告.doc

电子信息工程前沿讲座与文献检索综述报告题 目 智能视频监控系统的目标行为分析（如聚众、打架、入侵等）学 号 班 级 学 生 指导教师 第一部分(20%)第二部分(30%)第三部分(30%)第四部分(20%)报告成绩：指导教师： 2014 年智能视频监控系统的目标行为分析（如聚众、打架、入侵等）摘 要：伴随着网络技术和数字视频技术的飞速发展，监控技术正向着智能化、网络化方向不断前进。监控系统虽功能日益强大，但是普通的监控系统依然需要工作人员不间断地分析监视场景内的活动，日夜值守，工作繁重。基于种种需要，智能监控系统应运而生。智能监控系统能够在不需要人为干预的情况下，利用计算机视觉和视频分析的方法对摄像机拍录的图像序列进行自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而既能完成日常管理，又能在异常情况发生时及时做出反应。关键词：智能视频监控、目标检测、 目标行为分析、实时检测Intelligent video surveillance systemof the target behavior analysis(such as mass, fight, intrusion, etc.)Abstract：Intelligent video surveillance is an emerging application direction in the field of computer vision and frontier topics of concern. Along with the rapid development of network technology and digital video technology, monitoring technology is toward intelligent, networked direction to move forward. Monitoring and control system are increasingly powerful function, but ordinary monitoring system still need to work personnel uninterrupted monitoring activities within the scenario analysis, day and night shifts, work hard. Based on a variety of needs, the intelligent monitoring system arises at the historic moment. Intelligent monitoring system can without human intervention, the method of using computer vision and video analysis to the camera to record the image sequence, automatic analysis of dynamic positioning, target recognition and tracking in the scene, and on the basis of the analysis and judge the behavior of the target, which can not only complete the daily management, but also in abnormal situation occurs to respond in a timely manner.Key Words：Intelligent video surveillance, target detection, behavior analysis,real-time surveillance1 引言1.1智能视频监控系统的产生背景智能视频监控是在传统的视频监控基础上发展起来的。传统的视频监控系统从20世纪90年代初至今已经数十年，其技术发展主要经历了三个时代：第一代：模拟时代；第二代：数字时代；第三代：网络时代。视频监控系统与设备虽然在功能上和性能上得到了极大的提高，但是仍然受到了一些固有因素的限制，从而导致整个系统在安全性和实用性方面仍然没有达到人们期望。具体的制约因素如下1：（1） 人类自身的弱点；（2） 监控时间；（3） 误报和漏报；（4） 数据分析困难；（5） 响应时间长。为了解决上述因素导致视频监控效率低下的问题，人们尝试把计算机视觉中的相关技术引入到视频监控中，从而发展起来了一门新型的视频监控技术智能视频监控。智能视频监控也称自动视频监控，它在视频监控中起着核心的作用，可以有效提高视频监控的效率。同时它也是网络化视频监控领域最前沿的应用模式之一。1.2智能监控系统中的关键问题针对智能监控系统，Ismail Haritaoglu和Davaid Hawrood曾总结了视频监控系统需要解决的问题，即W42问题：（1） 他们是谁？（Who are they?）（2） 他们在干什么？（What are they doing?）（3） 何地？（Where do they act?）（4） 何时？（When do they act?）智能视频监控系统一般都是以运动跟踪为基础，对运动目标进行分类、识别、运动分析、行为理解等，从而得出对场景及目标安全性的判断。目前主要存在以下问题有待解决3：（1） 快速准确的运动检测、跟踪技术及实时、鲁棒的目标分类、识别技术；（2） 基于移动摄像机的视频监控技术；（3） 多摄像机协作监控技术；（4） 运动分析及行为理解技术；（5） 异常事件的检测、报警与未来事件预测技术；（6） 非接触式身份识别技术。本报告将主要侧重于问题（4）的研究内容及研究现状的介绍。2 文献检索过程（1） 利用CNKI中国知网检索参考文献过程检索关键词：智能视频检测，行为分析检索画面如图1所示，检索所得论文见参考文献4。图1 利用CNKI论文检索（2） 利用万方数据检索参考文献检索过程检索关键词：智能视频监控，目标行为分析检索画面如图2所示，检索所得论文见参考文献1。图2 利用万方数据库论文检索（3） 利用IEEE检索参考文献过程检索关键词：real-time surveillance(实时监控)检索画面如图3所示，检索所得论文见参考文献2。图3 利用IEEE数据库论文检索3 检索内容总结3.1行为和行为分析的概念明确行为的概念是展开行为及行为分析研究的前提。“行为”是什么？行为，谓举止行动；指受思想支配而表现出来的外表活动。如：做出动作，发出声音（摘自百度百科）。而在视频监控中，“行为”这一概念应当具有如下特点：（1）行为是动态的，与目标的运动特征之间存在着较强的联系；（2）行为概念一般通过层次结构给出；（3）构成单元可以是图像层的各类特征，也可以是某种低层特征的抽象性表示。从行为的特点上看，行为数据存在低层到高层的层次结构。低层面向的是视频图像级别的特征分析，而高层面向的是提供给用户的语义解释。因此，我们可以将“行为分析”分为两部分：行为表示方法与行为推理方法。行为表示方法回答的是“行为是如何组成的”这类问题，行为推理方法则回答的是“如何求解行为的内容，给出我们希望了解的结果”这类问题，它包括了模式识别方法、行为的语义解释等内容5。3.2智能监控系统的目标行为分析的研究现状从国际国内的研究动态来看，运动目标的检测与行为分析一直受到广泛关注。国际上诸多著名期刊和会议都把它作为关注的重要研究领域。国际上许多著名高校和研究所，如MIT，Carnegic Mellon University, University of Oxford,Osaka University和MERL（Mitsubishi Electric Research Laboratories）等，都专门设立了针对目标检测和跟踪的研究组或者研究实验室。目前，智能视频监控系统已经在商业、军事、公共安全等诸多领域得到了实际的应用。如今，已有诸多智能视频监控系统投入使用，如VSAM(Video Surveillance and Monitoring)、CAVIAR(Context Aware Vision using Imagebased Active Recognition)、 VACE(Video Analysis and Content Extraction)、W4(Who When Where What)等，其中最先进的W4系统甚至可以通过建立外观模型来实现多人的跟踪，检测人是否携带物体等简单行为。在国内，在该领域进行了较为突出的研究的是模式识别国家重点实验室视觉监控研究组。他们的研究范围包括人脸检测与跟踪、交通场景跟踪、多摄像机联合跟踪、异常行为检测等，并取得了一定的成果。此外，其他一些高校和研究所如：中科院光电技术研究所、中科院长春光学精密机械与物理研究所、上海交通大学航空航天信息与控制研究所、西安电子科技大学ISN国家重点实验室图像传输与处理研究所、华中科技大学图像识别与人工智能研究所等机构都对目标跟踪技术进行了相关的研究。在智能监控领域，国内的公司处在刚起步的阶段。其中，在智能监控方面，大华股份做智能交通比较多，海康威视只做了一点客流量统计的。国内的公司做智能识别做的最好的，是汉王科技，被誉为“识别王国”。目前，最新智能视频监控技术已经出现在中国。海内外华人合作组建的全球鹰监控科技(北京)有限公司在中国推出的安防智能视频监控技术系统，其技术充分吸收了背景减除方法、时间差分方法等视频分析编码算法的优点，达到了国际领新水平，可以兼容第一代至第四代的各类模拟监控和数字监控。最新监控技术可以实现无人看守监控；自动分析图像，瞬间能与110、固定电话、手机连接，以声音、闪光、短信、拨叫电话等方式报警，同时对警情拍照和录像，以便调看和处理。由于在实际环境中，光照变化大、目标与背景颜色相似、杂乱背景、目标运动复杂、遮挡等都会增加行人检测与跟踪的设计难度，给相关的研究带来了许多的困难，总结起来有以下几个方面：(1)目标特征的取舍; (2)复杂的背景;(3)遮挡问题;(4)兼顾实时性与鲁棒性。因此不管是在理论环境还是实验室环境或者具体的应用行业中，智能视频监控中的识别和分析都存在很多问题，需要包括各个大学、相关研究机构、公司企业等的有关人员进行持续耐心的研究，以期使得智能监控应用范围扩大，改变目前老式的视频监控仅能实时查看和录像查看的局限性6。3.3智能监控系统的目标行为分析的研究方法运动人体行为分析遵循运动目标检测、行人跟踪和行为识别三大基本步骤,其中运动目标检测是跟踪和行为识别的基础8。3.3.1基于视频的目标检测近年来,国内外许多专家学者对运动目标检测方法开展了研究,但由于视频内容本身的复杂性,目前并不存在一种通用的运动目标检测方法能够对不同内容的视频进行较好的对象分割。在摄像机静止的情况下,运动目标检测方法主要分为三类:(1)时间差分法，又称帧间差分法,即将相邻的视频顿作差获取运动目标; (2)光流法，即将图像序列中具有明显运动的较大面积区域作为前景;(3)背景差分法,即构建背景模型并实时更新,再用当前巾贞图像与构建的背景图像作差检测出运动目标9。背景差分法又称背景减除法, 是运动目标检测中常用的算法，主要适用于摄像头固定的场合，比如交通、公共场所和厂房等环境。其原理是将当前帧与背景图像进行差分来得到运动目标区域。其性能依赖于背景建模的构建,背景图像建模的准确程度直接影响到检测的效果。其优点在于可以从场景中分离出比较完整的运动物体区域，并且可以很好的抑制光线变化等带来的干扰。缺点在于监控场景常常是动态变化的，比如光线变化、树叶晃动、水纹干扰和摄像头震动等，这些干扰因素导致很难建立一个能够适应复杂背景的背景模型10。3.3.2视频监控中的目标跟踪对于所有的目标跟踪算法，需要解决两个关键问题：目标建模和目标定位。目标建模主要是收集目标的视觉特征，根据特征建模，为以后定位目标提供信息。目标定位是一个推理目标参数的过程，根据图像序列，确定目标在图像中的位置、形状参数。3.3.3监控视频中的行为识别正是由于智能视频监控系统中加入了对人体行为的理解，才能使智能安全监控系统真正做到“智能化”。然而，在实际应用中人体行为识别研究目前仍处于起步阶段，很多应用是在受限的条件下实现的，如相对简单的背景、相对于摄像机人的侧面行走等，或者只针对一些特定的运动行为进行识别，如走、跑、跳等。对于人的行为识别而言，目前主要有下述两种方法：（1）模板匹配方法：采用模板匹配技术的行为识别方法首先将图像序列转换为一组静态形状模式,然后在识别过程中和预先存储的行为标本相比较。（2）状态空间方法：基于状态空间模型的方法定义每个静态姿势作为一个状态,这些状态之间通过某种概率联系起来811。4 心得与体会通过该课程的学习，我自认为收获颇多，大概可以总结为以下几点：（1） 对本专业有了更为细致、深刻的了解与认识。（2） 初步学习并掌握了文献检索的相关知识。（3） 看到了很多的机会。（4） 最后一点，好好学习，天天向上，尤其是英语。既然实力不行，我等只能是“师夷长技以制夷”。参考文献1孔晓东，智能视频监控技术研究D，上海交通大学博士学位论文，2008，2-42Haritaoglu I，Harwood D，Davis L，W4：Real-time surveillance of people and their activitiesJ，IEEE Trans Patten Analysis and Machine intelligence，2000，22(8):809-8303Freeman W，Weissman C，Television control by hand gesturesC，In:Proc.of International Conference on Automatic Face and Gesture Recongition，Zurich，Switzerlnad，1995，179-1834崇信毅，基于视频监控数据的人群行为分析D，北京交通大学硕士学位论文，20125梁浩哲，面向智能视频监控的行为分析研究D，国防科学技术大学研究生院博士学位论文，2012，20-246董瑞水，视频监控中的行人检测及行为分析方法研究D，中国海洋大学硕士学位论文，2012，4-77罗士新，智能视频