人体异常行为识别在智能监控系统中的研究与实现

摘要 摘要 随着近年来银行、电力、交通、安检以及军事设施等领域对安全防范和实时监控系统的需求与日俱增，视频监控得到了迅速的发展和广泛的应用，该领域的智能化研究也引起了越来越多的研究机构和学者的关注。本文在运动目标检测，阴影抑制和运动目标跟踪的研究基础上，深入研究了人体行为识别技术的在系统中的实现。 在运动目标检测方面，本文提出一种基于高斯混合模型的改进方法用于目标提取，降低外界因素的干扰，提高了目标检测的准确率。最后提出采取基于提高运动目标检测的准确性。 在运动目标跟踪方面，本文以目标的质心、宽、高和运动速度作为基本特征，获得运动目标位置信息后，将其作为运动目标的位置进行预测，并匹配跟踪。 在异常行为识别方面，本文采用状态空间法，将人体运动动作分解成以时间为线索的图像序列，建立标准行为库。然后利用隐马尔可夫模型对运动人体的行为进行识别。 经过智能视频监控系统的实现和对人体异常行为识别功能模块的实验， 既证实了文中算法具有很强可靠性，也证明了行为识别功能具有很高的准确率。 关键词：智能视频监控 运动目标检测 阴影抑制 运动目标跟踪 人体异常行为识别 n in as is in on of a of of in on of On of we an on of of At we a on SV to On of we of of as of is we it as we of On of is in is an on we of a of we in is of in . 目 录 目录 第一章 绪论 . 1 究背景及意义 . 1 内外研究现状 . 2 文研究的主要内容 . 4 文结构安排 . 5 第二章 运动目标检测分割技术概述 . 7 动图像的预处理 . 7 值滤波 . 7 值滤波 . 8 适应维纳滤波器 . 8 学形态学噪声滤波器 . 9 动目标的检测方法综述 . 9 流法 . 10 间差分法 . 10 景减除法 . 11 . 12 值法背景更新 . 12 . 13 于高斯混合模型的运动目标检测 . 13 斯混合模型 . 14 进的高斯混合模型 . 15 影检测与抑制 . 16 于阈值的检测方法 . 16 于阴影色彩不变性的检测方法 . 17 于颜色空间变换的阴影抑制 . 17 章小结 . 19 第三章 运动目标分类与跟踪 . 21 动目标分类 . 21 用的运动目标分类方法 . 21 于形状特征的简单运动目标分类 . 24 人体异常行为识别在智能监控系统中的研究与实现 动目标跟踪概述 . 25 于模型的跟踪方法 . 26 于特征的跟踪方法 . 27 于区域的跟踪方法 . 27 于轮廓的跟踪方法 . 28 于卡尔曼滤波的运动目标跟踪 . 28 尔曼滤波的跟踪原理 . 28 尔曼滤波的实现 . 30 章小结 . 31 第四章 运动人体目标行为分析 . 33 动目标行为识别的一般方法 . 33 板匹配方法 . 33 态空间方法 . 33 标轮廓特征提取 . 34 马尔科夫模型 . 35 尔科夫链 . 35 马尔科夫模型（. 36 马尔科夫模型的基本算法 . 37 马尔科夫模型在人体行为识别中的应用 . 40 章小结 . 42 第五章 系统设计及实验结果 . 43 统设计与实现 . 43 统体系结构图 . 43 统功能模块 . 44 统开发平台及界面 . 45 验结果及分析 . 48 章小结 . 50 第六章 总结与展望 . 51 . 51 . 51 致 谢 . 53 参考文献 . 55 第一章 绪论 1 第一章 绪论 基于计算机视觉的运动人体检测、跟踪和行为识别是近年来十分活跃的一个研究领域。随着社会的急速发展，人的流动量加剧膨胀，人们的安全意识也逐步提升，实时监控系统也越来越普及。智能视频监控系统利用计算机视觉技术，对视频序列中的运动目标检测、分割、识别、分类，并进行行为分析判断。可以有效应用于银行、商店、停车场、通管理等对安全要求较高的场合，具有很高的准确度，可以协助甚至代替监控人员完成监控任务。 智能视频监控系统中的人体行为识别属于人体运动分析中的高级处理部分，它对包含运动目标的视频序列进行目标检测、目标提取、目标分类跟踪，最终对其中运动人体目标的行为进行理解和识别。 本课题来源于广东省教育部产学研结合专项资金项目“网络化智能监控系统研究” (助课题，结合课题需求，设计并实现了网络化视频监控系统，系统包括区域警戒、行为识别、物品安全检测、滞留物检测、目标跟踪、行人计数等功能。 究背景及意义 当今社会，视频监控已经深入到每个人的日常生活中。商场、银行、校园、广场里随处可见各式各样的监控设备。据新闻媒体统计英国有4200万台闭路电视摄像头， ，中国的监控设备虽然没有像英国那样普遍，但近年来也在快速的普及，目前，北京公共图像监控摄像头数量已达40余万个，主要交通道路、大中型商场、水电气热、金融等重点要害部位已100%普及了技术防控设施2。视频监控仅靠采集信息已不能满足要求，如何有效的对信息进行分析，将大量无关紧要的信息剔除，使有用信息能够直接呈现给用户，是目前视频系统的发展方向。但是由于技术的限制，视频监控仍然需要大量的监控人员在后台对传送回来的画面或者录下的录影带进行分析，消耗大量的人力物力。同时由于监控人员长期监视会产生视觉疲劳，很容易遗漏下来一些安全隐患。所以对视频监控智能化的呼声越来越高。目前世界各国政府机构和学者密切关注新一代的监控技术智能视觉监控技术。它和以往的监控技术有本质的区别，其主要特征是采用计算机视觉3的方法，计算机视觉是一门研究如何使机机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像4。智能视频监控就是计算机视觉技术的一个具体应用领域，智能视频监控是在人为轻微干预甚至零干预的情况下，采用计算机视觉技术和图像分析的方法人体异常行为识别在智能监控系统中的研究与实现 2 对摄像机实时传送的图像序列进行自动分析，从而实现对动态场景中的运动目标定位、跟踪与识别，并在此基础上理解和判断运动目标的行为，既能满足日常管理的要求又能在异常情况发生时向安保人员准确及时地发出警报信息，从而避免犯罪事件的发生，同时也减少了雇佣大批监控人员所需的人力、物力和财力投入。一般将智能视频监控技术的处理过程划分为三个阶段：第一阶段是从视频图像中提取出运动目标；第二阶段主要对检测得到的相关运动目标进行跟踪；第三阶段为智能分析阶段，包括一些具体的智能分析功能，如行为分析和行人计数等具体应用。 智能视频监控系统中的异常行为识别的需求主要来自那些对安全要求敏感的场合，如银行、商场、停车场等。 1. 银行：银行一直是安全事故的高发场所，这些安全事故不但对人的财产安全造成严重的侵害，同时也严重威胁银行工作人员和客户的人身安全。像2011年12月1日下午发生在武汉市洪山区雄楚大街1070号建设银行一网点门前人行道上，突然发生爆炸，造成过路民众2人死亡、15人受伤5。经初步调查，爆炸系由门前堆放的不明物体引发，监控录像中显示的犯罪嫌犯，一直在银行门前徘徊。如果能对监控中的运动目标的异常行为分析并及时发出报警的话，也许可以避免这场惨案的发生。 2. 大型商场：现在的大型商场的几乎都是靠视频监控来保障商场内商品的安全。但是对监控视频的分析还是靠安保人员，而商场每天的人员流动量非常巨大。安保人员不可避免的会产生疲劳，从而造成的商品的失窃。智能视频监控中对商场中目标的异常行为分析可以很好的解决这一问题。 除了上述两种介绍到的应用外，运动目标异常行为分析在其他诸如地铁站、机场、军事领域也有很好的发展和应用前景，因此，它的研究有很大的现实意义和应用价值。 内外研究现状 现代社会是一个人口密集、高度复杂的社会，人类的活动范围越来越大，面临的突发事件和异常事件越来越复杂，监控的重要性也越来越突出。实时监控被广泛的应用于各种场合，例如交通场景，如十字路口、高速公路、停车场、飞机场等；军事场景和国家重要安全部门，如军事基地、银行；敏感的公共场合，如天安门、火车站。于是实时监控的智能化就具有广泛的应用前景和潜在的经济价值，因而激发了世界上广大科研工作者及相关商家的浓厚兴趣，尤其是在欧美等发达国家已经展开了大量相关项目的研究。同时，它也成为许多国际学术会议关注的重要主题，国内外一些计算机视觉权威期刊如一章 绪论 3 重要的学术会议如都将智能监控系统的相关技术作为主题内容之一。 最早对人体运动行为进行分析的是心理学家，在1973年他对人体运动行为感知进行实验。实验中，他在人体的关节点上附着亮点，然后把人置于黑暗的环境中，通过做不同的动作来产生运动序列。人体关节点处因附着有亮点而可见。通过实验结果表明，人的视觉感知系统对静态的光点集合无法得到任何有意义的信息，但对运动中产生的光点集合的序列，人们却可以很容易地分辨出运动的形态如走路、跑步等，甚至可以判断出运动者的性别。在1997年，美国国防高级研究项目署( 设立了以卡内基梅隆大学(首、麻省理工学院(高校参与的视觉监控重大项目7，主要研究用于战场及普通民用场景进行监控的自动视频理解技术；实时视觉监控系统不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人是否携带物体等简单行为6。在2000年，助重大项目at a 它的任务就是开发多模式的监控技术以实现远距离情况下人的检测、分类和识别，从而增强国防民用等场合免受恐怖袭击的保护能力。2005年，美国中央佛罗里达大学计算机视觉实验室开发出了系统用于无人机对低空航拍视频图像中目标检测与跟踪处理8。该系统基于对视频图像序列，通过背景运动补偿、运动目标检测与目标跟踪三个技术环节，完成对运动目标的检测与跟踪，并且该系统可以对图像中多种运动目标进行可靠性检测并进行持续跟踪。取得巨大的经济效益。比如市仅4个月，销量已经突破了1000万部，此外，像头起到了很大的作用，它负责捕捉人肢体的动作，然后微软的工程师就可以设计程序教它如何去识别、记忆、分析处理这些动作。 国内的一些研究机构和大学也在这一领域进行了一些研究，例如，中国科学院计算所研究的“数字化三维人体运动的计算机仿真与分析技术” “基于视频分析技术”和“三维人体运动仿真技术的定量辅助分析系统”。主要应用在国家跳水队的运动训练上，同时设有一个专门的虚拟人实验室，研究从人体建模、人体跟踪到衣服模拟等等。浙江大学主要方向是人体动画方向，替代传统运动捕捉设备，从视频流提取出动画信息。微软亚洲研究院多媒体研究用于高级人机交互。例如，通过对手势语言的理解，还可以进行聋人与计算机之间的手语交流9。 经分别多个国家多人体异常行为识别在智能监控系统中的研究与实现 4 次召开。国内中国科学院自动化研究所的模式识别国家重点实验室于2002年在北京成功的举办了“第一届全国智能视频监控会议”，2003年底又举办了“第二届全国智能视频监控会议”，对图像序列分析、目标检测、跟踪与识别、高层语义理解、系统构建与集成、网络环境下的视频监控等内容进行了多方面探讨。 目前智能视频监控技术研究虽然取得了巨大的成果，但是应对一些复杂场景仍然准确度不高，不能达到理想的效果。有时计算代价过大，现有的硬件性能无法支持，往往需要在计算代价和运动识别的准确度之间进行折中。故仍需要寻找和开发新的技术以提高行为识别性能的同时，又能有效地降低计算的复杂度。另外，如何借助于先进的视觉算法和人工智能等领域的成果，将现有的简单的行为识别与语义理解推广到更为复杂场景下的自然语言描述，是将计算机视觉低、中层次的处理推向高层抽象思维的关键问题。 文研究的主要内容 本文主要是对智能视频监控系统中的人体行为识别进行研究，并在运动目标检测，跟踪和人体行为识别技术的基础上，设计并实现了智能监控系统中的人体行为识别功能模块。主要研究工作有以下几点： 1. 运动目标检测分割 本文比较分析了时间差分法，背景减除法和光流法的原理和性能。而对与动态场景中背景变化问题，本文采用高斯混合背景模型来实现自适应的背景更新，并对高斯混合模型进行改进，取得了理想的效果。 2. 运动目标跟踪 本文在运动目标检测分类的基础，对检测出来的感兴趣目标进行跟踪，以目标的质心、宽、高和运动速度作为基本特征，获得运动目标位置信息后，将其作为运动目标的位置进行预测，得到跟踪对象的搜索范围，根据运动检测的结果，对搜索范围内的多个目标，利用代价函数对目标进行匹配，并根据运动目标匹配后的结果对3. 运动人体行为识别 本文将标准动作，如行走、慢跑，对这些标准行为的一个周期用一组连续的图像序列表示，并且对每一帧的图像进行预处理，提取出需要的灰度轮廓，将这一组图片加入到我们建立的图像库中。用隐马尔科夫模型对观测序列进行识别。经过试验表明，对于一些异常行为（比如跳，蹲，打斗等）系统能够很好的自动识别并且报警。 第一章 绪论 5 文结构安排 本文的结构安排如下： 第一章 着重阐述课题的来源，研究背景和意义，介绍了在智能视频监控领域国内研究现状，最后概述了本文的主要研究内容和结构安排。 第二章 首先阐述了常用的图像预处理技术，以去除图像中的噪声。然后比较分析了时间差分法，背景减除法和光流法的原理和性能，并提出采用高斯混合背景模型进行背景的自适应更新。最后介绍几种阴影抑制算法，综合决定采用采用第三章 对目前常用的目标分类方法进行了介绍，并基于简单的形状特征实现了对运动目标的分类。实现利用卡尔曼滤波进行单目标和多目标的跟踪。 第四章 首先说明了常用的人体行为识别技术，然后着重介绍了隐马尔科夫模型的原理，并实现第五章 设计并实现了智能视频监控系统的行为识别功能，并对此功能模块进行了试验分析。 第六章 总结本文的工作，指出研究中的不足之处和今后的研究方向。 人体异常行为识别在智能监控系统中的研究与实现 6 第二章 运动目标检测分割技术概述 7 第二章 运动目标检测分割技术概述 运动图像处理分析主要是针对包含运动目标的图像序列进行分析处理，包括对图像中运动目标的检测、分割、提取、分析、识别等。运动目标的检测是从视频序列中检测并提取与背景存在相对运动的前景。运动目标分割是将运动检测得到的二值化图像划分出一些可能包含我们感兴趣运动目标的区域，然后可以对这些区域进行描述，提取出这些目标区域图像的特征，判断图像中是否有感兴趣的运动目标。运动目标的检测与分割为后期的运动目标分类、跟踪和行为判定奠定了基础，关系到整个系统的优劣和实用性。 动图像的预处理 图像是由不同的检测设备和系统对自然界以不同方式观测记录下来的，图像中不可避免会有一定的噪声，这些噪声可以在传输过程中产生，也可能在量化处理过程中产生10。噪声可以理解为“妨碍人们感觉器官对所接受的信息理解的因素”。在进行运动目标检测之前，需要对图像进行相应的增强预处理，去除噪声的干扰，提高分割图像的像质。以下分析近年来图像噪声处理领域比较有代表性的处理方法。 值滤波 均值滤波也被称为线性滤波，其所采用的主要方法为邻域平均法。线性滤波的基本原理为用各个像素的邻域均值代替原来的像素值，即对待处理的当前像素点（x，y），选取一个模板，此模板由其近邻的若干像素点构成，求取模板中所有像素的平均值，然后把该平均值赋予当前像素点（x，y），作为处理后图像在在该像素点上的灰度g（x，y），即g（x，y）=1/m f（x，y），其中 值滤波主要是平滑图像的作用，有的图像的锐度很高，用这样的均值算法，可以把锐度降低，使得图像看上去更加自然。但该方法只是简单把像素点与周围其他各点的像素进行求和取平均值作为该点的像素值，并没有考虑到相邻像素点之间的空间相关性，所以在去噪的过程中很容易造成将非噪声点也过滤掉的现象。因此，考虑到像素点之间空间相关性，可以对邻域模板法进行改进，根据待处理像素点与周围邻域内的各像素点之间不同位的置关系加入相应权重。 人体异常行为识别在智能监控系统中的研究与实现 8 值滤波 中值滤波是一种常见的非线性滤波，其基本原理是把数字图像或数字序列中一点的值用该点一个邻域中各点值的中间值替换。其主要功能是消除孤立的噪声点，所以中值滤波对滤除图像中的椒盐噪声十分有效10 ，在灰度值变化比较小的情况下可以得到很好的平滑处理，可以很好的保留图像的边缘。 设一个一维序列，窗口长度为m(对该一维序列采用中值滤波处理，即从输入序列中依次抽取.中，1=后对这取其序号为中间的那个数值作为滤波输出，数学公式的表示如下： ,. +21= 式(2 如有一个输入序列如下所示： 0009000232023203220322000666654321000 式(2 9为一脉冲噪声，2320和3220为振荡，000666为一个阶跃跳变，543210为一斜坡，对该序列进行中值滤波处理，借此消除脉冲噪声，平滑振荡，同时能保存阶跃跳变以及斜坡。采用一个长度为3的窗口来进行中值滤波，则其输出序列如下所示： 0000000222222222222222200666654321000 式(2 从输出结果可见，中值滤波在消除脉冲噪声、平滑振荡的同时保留了阶跃和斜坡。 中值滤波器可以做到即去除噪声又能保护图像的边缘，从而获得较满意的复原效果，而且，在实际运算过程中不需要图像的统计特性，这也带来了不少方便，但对一些细节多，特别是点、线、尖顶细节较多的图像不宜采用中值滤波的方法。 适应维纳滤波器 维纳滤波器（数学家维纳（出的，是一种以最小平方为最优准则的线性滤波器。在一定的约束条件下，其输出与一个给定函数（通常也称为期望输出）的差的平方达到最小。维纳滤波器又称最小二乘滤波器或最小平方滤波器，是目前基本的滤波方法之一。自适应维纳滤波器能够根据图像的局部方差来调整滤波器的输出，局部方差越大，滤波器的平滑作用就越第二章 运动目标检测分割技术概述 9 强，它的最终目标是恢复图像f(x,y)与原始图像f(x,y)的均方误差(f(x,y)x,y)2最小，该方法的滤波效果要比均值滤波器好，对保留图像边缘与其他高频部分效果很好，但是其所涉及的计算量较大。 学形态学噪声滤波器 数学形态学是用集合论的方法定量描述目标几何结构的学科，它在几何代数的基础上通过物体和结构元素的相互作用的某些运算来得到物体更本质的形态。其基本思想和方法对图像处理的理论和技术产生的重大的影响，已成为数字图像处理的一个主要研究领域。二值图像的数学形态算法以腐蚀和膨胀这膨胀这两种基本运算为基础，引出了其他几种常用的数学形态学运算，最常见的又开运算、闭运算、击中击不中变换、细化等。 (1) 腐蚀 集合示为定义为：: AB cB c +，其中， 称为结构元素。 果将是在将模板平移的过程中，蚀为表示采用某种结构元素对某一图像进行探测，以便探测出图像内部中可以放下该基元的区域。它是一种消除边界点，使得边界向内部收缩的过程，可以用来消除小且无意义的物体11。 (2) 膨胀 我们以- 是集合可以表示为其定义为： ( ) B = 。 为利用结构元素得到- B，再利用蚀结果的补集即为所求结果。与腐蚀相反，膨胀将物体所接触的所有背景点合并到该物体中去，使其边界向外扩展，若两个物体间的距离比较近，则膨胀运算可能会把两个物体连通到一起，膨胀对填补图像分割后物体中的空洞很有用。 动目标的检测方法综述 智能视频监控系统中人体识别的首要阶段就是运动目标的检测，运动目标检测效果的好坏直接关系到运动目标跟踪及后续的目标行为识别，即其关系到整个系统的优劣和实用性。运动目标检测就是从运动图像中把感兴趣的运动区域检测出来，以便后续对于运动目标的分类、跟踪和运动分析。高效准确的运动区域检测使得以后的处理过程仅仅考虑图像中对应的运动区域的 像素。但是，实际应用人体异常行为识别在智能监控系统中的研究与实现 10 中要达到这样的要求是十分困难的，因为实际应用中不但要考虑到算法能尽量适用于多种环境，而且还要从算法的复杂度、可靠性、及实时性等诸多方面折中考虑。目前，最常用的运动目标检测方法是光流法、时间差分法和背景减除法。 流法 光流法的关键任务是计算光流场，也就是在适当的平滑性条件约束下，依据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。光流法的基本原理是为处理图像中的每一个像素点赋予一个速度矢量，使目标的运动能够用运动场来描述，在空间中的某个特定时刻，二维运动图像上的一点对应于三维运动目标上的一点，利用投影的方式获得对应关系，然后再依据各像素点的速度矢量特征，对运动图像进行动态分析。如果在图像中没有运动目标，那么光流矢量在整个图像区域将是连续变化的，所以当运动目标所形成的速度矢量与背景的速度矢量不同时，就可以得知目标与图像背景存在着相对运动，从而检测出运动目标的位置。总体来说，光流法并不需要预先获得场景的任何信息，就可以检测到运动目标，可以处理背景运动的场景，但多光源、噪声、阴影与遮挡等因素会对光流场分布的计算结果造成比较严重的影响，而且光流法计算较为复杂，很难进行实时处理，所以很少会使用到。 间差分法 时间差分方法14 又称为帧差法，是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并阈值化来提取图像中的前景区域的方法。其原理是定义第 )kf )kf 间的偏差为(, )kD 1(, ) | (, ) (, )|k xy f xy f 式(2 然后确定一个阈值据 )kD 后按照这个二值图像可确定前景运动区域、背景区域。二章 运动目标检测分割技术概述 11 时间差分运动能够快速地从背景中检测出运动目标，对动态环境具有较强的自适应性，但对于低对比度灰度图像序列，由于相邻两帧的差的范围很小，使用时间差分方法来确定前景和背景，阈值很难确定。当人体某些区域灰度值变化较为平坦时，时间差分方法可能会导致在二值图像中产生空洞现象。且运动目标的运动速度越大，连续两帧间运动目标的相交部分就越少(甚至交集为空)，对于快速运动的人体的肢体末端很可能会产生上述现象，这就会导致对运动目标的精确定位产生困难。如果运动目标停止运动，该方法也就不能检测到运动前景的存在。时间差分方法仅适用于特定的物体运动速度和帧速，且对阈值的选择特别敏感，所以一般作为辅助的算法。 景减除法 背景减除法15是一种有效的运动对象检测算法，也是目前最常用的方法，基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分比较实现对运动区域的检测，其中区别较大的像素区域被认为是运动区