基于监控视频的人体行为动作识别

1、基于监控视频的人体行为动作识别,导师：汇报人：,目录,一、选题来源及意义二、国内外研究水平及发展趋势三、本课题研究内容四、实验实施方案五、进度安排,一、选题来源及意义,计算机凭借本身的超强记忆力与运算速度深受人们的欢迎，计算机的这两种能力也得到了人们的充分运用。但这还不够，目前计算机对人的依赖性过强，为此人们想让计算机具有自主学习、理解、分析的能力。以前是“看”机算机，而现在是想让计算机来“看”。视频图像已成为人们获取视觉信息的重要手段，特别是视频流与计算机处理结合，人们称之为计算机视觉。人类依靠眼、耳、鼻、口、手获取客观世界信息时，80%的信息是来自于视觉，由此可见人类视觉系统对人类获取信息

2、而言非常重要。作为人类视觉的模拟，计算机视觉理应在计算机获取客观世界信息中发挥重要作用。,针对目前监控系统的不足，开发出一种能够降低人工监控劳动强度并且能实时跟踪人体目标，分析、理解、识别其行为，从而弥补人为误差的高智能化计算机监控系统具有巨大的实用价值与难以估量的商机。随着图像、图形、视频处理理论的日趋成熟及计算机科学技术地高速发展，使计算机具有强大的计算能力与存储能力，使得这项研究成为可能。因此本课题将对动作识别的一些方法进行深入研究，旨在能达到智能监控全天实时监控，并自动分析摄像机捕捉到的数据，等发生异常时向有关部门及时发送警报。,二、国内外研究现状及发展趋势,1、研究现状基于计算机视觉

3、的人体动作识别算法主要包括动作表示以及动作分类两个步骤。人体动作如何表示涉及到如何编码人体动作信息，它对于后续的人体动作分类十分关键。理想的人体动作表示方法不仅要应对人体外观，尺度，复杂背景，视点以及动作执行快慢等因素的影响，而且要包含足够的信息提供给分类器将各个动作类型区分开来。理想的动作分类器除了能够区分各种动作类型，还需要考虑如何有效加入和减少动作类型问题。有关人体识别方法中使用的动作表示及动作分类方法，近几年已经开展了这方面的研究,在日本、西方发达国家（如美国、英国）等专家，已经展开了大量相关项目的研究工作：美国宾夕法尼亚州大学的三维人体头部及脸部跟踪系统采用有限元素模型实时跟踪人的脸

4、部动作；联想、IBM及Microsoft等国内外高知名大公司及一些中小型企业也正逐步将人脸识别、行为识别、手势识别应用于商业领域，如：手机移动终端开发、门禁、停车场、监狱等，另外，斯坦福大学、普林斯顿大学、牛津大学等国际知名大学也做了相应的理论研究。在北京奥运会、上海世界博览会中，一些企业开发的安防系统也都得以应用。,2、发展趋势人体动作检测和识别是计算机视觉领域中的一个研究热点和难点。现阶段国内外主要处于实验研究阶段，实用化产品很少出现。以下为将来的研究热点及发展趋势：（1）真实应用条件下的动作识别。（2）视频数据的自动标注。（3）人体动作或意图推理。（4）多人体交互识别。,三、本课题研究内

5、容,1、主要内容本文旨在从简单表情、手势、行为及单一场景研究入手到复杂场景中复杂行为的研究，旨在设计能够全天无人看守的智能监控系统来代替目前以人为主计算机为辅的监控系统。本文主要是对分层法视频特征提取、对提取的特征进行编码、做出最佳判决,2、工作流程,输入训练视频序列,视频特征提取,对提取的特征进行编码,做出最佳判决,线性支持向量机分类识别,3、本文要研究的内容（1）基于方向直方图视频特征提取特征提取,视频序列的像素运动变化频率图,计算视频序列的差分边缘直方图,求运动直方图,得到视频特征,特征训练与识别,划分像素运动变化频率图的区域,对目标区域和若干子区域分别求像素变化直方图,对目标区域和若干

6、子区域分别求边缘梯度直方图,传统的单层法动作行为识别是直接对视数据进行分析，这种方法把视频中的人体动作行为看成是特定的图像序列，通过滑动窗的技术把整个视频分成子序列集合，对一个新输入的视频，把它分类给与它最相近的视频类别。然而这样就会要花了很大的计算量来精确运动目标行为位置，再者，也很难确定哪些行为在哪些运动位置不能分割。,基于方向直方图的方法也是近几年热门的行为识别方法之一，其中的边缘方向直方图，是通过对图像空域求导获取边缘梯度信息，此方法主要是用于获取目标的边缘信息。梯度图像是由原始图像与梯度模板卷积得到，运动方向直方图，它是基于运动历史图求梯度而得到。运动历史图能够反映不同空域位置的运动

7、剧烈强度，故运动方向直方图能够反映不同方向的运动强度，能够识别运动程度差别较大的行为。,（2）特征训练与识别通常得到特征之后，通过k-means聚类得到字典(Dictionary或Codebook)。而k-均值(k-means)聚类其实就是向量量(VectorQuantization-VQ)的过程，而k均值向量量化过程，一方面，容易产生信息丢失，另一方面，当训练样本特征数量比较多时，只能够通过对训练样本进行第二次抽样然后再聚类的方法生成字典，这样就会造成训练样本不能得到充分利用，再者，当样本维数较高并且数量较多时，聚类的速度就会很慢。本文过通过现有的在线字典学(OnlineDictionary

8、Learning)方法生成字典，在线学习生成字典比其它离线字典优点在于它能够快速处理数以百万计的样本，并且字典效率高。,四、实验实施方案（1）用到的工具：matlabVC6.0OPENCV（2）本文方法先通过MATLAB仿真实验得到所需的参数（3）对来自Weizmann视频数据库、网络视频数据库、智能视觉信息处理与通信实验室(IVIPC)视频数据库、IVIPC与KTH混合视频数据库及实时视频测试（4）最终实现对跑、走、挥手、打架等的识别（5）VC+、OPENCV在WindowsXP下做成实时应用软件。,五、进度安排,第一阶段（2012年5月-2012年8月）：对常见的各种运动目标检测的方法进行深入研究、分析，并对动作进行识别，着重对文中要用到