运动人体分析_第1页
运动人体分析_第2页
运动人体分析_第3页
运动人体分析_第4页
运动人体分析_第5页
全文预览已结束

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

运动人体行为分析 运动人体行为分析 周巧云 于仕琪 摘 要 运动人体行为分析是计算机视觉领域一个十分活跃的研究方向,它在智能视频监控、高级人机交互、基于内容的 视频检索以及医疗诊断等方面有着广泛的应用前景和潜在的商业价值。本文简要介绍了运动人体行为分析的发展现状,并 主要从运动人体检测、运动特征提取和行为识别三个方面介绍了这个研究领域的发展状况和一些相关基础算法,并给出了 相应的一些实验结果。 关键词 人体行为分析;运动检测;运动表述;行为识别 1 引言 运动人体行为分析就是在不需要人为干预的 情况下,综合利用计算机视觉、模式识别、图像处 理、人工智能等诸多方面的知识和技术对摄像机拍 录的图像序列进行自动分析,实现动态场景中的人 体定位、跟踪和识别,并在此基础上分析和判断人 的行为,其最终目标是通过对行为特征数据的分析 来获取行为的语义描述与理解。运动人体行为分析 在智能视频监控、高级人机交互、视频会议、基于 行为的视频检索以及医疗诊断等方面有着广泛的应 用前景和潜在的商业价值,是近年来计算机视觉领 域最活跃的研究方向之一1。它包含视频中运动人 体的自动检测、行为特征提取以及行为理解和描述 等,属于图像分析和理解的范畴。从技术角度讲, 人体行为分析和识别的研究内容相当丰富,涉及到 图像处理、计算机视觉、模式识别、人工智能、形 态学等学科知识。 目前,在世界范围的很多高校和科研机构都 开展了人体行为分析方面的研究。例如,法国国家 信息与自动化研究院(INRIA)的WILLOW(Models of Visual Object Recognition and Scene Understanding)小组研究的课题是3D物体和 场 景 建 模 、 分 析 以 及 检 索 , 同 时 对 人 体 行 为 进行分类和场景识别;PULSAR(Perception Understanding Learning Systems for Activity Recognition)小组通过场景理解来识别人体行 为,并开发了一个用于行为识别的软件架构; PRIMA(Perception, Recognition and Integration for Observation of Activity)小组正在研究一个 交互系统,该系统可以检测单个目标,求出他 们的位置和运动轨迹信息,并能识别单个个体 或者人群的行为。英国雷丁大学2(University of Reading)先后开展了REASON(Robust Methods for Monitoring and Understanding People in Public Spaces)、ETISEO(Evaluation of Video Scene Understanding) 、ISCAPS(Integrated Surveillance of Crowded Areas for Public Security)等项目以研究基于视觉的单人行为以及 人与人之间的交互行为识别和场景理解等。在该领 域,国内也有很多高校和研究机构,比如中科院自 动化所模式识别国家重点实验室、北京大学视觉 与听觉信息处理国家重点实验室、微软亚洲研究 院视觉小组和清华大学等都对基于视觉的人体行 为分析进行了大量深入的研究。另外,当前国际 上一些权威期刊如IJCV(International Journal of Computer Vision)、CVIU(Computer Vision and Image Understanding)、PAMI(IEEE Trans on Pattern Analysis and Machine Intelligence)、 IVC (Image and Vision Computing)和重要的 学术会议如ICCV (International Conference on Computer Vision)、CVPR(IEEE Computer Society Conference on Computer Vision and Pattern Recognition)、ECCV (European Conference on Computer Vision)、IWVS(IEEE International Work shop on Visual Surveillance) 等将人的运动分析研究作为主题内容之一,为该领 域的研究人员提供了更多的交流机会1。 2 人体行为分析研究 一般的运动人体行为分析主要包括以下几个流 程:1)数据库建立;2)运动人体检测;3)运动特征提 取;4)行为理解和识别。在我们的运动人体行为分析 研究中,我们重点研究运动人体检测和运动特征提 Vol. 3 No.5 / May. 2009 取,进而采用模式识别中的机器学习方法识别人体 动作和行为。如图1所示是本研究的整体框架: 图1 运动人体行为分析整体流程 2.1 数据库建立及数据预处理 视频数据库建立有多种途径,包括自己拍摄、 网络搜索免费视频和购买专业数据库等。在本研究 中,我们搜集了3个视频数据库:1)自己拍摄了一部 分室内视频数据,包括8个人的走路和跑步两种运 动;2)中国科学院自动化所免费提供了用于行为识别 的免费数据库光盘,包括两人交互和单个人运动两 部分,所有视频采用的为室外场景,下文中用到的 室外场景数据均来源于此;3)网络下载免费视频数据 库KTH数据库3。 为了提高数据的有效性,在进行实验之前需要 对视频数据进行预处理,主要是对视频进行剪辑, 剪切掉过长的无人运动视频段,同时对连续视频段 中的多种运动类型进行切分。 2.2 运动人体检测 运动人体检测是基于视觉的人体运动分析系 统的基础,即从图像中分割人体区域。运动分割的 目的是从视频图像序列中将变化的区域从背景图像 中提取出来。它是特征提取、目标跟踪、运动表述 和行为理解等后续处理的基础,因为以后的处理过 程仅仅考虑图像中对应于运动区域的像素。通常情 况下,背景是静止的,但是由于背景图像的动态变 化,如天气、光照、阴影及杂乱干扰等的影响,使 得运动分割成为一项相当困难的工作。 运动分割可以分为静止和运动背景下运动目 标的检测和提取。总的来说,有两种运动检测的 思路:第一、直接利用前景所特有的信息检测前 景;第二、先得到背景图象,然后将输入图象减 去背景图像从而得到前景图象。本文主要介绍在 第二种思路下现有的几种运动分割算法:背景差 法(Background Subtraction)、帧差法(Frame Difference)和光流法(Optical Flow)。 背景差法是目前运动分割中最常用的一种方 法,它是利用当前图像与背景图像的逐象素的灰度 差通过设置阈值来检测出运动区域的一种技术,它要 求摄像机是固定的。采用背景差法来检测前景时,需 要解决的首要问题是:获取背景图像。有两种情况: 第一、若人为给定若干背景图像,则可以通过求平 均值来获取背景图像;第二、若没有指定背景图像, 则可以通过图像训练集的中值图像或者混合高斯模型 4等方法来获取背景图像。这类方法的优点在于对复 杂背景的情况效果较好,它一般能够提供最完全的特 征数据,但对于动态场景的变化,如光照和外来无关 事件的干扰等特别敏感。其中最简单的背景模型是时 间平均图像,即上述的第一种背景模型的获取方法。 大部分的研究人员目前都致力于开发不同背景模型, 以期减少动态场景变化对于运动分割的影响。例如 Haritaoglu等5利用最小、最大强度值和最大时间差 分值为场景中每个像素进行统计建模,并且进行周期 性背景更新;Stauffer与Grimson利用自适应的混合 高斯背景模型6(即对每个像素进行混合高斯建模), 并且利用在线估计来更新模型,从而可靠地处理光照 变化、背景混乱运动的干扰等影响。同时,算法虽然 增强了背景信息的完整,有利于算法分割精度的提 高,但是简单的将帧差图二值化,不仅得到的边缘信 息不可靠,而且也无法得出精确的运动目标信息,如 颜色、纹理等一些具体的细节特征等,此外,还将产 生大量的噪声。 帧差法是在连续的图像序列中,在相邻两帧(也 可以为多帧)间计算逐象素的灰度差,并通过设置阈 值来确定对应运动前景的象素,进而得到运动前景 区域。Lipton等7利用双帧差进行运动目标检测,进 而用于目标的分类与跟踪;一个改进的方法是利用 三帧差分代替两帧差分,如VSAM8开发了一种自适 应背景减除与三帧差分相结合的混合算法,它能够 快速有效地从背景中检测出运动目标。帧差法对于 动态环境具有较强的自适应性,但一般不能完全提 取出所有相关的特征像素点,在运动实体内部容易 产生空洞现象,不利于进一步的对象分析和识别。 另外,帧差法也较难准确地检测运动速度过快或过 慢的物体,对场景中同时存在的多个运动物体的检 测也不易检测。 当人的眼睛观察运动物体时,物体的景象在人 运动人体行为分析 9 ?a?b? ?c?d? ? ? ? ? ?a? ?b? ? 眼的视网膜上形成一系列连续变化的图像,这一系列 连续变化的信息不断“流过”视网膜(即图像平面), 好像一种光的“流”,故称之为光流。光流是空间运 动物体在观测成像面上的像素运动的瞬时速度。光流 的研究是利用图像序列中的像素强度数据的时域变化 和相关性来确定各自像素位置的“运动”。 事实上,仅仅通过图像序列很难计算出物体的 空间位置进而得到真实的运动场。而光流表达了图 像的变化,包含了目标一定的运动信息,通过计算 光流场可以从图像中近似计算不能直接得到的运动 场。1981年,Horn和Schunck创造性地将二维速 度场与灰度相联系,引入光流约束方程,得到光流 的基本算法。目前,光流有五种比较流行的计算方 法:基于梯度的方法、基于匹配的方法、基于能量 的方法、基于相位的方法、神经动力学方法。其中 最常用的是基于梯度的方法Lucas-Kanade方 法9。基于光流方法10,11的运动检测采用了运动目标 随时间变化的光流特性。该方法的优点是在摄像机 运动情况下也能检测出独立的运动目标。然而,大 多数的光流计算方法相当复杂,且抗噪性能差,不 借助于专用的硬件很难实现实时检测。 在本研究中,我们用以上三种方法对同一视频 进行了实验,检测结果如图2所示: 图2 前景检测方法比较 从上图可以看出,背景建模方法能够提取出更 完整的前景轮廓,帧差法不能很好地提取出四肢的 轮廓,而光流法效果更差,而且对背景噪声十分敏 感。因此,在本研究中,我们采取背景建模方法来 进行运动人体检测。 2.3 运动特征提取 运动目标特征提取的目的是从视频图像中提取 出最重要的图像信息用于描述人的行为。目标的运动 特征,可以用于运动表述,是识别目标行为的一种基 本方法,是运动分析中的中间步骤,是行为理解等高 层部分的基础。常见的运动表述方法有:运动轨迹、 时空图表述和光流。其中前两种表述方法的前提都是 要首先检查运动目标,并在前景灰度图上进行处理和 描述。 所谓运动轨迹,是指通过物体跟踪,可以得到 物体特征点的轨迹。能否正确表述物体运动状态的 关键在于:特征点的选取和轨迹的描述。常用的特 征点有:前景的质心、最高点、最低点、最小包围 框的中心以及其它图像关键点。然后通过特征点集 合描述运动轨迹,描述方法主要有以下几种:1)直接 按照时间顺序连接相邻帧之间的特征点;2)将特征点 集合拟合成不同的多项式曲线,如最小二乘法;3) 其它方法,如主曲线12,13。本研究选取最小包围框的 中心点作为特征点,并按时间顺序进行连接作为运 动轨迹,如图3所示是选取的走路(第一行)和晕倒(第 二排)两个场景,从图中可以看出,人在正常走路的 条件下,运动人体最小包围框的中心点轨迹十分平 稳,而在晕倒的视频中,运动人体最小包围框的中 心点轨迹总体上十分平稳,但是在晕倒的那一段视 频帧中,轨迹有纽结在一起的现象(如图中椭圆圈住 的部分所示)。 图3 使用运动轨迹表述人体运动状态 ?a?b? ?c?d? ? ? ? ? ?a? ?b? ? ?a?b? ?c?d? ? ? ? ? ?a? ?b? ? (a)原始视频图像帧 (b)最小包围框 中心的轨迹 50 Vol. 3 No.5 / May. 2009 ?a?b? ?a? i ?b? i+1 ?c? ?5 ? 123456789101112131415161718192021 0.04 0.045 0.05 0.055 0.06 0.065 0.07 0.075 0.08 0.085 0.09 0.095 0.1 frame sequence mean intensity distribution of optical flow Stastical mean of Optical Flow Normalized by height; Threshold = 5 bin.zhang walk rightward qy.zhou run rightward Critical Zone 所谓时空图表述,是指将图像序列的前景运动 信息和时间信息用一张图表述出来。常用的时空图 有运动能量图和运动历史图14两种。利用运动历史 图可以求取出运动目标的大概运动方向(横线由圆心 向外所指方向,实际上是用角度表示),如图4所示: 图4 使用运动历史图提取运动方向特征 光流表述的前提是计算出运动前景目标的光 流。常用的光流表述方法有两种:1)直接将光流信息 作为运动表述;2)对光流矢量作进一步处理得到很具 区分能力的表述15。光流同时包含了前景局部运动 信息和形状信息,不易受运动物体外表的干扰,可 以应用在较复杂的行为识别等方面。图5是根据视频 前后两帧计算光流的结果。为了便于观察,只选取 了部分光流值(每隔10个像素点取一个值,事实上对 应原始视频的每个像素点计算出一个光流值)。从图 5(c)可以看出,运动前景部分对应的光流幅度较大, 而且光流方向也和前景局部运动方向基本一致,如 右胳膊往身体前上方甩动,对应的光流方向指向右 上方(侧面看)。由于不同的运动目标在光流幅度上 有差异,比如对于走路,个子高的人的光流幅度较 大,而个子低的人的光流幅度则较小,如图5(c)两 幅图所示。为了消除身高影响,我们用身高对光流 值进行了归一化处理。然后利用归一化后的光流, 我们对其进行统计平均,得到了如图6所示的统计结 果,其中虚线代表第一个人跑的光流统计平均,实 线则代表第二个人走的光流统计平均。从图6容易看 出,两条曲线明显分离,只要设置一定的阈值(落在 深色区域内均可),即可区分出两种行为。 光流特性还包含了很多其他信息,前面讲到, 它可以反映运动前景的局部运动特性,尤其是非刚 体运动目标。因此,我们可以统计光流的方向信 息,由此来计算物体的运动速度作为运动特征之 一,并通过各种演变来获取更多特征表示方式16。 2.4 行为识别 行为识别可以简单地看做是时变特征数据的分 类问题,即将待识别特征序列与预先标定的代表典 型行为的参考特征序列进行匹配。其中有两个关键 问题:1)从学习样本中获取有效地参考特征序列; 2)待识别特征序列与参考特征序列之间相似性的度 量。由于人动作执行的差异,匹配行为序列时必须 能够处理相似运动模式是空间和时间尺度上轻微的 特征变化。 行为识别发展到现在,方法已经有很多,而且 各种4 新的识别方法也在不断涌现。但不管方法怎么 千变万化,其根本可以归结为两大类1:1)基于模板 匹配的方法;2)基于状态转移图模型的方法。 在本研究中,我们将采用模式识别中机器学习 的方法来识别不同的行为。而对于机器学习环节, 也有很多方法,比如支持向量机(Support Vector Machine, SVM)、AdaBoost、神经网络(Neural Network, NN)和隐马尔可夫模型(Hidden Markov Model, HMM)等等。 在本研究中,拟采用隐马尔可夫模型和支持向 量机混合的方法17。支持向量机能够在小样本条件 ?a?b? ?a? i ?b? i+1 ?c? ?5 ? 123456789101112131415161718192021 0.04 0.045 0.05 0.055 0.06 0.065 0.07 0.075 0.08 0.085 0.09 0.095 0.1 frame sequence mean intensity distribution of optical flow Stastical mean of Optical Flow Normalized by height; Threshold = 5 bin.zhang walk rightward qy.zhou run rightward Critical Zone ?a?b? ?a? i ?b? i+1 ?c? ?5 ? 123456789101112131415161718192021 0.04 0.045 0.05 0.055 0.06 0.065 0.07 0.075 0.08 0.085 0.09 0.095 0.1 frame sequence mean intensity distribution of optical flow Stastical mean of Optical Flow Normalized by height; Threshold = 5 bin.zhang walk rightward qy.zhou run rightward Critical Zone 图5 光流计算 图6 光流统计特性 运动人体行为分析 51 下,通过结构风险最小化准则,实现有效分类。但 是支持向量机只是静态分类机,不能很好模拟时序 过程。与之相反,隐马尔科夫模型虽然能够较好的 处理随机时序数据的识别,但是并不能保证训练好 的模型能够良好的分类未知数据。这样,将两者混 合起来使用,通过在隐马尔科夫模型中引入静态数 据识别良好的支持向量机,能对视频流数据取得最 佳的识别效果。 另外,支持向量机可用于对室内场景下的各种 运动行为进行建模。人类行为是非常复杂的,具有 典型的非线性,而SVM能够通过将非线性问题映射 到高维的线性空间,从而将问题简化为线性问题。 我们将采用如下的SVM模型: ? ? ? l i d iii bxxxf 1 * 1)()()(? i ? * i ? i x d 此式表述了支持向量机的分类方法。在式中, ? ? ? l i d iii bxxxf 1 * 1)()()(? i ? * i ? i x d 拉格朗日乘子,? ? ? l i d iii bxxxf 1 * 1)()()(? i ? * i ? i x d 为支持向量,d是由用户 定义的参数。在离线训练之后,就可以得到拉格朗 日乘子和支持向量。 通过对每一类使用不同的权值和偏差,可以把 只能分两类的支持向量机拓展成可以分多类的分类 器。 3 总结与展望 本文针对运动人体行为分析,简要介绍了该 研究领域的一些相关技术和国内外发展现状。基于 Matlab和VC+6.0平台,利用OpenCV18开放算 法,我们对其加以改进,实现了运动前景检测,并 提取出了一些相关的运动特征,文中给出了相应的 实验结果。 运动人体行为分析是目前一个十分热门的研 究方向,涉及图像处理、计算机视觉、模式识别、 人工智能以及形态学等多种学科和技术。尽管人的 运动分析这一领域已经有了一些研究成果,但许多 问题仍然未获解决,需要进一步研究,比如运动分 割、遮挡问题、三维建模与跟踪、行为理解和性能 评估等。同时,人体行为的多样性和环境的不稳定 性等因素也给人的行为分析造成了很大困难。 基于前述工作基础,在接下来的工作中,我们 将继续重点研究特征选取以及行为表述两个问题, 并在此基础上实现一些常见行为的识别(如摔倒、走 路、跑步和跳动等),完成基于音视频融合的室内异 常行为检测这个课题的视觉处理这一模块。 参考文献 1 王亮, 胡卫明, 谭铁牛. 人运动的视觉分析综述J. 计算机学 报, 2002, 25 (3) : 2252237. 2 http:/www.cvg.cs.reading.ac.uk/. 3 http:/www.nada.kth.se/cvap/actions/. 4 I. Haritaoglu, D. Harwood and L. Davis. W4: Real-Time Surveillance of People and Their Activities,PAMI, vol.22, no.8, 2000. 5 I. Haritaoglu, D. Harwood and L. Davis. Ghost: a human body part labeling system using silhouettesJ. Fourteenth International Conference on Pattern Recognition. 1998, Vol.1, 77-82. 6 D. A. Winter. The Biomechanics and Motor Control of Human Movement J, 2th Eds. John Wiley&Sons, 1990. 7 A. Lipton, H. Fujiyoshi and R. Patil. Moving target classification and tracking from real-time videoJ. In: Proc IEEE Workshop on Applications of Computer Vision, Princeton, NJ, 1998, 8-14. 8 R. Collins et al. A system for video surveillance and monitoringC: VSAM final report. Carnegie Mellon University, Technical Report: CMU-RI-TR-00-12, 2000. 9 B. Lucas and T. Kanade, An Iterative Image Registration Technique with an Application to Stereo Vision, Proceedings of the 7th International Joint Conference on Artificial Intelligence, pp. 674-679, 1981. 10 Anil M. Cheriyadat and Richard J. Radke. Detecting Dominant Motions in Dense CrowdsJ. Signal Processing, VOL. 2, NO. 4, AUGUST 2008. 11 A. Verri , S. Uras and E. DeMicheli. Motion Segmentation from optical flowc. In: Proc the 5th Alvey Vision Conference, Brigh

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论