（计算机应用技术专业论文）基于整体特征的人体动作的识别.pdf

硕士论文 摘要 在目前的研究中，有关人体动作的识别已经取得了很大的进步，但是在处理像 w e i z m a n n 数据库这样的多动作周期的视频数据时，采用一般的方法，识别率偏低。本文 提出了一种新的基于整体特征的方法来处理这种类型的数据。 首先对w e i z m a n n 数据库中的动作图像序列，针对不同的情况采用背景减除的方法 分别进行动作目标检测。其次生成动作能量图像( m o t i o n e n e r g y i m a g e ，m e i ) 和动作 历史图像( m o t i o n - h i s t o r y - i m a g e ，m h i ) 这两种静态模型，通过实验比较，采用m e i 和单帧图像做为动作识别特征。第三，采用z e r n i k e 矩提取整体特征，得到m e i 和单帧 的特征向量。第四，提出了基于b a go fw o r d s 方法的特征聚类，对已提取特征进行聚 类计算得到关键点，并以关键点作为特征归类的标准，形成特征分布直方图( 特征分布 向量) 。第五，在特征聚类的基础上提出特征融合的方法，以提高识别率。最后，采用 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 作为分类器，选用两种不同的核函数， 进行动作识别。 在实验环节中设计了六组不同的实验，最终的实验的结果证实本文的方法在处理多 动作周期数据时有比较好的效果。 关键词：动作识别，背景减除，整体特征，b a go f w o r d s ，特征融合，支持向量机 a b s t r a c t 硕士论文 a b s t r a c t a tt h ec u r r e n ts t u d y , t h er e s e a r c ho nh u m a nb o d ym o v e m e n tr e c o g n i t i o nh a sa l r e a d y m a d eag r e a to fp r o g r e s s b u tt h er e s u l ti sn o ts oi d e a lw h e nd e a l i n gw i t ht h ed a t af r o m w 色i z m a n nd a t a b a s ew h i c hi n c l u d e sm u l t i c y c l ea c t i o nv i d e o t 1 1 i sp a p e rp r o v i d e san e w m e t h o dw h i c hi sb a s e do ng l o b a lf e a t u r e st os o l v et h i sp r o b l e m f i r s to fa l l ，m o v i n gt a r g e t sa r ee x t r a c t e du s i n gt h em e t h o do fb a c k g r o u n ds u b t r a c t i o n s e c o n d ，w eg e n e r a t et w os t a t i cm o d e l sw h i c ha r em o t i o n e n e r g y - i m a g e ( m e i ) a n d m o t i o n h i s t o r y i m a g e ( m h i ) ，a n dm a k em e ia n dt h es i n g l ef r a m ei m a g ea st h eo r i g i n so f m o v e m e n t t h i r d z e m i k em o m e n t sa r eu s e da sg l o b a lf e a t u r e s f o u r t h ，an e wa p p r o a c hb a s e d o nb a go fw o r d si sp r e s e n t e df o rc h a r a c t e r i s t i c sc l u s t e r i n g t h ec l u s t e r i n ga l g o r i t h mi su s e dt o g e n e r a t et h ek e yp o i m ，w h i c hi st h es t a n d a r do fc l a s s i f i c a t i o na n da f t e rt h a tw ew i l lg e tt h e h i s t o g r a mo ff e a t u r ec l a s s i f i c a t i o n 。f i f m t h ef u s i o no fm u l t i p l ef e a t u r e si su s e dt oi m p r o v et h e c o r r e c tr a t eo fr e c o g n i t i o n f i n a l l y , s u p p o r tv e c t o rm a c h i n e ( s v m ) i su t i l i z e da st h ec l a s s i f i e r t or e c o g n i z et h em o v e m e n t s s i xs e t so fe x p e r i m e n t sw e r ed e s i g n e d t h ee x p e r i m e n t a lr e s u l t s o ns i xs e t so f e x p e r i m e n t sd e m o n s t r a t et h a tt h ea p p r o a c hi nt h i sp a p e rc a np e r f o r mv e r yw e l l k e yw o r d ：m o v e m e n tr e c o g n i t i o n ，b a c k g r o u n ds u b t r a c t i o n ，g l o b a lf e a t u r e ，b a go fw o r d s ， f e a t u r ef u s i o n ，s v m u 声明尸明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名：侧c 7 年占月q e l 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名： 硕士论文 基于整体特征的人体动作的识别 l 绪论 1 1 引言 随着科技的发展，用于认知的人工智能得到了很大的发展，应用新颖的材料和先进 的技术，认知的能力也有了显著地进步，从环境的认知，到人体的认知，从静态的认知， 到动态的认知。 目前，有关认知的人工智能，例如人脸的检测，车辆的检测、语音的识别等等，已 经从最基础的研究开始迈向较成熟的应用阶段，在很多领域发挥了其“眼睛”和“耳朵 的功能。“眼睛 观察人脸的嘴型、眼型的变化，认知到人的表情，“耳朵聆听讨论的 过程，分辨不同的发言人，整理分类 对于认知而言，一个重要环节就是对人体的认知，利用计算机视觉的人工智能在实 际的认知中，动作的识别是其中比较重要的一个部分。人体的动作是指身体的活动或行 动，在日常的生活，人体本身就是一个动态的生活过程，所谓的静态也只是动态的一个 衔接过程。因而，提高认知的能力，其中的一个大问题就是人体动作的识别研究。人自 身的眼睛不能做到2 4 小时不间断的对周遭环境中所发生的人体动作事件进行有效地认 知，借助于人工智能的“眼睛”，摄像设备不仅需要记录这些发生的动作，而且需要类 似人的大脑功能来识别所发生的动作，及时了解其发生的时间、地点、类别等等，真正 的做到认知。 正是基于这样的思考，本文将研究的重点放到有关人体动作的识别，寄希望于在深 入了解人体动作的特性之后，利用计算机视觉来对人体动作进行识别。 1 2 研究背景和意义 从直观的角度来看，人体动作一般包括了走路、跑步、挥臂、下蹲、坐立、跳跃等 等这些日常生活中的过程，是人的动态最外在的表现。一方面，这些动作具体的表现了 人们生活、学习、工作等各各方面，是人生存和生活的基本组成形态。另一方面，人体 动作本身包含有很强大的消息，例如面部动作( 表情) 的识别可以反应人体的心理和生 理状态微笑、愁苦或是疲乏，手势动作的识别可以传递很多价值信息最常见的 “o k 手势可以寓意“准备好了 ，“可以 等等含义。通过识别这些动作，可以有效 的认识和辨析人体的动态过程，了解人体所传达的信息，从而能够实现智能监测，并给 其他智能化的应用提供基本的依据。 一 人体动作的识别是模式识别与人工智能发展的重要步骤，通过对人体动作的识别， 掌握动作发生的空间和时间特性，基本的分类等信息，为之后的应用等提供更加有效的 l 绪论 硕士论文 依据，这是非常基础而极其重要的一环。 人体动作识别的目的在于，在成功实现动作跟踪、特征提取的基础上，通过分析获 得的人体动作特征参数，自动识别人体动作类型。目前，人体动作的识别技术在很多领 域都有着广泛的应用，例如视觉监督、高层用户交互、基于内容的图像存储和检索、视 频会议、动作性能分析、虚拟现实等领域【l 】。以下就将简要的介绍一些重要的应用领域 及其研究发展方向。 1 ) 智能监控 智能监控通常应用在那些对安全性要求很高的区域，例如银行、机场、酒店等等。 在目前的这些应用中，通常是一种被动的监控。当异常情况发生之后( 例如车辆被盗) ， 保安人员调取录制的摄像片段来了解发生的事实，实行补救措施。但这种被动的监控往 往为时已晚，实际中所需要的是一种2 4 小时的实时监控，及时、自动地分析摄像设备 所获取的图像数据，当发生异常情况时，能够及时有效地通知保安人员，准确地做出判 断，从而避免犯罪等情况的发生。这种主动式的监控一方面减少了被动监控所造成的大 量人力物力的消耗，另一方面大大提高了监控的成效，做到了有的放矢。 在一些公共场合，通过智能监控，了解行人的动作状态、拥挤程度，识别可疑人物 的出现等等，适时的对公共场所的安全进行维护。同时，也可以对用于商场、a t m 机 等地方的商业数据分析，为商家提供动态的消费数据统计分析。 2 ) 人机交互 人体动作识别很有前景的潜在应用之一是人机交互。在新的人工智能环境中，不需 要键盘鼠标就能实现人和计算机的信息交互。这就需要在这一过程，能够实时地识别人 体的动作，了解各种状态，判断各种信息，从而做到信息的交互。 人类进行交流的语言工具分为自然语言( n a t u r a ll a n g u a g e ) 和人体语言( b o d y l a n g u a g e ) 两类，自然语言是最常见的语音，即谈话等，而人体语言则包括了手势、面 部表情、头部动作等等的身体动作所传达的信息。要做到人机交互，人体语言的识别和 理解是很重要的一部分。在早期的研究中，广泛应用于人机交互的主要是语音识别，但 是这很容易受到环境噪声和距离的限制。而人的动作识别则不受此限制，能从中获取到 更多的细节，这对于实现人机之间更加自然和智能的交流的自然场景理解非常有用。 3 ) 动作分析 通过对动作序列的研究，跟踪分析感兴趣的关节活动，可以建立人体的几何模型， 了解人体动作的行为机制，从而可以有效地提高人体的动作性能。这一点最突出的应用 是在体育动作中，在现在的竞技体育中，如田径、游泳、跳水等等，通过分析运动员的 动作过程，建立一个最优的动作模型，在动作的速度、姿态等等方面做出改进，提升动 作员的竞争力。在体育视频中，通过自动地对动作进行分析、判断，提供科学直观的辅 助分析手段，同时，也可以为体育赛事提供即时的比赛评注、 赛况分析等等。在医学 2 硕士论文 基于整体特征的人体动作的识别 应用中，步态分析旨在通过分析人体的生物反馈系统，并结合正常的步态建模，分析病 人的步态状况，判断其腿部的伤病情况或畸形程度，从而能够为医学治疗提供有效地参 考数据。 另外，现在一个比较新颖的方向是有关视频内容的检索。目前常用的检索是基于关 键字的检索，而大规模的视频数据库要求我们能够对这些视频数据进行高效的管理和访 问，但是如果仅仅依赖关键字检索，不仅仅耗费大量人力物力，而且准确度也不够，这 就需要基于视频内容的检索。通过对视频中的动作信息进行分析识别，对视频内容做出 正确的标注，可以辅助用户从视频库中快速找到感兴趣的片断，实现对视频数据库的高 效管理和查询，提高信息的使用效率。 4 ) 虚拟现实 这是到目前为止一个应用比较广泛的领域虚拟现实，即在计算机虚拟世界中模 拟真实的生活场景，使得在计算机的使用者能够感受到一种较真实的环境。要做到这一 点，首先就是基于现实生活中的观察分析，这其中一个很重要的就是人体动作的识别。 在电脑游戏中，对人体动作的识别能够使得游戏中出现的人体更加真实化，其发生动作 也更加自然流畅。并且，通过人体动作的识别能够了解实际中人体动作的数据，这些数 据是用于游戏的开发设计的重要参数。而在基于互联网的交互式空间中，目前多是文本 交流模式，例如q q ，m s n 等。在新的应用中可以通过提供手势、头部、面部表情等等 的信息线索，增加丰富的交互形势。此外，在视频会议、人物动画、虚拟工作室等等方 面也有很好的应用。 综上可知，人体动作的识别涉及到人们日常生活的方方面面，对改善和提高人们的 生活质量有重要的作用和实际应用意义，因而，目前越来越多的学者都投入到了该课题 的研究当中。基于视频的人体动作识别是具有挑战性的研究工作，涉及图象处理、模式 识别、机器学习、计算机视觉等多方面的内容，它的很多研究成果都可以被其它领域借 鉴，从而能更广泛地对计算机视觉的整体研究工作产生推动作用。在文献 2 中，阐述了 将人体动作识别的研究用于医疗看护中心的智能监测，通过在该中心布置合理的摄像设 备，对走廊等非隐私区的病人进行行为上的监护。在获得及时有效的动作指示信息之外， 通过对长期数据的统计和分析，为医生制定正确的医疗方案提供参考数据。在文献 3 中，在儿童房内应用人体动作识别技术，就儿童的动作行为做出相应的反应，提供了一 个无家长环境中交互式的学习空间。随着科学技术的不断发展，相关的研究成果已经开 始在商品中也得到了大量的应用，举例来说，在房屋的安全领域中，通过安装在住宅中 的人体动作的识别仪器，及时有效地识别检测入侵者，提高房屋的安全系数，或是在公 共环境中控制旋转门的旋转速度等等。 相信，通过研究人员的不断努力，人体动作的识别以及其所推动的其他方面的应用 将会更多改善人们的生产生活。 l 绪论 硕士论文 1 3 国内外研究现状 有关人体动作的相关识别研究工作最早可以追溯到上世纪7 0 年代，早期心理学家 进行了简单的实验：在黑暗环境中，在人的关节点上附着亮点，通过观察这些亮点的变 化过程来认识人体的动作。在这个实验中，通过光点的集合序列，能够识别到很多有意 义的信息，例如人的动作形态，动作类型等等，甚至可以基于光点变化的范围、幅度推 断出发生该动作的人体的性别。由此可见，动作识别的相关研究对于人类认知是非常重 要的，其本身是非语言交流的重要载体。在随后的发展中，展开了大量的研究，并随着 人们认知能力和科学技术的发展，不断深入和细化。 图1 1 人体动作识别研究的主要内容 近些年来，越来越多的计算机视觉研究者将关注的兴趣点放在了有关人体动作的识 别上，并将其研究应用到非常广泛的领域中，极大地推动了这一研究领域的发展。在大 量研究中，有关人体动作的识别一般来说主要集中在三个方面【4 j ，分别是1 ) 动作人体 的结构分析，2 ) 人体动作目标的跟踪，3 ) 基于图像序列的动作识别。而这三个方面又 是相互支持，并且逐步推进的。如图1 1 所示，简要的给出了这一领域的主要研究内容 和方向。下面将就三个不同方面的研究进行一个简单的介绍。 对于人体动作的识别，首先就是要找到动作的主体，并对这个动作的主体进行结构 分析。在动作人体的结构分析中，主要有三个不同的结构，包括点线结构、二维剪影结 构和三维立方体结构。图1 2 所示的三副图分别表示了这三种不同的结构。对于动作人 体的结构分析，很多都是建立在这三个结构之上。 4 基于整体特征的人体动作的* 剐 a 1 点线结构 b 1 二维剪影结构 纨i 射 c ) 三维立方体结构( 引片j 自文献【5 ) 图12 人体结掏的动作丹析的三种结构 在研究中，主要有两个不同的方法，一种是基于预知模型的，另一种无预知模型的。 第一种方法是需要有一个已知模型结构，所有的后续分析都是基于这个柬完成的。c h e n 和l e e 【6 】将个动作的三维人体结构转化为一个二维投影图像，在他们的结构中，采用 了1 7 个线段和1 4 个节点来表示人体动作模型，并且定义了很多的约束条件作为步态分 析的基础。该方法计算比较复杂，因为其需要研究所有可能的三维结构并得到其相应的 二维投影。l e u n g 和y a n g f 7 i 运用了一个二维带状模型去表示体操动作中人体的每一个姿 态他们的研究一个突出点就在于通过对动作外轮廓来堕独地测算出人体的动作结构。 第二种方法是没有已知模型可参考，对于动作人体的结构分析是基于对位置、速度、形 状、纹理、色彩等等信息的。s h i o 和s k l a n s k y l 8 1 将他们的研究集中在人体动作块的二维 转换模式中，这些动作块是基于量和像素点的速度、方向的，该方法类似于光流法， l 绪论硕士论文 k u r a k a k e 和n e v a t i s 9 幂l j 用从动作图像中提取的带状标示之间的关联性来获取动作人体 的关节位置。他们假设相邻两帧之间的较小的动作和特征相关性是满足一定的几何约束 的。最后，关节就能在带状标示的重叠部分区域的中心得到。 动作人体的结构，是动态行为的研究起点，在此基础上，需要对整个动作过程进行 跟踪检测。不同于面部表情识别、手势识别，仅仅固定在一个单一的视角中，随着动作 的进行，视角会不断地发生变化，动作的人和区域都在发生改变，因而需要及时的调整 以进行动作跟踪。动作跟踪的目标是在相邻的帧之间，基于与位置、速度、纹理、色彩 等相关的特征，建立动作的关联性。根据观察视角的不同，主要分为单摄像头和多摄像 头两种。 绝大多数方法是使用单摄像头【l0 1 1 】来完成的，用于动作跟踪的特征通常是点和动作 块。p o l a n a 和n e l s o n 加】研究了动作中手臂和脚的行为，并且用一个矩形的框来包含动作 的人体，该矩形框的中心点始终跟踪动作的过程。o k a w a 和h a n a t a n i 1 1 】将动作图像中的 最频繁出现的像素值选定为背景图像，而利用网格来跟踪整个动作的变化过程。但是使 用单一摄像头由于其狭窄的视觉范围，会造成很多信息的忽略和隐藏，为了在在复杂的 环境中更好的跟踪动作的过程，多摄像头的技术被采用。c a i 和a g g a r w a l 1 2 】把人体上身 中心坐标轴的点作为跟踪的特征点，这些点是抽样的，相互之间独立，并与非刚性的人 体保持一定的角度。然后通过整合所有的特征点的位置和平均值，能够找到取自不同摄 像角度的相邻图像之间最类似的匹配点。 在前两个研究方面的基础上，更高阶的部分则是基于动作序列的识别，识别能够成 功的完成，首先则是基于对动作结构的分析和动作的跟踪检测。动作的识别主要是利用 提取的特征之间的不同来对动作的类别做出判断。主要的研究集中在两种不同的方法 上，包括基于模板匹配的和基于状态空间。 模板匹配主要是将动作序列生成一个静态模型，通过已知的和测试的两个模型进行 匹配来判断，状态空间的方法是将动作中每一个姿势看成一个状态，而动作则是由不同 的状态以某种概率连接起来的，通过找到这个联合概率，则能够作为识别的标准。有关 这两种方法研究的介绍将在后面第三章中详细介绍。 随着研究的深入，基于这一领域各个不同方面的发展，人体动作的识别更多地开始 关注人体整体的动作状况研究，并且在很多方面得到了越来越多的应用。卡耐基梅隆大 学等研究机构做的关于视觉监控重点项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) u j 。，主要是用于战场或者普通环境中的视频自动监控理解。而在欧洲，i s t ( i n f o r m a t i o n s o c i e t yt e c h n o l o g y ) 的研究项目a d v i s o r ( a n n o t a t ed i g i t a lv i d e of o rs u r v e i l l a n c ea n d o p t i m i z e dr e t r i e v a l ) i l4 | ，其主要的研究在于通过对人体动作的识别，智能化地管理公共 交通系统。h a r i t a o g u l u 等【l5 j 的研究则可以在环境中检测人的动作及其所携带的物体，简 单的物体交换等等，这些研究有助于公共安全的智能化应用。 6 硕士论文 基于整体特征的人体动作的识别 相比而言，在人体动作的识别方面，国内的研究起步较晚，但是以中国科学院自动 化所模式识别国家重点实验室、微软亚洲研究院及其国内一些重点大学为首的研究机 构，在一些方面进行了深入的研究。清华大学的任海兵l l6 j 采用了动态的贝叶斯网络来对 非特定人的自然动作进行识别。国防科学技术大学的陈剑簧等【l7 】分析了体育动作视频的 基本特征，并在此基础提出了一种基于b s u 的内容分析的通用框架，用以研究体育视 频的人的动作过程。中国科学院的王兆其等【l8 】将关于人体动作的研究应用到了体育训练 中，基于视频来对运动员的动作完成三维重构并识别分析。 通过大量研究机构和研究者的不断努力，人体动作的识别已经得到了长足的发展， 并应用到很多不同的领域，积极推动了人工智能的发展。 1 4 本文的研究内容及组织结构 本文主要的研究内容是基于整体特征的人体动作的识别。首先将在图像预处理的基 础上研究目标检测，从动作序列视频中检测到动作目标，并且去除其他的无关干扰，得 到人体动作的完全信息。接下来，将研究有关模板匹配中的静态模型，并通过实验发现 问题，解决问题。然后在这个基础上，研究特征相关的内容，包括整体特征、局部特征， 并在这里提出b a go f w o r d s 方法，基于此对特征聚类、特征融合进行深入的研究。最后， 在充分掌握动作特征的基础，研究分类器以及模型选择，并设计多组对比实验以检验研 究的成果。 本文主要分为六章，下面简要介绍各章的内容。 第一章，绪论。对有关人体动作识别这一领域的研究背景和意义以及国内外的相关 研究予以阐述。 第二章，人体动作目标的检测。了解动作目标检测的常见方法，针对本文所使用数 据( w e i z m a n n 数据库) ，重点研究背景减除，并在实验中对不同的背景情况和噪声问题 的处理进行研究。 第三章，人体动作的行为识别。了解行为识别的主要方法，重点研究m h i 、m e i 等静态模型，并基于这两个静态模型进行实验以分析其识别性能，并对实验的结果深入 分析原因， 第四章，特征提取和融合。这是本文研究的重点。在静态模型以及动作目标检测图 像的基础上，对图像的特征进行研究。本文主要是提取整体特征，并且为了分析比较， 对局部特征进行了简单的了解。提出了基于b a go f w o r d s 方法与整体特征相结合的特征 融合。首先通过聚类来完成特征聚类，以生成关键点( w o r d s ) ，并以此为标准进行特征 归类，得到关于1 0 种不同动作的特征分布向量。然后在特征聚类的基础上研究特征融 合，通过对多种方法进行融合，得到一个较大的特征量作为识别的标准。 第五章，人体动作识别和实验分析。得到了特征数据之后，研究分类识别的方法， 7 l 绪论 硕士论文 重点研究了支持向量机s v m ，并结合前面所有的工作，设计和进行对比实验，分析实 验结果，验证本文研究中方法的可靠性。 第六章，总结和展望。对全文的工作进行总结，并根据自己的研究体会提出一些对 该课题下一步研究的思考。 硕士论文 基于整体特征的人体动作的识别 2 人体动作目标的检测 2 1 概述 动作目标检测是指从序列图像中将变化区域从背景图像中提取出来。通过摄像设备 得到的视频数据是非常庞杂的，一个简单的动作通常包含有6 0 至1 2 0 帧的图像数据， 而这些彩色的图像数据又包含了大量的背景等其他干扰信息，因而需要去粗取精，从庞 杂的数据中分割得到所需要的动作目标数据。这对于之后的动作特征提取和动作识别是 非常重要的。然而，由于背景受到天气、光照等影响以及自身的动态变化，使得动作目 标检测非常困难。总的来说，有以下几种主要的方法。 1 ) 背景减除 背景减除是目前动作目标检测中最常用的一种方法，它是将当前图像与背景图像进 行差分来检验动作区域，这种方法的优点在于能够很好的得到最完全的特征数据，但是 对于动态背景的变化，如光照、外来人物等干扰特别敏感。在实际应用中，最简单的方 法是时间平均图像，即采集不同时刻的背景图像，求取平均值。除此以外，很多国内外 的研究做了大量的改进。h a r i t a o g l u 等n5 提出了区分背景中的最大值和最小值，以及利 用时间差分的最大值对背景中的像素点进行统计，这样使得背景能够做到周期性的更 换，提高方法的适应性。s t e p h e n 等n 训提出了一种自适应的背景模型，该方法通过结合 像素值的梯度变化信息来解决图像中的阴影和不可靠色彩点对于背景减除的影响。 s t a u f f e r 等瞳们提出了用自适应的混合高斯模型和在线估计来更新背景，从而减小光照等 干扰对背景减除的影响。 2 ) 时间差分 时间差分是利用动作图像序列中相邻两帧或者三帧之间的不同来提取动作目标的。 通过对相邻的帧做差分并阈值化能够得到动作变化的区域，这种方法不需要预先得到静 态背景图像，可以有效地应用到动态背景的目标检测中。l i p t o n 等采用的是两帧之间 的差分来从动作图像序列中检测动作的目标。而c o l l i n s 等口钉对此进行了改进，采用三 帧差分并结合了一种自适应的背景减除能快速有效地得到动作目标。时间差分方法能够 很好的应用到动态环境中，但是一般不能得到完全的特征数据点，在动作实体中会容易 出现一些空洞现象。 3 ) 光流法 光流是空间运动物体在观测成像面上的像素运动的瞬时速度，而光流法则是利用图 像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究 图像灰度在时间上的变化与景象中物体结构及其运动的关系。这种方法在摄像机运动的 情况下也能检测出动作目标，适应于动态的环境。m e y e r 等豫2 3 通过计算位移向量光流场 一 9 2 体动作目标捡测 论文 来初始化基于轮廓的跟踪算法，从而有效地提取和检测动作目标。但是光流法的计算相 当复杂，抗噪性差，甚至需要特别的硬件条件。 以上三种方法是比较常见的目标检测方法在实际应用，结合不同的背景环境还有 一些其他的方法。f r i e d m a n 等”采用了扩展的e m 算法建立混合高斯模型，并对每一个 像素进行类别分类，从而消除影子的影响。s t r i n g a 。”提出了一种基于数学形态学的场 景变化算法，在动态环境中实行动作目标检测。 2 2 图像预处理 在本文中采用了w e l z m a n n 数据库作为主要的人体动作识别数据，该数据库有9 个 不同的人分别完成了1 0 组不同的动作，包括弯腰( b e n d ) 、挥臂跳跃( j a c k ) ，横向跳 跃( j u m p ) ，纵向跳跃( p j u i i i p ) ，跑步( f u r ) ，摇摆( s i d e ) ，单腿跳( s k i p ) ，走路( w a l k ) ， 单臂挥( w a v e l ) 双臂挥( w a v e 2 ) ，在本文下面的章节中，所有图示中将采用括号中的 英文来表示各个动作。 接下来的工作中将对这些数据进行动作目标检测、识别等等一系列工作，在实际操 作中会发现，一个基本的动作从视频解压到识别需要花费一个比较长的时间，特别是图 像帧数很大的时候，因此需要对罔像进行预处理， 考虑到实时性，需要尽量减少数据的运算量，这样对数据库中的视频首先进行解压 分解、灰度化，并且将图像的分辨车从6 4 0 * 4 8 0 降低到3 2 0 $ 2 4 0 ，在以后的实验中将证 实这些预处理不会损失图像的有效信息，并能大大提高了程序的运行速童。 l t ，。l 幽幽 a 、b e n d ；i j ； 7 一j 幽幽 d ) s k i p 顺十论土 基于整# 特征的人# 动作的识 图2 l 预处理结果 图2l 所示的是w e iz m a n n 数据库中人体动作视频在经过图像预处理之后的图像。 四幅图分别选取自弯腰( b e n d ) 、挥臂眺跃( j a c k ) 、跑步( f u n ) 、单腿跳( s k i p ) 这四种动 作。通过预处理，可以看出，图像的动作信息比较完整，分辨率的减低大大降低了数据 量。 2 3 目标检测 w e i z m s n n 数据库中的动作采集背景除了几个特别的动作之外，基本上保持一致，圆 次本文可以采用背景减除法来实现目标检测，但是由于整个数据库采集的时间比较长， 摄像机的角度有定的偏差，因而在光照和色彩上有一定的差别。 氐i j ；一轻 攀l 幽幽 c】d) 图2lw e i z m a n n 数据库的背景图像 图21 所示的a ) ，b ) ，c ) 三个图像取自三个不同的时问点所得到的背景图像，粗略 的看没有什么太大的差别，但是在实际的应用，会由于一些差别而产生较大的误差。例 如该背景图的右上角的有道白色横线，对不同的动作进行处理会发现，该白色横线会 成为一个很大的噪声。d ) 则是其中比较特殊的背景图像，图中的路面呈斜坡状，右上 角的窗户相比前面三张来说较小。 针对不同的情况，分为两类来处理，第一种隋况是背景类似于图2l 前三张图像的， 第二种情况是类似于最后张图像的。动作图像序列中的每一帧分别与背景图像进行减 除之后，需要进行阈值化以去除冗余信息和噪声点。第一种情况，采用时间平均图像， 2 人体动作目标的检测 论文 对数据库中的背景图像进行求和取平均值，作为背景减除的图像，经实验对比，闽值设 为3 5 时效果最佳。而对第二种情况，由于差异化比较大，在同第四张图像进行减除之 后，需要增大闽值以得到较为理想的效果。在实际的操作，阈值设为8 0 得到效果比较 理想，噪声点较少且保留了足够多的有效信息。 厂 厌 c )d ) 图22 背景减除结果 图2 2 所示的a ) 、b ) 两副图是在第一种情况下所做的背景减除的原图和结果图，可 以看出，背景减除之后保留了最完全的特征信息，而且没有噪声点。c ) 、d ) 两副图是在 第二种情况下所做的背景减除的原图和结果图，结果中尽可能的保留了特征信息，但同 时也存在一些噪声点，例如d ) 图中右上角的白色区域。 完成了目标检测，一方面得到了所需要的动作目标，即进行动作的人体的剪影，这 是接下来工作的前提条件，另一方面大大简化了数据，降低了运算量，提高了整个识别 系统的实时性。 2 4 本章小结 本章主要完成了动作识别的基础工作，首先对数据库中的动作视频进行预处理，包 括解压、荻度、降低分辨率等，通过这几个简单的操作大大降低了数据量，同时图像中 动作信息保留完整。其次，针对w e i z m a n n 数据库的特点采用背景减除的方法对预处 1 2 硕士论文 基于整体特征的人体动作的识别 理后的动作图像序列进行了目标检测，对数据库中存在不同的背景图像分为两类进行处 理，包括选用不同的背景和设置不同的阈值，通过实验对比来达到最佳的效果。最终得 到的目标检测结果符合了数据量较少、信息完整的要求。 通过这两项基础工作，达到了减少数据量，提高运算速度的目的，并得到了较完全 的人体动作的剪影图，这些得到的剪影图序列将是本文接下来所有工作处理的基础。 3 人体动作硕士论文 3 人体动作的行为识别 3 i 概述 动作目标检测、简单的动作目标分类和动作跟踪，都是初级的动作识别过程，也是 人体动作分析中研究比较多的方面。而当前的研究中将更多的关注度放在了人体动作的 行为识别中。简单的说，行为识别5 3 是指对人的动作模式进行分析和识别，并用自然语 言加以描述。 通过对一个整段的视频进行解压分解，得到的是一个动作的图像序列，通过分析和 识别这一有序序列，从而不仅了解在哪里发生发生了动作，例如目标检测和目标跟踪， 而且了解发生了什么动作。 我们可以简单的将行为识别归类为时空数据的分类问题，通过将需要测试的序列与 已经预先定义好的代表参考序列进行匹配，根据结果做出判断。由此可见，行为识别的 一个核心问题就是如何在学习样本中获取合适的代表参考动作序列，并且参考动作序列 和未知的序列能够处理在相似的动作模式类别中空间时间的尺度变化。目前的研究中， 主要有两种不同的方法。 l ) 模板匹配方法 模板匹配方法是将动作图像序列转化为静态形状模型，并在识别过程中与预先存储 的模板( 定义好的标本) 进行比较。b o b i c k 和d a v i s 口1 提出了生成动作能量图像 ( m o t i o n e n e r g yi m a g e ，m e i ) 和动作历史图像( m o t i o n h i s t o r yi m a g e ，m h i ) 作为 动作序列的静态模型，并利用h u 矩提取特征来做相应的匹配。该方法将庞杂的视频图 像数据整合为简单的信息模型，计算简单，易于实现实时性。p o l a n a 和n e l s o n n 伽提出 了一种基于二维网格的特征，将每一个光流帧在两个不同的方向上进行分解，每一个单 元格的幅度进行叠加，从而形成高维特征向量用于识别匹配。该方法能够很好地提取有 效信息，但是对于噪声比较敏感。 2 ) 状态空间方法 状态空间方法汹、2 引是将每一个静态姿势作为一个状态，这些状态之间通过某种概率 连接起来，而每一个动作序列可以看成是不同状态的一次遍历过程，在这些遍历期间计 算不同状态之间的联合概率，得到的最大值则可用于动作的行为识别标准。目前，状态 空间方法在很多地方得到应用，广泛的用于时间序列的检测、估计，最典型代表是隐马 尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 。 图3 1 所示为h m m 的基本结构图，图中s 。( i = o ，1 ，) 表示了不同的状态，它们之 间或者本身之间通过某概率连接起来，而y ( t ) 是从不同状态中获得的输出。对于每一个 状态，可用于识别的特征有很多，包括点、线或者区域，在实际的应用中有很多不同的 1 4 硕士论文 基于整体特征的人体动作的识别 算法。y a m a t o 等采用了二维小区域块的动作、色彩、纹理进行识别。b r e g l e r 汹1 提出 了一种基于人体动力学在不同抽象等级的统计分解而得到的一个综合性网络用于识别。 图3 1 状态空间方法示意图 以上方法是常见的两种人体动作的行为识别方法。图像序列的中的人体动作是比较 复杂的，并且从理解分析的角度来看，行为、事件、状态都有着不同的概念的，因而需 要选择有效地方法。目前，基本上还是以简单的语义解释，对于复杂环境中人体动作的 行为的语义描述工作还是相当艰巨的。 3 2 动作能量图像和动作历史图像 在完成第二章所述的目标检测之后，本文得到了比较完全的动作信息图像，在此基 础上，考虑到计算量和识别效果，采用了将单帧与m e i 和删工结合作为人体动作的行为 识别标准。这里先介绍m e i 和删i 。 3 2 1 动作能量图像( 肛i ) 动作能量图像( m o z i o n e n e r g yi m a g e ) 简称为m e i ，是指将一段动作序列中所标识 的动作区域进行重合所得到的能够显示整个动作区域的图像。其定义如下： r - i e ，( x ，y ，f ) = ud ( 石，y ，t f ) ( 3 。2 1 ) i = 0 定义，伍只芒) 为动作序列，而刃伍乃是对应的二值动作序列这正是目前所 得到的目标检测之后的图像数据。从公式中可以看到参数t 对于生成m e i 是一个非常 关键因素，不同t 所生成图像包含的信息量不同，最简单的则是包含整个动作序列的 1 5 论文 每一帧 cjd j 图32 不同时刻的惦i 图 图32 所示的四幅图像分别表示了动作( j a c k ) 在第l 帧、第5 帧、第9 帧、第1 3 帧时所生成的姬i 图，可以看出，随着动作的进行，m e i 图能够很好的表示动作的区域， 提供足够多的信息特征。 但是在本文所采用的w e i z m a n n 数据库中，部分动作视频( 例如挥臂跳跃、单臂挥、 双臂挥等) 并不是只完成动作一次，而是相同动作的连续循环，本文称之为多周期动作。 琏着动作的周期循环，会形成一个多次重叠的结果，因而选择一个合适的：就非常重 要了。最基本的，r 应该小于一次动作完成的帧数，同时应该确保生成的m e i 能够得到 足够多的识别信息。 举例来说，挥臂跳跃( j a c k ) 这个动作通常完成一次需要3 0 帧左右。因此设定t 值应以此作为上限，并通过对比分析找出最佳的t 值。如图33 所示，分别是= 值为 j 、l o 、1 5 、2 0 的时候的所得到的最大帧数时的m e i 图，可以看出，t 值越小所包含的 信息点越多，同时计算量也越大。对于人体动作识别，需要找到合适的r 值，使得既 能够得到足够多的有效信息用于识别，同时，能够尽量减少运算量，提高整个识别系统 的运行效率，这也是实现即时性的要求。 在实验分析过所有的动作视频数据之后，得出在t 值等于j 时能够尽可能从较少 的计算中得到比较理想的实验结果，因而在接下来的实验中，将把所有关于虻i 的计算 中t 值设为5 。 1 6 砸诧立基于整体特征的 体动作的识别 a ) t = 5 c jt = l i d 、t2 0 图3 3 基于不同的t 值所得到的e i 图 3 2 2 动作历史图像( 唧i ) 动作历史图像( m o t i o nh i s t o r yi m a g e ) 简称为删i ，是将一段动作序列中每一个 像素点依照其出现的先后顺序等级化所形成的图像。在洲i 中，先出现的点亮度低( 趋 于黑色) ，后出现的亮度高( 趋于白色) ，从而可以从图像中的明暗变化了解整个动作序 列的过程，其定义如下： 引_ y , t ) ； 。i ，o 哆) 一 ( 322 ) 以( ) 2 1 m 矾州，川) 叫7 。忑：二 22 根据这个定义，计算得到i 如图34 所示，分别表示了走路( w a l k ) 动作第i 帧，第l o 帧，第1 8 帧以及第2 6 帧时得到的删i 图，可以看到，对于走路( w a l k ) 这 个动作随着动作的进行，其图示可以看到一个渐变的过程，先出现的动作点，其灰度 值较低，后出现的动作点，其灰度值较高。反应到直观中，就是一个动作明暗的变化过 程。而正是这一个明暗过程，表示了动作序列的先后顺序。不同于e 工提供的动作发生 的区域，告诉了“在哪里发生了”，州i 表示了动作发生的先后顺序，提供关于动作本身 的信息，告诉了“发生了什么”。结合脏i 和州i 这两个静态模型，能够得到动作的行 为识别所需要的充分信息。 3 人体动作 硬论女 与定步出得作靴地慵似蝴 硕论立 基于整体特征的人体动作的识 e ) * , a v e i 艇if ) w a v e l 姗t 图35 三种不同动作的m e i 和i 对比 3 3 基于m e i 和i 的行为识别 得到m e i 和洲i 之后，下面就可以蚍此作为标准来进行实现模板匹配方法。首先计 算m e l 和姗i 的整体特征，这里的实验中使用h u 矩( 第四章将详细讲述) 作为整体特 征，通过分别计算m e i 和i 得到其相应的特征向量，并将这些已知的图像特征向量作 为匹配的标准。本文的数据库中有1 0 种不同的动作，所以得到l o 组标示不同动作的特 征向量。然后对于测试的图像分别计算其m e i 和州r 与每一组标准特征向量的中对应 图像的马氏距离( m a h a l a n o b i sd i s t a n c e ) ，并将二个值进行加和。在计算完成了所有 的l o 组之后，取其和的最小值，记录最小值对应的标准动作。 马氏距离的定义如下： d f ( x ，y ) = ( z 1 一y 1 ) 2 + ( z 2 一y 2 ) 。+ + ( x p y ，) 2 = ( x y ) 。( r y ) ( 3 31 ) 式中( 置，z z ，z 。) 和( h ，儿，y 。) 分别丧示两个不同的多维特征向量，其得到的距离 d ，( x ，y ) 则是识别的标准。 这样，最小值所对应的已知特征向量则作为匹配的结果。b o b i c k 和d a v i s 0 1 以m e i 和旧i 作为模板匹配的基础，使用该方法能够有效地识别1 8 种有氧动作中的1 5 种 ( 8 33 ) ，应该说利用m e i 和m h i 作为模板来识别动作i 生能是比较好的。在这里，有一 3 人体动作硕士论文 点需要注意到，在他们的实验中，所使用的视频数据中的动作基本上都是一次完成的过 程，无动作周期循环。而本文采用上述的方法，做了基于m e i 和m h i 的