（电路与系统专业论文）基于字典和马尔可夫逻辑网的行为分类方法研究.pdf

u n i v e r s i t yo fs c i e n c ea n dt e c h n o l o g yo fc h i n a ad is s e r t a t i o nf o rm a s t e r sd e g r e e b e h a v i o rc l a s s i f i c a t i o nb a s e d o nw o r d b o o ka n dm a r k o v l o g i cn e t w o r k a u t h o r sn a m e ：h a i x i a nl u s p e c i a l i t y ：c i r c u i t s & s y s t e m s s u p e r v i s o r ：p r o f l i g u o f i n i s h e dt i m e ： m a y1 0 m ，2 0 1 2 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名： 延。亟筮z 签字日期：塑12 ：6 12 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 j 么开口保密( 年) 作者签名：垦ii 鱼色 导师签名： 签字日期：鲨! 兰! 氐签字日期：盟 摘要 摘要 人体行为分析技术是计算机视觉研究的重点和难点。它在智能豁控，人机交 互等领域有着广阔的应用前景。目前大部分人体行为分析方法都是直接对图像或 者视频r r i 的底层特征作分析，例如形状，轮廓等。本文钊对人体行为分析r f l 的个 体行为分析问题，提出了一利基于字典的字袋特征描述方法。利用字袋特征和主 题分析算法将人体运动视频中的一种底层特征时空兴趣点特征，转化为含有 语义的高级特征主题分布特征，使用主题分布特征对单人行为进行分析。并 且在此基础上，用马尔可夫逻辑网对双人行为进行分析。 本文的主要的工作和特色如下： 1 ) 针对传统的时空兴趣点提取算法会提取出噪声点的问题，提出了- z o o 噪 声点去除算法。噪声点是由于摄像机本身自带的噪声和相邻的帧的运动 导致的。根据这两种情况，分别提出了设置阈值和去除前景以外兴趣点 的方法来剔除噪声点。实验表明，在w e i z m a n n 数据库上，这种算法使 得提取出的时空兴趣点数量减少约4 0 5 0 ，但是并不影响最终异常行 为分析的结果。 2 ) 针对时空兴趣点的3 d s i f t 特征提取算法运算量较大，不能满足异常行为 检测的实时性问题，采用双核并行计算时空兴趣点的3 d s i f t 特征。首先 把视频中的时空兴趣点分给两个任务，双核并行计算每一个任务的时空 兴趣点特征，最后把两个任务所得的结果结合起来。实验表明这种并行 算法可以节省大约3 0 4 0 的运算时间。 3 ) 针对时空兴趣点作为视频的底层特征，并不能给出视频语义特征的问题。 把时空兴趣点看作单词，用字袋模型将视频文件演变成文档，然后采用 自然语言处理中的p l s a 算法和l d a 算法提取该“文档”的潜在主题 特征。实验表明，潜在主题作为视频特征含有部分语义信息。 4 ) 针对双人交互行为分析的问题。首先将双人行为分解为两个单人行为， 然后使用一阶逻辑推理模型，通过对两个单人行为的推理得到双人行为 的类别。与传统的推理算法相比，马尔可夫逻辑网不仅能给出命题是否 成立，更能给出命题成立的概率。因此使用该模型对双人行为进行概率 推理，不仅能得到双人行为的类别，还能得到双人行为属于某类的概率。 最终实验在u t 数据库下进行，取得了一定识别率。 关键词：时空兴趣点，字袋模型，p l s a ，l d a ，马尔可夫逻辑网 a b s t r a c t a b s t r a c t h u m a nb e h a v i o ra n a l y s i si st h ef o c h s a p p l i c a t i o np r o s p e c t si nh u m a n - c o m p u t e r p r e s e n t ，m o s to ft h er e s e a r c h e sa n a l y z e o fc o m p u t e rv is i o nr e s e a r c h i th a sb r o a d i n t e r a c t i o na n di n t e l l i g e n tm o n i t o r i n g a t h u m a na c t i o nd i r e c t l yo nt h eu n d e r l y i n g c h a r a c t e r i s t i c so ft h ev i d e oo ri m a g e ，s u c ha ss h a p ea n dc o n t o u r i nt h i sp a p e r , t h e w o r d b o o ka n db a g o fw o r d sf e a t u r ea r eu s e df o r t h ei n d i v i d u a lb e h a v i o ra n a l y s i s t h e b a s i cf e a t u r eo ft h eh u m a nm o t i o nv i d e o - - s p a t i a l t e m p o r a li n t e r e s t p o i n t s ，i s t r a n s f o r m e di n t oa d v a n c e df e a t u r e s - - t o p i cd i s t r i b u t i o n ，w h i c hc o n t a i n st h es e m a n t i c i n f o r m a t i o n ，b yu s i n gt h eb a g - o f - w o r d sm o d e la n dt o p i ca n a l y s i sa l g o r i t h m s a tl a s t ， w eu s et h et o p i cd i s t r i b u t i o nf e a t u r e sf o ro n e - m a nb e h a v i o ra n a l y s i s a n db a s e do ni t ， w eu s em a r k o vl o g i cn e t w o r kf o rt w o m a nb e h a v i o ra n a l y s i s t h em a i nw o r ka n dc h a r a c t e r i s t i ca r ea sf o l l o w s ： 1 a st h et r a d i t i o n a ls p a t i a l t e m p o r a li n t e r e s tp o i n t s e x t r a c t i n gm e t h o dm a y e x t r a c tr e d u n d a n tp o i n t s ，ar e d u n d a n tp o i n t sr e m o v i n ga l g o r i t h mi sp r o p o s e d t h er e d u n d a n tp o i n t sa r ec a u s e db yt h en o i s eo ft h ec a m e r aa n dt h e m o v e m e n ti nn e i g h b o r i n gf l a m e a c c o r d i n gt ot h e s et w oc a s e s ，w ep r o p o s e t w om e t h o d s ：s e t t i n gat h r e s h o l da n dr e m o v i n gt h ep o i n t sw h i c ho u t s i d et h e f o r e g r o u n d t h ee x p e r i m e n ti sb a s e do nw e i z m a n nd a t a s e t sa n di ts h o w st h a t t h en u m b e ro fi n t e r e s tp o i n t sd e c r e a s e db y50 ，a n dt h ea c c u r a c yo ft h e a n a l y s i si si n f l u e n c e dl i t t l eb yi t 2 a st h ec o m p u t a t i o no fs p a t i a l t e m p o r a li n t e r e s tp o i n t s sf e a t u r ee x t r a c t i n gi s t o ol a r g e ，w ec a l c u l a t ei tb yu s i n gd u a l - c o r ec p u t h ew h o l et a s ki sd i v i d e d i n t ot w os m a l lt a s k s e a c hc o r ec a l c u l a t e so n et a s k a n da tl a s t ，w em e r g et h e r e s u l t so ft h e m t h ee x p e r i m e n ts h o w st h ec o m p u t a t i o nt i m ei sd e c r e a s e db y 4 0 3 a st h es p a t i a l t e m p o r a li n t e r e s tp o i n ti st h eb a s i cf e a t u r eo fv i d e o ，i tc a nn o t g i v et h es e m a n t i ci n f o r m a t i o n w eu s et h eb a g o f - w o r d sm o d e l ，t r e a t i n gt h e v i d e oa sd o c u m e n ta n di n t e r e s tp o i n ta sw o r d u s i n gt h ep l s ao rl d am o d e l a b s t r a c t t oe x t r a c tt h et o p i cd i s t r i b u t i o no ft h e “d o c u m e n t ”t h ee x p e r i m e n ts h o w s t h a tt h et o p i cd i s t r i b u t i o nf e a t u r ec o n t a i n ss o m es e m a n t i ci n f o r m a t i o n 4 。t os o l v et h ep r o b l e mo ft w o m a l lb e h a v i o ra n a l y s i s w ef i r s tt r e a t t h eo n e - m a nb e h a v i o rs e p a r a t e l ya n dt h e nu s et h em a r k o vl o g i cn e t w o r kt o i n f e rt h et w o m a l lb e h a v i o r c o m p a r e dw i t ht h et r a d i t i o n a li n f e ra l g o r i t h m t h em a r k o vl o g i cn e t w o r kc a nn o to n l yg i v et h e r i g h t o r n o a n s w e ro f t h ep r o p o s i t i o n ，b u ta l s oc a r lg i v et h ep r o b a b i l i t yo fi t t h ee x p e r i m e n ti s b a s e do nu td a t a s e t sa n dc a r lg e tah i g ha c c u r a c y k e y w o r d s ：s p a t i a l - - t e m p o r a li n t e r e s tp o i n t ；b a g - o f - w o r d s ；p l s a ；l d a ；m a r k o v l o g i cn e t w o r k 目录 目录 摘要i i a b s t r a c t i v 目录v i 图表目录v i i i 第1 章 1 1 1 2 】3 1 4 1 5 1 6 第2 章 2 1 2 2 2 3 2 4 2 5 2 6 2 7 第3 章 3 1 4 1 4 2 绪论1 引言1 研究背景和意义1 人体行为的困内外研究现状4 人体行为分析技术概述5 论文结构安排8 1 5 1 论文的研究内容8 1 5 2 论文的章节安排1 0 本章小结1 1 时空兴趣点的提取1 3 引言13 本文采用的人体行为分类方法1 3 常用的视频底层特征14 2 3 1 形状特征1 4 2 3 2骨架特征15 2 3 3 光流特征18 时窄兴趣点的提取18 2 4 1 提取时空兴趣点1 8 2 4 2 冗余点的去除2 0 3 d s i f t 特征提取2 1 2 5 13 d s i f t 特征2 2 2 5 2 特征提取的并行优化2 4 2 5 3 特征提取算法的实现2 5 实验结果与分析2 6 本章小结2 8 字袋模型和p l s a 模型2 9 引言2 9 字袋模型和潜在主题2 9 3 1 1 字袋模型2 9 3 】2 潜在主题模型3 0 l s a 算法和p l s a 算法31 目录 3 1 3 l s a 算法31 3 1 4 p l s a 算法3 2 3 1 5 使用e m 算法求解p l s a 3 3 3 2 p l s a 模型用j j 二单人行为分类3 5 3 3 实验结果与分析3 6 3 4 本章小结41 第4 章l d a 模型4 3 4 1 引言4 3 4 2d i r i c h l e t 分布4 3 4 3 l d a 模型4 4 4 4 实验结果与分析4 7 4 5 本章小结5 1 第5 章基于马尔可夫逻辑网的双人行为分析5 3 5 1 引言5 3 5 2 双人行为分析和一阶逻辑推理的关系5 3 5 2 1 一阶逻辑5 4 5 2 2 基于一阶逻辑的双人行为推理5 5 5 3 马尔可夫逻辑网5 6 5 3 1马尔可夫网5 6 5 3 2一阶逻辑映射到马尔可夫网上5 7 5 3 3 马尔可夫逻辑i ：i ；9 的求解5 9 5 3 4 马尔可夫逻辑网的权值学列方法6 0 5 4 马尔可夫逻辑刚用于双人行为分类6 l 5 5实验与分析6 3 5 5 1 a l c h e m y 系统简介6 3 5 5 2 实验结果6 5 5 6本章小结6 8 第6 章总结与展望7 l 6 1 全文总结7 1 6 2未来展望7 2 参考文献7 5 致谢8 1 在读期间发表的学术论文与参加的工作情况8 3 图表目录 图表目录 图目录 图l 一1 日常生活巾的智能监控系统2 图1 。2 家庭生活中的崎控系统3 图l 一3 ：行为识别在人际交互技术中的应用3 图卜4 ：单人行为分析流程图一9 图卜5 ：双人行为分析算法流程一9 图2 1 视频图像1 4 图2 2背景图1 5 图2 3 减背景法求得的前景结果1 5 图2 4 包含1 6 个点的骨架节点图1 6 图2 5 运动图像1 6 图2 - 6 前景图17 图2 7 轮廓跟踪的结果1 7 图2 8 星型骨架17 图2 - 9 光流法用于汽车检测18 图2 。1 0 ：把运动的视频文件看作一个3 为目标，对其提取时空兴趣点1 9 图2 1 1 ：跑步视频中某一帧提取出的感兴趣点示意图1 9 图2 1 2 变化像素值序列通过g a b o r 滤波器的响应2 0 图2 一1 3 ：经过冗余点去除后后，所得到感兴趣点。2 1 图2 1 4 统计时空兴趣点邻域的梯度方向示意图2 2 图2 1 5 ：图说明经纬线将球面分成了面积大小不一区域2 3 图2 1 6 采用正2 0 面体的方法提取出的3 d s i f t 特征示意图2 4 图2 1 8 时空兴趣点提取算法流程图2 5 图2 。1 7 ：3 d 。s i f t 特征提取算法的并行实现2 5 图2 1 9w e i z m a n n 数据库中部分视频中的时空兴趣点的示意图2 7 图3 1 潜在主题模型示意图3 1 图表目录 图3 2 ：p l s a 算法用于行为分析流程图3 6 图3 3w e i z m a n n 数据库巾的行为示意图3 7 图3 4 ：使用p l s a 模型进行主题分析的结果示意3 8 图3 5 ：主题分布为1 0 和1 5 时，r u n 和s k i p 主题分布示意3 9 图4 1l d a 模型的文档生成方式4 5 图4 2 ：l d a 算法用于行为分析的算法流程4 7 图4 3 ：k t h 数据库在本章算法下求得的潜在主题示意图4 8 图4 - 4 ：w e i z m a n n 数据库在本章算法下求得的潜在主题示意图4 9 图4 5 ：主题数模设为1 0 和1 5 时，r u n 和s k i p 的主题分布5 0 图5 1 两个单人行为可以推理出双人行为5 3 图5 - 2 一阶逻辑与马尔可夫网组成元素的对应关系5 7 图5 3 吸烟例子所形成的马尔可夫逻辑网5 8 图5 4 ：本章提出的双人行为分析算法流程图6 2 图5 5u t 数据库中的视频6 5 图5 - 6 时空兴趣点的提取及其分类，不同符号表示这个点属于不同的人6 6 图5 7 ：双人行为的主题分布，不同的颜色表示该点属于不同的主题6 6 图表目录 表目录 表格1 1 在e i 数据库巾从2 0 0 2 年开始基于人体行为发表的论文数日5 表格2 1 算法优化后时窄兴趣点的数量和运算时间2 7 表格3 1 ：使用文献 2 8 巾方法所得分类准确率4 0 表格3 2 ：使用木章介绍的方法所得分类准确率4 0 表格4 1 ：使用l d a 模型对w e i z m a n n 数据库的分类结果5 0 表格5 1 ：命题的自然语言，一阶逻辑描述，合取范式的表达方式5 5 表格5 2 ：训练时a l c h e m y 的命令一6 4 表格5 3 ：推理时a l c h e m y 的命令6 4 表格5 4 单人行为聚类结果6 7 表格5 5 ：双人行为识别的结果6 8 第一章绪论 第1 章绪论 1 1引言 作为计算机视觉研究的前沿方向，智能视觉系统越来越受到人们的重视。智 能视觉系统模仿人类的视觉感知能力，能够对其拍摄到的图像和视频进行分析， 从而得出视频中发生的事件。行为分析就是其中一个重要的任务。 在众多目标行为分析研究中，人体的行为分析无疑是最常见的一种。从技术 角度来讲，人的行为分析涉及了许多学科，包括图像处理，模式识别，图形学， 心理学等。而从研究内容来讲，人的行为分析方法也分为很多方向，例如群体行 为和个体行为等。群体行为分析针对场景下有很多人的情况，对其中大多数人的 行为不作具体分析，而是通过对他们的整体行为所呈现的特征进行分析，如人流 方向等；个体行为分析一般是指针对单个行为的分析，一般需要对具体个人的具 体姿态或者轨迹等进行分析。通常情况一卜，在多人的交互行为中，由于他们的动 作互相有关联，而且对他们的分析也要精确到具体行为，因此也被认为是个体行 为。本文的主要的研究内容就是使用基于字典和字袋特征对单人行为进行分析， 以及采用马尔可夫逻辑网对双人交互行为进行分析。 本章首先介绍人体行为分析的研究背景和意义，常用的几种行为分析方法以 及它们之间的差异；然后在前人的基础上，介绍基于字袋特征的行为分析方法； 最后给出本文的算法框架。 1 2研究背景和意义 视频中的行为分析是近年来智能视觉系统研究的重要方向，目的在于从视频 中找出场景中发生的事件。而在众多事件中，人的行为无疑是十分重要的一种。 人类的行为又可以分为群体行为和个体行为，日常生活中，群体性事件发生的概 率并不大，而且应用场合有限，而少数人的个体行为的应用却十分广泛。例如人 机交互技术用于游戏娱乐。还有异常行为检测用于智能监控，例如某人突然摔倒 了，又或者是两人之间出现打架行为等，检测出这些行为，然后实时报警，对社 会的稳定和谐都大有帮助。 目前，人体行为的分析的最常见的应用就是智能监控系统和人机交互技术。 智能监控系统用于检测场景下的异常行为，以保证社会的稳定安全；人际交互技 术则用于家庭生活，游戏娱乐等，以保证家庭生活的轻松愉快。智能监控系统现 在已经得到了很广泛的应用，而人机交互技术目前虽然很少投入到现实应用，但 1 第一章绪论 已经是未来重要的研究方向之一。 智能监控系统是人体行为分析技术的一个很重要的应用，为了构建一个安全 的生活环境，很多公共场合都会设立摄像头监听器来对此处的事件进行监控。然 而，这些措施只能在案件发生以后才能显示出作用，一般用于证据的提取。而如 果要做到实时的豁憝7 租在时间发生的当时就能提供报警，那么就得派专职人员 轮流值守，其工作十分辛苦。而且当摄像头安装过多的时候，值班人员几乎不可 能对每个摄像头面面俱到。据统计，约4 0 的犯罪分子倾向予在封闭系统内 作案，而其中大部分都不能及时被报警。鉴于传统的监控设施在浪费人力资源的 同时，并不能得到很好的监控效果，在这些场景下的智能监控系统便越来越受到 人们的重视。 图1 1 日常生活中的智能监控系统 r e g u n a t h a n 2 j 等人试图通过对音频数据对此类场景中的异常行为进行分析， 取得了不错的效果，然而相比于视频信息，音频信息所丢失的信息量更大，所以 通过视频来对该类场景的行为进行研究是十分必要的。视频智能监控系统与传统 的人为监控不同，它首先获得场景下的视频流信息，然后利用图像处理，模式识 别等知识，对视频中的物体的行为进行分析，从而达到对场景监控的效果。对智 能监控系统而言，其最关键的技术就是人体行为分析技术。 家庭生活中的人体行为分析，尤其是老人或者小孩的危险行为的分析也十分 重要，类似于老人你摔倒或者小孩靠近电源插座等行为的检测和报警，也是人体 行为分析技术所要解决的问题。总之，人的行为分析在日常生活和科学研究中有 着十分广泛的应用，例如下面几种应用等： 1 智能监控 目前，公共场合监控系统主要功能还是以记录事件为主。而对于一些异常事 件，当事情已经发生时再去寻找发生缘由可能已经为时已晚。而传统的监控系统 需要由专职人员轮守，也浪费了不少人力与精力。因此，由机器代替专职人员， 实时的提供异常警报，成为了研究的热点。通过对场景内的事件进行分析，智能 监控系统可以实时的提供异常行为警报，有的甚至能提出预警，使得犯罪行为无 2 第一章绪论 法进行下去。 2 家庭安伞 随着现代社会的高速发展，很多家庭生活用品给我们日常生活带来了极大的 便利，尤其是电器产品。但同时，这些产品也给家庭带来了安伞隐患。例如小孩 经常会与危险的电源接触，煤气或者电源忘记关闭而导致爆炸等。同时，由于现 代的很多家庭都有楼层，老人在楼梯上摔倒也时有发生。这些行为从某种意义上 讲也可以认为是危险性行为。相比公共场合的异常行为，家庭内的危险性行为发 生概率要低，但是几乎都直接危害人们生命安全，因此在家庭生活中人体行为分 析也十分有应用价值。 图1 2 家庭生活中的监控系统 3 人机交互 人际交互技术是未来很有潜力的研究方向之一，通过利用对摄像机前的人的 行为进行分析，计算机智能的给出一个反馈，这样的系统叫做人际交互系统。这 样的系统在游戏娱乐，电子保姆等未来的产品中，将会是主要的技术之一。而人 的行为分析技术是人机交互技术的基础。 图1 3 ：行为识别在人际交互技术中的应用 4 其它行业 除了涉及到人们生命财产安全和游戏娱乐等应用外，人体行为分析技术还能 协助管理者实行更方便的管理。例如自动检测在上班期间偷懒的行为，或者在超 市里面把东西拿下来却没有放回正确位置的行为。智能监控系统应用在这样的场 合，更像是一个辅助的管理系统，而且这样的系统相比智能监控系统，应用的范 3 第一章绪论 围更加广。因此行为分析在辅助管理方面也很有应用前景。 总的来说，人的行为的分析在很多场合都有广阔的应用前景，而由于各场合 所发生的事件类型的不同，人体行为分析的所采用的方法和侧重点也大多各不一 样。 1 3人体行为的国内外研究现状 基于视频的行为分析最早是用于军事用途的，1 9 9 7 年，美国国防高级研究 项目署( d a r p a ) 启动了视觉监控项目v s a m ( v i s u a ls u r v e i l l a n c e a n d m o n i t o r i n g ) u j ，该项目由c m u 主导，试图在杂乱的环境中使用视频理解的技术， 使用多个摄像头和多种传感器来监控这些场景，达到对它们的信息的掌握。之后， 许多美国的大学也逐步开始了对智能监控系统的开发和研究，如美国西北大学 ( n o r t h w e s t e r nu n i v e r s i t y ) h j 的i v p l 实验室从数字视频流中提取出有用的语义信 息并把它应用到智能远程监控系统中去。 早期的行为分析技术主要用于军事项目，后来行为分析技术便开始走进日常 生活。例如v s a m 项目后来就被应用到了城市中去，通过对城市车辆进行监控 以达到城市安全的需要。而c m u 也开始了另外一个国家项目h u m a n i d ( h u m a n i d e n t i f i c a t i o na tad i s t a n c e ) 1 5 1 的研究，该项目将心理学中的一些结论用到智能监控 上面，试图通过对人的面部表情，动作姿态和运动轨迹等特征米实现人体行为的 检测。其目的是为了在一些犯罪分子或者恐怖袭击之前就能通过监控系统提前响 起预警，从而阻一j 卜他们对普通群众的危害。而中央弗罗里达大学基于这样的思想， 开发出的k n i g h t 系统已经成功用于公安系统。 欧洲对人体行为分析的应用则主要用于民生方面。英国的雷丁大学【7 】针对个 人异常行为和群体异常行为，研究了基于视觉安全威胁的估测算法，先后开展了 i s c a p s ( i n t e g r a t e ds u r v e i l l a n c eo fc r o w d e da r e a sf o rp u b l i cs e c u r i t y ) 和r e a s o n ( r o b u s tm e t h o d sf o rm o n i t o r i n ga n du n d e r s t a n d i n gp e o p l ei np u b l i cs p a c e s ) 等项目 的研究。这些项目打算把智能监控的技术用到交通监控、医学分析、电子消费、 家庭安全等一系列的现在智能系统。很多国家的很多大学都参与了这些项目，并 且有不俗的进展。其中比较著名的是a d v i s o r 8 1 项目，它针对的是机场地铁等 人群密集的区域的异常行为分析。总的来说，国外对监控系统中的异常行为的研 究是十分重视的。 相比于国外，国内的行为分析研究起步较晚，但也已经取得了不少成就，例 如中科院自动化所的生物识别与安全技术研究中心c b sr 【9 j 在该领域取得了不小 的成果，其中包括人的动作行为的异常发现，车辆的跟踪与异常发现，场景内异 常物体的跟踪以及人流车流等群体异常的检测。国家8 6 3 项目中也逐渐在增加关 4 第一章绪论 于行为检测的项目。2 0 0 8 年北京奥运会，已经有部分异常行为检测的技术用于安 保工作，这也是国内首次将此技术用于如此大的场合。国内在人体行为检测技术 上起步虽晚，但也逐步在向世界顶尖行列迈进。 于此同时，各大国际会议和期刊在人体行为分析方向上发表的论文也逐年增 多，国际项级会议和权威期刊都已经有了关于人体行为识别的专题，并将其作 为目前和未来主要的研究内容之一，如i c c v 、i c p r 、e c c v 和p a m i 等。此外， i e e ei n t e m a t i o n a lw o r k s h o pp e r f o r m a n c ee v a l u a t i o no ft r a c k i n ga n ds u r v e i l l a n c e 还 特别构建了p e t s 数据库用来对各种监控系统进行评测。国内也召开了不少会议 来探讨视频中的运动前景提取、人体识别和跟踪、姿态的语义、智能视频监控等 方面内容，如智能视觉监控学术会议、模式识别会议等。表格1 1 列出了在e i 检索中，从0 2 年至1 1 年，人体行为分析相关的文献的数量。这里可以看出人体行 为识别在学术界越来越受到重视。 表格1 1 在e i 数据库中从2 0 0 2 年开始基于人体行为发表的论文数目 y e a r 爹誉萝荸擎梦梦p亨 2 0 1 2e i 科n o 1 4 人体行为分析技术概述 姗恤撇峨啪瑚雠搬锵湖狮雠啪嘲嘲瑚嘲啪棚黜鼬啪o 2 2 2 1 1 1 ，1 1 1，1， 口- l o u m 叱 第一章绪论 基于视频的人体行为分析技术是指通过对视频文件特征分析，获得视频r 卜人 物的行为类别的技术。这里的类别不一定是很具体的类别，例如在异常行为分析 中，类别只有“正常”和“异常”两种。 从分析的方法上来讲，行为的分析可以分为两利t 。一种是基于概率统计的方 法，另一种是基于模板匹配的方法。 基于概率统计的方法在近几年才出王见，一般用于异常行为分析。b a i d i l l 0 1 采 用贝叶斯网络的方法，通过寻找视频序列中能引起人注意的区域( 一般是指后验 概率远大于先验概率的地方) ，把区域中的目标作为异常目标，其行为属于异常 行为。v o o r h i e s 采用自底向上的方法对视频中的目标进行惊奇计算，把那些惊 奇度比较高的目标定义为异常目标。夏凡【l2 】等人将心理学中的理论用于异常行为 识别中，通过概率推理来对欺骗行为进行分析。总的来说，基于概率统计的异常 行为检测方法虽然可以得知场景中是否存在异常，但却无法得知场景中的异常属 于那种异常，最终的结果仍然需要人为再次判定。 基于模板匹配的方法出现得较早，技术也相对比较成熟。该方法首先对训练 视频进行特征提取与建模，然后建立人体的行为数据库。当待识别的视频来到时， 用相同的方法对其进行特征提取，然后与数据库中的行为作比较，或者使用分类 器得到该视频中人的行为所属的类别。 一种典型的模板匹配方法是利用骨架特征作为人的行为特征，利用骨架特征 进行特征匹配，然后确定该行为是属于那种类别。早在1 9 7 3 年，心理学家 j o h a n s s o n 1 3 】就采用在人体关节点处作标记的方法来求解骨架特征。骨架是人的 姿态特征中较为合理的特征，但目前却没有好的自动提取方法。m o e s l u n d 【1 4 ，”1 6 j 等人首先提取目标前景，然后再利用形态学的方法提取骨架，此方法运算量极大， 且受到视角的影响。c h e n 1 7 】利用星型骨架作为人体特征，通过计算轮廓中的点与 人体质心的距离，把距离取极大值的轮廓点看作是人体运动的节点，用这些节点 作为人的姿态特征，最后用矢量量化的方法进行匹配，该方法计算量很小，几乎 可以达到实时匹配。然后c h e n 在此基础上，将2 维的骨架拓展为3 维星型骨架【l 引， 以针对骨架提取与视角相关的问题，但是该方法的准确率也不高。因此，其它的 特征便越来越受到人们重视。 h u 等人【1 9 , 2 0 , 2 1 】采用人体剪影的图像矩作为姿态特征，该方法虽然运算时间 快，但是人体姿态复杂多变，并不能简单看作多边形处理，因此该方法准确率欠 佳。d a l a i 2 2 】采用梯度直方图作为人体姿态特征，f e l z e n s z w a l b 2 3 1 等人采用图像结 构作为人体姿态特征，这些方法与图像矩类似，需要准确的前景提取作为前提， 否则无法得到准确结果。m o s h e 2 4 , 2 5 , 2 6 1 等人提出使用时空兴趣点作为运动特征。 时空兴趣点提取算法首先在时间轴上用g a b o r 滤波器进行卷积，然后在求得能量 6 第一章绪论 值rr f l 选取极值点，作为时空兴趣点。时牢兴趣点算法对前景提取的精度要求 不高，且运算量相比其他特征较小，比较适合用于人体行为分析这样的实时系统。 得到时空兴趣点后，可用梯度直方图，光流直方图，或者3 d s i f t 特征 2 7 , 2 8 j 对每 一个时窄兴趣点提取特征。 时空兴趣点的另一个优势就在于处理的灵活性，p a u l 直接对时窄兴趣点进行 s v m 分类 2 8 】，以达到行为识别的目的。c n i e b l e s 眨0 1 则采用时窄兴趣点作为人 体的行为特征，采用b a g o f - w o r d s 模型进行行为的建模和分类。b a g o f - w o r d s 模 型是自然语言处理中一个常用的模型 3 0 , 3 1 , 3 2 j ，可以把视频看作文档，而时空兴趣 点则看作里面的单词，所以b a g o f - w o r d s 模型也越来越多的应用到视频处理中去。 其中很重要的一个应用就是行为分析。后来，在b a g o f - w o r d s 模型的基础上，主 题分析模型l s a ( l a t e n ts e m a n t i ca n a l y s i s ) 、p l s a ( p r o b a b i l i t i s t i cl a t e n ts e m a n t i c a n a l y s i s ) 、l d a ( l a t e n td i r i c h l e ta n a l y s i s ) 也开始应用到行为识别中去。主题模型 假设单词不是文档的基本组成元素，单词与文档之间还有一个隐含层称为主题 ( t o p i c ) 。l s a 使用s v d 算法p 土”，3 川，对文档单词分布矩阵b a g o f - w o r d s 进行奇 异值分解，然后将小值置0 ，再反变换得出文档主题分布。p l s a 采用概率模型 进行语义分析【36 ，”j ，相比l s a 算法仅仅采用奇异值分解的办法，显得更加直观 和容易理解。l d a 算法在p l s a 的基础上，假设文档的主题分布满足d i r i c h l e t 分布p8 l ，然后再用概率模型进行主题分析。 目前针对单人行为的分析的研究较多，然而在现实生活中，经常涉及到双人 行为分析( 例如打架，握手。拥抱等) ，而对这方面的研究工作较少。x i a n g 提 出了一种状态间可动态联接的马尔可夫模型( d y n a m i c a l l ym u l t i l i n k e dh m m ， d m l h m m ) 用于分析人与人之间的交互行为1 3 9 1 op a r k 针对双人行为分析，采用 贝叶斯网络先对单人行为进行识别，然后采用交互