（系统工程专业论文）基于隐马尔可夫模型的视觉行为分析和异常检测研究.pdf

硕士论文 基于隐马尔可夫模型的视觉行为分析和异常检测研究 摘要 视觉行为分析和异常检测是目前计算机视觉领域的研究热点和难点之一，对它的研究 尚处于起步阶段。本文主要研究特定场景的视觉行为分析和异常检测问题。异常事件一般 有较少发生、预料之外及与特定任务相关等特点，这些特点限制了传统的基于模型的方法 的应用。论文用连续隐马尔可夫模型( c h m m ) 来解决这个问题。隐马尔可夫模型在处理 同时具有空间和时间特性的数据流方面有独特的优势。本文在用连续隐马尔可夫模型对随 机时间序列建模的基础上进行行为分析和异常检测，所建模型用于检测特定场景中人的可 疑行为，过程分为以下几步：首先实王见场景中人的检测和跟踪，并进行特征提取；然后对 正常行为建立连续隐马尔可夫模型；最后通过概率的方法识别正常行为和检测异常行为。 在建模过程中，首先对正常行为的模型进行训练，其中模型的初始化过程中用到k - 均值聚 类的方法来确定状态数。用模型输出测试样本序列的概率来判断是否为异常行为。实验结 果表明连续隐马尔可夫模型可以比较准确的分类行为模式和检测异常行为。 关键词：视觉行为分析，异常检测，目标检测，目标跟踪，连续隐马尔可夫模型， k 均值 a b s t r a c t 硕士论文 a b s t r a c t v i s u a la c t i v i t ya n a l y s i sa n du n u s u a le v e n td e t e c t i o nh a sr e c e n t l ya t t r a c t e dw i d ea t t e n t i o ni n c o m p u t e rv i s i o n i nt h i st h e s i s ，w ea d d r e s st h ep r o b l e mo fv i s u a la c t i v i t ya n a l y s i sa n du n u s u a l e v e n td e t e c t i o n u n u s u a le v e n t sa r ec h a r a c t e r i z e db yan u m b e ro ff e a t u r e ss u c ha sr a r i t y ， u n e x p e c t e d n e s sa n dr e l e v a n c e ，w h i c hl i m i tt h ea p p l i c a t i o no f t r a d i t i o n a lm o d e l - b a s e d a p p r o a c h e s ， ac o n t i n u o u sh i d d e nm a r k o vm o d e l ( c h m m ) f r a m e w o r kw a sf o r m e dt os o l v et h ep r o b l e m t o d e a lw i t h s p a t i a l a n dt e m p o r a ld a t a , c h m mo u t p e r f o r mo t h e rm o d e l s t h es t o c h a s t i c t i m e - s e q u e n c er e c o g n i t i o nf r a m e w o r ko f t h ec o n t i n u o u sh i d d e nm a r k o vm o d e lf o r m st h eb a s i s o fa c t i v i t yr e c o g n i t i o na n da n o m a l yd e t e c t i o n n es y s t e md e t e c t ss u s p i c i o u sh u m a na c t i v i t yi na s c e n e t h es y s t e mi sd e s i g n e dt od e t e c ta n dt r a c kp e o p l ei nt h es c e n e ；a n dt h e nr e c o g n i z et h e n o r m a l a c t i v i t yi nt h es c e n e ；f i n a l l y , i td e t e c t sa n o m a l o u sa c t i v i t yb yf i n d i n gs u f f i c i e n t l yl a r g e d e v i a t i o n sf r o mt h en o r m a la c t i v i t yp a t t e r n s i nt h ef r a m e w o r ku s u a le v e n t sa r ef i r s tl e a r n e df r o m al a r g ea m o u n to ft r a i n i n gd a t a , w ea p p l yk - m e a n sc l u s t e r i n gi nt h e i n i t i a l i z a t i o no fc h m m a n o m a l i e sc a nb ed e t e c t e db yt h eu s eo fl i k e l i h o o ds c o r e sf o rc h m mr e p r e s e n t i n ga c t i v i t y p a t t e r n s e x p e r i m e n t a lr e s u l ts h o w s t h a to u rm e t h o da c c u r a t e l yf i n d st y p i c a lm o t i o np a t t e r n sa n d u n u s u a le v e n t s k e yw o r d s ：v i s u a la c t i v i t ya n a l y s i s ，a b n o r m a le v e n td e t e c t i o n ，o b j e c t sd e t e c t , o b j e c t t r a c k i n g ，c o n t i n u o u sh i d d e nm a r k o vm o d e l ，k m e a l l s i i 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人己经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均己在论文 中作了明确的说明。 研究生签名： 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名：互4 址细脾 月日 硕士论文 基于隐马尔可夫模型的视觉行为分析和异常检测研究 1 绪论 1 1 研究背景和意义 视觉行为分析和异常检测在安全监控、高级人机交互、视频会议、基于行为的视频检 索以及医疗诊断等方面有着广泛的应用前景和潜在的经济价值，是当前计算机视觉领域的 一个研究热点。例如可应用于对安全性能要求较高的场合，检测行人、车辆等目标物体并 判断移动目标的行为是否正常。目前视觉行为分析和事件检测研究成为视频处理一个重要 的研究方向。 事件蕴含了视频的主要内容，对视频中的事件进行分析最主要的就是进行目标检测， 如对人，车辆等目标的检测和特征提取，然后将这些特征结合到相关的模式识别任务中去。 对视频中的事件进行检测和分类，达到行为分析和异常检测的目的。隐马尔可夫模型 ( h m m ) 是处理有时空特性信号序列的重要模型，在语音识别领域的应用中取得了良好的 效果后，才被引用到视频的处理中并开始应用于视觉行为分析和异常检测中。 视觉行为分析和异常检测是科研工作者需要引起高度注意并且很具有挑战性的研究方 向。近些年来，这方面的研究虽然有一定的进展，但仍处于起步阶段，所以，仍需要寻找 和开发新的技术，以便在提高行为识别性能的同时，还能有效地降低计算的复杂度。 1 2 相关知识简介 事件检测与行为分析系统是一种智能视频分析系统。该系统能够对特定场合的视频进 行监测与异常行为分析，一般用在各种公共场所，包括机场、车站、港口、建筑物周围、 街道、小区等，用于检测、分类、跟踪和记录过往行人、车辆及其它可疑物体，并判断是 否有行人及车辆在监控区域内发生长时间徘徊、停留、逆行等行为，或人员奔跑、打斗等 异常行为。 理想的事件检测与行为分析系统应该能同时监测同一场景里多个目标的不同行为，可 以根据不同场景中要防范目标的特点进行灵活设置；系统能够适应不同的环境变化，包括 光照、季节、昼夜、天气等，并能够很好地抗摄像头抖动。 1 2 1 行为分析 通常，行为分析要以正确跟踪视频图像序列中的运动物体为基础，在视频中从帧到 另一帧成功跟踪运动物体后，从图像序列中提取运动目标的特征，然后通过有效的算法判 1 绪论 硕士论文 断和分析运动物体的行为，因此行为分析是一个更高层的工作。行为分析可以简单地看作 随时间变化的特征数据的分类问题【1 】。即把未知的测试序列和已经标定的一组参考序列( 表 示特定的行为) 来匹配。很显然，行为分析的基本问题是如何从训练样本中学习参考运动 序列，如何使训练和匹配方法有效的处理相似运动模式类中空间和时间上的小变化，保证 一定的时空范围内相近类型的行为模式能够得到有效处理，如何正确分类行为模式，检测 出异常行为，这些都是难点，并越来越得到研究者的重视。 1 2 2 异常检测( a b n o r m a ld e t e c t i o n ) 异常情况是一个相对概念，并没有典型的定义形式，一般是根据用户需要自定义的， 用户定义的异常情况通常有以下几种( 2 1 【3 】： 场景目标是否运动及其运动特性。如博物馆中监控文物的移动；机场长时间未被移 动的行李物品等。 异常目标。如机场跑道出现的除飞机以外的目标。 异常行为。如停车场、车站等公共场合的可疑行为等。 非常规事件，即与特定场合的常规事件有显著区别的事件。如交通监控系统遵循“车 辆走公路，行人走人行道”的规则，若检测到不符合该规则的事件均可被认为是非常规事 件。 。 目前异常事件的检测方法主要可分为基于模型的方法和基于分类器的方法两种。 基于模型的方法强调对异常事件的检测而非分类，它对正常( 异常) 事件建立相应的统计 模型，通过判断待检测事件是否符合该模型确定其是否为正常事件。该方法特别适合于其 中一类样本不易获取的情况，只对易获取的一类样本建模，根据新的样本是否属于该类别 确定检测结果。事件的建模是算法的关键，常用的模型有隐马尔可夫模型【4 】和混合高斯模 型【5 ( g m m ) 等。 基于分类器的方法强调对场景中事件的分类，通过构建合理的分类器，实现对正常和 异常事件的区分。如w u 6 等人采用支撑向量机分类器，实现了人群中奔跑、弯腰、招手等 动作的有效检测。t o n y l 7 等人采用基于人工神经网络的方法，对停车场中人的可疑行为进 行检测。 1 2 3 隐马尔可夫模型( h m m ) 对视频中行为的分类过程，可以被看作是一个模式识别的问题。模型的选择很重要， 模型依靠从视频中提取的目标物的特征来表示，模型的选择及其训练的方法一般是根据要 识别的行为来选取。对于事件的检测，我们常常需要选取带有时间动态特性的模型来表达， 2 硕士论文基于隐马尔可夫模型的视觉行为分析和异常检测研究 包含时域特性的隐马尔可夫模型足一种有效的模型。许多基于隐马尔可大模型及其推广形 式的方法被用来进行事件检测。 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ) ，作为一种有限状态的统计模型，最成功的 应用就是对时间序列进行建模，例如对语音信号的处理与识别【8 】。视频是一种时间序列信 号，这样我们就会想到可以利用隐马尔可夫模型对视频信号进行建模与分析。 近年来，隐马尔可夫模型越来越多的被应用于视觉行为分析和异常检测领域，与其他 应用相类似，在视觉行为分析中，隐马尔可犬模型的主要应用是对视频中目标物体的行为 进行识别和分类。 隐马尔可夫模型可以对时间特性和空间特性以及他们之间的相关关系建立模型。在隐 马尔可夫模型中，隐含状态及其状态转移矩阵可以用来描述时间的相关性，这表现为其中 一个随机过程一马尔可夫过程；空间特性则可以用观测变量以及观测概率来进行描述，这 表现为另一个随机过程。由此可见，利用隐马尔可夫模型对视频信号进行建模，能够对视 频信号中的时空信息进行描述和表示，并可以利用模型参数来对视频内容进行识别和分类。 目前，对视觉行为分析和异常检测的研究还不成熟，在模型的选择、训练等方面还存 在着许多不足，这给我们了留下了广阔的研究空间。 1 3 本文主要研究内容 视觉行为分析和异常检测是一个很宽泛的概念，本文对视觉行为分析和异常检测的概 念和主要方法做了一般性的研究和阐述，对隐马尔可夫模型进行了深入研究，主要研究了 隐马尔可夫模型的原理及建模方法。在此基础之上，对基于隐马尔可夫模型( h m m ) 的视 觉行为分析和异常检测进行了研究与探讨，将其应用在走廊的监控视频中，检测监控视频 中人的正常行为和异常行为。 论文首先用基于非参数模型的背景差分算法对视频中的目标进行检测，然后在对目标 物进行跟踪的基础上提取前景目标的特征，构成h m m 的训练样本，将视频中表示目标物体 的行为的特征序列与隐马尔可夫模型有机的结合起来。通过将视频中提取到的运动目标的 某种行为特征与隐马尔可夫模型中的隐含状态变量以及其它参数联系起来。在对隐马尔可 夫模型的参数进行训练的同时，完成了视频中正常行为事件的分类与异常事件的检测，取 得了较好的效果。 1 4 本文章节安排 l ( 本章) 主要介绍本文工作的背景以及主要研究内容。 1 绪论 硕士论文 2 介绍视觉的行为分析与异常检测的一般模型和方法及国内外研究现状，其中主要介 绍用隐马尔可夫模型的方法。 3 介绍运动目标的检测与跟踪的主要算法及检测和跟踪的实验结果。 4 介绍运动目标物体的特征选择和提取。 5 介绍本文的主要算法，即用隐马尔可夫模型的基本原理和经典算法，并详细介绍本 文的研究内容，用隐马尔可夫模型对视频中的运动物体一人的行为进行建模分析，检测和 识别异常行为。 6 回顾本文所讨论的内容，并对将来的工作提出一些设想。 4 硕士论文基- 丁隐马尔可夫模型的视觉行为分析和异常检测研究 2 基于视觉的行为分析和异常检测方法概述 2 1 国内外发展现状 行为分析和异常检测方面的研究尚处于起步阶段，要首先解决运动物体的运动分割、 跟踪、特征提取和识别等问题，这些都是视觉行为分析中的难点。 近几年来，视觉行为分析和异常检测技术在大量的世界刊物、国际会议和研讨会上占 据越来越重要的地位：c v i u ( c o m p u t e r v i s i o na n di m a g eu n d e r s t a n d i n g ) ，i j c v ( i n t e m a t i o n a l j o u r n a lo fc o m p u t e rv i s i o n ) ，i v c ( i m a g ea n dv i s i o nc o m p u t i n g ) 和p a m i ( i e e et r a n s a c t i o n so n p a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 等期刊，e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e r v i s i o n ) ，c v p r ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) ， i w v s ( i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a ls u r v e i l l a n c e ) ，i c c v ( i n t e m a t i o n a lc o n f e r e n c eo n c o m p u t e rv i s i o n ) ，和w a c v ( w o r k s h o p o na p p l i c a t i o n so f c o m p u t e rv i s i o n ) 等会议中视觉行 为分析都占据了较大的篇目。 目前我国在这方面的研究近几年才开展起来的。由s t e v ej m a y b a n k 和中科院自动化研 究所所长谭铁牛组织的i e e e 视觉监控专题讨论会也已经成功地举办了三届p j 。中国科学院 自动化研究所模式识别国家重点实验室己经成立智能视觉监控研究组。开展这方面研究的 目标是实现一个动态场景集成分析演示系统并最终推向实用。然而，该领域的行为分析和 异常检测方面的研究尚处于起始阶段。 视觉行为分析吸引了越来越多研究者的兴趣和重视。行为分析的大部分工作都是在检 测跟踪和对行为模式的识别中完成，本论文将对这两部分的工作进行较详细的介绍。 2 2 主要研究方法介绍 行为分析可以简单地认为是时变数据的分类问题，即将测试序列与预先标定的代表典 型行为的模型或考序列进行匹配。由此可见，行为分析的关键问题是如何从学习样本中获 取参考行为序列，并且选择最佳的学习和匹配的行为序列的方法。行为分析和异常行为事 件的检测的主要方法有： ( 1 ) 动态时间规整d t w ( d y n a m i ct i m ew a r p i n g ) u 】 d t w 具有概念简单、算法鲁棒的优点，早期被广泛地应用于语音识别中，并且最近也 用于视觉行为分析中。对d t w 而言，既使测试序列与参考序列的时间尺度不能完全一致( 序 列长度不等) ，只要时间次序约束存在，它仍能较好地完成测试序列和参考序列之间的模 2 基于视觉的行为分析和异常检测方法概述 硕士论文 式匹配。 ( 2 ) 有限状态机f s m ( f i n i t es t a t em a c h i n e ) f s m 最大的特点是有一个状态转移函数，它可以确定最佳状态，并用该状态确定测试 序列与参考序列是否匹配。 ( 3 ) 隐马尔可夫模型h m m ( h i d d e n m a r k o vm o d e l ) t l l 】 h m m 是更加成熟的匹配时变数据的技术，它是随机状态机器。h m m 的使用涉及到训 练和分类两个阶段。在训练阶段，h m m 模型采用参数极大似然估计的b a u m - - w e l c h ( 前向 一后向) 算法。般对于每一个行为类别，建立一个h m m 模型；在训练阶段h m m 的状态 数必须确定，对应的状态转移和输出概率也要在迭代和训练过程中进行优化；这样，生成 的模型符号才能和特定行为类别中所要测试的特征序列对应。匹配阶段涉及到个特定的 h m m 模型产生测试特征序列的概率计算。h m m 在学习能力和处理未分割的连续数据流方 面比动态时间规整( d t w ) 有更好的优越性，当前被广泛地应用于行为识别问题中。 ( 4 ) 人工神经网络( a n n ) 1 1 2 】 利用人工神经网络的方法是8 0 年代末期提出的一种新的模式识别方法。人工神经网络 ( 本质上是一个自适应非线性动力学系统，模拟了人类神经活动的原理，具有自适应 性、并行性、鲁棒性、容错性和学习特性，但由于存在训练、识别时间太长的缺点，目前 仍处于实验探索阶段。 ( 5 ) 时延神经网络t d n n ( t i m ed e l a yn e u r a ln e t w o r k ) t 1 3 】【1 4 】 t d n n 是分析时间变化数据的有效方法。有效数据集越大时，在神经网络上的时间信 息就被强调得越充分。t d n n 已经被成功的应用于于势识别和人说话时的唇形识别。 ( 6 ) 句法技术( s y n t a c t i ct e c h n i q u e s ) 【1 5 】 机器学习中的句法识别方法已经被广泛的运用到序列图像中上下相关的静态图片的模 式识别中了。近几年来，句法识别的方法经常用于行为识别。 ( 7 ) 非决定论有限自动机n f a ( n o n d e t e r m i n i s t i cf i n i t ea u t o m a t o n ) t 1 6 】 因为n f a 是一种简单的方法，并具有即时性和完全不确定性，可以把n f a 用作为一种 序列分析器，可用于多目标识别( w a 断u m a t s u y a m a ) 。 2 3 隐马尔可夫方法用于视觉行为分析和异常检测 大多数视频数据( 如新闻、体育、电影) 的结构都是短期相关与长期相关共存的，我 们所选择的模型和方法需要能同时体现视频的短期特征与长期特征，其中隐马尔可夫模型 得到了成功的应用。 6 硕士论文 基于隐r 马尔可夫模型的视觉行为分析和异常榆测研究 文献 1 7 中，在多摄像机监控的m a i l - r o o m 场景中，用耦合隐马尔可夫模型 ( c o u p l e d h i d d e nm a r k o vm o d e l ) 对多摄像机采集到的视频流进行建模，分析人正常取信 件及异常取信件的行为；文献 1 8 中，采用半监督自适应隐马尔可夫模型，监控场景为扑 克牌游戏场景，分析在打扑克场景中的违规行为；文献 1 9 】，也是基于半监督学习的方法用 h m m 对人的行为进行建模分析；文献 2 0 】中用离散隐马尔可夫模型( d h m m ) 对人的轨迹 进行建模，识别超市中正常购物者的行为和非正常购物的可疑行为；文献 2 l 】中用离散隐马 尔可犬模型( d h m m ) 对走廊中人的行为进行建模，对异常行为进行检测和识别。由此可 见，隐马尔可大模型已经开始应用在行为分析和异常检测中，并有了某些应用。 h m m 显著的优点是能处理不同长度的序列信号而不需要进行归一化，从而不破坏序列 时间特性。在学习能力和处理未分割的连续数据流方面有很好的优越性，当前被广泛地应 用于行为识别问题中。 2 3 1 隐马尔可夫模型的扩展模型 h m m 最先被用到语音识别领域，近十年来又被广泛应用到了模式识别的计算机视觉领 域。例如用h m m 方法识别人的手的运动轨迹【2 2 1 。在发展过程中，人们根据需要，对原始的 h m m 做了各种修改，因此h m m 出现了很多新的类型，例如：耦合隐马尔可夫模型( c o u p l e d h m m ) 、输入输出隐马尔可夫模型( i o h m m ) ，变长隐马尔可夫模型( v i a b l el e n g t hh m m ) 、 多观测隐马尔可夫模型( m u l t io b s e r v a t i o nh m m ) 、以及互信息量隐马尔可夫模型( m u t u a l i n f o r m a t i o nh m m ，m i h m m ) 、熵隐马尔可夫模型( e n t r o p i ch m m ) 、把核方法和h m m 结合的k e m e ih m m ，还有d y n a m i cl i n kh m m ( d h m m ) 。从h m m 家族的壮大就可以看 出这种方法的优越性和普适性。 2 3 2 基于隐马尔可夫模型的序列信号分析 对视频中信号的分析一般是对序列信号的分析，主要包括以下三个方面：序列的识别、 连续序列切分和序列的聚类。 序列识别是最常见的序列分析应用，例如基于h m m 的语音识别f 2 3 1 、手写体识别【2 4 1 ， 以及在图像处理领域的手势识别2 5 1 、监控视频分析【2 6 】等应用。文献【2 7 】中使用h m m 对多类 不同的人体运动序列进行建模，通过对人的步态图像序列进行建模分析人的不同步态。在 这些识别应用中，近几年较多的使用h m m 模型，因为该模型有表达能力强、模型简单、计 算方便等优点，在语音、图像识别应用中效果好于d t w 等其它方法【2 8 1 。 在有些问题中，系统的输入是连续的没有切分的序列，它需要切分后才能得到正确的 识别结果。 7 2 基丁视觉的行为分析和异常检测方法概述硕士论文 另一个问题是h m m 建模之前，要对由多种序列混合而成的复杂时间序列训练集进行聚 类。聚类作为一种非监督学习方法，可以使计算机在没有人工干预的情况下理解时间训练 样本集的结构，是人工智能发展的方向。聚类的同时还对每种典型序列进行h m m 建模。通 过聚类结果，可以提取出其中的典型序列和对应的h m m 模型。 本文着重研究基于h m m 的序列的建模方法，应用h m m 的前提是首先要假设其中的马 尔可夫过程是一阶的，即状态转移过程中，时刻f 的状态只和时刻乒珀勺状态有关。例如，h m m 方法在应用于识别手势序列、手写体数字、监控视频中的人体运动以及运动员的身体姿态 变化时，都假设特征序列的状态转移是满足一阶马尔可夫性的。h m m 模型方法通过样本相 对于模型的输出概率尸p ia ) 来判断样本到模型的相似度，可以广泛地应用于多种时间序列 的分析应用。 2 4 视觉行为分析和异常检测问题的一般步骤 行为分析问题涉及到人的运动分割、运动跟踪、行为识别三个主要步骤，其系统结构 如图所示。 图2 。l 系统结构图 2 4 1 运动目标检测 对于基于视觉的行为分析和异常检测问题，几乎每个系统都从运动目标的检测开始的 2 9 1 。运动目标检测就是从图像中分割运动区域，这在视觉行为分析系统中是一个重要的过 程，此后的处理如跟踪和特征提取在很大程度上都要依赖它。这一过程通常包括运动分割 和目标物分类。 ( 1 ) 运动目标检测 视频序列的运动目标检测是视频图像处理中一个重要而困难的问题。在视频监控系统 中，它要完成的任务是检测视频中运动目标物体所对应的区域( b l o b ) ，检测出的运动块 是下一步的目标物跟踪和目标物行为分析的关键信息源。运动目标检测中，不能仅简单考 虑图像中运动物体对应的像素变化，天气、光线、阴影以及目标物的遮挡等因素都会给运 动切割的高效性和可靠性带来影响。 硕士论文基于隐马尔可夫模型的视觉行为分析和异常榆测研究 ( 2 ) 目标物分类 不同的运动区域在监控场景中对应不同的运动目标物。例如，在一个场景中，捕捉到 的视频序列图像中有人，交通工具，动物等，正确地把运动目标物同其他运动物体区分出 来，对于迸一步的跟踪和事件分析来说，是非常重要的。 2 4 2 运动目标跟踪 视频流中的物体跟踪是计算机视觉领域中一个热门问题。跟踪是行为分析中非常重要 的一步，是行为识别的前提和基础。和运动目标的检测相比，目标物的跟踪属于较高层的 视觉问题。但是行为分析中，跟踪算法通常和处理过程中的运动分割有很大的相同之处。 在时间域上的跟踪，包括在后续帧上使用如点、线或区域的特征匹配物体，也就是说，跟 踪可以被看作是根据位置、速度、形状、纹理、颜色等建立帧之间图像特征的内在联系。 常用的数学工具包括k a l m a n 滤波器，c o n d e n s a t i o n ( c o n d i t i o n a ld e n s i t yp r o p a g a t i o n ) 算法， 动态b a y e s i a n 网络等。 跟踪可以根据不同标准被分为不同种类。就跟踪物体而言，跟踪可以分为人体部位跟 踪，如手、脸、腿和整体跟踪；如果根据视点数目，可以分为单视点和多视点，全方向视 点跟踪。跟踪同样可以参照其他标准，如跟踪空间的维数( 2 d 或3 d ) ，跟踪环境( 室内或 室外) ，跟踪人数目( 单人、多人、组人) ，摄像机状态( 移动或静止) ，传感器的多样 性等进行分类。 2 4 3 行为识别 目标物检测，目标物分类和目标物跟踪，作为视觉行为分析中的基本环节还存在着很 多问题，有待进一步解决和完善。但是，它并不影响同时展开对行为分析和异常检测问题 的研究。 对于人体行为或动作识别，主要有两种方法，一种方法是模板匹配方法，另一种是状 态空间方法。 ( 1 ) 模板匹配方法【3 0 】 基于模板匹配的方法首先把一个图像序列转化成为一个静态的形状模型，然后，通过 与预先存储的行为原型的模型进行匹配。模板匹配方法的优点在于计算复杂度低且简单易 行，但它对噪声和运动的时间间隔内的变化较敏感。 ( 2 ) 状态空间方法【3 1 】 基于状态空间( s t a t e - - s p a c e ) 模型的方法把每个静态行为定义为一个状态，使用特定 概率生成这些状态之间的相互连接。任何运动序列被看作是在这些静态姿势的不同状态之 9 2 基于视觉的行为分析和异常检测方法概述硕士论文 间的转移。通过研究这些状态转移的概率，把联合概率作为动作分类的标准。现在，状态 空间模型被广泛用于时间序列的预测、估计和检测。其中，h m m 是用来研究离散时间序列 的最有代表性的方法。在学习阶段，h m m 被训练为每个行为类别的代表模式，通过f o r w a r d - - b a c k w a r d 算法得到模型参数的优化。最后对于输入的图像序列，通过最大化h m m 的后验 ( p o s t e r i o r ) 概率实现识别。 尽竹：状态空间方法可以克服模板匹配的缺点，运动持续时间不再是一个问题，因为每 个状态可以重复访问自己。但是，使用这种方法通常需要内在的非线性模型，没有封闭形 式的解答方法。另外，非线型模型需要在训练阶段搜索全局最优，而这需要复杂的迭代计 算。同时，如何选择合适数量的状态和特征向量的维数也是一个难点。 2 5 对事件检测算法的评价指标 在现实应用中，每一类算法都会伴随着一个标准来评价算法的性能，这个标准被称为 评价指标【3 2 】。在事件检测算法中，当然也有一个标准来评价其性能。一个好的事件检测算 法应当做到快速、准确，因此，优秀的算法一般具备以下特征： 检测事件的几率高； 产生错误报警的几率低； 事件发生时与事件被检测到的时间间隔小； 检测范围大； 检测事件结束的几率高。 对于上述特征，现今常用事件检测算法的评价指标丰要有三个刚，即检测牢、误报率 和平均检测时间。 ( 1 ) 检测率( d e t e c t i o nr a t e ，d r ) 检测率是指使用某种事件检测算法时，在一定时间内，所检测到的事件数与实际发牛 的总事件数的比值，即 仰 d r = 二| - 1 0 0 s 式中：d r 为检测率；t p 为检测到的事件数：s 为实际发生的事件数。 ( 2 ) 误报率( f a l s ea l a r mr a t e ，f a r ) 误报率是指在一定时间内，误报事件的次数占检测到的事件总数的百分比，即 f a r ：f n 1 0 0 d r 式中：f a r 为误报率；f n 为误报次数；d r 为检测到的事件次数。在保证较高检测率的 1 0 硕士论文基于隐马尔可夫模型的视觉行为分析帚1 异常检测研究 情况下，误报率较高一直是事件检测算法中存在的一个大问题。报警率在8 0 以上时，算 法的误报率一般处在7 0 到3 0 之间。 ( 3 ) 平均检测时间( m e a nt i m e t od e t e c t i o n , m t t d ) 平均检测时间是指在一定的时间内，从事件发生到事件被算法检测到的时间差的平均 值。即： m t t d = 亡【口( f ) - a t ( 0 j i = 1 式中：m 7 7 d 为平均检测时间，t i c i ) 为被算法检测到的事件i 实际发生的时间；a t ( o 为 算法检 n n 事件i 报警的时间；刀为算法检测到的真正事件数。平均检测时间随着检测器的 间距和检测算法的不同而不同。一个优秀的事件检测算法应当检测出所有的事件，没有误 报次数并且在事件发生时就开始报警，即脚= 1 0 0 ；凡俄= 0 ；m 胁0 。 针对本论文所研究问题，论文的结果主要采用检测率和误报率进行评价。 视觉行为分析和异常检测的研究仅仅刚开始，在计算复杂度和精确度之间需要平衡。 因此这是一个开放区域，将会得到更多关注。 2 6 本章小结 基于隐马尔可夫的行为分析和异常检测研究在计算机视觉领域中已经成为一个活跃的 研究领域。有许多潜在应用，如监督，虚拟现实，高级用户界面等所驱动。 本章介绍了视觉行为分析和异常检测的国内外发展现状及主要研究方法，其中重点介 绍了隐马尔可大模型用于行为分析和异常检测，并介绍了检测，跟踪和行为识别的概念和 主要方法，包括运动目标检测( 包括运动分割和物体分类) 。运动物体的跟踪等这方面主 要介绍了两类技术：模板匹配和状态空间方法。尽管该领域已经做了许多工作，许多问题 仍然开放，如分割、建模、遮挡处理等。最后介绍了事件检测算法的评价指标。 硕士论文 基丁：隐马尔可夫模型的视觉行为分析和异常检测研究 3 运动目标的检测与跟踪 运动目标检测与跟踪是视觉行为分析和异常检测应用中的一个基础而关键的任务，特 征参数的提取是在对目标物体的检测和跟踪的基础上获取的，因此目标物的检测和跟踪的 算法对视觉行为分析和异常检测系统至关重要，而目标检测是跟踪的前提。 本论文的检测部分采用基于非参数模型的背景差分算法，算法在v c + + 中实现，跟踪部 分用到m a t l a b s i m u l i n k 中的v i d e oa n di m a g ep r o c e s s i n g i 具箱。 3 1 运动目标检测 到目前为止，从视频序列中提取运动目标的方法有很多。从背景角度考虑，有静态背 景和动态背景两类情况下的运动目标检测。基于静态背景的运动目标检测方法通常有三种， 光流法、帧差法和背景差分算法。 3 1 1 光流法 心理学和神经生理学的大量实验证明，光流概念对认识人和动物的视觉感知机制原理 具有重要的意义。光流( i m a g ef l o w ) 【3 4 】是空间运动物体的被观测表面上像素点运动的瞬 时速度场，它携带了物体可见表面的深度、曲率和取向的重要信息以及有关景物中物体与 传感器系统之间相对运动的关系。光流的研究是利用图像序列中的数据的时域变化和相关 性来确定各自像素位置的“运动”。在计算机视觉中，光流已用来作为物体在空间的运动 和结构的基本表示，是空间各点运动时的三维速度投影到视网膜表面的二维速度。利用光 流场的计算方法，可以方便的进行运动目标检测。在光流场中，不同的物体一般有不同的 速度，大面积运动会在图像上产生较为均匀的速度矢量区域，为不同速度的运动物体的检 测提供了方便。基于光流的原理，光流可检测图像中的多个运动目标。但是光流场的运算 耗时太多，应用中实时性难以满足要求。 3 1 2 帧差法 对于运动目标检测来说，相邻帧图像的差异信息非常重要。由于实际场景中任何可观 察到的运动信息都会在图像序列的变化上体现出来，如果能够检测这些变化，就可以分析 运动目标的特性。最简便的运动汽车检测方法是直接对运动图像序列帧相减的方法，常常 称为差分检测法【3 5 1 。 帧差法的缺点在于，它不能检测出静止或运动速度过慢的物体，对于高速运动的物体 3 运动目标的检测与跟踪 硕士论文 又会使得分割区域远远大于真实目标，其分割区域与目标运动速度相关；其次，如果物体 内部的灰度比较均匀，相邻帧差可能在目标重叠部分形成较大空洞，严重时造成分割结果 不连通，影响进步的物体分析与识别。 3 1 3 背景差分算法 背景差法【3 6 】首先选取背景中的一幅或几幅图像的平均作为背景图像，然后把序列图像 的当前帧与背景图像相减，若所得到的像素数大于某一阈值，则判定为前景物体，从而得 到运动目标。背景差分法是目前运动分割中最常用的一种方法，在实际应用中，需要采用 一定的算法进行背景模型的动态更新。目前人们大都致力于研究背景图像的建模和自适应 更新问题。背景建模问题常用的方法主要有：基于统计的背景模型、基于卡尔曼滤波的背 景模型、基于高斯分布的背景模型等。 如果对完全静止的场景( 无前景运动和动态干扰) 的整个过程中的像素灰度值进行监 测，那么像素灰度能适当地用一个正态分布( ，仃2 ) 表示，整个过程的图像噪声可以用一 个零均值的正态分布n ( o ，盯2 ) 表示。一般地，像素灰度值的正态分布模型是最基本的模型。 在许多背景差法中，都运用了这种最基本的正态模型。 假设研究的视频序列为 a ( x ，y ) ：，= l ( 3 1 ) 其中k 为帧序，n 为视频序列的总帧数。 记背景帧为忍( 五y ) ，当前第k 帧为z ( x , y ) ，d “y ) 第k 帧中的运动目标区域，即有 d ( 五y ) = 五( x ，y ) 一层( x ，y ) ( 3 2 ) 这种基本的正态模型能适应场景的缓慢变化( 如照明变化) ，通过利用一个简单的自 适应滤波器实现模型更新，如用卡尔曼滤波器做自适应调整。 3 2 非参数模型背景差法 非参数模型背景差法【3 7 】是由e 1 9 a i i 吼a 等人提出的视频运动目标检测算法。 非参数模型对场景中的每个像素进行采样，为每个像素点建立一个样本集，而且对每 一帧图像的每个像素的估计都是独立的，并对当前像素是背景像素的可能性进行估计。 模型的目标是记录图像序列中的最新信息，持续更新信息去适应场景中背景的快速变 化。一个像素的灰度分布会迅速地变化，所以，如果希望在只给定近期历史信息的条件下 得到高灵敏度的检测，必须估计像素在任何时间的分布函数【邛j 。 设i t ，而，故是一个像素近期的灰度采样值。利用这个样本集，这个像素在t 时刻灰度 值为的概率密度函数用核估计器k 来表示为： 1 4 硕士论文基丁隐马尔可夫模型的视觉行为分析和异常检测研究 p r ( ) 2 专著i s lk ( t 一引 ( 3 3 ) ， f11 、 当核估计器函数k 是一个正态函数n ( o ，) ，其中是核函数带宽，那么密度函数表示为 比) ：寺羔 一瓴刊哩。瓴_ ， ( 3 4 ) 州江1 ( 2 万) ii i 2 其中d 表示颜色空间的维数。 假设不同的颜色通道独立地拥有不同的核带宽，设鳓阶颜色通道核带宽为盯；，那么 f 砰0 01 = l 0 q 2 0 1 ( 3 5 ) 1 0 0 碍j 此时密度估计函数可以简化为 t q ，叶，) 2 眺，= 专喜垂击岢 6 ) 根据上式，当p r ( x , ) 如) ( p a x ) 如) 才是背景点。 3 2 3 阴影抑制 检测过程中，常常会检测出运动目标的阴影，而阴影并不是真正需要的运动目标。 e l g a m m a l 等人提出了种结合颜色信息消除阴影的方法。 1 6 硕士论文基于隐马尔可夫模型的视觉行为分析帚l 异常榆测研究 前面是使用r 、g 、b z 个颜色分量，现在引进色度坐标系，即r ，g ，b 坐标系。其中 r r + g + b g 6 尺+ g + b 6 ： 星 灭+ g + b 此时有：，- i - g + 6 = l 。 用r 、g 、b 色度坐标系检测有一个优点，就是不容易感知由阴影造成的光照明的变化， 利用( ，i ，g ) 空间可以检测出前景区域，而且不含目标阴影。( 3 2 1 和3 2 2 中讨论的检测方法 适用于任何一个颜色坐标系) 虽然用色度坐标系可以消除阴影，但也有一个缺点，会丢失光信息量。光信息量是区 别灰度图中不同物体颜色如白色、黑色和灰色的重要信息。假设一个穿着白衬衫和黑裤子 的人在一个灰色背景中走动，此时没有颜色信息，白色、黑色和灰色都是一样的色度，此 时用( ，g ) 空间就无法准确检测出目标。 为解决这个问题，需要引进一个光信息量s = 厂+ 譬+ 6 。在完全静止的背景中，假设一 个像素点的像素期望值是( ，g ，s ) ，当该像素点在t 时刻变为阴影点时的像素值为( ，磊，) ， 在s 与s t 之间满足一个关系： 口王1 s 也就是说阴影点会减少光信息量，s t 的值大于等于a s 且小于s 。这是造成阴影的一般规律。 同理，当光信息量增加时，像素点亮度增加，s ，值会变大，上限是肛。所以在静态背景中， 要判断一个前景点是否为阴影点，只需判断该点的s ，是否满足口兰，若满足，则为阴 s 影点，反之则为前景目标点。 但是，背景一般是会发生变化的，并不是静止的，对一个背景像素点来说，它没有一 个固定的背景期望值。用集合a 表示某个确定像素点的背景样本集，其中每个像素值用 置= ( r i , g i ，薯) ，在f 时刻该点的像素值为= ( ，t ) ，先求出集合a 的一个子集b ，b 集中 的元素满足 c b = 薯i 蕾a 八口兰夕) s f 即集合b 中都是些被阴影影响的点的集合。用集合b 作为像素点薯的背景样本集，结 合( 厂，g ) 空间和3 2 卜3 2 2 中介绍的方法进行检测，就可以消除阴影。口和的值和整幅 1 7 3 运动目标的检测与跟踪硕士论文 图像有关，可在实验中获取。 3 2 4 背景更新 场景中的背景是会变化的，要得到高检测率，必须维护一个动态背景。背景样本集包 含着来自时间窗w 的n 个近期样本。核函数带宽要求所有的样本在时间上是连续的，即n = w ，或w 内的2 对连续样本对。样本需要持续的更新以适应背景的变化。样本更新遵循 先入先出的规则，当加入新的像素值或像素