（信号与信息处理专业论文）基于动作识别的智能视频监控.pdf

中文摘要 摘要：随着计算机硬件水平以及计算机视觉学科的发展，智能视频监控越来越受 到研究机构和学者的关注，一些智能视频监控的产品也逐渐出现。当前的智能视 频监控主要是基于目标检测与跟踪的解决方案，其智能性还不够高，本文针对人 们对智能视频监控不断增长的需求，提出了一种基于动作识别的智能视频监控解 决方案。 本文分为人体检测、人体跟踪以及动作识别三个部分进行详细论述。由于人 体检测与跟踪的成熟性，本文的重点放在了动作识别相关的研究上。在实现基本 人体检测与跟踪的算法基础上，本文实现了基于投影直方图的动作识别与基于词 袋模型和主题模型的动作识别，并对后者进行了改进，提出了一种基于光流描述 子词袋的动作识别方法。由于前人在构建词库时，对各类动作进行单词频率统计 时，总是按照全局来统计的，这样可能会导致单词的误匹配，为了解决这个问题， 我们利用了人体模型的特点，认为动作在时间轴上独立，人体各个部分做的动作 在空间上是相关的。我们以光流局部时空最大值作为特征，将人体区域分块构建 光流描述子词库，强制将人体不同部位提取到的相似特征分配为不同的单词，从 而在词库中加入空间信息。最后，我们改进了原有的p l s a 模型，并使用改进的 p l s a 模型进行动作识别。实验证明，该算法在w e i z m a n n 视频数据库与k t h 视 频数据库上有着良好的性能。 为了验证算法在实际环境的有效性，本文搭建了一个智能视频监控平台，平 台具有基本的检测、跟踪算法，基于光流描述子词袋的动作识别算法和基于投影 直方图的动作识别算法等，并可以通过短信发送模块将监控信息及时发送到指定 手机，记录检测、跟踪以及识别的结果。和普通智能监控平台相比，我们的监控 平台更加智能有效。 关键词：动作识别；智能视频监控；主题模型；词袋模型 分类号：t p 3 9 1 4 1 j e 塞交适太堂亟堂鱼途旦墨! 堡g 至 a b s t r a c t a b s t r a c t ：t h ei n t e l l i g e n tv i s u a ls u r v e i l l a n c eh a sa t t r a c t e ds i g n i f i c a n ti n t e r e s ti n r e c e n ty e a r s s o m ei n t e l l i g e n tv i s u a ls u r v e i l l a n c ep r o d u c th a sa p p e a r e di np u b l i ca r e a s a sw e l l h o w e v e rm o s to ft h ep r o d u c t sa r eb a s e do nm o t i o no b j e c td e t e c t i n ga n d t r a c k i n g t h e ya r en o ti n t e l l i g e n te n o u g h i nt h i sp a p e r , w ep r o p o s ea ni n t e l l i g e n tv i s u a l s u r v e i l l a n c es o l u t i o n sb a s e do nt h eh u m a na c t i o nr e c o g n i t i o n t h e r ea r et h r e e i m p o r t a n ta p p r o a c h e s ，h u m a nd e t e c t i o n ，t r a c k i n ga n da c t i o n c l a s s i f y i n g ，i nh u m a na c t i o nr e c o g n i t i o n r e c e n t l y , t h ea p p r o a c h e so fh u m a nd e t e c t i o n a n dt r a c k i n ga r ee f f i c i e n te n o u g h s ow ef o c u so nt h ea p p r o a c ho fh u m a na c t i o n r e c o g n i t i o nc l a s s i f y i n g w ec o m p l e t et h eb a s i ca l g o r i t h mo ft h eh u m a nd e t e c t i o na n d t r a c k i n ga n dp r e s e n ta ni m p r o v e da p p r o a c ht oc l a s s i f yh u m a na c t i o nb a s e do nt h eb o w m o d e la n dt h ep l s a ( p r o b a b i l i s t i cl a t e n ts e m a n t i ca n a l y s i s ) m o d e l w ep r o p o s ea n i m p r o v e df e a t u r e ，w h i c hi sc a l l e dt h el o c a ls p m i a l - t e m p o r a lm a x i m u mv a l u eo fo p t i c a l f l o wt ob u i l do u rb a go fw o r d s t h i sf e a t u r ei sa b l et or e d u c et h eh i g hd i m e n s i o no ft h e p u r eo p t i c a lf l o wt e m p l a t ea n da l s oh a sa b u n d a n tm o t i o ni n f o r m a t i o n o u ra p p r o a c ho f r e c o g n i t i o ni st e s t e do nt w od a t a s e t s ，t h ek t h d a t a s e t sa n dw e i z m a n nd a t a s e t s t h e r e s u l ts h o w si t sg o o dp e r f o r m a n c e i no r d e rt ot e s to u rm e t h o di nr e a l i t y , w ed e v e l o pa ni n t e l l i g e n tv i s u a ls u r v e i l l a n c e p l a t f o r m t h i sp l a t f o r mh a sb a s i cf u n c t i o no fh u m a n d e t e c t i o na n dt r a c k i n g t h eh u m a n a c t i o nc l a s s i f y i n ga l g o r i t h mb a s e do no u ri m p r o v e da p p r o a c ha n dam e t h o db a s e do nt h e p r o j e c t i o nh i s t o g r a ma r ea l s oi nt h ep l a t f o r m t h es u r v e i l l a n c ei n f o r m a t i o nc a nb es e n t t ot h em o b i l ep h o n ea u t o m a t i c a l l y c o m p a r e dt ot h ec o m m o ni n t e l l i g e n tv i s u a l s u r v e i l l a n c ep l a t f o r m ，o u ri n t e l l i g e n tv i s u a ls u r v e i l l a n c ep l a t f o r mi sm o r ei n t e l l i g e n ta n d e f f e c t i v e k e y w o r d s ：h u m a na c t i o nr e c o g n i t i o n ；i n t e l l i g e n tv i s u a ls u r v e i l l a n c e ；t h e m e m o d e l ；b a go fw o r d sm o d e l c i a s s n o ：t p 3 9 1 4 1 致谢 本论文的工作是在我的导师苗振江教授以及万丽莉副教授的悉心指导下完成 的，苗振江教授以及万丽莉副教授严谨的治学态度和科学的工作方法给了我极大 的帮助和影响。在此衷心感谢两年来两位老师对我的关心和指导。苗振江教授以 及万丽莉副教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向两位老师表示衷心的谢意。 在实验室工作及撰写论文期间，郭萍博士、申远博士和万艳丽博士对我在科 研方面给予了重要的指导并提出了很多宝贵意见，张强、梁良等同学对我论文中 的动作识别相关研究工作给予了重要启发与帮助，陈银态、郭荣伟在程序设计方 面跟我进行了深入讨论，令我受益匪浅，于宴平、李雅洁、米静、张瑶等同学在 我的研究生生活期间也给予了我很大帮助，在此向他们表达我的感激之情。 另外也感谢我的家人，他们的理解和支持使我能够在学校专心完成我的学业。 1 绪论 人自出生以来，即靠视觉观察其四周的环境，并获取知识，视觉是人类获取 信息的最重要途径之一。随着科学的发展以及计算机技术水平的提高，人们愈加 期望计算机能有像人一样通过视觉来认知世界的能力，这便是计算机视觉。具体 来说，计算机视觉是指用计算机实现人类的视觉功能，即对客观世界中三维场景 的感知、加工和理解【l j 。主要研究目标是根据感知到的图像对客观世界中实际的目 标和场景做出有意义的判断【2 j 。在计算机视觉和模式识别领域，“动作”以及“行 为”是两个较为常见的词汇。“动作”指简单的运动模式，多见于一个人的情形， 一般持续时间较短，只有数秒或者十几秒，比如弯腰、走路、游泳等；“行为”则 是较复杂的运动模式，一般场景有多个人，持续时间较长，是一系列动作的集合， 有些情形下还有人的交互，比如多人打架、两个人握手、劫匪抢劫银行等。两者 之间并没有明显的界限，并且有相当的交叉区域。 人体行为分析是计算机根据来自摄像机的视频数据，通过视觉信息的处理和 分析，识别人体的动作，并结合相应的环境信息，对人体动作的目的及所传递的 信息进行语义描述，是计算机视觉的重要应用。人体行为分析涉及到图像处理、 计算机视觉、模式识别、机器学习等多个学科。智能视频监控系统是采用图像处 理、模式识别及计算机视觉等技术，将智能视频分析模块加入监控系统中，通过 借助计算机强大的数据处理能力以及相关算法，过滤掉视频画面中无用的信息， 分析视频源中关键有用的信息，快速准确的定位事故现场并判断监控场景中是否 存在异常情况，然后以合适的方式提醒监控人员或者报警。智能监控系统可以有 效的进行事前预警，并且可以在异常情况发生过程中进行处理，如果事后需要调 取相关信息也十分方便。智能视频监控系统可以做到全自动的实时监控，大大降 低监控人员的工作量，提高工作效率。随着社会对视频监控需求不断增加，投入 视频监控的人力也越来越多，为了降低资源与人力的投入，人们对智能视频监控 有了更加迫切的期待。 1 1 研究目的及意义 随着科技水平的提高，越来越多的城市都在街道、公共设施及其他重点监控 地区安置了摄像头，视频监控应用的范围也越来越广。这些视频监控设施，为提 高人们的人身安全，震慑犯罪行为提供了可靠保障。 目前，视频监控主要是记录视频内容，依靠人力对监控视频的内容进行分析， 由于人的精力有限，很多情况下，是异常情况发生后，才进行视频的查验，这样， 就会产生一定的滞后性，不能及时避免异常情况的发生，而且在查验时，对人力、 物力的消耗巨大。而智能视频监控有效克服了这些难点。智能视频监控是指在没 有人为干预的情形下，利用计算机视觉、图像处理以及视频分析的方法，对摄像 机拍录的图像序列进行智能分析，并判断它们的内容是否属于定义的训练集的某 一类，从而做到在完成视频录制的同时，还能对发生的特定异常状况做出反应。 这样即使监控人员注意力不集中，也能够根据不同的异常状况向安保人员报警， 并可以记录事件发生的时间、内容。这样可以大大减少人工监控投入的大批人力 所需的花费。 由于视频监控的主要内容是检测异常情况，而很多异常情况发生的根本原因 在于人的活动，因此，人体的动作识别在智能监控系统中用途广泛。在实际应用 中，可以定义危险的动作，在视频监控中通过检测这些动作，然后报警，从而达 到智能监控的目的。目前国外已经有一些公司( 如美国的o b j e c tv i d e o 公司，以色 列的1 0 i 公司) 推出可以进行入侵检测等简单行为检测的产品，但是，基于人体动 作识别的成熟智能视频监控还没有出现，由此可以看到基于人体动作识别的前景 广阔，同时也可以看出人体动作识别是有相当挑战性的方向。 人体动作识别真正开始受到关注开始于上世纪9 0 年代。作为计算机视觉的一 个重要研究方向，人体动作识别具有极高研究价值与广阔的应用前景，除了智能 视频监控等领域的应用外，其还可以应用于多个领域： ( 1 ) 基于内容的视频检索 视频成为我们每天生活的一部分。随着视频分享网站不断增加，为了获得更 好的用户体验，研究更加有效的索引与存储方法变得更为重要。这样就需要从原 始视频中学习，并对视频的内容进行总结与归类。人是视频内容的重要组成部分 之一，动作识别技术可以使一些特定内容的检索变得十分方便，比如检索新闻中 的握手，m t v 中特定类型的舞蹈动作，体育比赛中的特定动作【3 】等。 ( 2 ) 交互应用：人机交互，游戏交互 当今，人与计算机的交互需要借助鼠标、键盘、触摸屏等工具，随着计算机 的不断升级，人们希望计算机越来越智能化。在未来，人机交互将会加入视觉信 息与声音信息，从而使人际交互更加智能化。这就需要计算机可以更多提取环境 中的有效信息，比如对于手势、人的姿势进行理解，从而和人进行更高级别、更 加自然的交互。i b m 将基于视觉的手势识别接口应用于商业软件【4 】；g o o g l e 将动 作识别的算法应用于其g m a i l 产品中【5 | ，实现用动作操作g m a i l ，如发送邮件、接 收邮件、搜索等，并且可以用动作输入一些简单的语句，如“你好”，“再见”，“是”， “否”等，如图1 1 所示；m i c r o s o f t 推出的k i n e c t 摄像头将人体动作识别应用于 2 e蔓!窒堑 厶 堂亟 堂位迨塞绮迨 游戏领域1 6 1 ，取得了f j 大成功，并将向其操作系统进行推广，用j 二人与计算机的交 流。 彳阶j l f 可 图1 1g m a i l 动作 f i g 1 1g m a i l a c t i o n s ( 3 ) 动画合成 在游戏与动画产业，需要将真实的人的动作与游戏场景或者动画场景合成。 传统的方式需要雇佣大量动画绘制者来创作，以保证动作的高质量与真实。如今， 【i j 于计算机硬件的提升以及算法的改进，相避的动作可以合成的更加逼真。另一 个相似的应用是在模拟环境中进行训练，比如对士兵、消防员或者其他救援人员 祖：虚拟的危险环境c j 进行训练。 1 2研究现状 研究者对行为分析的研究已经超过2 0 年的时问，随精计算机性能的不断提高， 研究者的研究内容1 范i = ；l 也从- - 人、简- 背景、简一社动作了f ：始向多人、复杂7 亍景、 复杂动作转变。国内外许多知私人学和研究机构埘行为分析都彳r 1 泛i 仃深入的研 究。卡耐基梅隆大学、麻省理t 大学、微软、i f 洲研究院、中科院自动化所、清华 人学等机构对本领域的研究处于领先位嚣。 经过二t 多年的时问，许多和行为i , hh i 0 以及智能视频监控的项日不断丌展， 并取得了一定的成果：1 9 9 7 年，美国斟防高级研究项目署设立了跟智能监控相关 的踅大项闩v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，此项目t 要研究在不同的 场景卜 ，基于视频的钳能分析与理解技术i r 7j ；欧盟i s t ( 1 n f o r m a t i o ns o c i e t y t e c h n o l o g y ) 的f r a m e w o r k 5 程序委员会同样设立厂重大项日a d v i s o r ( a n n o t a t e d i g i t a lv i d e ot b rs u r v e i l l a n c ea n do p t i m i z e dr e t r i e v a l ) ，此项目的i i 要【_ j 标是，1 ：发一 个_ 彳= 效的管理公共交通的系统，1 ：要研究人群以及个体的行为模式，j ：进行一些 与人机交互相关的研究【8 1 ；实时智能视频监控系统w 4 1 9 不仅可以进行人体检测， 将包含人身体的区域分割出来，然后使用外观模型实现单人或者多个人的跟踪， 还能够判断被检测的人是否携带物体等行为；英国的雷丁大学( u n i v e r s i t yo f r e a d i n g ) 开展了对车辆跟踪、行人跟踪以及二者交互作用行为的相关研究【l 0 1 。 经过多年发展，本领域逐渐形成了有影响力的一些刊物与会议，其中，期刊 有：i e e et r a n s a c t i o no np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ( t p a m i ) ， i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ( i j c v ) ， i n t e r n a t i o n a lj o u r n a lo fc o m p u t e r v i s i o n ( i j c v ) ， i e e et r a n s a c t i o no np a a e ma n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ( t p a m i ) 等： 比较重要的会议有： i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e r v i s i o n ( i c c v ) 、i e e ec o m p u t e rs o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r n r e c o g n i t i o n ( c v p r ) 、e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ( e c c v ) 等。 1 3研究难点 智能视频监控中，行为识别的通常做法是从视频中提取行为特征，然后给此 视频一个动作种类的标签，也就是特征提取和特征分类。而在特征提取与行为分 类过程中，有许多困难与挑战。 1 3 1 类内与类间的相似性 很多动作都有许多不同的外在表现形式。比如，行走可以有不同的步子大小， 也可以有不同的速度，不同个体之问可能步态也不相同。一个好的行为识别算法 应该既可以将不同的动作之间的差异性分开，又能将有略微差异的同一个动作分 为一类。但是，在实际分类过程中，算法会随着动作种类的增多而使一些动作之 间的相似性也增大，从而增加分类难度。 1 3 2时间维度上动作分割的复杂性 通常来说，我们认为动作已经在时间维度上分割完毕，这样的假设可以使时 间维度上动作的分割从行为识别中独立出来，但在实际应用中，这样的假设是不 存在的，我们需要算法自行进行分割，就当前来说，找到动作的起始时间与结束 时间还是一个比较困难的问题，因此，也是一个极具挑战性的方向。视频帧率的 不同，也会导致同一动作在时间维度上的不同，因此，算法应该对同一个动作在 视频帧率不相同的情形下，有良好的鲁棒性。 4 e塞变 道人堂亟堂位迨 塞缝途 1 3 3视频录制环境的复杂性 训练视频录制的环境也是需要我们仔细考虑的一个问题。在背景复杂且变化 较多的环境中，人的检测的难度会很高，光照的变化也会造成人外观的变化，进 而影响人的检测。由_ j ：行人检测是行为识别的一个重要f 狮提，如果精度降低会直 接影响训练的准确度。从不同的视角观察同一动作也会有不同的观察结果；当使 用多个摄像头时，视角的问题将会更加复杂，我们需要将不同视角的同一人物进 行匹配：而动态背景或者移动的摄像头会使人的检测变的更具挑战性。以上这些 问题都是需要迫切解决的。 此外，训练数据的获取与标注也是行为识别的一个难点，因为视频数据繁杂、 数据量大，已经标注的视频量较少，使需要较多训练数拭i 的算法的训练过程受到 影响。总之，行为识别在多年的发展中既取得了一定研究成果，义在不断面临新 的问题需要我们去解决。 1 4 公共数据库 公共数据库使不同的行为识别过程与算法之间对比提供了可能性。在行为识 别领域，主要使用的数据库有以。f j l 币t ： 1 4 1k t h 行人动作库 k t h 行人数据库1 包括人种动作：走路，慢跑，跑，打拳，挥手以及拍手， 每个动作都i i t2 5 个人各做一遍。时，使川了四种不叫的场景：窀外，室内，室 外儿镜头有伸缩，室外且穿彳i 同衣服。在这个视频库r h 不仪有人物外形的变化， 不川的持续i i , f u 还有变化的视角。视频的背景基本是不动的，征i 足摄像机有轻微 的震动。 图1 2k f h 行人动竹：f 孳截图 f i g 1 2t t u m a na c t i o n so fk t h e五!窒适 太堂亟! ：堂位途塞 绪途 1 4 2w e i z m a n n 行人动作库 w e i z m a n n 行人动作库【1 2 】一共包括1 0 种不同的动作：走路，跑步，侧滑，弯 腰，单手挥动，双手挥动，原地跳，单脚跳，双脚跳，了i ：合跳，每个动作都有1 0 个人各做一遍。w e i z m a n n 库的背景基本是静止的，视角也是静止的，且提供了前 景的轮廓。另外，w e i z m a n n 库还包含两个独立的视频序列集用来进行算法鲁棒性 的评估：其中一个是从不同视角录制的“走路”，另一个录制的是略微有些变化的 “走路”，比如拿着东西“走路”，穿不同衣服“走路”以及不同的“走路”方式。 一一幽 1 4 3其他数据库 图1 3w e i z m a n n 行人动作库截图 f i g 1 - 3h u m a na c t i o n so fw e i z m a n n 此外，还有一些他的数据库，如i n r i ax m a s 多视角数据库1 3 1 、u c f 体育 动作数据库、好莱坞动作数据库等。 1 5本文研究内容 智能视频j 监控是当今计算机研究的热点，本文主要论述基于行为识别的智能 视频监控，霭点研究了行为特征提取和行为特征分类，并采用t 订袋模型和语义模 型实现了基j r 光流描述子词袋的行为识别方法，为了验证行为识别在智能视频监 控中应川的有效性，搭建了一个视频监控j f 台，并同时加入了视频控制模块、人 体检测模块、运动跟踪模块、行为谚 别模块、智能短信通知模块、编辑模块等。 视频控制模块可以对视频进行保存、播放、暂停、停止等操作；人体检测模 块实现了背景剪除、h o g 、g m m 等多种不同的算法：跟踪模块实现了k a l m a n 滤 波、c a m s h i f t 等摹本算法：行为讨 别模块实现了对人的指向、双臂、i 举、跳跃、 走动、弯腰、打f 乜话、掐：f 等多个动作的识别；设j 昂模块，j - 以设胃读取哪个摄像 机的数据，并可以约定短信发送时f 刚和发送动作类型；编辑模块叮以向川户发送 行为识别结果，并保存用j 、选择的行为识别结果( 文本形式和关键帧形式) 、检测 结果以及跟踪结果。 6 其中，在行为识别模块中，实现了基于投影直方图的动作识别以及基于光流 描述子词袋模型的动作识别。基于投影直方图的动作识别主要应用于摄像机静止 的情形，基于光流描述子词袋模型可以应用于背景较复杂，摄像机有缩放或者轻 微移动的情形。后者是在g u o 等【l6 】研究的基础上，进行改进的模型。主要方法是 提取光流在时一空两个维度上的局部最大值作为特征，然后用k - m e a n s 算法进行聚 类，并分块( b 岫构建词库，最后，用语义模型p l s a 进行分类。 1 6 论文结构安排 图1 4 论文结构图 f i g 1 4f l o wc h a r t o f p a p e r 本文的主要内容为基于行为识别的智能视频监控，重点介绍行为识别及其改 进算法，并详细介绍基于行为识别进行智能视频监控的平台。本文将分为七个部 分进行论述。 第一章为绪论，简单介绍了行为识别的定义，智能视频监控的定义，并详细 7 j e立童道太堂亟堂焦途塞 绪途 论述了行为识别与智能视频监控的研究现状，讨论了行为识别的研究难点以及应 用于实际环境的难点，介绍了行为识别中常用的几个数据库。 第二章为基于行为识别的智能视频监控的概述。简要讲述行为识别的基本流 程以及智能视频监控的研究范围与基本算法，重点介绍行人检测与人体跟踪的算 法。 第三章重点论述动作特征提取的基本方法。将动作特征分为形状特征、运动 特征、时空特征、混合特征等四种特征进行详细论述，并比较了各种特征的优点 与缺点。 第四章的主要内容为动作特征的分类。在本章，作者将根据分类的方法不同， 将行为特征分类分为直接分类、时空状态模型、模板匹配、主题模型等四个方面 进行论述。重点介绍各个分类方法的适用范围与优缺点。 第五章介绍了基于光流描述子词袋动作识别。本章将重点介绍词袋模型与主 题模型，并详细介绍了提取光流描述子，并将其聚类为词袋的过程。在前人的基 础上，对算法进行了改进，重点讲述实验方法与实验结果，与经典算法进行了比 较。 第六章主要对智能监控平台的构建与改进算法的实验进行介绍。详细描述了 智能监控平台各个模块的实现方法与作用。 第七章为结论与展望，主要论述行为识别与智能视频监控在未来的前景与发 展方向，总结了本文研究内容与意义。 2 基于动作识别的智能视频监控概述 智能视频监控是指利用计算机视觉技术对监控视频进行处理，在无人为干预 的情况下，通过对目标的检测、跟踪、识别等方式，自动分析监控场景的异常情 况，并在异常情况发生时向外界发出警告。智能视频监控可以实现2 4 7 的全天候 监控，改变了以往由安全工作人员对视频进行监视与分析的模式，可以大大降低 监控人力、物力的投入，并可以最大限度地降低误报和漏报现象；智能视频监控 系统将一般监控系统的事后分析变成了事中分析和预警，并可以自动识别可疑活 动，在安全问题发生前或者安全问题发生过程中进行报警；智能视频监控系统可 以过滤掉不需要的视频片段，只存储有特定要求的视频片段，这样，可以使视频 监控系统更加合理有效地利用存储空间。 随着计算机硬件水平的提高与日益增长的安防需求，智能视频监控越来越成 为研究热点，本文在传统视频监控的基本框架下，加入了出入检测模块、运动跟 踪模块、动作识别模块、智能短信通知模块、视频控制模块、分析结果显示模块 等。基本实现了简单环境下的智能视频监控功能。因为普通的视频监控系统的发 展已经相当成熟，并且在各个模块中，动作识别的难度最大，算法最复杂，本文 将简略介绍视频监控的相关研究，重点介绍动作识别模块的相关研究。 研究者对行为识别的研究已经超过2 0 年的时间，随着计算机性能的不断提高， 研究者的研究内容与范围也从单人、简单背景、简单动作开始向多人、复杂背景、 复杂动作转变。行为分析系统的一般性框架如下图2 1 所示，其中，图像预处理包 括图像的降噪，图像增强等基本的处理方法；图像分析主要是对运动目标进行检 测并将人体从运动目标中分离出来，然后对人体进行跟踪，并对行为的基本特征 进行提取，最后进行行为的分类与理解，并对相应行为进行语义描述。目前的研 究焦点主要在三部分：人体检测，人体跟踪，行为理解与描述( 行为识别) 。这三个 部分是相互依存的，人体检测会影响人体跟踪的结果，而人体检测和人体跟踪又 共同影响行为识别的准确率。 9 e 盛塞迪厶堂亟! ：堂位途塞基! 麴往迟趔的赞篚塑麴监控趣述 2 1人体检测 图2 1 行为识别系统框架 f i g 2 - 1f l o wc h a r to fh u m a na c t i o nr e c o g n i t i o n 人体检测可以分为基于图像的人体检测与基于视频的人体检测。基于视频的 方法是指采用图像序列或视频中的运动信息实现对人体的检测，例如背景剪除法 【1 7 】，混合高斯模型1 1 8 1 ，帧差法【1 9 1 等。第二类为基于图像的方法，通过提取图像| l 的人体特征，设计训练斗1 1 应的分类器实现人体检测，比较常见的人体特征彳j l b p 特征【2 0 1 ，h o g 特征2 ，e d g e l e t 特征1 2 2 1 等。比较常川的力法彳j ：帧差法，芒：f 光 流的运动检测方法，背景剪除法，h o g 等。 2 1 1帧差法 帧差法指在连续的图像序列中两幅或一幅柏邻帧之间采刊基于像素的时间差 分，并对差分结果进行阈值化处瑙! 以提取图像中的前景运动区域的运动检测方法。 帧差法的基本过程：肖先利用公式2 1 对第k 帧j 第尼一j 帧图像进行差分，得到斧 分图像矾。 以( x ，y ) = j 工( 工，y ) 一六一，( x ，y ) j 2 - 1 然后利用公式2 2 对巩进行闽值化，人于阂值的部分为f j 订景，小。j ：阈值的为 e 塞窒适厶堂亟堂焦迨塞整工动缝迟趔凹置篮塑麴堕控堑适 背景。 c x ，y ，= 主 三：；妻； 2 - 2 帧差法的优点是对于动态环境有很强的自适应性。但是，由于前景、背景区 域的确定与阈值的选取有很大关系，因此，当灰度图像序列对比度较低的时候， 由于相邻两帧之i 、f j j 的差值都分布在一个很小的范围内，选取的闽值很难把运动目 标与背景分j 1 ：，也就直接影响了前景目标的分割结果。于此同时，当整个运动日 标的灰度值分布较集中，变化不明显，就会导致人体的二值图像内产；卜空洞现象， 会给后续的h 标分类、跟踪、识别等过程造成不便。帧差法获得的人体检测结果 如f ： 2 1 2光流法 图2 - 2 帧著法 f i g 2 2f r a m e ss u b t r a c t i o n 基j 二光流法的运动门标检测1 2 3 1 ，是利川运动物体随时问变化在图像中表现的 光流特性，通过计算位移向键的光流场来提取运动f i 锄：。光流是审问运动物体在 观测成像面、l 对应像素运动的瞬时速度，是窄问物体可见点的一维速度矢髓在成 像- t l i f i il 的投影，它携带了一 二富的运动和结构信息。光流法的基本过私! 为：汀先， 计算图像序列的光流场，然后计算光流场的平均值，把此均值作为阂值，对光流 图像进行阈值分割，然后对其进行滤波、腐蚀、生长等操作，最终得到运动人体 的掩膜。 基于光流法的优点很明显，即使是在摄像机运动的情况下也能检测出独立的 运动日标。但是山于噪声、光源、遮挡和阴影等原因，计算出的光流场分斫i 不是 一分可靠以及准确，而m l | _ j - 光流法计算复杂度高，耗时时f l i 长，因此对系统的 硬件要求较高，实现实时检测比较困难。光流法检测的结果如下： 北立交通厶学硕十学位论文基丁动作识别的智能视题监控概述 图2 3 基于光流的人体检测 f i g 2 3h u m a nd e t e c t i o no fo p t i c a lf l o w 2 1 3 背景剪除法 背景剪除法的实现方法是：首先选取不含f j 订景运动目标的背景图像，然后将 当前帧图像与背景图像相减得到前景目标。背景剪除法是最常用且很有效的方法， 其通常应用f 摄像机同定的情况，其应用的关键在二二建立随场景变化彳i 断更新的 背景模型。背景更新的方法主要有两种：建立背景模型并采用白适应的方法对模 型参数进行调整，从而得到新的背景图像；从过去一纽观测图像中，根据一定的 条件过滤像素值构成当6 订背景图像。背景建模的方法多样，其l f j 使用最多便是混 合高斯( g m m ) 背景建模【2 4 】。对丁视频图像来说，如果其背景棚对静止，没有明显 干扰因素，那么背景中的像素点在一段时l f l j 内可以被认为是一个高斯分和。由于 实际应用【 j ，经常出现光线明暗的变化，树枝摇动，摄像机的轻微抖动等情形， 这时，背景变化会很大，一个高斯分斫i 便不能完全描述背景图像，因此，采川多 个高斯描述动态背景，则当有k 个高斯模型时，当f 订的图像像索值x ，的概率密度 可以表列为： p ( 誓) = w i ，p ( x 叫，鸬h ，0 i h ) 2 3 ，= 1 其一 】，i 为第j 个高斯模型，f 为当f 订帧，k 为高斯模型的个数，通常为3 7 个， k 越大，场景越复杂，w “为第i 个单高斯模型在当前帧的权值，雎, t - l , k 为第f 个译高 斯模型的均值，研“女为第f 个啦高斯模型的方差。 g m m 背景建模主要有3 个步骤：参数初始化，像素匹配以及背景更新。 参数初始化的口的是计算g m m 模型的均值，方差，权重等参数，通常取频 前若干帧进行计算，也可以直接初始化为较大的，埘，权重可以取为i k 。 然后根据公式2 - 4 判断陶像中的每一个像素与模型是否匹配： k ，十1 一“，i q ，- b 2 - 4 如果像索值符合式2 4 ，则町以认为像素值与第j 个高斯模型匹配，那么此像 素值被更新，其他的高斯分柿保持彳i 变。更新方程如下： o ) t 川= ( 1 一a ) c o , f + a 2 5 = e 五! 銮迪厶堂亟堂位途塞堇：塾堡迟墨9 的蟹筐塑麴堕控题述 肛p l = ( 1 一p ) f l f + p 1 f ( 仃l 川) 2 = ( 1 - p ) ( q ，) 2 + p ( x “一“，。) 7 ( ，- , u “) 口 p 2 tl 2 6 2 7 2 8 其中，是混合高斯模型的学习率，p 为混合高斯模型参数的学习率，这两个 参数决定了高斯模型的收敛速度。 如果像素值相对于每个高斯模型，都不符合式2 - 4 ，将各个高斯分布按照 缈，盯由大到小排序，对于较小的几个高斯分布，用新的高斯分布进行取代， 其中，新的高斯分析i 均值为当前像素值，标准差初始化为，埘，权重可以取为1 k 。 基于g m m 背景建模的背景剪除法效果如下： 图2 4 基丁g m m 背景建模的背景剪除法 f i 9 2 4b a c k g r o u n ds u b t r a c t i o nb a s e do ng m m 2 1 4基于h o g 特征的人体检测 t t o g 是h i s t o g r a mo fg r a d i e n t 的缩写，也就是梯度直方图，h o g 特征的提取 方法为，日先，对输入图像进行g a m m a 校正，然后检测图像边缘梯度，接着将图 像分割为块( b i n ) 与! 0 - ) t j ( c e l l ) ，然后分别计算单元内与块内的梯度直方图特征，并 对块内特征进行级联，i 1 _ 化，这便得到了h o g 特征。基。f - h o g 特征的运动目 标检测法是川梯度直方图作为特征窄i j 来训练分类器，然后采j j 支持向量机进行 分类。 这种方法主要利川了物体的形状可以很好地用局部梯度分斫i 和边缘方向来表 达的特性。其最大优点就是山fh o g 是1 种局部特征，因此其具有抗几何形变和 光学形变的特性，而儿，只要人体保持直：院的姿态，即使人的于部或者腿部有一 些小的动作，依然町以保持检测的高准确度，但是， l i 于计算h o g 需要在图像【 】 进行全局搜索，凶此通常具有较高的计算复杂度。尽管如此，随着计算机软硬件 技术的发展以及g p u 技术的出现，该利，方法的计算速度i i j 在逐步提高。基于h o g 的算法检测效果如f ： = e 葛! 窑适厶堂亟：堂位途塞堇工塾盟；迟趔的塑筐塑麴鉴控题述 2 2人体跟踪 图2 - 5h o g 算法 f i g 2 5h o g 运动f j 标的跟踪，即通过门标的有效表达，在图像序列中寻找与日标模板最 相似候选日标区位置的过程，筒而言之，就是在图像序列, t l 为曰标定位。目的是 找到同一个目标在不同图像帧j ：的对应关系，从而可以实现对一个目标在一段时 问内的运动的整体分析。主要分类如图2 - 6 所示： 婪丁息息采削力法 运动跟踪，基于内核的方法 基于主动轮廓的跟踪方法 h2 - 6 运动芷艮踪分类 l ? i g 2 6f l o wc h a r to ft r a c k i n g 2 2 1基于点集的跟踪 走于点或点集的方法是通过 i 标的中心点对目标的位簧进行描述，通过预测 才i 同帧之问目标中心点的变化来对日标进行跟踪。这类方法包括卡尔曼滤波、粒 予滤波等。下面重点介绍卜卡尔曼滤波。 卡尔曼滤波算法在1 9 6 0 年山r e k a l m a n 【2 5 1 提出，此算法通过估计被提取信 号有关的观测量，将所需信号提墩出来，足一种常用的跟踪算法。个动态系统 如果町以f jk a l m a n 滤波器的状态方程和观测方程米描述，町以表示如卜： 随机差分状态方程： k + 1 = 4 t + 艮+ 2 - 9 其中，爿为状态转移矩阵，b 为状态控制矩阵，锹为确定的控制量，w k 为随机 状态噪声。 由观测系统可得观测量z k ，其观测方程如下： 气= h x k + k 2 - 1 0 其中日为状态观测矩阵，v k 为观测噪声。 若w 七与独立，且两者为正态白噪声，则可得： p ( w ) n ( o ，q ) 2 - 1 1 p ( v ) n ( o ，r ) 2 - 1 2 p 和r 分别为状态噪声协方差和观测噪声协方差，我们假设其为常量。 定义第k 步的估计误差为 e k = 一x “k 2 - 1 3 均方差为 p = e e k e ：】 2 - 1 4 在保证公式2 - 9 最值最小的情形下，可得到预测方程组： x “= 4 袁一l + b “t 1 2 - 1 5 最= 么茸一1 4 2 + q 2 - 1 6 修正方程组： 瓦= 巧h r ( 研h h + 月) _ 1 2 1 7 曼= + k ( 缸一砬) 2 - 1 8 最= ( ，一晚h ) 巧 2 1 9 其中露为由上次观测值莨，预测的结果，e 为最一。预测的结果，曼为修正后 的估计值，最是修正后的估计误差，为修正控制系数。卡尔曼滤波的过程便是 不断的用新的观测值来修正预测的迭代过程。 在跟踪过程中，由于帧与帧之间相隔时间较短，目标运动速度变化较小，我 们假设跟踪目标在单位时问间隔内是匀速运动。设x k 为四维向量( k ，y k ，吱，允) ，其 中，( 砟，儿) 为目标在平面内的位置，( 毫，允) 为目标速度。 转移矩阵彳，观测矩阵h ，w t ，v k 的协方差矩阵分别为： r l 0a t0 其中出气。一一。 a = o1of 0 o1o 0 oo1 r 1 h = i 【- 0 2 2 0 2 2 1 e 塞窒塑厶：羔亟堂焦论塞 基王动笠望! 星的塑篮塑麴鉴控耻 q = 1o 0 1 0 o 0 0 0 0 0 0 1o 0 1 2 2 2 尺：f 1o 2 - 2 3 l - o1 一| 采用k a l m a n 滤波器进行日标跟踪时，首先要对目标进行检测，然后对目标 进行运动估计，接下来对运动目标进行匹配，并通过匹配结果不断更新k a l m a n 滤 波器的参数，从而完成对目标的跟踪。本文采用的跟踪参考点为人体最小外接矩 形的t ，心点，人体检测方法可以为背景剪除、帧差法、h o g 等。跟踪效果图如下： l 毫。主壶- o 。二立- 0 2 兰o ：盐二二一圭：立2 二一：l - 。：鎏：二：。：羔：墨：一二| 图2 7 基于k a l m a n 滤波器的跟踪 f i g 2 7 r a c k i n gb a s e do nk a l m a nf i l t e r 基于点或者基于点集的方法在目标未被遮挡时，跟踪精度：非常高，跟踪也f 分稳定，但是，当点集中的点很多，搜索区域较大时，_ 分耗时，如果有遮挡， 则会使精度大大下降，造成日标丢失。 2 2 2基于内核的跟踪 基j 二内核的方法包括m e a ns h i f t ， c a m s h i f l 等，其通过不i 司图像帧：内核的 移动来实现 i 标的跟踪。内核是埘f j 标的表观特征f 内种抽象，它可以表示| j 标 颜色r 方图，梯度直方图等多种特征等。一卜而简要论述m e a ns h i f t