（信号与信息处理专业论文）基于视频图像的异常行为检测与识别技术研究.pdf

重庆人学硕十学位论文中文摘要 摘要 人体行为识别指对人体运动的模式进行分析和识别，是计算机视觉领域被广 泛关注的研究热点。异常行为识别是人体行为识别的一个重要研究方向，本文主 要对跳、跑、呼救、弯腰、挥手五种异常行为进行识别。这项研究在智能安全监 控领域有着广泛的应用价值，基于计算机视觉的智能安全监控系统不但能够高效 地完成保障安全的任务，还能节省大量的人力物力，给社会带来很大的经济收益。 本文主要针对静止背景下的人体异常行为检测与识别技术进行了较深入的研 究。本文首先研究了现有的几种主要的运动检测算法：瞬时差分法和背景建模法 并分析了这两种检测算法的优劣。在以上分析的基础上，该文将背景减除法与时 间差分法相结合解决了传统方法无法从复杂背景中检测到较完整的运动人体轮廓 的问题。该方法基于帧间差分法检测出帧中的背景像素点后，再确定每个点的高 斯模型，最后运用背景差分准确检测出场景中的运动目标。 然后，对视频图像中的阴影问题进行了分析，介绍了在r g b 色彩空间和h s v 色彩空间中检测阴影的算法。比较在两种色彩空间阴影检测算法的优缺点，改进 阴影检测算法，结合两种色彩空间进行阴影的检测，这样在阴影的检测精度和实 时性方面都有改善。同时介绍了几种常用的图像后处理技术：中值滤波和数学形 态学方法。 在运动目标识别方面，以改进的h u 矩不变性算法为基础，针对可见光图像的 特点，采用不变矩与图像特征参数组成新的特征向量，对可能的目标进行识别， 不仅提高了算法速度，也提高了识别准确率。然后通过模板匹配的方法，采用 h a u s d o r f f 距离计算所需识别的当前行为特征向量与模板行为( 正常行走的行为) 特征向量之间的相似性，并通过相应的阈值判定该行为是否为异常行为。 对于上述各个算法，本文均进行了模拟实验，结果表明，综合运用本文中提 出的图像处理和识别方法，可以较准确、快速地检测和识别人的异常行为。 关键词：异常行为识别，h u 矩，运动目标检测，模板匹配 重庆人学硕士学位论文英文摘要 a b s t r a c t h u m a na c t i o nr e c o g n i t i o ni st oa n a l y z ea n dr e c o g n i z et h ep a t t e r no fh u m a nm o t i o n ， w h i c hi saw i d ei n t e r e s t i n gr e s e a r c ht o p i ci nc o m p u t e rv i s i o nf i e l d a b n o r m a lb e h a v i o r s r e c o g n i z ei sa l li m p o r t a n tc o m p o n e n to fh u m a nm o t i o na n a l y s i sa n dt h e r ea l ef i v ek i n d s o fa b n o r m a lb e h a v i o r , i n c l u d i n gj u m p ，r u n ，b e n d ，j a c k ，w a v ei nt h i sp a p e r r e s e a r c hi n t h i sd o m a i ni n v o l v e sw i d ea p p l i c a t i o ni nt h ei n t e l l i g e n ts e c u r i t ym o n i t o r i n gs y s t e m ， w h i c hn o to n l yc o m p l e t e st h es a f e g u a r dt a s k se f f i c i e n t l y , b u ta l s os a v e sag r e a td e a lo f h u m a nl a b o r t w oa l g o r i t h m so fm o v i n go b j e c td e t e c t i o na r ed e s c r i b e di nt h i sp a p e r ，w h i c ha r e t h ei n s t a n t a n e o u sd i f f e r e n c em e t h o da n db a c k g r o u n d m o d e l i n gm e t h o d t h e i r a d v a n t a g e sa n dd i s a d v a n t a g e sa lea n a l y z e d a na p p r o a c ho fc o m b i n i n g t h eb a c k g r o u n d s u b t r a c t i o na n dt e m p o r a ld i f f e r e n c ei sp r o p o s e dt or e s o l v et h ep r o b l e mt h a tc u r r e n t m e t h o d sc a n to b t a i nt h ei n t e g r a t e dm o v i n gh u m a nc o n t o u r t w oc o n s e c u t i v ef r a m e s a r es u b t r a c t e dt op i c ku pb a c k g r o u n dp i x e li nt h i sm e t h o d ，a n dt h e nt h eg a u s s i a nm o d e l o fe v e r yp i x e li sb u i l t b a c k g r o u n ds u b t r a c t i o ni su s e dt od e t e c tm o v i n go b j e c t s n e x t ，t h es h a d ep r o c e s s i n gi sd i s c u s s e d t h es h a d ed e t e c t i o na l g o r i t h m si nr g b a n dh s vc o l o rs p a c ea r ei n t r o d u c e d a ni m p r o v e da l g o r i t h mo fd e t e c t i n gt h es h a d e c o m b i n i n gt w oc o l o rs p a c e si sp r o p o s e dt oi m p r o v et h ea c c u r a c ya n dr e a l - t i m e p e r f o r m a n c e m e a n w h i l e ，i m a g ep o s t p r o c e s s i n gi n c l u d i n gm e d i a nf i l t e r i n g a n d m a t h e m a t i cm o r p h o l o g ym e t h o di sd i s c u s s e d a ni m p r o v e dh um o m e n tm e t h o di su s e dt oa b n o r m a lb e h a v i o rr e c o g n i t i o n h a u s d o r f fd i s t a n c ei su s e dt oc a l c u l a t et h es i m i l a r i t yb e t w e e nr e c o g n i z i n gb e h a v i o r f e a t u r ev e c t o ra n dn o r m a lb e h a v i o rt e m p l a t eo n ea n dd e t e r m i n ew h e t h e rt h eb e h a v i o ri s a b n o r m a lo rn o t e x p e r i m e n t a lr e s u l t ss h o wt h a tp r o p o s e dm e t h o dc a nd e t e c ta n d r e c o g n i z eh u m a na b n o r m a lb e h a v i o ra c c u r a t e l ya n de f f i c i e n t l y k e y w o r d s ：a b n o r m a lb e h a v i o rr e c o g n i t i o n ，h um o m e n t s ，m o v i n go b j e c td e t e c t i o n ， t e m p l a t em a t c h i i 学位论文独创性声明 文 研究 ，论 文中不包含其他人己经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 签字日期：办哆步】萝 签字日期：办丫岁侈 学位论文使用授权书 本人完全了解重庆大学有关保留、使用学位论文的规定。本人完全同意中 国博士学位论文全文数据库、 下简称“章程 ) ，愿意将本 提交中国学术期刊( 光盘版) 据库、中国优秀硕士学位论文全文数据库以及重庆大学博硕学位论文全文 数据库中全文发表。中国博士学位论文全文数据库、中国优秀硕士学位论 文全文数据库可以以电子、网络及其他数字媒体形式公开出版，并同意编入c n l 【i 中国知识资源总库，在中国博硕士学位论文评价数据库中使用和在互联 网上传播，同意按“章程”规定享受相关权益和承担相应义务。本人授权重庆大 学可以采用影印、缩印或其他复制手段保存论文，可以公开论文的全部或部分内 容。 作者签名：导师签 备注：审核通过的涉密论文不得签署。授权书一，须填写以下内容： 该论文属于涉密论文，其密级是，涉密期限至： 年一月一日。 说明：本声明及授权书逝装订在提交的学位论文最后一页。 锻 7饬匆 ： 伊 名沙 签者作 ： 文 名 论 签 位 师 学 导 重庆人学硕十学位论文1 绪论 l 绪论 1 1 研究背景及意义 现代机场、车站、地铁、港湾等大型的视频监控系统往往包含成百上千摄像 头。中国一个城市的“平安城市【l 】安防系统往往拥有数十万个摄像头。如此众多的 摄像头采集实时视频图像，谁来看? 解决这一问题的最有效的方法是开发智能化 视频监控技术，让计算机对视频图像进行智能化处理，滤除正常场景下的行为模 式，及时反映可疑情况。智能化视频监控技术能把监控人员从枯燥无味的简单劳 动中解放出来，加强了应急反应处理各项报警情况的能力。 目标异常行为报警是智能视频监控的重要应用，随着计算机软、硬件技术日 新月异的普及和发展，人类己经进入了多媒体信息化时代，基于视频监控系统的 异常行为检测、识别在视觉监视领域发挥着越来越重要的作用。例如，异常行为 检测识别在铁路系统得到了广泛应用。在铁路系统内部推行远程视频监控系统， 操作员和各部门领导可利用铁路系统现有的计算机网络和办公微机，在调度中心 或者当地机务段实现对全部监控现场或者当地的道口，车站和铁路沿线环境的监 控，大大减轻日常人员巡视的工作量，便于及时发现危险隐患，保障安全生产。 再例如，异常行为检测识别在小区和智能建筑安全监控上也得到了广泛应用。目 前在建造智能大厦和选购住房时，安全防范系统越来越受到人们的重视。 异常行为检测识别实际上就是对进入监控视场中的人的监控。所以对监视场景 中运动人体不仅要具有检侧、识别，更为重要的是能判断该行为是否合法并自动 报警，这样才可以达到监控系统的较高智能化水平。与以往的监控系统相比，基 于该技术的监控系统有很多优点。 由于当今社会对安全防护意识的增强，摄像头数目呈爆炸式的增长，监控 人员无法实时监控每一路视频图像，同时存储设备也变得异常庞大。如今，许多 商场、银行和智能小区中都安装了监控系统，但是目前监控系统的功能往往非常 单一，要求监控人员持续地监视屏幕，通过解释获得的视频信息，然后做出相应 的决策。但让监控人员长期盯着众多的电视监视器也是一项繁重的工作，特别是 当监控点较多时，监控人员几乎无法做到完整全面地监控。而且，由于数字监控 系统的工作时间长，数据存储量相当庞大，给存储容量提出了较高的要求。存储 监控图像的目的几乎就是记录监控场景中的动作，如果长时间记录无运动图像， 不仅仅耗费巨大的存储量，而且存储的信息量也极少，这就失去了存储的意义。 这样人工监控不仅造成巨大的人力物力浪费，且很容易使得监控人员思想松懈导 致漏警，这在许多不容闪失的重要场所( 如银行金库、军用仓库等场合) 是不能容忍 重庆大学硕士学位论文1 绪论 的。针对现有监控系统的缺陷，开发一种能降低人工监视的劳动强度和实时跟踪 中的人为误差、智能化程度较高的计算机自主监控的系统有巨大的实用价值和难 以估量的商机，而图象工程理论研究的日趋成熟和当前计算机技术高速发展所提 供的强大计算能力使这项研究成为可能。由于在现实生活中，大量的有意义的视 觉信息包含在运动之中，而且在大部分监控场合，监控对象一般是监视场景中的 运动人体。也就是说，监控系统实际上就是对进入监控视场中的人的实时监控。 所以对监视场景中运动人体不仅要具有检侧、识别、跟踪能力，更为重要的是能 判断该行为是否合法并自动报警，这样才可以达到监控系统的较高智能化水平。 对异常行为的自动检测和识别技术是现代智能视频监控技术的关键技术，对它的 研究将大大促进传统视频监控系统的改进。 从事后取证到事前预防，变“马后炮”为“马前炮”。传统的视频监控系统只能 在事件发生后，通过检索录像，发现可疑线索和嫌疑人。例如在伦敦爆炸案后， 需要搜索1 2 万小时的视频录像【l 】。尽管使用视频录像来分析已发生的事件仍然十 分有用，但作为一种实时预防性的工具，目前的视频监控技术实际上对预防事件 的发生毫无用途。基于视频图像的人体异常行为的自动检测和识别将提升视频监 控系统性能，分析预测目标的可能走向，预测一些事件或者事态发展的趋势，对 它出现临界的状态能做判断，增加“马前炮”的功能，预防不良事件发生。对于异常 行为的检测识别，主要适合特殊场合( 包括银行金库等国家经济重要领域) 和公 共场合( 包括机场、火车站、体育馆等人数集中的区域) ，数字视频监控系统对图 像序列自动进行运动检测，一旦发现运动物体( 绝大多数是以人为目标) 的大小 和速度满足一定条件，就发出报警信号通知监视人员进行处理。在特殊场合中， 一旦有可疑人出现，其监控系统会立即报警，并启动相关安全措施。在公共场合 中，一旦检测到异常行为，系统立即发出报警信号，通知相关人员进行处理。例 如在广场中有人摔倒，有人手中拿有异物，有人突然跳起或者突然蹲下，都被看 作是可疑行为，智能视频监控系统可以及时作出反应，并且对该行为进行存储， 尽可能杜绝危险事件的发生。 智能监控系统市场需求巨大，为异常行为的自动检测和识别技术的发展带 来了良好的机遇。随着我国经济的快速发展、人民物质生活水平的提高和消费观 念的改变，安防从过去提倡人防发展为以技防为主、人防为辅，并成为现代管理 的重要手段。现在，我国的有关部门下发的文件中明确规定：银行系统、宾馆饭 店等场所和其它重要机构及设施在投入使用前必须安装视频监控系统。 拓展应有范围，产生经济效益。除了在安防应用上，视频监控领域中的基 于视频图像的人体异常行为的自动检测和识别在一些新的垂直市场中也开始显露 出良好的应有前景。例如零售业，应用该技术可以减少或防止商品损耗( 防止偷 2 重庆人学硕士学位论文i 绪论 窃等) 。基于视频图像的人体异常行为的自动检测和识别技术通常在安防领域的应 用无法计算出直接的经济效益，而智能化技术在零售业中的应用可以直接带来利 润的增加。 1 2 国内外研究现状及分析 目前，人体运动的智能分析是计算机视觉领域中最活跃的研究主题之一，其 核心是利用图象处理、计算机视觉、模式识别等技术从图象序列中检测、识别、 跟踪人并对其行为进行理解与描述，它在高级人机交互、安全监控、视频会议、 医疗诊断及基于内容的图象存储与检索等方面具有广泛的应用前景和潜在的经济 价值，从而激发了国内外广大科研工作者及相关商家的浓厚兴趣【2 】。在国外欧洲和 日本已经开展了大量相关项目的研究。例如，1 9 9 7 年美国国防高级研究项目署 ( d e f e n s ea d v a n c e dr e s e a r c hp e c t sa g e n c y ) 设立了以卡内基梅隆大学为首、麻省理工 学院高校参与的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) t 3 】用 于战场及普通民用场景进行监控的自动视频理解技术；实时视觉监控系统w 4 【4 】不 仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪， 并可以检测人是否携带物体等简单行为；英国的雷丁大学( u n i v e r s i t yo f r e a d i n g ) 开 展了对车辆和行人的跟踪及其交互作用识别的相关研究【5 】；i b m 与m i c r o s o f t 等公 司也正逐步将基于视觉的手势识别接口应用于商业领域中，国内也有很多厂家生 产出了具有自动报警功能的监控系统，许多科研机构如中国科学院自动化研究所 模式识别国家重点实验室科l p r ) 视觉监控组对该领域作了大量的研究，在人运动 的视觉分析、交通行为事件分析、交通场景视觉监控和智能轮椅视觉导航等领域 取得了许多科研成果。 智能视觉监视技术在公共保安领域中的应用带来了监控系统的巨大变革。而 今，许多科研人员把最先在军事制导中得以广泛应用的运动目标检测和跟踪技术 成功引入到监控系统中构建出了新一代的智能化监控系统。这类系统克服了传统 监控系统只提供监控人员“眼睛”，仍需要监控人员时刻根据场景控制云台跟踪运动 目标的缺陷，它自己就具有简单的自主监控能力能实时地对监视场景的运动 目标进行检测和跟踪。最近的趋势更是把人体识别引入到监控系统中，设计能完 全替代监控人员的、可用于无人值守情况下的高智能化监控系统【6 】。基于人体运动 的视觉监视技术的智能化监控系统一般遵从下流程。 它的处理流程：运动检测，特征选择与运动表征，行为识别。个别智 能化程度更高系统还具有对运动场景的个人进行简单的行为理解与描述功能。其 中，运动检测、行为识别属于视觉中低级和中级处理部分，而行为理解和描述则 属于高级处理当然，它们之间也可能存在交叉( 比如目标跟踪过程中可能使用到运 3 重庆人学硕士学位论文1 绪论 动检测的方法) 。下面将从处理方法上回顾这几个方面国内外的发展现状。 运动检测( m o t i o nd e t e c t i o n ) 。运动检测的目的是检测视频流，将变化区域从 背景中精确提取出来，即正确分割出运动目标区域或轮廓，这是任何系统设计的 初始阶段和首要问题，它的成败直接影响后续的识别、跟踪效果。现有图象序列 的运动检测算法由于其应用范围的不同，通常采用不同的方法。传统的运动检测 技术有四种方案：时域差分法【7 ( t e m p o r a ld i f f e r e n c i n g ) - - 般用连续的两到三帧图象 相减实现时域微分；背景减除法【8 l ( b a c k g r o u n ds u b t r a c t i o n ) 光流场法【9 】和统计模型分 类法( b a c k g r o u n ds t a t i s t i c a lm o d e lc l a s s i f y i r i g ) 。时域差分法对动态变化场景非常有 效，但一般不能很好地提取出运动目标的所有特征象素；背景减除法能得到运动 物体很全面的特征数据，但却对由于光线和其他外部的动态场景变化非常敏感：光 流场法能在摄像头运动时有效的检测运动目标，然而，这种方法计算很复杂，不 适用于要求实时性很强的监控场合；背景统计模型分类能自适应选择阀值，然而往 往过于简单或计算复杂。针对传统运动检测技术的种种缺陷，近年来的趋势有两 种：一是对传统方法加以改进。例如有人提出了基于时域差分图象边缘与灰度图 象边缘之间强相关性，融合二者的运动目标边缘的精确提取算法，针对背景减除 法对运动场景变化敏感的缺陷，有人提出动态背景更新的方法，此外不少学者也 在研究减小光流场计算量的方法以使之能适用于实时场合，这些研究对传统运动 检测技术的进一步完善非常有益。另一种趋势是研究新的运动检测方法。例如， 考虑到传统运动检测技术完全忽视了图象的颜色信息，有人提出了基于颜色的图 象分割方法取得了很好的效果；另一种基于背景统计模型的运动检测方法也应用 颇广，效果显著；此外，基于知识的目标分割方法也是最近的研究热点。总结现 有成功检测的经验，融合多种运动检测方法的综合判决方式能大大提高检测的准 确性、鲁棒性和运动区域分割的精度【l0 1 。 特征选择与运动表征。在人运动视觉分析中，由于视角的影响，同一种行 为可能有不同的投影轨迹，而不同的行为可能有相同的投影轨迹。此外，光照变 化、遮挡等现实环境因素也都给行为理解带来了很大困难。所以从原始视频数据 中提取何种底层特征( 如形状信息包括侧影、轮廓，运动信息包括位置、速度、方 向等) 描述人运动，以及如何选择充分有效的描述方法表征人运动状态并且能够在 时间分辨率和维数上减少计算量成为行为理解的关键问题之一。对于特征选择， 表1 1 【27 】为2 0 0 0 - - - - 2 0 0 7 年4 0 0 多；篇关于行为理解研究的权威期刊与重要国际会议文 章中使用特征的统计分析表。由表1 1 可见目前行为理解研究所采用的特征主要有 如下四种外观形状特征、运动特征、时空特征、形状特征与运动特征两者的混合 特征。其中形状特征和运动特征是两种最常用、也是最主要的特征其比例均保持 在3 0 以上。另外时空特征在行为理解研究中开始得到越来越广泛的使用。 4 重庆大学硕士学位论文1 绪论 表1 1 行为理解使用特征统计分析表 t a b1 1s t a t i s t i ca n a l y s e so f b e h a v i o ru n d e r s t a n d i n gf e a t u r e 基于外观形状特型】方法是先利用人体几何结构、轮廓或姿态以及区域颜色 等信息来估计运动目标每时刻的静止姿态，然后用这些静止姿态序列来描述人体 运动。外观形状特征容易获得且比较稳定，对纹理变化不敏感。基于运动特征方 法【l2 】则没有利用有关人体结构的任何形状信息，而是直接从图像序列中提取出目 标运动特性( 时分) 信息( 如光流信息、运动方向、轨迹、位置、速度等) 来表征运动 状态。心理学研究表明运动特征具有静态形状特征无法比拟的优势，即使是在远 距离或恶劣的能见度情况下和最小运动系统m l d ( m o v i n gl i g h td i s p l a y ) 【1 3 】， 人能够根据运动模式轻松地区别和识别目标的运动类型，而形状特征在此种情况 下往往变得模糊不清。但目前的计算机视觉方法很难准确地提取运动特征，所以， 为了充分利用形状特征和运动特征各自的优势，研究人员采用两者的混合特征u 4 j 识别人的行为。此外，时空特征【l5 】是近年来行为理解研究中使用比较多的特征。 时空特征通过采用二维形状在一段时间内形成的空时立体或差分图像来描述行 为，集合了形状和运动特征两者的优点。由于时空特征考虑了运动信息，也有学 者将其归类于运动特征。 人运动表征是指从人的运动序列中提取合适的特征数据来描述人的运动状 态，这是人行为理解中至关重要的一步。依据所用的特征，运动表征方法可分成 基于外观形状特征的和基于运动特征的。 基于外观方法并不试图恢复人体运动的结构模型，而是直接从图像中提取物 体的二维空间信息，如高度、宽度、侧影轮廓和颜色等，并用这些特征直接或通 过与已经训练好的模型进行匹配来获得对当前运动的描述。在这类方法中，形状 分析理论常用来描述运动目标的形状变化特征( 有关形状分析请参考文献【l 卅) 。常 用的形状分析方法有质心一边界距离【l l 】、傅里叶描述符、形状上下文和统计形状 分析【1 7 】等。其中，质心一边界距离方法使用维函数编码从形状的质心到形状边 界点的距离，这种描述符简单但不能精确地对非凸起形状进行编码，如质心与一 个边界点之间的距离连线可能与另一个边界点相交，造成细节的丢失。p o p p e 等人 提出用傅里叶描述算子恢复人姿态；其思想是用固定的边界采样点对人体二维侧 影轮廓进行采样，并对采样点进行傅里叶变换，利用变换后傅里叶系数的低频部 重庆大学硕十学位论文1 绪论 分描述形状的大体特征，用高频部分来反映形状的微观特征即详细特征。由于傅 罩叶描述算子只能描述单个闭环曲线，这种方法一般用于描述外部边界点；在噪 声环境下，傅里叶转换性能不是很好。m o r i 和m a l i k 则提出用形状上下文描述算 子表征人体侧影形状来恢复人体运动的三维姿态。一个点的形状上下文算子就是 试图捕捉点集中其他点相对于该点的分布，它是一种基于内部或外部边界采样点 的局部描述算子。傅罩叶描述算子和形状上下文算子具有平移、旋转和尺度不变 性。与傅里叶算子和形状上下文描述算子不同的是，h u 1 8 1 提出一种基于区域的不 变矩理论，并构造出共七个不变矩，它们具有平移、旋转和缩放不变性，目前已 经广泛应用于图像的模式识别中。p o p p e 和p o e l 对傅罩叶描述算子、形状上下文 和不变矩三种算子在侧影轮廓描述上的性能进行了比较，并且实验结果表明傅里 叶描述算子和形状上下文直方图在形变侧影描述上比h u 更具有优势。基于外观特 征方法不要求特定的模型，比较简单，能够适用于大量的环境条件下。但外观特 征方法由于没有模型先验信息限制，很难建立连续帧之间的特征对应关系，并且 很难区别信号和噪声，一般对噪声敏感。此外，外观特征受视角影响大，所以许 多学者【l9 】研究基于多视角环境中人的行为分析和识别。 基于运动特征的运动表征方法，基于运动特征的表征方法可以细分为： a ) 基于预先确定区域( 如腿、头) 跟踪的运动轨迹分析方法。其关键是运动匹配 【2 0 】，思想是在一帧图像中提取出兴趣点或区域、典型特征，并且在随后图像帧中 进行跟踪，多帧之间的这些特定点或区域位置匹配就会产生一条运动轨迹；然后 对轨迹进行参数化处理，如将轨迹转换成水平、垂直方向的速度以及时空曲率等 来描述运动特性。 b ) 基于非预先确定的目标区域运动分析方法。其最典型的代表是光流法【2 1 l 。 与运动轨迹不同的是，光流法是计算空间运动物体表面上像素点运动产生的瞬时 速度场。它通过计算图像序列中连续两帧亮度信息来得到，指的是图像亮度模式 的表观( 或视在) 运动( a p p a r e n tm o t i o n ) 。例如z h u 等人提出用光流直方图来描述 动作的运动信息，然后用支持向量机作分类器识别运动员的击球动作。光流法在 无须背景区域的任何先验知识条件下就能够实现对运动目标的检测和跟踪。光流 计算的基本等式是假设相邻两幅图像中对应两点的灰度不变得到的，在这个假设 条件下首先要求两幅图像相邻时刻之间的间隔是很小的( 几十毫秒之内) ，并且要求 场景光照均匀。此外光流法的计算量较大。 基于运动特征和外观形状特征表征的方法都有各自的缺点，基于运动特征能 够描述人的近似运动方向和轨迹等，但很难准确、稳定地捕捉目标运动特性；另 一方面，外观形状特征能够描述人的姿态信息，但由于没有运动信息，描述行为 动作的能力有限。所以研究人员通过采用融合两种特征的方法来对人行为进行建 6 重庆大学硕七学位论文1 绪论 模和识别。 行为识雯j l j ( b o d yr e c o g n i t i o n ) 。行为识别的目的是对检测到的行为进行分类， 做出是否存在异常行为的判断。运动检测后得到行为很多，但都可以把它们分为 两类，正常行为和异常行为。异常行为识别是行为识别的核心问题之一，行为识 别问题可以简单地看做是时变特征数据的分类问题，即将测试序列与预先标定的 代表典型行为的参考序列进行匹配，那么其关键问题是如何从学习样本中获取参 考行为序列以及如何度量参考序列与测试序列之间的相似性。由于人动作执行的 速度不一样，学习和匹配行为序列时还必须能够处理相似运动模式在空间和时间 尺度上轻微的特征变化。目前，行为识别方法一般可以分成静态识别和动态识别。 静态识别方法是把行为看做由一组按时间顺序串连起来的静态图像序列，其常用 的方法有模板匹配方法；动态识别方法是定义每个静态姿势作为图模型上的一个 节点或状态，这些节点或状态之间通过某种关系如概率联系起来。任何运动序列 可以看做这些静态姿势的不同状态之间的一次遍历过程。常用的识别方法有隐马 尔可夫模型( h i d d e nm a r k o vm o d e l s ，h m m s ) 、动态贝叶斯网络( d y n a m i cb a y e s i a n n e t w o r k ，d b n ) 等。这些方法可以总归为基于状态转移的图模型方法。采用模板匹 配技术的行为识别方法首先将图像序列转换为一组静态形状模式，然后在识别过 程中和预先存储的行为标本相比较。例如b o b i c k 与d a v i s 2 2 】采用运动能量图像m e i ( m o t i o ne n e r g yi m a g e s ) 和运动历史图像m h i ( m o t i o n h i s t o r yi m a g e s ) 来解释图 像序列中人的运动。序列中的运动图像首先经差分运算并二值化；而后这些包含 运动区域的二值化运动图像随着时间累加形成m e i ；最后m e i 增强为m h i ，m h i 中每个像素的值与该位置的持续运动时间成比例。每个行为由不同视角下图像序 列的m e i 和m h i 所组成，从中可以提取出基于矩的行为特征用于识别阶段的模板 匹配。m a s o u d 等人【2 3 】则采用无限冲击响应滤波器来描述运动，并将其投影到特征 空间，然后用h a u s d o r f f 距离度量测试序列与参考序列之间的相似性。此外，还有 学者采用p r o c r u s t e s 距离f 2 4 】来度量测试序列与模板之间的相似性。这些最近邻方法 尽管在一定程度上反映了运动的时分关系计算量小，但并没有对运动的时分限制 条件进行建模，鲁棒性较差。为此，v e e r a r a g h a v a i l 等人【1 2 】用动态时间规整( d y n a m i c t i m ew a r p i n g ，d t w ) 来匹配运动序列。d t w 是种时变数据序列匹配方法，常用 于微生物学的d n a 匹配、字符串和符号的比较以及语音分析 2 5 1 。d t w 算法的思 想是给定参考模板特征矢量序列与输入特征矢量序列，寻找一个最佳的时间规整 函数，使得输入序列的时间轴映射到参考模板的时间轴上总的累计失真最小。对 d t w 而言，即使测试序列模式与参考序列模式的时间尺度不能完全一致，只要时 间次序约束存在，它仍能较好地完成测试序列与参考序列之间的模式匹配。d t w 具有概念简单、算法鲁棒的优点，能够对图像序列进行分类。文献【l2 】在形状空间 7 重庆大学硕七学位论文1 绪论 中用动态时间规整方法计算两个形状序列之间的距离来识别动作和步态，取得了 很好的分类结果。然而，d t w 算法计算量较大，缺乏考虑相邻时序之间的动态特 性，而在实际中，运动序列中相邻序列在时间和空间上有高度的相关性。模板匹 配技术的优点是计算复杂度低、实现简单，然而它对于噪声和运动时问问隔的变 化是敏感的。基于状态空间模型【1 2 】的方法定义每个静态姿势作为一个状态，这些 状态之间通过某种概率联系起来。任何运动序列可以看作为这些静态姿势的不同 状态之间的一次遍历过程，在这些遍历期间计算联合概率，其最大值被选择作为 分类行为的标准。目前，状态模型已经被广泛地应用于时间序列的预测、估计和 检测，最有代表性的是隐马尔可夫模型【l 引。状态空间方法虽然能克服模板匹配的 缺点，但通常涉及到复杂的迭代运算，算法的步骤较为复杂，难以应用到实际工 作中。 1 3 人异常行为识别技术的发展趋势 人体行为识别本质上是一个人工智能问题，涉及图像处理与分析、机器视觉、 人体生理学、人体运动学、模式识别、人工智能等多学科领域的知识。对计算机 来说，即使现代的计算机硬件技术非常先进，具有远远超过人类的海量存储和高 速运算能力，但在处理识别与理解的问题时却显得力不从心。实际上，目前人体 行为识别与理解仍集中于人体标准姿势、简单行为的识别与理解，近年来利用机 器学习工具构建人体行为统计模型的研究已有了一定的进展，但行为识别仍处于 初级阶段。 研究人体行为识别技术的难点在于特征选择和机器学习。要在选取合适的特 征和达到一定的识别准确度之间进行折衷，一种更好的办法是定义一个动态的特 征模型，借鉴人类的学习、识别与理解机理。总之，人体行为识别与理解技术的 未来发展趋势是如何借助先进的视觉算法和人工智能等领域的成果，将现有简单 的行为识别与语义理解推广到更为复杂场景下的自然语言描述，努力建立一个能 够不断积累知识、丰富经验、具有自主学习能力的实时系统。 随着人运动分析研究和其它相关技术的发展，下述几个方面已经成为未来的 发展趋势： 音频与视觉相结合的多模态接口 人的相互交流主要是依据语言，过去的许多工作是语音理解，但语音识别距 离和环境噪声的限制，尤其在机场等高噪声环境，将会严重影响语音识别的能力。 人的可视化描述与语音解释一样重要，研究者们正逐渐将语音与视觉信息结合起 来以产生更加自然的高级接口。当前一些接口系统在视觉方面仅仅做了脸的表情、 身体姿势等的大尺度分析，但还不能分析大多数人的正常姿势，这味着人机之间 重庆人学硕十学位论文1 绪论 的通讯仅局限于几个特定的姿势，这个局限是人的姿势结构的不理解造成的，而 且跟踪多人的系统由于来自摄像机的分辨率、计算机处理能力视角的影响而不能 准确的估计身体姿势。为了完成优化尺度和广域的分析，可寻求准确实时的多摄 像机的信息融合方法，以便机器更好地理解人的通信行为目前音频和视频的信号 处理相对独立，如何更好地集成音频和视频信息用于多态用户接口是一个严峻的 挑战。 人的运动分析与生物特征识别相结斜2 6 】 在智能房间的门禁系统、军事安全基地的视觉监控系统、高级人机交互等应 用中，人的运动分析与生物特征识别相结合的研究日益显得重要。在人机交互中 不仅需要机器能知道人是否存在、人的位置和行为，而且还需要利用特征识别技 术来识别与其交流的人是谁。远距离的身份识别已经越来越重要，比如2 0 0 0 年 d a r p a 赞助的重大项目- h i d ( h u m a ni d e n t i f i c a t i o na tad i s t a n c e ) 计划。目前 的研究主要集中在人的脸像识别、步态识别或特定行为的识别。近距离时一般可 以通过跟踪人脸来加以身份识别；如果是远距离的监控，脸的特征可能被隐藏， 或者分辨率太低不易识别，然而进入监控领域的人的运动步态是可见的，这激活 了步态作为一个独特的生物行为特征应用于人的身份鉴别。由于人的步态具有易 于感知、非侵犯性、难于伪装等优点，近来已引起了计算机视觉研究者们浓厚的 研究兴趣。 人的运动分析向行为理解与描述高层处理的转变 人的行为理解是需要引起高度注意并且是最具挑战的研究方向，因为观察人 的最终目标就是分析和理解人的个人行为、人与人之间及人与其它目标的交互行 为等，如w 4 系统可以分析人是否携带物体、放置物体、交换物体等简单的行为。 目前人的运动理解还是集中于人的跟踪、标准姿势识别、简单行为识别等问题， 如人的一组最通常的行为( 跑、蹲、站、跳、爬、指等) 的定义和分类。近年来 利用机器学习工具构建人行为的统计模型的研究有了一定的进展，但行为识别仍 旧处于初级阶段，连续特征的典型匹配过程中常引入人运动模型的简化约束条件 来减少歧义性，而这些限制与一般的图像条件却是不吻合的，因此行为理解的难 点仍是在于特征选择和机器学习。目前，用于行为识别的状态空间方法和模板匹 配方法通常在计算代价和运动识别的准确度之间进行折中，故仍需要寻找和开发 新的技术以利于提高行为识别性能的同时，又能有效地降低计算的复杂度。另外， 如何借助于先进的视觉算法和人工智能等领域的成果，将现有的简单的行为识别 与语义理解推广到更为复杂场景下的自然语言描述，是将计算机视觉低、中层次 的处理推向高层抽象思维的关键问题。 9 重庆大学硕七学位论文1 绪论 1 4 本文研究的主要内容 本文使用背景差分算法和时间差分法相结合的方法进行运动检测，并提取运 动人体轮廓。利用人体行为识别领域中的模板匹配法的思想对运动目标进行识别 的方法，对异常人体行为进行识别，在实际应用中取得了良好的效果。 在人体行为识别方法的设计中，为了更完备地描述行为序列，提高识别的准 确率，主要就以下几个方面展开工作： 采用软件方法，把视频图像读入m a t l a b 中进行处理。读入后的图像采用图 像增强的方法进行图像预处理为运动目标检测做准备。 采用帧间差分与背景差分相结合的方法进行运动目标检测。采用r g b 色彩 空间和h s v 色彩空间相结合的阴影消除算法，采用数学形态学的方法对人体轮廓 二值图像进行后处理去除图像中的噪声，最后采用图像分割的方法获得运动人体 边缘轮廓作为下一步特征提取的输入图像。 采用h u 矩对异常行为图像进行形状特征提取。采用提取相邻两帧图像质心 的方法提取运动特征。把两种特征放在一个向量中，这样就将行为特征的空间信 息和时间信息结合起来更充分地表示运动人体的特征。 利用中获得的特征向量，采用一种基于该向量实现的模板匹配方法，计算 所检测行为特征与正常行为特征的h a u s d o r f f 距离，再采用设定阀值的方法判断是 否为异常行为，用这种方法检测和识别弯腰、跳起、奔跑、挥手、呼救五种异常 行为。 1 5 论文结构安排 本文分为六部分： 第l 部分：绪论，对人体行为识别的研究背景以及发展状况进行简要的介绍； 第2 部分：如何从视频中提取人体运动图像，进行运动目标检测； 第3 部分：如何对视频图像进行后处理，阴影处理，边缘检测； 第4 部分：详细介绍基于h u 矩特征的人异常行为识别方法； 第5 部分：总结和展望； 1 0 重庆人学硕士学位论文2 运动目标检测 2 运动目标检测 2 1 背景模型的初始化与更新 将背景减除法和时间差分方法相结合，虽然可以提取出完整的目标图像，但 在实际应用中仍有许多问题需要解决，实际应用中一幅“纯净”的背景图像总是不容 易得到的，一种简单的做法是当场景中无任何目标时采集一幅图像作为背景图像， 很显然随着时间的推移，外界的光线会变化，这会引起背景图像的变化，因而这 种采用一幅固定背景图像的方法，只适合应用于外界条件较好的场合。为了实现 长时间的视频监视，需要在一段时问后重新更新背景图像。因为背景图像总不会 是一直不变，所以目前大多数研究人员已经放弃了这种非自适应的获取背景的方 法【2 8 】【2 9 1 ，因而基于背景减除的方法的关键在于随着时间的推移如何自适应更新背 景估计图像。 2 1 1 统计平均法 一种常用的自适应背景更新方法就是对背景图像进行多幅平均，这种方法通 常适应于场景内的目标滞留时间较小，目标出现并不频繁的情况，这种简单的背 景更新方法可采用如公式2 1 计算： 11 包= ( z + z 一。+ z 一+ 。) = 勿一+ 吉( z z 一) ( 2 1 ) yy 由公式3 1 可知，利用统计平均方法对背景进行更新，其中最为关键的参数就 是n 。若背景中目标并不频繁出现，显然适当的选择参数n 可以获得一个较为真 实的背景图像的估计图像。 2 1 2 高斯统计模型方法 类似于统计平均法的方法，在大多数情况下，可以正确地得到背景图像的估 计，但当场景中有个别部分作无规则运动时，如树枝摇摆，光线的变化等，会引 起场景中像素值在不断变化，此时用上文的基于统计平均思想的背景更新方法， 就只能得到其平均的像素值从而引起错误的检测。下面我们介绍有部分区域在不 断变化的场景的背景更新算法。 基于高斯统计模型的背景图像估计算法，用高斯分布来描述每个像素颜色的 概率密度分布。该算法由背景图像的估计和更新两部分组成。在背景图像的估计 算法中，我们在段较长的时间段内计算视频序列图像每一像素的平均亮度及 像素亮度的方差6 2 0 ，由和6 2 0 组成的具有高斯分布的图像b o 作为初始的背景估 计图像： b o = u o ，o - 0 2 】 ( 2 2 ) 重庆大学硕十学位论文2 运动目标检测 其中： a o ( x ，j ，) = 专z ( 训) ； ( 2 3 ) 磊2 ( 石，y ) = 专【z ( 训) 一a 。( z ，少) 2 ( 2 4 ) 当背景估计图像的初始化完成后，随着每一帧新图像的到来，需要使用下列 公式不断自适应地更新背景图像参数，得到更新后的背景估计图像b 。 更新的背景估计图像： 6 f = 鸬，巧2 】 ( 2 5 ) 其中： 鸬= ( 1 - a ) 肛一l + 口z ( 2 6 ) 4 2 = ( 1 - a ) 万2 卜l + 口( z - 4 ) 2 ( 2 7 ) 一，志e 冲 _ 虹2 型) 亿8 ， 2 厅万 ii 其中口是一给定的 o ，l 】之间的常数。 当完成了背景的估计和更新后，就可以利用修正后的背景图像与当前帧图像 的差分运算方法进行运动目标的检测和提取。 2 2 运动目标检测算法 在进行色彩空间转换后，运动目标检测是整个活动目标检测识别系统的第一 部分，运动目标检测