（控制理论与控制工程专业论文）基于svm的室内异常行为检测算法研究.pdf

硕士论文基于s v m 的室内异常行为检测算法研究 摘要 现有的视频监控系统大多关注于场景内运动目标的检测或跟踪，然而，监控的目的 常常是对监控场景中的异常事件或监控对象的异常行为进行检测、分析，在长时间视频 序列中采用人工处理此类工作既不实用也不经济。因此，在视频监控序列中进行异常检 测十分重要而且必要。 本文针对室内环境中的异常行为进行检测，分别研究了基于人体侧面信息进行异常 检测的算法和利用正面信息进行异常检测的算法。文中均采用支持向量机( s v m ) 作 为识别算法，在自行采集的实验数据库上进行了训练和测试。 针对拍摄的人体侧面运动视频，本文指定跌倒为异常行为，其他行为为正常行为。 文中选取质心轨迹和人体轮廓宽度特征，采用线性核的s v m 分类器进行异常行为的识 别。实验结果表明，该算法达到9 7 以上的检出率和较低的误检率，同时拥有相对较低 的计算代价。 对于正面的异常检测，本文采用了一种基于网格技术的特征提取方法，将人体轮廓 映射到一个二维数组，通过抽样轮廓上的特征点，利用这些点的相对位置信息构成特征 向量，最后运用s v m 分类器进行异常行为的识别，也取得了令人鼓舞的识别结果。 上述提到的实验结果，均是在v c + + 6 0 和d i r e c t s h o w 平台上自行开发的异常行为 检测系统上获得的。 关键词：视频监控，特征提取，质心轨迹，人体轮廓，网格技术，异常行为识别，支 持向量机 a b s t r a c t n o w a d a y s ，m o s to fv i d e os u r v e i l l a n c es y s t e m sf o c u so nd e t e c t i n go rt r a c k i n gt h e m o v i n gt a r g e t si nt h es c e n e s ，h o w e v e r , t h ep u r p o s eo fm o n i t o r i n gi st od e t e c ta n da n a l y s i s a b n o r m a le v e n t so ra b n o r m a lb e h a v i o rm o n i t o r e di i lt h es c e n e s m a n u a lh a n d l i n gi sn e i t h e r p r a c t i c a ln o re c o n o m i c a lf o rv i d e os e q u e n c e si nl o n gt i m e t h e r e f o r e ，a b n o r m a ld e t e c t i o n c a r r i e do u ti 1 1t h ev i d e os u r v e i l l a n c ei sv e r yi m p o r t a n ta n dn e c e s s a r y t h i st h e s i ss t u d i e sa b n o r m a lb e h a v i o rd e t e c t i o ni i li n d o o re n v i r o n m e n t b a s e do nt h e s i l h o u e t t ea n dt h ef r o n tf e a t u r eo fh u m a n ，r e s p e c t i v e l y , a b n o r m a ld e t e c t i o na l g o r i t h m sa r e i n v e s t i g a t e d i nt h i st h e s i s ，t h es u p p o r tv e c t o rm a c h i n e ( s v m ) c l a s s i f i e ri si n t r o d u c e d ，如dt 1 1 e t r a i n i n ga n dt h et e s to f t h ec l a s s i f i e ri sc a r r i e do u to nah o m e b r e w e dd a t a s e t f o rt h ea n o m a l yd e t e c t i o nf r o mt h es i l h o u e t t eo fh u m a n , i i lt h et h e s i s f a l l i n gd o w ni s r e g a r d e da sa na b n o r m a lb e h a v i o rt h a ti ss u b j e c t e dt od e t e c t i o n s o m ec h a r a c t e r sa r eu s e d ， w h i c ha r et h ec e n t r o i dt r a c ka n dt h ec o n t o u rw i d t ho fh u m a n t h es v m c l a s s i f i e rw i t hl i n e a r k e r n e li su s e dt oi d e n t i f yt h ea b n o r m a lb e h a v i o r e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ec o r r e c t r e c o g n i t i o nr a t ei sm o r et h a n9 7 a n dt h ef a l s ea l a r mr a t ei s l o w , m e a n w h i l e t h e c o m p u t a t i o n a lc o s ti sr e l a t i v e l yl o w b a s e do nt h ef r o n ta b n o r m a ld e t e c t i o n ，an e wf e a t u r ee x t r a c t i o nm e t h o db a s e do ng r i d r e p r e s e n t a t i o nt e c h n o l o g yi su s e d f i r s t ，t h eb o d yc o n t o u ri sm a p p e dt oat w o d i m e n s i o n a l a r r a y ；t h e n ，s a m p l i n gf e a t u r ep o i n t so nt h es i l h o u e t t e s ，t h er e l a t i v el o c a t i o ni n f o r m a t i o no f t h e s ep o i n t sc o n s t i t u t eaf e a t u r ev e c t o r ；f i n a l l y , w eu s ea ns v mc l a s s i f i e rf o ri d e n t i f y i n g a b n o r m a lb e h a v i o r , a n da ne n c o u r a g i n gp e r f o r m a n c eh a sb e e na c h i e v e d a l la b o v em e n t i o n e de x p e r i m e n t a lr e s u l t sa r ea c h i e v e dt h r o u g ha na b n o r m a lb e h a v i o r d e t e c t i o ns y s t e mt h a td e v e l o p e do nv i s u a lc + + 6 0a n dd i r e c t s h o wb y o u r s e l v e s k e yw o r d s ：v i d e os u r v e i l l a n c e ，f e a t u r ee x t r a c t i o n ，c e n t r i ct r a c k ，h u m a ns i l h o u e t t e ，g r i d t e c h n o l o g y , a b n o r m a la c t i v i t yd e t e c t i o n ，s v m 1 i 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 。、： 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名： 切媾7 月旧 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名：椒 硕士论文基于s v m 的室内异常行为检测算法研究 1 绪论 1 1 课题的研究背景和意义 当今社会是一个人口密集、高度复杂的社会，面临的突发事件和异常事件越来越多， 其监控的难度与重要性也越来越突出。现有的视频监控系统大多只是进行场景内运动目 标的检测或跟踪，进行进一步识别与行为理解等很少，虽然人们不断地建立越来越大的 视频监控系统，但这些监控系统也几乎沦为一种提供事后取证录像的工具。然而，监控 的目的就是对监视场景中的异常事件或监控对象的异常行为进行检测、分析，在长时间 视频序列中采用人工处理此类工作既不实用也不经济。因此，在视频监控序列中进行异 常检测十分重要而且必要。 人的行为分析和识别【l 】在安全监控、高级人机交互、视频会议、基于行为的视频检 索以及医疗诊断等方面有着广泛的应用前景和潜在的商业价值，是近年来计算机视觉领 域最活跃的研究方向之一。它包含图像序列中人的自动检测、行为特征的提取、行为的 理解和描述，属于图像分析和理解的范畴。从技术角度，人的行为分析和识别的研究内 容相当丰富，涉及到图像处理、计算机视觉、模式识别、人工智能、人体生理学等学科 知识。 行为分析的最终目标是通过对行为特征数据的分析来获取行为的语义描述与理解。 在许多实际应用( 如基于行为的视频检索、视觉监控) 中，人们往往更为关注异常行为 的检测。 g a v f i l a 1 】总结了人的行为分析的一些主要应用领域，下面据此对典型应用做出进一 步的介绍1 2 】。 ( 1 ) 智能监控( s m a r ts u r v e i l l a n c e ) 智能监控【3 4 】系统的需求主要来自那些对安全要求较为敏感的场合，如银行、商店、 停车场、军事基地等。目前监控摄像机在商业应用中已经普遍存在，但并没有充分发挥 其实时主动的监督作用，因为人们通常是将摄像机的输出结果简单地记录下来，当异常 情况( 如停车场中的车辆被盗) 发生后，保安人员才通过记录的结果观察发生的事实， 而这往往为时已晚。我们需要的监控系统应该能够提供全天候的实时监控，通过实时分 析监控数据来提示安全机构警惕正在进行的异常情况，如抢劫，偷盗等。除了安全方面 的应用外，监控还可以用于测量交通流量，进行公共场所人群的拥挤状态分析【2 1 2 2 1 、智 能家居看护、购物场所消费者的人数统计等。 ( 2 ) 高级人机交互( a d v a n c e dh u m a n c o m p u t e ri n t e r a c t i o n ) 另一个重要的应用是高级人机交互。人的行为分析常被用来提供控制和指令。通常 说来，人们之间的信息交流主要是依靠语言，并适当结合手势、身体姿势和面部表情等 l i 绪论硕士论文 【5 7 】。因此视觉信息可以作为语音和自然语言理解的有效补充来完成更加智能的人机交 互。这就要求未来的计算机必须具备感知外部环境的能力，如检测人的存在，解释人体 行为等。人机交互领域的应用还包括手语翻译，姿势驱动控制等。在某些特定的场合， 甚至视觉的高级人机接口能够提供比语音识别更加准确的信息输入【8 1 。 ( 3 ) 运动分析和识别( m o t i o na n a l y s i sa n dr e c o g n i t i o n ) 分割图像中的人体部分并在图像序列中跟踪分析感兴趣的关节运动，对于建立人体 的几何模型、解释人体的运动行为机制从而提高它的运动性能有着积极的推动作用，这 可以应用于体育、舞蹈等训练中；传统的步态分析是肌电图学、关节动力学的研究范畴， 而目前的医学步态分析【9 - 1 1 1 是一个旨在提供诊断和治疗支持的研究领域，它可以提供人 体正常步态建模的线索，有助于开发生物反馈系统来分析病人的步态，判断其腿部受伤 情况或者畸形程度，从而做出积极的整形补偿或有效的治疗；同时，步态分析也可以作 为独特的生物特征用于远距离的身份鉴别 1 刁：另外，人的行为分析和识别也可以应用于 从大量的体育活动库中进行基于内容的快速搜索等。 ( 4 ) 虚拟现实( v i r t u a lr e a l i w ) 目前许多电脑游戏中人的形体，运动和行为交互的设计逼真性实际得益于物理空间 中的人的运动分析，包括人体模型和关节运动机制的获取及姿势的恢复等；甚至出现了 互联网络的交互式空间的开发，如虚拟聊天室，它在通过文本交流的同时可以通过二维 图标导航用户，如果增加手势、头的姿势、面部表情等线索，将会给参与者们提供更加 丰富的交互形式；另外，人的行为分析在视频会议、人物动画、虚拟工作室等其它虚拟 现实应用中也有着相当广泛的用途。 ， 1 2 国内外研究动态 由于人的行为分析在高级人机交互、安全监控、视频会议、医疗诊断及基于内容的 图像存储与检索等方面具有广泛的应用前景和潜在的经济价值，从而激发了世界上广大 科研工作者及相关商家的浓厚兴趣。 目前，国外比较有代表性的实时系统有： ( 1 ) m i t 的p f m d e r 系统【1 3 】 这个系统能用来实时地跟踪人，并能分析理解人的行为。通过固定的摄像头，它可 以适应不同类型的场景，但只能处理单个没有被遮挡的人体，并且要求人是站立的。 ( 2 ) c m u 的v s a m 系统( 1 4 】 1 9 9 7 年美国国防高级研究项目署d a r p a ( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t s a g e n c y ) 设立了以卡内基梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首、麻省理工学院 ( m a s s a c h u s e t t si n s t i t u t eo ft e c h n o l o g y ) 等高校参与的视觉监控重大项目v s a m ( v i s u a l s u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要研究用于战场及普通民用场景进行监控的自动视频理 2 硕士论文 基于s v m 的室内异常行为检测算法研究 解技术。利用虚拟场景中的虚拟物体来代替人力监控费用昂贵、非常危险或者人力无法 实现等场合的监控。 ( 3 ) h a r i t a o g l u 的w 4 系统【”】 m a r y l a n d 大学的h a r i t a o l u 等人开发了w 4 ( w h a t ，w h e r e ，w h e n ，w h o ) 系统，是一个 全面的人体动作实时视觉监控系统。w 4 不仅能够定位人和分割出人的身体部分，而且 能够通过建立外观模型来实现多人的跟踪，并可以检测人是否携带物体等简单行为，还 可以进行人的标准姿势，如：站、坐、躺、卧的行为识别。 此外，英国的雷丁大学( u n i v e r s i t yo f r e a d i n g ) 1 1 6 1 已经开展了对车辆和行人的跟踪 及其交互作用识别的相关研究；i b m 与m i c r o s o f t 等公司也正逐步将基于视觉的手势识 别技术应用于商业领域中【1 7 d 羽。当前，国际上一些权威期刊将人的运动分析研究作为主 题内容之一，为该领域研究人员提供更多的交流机会。 国内也有很多厂家生产出了具有自动报警功能的监控系统，许多科研机构如中国科 学院自动化研究所模式识别国家重点实验室( n l p r ) 视觉监控组对该领域作了大量的 研究【6 2 1 ，在人运动的视觉分析、交通行为事件分析、交通场景视觉监控和智能轮椅视觉 导航等领域取得了许多科研成果。 t 人的行为分析研究在视频监控系统中的应用往往关注于人的异常行为【6 8 】。目前，异 常行为检测的实现方法通常有两类： ( 1 ) 把小概率行为或与先验规则相反的行为看作异常行为。例如z h o n g 等【1 9 】提出了 一种无监督的异常行为检测方法，文中指定小概率事件为异常行为，通过聚类分析和相 似性度量来判别异常行为，只适用于离线状态下大量数据中的异常检测问题。 ( 2 ) 把与已知正常行为的模式不匹配的行为看作异常行为。例如z h a n g 等【2 0 】提出对 正常行为采用自适应的半监督h m m 建立行为模型，与已知正常行为模式不匹配的行为 被认为是异常行为。 1 3 本文的主要工作和结构安排 本文针对室内环境中人的行为进行分析，分别利用人体侧面信息和正面信息研究了 两种异常行为检测算法。首先，提出了一种基于人体侧面信息的异常行为检测算法。用 于识另睁的行为包括6 种可能发生的室内行为：慢跑、行走、站立、坐下、蹲下和跌倒几 种行为，指定跌倒为异常行为，其余属于正常行为。该算法选取人体的质心轨迹和人体 轮廓宽度特征，从以上几种行为中识别出跌倒这种异常行为。本文还利用人体的正面信 息研究了一种基于网格技术的异常行为检测算法。文中指定人的正常行走为正常行为， 蹒跚行走、跛腿行走等其他行为属于异常行为。该算法是将人体轮廓进行分割并编码表 示，将人体轮廓的信息映射到一个二维数组，通过对轮廓采样获得的位置信息构成特征 向量来识别行为是否异常。本文研究的总体算法框架如图1 1 所示： 3 l 绪论硕士论文 目标分割 - i 背景麟卜_撵h s 删陈 分类器训练 j l | 瑚舔 议茄u 分廷 弋、 f 1f - i 谳趣h 人体捌 - - | 特征提取h 禊器h 。翼髓参 图i i 本文研究的总体算法框架 所做的主要工作包括： ( 1 ) 分析了运动目标检测的常用方法，并采用非参数的方法进行运动检测，接着利 用形态学方法进行后处理，获得运动人体的二值化图像，然后运用图像连通处理得到人 体运动区域的最小外接矩形。 ( 2 ) 针对以上提到的室内可能发生的几种行为，首先基于人体质心特征，将它们分 为移动型行为和准静止型行为，然后分别从两类行为中实现行进中跌倒和原地跌倒行为 的识别。针对移动型行为本文选取的识别特征是一个行为中每帧图像中的人体归一化标 准质心坐标构成的向量：对于准静止型行为，则是选取膝盖以下的人体部分在每帧图像 中的最大宽度及人体质心横坐标作为识别特征。最后采用支持向量机分类器进行异常行 为的识别。 ( 3 ) 研究了基于网格技术的特征提取方法，通过外形编码技术分割人体轮廓的二值 图像，然后抽去一些边缘点，利用这些点的相对位置信息构成向量来近似人体外形轮廓。 文中详细介绍了外形分割和编码表示方法，参数的选择以及如何抽取特征点。最后把支 持向量机的方法应用于行为的分类识别。 ( 4 ) 在v c + + 6 0 和d i r e c t s h o w 平台上设计了一个异常行为检测的实验系统。 本文的内容结构安排如下： 第1 章绪论，阐述了课题研究的目的和意义，介绍了行为分析的研究现状以及本文 的主要工作。 第2 章对人的行为分析和识别涉及到的人体检测、行为特征提取和分类识别几个环 节进行了综述。 第3 章详细介绍了支持向量机的基本理论。 第4 章采用了非参数方法从视频序列中提取运动人体的二值图像，并采用阴影抑制 消除了阴影及形态学方法对图像进行噪声去除，最后通过图像连通处理提取出运动人体 4 硕士论文 基于s v m 的室内异常行为检测算法研究 区域。 第5 、6 章分别研究t g u 面和正面人体图像序列的行为分析方法。 第5 章提出了一种针对侧面异常行为的检测方法，详细地介绍了特征提取方法，并 利用s v m 进行分类识别。 第6 章研究了一种新的特征提取方法基于网格技术的方法，并将该方法应用于 正面的异常行为的检测。利用s v m 分类器对行为进行分类。 最后在结论部分对全文进行了总结并展望了未来的研究工作。 硕士论文基于s v m 的室内异常行为检测算法研究 2 人的行为分析方法概述 人的行为分析和识别主要是针对包含人的运动图像序列进行处理，它通常涉及到人 体检测、行为特征提取和分类识别这几个过程。 2 1 人体检测 基于视觉的人体运动分析系统几乎都是从人体检测开始的，即从图像中分割人体区 域。在通常的监控系统中，背景是静止的，分割人体区域也就是要求完成在监控场景中 的运动分割。 运动分割的目的是从序列图像中将变化的区域从背景图像中提取出来。运动区域的 有效分割对于目标分类、特征提取、特征表达与最后的识别结果等后期处理是非常重要 的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像 的动态变化，如天气、光照、阴影及杂乱干扰等的影响，使得运动分割成为一项相当困 难的工作。 运动分割可以分为静止和运动背景下运动目标的检测和提取。现有的运动分割算法 大体可分为如下三类【z j ： ( 1 ) 时间差分法( t e m p o r a ld i f f e r e n c e ) 时间差分法是在连续的图像序列中两个或几个相邻帧间采用基于像素的时间差分 并阈值化来提取出图像中的运动区域。例如l i p t o n 等1 2 3 】利用两帧差分方法从实际视频 图像中检测出运动目标，进而用于目标的分类与跟踪；一个改进的方法是利用三帧差分 代替两帧差分，如v s a m 1 4 】开发了一种自适应背景减除与三帧差分相结合的混合算法， 它能够快速有效地从背景中检测出运动目标。时间差分运动检测方法对于动态环境中具 有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容 易产生空洞现象，不利于进一步的对象分析和识别。 ( 2 ) 光流法( o p t i c a lf l o w ) 基于光流方法【1 1 2 5 ，2 6 】的运动检测采用了运动目标随时间变化的光流特性，如m e y e r 等【l l 】通过计算相应位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟 踪运动目标。该方法的优点是在摄像机运动情况下也能检测出独立的运动目标。然而， 大多数的光流计算方法相当复杂，且抗噪性能差，不借助于专用的硬件很难实现实时检 测。 ( 3 ) 背景减除法( b a c k g r o u n ds u b t r a c t i o n ) 背景减除法是目前运动分割中最常用的一种方法，它是利用当前图像与背景图像 的差分来检测出运动区域的一种技术，它要求摄像机是固定的。这类方法的优点在于对 7 2 人的行为分析方法概述硕士论文 复杂背景的情况效果较好，它一般能够提供最完全的特征数据，但对于动态场景的变化， 如光照和外来无关事件的干扰等特别敏感。最简单的背景模型是时间平均图像，大部分 的研究人员目前都致力于开发不同背景模型，以期减少动态场景变化对于运动分割的影 响。例如h a r i t a o g l u 等【l5 j 利用最小、最大强度值和最大时间差分值为场景中每个像素进 行统计建模，并且进行周期性背景更新；m c k e n n a 等【2 6 】利用像素色彩和梯度信息相结 合的自适应背景模型来解决影子和不可靠色彩线索对于分割的影响；k a r m a n n 与 b r a n d t 【2 7 1 、k i l g e r 列j 采用基于卡尔曼滤波( k a l m a nf i l t e r i n g ) 的自适应背景模型以适应 天气和光照的时间变化：s t a u f f e r 与g 血n s o n 【2 9 j 利用自适应的混合高斯背景模型( 即对 每个像素利用混合高斯分布建模) ，并且利用在线估计来更新模型，从而可靠地处理光 照变化、背景混乱的运动干扰等影响。a h m e de l g a m m a l 等【3 0 】人通过对许多样本的分析， 利用核密度估计方法计算概率密度函数，建立非参数模型进行运动检测。 2 2 特征提取 特征提取是人的行为分析和识别的关键，可以划分为免模型和基于模型的方法两类 方法。 2 2 1 免模型方法 从视频图像中分割出运动目标，在此基础上提取轮廓，再从轮廓中提取出反映人的 行为特征信息，构建特征分析空间。 免模型方法不需要构建模型，而是先对待研究的对象提出假设，然后用图像序列中 目标移动所产生的时空模式的各类统计值，从行为中提取特征参数。其中，最常用的就 是人体轮廓形状特征和人体质心特征。目前，人体轮廓形状特征较多地应用于步态识别 中，而质心轨迹己在行为识别中得到了很好的应用。例如l i t t l e 与b o d y 3 1 1 使用的步态 特征为运动人体轮廓信息，目的是计算运动图像的光流，从中获取频率和特征来识别个 人：王亮3 2 1 提取运动人体的外轮廓，计算人体质心，然后计算运动过程中轮廓上每个点 与质心的欧式距离作为人的步态特征。k a l e 3 3 1 采取的是一种以人行走时人体轮廓的宽 度为提取特征的识别方法，使用动态时间规划( d t w ) 进行待测特征向量序列和样本 序列的匹配。 上述免模型的方法，其特点是计算量较小，有助于在实用环节中达到实时运算的目 的，但对背景和光照信号的变化敏感，一旦场景中出现遮挡现象识别能力将受到较大影 响。 2 2 2 基于模型的方法 基于模型的人的行为识别方法预先建立模型，通过模型和二维图像序列的匹配获得 模型参数，则参数的比较结果等价于识别结果。遮挡现象在实际应用中随时都可能出现， r 硕士论文 基于s v m 的室内异常行为检测算法研究 人的行走存在着携带诸如提包、雨伞、背包等足以改变外形、掩盖部分人体的现象；在 很多运动场合，还存在着人的身体自我遮挡的现象。另外，同一个人身着不同种类的鞋 和衣服，也会导致身体在二维平面的投影出现变化，对于免模型方法而言，显然会造成 影响。对人的行为分析和识别研究而言，成功解决遮挡问题是至关重要的，而基于模型 的行为分析就有这方面的优势，原因在于模型是依赖于序列图像中人的移动模式而建 立，能够反映当前的变化，还能对过去和将来的变化进行估算。 基于模型的方法预先建立模型，通过模型和二维图像序列的匹配获得模型参数，则 参数的比较结果等价于识别结果。 目前，所使用的主要模型有以下几种： ( 1 ) l e e 3 4 1 构建的椭圆模型 l e e 首先对人体侧面投影所构成轮廓图像进行二值化处理，依据质心比例关系将人 体分成7 个部分，用椭圆对每一部分建模，以椭圆的质心、离心率等参数作为反映人体 步态的特征参数。 ( 2 ) n a s h 3 5 】建立的人字型模型 人的步态呈现周期性，大腿的摆动可以近似视为正弦曲线。假定人的步行是做匀速 运动，利用在水平方向( 人步行方向) 的时间与距离方程，来确立1 3 维的参数空间。 ( 3 ) c u l l a d o 【3 6 】建立的钟摆模型 c u n a d o 等将大腿建模为链接的钟摆，并从其倾斜角度信号的频率分量中获取步态 特征。 ( 4 ) 线图模型 例如y o o 等人吲根据解剖学的知识假设人体的高度为h ，则依据解剖学的数据相 应的脖颈、肩胸、骨盆、膝盖和脚踝的高度分别为0 8 7 0 h 、0 8 18 h 、0 7 2 0 h 、0 2 8 5 h 、 0 0 3 9 h 。利用线段表示身体的不同部分，在图像序列中跟踪各个部分的摆动角度，利用 摆动的角度作为特征进行步态识别。 2 3 分类识别 行为理解和识别可以简单地被认为是时变数据的分类问题，即将测试序列与预先标 定的代表典型行为的参考序列进行匹配。因此，行为理解的关键问题是如何从学习样本 中获得参考行为序列，并且学习和匹配的行为序列必须能够处理在相似的运动模式类别 中空间和时间尺度上轻微的特征变化。 对于人的行为识别而言，目前主要有以下两种方法： 2 3 1 模板匹配方法( t e m p l a t em a t c h i n ga p p r o a c h e s ) 采用模板匹配技术8 , 3 8 , 3 9 筝j 行为识别方法首先将图像序列转换为一组静态形状模 9 2 人的行为分析方法概述硕士论文 式，然后在识别过程中和预先存储的行为模板相比较。例如b o b i c k 和d a v i s 4 0 】提出一种 基于视点的方法，使用时间模板表示和识别运动。p o l a n a 与n e l s o n 3 9 l 利用二维网格的 特征进行人的运动识别，首先计算连续帧间的光流场，并将每个光流帧在空间栅格上沿 着x 和y 方向分解，每个单元格的幅度被累加，从而形成一高维特征向量用于识别； 为了归一化运动的持续时间，他们假设人的运动是周期性的，并将整个序列分解为该行 为的许多循环过程；最后，采用最近邻算法进行行为识别。以p c a 为基础，c h o m a t 和 c r o w l e y 4 1 】通过使用p c a 计算的一组时空滤波器产生运动模板，使用b a y e s 分类器实现 动作选择。 模板匹配技术的优点是计算复杂度低、实现简单，然而它对于噪声和运动时间间隔 的变化是敏感的。 2 3 2 状态空间方法( s t a t es p a c ea p p r o a c h e s ) 基于状态空间( s t a t e s p a c e ) 模型的方法把每个静态姿势定义为一个状态，这些状 态之间通过某种概率联系起来。任何运动序列被看作是在这些静态姿势的不同状态之间 的一次遍历过程，在这些遍历期间计算联合概率，其最大值被选择作为分类行为的标准。 每个状态中可用于识别的特征包括点、线或二维小区域。例如y a m a t o 等【4 2 】利用二维小 区域块的运动、彩色、纹理等特征进行人的行为识别：人的运动区域块的网格特征被用 作学习和识别的低级特征。目前，状态空间模型已经被广泛地应用于人体运动序列的预 测、估计和检测，最有代表性的是d t w 、h m m 、n n 。 ( 1 ) 动态时间规整d t w 4 3 ( d y n a m i ct i m ew a r p i n g ) ：d t w 具有概念简单、算法鲁棒 的优点，早期被广泛地应用于语音识别中，并且最近才被用于匹配人的运动模式；对 d t w 而言，即使测试序列模式与参考序列模式的时间尺度不能完全一致，只要时间次 序约束存在，它仍然较好地完成测试序列和参考序列之间的模式匹配。 ( 2 ) 隐马尔可夫模型h m _ m 4 4 1 ( h i d d e nm a r k o vm o d e l ) ：h m m 是一种随机状态模型， 是分析时空变化中随时间变化数据的先进技术。h m m 的使用涉及到训练和分类两个阶 段，训练阶段包括指定一个隐马尔可夫模型的隐藏状态数，并且优化相应的状态转换和 输出概率以便于产生的输出符号与在特定的运动类别之内所观察到的图像特征相匹配。 对于每一个运动类别，一个h m m 是必须的。匹配阶段涉及到一个特定的h m m 可能产 生相应于所观察图像特征的测试符号序列的概率计算。h m m 在学习能力和处理未分割 的连续数据流方面比d t w 有优越性，当前被广泛地应用于人的运动模式匹配中。 ( 3 ) 神经网络n n ( n e u r a ln e t w o r k ) ：它同样也是目前比较感兴趣的匹配时变数据 的方法，如g u o 等【4 5 】用其分析人的运动模式；r o s e n b l u m 等【蛔实用径向基函数网络从 运动中识别人的情感。 尽管状态空间方法可以克服模板匹配的缺点，运动持续时间不再是一个问题，因为 1 0 硕士论文基于s v m 的室内异常行为检测算法研究 每个状态可以重复访问自己。但是，使用这种方法通常需要内在的非线性模型，没有封 闭形式的解答方法。就我们所知，非线型模型需要在训练阶段搜索全局最优，而这需要 复杂的迭代计算。同时，如何选择合适数量的状态和特征向量的维数也是一个难点。 2 4 难点问题 尽管人的运动分析这一领域已经有了一些研究成果，但许多问题仍然未获解决，需 要进一步研究。尤其是以下几个领域【2 l 【6 7 】。 ( 1 ) 运动分割 运动区域的有效分割对于目标分类、跟踪和行为理解等后处理是非常重要的。然而， 动态环境中捕捉的图像经常受到许多因素的影响，比如天气的变化、光照条件的变化、 背景杂乱、阴影、遮挡、甚至摄像机的运动等【4 7 1 。因此，快速准确的运动分割是一个重 要而困难的问题。 尽管目前图像运动分割主要利用背景减除方法，但如何建立对于任何复杂环境的动 态变化均具有自适应性的背景模型仍是相当困难的问题。 ( 2 ) 遮挡问题 目前，多数人体运动分析系统不能有效处理人体的自遮挡和物体间的相互遮挡，尤 其是拥挤情况下多人的检测和跟踪。在遮挡中，人体是部分可见的，而且这个过程一般 是不可训练的，简单依赖于背景减除法进行运动分割也不再可靠。为了减少遮挡的歧义 性，需要开发更好的模型来处理遮挡时的特征和身体各部位之间的准确对应问题。 统计方法做了许多有趣的工作，从本质上讲，是试图从已有的图像信息中预测身体 姿态、位置等等。或许，处理遮挡的最有效的方法是采用多个摄像机配合使用【2 j 。 ( 3 ) 三维建模与跟踪 二维方法在早期人的运动分析中证明是很成功的，尤其对于那些不需要精确的姿势 恢复或低图像分辨率的应用场合( 如交通监控中的行人跟踪) 。二维跟踪有着简单快速 的优点，主要的缺点是受摄像机角度的限制。而三维方法在不受限的复杂的人的运动判 断( 如人的徘徊、握手与跳舞等) 更加准确的物理空间的表达、遮挡的准确预测和处理 等方面的优点是二维方法所不能比拟的【4 8 踟】；它能提供更加有意义的与身体姿势直接相 关的可视化特征用于行为识别。 勺 ( 4 ) 使用多摄像机 使用单个摄像机跟踪非常容易由于遮挡或深度而产生歧义。人体运动分析将来的系 统能够从多个摄像机的使用中受益。从多个摄像机中得到的信息非常有用，因为使用多 个摄像机不仅扩展了监督范围，而且提供了多个视角来有效地处理遮挡。 对于多摄像机跟踪系统，需要确定在每个时刻使用哪个摄像机或图像。也就是说， 摄像机之间的协调和信息融合是个非常重要的问题。 1 1 2 人的行为分析方法概述硕士论文 r 5 1 行为理解 由于人体运动分析的最终目标是分析和解释人体运动和人、其他物体之间的交互， 更好的人体行为理解是人体运动分析的长期课题之一。例如，w 4 系统【”】可以识别人和 物体之间的一些简单事件，如运送货物，堆积物体，交换书包。但是，人体运动理解仍 然着重在一些标准姿势的跟踪和识别，简单的动作分析上，例如，一组典型动作的定义 和分类( 跑，站立，跳，爬等) 。使用机器学习建立人体行为的统计模型最近有了进展。 但是动作识别仍然只是开始。通常要强加一些限制来降低特征序列匹配中的歧义。因此， 动作理解的困难仍然是特征选择和机器学习。今天，动作识别中的状态空间和模板匹配 方法通常要在计算代价和识别精确度之间折衷，因此，需要改进行为识别的性能同时有 效降低计算复杂度。此外，我们应该充分利用已有的成果如人工智能把当前的简单动作 识别扩展到更复杂场景中的高层自然语言描述。 ( 6 ) 性能评估 一般而言，鲁棒性、准确度、检测速度是人运动分析系统的三个基本要求。例如， 系统的鲁棒性对于监控应用特别重要，这是因为它们通常被要求是自动、连续地工作， 因此这些系统对于如噪声、光照、天气等因素的影响不能太敏感；系统的准确度对于控 制应用特别重要；而系统的处理速度对于那些需要实时高速的监控系统而言更是非常关 键。因此，如何选择有效的工作方案来提高系统性能、降低计算代价是个特别值得考虑 的问题。同时，如何利用来自不同用户、不同环境、不同实验条件的大量数据测试系统 的实时性、鲁棒性亦相当重要。 2 5 本章小结 本章主要是介绍人的行为分析和识别涉及到的人体检测、行为特征提取和分类识别 这几个环节的现有方法。对于运动分割的几种方法：时间差分法、光流法和背景减除法， 背景减除法是目前运动分割中最常用的一种方法，能够提供最完全的特征数据。特征的 提取和识别问题是行为分析的难点，本章详细介绍了特征提取的两种方法：基于统计的 方法和基于模型的方法。最后介绍模式分类的两类技术：模板匹配和状态空间方法。 1 2 硕士论文 基于s v m 的室内异常行为检测算法研究 3 支持向量机( s 讧) 理论 传统的分类器，如贝叶斯分类器、神经网络分类器以及线性判别分类器等，在处理 高维数问题时，因为训练样本的不足而难以获得很好的泛化性能。它们都是将样本数目 足够多作为前提，只有在样本数趋于无穷大时其性能才有理论上的保证；而在大多数实 际应用中，样本数目通常是有限的，很多方法都难以取得理想的结果。 支持向量机【5 1 5 2 ( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是近年来在模式识别与机器学 - - j 领域中出现的新工具。s v m 以统计学习理论为基础，有效地避免经典学习方法中过学 习、维数灾难、局部极小等传统分类存在的问题，在小样本条件下仍然具有良好的泛化 能力，因此受到了广泛的关注，而且在语音、字符识别等领域获得了目前为止最好的性 能【5 那。在美国的科学杂志上，支持向量机被称为“机器学习领域中的一个令人瞩目的发 展方向”。 3 1 统计学习理论 统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y ) 【5 4 j 是v a p n i k 等人在2 0 世纪7 0 年代末 提出并在2 0 世纪9 0 年代逐渐完善的一种针对小样本的机器学习理论。它的核心问题是 寻找一种归纳原则以实现最小化风险泛函，从而实现最佳的推广能力。 v a p n i k 提出了v c 维的概念来标志函数集的复杂程度，并用这个概念给出了与分布 无关的学习机器推广能力的界。这个界由两部分构成：经验风险和置信范围( 以v c 维 为参数) 。学习机器能力过强( v c 维很大) ，虽然能取得小的经验风险，但置信范围会 很大；v c 维太小又会导致大的经验风险。一个好的归纳原则必须在二者之间作出权衡。 结构风险最小化原则( s r m ) 正是这样一种归纳原则。s r m 原则定义了在对给定数据 的逼近精度和逼近函数的复杂性之间的一种折衷。 3 2s v m 基本原理 设给定训练样本集 ( 五，乃) ，( 屯，咒) ，( 而，咒) ) ，其中x r n , y 一1 ，1 ) ，又若珂维空间 线性判别函数的一般形式为：g ( x ) = w x + b ，且集合中的所有数据都可以被分类面 w x + 6 = 0 所正确划分，则该分类面就是最优超平面。而距离该最优超平面最近的异类 向量就是所谓的支持向量，支持向量与超平面之间的距离最大( 即裕量最大化) ，一组 支持向量可以唯一的确定一个超平面。 3 支持向量机( s v m ) 理论硕士论文 i n = 2 1 1 w l i i 1 日最优超平面w x + b = 0 h i w x + b = 一1 h 2 w x + 6 = 1 图3 i 线性可分情况下的最优分类面 如图3 1 所示，实心点和空心点代表两类样本，日为分类线，且、皿分别为过各 类中离分类线最近的样本且平行于分类线的直线，他们之间的距离叫做分类间隔 ( m a r g i n ) ，位于它们之上的样本就称为支持向量，他们支持了最优分类面。所谓最优 分类面就是要求分类线不但能将两类无错误地分开，而且要使两类的分类空隙最大。前 者是保证经验风险最小( 为零) ，而通过后面的讨论可以看到，使分类空隙最大实际上 就是使推广性的界中的置信范围最小，从而使真实风险最小。推广到高维空间，最优分 类线就成为最优分类面。 将判别函数进行归一化，使得两类样本满足k ( x ) i 1 ，这样分类间隔为2 1 1 w l l ，因 此要使分类间隔最大要求m i 最小，而要求所有样本正确分类，则要求样本满足： 咒【( w 。薯) + 6 】一1 o ，i = 1 ，2 ， ( 3 2 1 ) 对于一个规范的超平面子集，其v c 维h 满足不等式： h s 血n ( 【r a + 6 ，甩) + 1 ( 3 2 2 ) 式中n 为向量空间的维数，尺为覆盖所有向量的超半球半径。由式( 3 。2 2 ) 可以得到， 通过最小化l l w l i 可使v c 置信度最小，若固定经验风险，则最小化期望风险的问题就是 最小化i 的1 9 题，这就是s v m 算法的理论出发点。 假定大小为f 的训练样本集( ( ，只) ，f = 1 ，2 ，) ，由两类别组成，如果r 属于第 1 类，则标记为正( 咒= 1 ) ，如果属于第2 类，则标记为负( m = 一1 ) 。学 - j 的目标是构造 一个判别函数，将测试数据尽可能正确地分类。 1 4 硕士论文基于s v m 的室内异常行为检测算