（通信与信息系统专业论文）基于视觉的人体行为识别研究.pdf

t h es t u d yo fv i s i o n - b a s e dh u m a n a c t i o n r e c o g n i t i o n at h e s i s s u b m i t t e di np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t f o rt h em s d e g r e ei nc o m m u n i c a t i o n i n f o r m a t i o ns y s t e m b y w u c a i h o n g p o s t g r a d u a t ep r o g r a m c o l l e g eo fp h y s i c a ls c i e n c e a n d t e c h n o l o g y c e n t r a lc h i n an o r m a lu n i v e r s i t y s u p e r v i s o r ：l i ur o n g a c a d e m i ct i t l e ：a s s o c i a t ep r o f e s s o r s i g n a t u r e a p p r o v e d m a y 2 0 1 1 一， 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名：1 毳砂 日期：加l1 年岁月；口日 学位论文版权使用授权书 学位论文作者完全了解华中师范大学有关保留、使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属华中师范大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅； 学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手 段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密，在年解密后适用本授权书。 非保密论文注释：本学位论文不属于保密范围，适用本授权书。 作者签名：1 五够2 ， 日期：如1 1 年r 月弘日 导师签名：彦l 甏 日期：弦r 年厂月罗7 日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程 ，同意将本人的 学位论文提交“c a l l s 高校学位论文全文数据库”中全文发布，并可按“章程”中的 规定享受相关权益。圃童途塞握窑卮滢蜃! 旦坐生；旦二生；旦三生蕉查! 作者签名：1 毛哟i r 五 日期：知1 1 年g 月扣日 导师签名： 日期：年月 日 、 矗炙士学位论文 m a s t e r st h e s i s 摘要 基于视觉的人体行为识别是计算机视觉领域的一个研究热点，在智能视频监 控、人体运动分析、自然人机交互、虚拟现实以及视频编码与传输等领域具有广泛 的应用前景和经济价值，因此备受研究者的关注。由于人体运动自身的复杂性以及 外界环境的多样性，使得人体行为识别( h a r ) 具有一定的挑战性。目前对人体行为 的研究还处于初级阶段，有待进一步的研究和学习。 本文围绕基于视觉的人体行为识别的相关问题展开研究，主要包括运动目标提 取、特征提取以及人体行为识别算法三个方面。运动目标提取是基于视觉的人体行 为识别的研究基础，本文首先对视频做分帧、灰度化等预处理，采用背景差分法对 图像序列进行检测，提取人体二值图像，并利用数学形态学对二值图像中存在的孔 洞和噪声点进行相应的处理，以人体最小外接矩形的高为边长，提取感兴趣的人体 运动区域( r o i ) 。在此基础上，重点研究特征提取方法和人体行为识别算法，本文 采用基于外形特征与运动特征相结合的方法对人体行为进行特征提取。利用主成份 分析( p c a ) 对r o i 进行降维，得到人体外形特征。通过计算人体高宽比、姿态变 化率以及运动速率得到人体运动特征。然后，本文采用基于聚类的径向基函数 ( r b f ) 神经网络算法对人体行为进行分类和识别，采用交叉验证的方法对算法进 行评估。 本文选取w e i z m a n n 数据库中的五种人体行为作为实验数据集，在m a t l a b r 2 0 0 8 b 环境下对人体行为识别系统进行了实验仿真，通过对实验结果的分析，证 明了算法的有效性。 关键词：人体行为识别；运动区域提取；特征提取；主成份分析；聚类；径向 基函数网络 、 石j l 士学位论丈 m a s t e r st h e s i s a b s t r a c t 刀，es t u d yo fv i s i o n b a s e dh u m a na c t i o nr e c o g n i t i o ni so n eo fh o tr e s e a r c h e si n t h ec o m p u t e rv i s i o nf i e l d i th a sab r o a dp r o s p e c to fa p p l i c a t i o na n de c o n o m i cv a l u ei n i n t e l l i g e n ts u r v e i l l a n c e ，h u m a nm o v e m e n ta n a l y s i s ，a d v a n c e du s e ri n t e r f a c e ，v i r t u a l r e a l i t ya n dv i d e oc o d i n ga n dt r a n s m i s s i o na r e a s ，s oa t t r a c t st h er e s e a r c h e r s a t t e n t i o n w i d e l y d u et ot h ec o m p l e x i t yo fh u m a nm o v e m e n ti t s e l fa n dt h ed i v e r s i t yo fo u t s i d e e n v i r o n m e n t ，m a k eh u m a na c t i o nr e c o g n i t i o nh a v i n gc e r t a i nc h a l l e n g i n g a tp r e s e n tt h e r e s e a r c ho fh u m a na c t i o nr e c o g n i t i o ni ss t i l li nt h ep r i m a r ys t a g ea n dr e m a i n st ob e f u r t h e rr e s e a r c ha n ds t u d y t h i sp a p e rl a u n c h e st h er e s e a r c ha r o u n dt h er e l a t e dp r o b l e m so fv i s i o n b a s e dh u m a n a c t i o nr e c o g n i t i o n ，m a i n l yi n c l u d i n gm o v i n go b j e c te x t r a c t i o n ，f e a t u r ee x t r a c t i o na n d a l g o r i t h mo fh u m a na c t i o nr e c o g n i t i o nt h r e ea s p e c t s m o v i n go b j e c te x t r a c t i o ni st h e r e s e a r c hf o u n d a t i o no fv i s i o n b a s e dh u m a na c t i o nr e c o g n i t i o n f i r s to fa l l - m a k i n g c o r r e s p o n d i n gp r e t r e a t m e n tf o rt h ev i d e o ss u c ha ss e p a r a t i n gf r a m ea n dm a k i n g 伊a y ， e x t r a c t i n g h u m a n b i n a r yi m a g e b yb a c k g r o u n d d i f f e r e n c em e t h o da n d u s i n g m a t h e m a t i c a lm o r p h o l o g yp r o c e s s i n gt h eh o l e sa n dn o i s ep o i n te x i s t e di nb i n a r yi m a g e s w i t ht h eh i g ho fm i n i m u mc i r c u m s c r i b e dr e c t a n g u l a ra ss i d el e n g t h , e x t r a c t i n gt h e r e g i o no fi n t e r e s t ( r o i ) o nt h i sb a s i s ，t h i sp a p e rt a k e sf e a t u r ee x t r a c t i o na n da l g o r i t h m o fh u m a na c t i o nr e c o g n i t i o na st h ek e yr e s e a r c h e s t 1 1 i sp a p e re x t r a c t sh u m a na c t i o n f e a t u r eb yc o m b i n i n gs h a p ec h a r a c t e r i s t i c sa n dm o v e m e n tc h a r a c t e r i s t i c s u s i n gt h e p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) t or e d u c et h ed i m e n s i o no fr o ia n dg e t t i n gt h e s h a p ec h a r a c t e r i s t i c s a tt h es a m et i m e ，c a l c u l a t i n gt h eh e i g h t - w i d t hr a t i o ，p o s t u r ec h a n g e v e l o c i t ya n dm o v e m e n tr a t ea st h em o v e m e n tc h a r a c t e r i s t i c s t h e n , a d o p t i n gr b fn e u r a l n e t w o r ka l g o r i t h mb a s e do nc l u s t e r i n gt oc l a s s i f ya n dr e c o g n i z eh u m a n a c t i o n ，a n du s i n g c r o s s v a l i d a t i o nm e t h o dt oe v a l u a t et h ea l g o r i t h m 髓i sa r t i c l es e l e c t sf i v ek i n d so fh u m a na c t i o n si nt h ew e i z m a r md a t a b a s ea st h e d a t as e to nt h eh u m a na c t i o nr e c o g n i t i o ns y s t e mf o re x p e r i m e n t a ls i m u l a t i o ni nt h e e n v i r o n m e n to fm a t l a br 2 0 0 8 b a n dp r o v e st h ev a l i d i t yo ft h ea l g o r i t h mb yt h e a n a l y s i so fe x p e r i m e n t a lr e s u l t s k e y w o r d s ：h u m a na c t i o nr e c o g n i t i o n ；m o v i n gr e g i o ne x t r a c t i o n ；f e a t u r ee x t r a c t i o n ； p r i n c i p a lc o m p o n e n ta n a l y s i s ；c l u s t e r i n g ；r a d i a lb a s i sf u n c t i o n ( r b f ) n e t w o r k 摘要 a b s t r a c t 第一章绪论 目录 1 1 1 本文研究背景及意义”1 1 2 国内外研究现状3 1 3 人体行为识别( h a r ) 常用方法5 1 3 1 基于时空的方法5 1 3 2 基于状态空间的方法6 1 3 3 基于人体模型的方法6 1 4 本文研究内容及章节安排7 1 4 1 本文研究内容7 1 4 2 本文章节安排8 第二章运动目标检测 1 0 2 1 引言1 0 2 2 目标检测的基本方法1 0 2 2 1 背景差分法”l l 2 2 2 帧间差分法”1 2 2 2 3 光流法1 2 2 3 运动目标提取13 2 3 1 分帧处理13 2 3 2 图像序列的灰度化处理”1 3 2 3 3 图像序列的分割1 3 2 3 4 数学形态学处理1 4 2 3 5 感兴趣区域( r o i ) 提取和图像归一化一1 6 2 4 本章小结1 6 第三章人体行为特征提取 1 7 3 1 引言17 3 2 基于主成份分析( p c a ) 的人体外形特征提取1 8 3 3 运动特征2 0 3 3 1 最小外接矩形高宽比2 0 硕士学位论丈 m a s t e r st l - t e s i s 3 3 2 人体姿态变化率“2 1 3 3 3 人体运动速率2 3 3 4 基于外形与运动特征相结合的特征提取方法2 4 3 5 本章小结”2 4 第四章基于r b f 神经网络的人体行为识别算法 2 5 4 1 引言2 5 4 2 基于聚类的r b f 网络模型与学习算法“2 6 4 2 1 人工神经网络( a n n ) 简介2 6 4 2 2p , b f 网络模型2 8 4 2 3r b f 网络学习算法“2 9 4 3 基于聚类的i m f 神经网络的人体行为识别算法”3 0 4 4 本章小结3l 第五章人体行为识别实验及分析 3 2 5 1 本文实验环境和数据集3 2 5 1 1 实验环境3 2 5 1 2 实验数据集3 2 5 2 运动目标轮廓提取实验3 2 5 2 1 运动目标检测结果3 2 5 2 2 形态学处理结果3 5 5 2 3 感兴趣运动区域( r o i ) 提取结果3 6 5 3 人体行为识别算法实验与分析3 7 5 3 1 样本选择与处理3 7 5 3 2 识别算法评价方法3 7 5 3 3r b f 网络的训练与识别“3 7 5 3 4 实验分析3 8 5 4 本章小结3 9 第六章总结与展望 6 1 本文工作总结4 0 6 2 工作展望4 0 参考文献 致谢 4 2 第一章绪论 1 1 本文研究背景及意义 人类主要通过视觉、听觉和触觉等感觉器官获取外界知识的，其中8 0 以上的 信息来自于视觉信息【l 】，由此可见视觉是人类获取信息的重要途径。随着科学技术 的飞速发展，用户对多媒体信息( 特别是视觉信息) 的需求不但地增加【2 】。视觉信 息不仅可以帮助用户观察运动对象的姿势和表情等外在信息，还可以帮助用户推断 运动对象的意图和心理变化等信息。计算机视觉( c o m p u t a t i o n a lv i s i o n ) 是研究如 何使计算机像人那样通过视觉观察和理解世界的- - 1 7 新兴学科，其最受吸引的一面 是能够从视频或图像中获取对外部世界的描述【l 3 】。它将人工智能、机器学习、模式 识别、图像处理、数字图像分析等多门学科的研究成果融合在一起，促进了有关计 算机视觉的各种研究及应用。未来计算机的发展是以人为中心的，能感知人的意图， 并进行自然人机交互，人的物理活动由于具有可感知性、非侵犯性、受环境影响小 等特点，在上下文环境中能体现人的意图。因此人体行为识别( h a r ) 研究逐渐成 为计算机视觉领域的一个非常活跃的研究热点。 基于视觉的人体行为识别的根本目的就是训练计算机如何从单个或多个视频 序列中对运动目标进行检测和分类，使得计算机能够对人体行为进行识别和理解， 以实现自然的人机交互【4 ，5 ，6 ，7 1 。h a r 的研究主要涉及到数字图像处理、机器学习、 模式分类、人工智能等诸多学科领域，是- - i - j 多学科交叉的研究课题，同时对于计 算机自身视觉系统而言，由于人体运动的复杂性以及环境的多样性，这些都使得 h a r 具有一定的挑战性。这也正是本文对h a r 进行研究的原因。 基于视觉的人体行为识别有着广泛的应用前景和经济价值，相关的应用领域有 【8 ，9 ，1 0 ，1 1 , 1 2 】。 ( 1 ) 智能视频监控 与传统意义上的监控系统相比，智能化视频监控不仅在于用摄像机取代人眼， 而且用计算机协助用户完成监控任务，是计算机视觉领域的一个新兴的应用方向。 在中国，一个城市的“平安城市 安防系统一般都拥有数十万个摄像头l l3 。，虽然很 多视频监控工作安排了人工轮流2 4 小时值班监视，但是需要大量的人力，物力以 及财力，不仅工作量大且效率低。由于工作人员的注意力和精力有限，在观察实时 视频流或录像时监视人员经常无法察觉一些安全隐患，从而可能导致疏漏。为避免 硕士学位论文 m a s t e r st h e s i s 这些不足，最可靠的办法是开发智能视频监控系统i l 引，通过计算机对所拍摄的视频 图像序列进行智能化处理，对人体行为进行检测、跟踪与识别，捕获异常的行为模 式，以达到对人体进行运动分析和行为理解的目的。 ( 2 ) 人体运动分析 人体运动分析可以运用于各项体育运动训练中( 如羽毛球，体育舞蹈等) 。通 过提取运动员的技术参数，如关节位置、角度和角速度等，分析这些数据信息，找 出运动员动作的缺陷，为运动员的训练提供指导，使其动作更加标准。人体运动分 析还可以用于基于内容的体育比赛视频检索领域，这样可以节省大量的时间和精 力。在医疗中可以通过对人体运动分析检测病人是否身患疾病或用于后期的康复训 练【l 引，通过跟踪，了解人体活动情况、动作到位情况及训练时间和强度，了解病患 的恢复情况。 ( 3 ) 自然人机交互 未来的计算机必须具备感失n # l - 部环境的能力，人体活动分析可用于人的行为理 解和描述，实时识别用户的兴趣，提供自然的、个性化的人机交互。h a r 在人机交 互领域有着重大的应用前景。电影阿凡达里，人类只要一按启动键，一幅全息 立体的操作界面立刻呈现在眼前，随手一点，程序就可以打开，随手一划，数据就 按人类的意愿移动。相信在不久的将来人类也能实现如此自然的人机交互。s o n y 公司开发的一款互动游戏e y e t o yp l a y ，通过摄像头将真人显示在电脑屏幕上面，通 过手势、拳击、踢腿动作与计算机进行交互，图1 1 是一位老爷爷通过胳膊的运动和 手势身临其境的体验游戏e y e t o yp l a y l 俩1 1 6 】。此外，通过对人体姿势的理解，还 可以实现聋哑人与计算机之间的交互。 图1 1e y e t o yp l a y 的交互画面 ( 4 ) 虚拟现实 人体活动分析在视频会议、人物动画、虚拟工作室等虚拟现实的场合也有广泛 的应用2 1 。随着信息技术的突飞猛进，催生了许多交互式的仿真场景，实现人与虚 2 硕士学位论炙 m a s t e r lst h e s i s 拟世界的交互。通常在电影和游戏里面所用到的人物打斗等动作大部分是基于虚拟 现实技术的，利用视觉的方法提取人体运动参数数据和运动姿势数据，再用图像处 理等方法转变成逼真的动画效果。图1 2 是3 d 虚拟现实场景和3 d 虚拟现实人物的 画面。 图1 23 d 虚拟现实场景和3 d 虚拟现实人物【1 7 】 ( 5 ) 视频编码与传输 通过对视频对象的分割【2 】，提取图像序列中人体运动特征参数，可以用较少的 数据对视频流进行描述，提高视频数据的编码压缩效率，使其以低比特率传送。在 远程视频会议或者视频电话等类似的窄带通信中得到了广泛的应用。 1 2 国内外研究现状 基于视觉的人体行为分析涉及到机器视觉领域许多根本问题，如视频处理、运 动检测与跟踪、特征提取、模式分类等，正由于这些研究成果的相互融合和借鉴， 推动了h a r 的研究工作。 人类在1 9 世纪中后期才开始对人体行为的分析进行关注，对人体运动行为所展 开的工作，最早可追溯到1 9 7 5 年心理学家j o h a n s s o n 对人类运动感知的研究成果， 他通过实验证明了仅仅通过人体上若干个点的运动轨迹，人的视觉感知系统可以辨 别出如走路、跑步等运动行为，由此提出了运动行为的识别问题，这种方法对后来 人体结构的行为描述有着重要的指导性作用【l 引。1 9 8 0 年r o u r k e 将人体3 维模型引 入到人体姿势估计算法中，研究人体姿势估计算法f 1 9 1 。1 9 8 8 年n a g e l 提出对人体行 为分层次定义，加深了人们对人体行为的理解i 删。1 9 9 2 年y a m a t o 开始对基于状态 空间的人体行为分析进行研究，首次将隐马尔可夫模型( h m m ) 引入到人体行为 分析中1 2 lj 。1 9 9 4 年p o l a n a 开始对基于模板的行为分析进行研究，将时空模板的方 法引入人体行为分析中型2 2 1 。之后在1 9 9 7 年，d a v i s 等人提出了描述行为的两个模 板，即运动历史图( m h i ) 和运动能量图( m e i ) ，提出了基于模板匹配的人体行为 分析方法1 2 3 。2 0 0 4 年g r i t a i 利用人体姿势描述行为，将d t w 方法应用到行为识别 算法中【2 4 1 。2 0 0 5 年r o b e r t s o n 采用h m m 进行人体行为的识别，并提出了在特定场 景下的行为理解1 2 5 , 2 6 1 。文献2 7 】将目标识别与人体行为分析相结合，如图1 3 所示， 仅仅从外形特征上对图中的喷雾瓶和饮料瓶识别具有一定的难度，但是可以通过分 析图中人与物的交互行为识别人手中的瓶子是喷雾瓶还是饮料瓶。 图1 3 通过对人与物交互行为的分析识别人手中的瓶子【2 7 j 近年来越来越多的研究所、学校及公司致力于h a r 领域的研究，并取得了一 定的研究成果。在国外，对该领域的研究及应用起步比较早。以美国和英国为首的 发达国家已进行了大量的相关工作的研究，如1 9 9 7 年美国国防高级研究项目署 ( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 设立了以卡内基梅隆大学( c a r n e g i e m e l l o nu n i v e r s i t y ) 、麻省理工学院( m a s s a c h u s e t t si n s t i t u t eo f t e c h n o l o g y ) 等高校 参与的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要对用于 战场和普通民用场景监控的自动视频理解技术进行研究【2 8 1 。实时视觉监控系统不仅 可以定位和分割人的身体部分，还可以检测人是否携带物体、交换书包等简单的行 为。英国的雷丁大学( u n i v e r s i t yo f r e a d i n g ) 对车辆和行人的跟踪及其识别也展开了 深入的研究【2 9 1 。在智能视频监控方面麻省理工学院( m a s s a c h u s e t t si n s t i t u t eo f t e c h n o l o g y ) 有着深入的研究，其开发的监控系统已成实现了对车辆和行人的检测 与跟踪【3 0 】。在国际上c v i u 、u c v 、p a m i 、v c 等权威期刊和i c c v 、e c c v 、c v p r 、 i w v s 等重要学术会议将人体运动分析作为研究的主题内容之一，为该领域的研究 人员提供更多的交流平台。 国内的许多知名大学和研究机构也展开了对人体行为分析的研究，如中科院自 动化研究所，浙大人工智能研究所，华中科技大学图像识别与人工智能研究所，上 海交大航空航天信息与控制研究所等单位。中科院自动化研究所模式识别国家重点 实验室是国内最早开始进行人体步态研究的，并且该实验室在人的运动视觉监控以 及行为模式等方面作了深入的研究【3 l 】。文献【3 2 】通过对人体走路时的姿态进行识别， 实现对个人远距离的身份认证。中科院的韩双焕在手势识别方面取得了一定的研究 4 廷圈罗囡 硕士学位论文 m a s t e r st h e s i s 成果【3 3 】。随着h a r 相关工作的展开，h a r 算法也越来越多，例如：利用人体轮廓 特征识别人的行为方法，基于人体骨架特征的识别方法，基于h m m 的识别方法( 3 4 j ， 基于傅立叶描述子的识别方法等。 目前h a r 的研究主要还是集中在对简单的人体行为( 如走、跑、坐、跳等) 进行识别，或者是在特定场景下的异常行为检测【3 副，对复杂场景下的h a r 的研究 工作还比较少，将h a r 在真实的场景下应用仍存在一定的困难。人体行为分析的 最终目的不只是简单的识别人的基本行为，而是要结合人所处的环境来理解人的行 为。 1 3 人体行为识别( h a r ) 常用方法 人体运动是一个复杂的运动系统，人体自身结构复杂，具有非刚性特点，在运 动中人体有着很大的自由度，存在严重的遮挡等问题。并且运动中人体衣着打扮各 不相同，导致运动人体的外观也有很大的差异，因此使得对h a r 的研究工作具有 一定的挑战性。h a r 在智能视频监控、人体运动分析、自然人机交互、虚拟现实以 及视频编码与传输等领域都有着广泛的应用前景，目前没有专门的系统对人体行为 进行识别与分析，一般从不同的角度采用不同的约束条件简化h a r 的研究工作， 因此存在许多不同的 l 讯方法。 h a r 问题可以看成是对一个时变信号的分类问题。一般解决该问题有三种常用 方法，即基于时空的方法、基于状态空间的方法和基于人体模型的方法1 4 , 5 , 3 6 。 1 3 1 基于时空的方法 近几年里越来越多的研究者开始对基于时空的人体行为识别方法进行研究。 b l a n k 等人1 3 刀用三维立体来表示图像序列的特征，通过泊松方程的求解特性来分析 这个三维立体，将提取的特征用于行为动作的识别并取得了较好的识别率。n i e b l e s 等人【3 8 j 提出了一种基于空间和时空特征的混合层次模型的人体行为识别方法，利用 该模型静态形状特征能够提高人体行为识别率。相比基于时空相关的人体行为方 法，基于时空兴趣点提取的人体行为识别方法的计算复杂度要小。l a p t e v 3 9 】提出了 一种基于h a r r i s 角点检测思想的时空兴趣点检测方法，利用时空兴趣点构成的集合 表示人体行为动作，然而该方法检测的兴趣点不足以用来表示复杂行为的特征。 d o l l a r 等人【4 0 】采用线性滤波器从图像序列中提取时空兴趣点，通过时空兴趣点找到 有图像序列中的运动区域。此外，很多研究者通过基于空间的模板匹配方法或者基 于时间的模板匹配方法来解决人体行为分类问题。b o b i c k 等人提出了利用基于时 问的模板匹配方法来识别人体行为，采用二值运动能量图像( m h i ，m o t i o n e n e r g y i m a g e ) 代表运动图像的覆盖范围，历史运动图像( m h i ，m o t i o n h i s t o r yi m a g e ) 代 表在时间上运动的变化，利用运动能量图像和运动历史图像来表示每个行为动作特 征，然后与用事先存储的行为样本训练好了的模型进行模板匹配，采用马氏距离来 度量其相似性。基于时间或空间的模板匹配的方法计算相对简单，但是鲁棒性差。 1 3 2 基于状态空间的方法 基于状态空间的方法是h a r 中另一种常用的识别方法。其基本思想是将人体 行为的每个静态姿势定义成为一个状态或是一个状态集合，并用动态概率网络将这 些状态联系起来，这样任何一个人体运动序列都可以看作是这些状态或状态集合之 间的一次遍历过程。通过计算每个遍历的联合概率，其中最大值被选作对行为序列 进行分类的依据。基于状态空间的方法对在时间上或者在空间上有着微小变化的行 为序列具有良好的鲁棒性，因此被广泛的应用于h a r 中，但也存在一定的缺点， 如计算复杂度高。目前在h a r 领域中隐马尔可夫模型( h m m ，h i d d e nm a r k o v m o d e l s ) 、动态贝叶斯网络( d b n ，d y n a m i cb a y e s i a n n e t w o r k s ) 以及人工神经网络 ( a n n ，a r t i f i c i a ln e u t r a ln e t w o r k s ) 等都是基于状态空间的模型【4 2 , 4 3 , 4 4 1 。h m m 是 一种对时变数据进行匹配的成熟技术，已经能够成功的应用于语音识别领域1 4 2 。受 此启发，研究人员将其应用于视觉领域，例如y a m a t o 等人【2 l 】利用基于h m m 的方 法来对人体行为进行识别。n g u y e n 等人 4 5 1 提出用层级隐马尔可夫( h h m m ， h i e r a r c h i c a lh i d d e nm a r k o vm o d e l ) 模型对人体行为进行识别并取得了很好的识别 效果。d b n 是h m m 的推广，因为h m m 不能对三个或者以上的独立过程进行有效 处理，d b n 能够任意改变拓扑结构，增加或者删除变量，但是不影响算法自身的训 练，因此d b n 能够将复杂的动态系统分解为变量，从而降低了计算的复杂度。例 如文献f 4 6 4 7 】利用d b n 对停车场和地铁等公共场所下的复杂行为进行识别，并取得 了较好的识别效果。a n n 是一种模拟人脑神经处理信息的方式对信息进行并行处 理和非线性变换的复杂网络系统，具有强大的学习能力和计算能力，a n n 在人工 智能领域( 特别是在语音和图像识别方面) 成为最具有魅力的研究课题之一。y a n g 等人【4 8 j 采用时延神经网络( t d n n ，t i m e d e l a yn e u r a ln e t w o r k ) 对手势进行识别， 通过在神经网络模型中引入时延单元，增加神经网络的记忆功能，该方法在对手势 的识别取得了较好的识别率。 1 3 3 基于人体模型的方法 基于人体模型的方法实质上是通过分析人体身体部位来识别人体行为。人体身 6 硕士学位论文 m a s t e r st h e s i s 体部位大致包括头、躯干、手、肘部、膝、脚，通过分析这些主要的部位能够准确 的表示人体运动的信息，从而提高识别系统的识别率。人体模型主要分为2 d 轮廓 模型和3 d 立体模型两种1 4 9 , 5 0 ，各自用于不同的研究领域，2 d 模型主要用于智能 监控以及人机交互等领域中，3 d 模型充分运用人体运动学的先验知识对复杂的人 体行为进行描述和分析，但是计算复杂度高。f e n g 等人p l 】建立一个由十个矩形组成 的2 d 轮廓人体模型，将人体姿态参数化，用数据形式来表示每一帧的人体姿态。 w a n g 等人【5 2 】用计算得到的平均轮廓代表静态的轮廓信息，利用人体的十四个身体 部位构造了一个动力学模型，每个部位用一个切去顶端的圆锥体表示，使用粒子滤 波和k 近邻分类器进行姿态评估和行为分类。基于人体模型的方法能够准确的表示 人体运行信息，适合复杂行为的分析与理解，但是对模型参数的估计与初始化工作 较难，计算复杂度大。 1 4 本文研究内容及章节安排 1 4 1 本文研究内容 本文围绕基于视觉的人体行为识别问题展开研究，研究内容包括三个方面，首 先是如何从视频序列中进行目标检测并提取有效的运动目标区域；其次是研究如何 提取一种或者多种有效的人体行为特征，将其组成特征向量的形式作为人体行为识 别算法的输入；最后是如何选用种有效的人体行为识别算法，并根据识别结果评 估该算法的性能。本文首先在理论研究上对主要涉及到运动目标检测、形态学处理、 感兴趣运动区域提取( r o i ) 、特征提取以及人体行为识别算法等问题进行分析和推 导，研究其可行性；然后使用m a t l a b 在人体行为数据库上验证所涉及方法的可 行性；并根据实验结果评估h a r 系统的性能，并进一步的调节算法参数，使其性 能达到最优化。 基于视觉的人体行为识别系统基本结构如图1 2 所示。 视频 输入 特 征 向 量 图1 2 基于视觉的人体行为识别结构 ( 1 ) 预处理 在进行运动目标提取之前，首先要对输入视频流进行预处理。本文通过对视频 进行分帧处理，将其转化为彩色的图像序列，然后进行灰度化处理，主要目的是减 小计算复杂度。 ( 2 ) 人体运动目标提取 在摄像机不动的情况下，视频序列相邻两幅图像之间的差别主要由运动目标的 位置变化以及噪声、光照和天气等外界因素的影响。本文选择基于背景差分的人体 运动检测方法来提取运动目标。检测后得到的二值图像中主要存在以下两个问题： 小区域的孤立噪声点和不连续的孔洞。因此采用数学形态学对检测后的二值图像进 行处理，去除孤立的噪声点和填补不连续的孔洞。并且以最小外接矩形的高为边长， 提取正方形运动区域，即提取感兴趣的运动目标( r o i ) 。本阶段的处理是最为重要 的一个环节，运动目标提取的好坏直接影响后续的工作。 ( 3 ) 人体行为特征提取 如何从众多可能的特征中选取最具有价值和区分力的特征是本文研究的重点 也是难点，通过阅读与参考相关文献中的特征选择方法，针对本文的研究内容，本 文将基于p c a 的人体外形特征与人体运动特征相结合作为人体行为识别系统的输 入。 ( 4 ) h a r 算法 在解决了以上的问题之后，接下来就是要选择一种合适的算法来进行人体行为 特征的识别，这也是本文研究的重点和难点。本文采用一种基于聚类法的r b f 神经 网络分类器来对人体行为进行分类和识别，并用交叉验证的方法对分类器的性能进 行评价，并进一步调节r b f 网络中的参数使分类器最优化。 1 4 2 本文章节安排 本文共分为六章，内容安排如下： 第一章主要介绍了h a r 的研究背景和意义，以及国内外的研究状况，简要的 介绍了人体行为识别常用的基本方法，并阐述了本文的研究内容及章节安排。 第二章简要介绍了背景差分法、帧间差分法以及光流法三种运动目标检测基本 方法，分析了这三种方法的优缺点，选择背景差分法作为本文运动目标检测的方法， 以及介绍如何利用数学形态学对提取的样本图像进行后处理。提出以最小外接矩形 的高为边长，提取本文感兴趣的运动区域( r o i ) ，去除图像的冗余信息。 第三章研究了人体行为特征的提取方法，它是本文的一个重点部分。分别介绍 如何提取人体外形特征和人体运动特征，并将两者结合作为h a r 系统的输入。 第四章主要介绍了r b f 神经网络模型和学习算法，采用一种基于聚类的r b f 8 神经网络算法对人体行为进行识别，它是本文的另一个重要部分。并介绍如何确定 r b f 网络隐含层神经元的数据中心c 。以及宽度矾( 扩展常数) 。 第五章介绍本文的实验方案，在m a t l a b 环境下对基于视觉的人体行为识别 系统的每一环节进行了试验，给出了运动目标检测结果、r o i 提取结果以及人体行 为识别结果。 第六章总结了本文主要完成的工作，展望了以后有待进一步深入研究的内容和 方向。 9 ： 硕士学位论文 m a s t e r st h e s i s 第二章运动目标检测 由于受光照、天气、噪声等因素影响，使得对图像序列中运动目标的检测成为 一项比较困难的工作。本章首先简要的介绍了运动目标检测的几种基本方法，并采 用背景差分法提取运动目标。接着利用数学形态学对样本图像进行后处理，并提取 感兴趣的运动区域( r o i ) ，为后续的h a r 工作打下基础。 2 1 引言 运动目标检测涉及视频图像处理、人工智能以及模式识别等领域，是运动图像 分析、人机交互、视频监控等领域的重要处理环节，具有较强的研究价值和意义。 在基于视觉的人体行为识别的研究中，首先必须进行运动目标检测，即在被监测场 景中提取人体运动区域，提取的运动目标对图像分类、运动跟踪以及人体行为理解 分析等有重要的影响。运动检测在很多领域有着非常重要的作用，例如在商场、停 车场、银行等公共场所应用运动目标检测技术，能够帮助监控人员及时发现公共场 所的异常行为，防止偷盗、破坏等行为的发生，保证社会的安定。在智能交通系统 中目标检测主要用于检测行人及车辆的异常行为，控制交通流量。在车辆上通过安 装的摄像头来实现对前方车辆和路边行人的行为进行检测跟踪，如遇到异常系统会 自动识别并警示，保证车辆在交通中能安全驾驶。在军事中为了准确快速的了解敌 方军情，必须对敌方目标进行准确的检测与跟踪，高性能的目标检测与跟踪系统是 必不可少的。 2 2 目标检测的基本方法 人体运动检测的主要任务是从图像序列中检测感兴趣的运动目标，并将其与背 景分开用于后续的处理，这是基于视觉的人体行为识别中最基础的一个环节。通常 情况下一个理想的目标检测方法能够应用到各种环境中，能够对外界因素的干扰具 有鲁棒性。但是在实际情况中由于受光照、天气、噪声等因素的影响，使得运动目 标检测成为比较困难的工作。在进行运动目标检测算法的研究时，一般要将算法的 复杂度、稳定性和实时性进行综合考虑，选取最合适的算法。目前还没有统一的目 标检测算法专门对人体行为进行检测，大都是针对具体的运动环境进行