（电路与系统专业论文）基于人工神经网络的人体运动跟踪[电路与系统专业优秀论文].pdf

摘要 随着计算机视觉技术的发展，人们期待计算机能够感知更多人的信息，尤 其人体运动和符号等非语言信息，这使得人体运动跟踪成为计算机视觉领域中 的一个重要部分。人体运动跟踪内容包括：从图像序列中进行人的检测、跟踪、 识别等，它的研究涉及模式识别、图像学、认知科学、生理学等。 该技术可用于多种领域如智能交通、虚拟现实、机器人理解、安全监控、 视频会议、体育运动、视频检索、医疗诊断、人机交互及身份识别等。随着安 全敏感场合如银行、机场、边界等对智能监控系统的需求，非接触式远距离的 人运动行为跟踪技术近来倍受重视，尤其受到公共安全及军事领域的关注。 本文主要研究基于神经网络的人体运动跟踪技术，分别对人体运动检测、 运动图像预处理、特征提取、特征空间变换、神经网络的设计及应用分类等方 面进行了研究。 人体运动检测好坏对于以后各个环节的处理有很大的影响，本文采用了基 于亮度的背景减除方法进行运动检测，取得较好效果。特征提取和特征空间变 换是研究的个重点内容，本文将人体轮廓作为人体运动姿态的特征，从而把 人体运动转化为随时间变化的静态的人体轮廓序列，然后通过计算质心到轮廓 的距离将二维特征信号转化为一维距离信号。为了减少特征空间的模式维数， 降低神经网络的复杂度，本文应用了主分量分析法和独立分量分析方法将高维 空间转换为低维空间信号，并进行了特性比较。 在运动姿态分类识别具体方法中，主要研究了人工神经网络的方法，实验 结果表明，神经网络方法作为运动姿态分类器，具有较好鲁棒性和识别效果。 关键字人体运动跟踪；特征提取；特征空间变换：人工神经网络 a b s t r a c t w i 也t h ed e v e l o p m e n to fc o m p u t e rv i s i o nt e c h n o l o g y p e o p i ee x p e c tt h a tc o m p u t e r b e a r st h ec a p a b i l i t yt op e r c e i v em o r ei n f o r m a t i o na b o u th u m a n b e i n g ，w h i c hm a k e s h u m a nm o t i o nt r a c k i n ga ni m p o r t a n tp a r to ft h ea r e ao fc o m p u t e rv i s i o n t h e c o n t e n to fh u m a nm o t i o nt r a c k i n gc o v e r s ：d e t e c t i n g ，t r a c k i n ga n dr e c o g n i z i n g h u m a nm o t i o nf r o mi m a g es e q u e n c e ，w h i c hi sr e l a t e da b o u tm a n yd i s c i p l i n e s ，s u c h a sp a t t e r nr e c o g n i t i o n ，i m a g ep r o c e s s i n g ，c o g n i t i o ns c i e n c e ，p h y s i o l o g ya n ds oo n h u m a nm o t i o nt r a c k i n g t e c h n o l o g yc a nb ea p p l i e dt om a n yf i e l d si n c l u d i n g i n t e l l i g e n tt r a f f i c ，v i s u a lr e a l i t y ，m a c h i n eu n d e r s t a n d i n g ，s u r v e i l l a n c es y s t e m ，v i d e o m e e t i n g ，s p o r t s ， m e d i c a ld i a g n o s i s ，h u m a n m a c h i n ei n t e r a c t i o na n dh u m a n i d e n t i f i c a t i o n w 胁t h ei n c r e a s i n gd e m a n di ns o m es e c u r i t ys e n s i t i v ep l a c e ss u c ha s b a n k ，a i r p o r t ，c o u n t r yb o r d e r ，t h et e c h n o l o g yo fn o n - t o u c hh u m a nm o t i o nt r a c k i n g f r o mf a rd i s t a n c ei sd r a w i n gm o r ea t t e n t i o n ，e s p e c i a l l yi nt h ef i e l d sr e g a r d i n gp u b l i c s e c u r i t ya n dm i l i t a r ya f f a i r t h es e v e r a la s p e c t st h a tt h i sd i s s e r t a t i o nf o c u s e so ni n c l u d eh u m a nm o t i o nd e t e c t i o n m o t i o ni m a g ep r e p r o c e s s i n g ，f e a t u r ee x t r a c t i o n ，f e a t u r es p a c et r a n s f o r m a t i o n ，n e u r a l n e t w o r kd e s i g na n dc l a s s i f i c a t i o n t h eq u a l i t yo f h u m a nm o t i o nd e t e c t i o ni so f i m p o r t a n c et ot h ef o l l o w i n gs t e p s t h i s d i s s e r t a t i o na d o p t st h ea l g o r i t h mo fb a c k g r o u n ds u b t r a c t i o nb a s e do nb r i g h t n e s s l e v e lt r a n s f o r m a t i o nw h e np e r f o r m sh u m a nm o t i o nd e t e c t i o n ，a n do b t a i n sg o o d r e s u l t f e a t u r ee x t r a c t i o na n df e a t u r es p a c et r a n s f o r m a t i o ni st h ek e yc o n t e n to ft h i s d i s s e r t a t i o n h u m a nm o t i o ns i l h o u e t t ei su s e da sf e a t u r eo fm o t i o ng e s t u r e ，w h i c h t r a n s f e r sd y n a m i ch u m a nm o t i o ni n t oh u m a nb o d ys i l h o u e t t es e q u e n c ec h a n g i n g w i t ht i m e t h e n2 - d i m e n s i o nf e a t u r es i g n a li st r a n s f o r m e di n t ol - d i m e n s i o n d i s t a n c es i g n a l ，w h i c hi sa c h i e v e dt h r o u g hc a l c u l a t i n gt h ed i s t a n c eb e t w e e n s i l h o u e t t ep i x e la n dc e n t r o i d t or e d u c et h ep a t t e md i m e n s i o no ff e a t u r es p a c ea n d i i i t h ec a l c u l a t i o nc o m p l e x i t yo fn e u r a ln e t w o r k ，t h ed i s s e r t a t i o na p p l i e sa l g o r i t h m so f p r i n c i p a lc o m p o n e n ta n a l y s i sa n di n d e p e n d e n tc o m p o n e n ta n a l y s i s ，a n dg i v e st h e c o m p a r i s o no ft h ep e r f o r m a n c eo ft h et w oa l g o r i t h m s t h ed i s s e r t a t i o ns t u d i e st h em e t h o do fn e u r a ln e t w o r kf o rt h ec l a s s i f i c a t i o no f m o t i o ng e s t u r e t h ee x p e r i m e n ts h o w st h a tn e u r a ln e t w o r ki sar o b u s tc l a s s i f i e ro f m o t i o ng e s t u r ew i t hg o o dp e r f o r m a n c e k e yw o r d s ：h u m a n m o t i o n t r a c k i n g ；f e a t u r ee x t r a c t i o n ；f e a t u r es p a c e t r a n s f o r m a t i o n ；a r t i f i c i a ln e u r a ln e t w o r k 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 繇盘日期 关于论文使用授权的说明 删二、切 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：j 垄导师签名：拦色址日期：丝煎印 1 1 研究背景 第1 章绪论 人体运动跟踪是近年来计算机视觉领域中备受关注的领域，因为该课题具 有广泛的应用前景，如智能交通、机器人理解、安全监控、视频会议、体育运 动、视频检索、医疗诊断、人机交互及身份识别等多个领域。随着数据库的不 断发展，利用视频序列自动对人的行为分类或查询将会是一项高效的应用技 术，由于军事及商业应用需求的推动，人体运动跟踪技术的发展日益受到研究 人员及社会相关领域人员的重视，尤其是美国、英国等国家已经开展了大量相 关项目的研究，因此，对人体运动跟踪技术进行深入的研究具有重要的现实意 义。正是基于这个原因，本文主要研究基于神经网络的人体运动跟踪技术。 由于人体运动跟踪与视觉分析在高级人机交互、安全监控、视频会议、医 疗诊断及基于内容的图像存储与检索等方面具有广泛的应用前景和潜在的经 济价值，从而激发了世界上广大科研工作者及相关商家的浓厚兴趣。1 9 9 7 年美 国国防高级研究项目署( d e f e n s ea d v a n c e d r e s e a r c hp r o j e c t sa g e n c y ) 设 立了以卡内基梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首、麻省理工学院 ( m a s s a c h u s e t t si n s t i t u t eo ft e c h n o l o g y ) 等高校参与的视觉监控重大项 目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要研究用于战场及民用 场景进行监控的自动视频理解技术；实时视觉监控系统w 4 能够通过建立外观 模型来实现多人的跟踪，并可以检测出人是否携带物体；i b m 与m i c r o s o f t 等 公司也正逐步将基于视觉的手势识别接口应用于商业领域中。人体运动跟踪应 用广泛，国际上的权威期刊及重要会议也将人体运动跟踪作为重要议题之一。 1 2 研究现状 人体运动跟踪主要是针对包含人体运动姿态的图像序列进行分析处理，即从 连续的图像帧间提取形状、位置、速度、纹理等相关特征进行分析，从而达到对 运动行为的跟踪识别。通常包括运动检测、人体目标提取、运动跟踪和行为识别 北京j 2 _ 业大学工学硕七学位论文 和理解等过程。国内外学者在这方面已进行了不少的研究，采用的方法是多样的。 包括线条图形法、平板模型法、二维轮廓法、动态曲线法、基于二次曲面模型法、 基于动作规律性法、区域块法等等。大部分对人体结构解释的方法是对图象相邻 帧中人体关节的运动进行分析，人体结构最简单的描述是线条图，即将人体的各 个部分用直线代表。关节的运动是人体运动跟踪的关键，这个概念最早是由 j o h a n s s o n 提出的，认为同一人体上的点在投影位置和速度上具有较高的相关性， 从而提出了人体运动模型。j u s 等”“提出的参数化纸板人模型，它将人体躯干、 四肢、头部分别用平面板块代表，且每个平面板块的运动用参数光流方程描述。 c h a n g 等”“利用简单的带状模块代表四肢来建立人体正面和侧面模型，通过结 构和带状模块运动参数进行关节运动图像分析以描述人体动作。用人体在二维平 面上投影来近似表达人体，称为人体的二维轮廓法。美国m a r y l a n d 大学的 h a r i t a o g l u 等”提出的室外实时监控系统4 就是基于人体轮廓形状特征的， 以封闭的曲线轮廓来表达运动的目标，采用轮廓投影直方图匹配，并用投影模板 与图像轮廓绝对差累积法对姿态相似性进行评估，获得运动的跟踪识别，该系统 可以同时进行多人跟踪并可以判断识别的人是否携带物体。动态曲线跟踪是用连 续变化的封闭曲线来描述运动目标。l i - q u nx u 和h o g g “”以基于动态的b 型样 条曲线描述人体的不同形状模型来跟踪行人，用4 0 个图形边界控制点的b 型样 条曲线近似人体轮廓，获得线性点分布模型( l p d m ) ，从而可以得到一个形状向 量，该形状向量用两个参数为状态向量的方程表示，每个状态向量包括5 个形状 参数和两个位移参数，这些参数的变化构成了不同的人体形状。超二次曲面跟踪 方法是利用锥形超曲线如锥体、圆柱体、椭圆柱体及球体等三维模型来描述人体， 这种三维模型通常包含两部分：一是用来代表骨骼结构，二是用来代表骨骼上的 肌肉。骨骼结构可以看作是多个具有一定空间自由度的肢体的组合：而肌肉可以 看作是一种立体结构。人体一些运动呈现出一定的规律性，在运动时空中表现为 强度变化的周期性。c h e n gc h a n g 等”利用人体部位运动的相关性提出了基于四 肢周期运动跟踪的方法，首先根据四肢各自的运动特性分别描述其周期运动，然 后建立各部分相关性的运动模型，运用蒙特卡罗( m o n t ec a r l o ) 跟踪技术进行分 析。区域块跟踪方法是根据人体各部分满足不同几何约束条件的特性对人体运动 第1 章绪论 进行描述，如根据表面纹理、颜色及运动学信息等，r o b e r t s 等k 童立t - - + 基于人体表颜色分布相似性的似然模型，对于某一运动姿态分析其颜色直方图， 根据直方图相似性及先验知识应用融合及分裂算法将区域进行组合归类，并用超 二次曲线表示该模型实现人体运动跟踪。 1 3 本文研究内容及结构安排 人体运动跟踪是从图像序列中进行人的检测、跟踪、识别。走与跑动作是 人类运动中最基本的两种动作，从生物力学角度来说，走、跑的运动可以通 过步幅持续时间、步长、速度以及肢体运动幅度的方面来进行识别。走与跑运 动动作最明显的区别是，在跑运动中双脚出现腾空，走动作出现双脚撑地。身 体两侧呈现对称性是走与跑动作的另一特点，当一个人进行走或跑运动时，他 的左臂和右腿摆动方向是一致的，右臂和左腿摆动方向一致，并且走与跑时肢 体摆动幅度差别较大。 彳 图卜1 人体运动娶态样本 f i g u r e1 1s a m p l e so f h u m a nm o t i o n 人体运动姿态的变换可以看作是人体轮廓形状随着时间的变化过程。因此 在进行人体运动分类识别时，我们将人体运动姿态序列看作是由一组静态姿势 所组成的模式，在识别过程中引入这些姿势随着时间的变化信息。我们利用改 进的背景减除方法进行人体的运动检测，然后，通过边界跟踪实现行人运动轮 廓的提取，并将其按质心展开获得对应的1 d 距离信号。采用经典p c a 方法、 独立主分量方法( i c a ) 进行特征空间的变换，通过设计、训练的人工神经网 络进行走与跑运动的分类识别，通过在我们建立的数据库上的实验结果验证了 北京工业大学工学颤十学位论文 算法的有效性。本文还通过分析走与跑运动的周期性随人体姿态的变化，对走、 跑动作进行分类识别。 人体运动模式识别系统可以分为图像捕捉、背景建模、运动目标检测、图 像预处理、特征空间变换和神经网络学习与分类等模块。流程如图卜2 所示。 本文主要研究图像预处理、特征空间变换和神经网络学习、识别模块以及运动 周期性分析模块。主要工作是研究人体运动跟踪算法，并运用神经网络技术进 行人体运动跟踪识别系统的设计。 匝至) 还圈 一一一一一一工一一一一一一一一7 图卜2 运动分类识别系统框图 f i g u r e l 一2o u t l i n eo f r e c o g n i t i o ns y s t e m 根据系统处理模块的功能，本文结构安排和内容如下： 第l 章，绪论。介绍课题的研究背景、国内外现状以及本文的研究内容和 安排。 第2 章，研究现状介绍。对国内外的研究现状进行了综述性介绍，归纳了 人体运动跟踪的主要应用领域，并且总结了近年来过国内外学者对人体运动跟 踪研究所采用的方法，对这些方法进行了分类介绍。 第3 章，运动检测。首先归纳了目前运动检测所采用的几种常用方法，并 对几种方法的优缺点进行了阐述。根据本文所研究的人体运动的背景环境，采 用背景减除方法进行运动检测。 第4 章，运动图像预处理。对检测到的含有孔洞等噪声的运动图像进行一 系列处理，依次为图像形态学处理、归一化处理及图像边缘提取等操作，消除 了运动检测图像的噪声，并规定化了图像的大小。 第5 章，特征提取。本章给出了两种特征提取和空间变换的方法，主要介 绍了轮廓提取特征方法。并且提出采用经典主分量分析法和独立分量分析法进 行特征空间变换的方法，对两种方法的性能做出了比较。 第6 章，神经网络分类识别。本章主要介绍了b p 神经网络的设计，并运 用经典主分量分析法和独立分量分析法提取特征数据对b p 网络进行训l 练和测 试，通过网络识别分类结果对不同的特征提取方法进行了比较分析。 2 1 主要应用领域 第2 章研究现状 由于人体运动跟踪与视觉分析在高级人机交互、安全监控、视频会议、医 疗诊断及基于内容的图像存储与检索等方面具有广泛的应用前景和潜在的经济 价值，从而激发了世界上广大科研工作者及相关商家的浓厚兴趣。1 9 9 7 年美国 国防高级研究项目署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 设立了 以卡内基梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首、麻省理工学院 ( m a s s a c h u s e t t si n s t i t u t eo ft e c h n o l o g y ) 等高校参与的视觉监控重大项目 v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要研究用于战场及民用场景 进行监控的自动视频理解技术；实时视觉监控系统w 4 能够通过建立外观模型来 实现多人的跟踪，并可以检测出人是否携带物体；i b m 与m i c r o s o f t 等公司也 正逐步将基于视觉的手势识别接口应用于商业领域中。具体来说其应用主要包 括以下领域几个方面。 2 1 1 运动分析 该领域的一个应用是基于内容的体育运动录像检索1 ，如对于网球比赛， 要从大量的存档视频文件中查询某一运动员近网及截击球次数，如果人工对资 料库进行一一浏览，工作量之大可能使得使用者无法获得需要的数据。另外还 可用于不同体育运动的个性化训练系统，从图像序列中跟踪分析感兴趣的关节 运动，建立人体的几何模型、解释人体的运动行为机制，作出改进的建议，从 而可以提高其运动能力。运动跟踪同样可以用于舞蹈训练及医学整形研究 2 “，医学步态分析可以用于诊断和治疗支持，它通过提供人体正常步态建模 的线索，开发生物反馈系统来分析病人的步态，判断人体受伤情况或者畸变程 度，从而做出合理的整形补偿治疗。 北京工业大学工学颤士学位论文 2 1 2 高级用户接口 在高级用户接口应用领域中的应用有如下几方面：手语翻译、手动驱动控 制、高噪声环境中的信号传递、社会接口等。人与人之间的信息交流的主要载 体是人类语言，辅以适当的手势、身体姿势和面部表情等人能够很容易地判断 出现在视野中的人是否要进行交流，这就要求未来的计算机必须具备感知外部 环境的能力，即代替传统的键盘或鼠标输入模式、独立地提取周围环境的重要 信息( 如检测到人的存在等) ，然后是进行人的识别和行为理解，结合面部表 情、身体姿势和手势等的分析来与人进行相应的交流，因此，视觉信息可以作 为语音和自然语言的有效补充以进行智能化的人机交互。社会接口是计算机以 生成的字符及拟人化的行为，尝试用更个性化的方式与用户交流，对于如机场、 制造车间等高噪声的场合，高级用户接口能够提供比语音更加方便、准确的信 息输入。 2 1 3 虚拟现实 这方面的应用包括：互动的虚拟空间、视频会议、人物动画、虚拟工作室 等。随着互联网的迅速发展人体运动跟踪在这种交互的虚拟世界中也日益加强 “。基于互联网络的交互式空间的开发属于刚刚起步阶段，它以虚拟聊天室 中的形式出现，使得通过文本交流的同时可以通过二维图标来导航用户，如传 递手势、面部表情、头部姿势等线索将使得参与者相互交流更加丰富迅速；在 游戏中的运用也相当普遍，目前许多电脑游戏中人的形体、运动和行为交互的 设计逼真性，实际得益于物理空间中人的运动跟踪包括人体模型和关节运动机 制的获取及姿势的恢复等。 2 1 4 智能监控 这是人体运动视觉分析的一个重要应用领域，智能监控系统的需求主要来 自那些对安全要求敏感的场所如银行、商业楼、停车场等，另外有人研究把该 技术用于游泳馆等场所尽早发现溺水等现象以采取抢救措旌”3 。如在停车场 粥2 章研究现状 要对人的可疑行为进行监测，如果有人徘徊不定而且不断多次的查看车辆等行 为即为可疑行为。由美国高级研究项目署( d e f e n s ea d v a n c e dr e s e a r c h p r o j e c t sa g e n c y ) 1 9 9 7 1 9 9 9 资助的v s a m 项目就是研究进行战场或其它场 景的自动监控技术1 ”。目前监控摄像机在商业应用中已经普遍存在但并没有 充分发挥其实时主动的监督作用，因为它们通常是将摄像机的输出结果记录下 来并无检测和理解功能，而是需要人通过查看记录进行分析判断。当有异常行 为发生时，如某商场被抢劫或汽车被偷，保安人员得到信息后会到事件发生地 点查看纪录，但往往总是为时已晚，这就需要2 4 小时的视频监控分析系统对 某些场合进行实施监控跟踪，并自动分析摄像机捕捉的图像数据，当盗窃发生 或发现具有异常的行为可疑的人时，系统能向保卫人员准确及时地发出警报从 而避免严重的后果。 2 1 5 步态身份识别 步态分析也可以作为独特的生物特征用于人的远距离的身份鉴别“。“，步 态是指个人走路的的风格，c u t t i n g 4 1 在精神物理学方面的研究表明人类具有 可以从甚至微弱的步态信息中识别出入身份的能力，最近几年这方面已经有初 步的研究，研究人员希望在脸相识别和虹膜识别无法发挥作用的地方可以用步 态识别进行人身份鉴定，因为在远距离的监控中脸部特征可能被隐藏或者分辨 率太低而不易识别此时人的步态是可见的，并且人的步态具有易于感知、非侵 犯性、难于伪装等优点，因而步态可以作为独特的生物特征用于人身份的识别。 2 2 跟踪方法 人体运动跟踪主要是针对包含人体运动姿态的图像序列进行分析处理，即 从连续的图像帧间提取形状、位置、速度、纹理等相关特征进行分析，从而达 到对运动行为的跟踪识别。通常包括运动检测、人体目标提取、运动跟踪和行 为识别和理解等过程。国内外学者在这方面已进行了不少的研究，采用的方法 是多样的。下面主要从运动跟踪方法上作一介绍。 。 ：，一，。：，尘童三些查耋三：兰竺耋兰! ! i i 三圣，j 。：。， ，。：1 2 2 1 线条图形法 大部分对人体结构解释的方法是对图象相邻帧中人体关节的运动进行分 析，人体结构最简单的描述是线条图，即将人体的各个部分用直线代表。关节 的运动是人体运动跟踪的关键，这个概念最早是由j o h a n s s o n 提出的，认为同 人体上的点在投影位置和速度上具有较高的相关性，从而提出了人体运动模 型。o u oy a n 等”研究人员强调了人体运动的模式识别，建立了一种常见的 人体姿态模型，构造了用于识别人体基本动作的系统，能够识别并分类人走和 跑的动作。美国c a r n e g i em e l l o n 大学的f u j i y o s h i 等“提出的人体星形结 构，将人体特征边界点和质心相连，并以连线结构形状及夹角的变化来描述人 体运动，该方法也能够对非人运动目标进行识别。 2 2 2 平板模型 j u s 等”提出的参数化纸板人模型，它将人体躯干、四肢、头部分别用 平面板块代表，且每个平面板块的运动用参数光流方程描述。c h a n g 等”“利 用简单的带状模块代表四肢来建立人体正面和侧面模型，通过结构和带状模块 运动参数进行关节运动图像分析以描述人体动作。l e u n g 等“建立的板状人 体模型分为两部分：主体模型和延伸模型，在该模型中，主体模型由五条u 性 板和躯干构成，通过一些结构约束和定义一些基于视角的常规人体姿态，如侧 跪撑等，来描述运动过程，该模型用于跟踪识别体操运动。 2 2 3 二维轮廓 用人体在二维平面上投影来近似表达人体，称为人体的二维轮廓法。美国 m a r y l a n d 大学的h a r i t a o g l u 等1 引提出的室外实时监控系统舻4 就是基于人体 轮廓形状特征的，以封闭的曲线轮廓来表达运动的目标，采用轮廓投影直方图 匹配，并用投影模板与图像轮廓绝对差累积法对姿态相似性进行评估，获得运 动的跟踪识别，该系统可以同时进行多人跟踪并可以判断识别的人是否携带物 体。f j j i y o s h i 等”通过提取运动人体边缘轮廓构造一个星形骨架结构，并 结合人体运动的周期性特点进行跟踪分析，该方法不需要预先建立人体运动模 型，计算比较简单，并可以识别不同的运动目标如动物、车辆等。b o b i c k 和 d a y i s ”1 运用运动能量图像( m e i ) 和运动历史图像( m h i ) 对图像序列中的人体 运动进行跟踪，首先对运动图像二值化，然后这些运动图像随时间不断累积并 形成运动能量图像m e i ，而后经增强成为运动历史图像，运动能量图像和历史 能量图像合在一起可以看作是一个二元时间模板，m h i 中的每个像素的值与在 该位置上的运动持续时间成比例，每个行为都由来自不同视角的图像序列的 瓶i 和m h i 所组成，从陋e i 和m h i 中提取特征运动以用于模板匹配识别，改方 法能够描述运动的变化过程。 2 2 4 动态曲线法 动态曲线跟踪是用连续变化的封闭曲线来描述运动目标。l i q u nx u 和 h o g g ”1 以基于动态的b 型样条曲线描述人体的不同形状模型来跟踪行人，用 4 0 个图形边界控制点的b 型样条曲线近似人体轮廓，获得线性点分布模型 ( l p d m ) ，从而可以得到一个形状向量，该形状向量用两个参数为状态向量的 方程表示，每个状态向量包括5 个形状参数和两个位移参数，这些参数的变化 构成了不同的人体形状。n o r t h 等采用基于卡尔曼滤波的动态曲线实现运动 人体及人体部位跟踪。n i y o g i 和a d e l s o n 9 1 提出的方法是利用时空切割进行 人体跟踪，通过获取运动目标在空间切片及步态的周期在x y t 空间形成人体动 态曲线。 2 2 5 基于超二次曲面模型 超二次曲面跟踪方法是利用锥形超曲线如锥体、圆柱体、椭圆柱体及球体 等三维模型来描述人体，这种三维模型通常包含两部分：一是用来代表骨骼结 构，二是用来代表骨骼上的肌肉。骨骼结构可以看作是多个具有一定空间自由 度的肢体的组合；而肌肉可以看作是一种立体结构。美国的6 a v r i l a 等”1 用 1 l - 北京工业大学工学坝士学位论文 三维模型以识别和跟踪更为复杂的人的活动，如走路时作出不同的动作、转弯 动作等，该模型用1 2 个锥体和椭圆柱体来描述人体，头部和躯干的连接用刚 性连接近似，并略去了脚的建模，人体模型的动态是由树型转换结构表示，该 模型具有2 2 个自由度，并为身体每一部分建立笛卡尔坐标给出相应的自由度， 身体形状和动作最终通过由向量构成的几个函数表示，该模型使用迭代扩展卡 尔曼滤波方法并结合边缘和区域信息确定人体运动和形状，实现单目标图像序 列中入的跟踪。德国的k a r lr o h r 使用了1 4 个椭圆柱体模型来描述人体结构， 坐标系的原点定于躯干的中心。z h a o 等”用三个椭圆体分别代表头、躯干和 腿来建立人体模型用于在拥挤环境中多人跟踪。该方法可以更加准确地表达和 预测人体在空间中的运动，并能够跟踪比较复杂的运动，对于遮挡问题处理具 有明显的效果，但其一般需要多个角度的信息融合，参数计算往往比较复杂。 1 2 6 基于动作规律性 人体一些运动呈现出一定的规律性，在运动时空中表现为强度变化的周期 性。c h e n gc h a n g 等”引利用人体部位运动的相关性提出了基于四肢周期运动跟 踪的方法，首先根据四肢各自的运动特性分别描述其周期运动，然后建立各部 分相关性的运动模型，运用蒙特卡罗( m o n t ec a r l o ) 跟踪技术进行分析。 y a s u t o m i 等”“利用人走路时周期性的动作形状变化来进行人运动分类，通过 分析人体运动时频和空间周期达到分类的目的，时频是强度随时间的变化即步 速；空间周期代表运动的人体轨迹的强度波动即走路的步幅。德国c u r i o 等” 认为人运动的典型特征是走路动作，周期性的相关肢体运动特征是唯一性的， 而腿部运动是人体运动关键，他们把人体大腿运动建模成频率为f 的钟摆， 而小腿摆动频率为2 f ，按照腿部夹角的不同建立步态的1 2 个阶段模型，用于 行人跟踪识别。c u t l e r 等”训认为周期运动在时间上具有对称性，运用自相 关并结合二维网格结构进行时频分析，以对运动目标识别归类该算法能够应 用于摄像机静止和运动情况。运动周期跟踪方法的优点是不依赖于摄像机的距 离及运动目标一些外表特性，如光强度及人的衣着、发型、体形、光照、及与 摄像机的距离等因素，通过运用人体内在运动规律消除人体自遮挡和其它人体 的遮挡现象带来的影响。 2 2 7 区域块法 区域块跟踪方法是根据人体各部分满足不同几何约束条件的特性对人体 运动进行描述，如根据表面纹理、颜色及运动学信息等， r o b e r t s 等”1 建立 了一个基于人体表颜色分布相似性的似然模型，对于某一运动姿态分析其颜色 直方图，根据直方图相似性及先验知识应用融合及分裂算法将区域进行组合归 类，并用超二次曲线表示该模型实现人体运动跟踪。w r e n 等”采用一种基 于区域模型的方法利用小区域特征进行单人跟踪，将人体看成由头、躯干、四 肢、等各部分小区域块组成，根据构成每个区域块的空间及颜色信息，将人体 不同部分的象索分别聚合成不同的区域块，以平面坐标和颜色进行描述，并利 用高斯分布建立人体模型实现运动跟踪。该方法能够从光照不均的背景中跟踪 运动，但对于遮挡情况其适应性不是很强。 2 3 本章小结 本章主要对国内外的研究现状进行了综述性介绍，归纳了人体运动跟踪的 主要应用领域，并且总结了近年来过国内外学者对人体运动跟踪研究所采用的 方法，对这些方法进行了分类介绍。 第3 章运动检测 3 1 运动检测常用方法 运动检溅是从序列图像中捕捉运动区域，并扶背景图像中分割出来，运动 区域的有效分割对于运动跟踪和识别等后期处理是非常重要的，因为以后的处 理过程仅仅考虑图像中对应于运动区域的像素。人体目标提取主要的目的是从 检测到的区域中将人和其它运动区域提取出来。因为有时在检测到的运动区域 中会存在不同的运动目标，为了便于进一步对人进行运动跟踪和分析，有必要 从捕捉到的运动目标中正确分类出人体。视频序列的场景一般分为室内场景和 室外场景。室内场景的背景变化主要是由噪声和亮度的变化引起的；室外场景 的背景变化则主要由噪声和图象纹理的馒变化，如云、树叶等虚假运动干扰， 还可能会包含行人、车辆、其它动物等运动体。在分离运动区域与背景时，将 视频图象中运动的一个或几个对象作为前景，而将静止不变或变化缓慢的区域 作为背景。因此，由于背景图像的动态变化，使得运动检测成为一项相当困难 的工作。 常用的将运动人体从背景中提取方法可分为两类：基于运动检测的方法和基 于人体形状分析的方法。基于运动检测的方法主要有四种：背景减除法、光流 法、相邻帧差法和统计法，基于人体形状分析方法可分为两种：模板匹配法和概 率推理法。模板匹配法是将不同姿态的人体形状作为模板，与输入图像特征进行 匹配，可以找出与人相似的形状模式。概率推理法是利用了人体形状的几何和拓 扑约束关系从图像中寻找满足人体约束的区域或区域集合。 实际上，在人体运动跟踪过程中各个环节之间不是完全独立的，有时运动 跟踪环节包含了对运动目标的分类从而识别出人体目标。下面我们将对运动检 测的常用方法作简要介绍。 3 1 1 背景减除法 背景减除方法4 叫是目前运动分割中最常用的一种方法，它是利用当前图 - 1 5 北京工业大学工学硕士学位论文 像与背景图像的差分来检测出运动区域的一种技术。其基本思想是将当前每一 帧图像与事先存储或者实时得到的背景图像相减，若像素差值大于某一阈值， 则判定此像素为出现在运动目标上的，且相减的阈值操作后得到的结果直接给 出了目标的位置、大小、形状等信息，背景减除法包括背景表示、背景初始化、 背景维护、运动象素检测等。该方法一般能够提供最完全的特征数据，但对于 动态场景的变化，如光照和外来无关事件的干扰等很敏感。背景减除法中，背 景模型提取的准确与否，直接关系到最终检测结果的准确性。国外的研究文献 中提出多种背景模型提取方法，如：w 4 方法”1 ，它是在没有前景目标的情况 下，对场景进行一段时间的观测，记录每个像素点的最大亮度值m ，最小亮度 值n ，以及相邻两帧间亮度最大的差异值d ，用这3 个值表示背景模型。也有 用前几帧图像像素亮度的平均值做背景模型的。这些方法都要求在背景模型构 造阶段没有运动目标出现，但在某些应用场合无法满足这种要求， 3 1 2 光流法 基于光流方法的运动检测采用了运动目标随时间变化的光流特性，运用运 动图象序列中强度数据变化和相关性，以确定图像像素位置的运动情况。其基 本思想是将运动图像函数f ( x ，y ，t ) 作为基本函数，根据图像强度守恒原理 建立光流约束方程，通过求解光流约束方程，计算运动参数。如c a r r a n z a “。等 提出用计算位移向量光流场多级提取轮廓跟踪算法，光流法的优点是能够检测 独立运动的对象，不需要预先知道场景的任何信息，并且可用于摄像机运动的 情况，但多数光流法计算复杂，对噪声敏感，需要特别的硬件装置支持才能进 行全帧视频流的实时处理。 3 1 3 时间差分法 时间差分方法是在连续的图像序列中两个或三个相邻帧间采用基于像素 的时间差分，并且阈值化来提取出图像中的运动区域。例如l i p t o n l 3 8 1 等利用 两帧差分方法从实际视频图像中检测出运动目标，然后进行目标的跟踪分类； 时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提 1 6 第3 蕈运动检测 取出所有相关的特征像素点，不利于运动对象的进一步分析。另外，由于视频 镜头产生的噪声符合高斯分布，且视频序列中的随机噪声、亮度变化、背景纹 理的慢变化等统计量噪声一般也符合高斯特性，因此，如连续帧之间的灰度差 为非零值，这可解释为是由噪声的影响或运动对象的变化引起的。一般噪声有 高斯特性，丽运动对象则有很强的结构性。因此，可以采用互帧差的n 次统计 量判决出运动对象的一般结构，在互帧差图像上逐点移动一个小的窗口区域， 然后将每个窗口区域内n 次互帧差和的平均值与视频图像中背景区域估计的 高斯噪声的均方差的平均值进行比较，以确定前景区域和背景区域。 3 1 4 统计方法 统计法是应用像素的统计特性而从背景中提取运动目标，即计算背景像素 的统计信息( 颜色、灰度、边缘等) ，同当前像素比较，但涉及大量计算和变换。 3 2 基于亮度转换的背景减除法 本文研究的跟踪主要以在室内环境的入体运动为对象，背景光线的变化不 大，背景相对基本没有动态变化，通过分析和实验，用背景减除方法进行运动 检测效果较好。采用y u j ik u n o 等 5 1 1 提出的背景减除法来检测运动目标，运 用基于亮度转换的简单函数提取前景目标。应用当前图像和背景图像亮度的差 分来提取运动目标，通过从当前图像象素亮度中减除背景图像的亮度来获得亮 度变化。 因为二值化闽值的设定比较难以选择，特别是对于对比度较低的图像，运 动目标会检测不完全，这是由于亮度变化过低很难从噪声中区别出运动目标。 如果摄像机的灵敏度不高时，也可能使得目标检测质量不高。因此要从噪声中 检测到准确的运动目标需要确定合适的阈值，这种阈值的确定是比较困难的。 为了解决这些问题，该方法设定一个函数柬检测亮度较低和较高象素区的敏感 度变化，当当前图像象素的亮度值和背景图像的亮度值相等时，函数值为零。 该函数描述如3 一i 所示； 北京工业大学工学硬士学位论文 f ( a ，6 ) = 1 一 丝亚亘巫 ( 口+ i ) + ( b + 1 ) 2x。(。2。5。6。a。)。(。2。5。6。-。b) ( 2 5 6 一口) + ( 2 5 6 6 ) ( 3 1 ) 0 f ( a ，b ) l0 蔓a ( x ，y ) ，b ( x ，y ) 2 5 5 其中，a ( x ，y ) 和b ( x ，y ) 分别是当前图像和背景图像的亮度值，x 与y 是 图像坐标值。当a 和b 的值相等时，函数f 取最小值，如取零。当a 和b 的差 值增加时，函数f 的值也同样增加。这说明，该方法可以检测到亮度较低时的 微小亮度变化，而忽略在中等亮度时的亮度变化。即，函数f 可以根据背景 图像象素的亮度值确定背景图像和当前图像差值的敏感度。图3 1 是采集到的 原始运动图像和背景图像，图3 2 是经背景减除后的图像。从图中可以看出 图像中在脚部亮度变化不大的情况下，该算法仍取得了较好的检测结果。 ( 8 ) 采集侧面图像 ( b ) 背景图像 图3 - 1 运动图像和背景图像 f i g u r e3 - 1m o v i n gi m a g e a n db a c k g r o u n di m a g e 第3 章运动检测 3 3 本章小结 图3 - 2 检测到的运动目标 f i g u r e3 - 2m o v i n gt a r g e tb yd e t e c t i o n 本章对运动检测做了详细阐述，总结给出了目前国内外学者所采用的主要 方法，并在此基础上阐述了四种方法的优缺点。通过对跟踪对象和背景的综合 分析，本文采用了背景减除法进行运动检测。该方法在本实验中取得了良好的 效果。 1 9 人置压 ：，。：，量! 耋! 至塑：i ! 鳖些兰。：。 ： 4 1 预处理框架 第4 章运动图像预处理 运动图像的预处理对于特征提取的质量起到很重要的作用。因为分割出的 图像一般是不够清晰，其边界比较粗糙而且图像中含有噪声孔等。必须进行图 像预处理，然后进行特征优化提取。图像预处理一般包括以下几个步骤：形态 学处理( 膨