（计算机应用技术专业论文）基于自适应粒子滤波的人体运动视频跟踪方法研究.pdf

摘要 基于视频的人体运动跟踪是一种使用普通摄像机跟踪无标记人 体运动的技术，是近年计算机视觉领域的一个研究热点。人体运动的 视频跟踪往往由于目标动作的复杂性和不规律性而变得非常困难。尽 管人们对人体运动的视频跟踪进行了较广泛的研究，并提出了许多有 效的跟踪方法，但对于复杂运动的人体动作，开发出一套鲁棒的视频 跟踪算法仍存在较多困难。 本文作者针对人体复杂运动的视频跟踪问题进行了研究。由于此 类问题高度的非线性、非高斯性，本文作者采用基于概率模型的粒子 滤波算法来作为跟踪框架。粒子滤波算法虽然能完成一般的跟踪任 务，但对于人体运动跟踪仍然存在困难。传统粒子滤波在人体运动的 视频跟踪中存在突出的问题：观测模型不能适应目标身体的表观变 化；运动模型不能准确预测目标位置的快速改变。针对这两个问题， 本文提出一种自适应粒子滤波算法。算法在粒子滤波的跟踪框架下引 入一种自适应观测模型，并根据跟踪误差与人体动作改变幅度的大小 自适应选择噪声方差和粒子数量。 本文作者对大量的人体运动视频进行了跟踪实验，并将本文算法 与传统的粒子滤波算法进行了比较。实验结果表明，本文算法不仅能 完成一般的人体步行视频跟踪，并且能够完成复杂动作的视频跟踪任 务，同时具有更低的跟踪误差率。 关键词人体运动跟踪，粒子滤波，自适应，观测模型，运动模型 a b s t r a c t a 1 lk i n d so fc h e a pd e v i c e ss u c ha s d i g i t a lc a m e r a sa n dp e r s o n a l c o m p u t e ra r eu s e dt oc a p t u r eah u m a n sm o t i o nw i t h o u ta n ys e n s o r so r m a r k e r sa t t a c h e dt ot h eb o d y , w h i c hh a sb e c o m e sah o tt o p i co fc o m p u t e r v i s i o nr e c e n t l y v i d e o b a s e dh u m a nb o d ym o t i o nc a p t u r eo f t e nb e c o m e s d i f f i c u l td u et ot h ec o m p l e x i t ya n dd i s o r d e r l i n e s so ft h et a r g e ta c t i o n a l t h o u g hv i d e o - b a s e dh u m a nb o d ym o t i o nc a p t u r eh a sb e e nw i d e l y r e s e a r c h e da n dm a n ye f f e c t i v ea l g o r i t h m sh a v eb e e np r o p o s e d ，t h e r ea r e s t i l lal o to fd i f f i c u l t i e si nc a p t u r et h eh u m a nb o d ym o t i o nb a s e do n c o m p l e xm o v e m e n t s i nt h i st h e s i s ，t h er e s e a r c hi sf o c u s e do nt h ev i d e o b a s e dc a p t u r e p r o b l e m so fc o m p l i c a t e dm o v e m e n t s i n c et h e s ep r o b l e m sa r ea l w a y s n o n l i n e a ra n dn o n g a u s s i a n ，p a r t i c l ef i l t e r a l g o r i t h mb a s e do nt h e p r o b a b i l i s t i cm o d e li su s e da sac a p t u r ef r a m e w o r k a l t h o u g ht h ep a r t i c l e f i l t e ra l g o r i t h mc a nf u l f i l ls o m ec o m m o nc a p t u r et a s k , t h e r es t i l lr e m a i n s o m ed i f f i c u l t i e si nv i d e o - b a s e dt r a c k i n go ft h eh u m a nb o d ym o t i o n d i v i n gv i d e o sc a p t u r ew i t ht h eo r i g i n a lp a r t i c l ef i l t e rm a y h a v et w om a j o r p r o b l e m s f i r s t ，t h eo b s e r v a t i o nm o d e lc a n ta d a p tt ot h ec h a n g eo f a t h l e t eb o d ya p p e a r a n c e s e c o n d ，t h ef i x e d n o i s ev a r i a n c ei nt h e k i n e m a t i c sm o d e lu s u a l l yf a i l si np r e d i c t i n gt h er a p i dc h a n g eo fa t h l e t e l o c a t i o n h e r e ，a na d a p t i v ep a r t i c l ef i l t e ra l g o r i t h mt ot a c k l et h e s e p r o b l e m si sp r e s e n t e d ，w h i c hi n t r o d u c e sak i n do fa d a p t i v eo b s e r v a t i o n m o d e lu n d e rt h ep a r t i c l ef i l t e rf r a m e i na d d i t i o n ，i tc a nc h o o s en o i s e v a r i a n c ea n dt h ep a r t i c l eq u a n t i t ya c c o r d i n gt oc a p t u r ee r r o r sa n dt h e c h a n g i n gs c o p eo fm o t i o n sa d a p t i v e l y i nt h i st h e s i s ，l o t so fh u m a nm o t i o nv i d e o sa r et e s t e db yc a p t u r ea n da c o m p a r i s o n w i t ht h et r a d i t i o n a l p a r t i c l e f i l t e r a l g o r i t h m i sd o n e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sa l g o r i t h mc a nn o to n l yf u l f i l lg e n e r a l h u m a nf o o tv i d e ot r a c k i n g ，b u ta l s oc o m p l e t et h ev i d e o b a s e dc a p t u r eo f c o m p l i c a t e dm o v e m e n t f u r t h e r m o r e ，t h i sa l g o r i t h mh a s ar e l a t i v e l y 1 0 w e rt r a c k i n ge r r o rr a t e i k e yw o r d sh u m a n b o d ym o t i o nc a p t u r e ，p a r t i c l ef i l t e r ，a d p t i v e ， a p p e a r a n c em o d e l ，k i n e m a t i cm o d e l 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者繇卑吼丛年上月盟日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者躲蔓靶翩签罐嘲丝年月型日 硕士学位论文 绪论 1 1 课题背景及意义 第一章绪论弟一早 珀。t 匕 计算机视觉已经成为人工智能领域最热门的课题之一，与专家系统、自然语 言理解一起成为人工智能最活跃的三大领域嘲。计算机视觉起源于人工智能的 一个梦想，让计算机能够像我们人类一样进行视、听、说和思考，辅助人类对环 境进行感知、解释和理解。随着计算机技术的进一步发展，有理由相信人工智能 的梦想离现实越来越近。本课题为国家自然科学基金项目基于视频的人体腾空 翻滚运动跟踪与分析方法( 项目编号：6 0 6 7 3 0 9 3 ) 的子课题。本课题主要研究 体操与跳水运动的视频跟踪技术，尤其是体操和跳水运动中人体腾空翻转姿态的 跟踪与视频提取，并根据人的生理特征分析其运动规律，建立人体的三维运动模 型和能用来计算人体腾空翻滚过程中各特征点运动参数的计算模型，由此反求在 使体操或跳水运动员达到最佳状态时所需要的各种特征参数，指导运动员训练。 本课题旨在对人体运动视频跟踪方法展开研究，并在此基础上，将跟踪方法应用 于人体自由运动乃至复杂的体操和跳水运动的视频跟踪中。 人体运动的视频跟踪技术作为计算机视觉领域的一个重要分支，近年来，在 图像处理与计算机视觉领域引起许多学者的关注，它也是人体运动分析及人体行 为理解的重要前提。现代的人体运动跟踪技术是对场景中的人体目标进行分析， 得到可以用数学描述表示的运动。正如m e n a c h e 3 】所述，“运动跟踪就是一个记 录运动事件发生的过程，它将运动用几个可以表示为数学形式的关键点来表示， 并将这些点在空间和时间上组合起来得到三维的运动模式。这正如我们观察一 个人的运动，首先注意到人的身体上各个部分的运动，然后将这些运动组合起来， 在大脑中形成对整个人体运动的理解。运动跟踪提供了一种新的人体运动表示方 式，把人的连续运动进行离散化，而且得到可以用数学方法进行描述的精确表示， 从而可以用于计算机的分析和进一步应用。该领域的研究有着广泛的应用价值， 它的主要应用领域可以分为如下几类： ( 1 ) 体育运动分析 运动跟踪技术可以用于体育运动领域中。在体育训练中，为了有效地指导运 动员的训练，提高运动员的比赛成绩，就必须对运动员的动作姿态或者运动轨迹 进行分析。如在跳水运动的训练中，通过运动跟踪技术可以得到运动员真实的运 动轨迹，并可以计算出相应的运动参数，如角度、速度、加速度、重心等，这些 信息可以辅助教练员对运动员的跳水过程进行定量评估，纠正运动员的动作，提 硕士学位论文 绪论 高动作的标准性以及观赏性。精确的人体运动跟踪对于舞蹈教学和训练以及高尔 夫、网球等竞技项目的个性化训练也有着巨大的应用前景。 ( 2 ) 智能监控 智能监控系统主要应用于那些对安全要求比较严格的场合，如银行、自动取 款机、商店、停车场等。传统的视频监控系统是由一个或多个摄像机及与之相连 的一套电视监视器组成，它需要工作人员连续监视屏幕，不仅工作量大，而且十 分枯燥，随着监控区域的增大，很容易造成漏警。智能监控系统则可以部分解决 这一问题。“智能是指系统能够自动监视一定场所中人的活动，跟踪可疑行为( 如 经常在重要地点徘徊等等行为) 并对其行为进行分析和识别，从而采取相应的报 警措施。目前监控摄像机在商业应用中己经普遍存在，但并没有充分发挥其实时 主动的监督作用，因为他们通常是将摄像机的跟踪结果记录下来，当异常情况发 生后，专门的工作人员才通过记录的结果观察发生的事实，但往往为时已晚。而 实际需要的监控系统应该能够连续2 4 小时实时监控，并能自动分析摄像机跟踪 的图像数据，当异常行为发生时，系统能向保安人员准确及时的发出警报，从而 避免犯罪的发生，同时也可减少雇佣大批监视人员所需的人力，物力和财力投入。 ( 3 ) 虚拟现实 虚拟现实是一种可以创建和体验虚拟世界的计算机系统，它的目的就是为人 们提供一个虚拟的交互世界。在这个虚拟世界中，人的形体、运动和行为交互设 计的逼真性实际上是得益于现实生活中人的运动分析。计算机可以通过对人体运 动的跟踪，获得人体运动参数，从而重建人体模型。这样就可以把人体放到计算 机所创建的虚拟空间中。传统方法是在人体上安装位置传感器，这将使人体感到 不舒适和不自由。基于人体运动跟踪的虚拟现实技术将更方便，更自然，使得使 用者更充分体验虚拟现实带来的乐趣。 ( 4 ) 动画制作 现代的影视娱乐业大量使用了视频人体动画技术，这种技术首先从视频中恢 复人体的运动信息，然后将这些运动信息赋给新角色，使其产生与原始视频中的 人体运动相似的人体动画。人体关节运动的准确跟踪和获取，是视频人体动画的 基础。如在2 0 0 1 年的电影“最终幻想 就是首部完全基于运动跟踪技术诞生的。 目前从单目视频中获取人体运动的成功解决，将使从体育运动、经典影视、历史 记录资料等视频源中获取丰富的人体运动数据成为可能，从而为计算机动画和游 戏应用开启一个大型的人体运动数据的宝库。 ( 5 ) 医学治疗 运动跟踪也可用于医学治疗中。由于运动跟踪技术能够提供运动过程的三维 信息，这些信息可以辅助医生对病人的运动障碍问题有更加准确的判断和分析， 2 硕士学位论文 绪论 从而制定出更合理的康复治疗方案。例如将运动跟踪技术用于病人的步态治疗 中，它可以得到病人走路过程的客观表示。医生通过将病人与正常人走路模式的 比较，就能够更加准确地判断出导致病人走路姿势不正确的原因，从而制定出相 应的治疗方案。 1 2 基于视频的人体运动跟踪研究概述 1 2 1 研究内容 目前，基于视频的人体运动跟踪问题主要围绕着以下问题展开： ( 1 ) 人体结构 人体首先是非刚体，而且结构复杂；其次，人体的运动具有很大的自由度和 高度的非线性，是一个复杂的运动系统。此外，人体外表由于穿着服装不同，其 外观表现出很大的差异，很难用统一的模型加以表达。正是由于上述问题的存在， 目前，对于人体运动视频跟踪的研究工作中，都是从不同的角度入手，采用各类 不同的约束与前提条件来简化人体的结构描述。 ( 2 ) 遮挡问题 目前，大部分人的运动分析系统都不能很好地解决目标之间互遮挡和人体自 遮挡问题，尤其是在拥挤状态下，多人的检测和跟踪问题更是难于处理。遮挡时， 人体只有部分是可见的，而且这个过程一般是不可训练的，简单依赖于背景减除 进行运动分割的技术此时将不再可靠，为了减少遮挡或深度所带来的歧义性问 题，必须开发更好的模型来处理遮挡时特征与身体各部分之间的准确对应问题。 ( 3 ) 多目视频处理 使用单目摄像机对人体运动的视频跟踪进行研究存在不少的缺点，尤其是在 三维人体运动的跟踪研究中，身体姿势和运动在单一视角下由于遮挡或深度影响 而容易产生歧义现象，因此使用多摄像机对三维姿势进行跟踪的优点是很明显 的。同时，多摄像机的使用不仅可以扩大监视的有效范围，而且可以提供多个不 同的方向视角以用于解决遮挡问题。很明显，多摄像机的使用在未来的人体运动 分析系统研究中是更值得关注的方向。多目视频处理研究方向的关键问题是多摄 像机之间的选择和信息融合。 1 2 2 研究难点 基于视频的人体运动跟踪问题，当前研究涉及到的难点有以下几点： ( 1 ) 运动的不受约束性。人的运动存在不可预知性和随意性，即使是预定编 3 硕士学位论文绪论 排的动作，也会由于人体结构和运动本身的高度复杂性变得非常困难。所以，任 意人体运动的自动跟踪几乎不太可能。如何实现自动跟踪直正感兴趣的任意变化 的人体运动，仍然存在艰难的挑战。 ( 2 ) 遮挡时手臂与身体的处理问题。遮挡时由于信息的缺失，使得跟踪情况 变得很复杂。在手臂与身体的衣服纹理相同的情况下，当四肢与躯干重叠或者贴 近，由于缺乏对比度，很难将他们分离开来。所以这个问题一直是遮挡问题中的 难点。 ( 3 ) 自动初始化、自动从错误中恢复以及处理错误累积的问题。自动初始化 包括模型参数( 骨骼长度) 、初始姿态参数以及跟踪算法的其他参数的自动获取。 目前绝大多数基于视频的人体运动跟踪系统都依赖于首帧手工标定的方法来获 取初始化信息，也有研究者通过对初始动作出一些限制的方法来自动初始化，但 是都无法完成自动初始化，因此一个能自举初始化的跟踪算法是解决人体运动跟 踪问题的一个关键。 ( 4 ) 高自由度的人体。人体有近3 0 个自由度，在图形处理的过程中相当复 杂，因此如何降低算法的计算时间复杂度，实现动作的实时跟踪，也是一个难题。 从控制的观点来看，人体运动跟踪所面临的主要难点又可归结为对视觉跟踪 算法在鲁棒性、准确性和处理速度这三个方面的性能要求。对于不同的应用场景， 有不同的要求。如对于监控系统中，系统的鲁棒性特别重要，它通常要求能自动、 连续的工作，对噪声、光照、天气等因素的影响不能太敏感；在控制应用中，系 统的准确性特别重要，如基于行为或姿势识别的接口控制场合中，而系统的处理 速度对于那些需要实时高速的监控系统来说更是非常关键的。因此，如何选择有 效的方法来提高这三个方面的性能是特别值得考虑的问题。 1 2 3 国内外研究动态 由于人体运动的重要性，很早就有人对基于视频的人体运动跟踪技术进行研 究【4 1 。二十余年的发展，基于视频的跟踪技术融合了图像处理，计算机视觉，计 算机图形学，人工智能，人体运动学以及机器学习等多学科的理论，成为多学科 交叉的一个热门领域。 从整体上看，该领域的研究目前正处于发展初期，无论是从实时性、准确性 还是从跟踪的鲁棒性来看。在监视应用方面，由于其不需要动作细节，基于视频 的方法可以基本满足需要。在运动跟踪和运动分析方面，基于视频的方法仍然处 于实验室阶段，但从其发展趋势来看，随着计算机速度的提高和新的相关理论的 引入，基于视频的运动跟踪将会逐渐走向成熟。目前的一些基于视频的跟踪系统 都无法和商业上的基于标记的跟踪系统相比【5 】，大多数运动跟踪和分析方法都是 4 硕士学位论文 绪论 采取有标记点( m a r k 哪的方式跟踪运动员动作并进行分析，如q u a l i s y s 、v i c o n 等 公司已制作了基于光学标记点的运动跟踪系统( o p t i c a lm o t i o nc a p t u r e ) 。q u a l i s y s 公司还将其应用于高尔夫球、网球、滑雪等体育运动的分析。然而这些基于贴标 记的运动跟踪系统操作复杂，需要采用价格昂贵的特殊设备，对运动员有诸多限 制，不利于推广使用。另外市场上还存在许多基于普通视频的运动分析软件，它 们大多采用手工获取二维关节位置的方法对运动进行分析。由于涉及手工操作太 多，这类软件无法满足及时反馈的训练需要，而且基本上是二维的处理，精度也 不易保证。 国内开展人体运动分析研究的单位有浙江大学人工智能研究所、中国科学院 计算所等单位。前者浙大人工智能研究所采用单目视觉对人体没有出现被遮挡部 位的动作进行了跟踪，首帧采用手工标注人体的特征点【6 】，该方法基于单目视觉， 无法准确估计被遮挡部位的位置，手工干预较多；中科院自动化所模式识别国家 重点实验室图像和视频分析研究组开发了人体运动的视觉分析系统、交通行为事 件分析系统、交通场景监控系统和智能轮椅视觉导航系统；中科院计算所先进人 机通信技术联合实验室对于体育视频中的目标分割和跟踪、精彩片断分析的研 究；中科院计算所先进人机通信技术联合实验室对于体育视频中的目标分割和跟 踪、精彩片断分析的研究。 人体运动分析的复杂性和应用的广泛性吸引了国外众多的研究者，美国、德 国、日本各大学及科研院所长期获得各方面资助，开展人体运动分析的研究，国 内外的众多研究机构对人体运动跟踪进行研究，如国外的法国国家实验室 ( i n r 从) t n 、牛津大学动态视觉组【8 1 、m i t 媒体实验室【9 】、c m u 机器人研究所【1 0 1 、 马里兰大学帕克学酣】等，i e e e 定期举办人体运动分析的专题会议，并且在每 年i e e e 举办的众多国际会议中，均有这一主题，可见国际上对该项研究的高度重 视。当前，国际上一些权威期刊如i j c v ( i n t e r n a t i o n a lj o u r n a lo f c o m p u t e rv i s i o n ) 、 c v n j ( c o m p u t e rv i s i o n a n di m a g eu n d e r s t a n d i n g ) 和重要的学术会议如 i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、c v p r ( i e e ec o m p u t e rs o c i e t y c o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) 等将人体运动分析研究作 为主题内容之一，为该领域的研究人员提供了更多的交流机会。 1 3 本文的工作 1 3 1 本文的主要研究内容 正是因为人体运动的视频跟踪存在广泛的应用前景和诸多困难，所以受到了 国内外的高度重视，人们在这一领域投入了大量的研究。由于本文课题更偏重于 5 硕士学位论文绪论 在体育运动分析中的应用，在这种应用中对跟踪的准确性要求很高。所以本文研 究重点在于对跟踪算法的准确性提高。本文以人体步行和复杂的跳水运动视频为 研究对象，重点解决目标跟踪过程中的准确性问题。本文的研究目的：提出一种 鲁棒的跟踪算法，能够实现对人体步行和跳水运动视频的准确跟踪。本文采用粒 子滤波方法作为跟踪框架，主要研究内容如下： ( 1 ) 研究观测模型的设计。将概率粒子滤波跟踪算法应用到视频跟踪中，最 重要的一个环节就是如何设计一个鲁棒的观测模型。目前，多数粒子滤波算法的 观测模型是基于目标某种特征信息的表面模型来设计的，所用的表面模型在跟踪 期间或固定不变，或每一帧固定更新。这两种更新方式对都存在问题，本文致力 于研究一种合适的更新策略，能够适应目标表面的变化。 ( 2 ) 研究运动模型的设计。目标运动模型是目标跟踪理论的基本要素之一。 任何跟踪算法都是以目标运动的某个或某些模型为基础的。现有的运动模型分为 通用模型和专用模型两种，这两种模型各有优缺点，本文致力于建立既符合实际 情况，又便于数学处理的运动模型。 ( 3 ) 研究一种鲁棒的粒子滤波跟踪算法。本文选取粒子滤波方法作为预测跟 踪框架，传统的粒子滤波方法不能很好地对人体运动视频进行有效而准确地跟 踪，针对它存在的问题，本文致力于研发一种鲁棒的人体运动视频跟踪算法，从 而得到更有效而准确的跟踪效果。 1 3 2 本文的组织结构 本文共分六章，各章的内容安排具体如下： 第一章：绪论。本章论述了本课题的来源、背景和意义，阐述了基于视频的 人体运动跟踪算法的主要研究内容和研究难点以及国内外研究动态。最后介绍了 本文的研究内容以及本文的组织结构。 第二章：基于视频的人体运动跟踪方法分析。本章对人体运动视频的各种跟 踪方法分别进行了归纳和分类，并对这些方法进行了分析和比较。 第三章：粒子滤波理论。本章为本方所研究方法的理论基础，对粒子滤波理 论涉及的贝叶斯理论以及蒙特卡罗方法进行了简要介绍，并对粒子滤波在运动捕 捉中的算法框架进行了描述。 第四章：基于自适应粒子滤波的人体运动视频跟踪算法。本章是本文的研究 重点，首先阐述了采用粒子滤波方法作为本文跟踪方法的理由，然后提出了传统 粒子滤波方法在人体运动视频跟踪中存在的两个问题，接着对两个问题进行了分 析，针对问题提出了一种自适应粒子滤波算法。 第五章：实验结果与分析。本章介绍了算法的实验设计，给出了大量的实验 6 硕士学位论文 绪论 结果，对自适应粒子滤波算法和传统粒子滤波算法进行了比较，分析了自适应粒 子滤波算法的准确性。 第六章：总结与展望。本章对本文的研究成果进行总结，并探讨了进一步研 究的方向。 7 硕士学位论文基于视频的人体运动跟踪方法分析 2 1 引言 第二章基于视频的人体运动跟踪方法分析 基于视频的人体运动跟踪方法是一种使用普通摄像机跟踪无标记人体运动 的技术，是近年计算机视觉领域的研究热点，吸引了众多研究者的关注。在过去 的几年中，出现了大量有关运动跟踪技术的文章，研究了手、人脸以及完整人体 等的跟踪方法。本章将对这些方法做简单的归纳和分类，并对这些方法进行比较 和分析。 2 2 基本方法分类 人体运动的视频跟踪方法有很多不同的分类标准，现有的分类标准包括： ( 1 ) 单个人的跟踪与多个人的跟踪 ( 2 ) 二维方法与三维方法 ( 3 ) 基于模型的方法与非模型的方法 ( 4 ) 单摄像机和多摄像机 ( 5 ) 传感器的个数 ( 6 ) 姿态估计方法与跟踪方法 ( 7 ) 刚体运动，多关节运动和弹性运动 人体运动跟踪技术是一项非常复杂而且困难的任务，通常需要多种方法同时 使用，针对不同的应用领域，也需采取不同的方法。以上这些分类方法虽然非常 详细，但是都是按照具体的技术或者方法来进行分类的，不能够较好地对人体运 动跟踪技术给出明确的分类界限。m o e s l u n d a n dg r a n u m t l 2 】将运动跟踪分为初始 化、跟踪、姿态估计和识别四个阶段，在每一个阶段又分别按照具体的使用方法 和技术进行分类。这种分类方式的优点是：它不是按照具体的技术或者方法来对 运动跟踪进行分类，而是按照解决一个问题的逻辑思路将运动跟踪划分为几个不 同的阶段。 实际上很少有哪种技术能够完全解决运动跟踪问题。现有的关于运动跟踪技 术的研究多采用了多种技术和方法的结合，或者是针对不同的跟踪对象采用特定 的技术和方法。若只是按照具体技术和方法进行分类，这会使得读者的注意力过 分关注在具体的几个技术细节上，而对运动跟踪的整体技术思路没有系统的了 解。其实，从总体思路上来说，解决运动跟踪问题的几个主要阶段是大致相同的。 硕士学位论文基于视频的人体运动跟踪方法分析 为了对运动跟踪问题有一个清晰的、系统的思路，我们采用类似m o e s l u n d 的方法来对现有的运动跟踪技术进行总结，按照运动跟踪的逻辑思路以及我们的 研究目标将运动跟踪分为初始化、特征提取和跟踪三个阶段。接下来我们将对这 三个阶段使用的方法进行总结与分析。 2 3 人体运动的视频跟踪方法分析 2 3 1 初始化阶段 初始化阶段是人体运动跟踪的第一个阶段，在这个阶段通常需要解决两个问 题：如何确定初始状态以及人体模型的使用。 ( 1 ) 初始状态的确定 在初始化过程中最重要的就是确定人的初始状态。也就是确定人在图像中的 位置，或者对于采用多关节人体模型进行运动跟踪而言，就是确定人体模型的初 始姿态参数。当前多数研究者为了简化运动跟踪问题的复杂度，将人的初始状态 确定当作一个已知的先验信息，从而可以将更多的注意力放在后续的时间序列处 理上。显然，如果没有先验信息而直接在图像上搜索找到人的初始状态是很困难 的，因为搜索空间的范围太大，很难遍历所有可能的状态。即使能够遍历整个搜 索空间，也会有很多个候选的状态满足当前观测到的图像。 目前最简单获取初始状态的方法就是通过人工交互，也可以采取对人的初始 动作作出一些限制的方法来自动确定人体模型的初始姿态。例如u r t a s u n 1 3 】、 h u t t e n l o c h 一1 4 】等采用了手工标记的方法确定人体模型的初始参数。例如采用人 面对摄像机站立，双手平举的方法来自动确定人体模型的初始姿态；c a r r a n z a 1 5 】 就采取了下肢半蹲，上肢微曲的姿态来获取初始人体姿态。初始状态不仅在跟踪 的起始时刻，而且在跟踪的过程中也需要确定，例如当跟踪失败时，需要一种自 动重新获取姿态参数的机制。近年来已有部分研究者采用了直接从图像中提取相 关特征，然后对这些特征进行分析检测出人的位置信息的方法在跟踪过程中初始 化人体模型。如s o n g 1 6 】利用图像上的特征点检测来确定初始姿态，首先判断哪 些点是与人有关的，然后根据这些特征点进一步给出人的初始姿态。采用类似方 法确定人体姿态的研究者还有r o b e r t s r 7 1 ，他利用学习的外观模型对人体肢体进 行建模，z h a n g r l 8 】贝0 是利用外轮廓、边界、肤色等特征直接进行分析得到人体姿 态。 ( 2 ) 人体模型的使用 初始化过程中是否使用人体模型以及如何选择合适的人体模型是另一个要 解决的问题。在运动跟踪中，我们将使用的人体模型分为两类：二维模型和三维 9 硕士学位论文 基丁视频的人体运动跟踪方法分析 模型。二维模型和三维模型的选择是与具体应用相关的。二维的人体模型通常用 于单视频的运动跟踪，如监控或者人机交互领域，因为在这些应用中只需要知道 人的位置即可。如在监控领域应用中，y i l m a z 1 9 】、g i e b e l 【2 0 】使用了简单的二维模 型表示人体。如在计算机动画制作或人机交互领域应用中，f r e e m a i l 【2 1j 和w r e n 【z 2 j 也分别使用y - 维的人体模型。j 砗f r e h g t 2 3 1 、w u 【2 4 j 贝0 使用二维的多关节模型进 行运动分析。虽然二维多关节的人体模型能够获取一定程度上的运动参数，但是 相对于真实的三维模型而言，仍然缺少运动学分析的依据。三维模型大多用于多 摄像机跟踪环境，主要针对更高层次的应用。现在的大多数研究都是采用三维人 体模型方法完成人体运动跟踪【2 5 1 。因为当用户需要得到人体运动的更加详细的描 述，例如人的姿态、手势时，使用二维的人体模型是不够的，为了能够得到更多 的深度信息以及对人体进行更精确的、复杂的物理描述，一般使用三维的人体模 型。在表示三维人体模型的具体方式上，可以使用棍状、几何体、面片等不同的 模型，如d e u t s c h e r l 2 8 1 等使用圆台模型，p l a e n k e r s 3 0 】等是使用超球体模 型，s e i l i o i l 2 6 1 、a g a r w a l 2 7 1 等使用圆柱模型，u r t a s u n 2 9 】等使用椭球体模型。二维模 型与三维模型各有优劣之处，一般而言，使用二维模型减少了参数的数量，简化 了运动跟踪过程。而使用三维模型，由于模型中包含较多的深度信息，有利于3 d 姿态数据的恢复与计算。 2 3 2 特征提取阶段 特征提取是从一幅或多幅图像中提取出边界，区域，轮廓，光流，深度图等 底层特征，并且将前景和背景分离的过程。从视频序列中获取的图像只是一组象 素点的集合，其中隐含了大量信息，虽然它不能直接反映出有意义的人体状态， 但是如果我们从图像中提取某些特征便可用于描述人体状态信息。在基于视频的 人体运动跟踪中，最常见的底层特征有颜色、外轮廓、边界、灰度等特征。底层 特征的形式决定了跟踪的策略。现将对这些底层特征的提取方法总结如下： ( 1 ) 使用图像模板特征。我们可以将人体表示为一个或者多个图像模板，然 后提取这些模板，现将模板匹配到当前帧。如刘小明【3 3 】等就使用这种方法。这种 方法假设人体表面颜色( 灰度) 不变，一般还要求人的运动是缓慢且连续的。使 用这种特征需要解决模板更新的问题，需要采用合适的更新策略。 ( 2 ) 提取颜色特征进行统计。这种方法根据有关颜色和位置的信息进行统 计，从而决定象素的归属。统计方法的好处是比较健壮，对噪声和环境变化有较 强的适应能力。缺点是难以对较复杂的目标进行建模。 ( 3 ) 提取特征点。这种方法要求在所有帧中首先找到有明显特征或感兴趣的 点( 角点，边界) ，然后在帧间匹配它们。这种方法需要有明显的特征点。如v i c o n 刈 l o 硕士学位论文基于视频的人体运动跟踪方法分析 所用的商用的基于反光标记的运动跟踪系统就是采用这种提取特征点然后再进 行匹配的方法。 ( 4 ) 提取人体外轮廓特征。提取人体外轮廓通常有两种方法。一种就是使用 减背景算法获取前景的轮廓。由于背景可以事先录制或在跟踪中自动提取，所以 在跟踪过程中可以通过每帧图像与背景相减，从背景中分离出前景，从而获得人 体的投影外轮廓。如s m i n c h i s e s c u 3 1 】就是使用这种方法。这种方法要求摄像机位 置固定、跟踪过程中背景保持不变且光照无明显变化。另外一种提取外轮廓的方 法是传统的电影制作中的“抠蓝 ( c h o m a 。k e y i n g ) 方法。该方法使用固定颜色的 背景或让人穿上特殊颜色的衣服，并根据颜色分离前景和背景。 ( 5 ) 提取运动信息。相邻帧的差分图像可以提取前景运动区域，这种方法要 求背景保持不变，相邻帧差异是由目标运动引起的。如k r a l m s t o e v e t d 2 】根据每个 象素光流值来提取运动信息。 ( 6 ) 利用三维重建算法提取三维特征数据。这种方法可以通过多摄像机间的 立体匹配得到密集的三维点，如p l a n k e r s ”】，或基于轮廓的重建得到人体的体数 据( v o x e l ，v i s u a lh u l l ) 表示，如t h e o b a l t 3 6 】等。三维特征较颜色特征更为稳定可靠， 缺点是目前三维重建算法还不够成熟，这种特征的使用受到一定的限制。 在匹配人体模型与底层特征时，我们采用相似性度量函数来度量二者的相似 程度，它被用来评价生成姿态的正确程度。根据底层特征的不同，匹配的方式也 不尽相同。可采用基于边界图像的距离图匹配，如g a v r i l a 3 7 】；可采用三维深度 数据与元球模型进行匹配；可采用基于灰度差的度量函数也可采用基于轮廓的相 似性度量函数。 2 3 3 跟踪阶段 运动跟踪的目的就是要在视频序列的连续图像帧之间建立有关特征的对应 匹配，获取关于位置、速度、形状、纹理或色彩等的连续信息。这些被跟踪匹配 的特征可以是点、线、图像块、轮廓以及3 d 特征元等。人体运动跟踪的目的也 就是要建立图像序列中人体的这些特征之间的对应关系。对于人体运动跟踪问 题，目标对象仅仅限于人。当我们看到一个人时，并不一定完全按照视觉计算理 论自下而上的三个阶段，先找出像手、脚、躯干等部分，再组合在一起构成一个 一完整的人。更可能的机理是我们大脑里本来就保存有完整的人的形体概念( 或先 验知识) ，当看到一个物体并初步判断象一个人时，大脑会启用先验知识，进一 步去印证人体的细节( 如手脚、躯干及其组合关系等) ，最后才可能得出结论：“这 是一个入。将先验知识用于指导视觉信息的处理，通过假设一检验过程介入底 层视觉处理，充分利用先验知识简化视觉信息处理显得颇有吸引力。在人体运动 硕士学位论文 基于视频的人体运动跟踪方法分析 跟踪中可以利用的先验知识包括人体模型、运动模型及其约束。一旦有了人体模 型，就可以利用运动学和生物力学的人体限制，从而提供了一种分析人体运动的 新方法。在此，我们将是否使用人体模型作为一个分类的依据。无论是否有人体 模型的指导，都必须给出符合当前观测数据的人体状态估计，这就是姿态估计。 这就需要在描述人的运动的状态空间内进行搜索，找到最佳的状态作为估计结 果。 ( 1 ) 基于模型的方法和非模型的方法 基于模型的方法是通过建立模型来表示目标物体，然后在图像序列中跟踪定 义好的模型来实现目标的跟踪。这也是近年来使用最多的一种方法。在这种方法 中，跟踪过程是以人体的几何模型作为依据的。其基本思想是：首先由先验知识 获得目标的人体模型和运动模型，然后根据实际的图像序列，确定出目标的人体 模型参数，进而确定出目标的瞬时运动参数。由于有了基于真实人体形状描述的 几何模型指导，整个跟踪过程也更加符合真实的情况。这种方法的优点是：一是 可以对自遮挡情况进行判断，作出特殊处理；二是可以结合人体运动学特性以及 生物力学知识，排除一些不可能的错误跟踪状态，提高跟踪结果的可靠性。这种 方法的缺点在于，运动分析的精度取决于几何模型的精度，在现实生活中要获得 所有运动目标的精确的几何模型是非常困难的。这就限制了基于模型的跟踪算法 的使用。 模型跟踪的过程一般可以依次分为：预测、合成、对比过程和状态估计四个 步骤。第一个步骤是预测，即根据先前的视频跟踪结果结合一定的先验知识预测 人体模型在参数空间中下一时刻参数的大致空间位置。第二步是合成，通过在参 数空间中寻找适当的参数，并利用参数来生成合成数据，得到在相应参数条件下 的合成图像特征数据。第三步是对比过程，即将合成数据与实际的图像数据进行 比较，将比较结果进行某种形式的量化，形成反馈，利用反馈调整参数。第四步 是状态估计，即根据对比结果，得出当时的模型参数的合适值。同时为下一个循 环( 预测) 的开始做准备。以上四步，是基于模型的人体运动跟踪的一般处理框架。 模型的参数空间是一个高维空间。在这样一个高维空间进行搜索是一个非常 困难的任务。为了提高搜索效率，会对状态空间引入适当的限制条件。p a v l o v i c 4 3 对固定的运动进行学习，得至u i ) l l 练出来的运动模型作为搜索范围。m o e s l u n d l 4 4 采用几何推理方法将高维运动降为较低维数的运动。w r e n t 4 5 】则将人体的运动学 限制定义为势能函数，引入到优化过程中。 在非模型的方法中，它不直接使用人体模型，这些算法使用了自底向上的策 略。这种自底向上的方法仍然使用模型信息表示人的姿态，当要获取人的位置和 姿态信息时，则从图像中提取相关信息，这些信息可以是几个点，也可以是线或 1 2 硕士学位论文基于视频的人体运动跟踪方法分析 者形状，然后计算出人的状态参数。如w r 饥【3 8 】中只用三个点来表示人体模型的 位置，头和两只手，头和手的位置可以用肤色检测【”】或者块分割得到。有的研究 者采用了参数化的主动轮廓表示人体的形状，并用于二维的人体运动跟踪【加】。为 了获得多关节的人体运动姿态，通常采用了对形状进行分析的方法得到。例如 m i t t a l 4 1 】和z h a o 4 2 的工作。另一种非模型方法是通过训练学习出底层特征与姿态 的对应关系，将姿态估计问题转换为模式识别问题。这种方法有些类似于索引的 方法，对特征进行计算得到一个姿态索引，利用这个索引就可以从运动数据库中 提取出与该特征对应的姿态。这类算法的特点是不依赖于初始化信息，简单快速， 但不保证结果的正确性和准确性。 近年来很多研究者将基于模型的方法与非模型的方法结合起来，用于人体运 动视频跟踪。其基本思路是将人的某些特定动作作为训练数据，通过三维运动跟 踪系统获取其三维姿态，同时提取训练数据的图像特征。在训练过程中建立二维 图像特征与三维姿态之间的映射关系。然后在实际跟踪过程中，直接将提取的图 像特征与训练数据中的二维图像特征进行匹配，从而得到人体运动的三维姿态。 这类方法不直接使用人体模型得到人体的三维姿态，虽然最后的结果是用三维人 体模型表示的，但在跟踪过程中没有直接使用人体模型的先验信息。 r o s a l e s 删使用三维关节点数据对系统进行训练，从而建立了三维数据与不 同视点的二维投影图像之间的对应关系。然后在二维图像上对外轮廓与训练库中 的数据按照h u 矩进行匹配。g r a u m a n 4 7 】采用从单个摄像机中的外轮廓数据，对 数据库检索得到用v i s u a lh u l l 的表示的三维形状，并进一步得到三维姿态。还有 c u r i o 4 8 1 等采用这种利用已知动作建立或者训练出数据库的方法进行人体运动跟 踪。 当使用基于人体模型的解决方案时，我们可以把一个跟踪过程当作一个在姿 态参数空间的搜索问题，如三维人体模型有近3 0 左右个自由度，因此跟踪需要 在近三十维空间的高维状态空间内进行搜索，找到最优解。我们可以根据状态预 测和状态更新的方法将跟踪分为单模式和多模式的搜索方法。 ( 2 ) 单模式搜索方法 单模式搜索方法将需要跟踪的目标描述为一个模型化的状态表示，然后对这 个状态进行预测和更新。在状态预测和状态更新的方法上采取单模式的方法。即 在每一时刻预测和更新出单个状态进行操作。常见的方法有按照代价函数最小进 行状态参数优b r e g l e l a n dm a i l i k 4 s 和采用k a l m a n 滤波对状态进行滤波处理 w r 一4 9 1 。 还有d e m i r d j i a n 剐使用深度数据对多关节的上肢运动进行跟踪，在搜索策略 上采取了梯度方向优化。b r a y t 5 1 】使用深度数据作为匹配特征对三维的手掌模型进 1 3 硕+ 学位论文基于视频的人体运动跟踪方法分析 行跟踪，他提出