（计算机应用技术专业论文）基于视频的人体运动跟踪技术研究.pdf

攘要 基于视频的人体遥动跟踪魁一种使用蒋邋摄像机跟踪光标记人体燧动的技术。佬在 巍秘篷整、大枫交蔓、毒摹赛逛魂努褥譬洚雾镶域毫重蘩戆疲嚣耱夔。谯该蹇垂豹研巍是 滋年计簿钒视鬣领域豹一个热熙研究方向。鸯：阔题静复杂毪翻映芝对a 粪视觉零演鹣 臻瓣，基子溪频戆羧黥始终怒嚣葵援褪辩巾戆难题。 零文的研究内容以奥运科技硕茸为褥祭，针对以举骥运动为代表的体育运动分拼所 掇爨抟j # 接魅、髡娆疆戆溅爨鸯赛奏豹爨袋，稳耀诗箕掇溪若鼙傣窝诗舞羲撬赘等搜零， 探讨了基于雾掇像机视频的兰缌人体逡确跟踪和仿真搜零。本文的主臻王佟茅h 贾献如下： 1 ) 提出了令基予饯他黪洼豹爨黥蠖絮。该框絮懿接融会寒鑫多令摄豫壤的数攘， 搜壤获菠、边器精耱辩三狩黧豫特缝囊建嶷入蒋运动鼹黥的丑禄函数。强弦丞数聚惩残 纛乎方鼗嚣式，逶过 较人诲模墼投影与提取静夔豫祷馥寒建立，菸蠖鼷离蘸一警赣撬 化算法求解。 ( 2 ) 设计了个多摄像执入体运动跟踪帮蠊，包描个参数化的人体嚣架模溅葶薅天 髂辩菠貘型，溅及一瓣实震瓣静参定搽冀法。褒定基懿。l 我茬j 实瑗了多摄像羲三终夫簿 逛动跟踪的算法实验平鸯。 ( 3 ) 提出了一种嫠于轮熊糕配来预测= 维关节点的彝法，肖效璁解决了遮挡耨踉端 镌溪积累这一热键海毯。舅辨我嚣3 挺醴捷爆“太髅叁稳燮隈题”、“默惫鞋城翁絮”、“黠 称性终寨”等惠睦稚浚寒疆蕊鼹踪冀法艇遮挡、墨凌变纯以爱蠛声静逐寝瞧。 ( 4 ) 实现了面向举莛遥动的三维人体运动张踪原型累统。该系统熊够岛动鼹踪举堂 运璐豹三疆大髂运动参数致及程疑翁运秘参数。 ( 5 ) 竣讶+ 势安瑗了一令爵戳实释臻鼹入律上半身运动静系绫，实现了黎踩懿囊韵耪 瓣纯戥及鑫动献黥错误中恢复，共基在定程度上处理光照变纯、簿钵鑫遮拦麓麓越。 该累绕通过结台使用人脸检测、肷色检测和概率跟踪等技术，可以使用单个普通摄像头 在一黢蕊室蠹环缭下鼹稼夫馋救夔罄移手罄关繁篷黉。 荧镶涎：运动撼挺；多摄像搬人体运动鞭踩；人体模型；多摄豫枫窥橼； 线戆撬键： 上半身运动蹑跺；获色模型；概率舔踪；澎状聪配：举熬遥动 一一 r e s e a n ho nv i d e o b a s e dh u m a nb o d ym o t i o nt h c “n g g u o y il i u ( c o m p u t e r a p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yp r o f e s s o rh u al i v i d e o - b a s e dm o t i o nc a p t u r es y s t e mu s e se b e a pe q u i p m e n t sl i k e 镬g i 协lc a m e r a sa n d p e r s o n a lc o m p u t e rt ot r a c kah u m a n sm o t i o nw i t h o u ta n ys e n s o r so rm a r k e r s a 触e h e dt ot h e b o d y t h i st o p i ch a saw i d es p e c t r u mo fp r o m i s i n ga p p l i c a t i o n s i na r e a ss u c ha ss m a r t s u r v e i l l a n c e ，h u m a nc o m p u t e ri n t e r a c t i o n , a t h l 靠cp e r f o r m a n c ea n a l y s i se r e ，a n db e c o m e sa h o tt o p i co fc o m p u t e rv i s i o ni nr e c e n ty e a r s b e c a u s eo ft h ec o m p l e x i t yo ft h ep r o b l e ma n d l a c ko fc o m p r e h e n s i o no fh u m a n sv i s i o ns y s t e me s s c l 3 c e ，v i s u a lt r a c k i n gi ss t i l lh a r di n c o m p u t e rv i s i o n t h eb a c k g r o u n do ft h i sr e s e a r c hi st h ep r o j e c to f s c i e n c ea n dt e c h n o l o g yf o rt h e o l y m p i c g a m e s a t h l e t i cm o t i o na n a l y s i sr e q u i r e sam o t i o nm e a s u r ea n ds i m u l a t i o ns y s t e m w i t h o u ta n ym a r k e r so ro b s t r u c t i v e a c c o r d i n gt ot h i sr e q u i r e m e n t , w eu s et e c h n i q u e si n c o m p u t e rg r a p l f i c s ，i m a g ep r o c e s s i n g ，c o m p u t e rv i s i o nt oe x p l o r e 删m e t h o d so f t r a c k i n ga n d s i m u l a t i n gh u m a n s3 dm o t i o nf r o mm u l t i - c a m e r av i d e o s t h em a i n w o r ka n dc o n t r i b u t i o no f t h i st h e s i si sa sf o l l o w i n g ： ( 1 ) p r o p o s eah u m a nb o d yt r a c k i n gf r a m e w o r kb a s e dn o n - l i n e a ro p t i m i z a t i o n t h r e ec u e s i n c l u d i n gg r a yv a l u e ，e d g ea n ds i l h o u e t t ea r ec o m b i n e di nt h i st r a c k i n gf r a m e w o r kt o c o n s t r u c tt h et r a c k i n go b j e c tf u n c t i o n b yd e f i n i n gt h eb o d ym o d e l ，p r o j e c t i o np r o c e s sa n d t h es i m i l a r i t yf u n c t i o n ，w ed e f i n eo u rt r a c k i n go b j e c tf u n c t i o na saf o r mo fs u mo fs q u a r e d r e s i d u a l s w eu s eg a u s s i a n - n e , h n t o na l g o r i t h mt oo p t i m i z et h i so b j e c tf u n c t i o n ( 2 ) d e s i g nam u l t i c a m e r ab o d yt r a c k i n ge n v i r o n m e n t i ti n c l u d e sap a r a m e t e r i z e ds k e l e t o n m o d e l ，ab o d ys h a p em o d e la n dap r a c t i c a b l ym u l t i - c a m e r ac a l i b r a t i o na l g o r i t h m b a s e do n t h e s em o d e l s ，w ei m p l e m e n t e da ne x p e r i m e n t a lp l a t f o r mf o r3 dh t t m a nb o d yt r a c k i n gi n m u l t i c a m e r ae n v i r o n m e n t s ( 3 ) p r o p o s eam e t h o db a s e do ns h a p em a t c h i n gt os o l v et h eo c c l u s i o na n de r r o ra c c u m u l a t i o n w h i c ha r et w od i f f i c u l tp r o b l e m si nt h eh u m a nb o d yt r a c k i n g w ea l s op r o p o s et ou s ep r i o r s s u c ha s “s e l f - i n t e r s e c t i o nl i m i t a t i o n ”，”s k i nc o l o rr e g i o nc o n s t r a i n ，”s y m m e t r yc o n s l a i n ) 轮i m p r o v e t h ea l g o r i t h m sa d a p t a b i l i t yt oo c c l u s i o n ，n o i s ea n dc h a n g eo f e n v i r o n m e n t s ( 4 ) i m p l e m e n tap r i m i t i v ew e i g h tl i f t i n gt r a c k i n gs y s t e m + t h i ss y s t e mc a nt r a c kt h ea t h l e t e s m o t i o na n dt h eb a r b e l l sm o t i o n p a r a m e t e ra u t o m a t i c a l l y ( 5 ) d e s i g na n di m p l e m e n tar e a l - t i m eu p p e r - b o d yt r a c k i n gs y s t e m t h i ss y s t e mc a ni n i t i a l i z e t h et r a c k i n ga n dr e c o v e rf r o mf a i l u r ea u t o m a t i c a l l y ，a n di sr o b u s tt oi l l u m i n a t i o nc h a n g e a n db o d ys e l f - o c c l u s i o n i nt h i ss y s t e m ，s e v e r a lt e c h n i q u e s ，i n c l u d i n gf a c e d e t e c t i o n ，s k i n c o l o rs e g m e n t a t i o n ，a n dp r o b a b i l i s t i ct r a c k i n ga r eu s e dt ot r a c kap e r s o n su p p e rb o d y s 越0 一褪频的人体运动球踪投术研究： a h s lr a c l m o t i o nj na s h a li n d o o re n v i r o n m e n t s k e y w o r d s ：m o t i o nc a p t u r e ；m u l t i - c a m e r ah u m a nb o d yt r a c k i n g ；h u m a nb o d ym o d e l ； m u l t i - c a m e r ac a l i b r a t i o n ；n o n l i n e a ro p t i m i z a t i o n ；u p p e rb o d yt r a c k i n g ；s k i nc o l o rm o d e l ； p r o b a b i l i s t i ct r a c k i n g ；s h a p em a t c h ；w e i g h tl i r i n gs p o r t 声明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含 其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者躲别阂翌眺洲彳乍闩朋 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机 构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编本论文。 ( 保密论文在解密后适用本授权书。) 作者签名：胡闺哩导师签名： 可 日期：妙争午l 习f 日 1 1 研究背景，目的和意义 第1 章绪论 1 1 1 人体运动捕捉 人体运动捕捉是指“在某种分辨率下，捕捉大尺度的人体运动的过程” m o e s l u n d 2 0 0 1 1 这里所说的大尺度是指头、四肢、躯干的运动，排除表情和手势等小尺度的动作 自动跟踪人的动作、自动识别并解释人的行为一直以来都有着许多重要的应用，如 自动监视系统、虚拟现实中的人机接口、体育和医学方面的运动分析、影视动画制作等 等其中对人体及其组成部分的三维位置进行跟踪，获取人体姿态参数是这些应用中的 关键部分，动作识别与运动分析均须在跟踪结果的基础上进行 市场上比较成熟的人体运动捕捉系统有基于电动机械的( e l e c t r o m e c h a n i c a l ) ，电磁 的( e l e c t r o m a g n e t i c ) 和特殊光学标志( r e t r o - r e f l e c t i v e m a r k e r ) 等类型。在这些系统中， 传感器或者反光标记被附着在人的身体上，其三维轨迹被用于描述目标运动目前以基 于光学反光标记的商业系统最为流行，如v i c o n v i c o n2 0 0 3 1 等。这些商业捕捉系统被广 泛地应用于影视制作和运动分析利用它们可以非常准确快速地捕捉标记点的三维轨迹， 但是其设备非常笨重，且价格昂贵，限制了其应用范围。 1 1 2 基于视频的人体运动捕捉 随着廉价数字摄像机和高性能家用p c 机的普及，基于视频的人体运动捕捉逐渐成 为研究的热点基于视频跟踪技术是计算机视觉的一个重要研究领域由于人体运动的 重要性，很早就有人对基于视频的人体运动跟踪技术进行研究，比如 h o g g1 9 8 3 。经过 二十余年的发展。基于视频的跟踪技术融合了图像处理，计算机视觉，计算机图形学， 人工智能，人体运动学以及机器学习等多学科的理论，成为多学科交叉的一个热门领域 目前许多国际会议如i c c v 、c v p r 、s i g g r a p h 都设有相关的专题。基于视频的人体运动跟 踪的综述( 2 0 0 0 年以前的工作) 有 a g g a r w a l1 9 9 7 m o e s l u n d1 9 9 9 】【m o e s l u n d2 0 0 1 】【王 亮2 0 0 2 1 b r a y2 0 0 0 等。 从整体上看，该领域的研究目前正处于发展初期，无论是从实时性、准确性还是从 跟踪的鲁棒性来看，目前的一些基于视频的捕捉系统都无法和商业上的基于标记的捕捉 系统相比 g l e i c h e r 2 0 0 2 。在监视应用方面，由于其不需要动作细节，基于视频的方法可 以基本满足需要在运动捕捉和运动分析方面，基于视频的方法仍然处于实验室阶段， 但从其发展趋势来看，随着计算机速度的提高和新的相关理论的引入，基于视频的运动 捕捉将会逐渐走向成熟。 中田学院搏i 学位论文艰f 批撕的人体运曲烈嚣技术研究 1 1 3 人体运动分析与奥运科技 本文的研究背景是为2 0 0 8 年北京奥运服务的“奥运科技项目”该项目的目标是研 究数字化三维人体运动的计算机仿真技术，为体育训练和比赛提供定量辅助分析工具， 改进我国奥运重点项目( 以举重、跳水等为重点，兼顾长跑、自行车等) 的动作技术，为 我国运动员在2 0 0 8 年奥运会上夺取金牌作出贡献并由此促进体育事业及体育产业的发 展 传统上，教练员仅凭肉眼和经验等定性方法对运动员的技术动作进行指导，运动员 也只能通过多次重复性练习来掌握技术要领，训练的效率和水平的提高受到限制。为教 练员提供基于计算机系统的定量辅助分析工具，对促进训练水平的提高、高难度动作的 创新具有重要的超前指导意义【卢德明2 0 0 1 1 。 目前，大多数运动捕捉和分析方法都是采取有标记点( m a r k e r ) 的方式捕捉运动员 动作并进行分析。如q u a l i s y s 、v i c o n 等公司已制作了基于光学标记点的运动捕捉系统 ( o p t i c a lm o t i o nc a p t u r e ) 。q u a l i s y s 公司还将其应用于高尔夫球、网球、滑雪等体育运 动的分析然而这些基于贴标记的运动捕捉系统操作复杂，需要采用价格昂贵的特殊设 备，对运动员有诸多限制，不利于推广使用。另外市场上还存在许多基于普通视频的运 动分析软件，它们大多采用手工获取二维关节位置的方法对运动进行分析由于涉及手 工操作太多，这类软件无法满足及时反馈的训练需要，而且基本上是二维的处理，精度 也不易保证。 不同于影视制作，体育运动分析领域对运动捕捉提出了一些新的需求：( 1 ) 运动员 训练和比赛过程要求尽可能地减少外来干扰，最好是非接触、无妨碍的测量( 2 ) 训练 的时效性要求在现场训练时能给出即时分析结果和反馈。( 3 ) 教练还要求对运动捕捉结 果做进一步的分析，结合具体的体育运动项目领域知识，明确指出技术上存在哪些缺点、 不足及发生原因，给出改进的方向，从而真正对运动技术训练有所帮助。 其中前两点是对人体运动测量技术方面的要求，而第三点涉及体育运动的领域知识， 需要体育科研专家和教练根据他们掌握的知识和经验才能作出判断。在我们的研究中， 主要关注视频处理和跟踪算法方面。 综上所述，一个半自动的基于视频的人体运动捕捉系统十分适合目前体育界的需求。 举重运动一直以来都是我国重点开展的一个运动项目。也是奥运会上的夺金大户。举重 项目的训练中，教练员的辛勤指导和运动员的刻苦训练是取得成绩的必要条件，采用科 技手段提高训练水平一直受到关注在本文中，我们主要关注面向体育运动分析的“人 体运动跟踪技术”特别的是针对举重运动这个项目 图1 1 说明了基于视频体育运动捕捉与分析系统的处理流程。首先从多个角度拍摄 运动员的训练过程然后利用视频处理算法和跟踪算法对拍摄的视频进行处理，计算出 运动员的运动参数在此基础上，使用体育运动分析的领域知识分析该运动参数，分析 2 第一章结论 结果以现场反馈的方式返回给体育专家和教练用于现场指导的依据另外当日i 运动的测 量结果和拍摄视频存入数掘库中，用于历史数据的比较和分析 历 史 数 据 比 较 图1 1 视频的运动捕获与体育运动分析 在本文中，我们以多个普通摄像机拍摄的视频作为输入，利用计算机视觉技术对不 贴标记的人体运动进行跟踪，提取运动参数和人体三维结构信息。研究内容包括“建立 人体模型描述”，“底层特征的提取”，“多关节体的运动跟踪算法”，“鲁棒跟踪与跟踪的 自动初始化”，“特定体育运动( 举重) 的运动捕捉”等几个方面。 1 2 本文的组织结构 第二章对基于视频的人体运动跟踪的问题描述、研究现状、已有成果、未来的主要 研究方向以及存在的主要问题进行讨论，其中对基于人体模型的三维人体运动跟踪进行 了详细分析 第三章给出了本文所应用的基本算法和基本技术主要目的是避免在随后各章中对 公式的重复引用以及对算法的重复描述。这章的内容包括“多关节骨架模型”，。旋转的 参数化”，“反向运动学”、“摄像机模型及定标”。“优化理论”、“特征提取”、“概率跟踪 算法”等等。 第四章至第六章是作者的主要工作。第四章介绍了本文“基于模型的人体运动跟踪 算法”通过定义人体骨架模型与人体外观模型搭建起一个通用的多摄像机下的人体运动 跟踪实验平台然后利用投影和采样，建立起模型与图像特征的正向联系为了从图像 特征中反求运动参数，我们提出使用反向运动学来建立投影坐标与运动参数之间的反向 联系最后我们建立其一个基于灰度、边界和轮廓三种图像特征的优化目标函数，并使 用牛顿高斯优化算法求解最优姿态在模拟数据和实际数据实验的基础上，我们将本章 基于优化框架的算法与基于概率的“退火粒子滤波算法”进行了比较和分析 中用羊f 学院 珥i 学位沦殳毕f 税频的人体运动球踪技术研究 第五章在第四章算法的基础上，通过增加各种约束，使跟踪的目标函数更加平滑， 保证在严重遮挡和信息缺失的情况下仍能给优化的姿态以足够的约束通过引入“运动 库指导，“人体自相交限制”“肤色区域约束”等一些手段，在一定程度上解决“局部收 敛”，“误差累积”，“遮挡带来的跟踪失败”等问题。进一步，本章把我们的基于视频的 人体运动跟踪算法应用于举重运动跟踪，实现了“举重运动三维跟踪系统”原型。 第六章介绍了一个实时的人体上半身运动跟踪算法，并基于该算法给出了人体运动 跟踪在人机交互方面的一个原型系统。 第七章总结了全文工作及贡献，并讨论了下一步的研究计划和方向 4 第2 章基于视频的人体运动跟踪研究概述 2 1 基本方法和研究内容 2 1 1 分类 从应用角度来看，基于视频的运动捕捉大体可以分为三类： ( 1 ) 用于自动监视应用，在公共场所和安全场所对) o r 行自动监视和跟踪这种 应用强调实时地对多人的位置进行跟踪，一般只是对人的整体位置进行定 位，不需要获取具体姿态参数这个应用领域研究的主要内容包括提高算法 的健壮性、处理多人跟踪以及行为识别等等典型的如h a r i g a o g l u 等人的 w 4 系统 h a r i t a o g l u2 0 0 0 ，以及 f a e r i e s2 0 0 1 等 ( 2 ) 用于人机交互通过对人体头部及肢体的跟踪得到各个身体部分的二维或三 维的位嚣。跟踪结果用于驱动或控制其它应用如手语识别，游戏接口、虚拟 现实、远程控制、远程会议等等基于交互目的的跟踪一般对关节位置定位 精度要求不高，但要求实时性，一般还要对动作( 手势) 进行识别在这方面 的研究主要是探索一些新的基于动作的交互方式动作识别算法是这方面的 关键技术。典型的系统如m i t 的p f i n d e r 系统 w r e n1 9 9 7 1 。 ( 3 ) 用于运动分析或者影视制作。人体运动分析在医学和体育领域用得比较多 在医学方面，可以利用运动分析对病人进行步态分析。在体育方面，可以通 过对运动员的运动分析帮助他们提高运动技能。在影视制作方面，运动捕捉 技术已经被广泛应用，使用的主要是贴标记的商业系统以运动分析为目的 的应用一般不要求实时性，但要求对各个关节进行精确定位目前提出的算 法可以在加入诸多假设的条件下，对简单动作进行跟踪，分为多摄像机l 艮踪 和单摄像机跟踪该方面的应用最为复杂，也是本文目前的研究的主要方向。 2 1 2 基于视频的人体运动跟踪难点 计算机视觉研究的内容之一是如何利用二维投影图像或图像序列来恢复场景的三 维信息、运动场景中的运动信息以及目标物体的一些表面物理属性，从而建立世界的三 维表示，最终达到对于三维景物世界的理解，即实现人的视觉系统的某些功能计算机 视觉是一个逆向问题，投影过程不仅损失掉深度信息，同时像光照，材料特性、朝向、 距离等信息都反映成唯一的测量值灰度要从这唯一的测量值恢复上述一个或几个反映 物体本质特征的参数是一个病态过程【马颂德1 9 9 8 】 因此计算机视觉虽然经过几十年的研究有了很大的发展，但由于人们缺乏对人类视 中阳 旱院博t 位论王堆卜攫镀的人体运曲烈路投节埘宄 觉机理特别是涉及到人类智能机理方面的认识，计算机视觉和人的视觉还有相当大的差 距。一般所说的计算机视觉仅能在可控的条件下工作 具体到基于视频的人体运动捕捉这个问题，当前研究涉及到的难点有以下几点： 1 ) 在不多加假设的条件下，人与背景的自动分离。这实际是一个图像分割问题， 这个问题至今没能很好的解决。 2 ) 人体结构、运动以及外观的复杂性使得很难对人体运动跟踪问题做出准确的数 学描述人体之间外形差别、穿着差别使对人体建模变得更为困难这种人体 外观的多样性也使我们难于提取有效的图像特征用于跟踪。 3 ) 处理手臂与身体之白j 的互相遮挡问题。遮挡会造成信息的缺失，使得跟踪情况 变得复杂化。若四肢与身体的衣服纹理相同，由于缺乏对比度，当四肢与躯干 重叠或者贴近，也很难将他们分离开来。 4 ) 处理错误累积、自动从错误中恢复以及自动初始化问题自动初始化包括模型 参数( 骨骼长度) 、初始姿态参数以及跟踪算法的其他参数的自动获取目前绝 大多数基于视频的人体运动跟踪系统都依赖于首帧手工初始化信息( 模型参数 和初始姿态) 。这种方法无法避免误差累积和噪声干扰，从而没有可能进行长时 b j 自动跟踪。因此一个能自举的跟踪算法是解决人体运动跟踪问题的一个关键 5 ) 图像噪声和图像的几何失真、光照变化、阴影高光等因素的影响要求跟踪算法 必须具有鲁棒性和对环境一定的自适应性 6 ) 计算机视觉处理的是大量的图像数据，而人体又有近3 0 个自由度。因此如何降 低算法的计算时间复杂度，实现动作的实时跟踪，也是实际应用中遇到的一个 难题。 正是由于以上难点，根据所阅读的文献，目自u 还没有任何一个基于视频的跟踪系统 能够长时日j 地跟踪出人体任意的三维运动。然而那些基于光学标记、电磁和机械的商业 捕捉系统则可以做到这一点。 很多文献中的算法部针对运动和外观提出某些限制，来简化跟踪的复杂度根据文 献 m o e s l u n d2 0 0 1 的总结，可以把假设分为“针对人体运动的假设”和“针对人体环境 外观的假设”两类( 见表2 1 ) 。通过对人体运动的假设可以简化模型，减少跟踪和匹配 需要处理的情况。通过对外观的假设可以容易的提取更多的底层特征。 6 鹅- 二帝毕十税频的人体运动蹦踪研究概述 有关运动的假设： 有关外观的假设： 1 摄像机i 卉i 定( 或摄像机运动方式已知) 针对环境： 2 目标在室内 1 光照不变 3 录像中只有一个人 2 静止背景 4 目标面向摄像机 3 背景颜色固定 5 运动平行摄像机平面( 变为二维问题) 4 己知摄像机参数 6 无遮挡相交的情况 5 特制的硬件( 红外) 7 缓慢连续的运动 针对目标： 8 只移动一个或几个肢体 1 已知初始状态 9 目标运动模式已知 2 已知目标的参数( 身高。各关节间距) 1 0 物体在平面上运动 3 物体上有标记 4 特别颜色的衣服 5 紧身农 表2 1 运动捕捉系统的典型假设【m o e s l m l d2 0 0 1 】 2 1 3 问题描述及其跟踪框架 人体运动跟踪的输入为一个或多个视角的已同步的图像序列。输出为每个时刻人体 的姿态参数( 关节位置或角度) 。其目标是寻找一组随时间变化的姿态参数使它们描述的 人体运动与图像序列中的人体运动最为一致。这可以看作一个优化问题从概率角度来 看也可以看作一个最大似然估计问题。 文献 m o e s l u n d2 0 0 1 1 将人体运动跟踪的过程分为四个阶段：初始化( i n i t i a l i z a t i o n ) 、 跟踪( t r a c k i n g ) 、姿态估计( p o s ee s t i m a t i o n ) 、识别( r e c o g n i t i o n ) 。 初始化过程：包括摄像机定标，获得环境特征、背景模型、人体模型的初始参数( 骨 骼长度等) 和模型初始姿态，一般有手工参与 跟踪阶段：利用图像分割获得底层特征，并将帧之间的特征进行对应。 姿态估计：底层特征被匹配到人体模型，从而得到人在当前帧的姿态。 姿态识别：系统通过分折运动捕捉结果，得到人体运动的行为状态。 由于人体运动跟踪的输出为姿态参数，一般来说，首先要对人体进行建模以确定输 出参数的形式，即确定跟踪的状态空间使用人体模型可以指导跟踪过程。例如，通过 限制运动范围，学习参数的概率模型来缩小搜索范围，利用人体模型处理遮挡问题等等 另一方面，人体模型还包括有关人体外形、外观等内容，利用它们定义和指导与图像特 征的匹配过程基于上面的原因，大多数文献都采用了基于模型指导的跟踪算法 基于人体骨架模型的匹配技术通常使用分析合成法( a n a l y s i sb ys y n t h e s i s ) m o e s l u n d1 9 9 9 其基本思路是根据人体运动模型预测下一帧状态，然后根据预测的状 7 中田 ，学院博i 学位论土毕十税频的人体运动j ! ! 踪技术研究 念值生成人体姿态的某种表示，用这种表示去匹配从图像提取出来的底层特征，根据匹 配结果，对当前时刻姿态参数进行估计由于无法使用全局搜索来寻找最优姿态，一般 束说首先得到一些近似的初始值，然后在初值附近进行搜索首帧的初始姿态一般使用 手工给定，或让人摆出特定的姿态，在其它时刻则根据自u 面跟踪的结果进行预测得到。 通过反复的“预测一匹配一更新”过程得到每帧的人体姿态。 2 2 基于模型的人体运动跟踪 根据使用的底层特征以及对人体模型使用方法的不同，可以对人体运动捕捉技术进 行不同的分类我们从人体模型使用、底层特征提取和跟踪框架三个角度来分析当前的 研究现状 人体模型的使用 在跟踪中使用的模型可以分为“二维模型”和“三维模型”两类二维人体模型常 用于单视频的运动跟踪。而三维人体模型则大多用于多摄像机跟踪环境。下面对它们分 别给予介绍 在单视频跟踪中，由于缺乏深度信息，且无法预料遮挡情况，因此很难获得人体的 三维参数。这时一般倾向于使用包含较少参数的二维模型来对人体投影进行建模，以简 化参数估计基于二维模型的算法可以获取人体在二维图像上的粗略位置。使用二维模 型一般对人体姿态和拍摄视角有所限定，如要求被跟踪对象为直立状态；要求人体平行 于摄像机平面进行运动或者面对着摄像机镜头的运动等等。下面介绍几个有代表性的基 于二维模型的跟踪算法。 ( a ) 土动轮廓模叩( b ) r i b b o n 模型( c ) b l o b 模氆( d ) c a r d b o a r d 模型 图2 i 二维人体模型 【b a u m b e r g1 9 9 4 等使用主动轮廓模型对走路人的人体轮廓外形进行建模，利用主 元分析( p r i n c i n p l ec o m p o n e n ta n a l a y s i s ，p c a ) 算法学习b 样条表示的外轮廓子空 日j ( 图2 1 ( c ) ) 。然后采用基于图像梯度的局部搜索方法对轮廓进行形交和定位，最终实 现了对路人进行实时跟踪。 m i t 媒体实验室的c r w r e n 等人的p f i n d e r 系统 w r e n1 9 9 7 是早期一个非常出 色的实时人体运动跟踪系统。i 幺系统可以在复杂的室内场景中，利用单摄像机跟踪单个 人体的运动，获得运动模型的椭圆块( b l o b ) 表示( 图2 1 ( c ) ) 。其中前景被描述为多个 具有相似颜色和空日j 属性的一些椭圆区域块当处理一个新图像时，根据每个象素的颜 第一争毕十税额的人体运动蹦踪研究溉述 色和位置将其归类到某个块或背景模型上。然后用分类结果更新各个b l o b 的参数系统 可以达到实时跟踪且适应性强，但椭圆块模型过于简单，可作为运动跟踪的前端模块 【j u1 9 9 6 】提出使用c a r d b o a r d 将人体这种多关节体的投影表示为一系列在关节处相 连接的矩形图像区域( 图2 1 ( d ) ) ，每个矩形图像区域包含控制旋转平移和缩放的参数 通过调整参数对这些矩形图像进行变形，使它们与当前时刻图像相匹配。 【l e u n g1 9 9 5 在他们的“f i r s ts i g h t ”系统中使用了二维r i b b o n 模型( 图2 1 ( ”) 来指 导对二维轮廓的关节位置进行标号。 前面介绍的这些基于二维人体模型的跟踪算法比较适用于在监控领域以及人机交互 领域的应用然而对于运动分析和动画制作，一个多关节的三维人体运动模型必不可少 0 ) g a v i l a l 9 9 6 】( b ) s m i n c h i s e s c u 2 0 0 1 ( c ) 【d e u t s c l l c r 2 0 0 0 】( d ) p l a n k e r s 2 0 0 1 】 图2 2 三维人体模型 人体骨架模型定义了人体各个骨骼的长度，关节的连接关系以及各个关节旋转角度 的范围。在定义人体骨架模型的基础上，将姿态定义为控制关节角度或位置的一组参数， 每组姿态参数被描述为状态空间中的一个点而人的每一个动作序列可以看作状态空间 的一条曲线。人体骨架模型一般通过多个人体数掘平均出来一个通用模型。使用通用模 型的问题在于这个模型不能适用于所有被跟踪对象。理想的方法是在跟踪过程中自动获 取被跟踪对象的模型参数 k r a h n s t o e v e r2 0 0 3 】，也可先使用一个通用的人体模型，然后 在跟踪过程中对模型进行不断地修正。 为了实现模型与图像特征的匹配。一般来说还需要定义一个身体形状模型附着在骨 架模型上。比如 g a v r i l a1 9 9 6 使用了超球体作为人体的逼迸( 图2 2 ( a ) ) ；【d e u t s c h e r 2 0 0 0 】 使用了由圆台组成的三维人体模型( 图2 2 ( c ) ) ：【s m i n c h i s e s c u2 0 0 1 】使用了 h a n i m h u m a n o i d 模型( 一种人体动画模型标准) ( 图2 2 ( b ) ) 。除了人体形状模型，有 的算法 s i d e n b l a d h2 0 0 0 还对人体表面的外观( 颜色、纹理等) 进行建模，以实现与图像 中的颜色和纹理的直接匹配。 【p l a n k e r s2 0 0 1 使用了更为复杂的人体动画模型( 图2 2 ( d ) ) 以生成具有真实感外观的 人体运动跟踪结果。该人体模型建立在一个详细且多层次的元球模型( m e t a b a l l ) 基础上。 元球模型定义了一些点p ( x 膨) 作为势场源，空间每个点的势值等于所有势场源在该点的 势的代数和人的表皮即为这个势场的一个等势面整个人体模型由骨架、连结到骨架 上元球以及表皮( 等势面) 构成该元球模型与立体匹配算法得到的密集三维点云以及 9 中田辜茳博i 学位论土毕 r 讹顿的人仆运曲鞭踪技术 c f 究 与利用s n a k e 算法得到的人的外轮廓相比较，形成最小= 乘法形式的代价函数。利用局 秘筑纯埝出嚣黎帮元球参数，馥及各板鹃运动参数。由予使霜了嚣球摸鐾葶鞋三维耱征， 他们的系统可以跟踪复杂的运动，输出结果也具有真实感 定义了入侮模鍪，还霈要定义溺量攒嫠戳实壤模鍪! 弩强豫特缓静莲醚。溺量模銎大 多依赖予具体的图像特征比如前面介缁的 h a n k e r s2 0 0 1 1 ，就使用三维点汪在元球模型 孛懿势簸建立测量函数。文熬箨r e g l e r l 9 9 8 捉爨了一秘嬲“撂数欢羹| 粒褪夔逡动” ( e x p o n e n t i a lm a p sa n dt w i s tm o t i o n s ) 的方法非常简便地描述了人体三维运动参数 与图像巍潺戆嚣数关系文孛将入 搴运动描述为农谗多关繁连接的多嚣俘运动，缝会爨 体运动的旋转向麓表示法和仿射摄像机模型建立身体表面点运动与图像投影的关系，然 嚣通过扩屣l u c a s - k a n a d e l u c a s1 9 8 1 光流估计算法。铡瘸图像块内的殛农点鲍搬波来 同时估计多个刚体的运动参数。 底层特缀疆取 特征提取怒从一幅绒多幅图像中提取出边界，区域，轮廓，光流，深度图等底层特 ，征，劳曩终翦景移背景分离的过程。底层特征的形式决定了2 曩踪鲍策略。图像分割、光 流估计、用立体匹配获得深度图，都属予特征提取过程。般使用数字图像处理和计算 机视觉的基本算法进行特征提取。特征提取过程缎难从人体模型褥至4 指导。跟踪系统可 以通过限定场景和入的外观来简化特征掇取，如潮定背景假设，穿着紧身农等等一般 来说使用的假设越多，特征提取越容易凇确，丽使用的假设越少，则系统对环境的要求 就越低，跟踪的鲁棒性墩就越好现将鏊于视颓的人体运动捕捉串使用的些常掰的底 层特征及特征提取方法总结如下； ( 1 ) 入体矫轮窬特征。最常见鹊方法是使丽减背景算法获取前景豹区域范围如 【g a v r i l a1 9 9 6 d e u s c h e r2 0 0 0 【s m i n c h i s e s c u2 0 0 1 1 等等背景可以事先录制 或在运行孛自动提取。在i 琵踪过程串通过每桢蘑像与鹜景稳躐，获鹜最中分 离出前景，获得人体的投影外轮廓。这种方法要求摄像机位置网定，跟踪过 程孛帮景深持不交置必照无翳显交记。勇韩一静舞轮辩撵取方法是传统的电 影制作中的“抠蓝”( c h r o m a - k e y i n g ) 方法该方法使用固定颜色的背景或 迁夭穿主籍豫颜色戆农黢，势壤搽颜色分离豁豢窥鹜象。霞爨轮露特髹建立 测量函数的准则是尽鬣使模型投影位予轮廓内部 d e u s c h e r2 0 0 0 ，或者使模 型投影与轮臻霆叠嚣狡最大 s m i n c h i s e s c u2 0 0 l 】。 ( 2 ) 基于颜色统计的分割和跟踪。比如前面介绍的p f i n d e r 系统中，根据各个b l o b 有关簇色积佼嚣戆绞毒 蕴怠，宋决定象素夔l 逸嚣。统计分喜l 方法戆鳋鲶是毙 较健壮，对噪声和环境变化有较强的邋应能力缺点是难以对较复杂的目标 进往建摸。 ( 3 ) 利用诞动信息进行分割。 k r a h n s t o e v e r 2 0 0 3 根据每个象素光流值的不同， j 4 用光漉分极，将运动区域分刿为不同的部分。另夕 樱邻帧的蒺分图像也可 1 0 第二帝毕t 税频的人i 奉远功跟踪研究慨述 以用束提取前景运动区域，如 l e u n g1 9 9 5 】这种方法要求背景保持不变， 相继帧差异是由目标运动引起的 ( 4 ) 使用图像模板将人体表示为一个或者多个图像模板，然后利用模板匹配的 方法将模板匹配到当前帧如 j u1 9 9 6 、b 小明1 9 9 9 等就使用了图像模板 特征使用这种特征需要解决模板更新的问题还有一种类似图像模板的方 法是利用图像块帧与帧之问的匹配来估计物体的运动 b r e g l e r1 9 9 8 】，这种 方法仅仅对相邻帧之间的相对运动提供约束，存在误差累积问题这两种方 法都假设人体表面投影颜色( 灰度) 不变。一般还要求人的运动是缓慢且连 续的 ( 5 )基于特征点的跟踪与匹配。这种方法首先在所有帧中找到有明显特征或感兴 趣的点( 角点，边界) 。然后在帧间或者相机间匹配它们这种方法要求有明 显的特征点商用的基于反光标记的运动捕捉系统就是基于这种特征匹配的 方法，如 v i c o n2 0 0 3 【s i l a g h i1 9 9 8 ( 6 )利用三维重建算法得到三维特征数据比如通过多摄像机间的立体匹配得到 密集的三维点云 h a n k e r s2 0 0 l 】，或基于轮廓的重建得到人体的体数据 ( v o x e l ，v i s u a lh u l l ) 表示，如 c a m e t t e 2 0 0 2 c h e u n 9 2 0 0 3 c h u 2 0 0 3 l u c k 2 0 0 2 1 【m i l 【i c 。2 0 0 3 】 t h e o b a l t2 0 0 3 1 等三维特征较颜色特征更为稳定可靠， 缺点是目前三维重建算法还不够成熟，这种特征的使用受到一定的限制。 ( 7 ) 基于图像处理中边界或区域的分割方法来提取特征。区域分割方法假设分割 后的区域对某种或某些图像特性具有可靠的一致或平稳。基于边界的方法假 设图像灰度值在物体内部过渡平滑，仅在物体的边缘处发生变化当衣服包 含纹理时还需要进行纹理分割一般来说好的分割效果建立在对目标的了解 以及对外观的限定。比如在 g a v r i l a