（计算机应用技术专业论文）一种基于立体测量的运动数据采集方法设计与实现.pdf

浙江大学硕士学位论文 摘要 摘要 运动数据的采集是计算机辅助训练系统中的关键技术。为了给运动仿真提供 更快捷和准确的数据，本文提出了一种基于立体测量的运动数据采集的方法。这 个方法主要由两部分组成：运动跟踪和运动建模。 在人体运动跟踪的过程中，首先，使用两个或者多个高速相机同步拍摄运动 员的运动过程，获得人体运动的视频数据；然后，利用人体运动学约束和无标记 跟踪的m e a n s h i f t 算法，跟踪并获取运动员的关节点在每一帧图像中的像素坐标。 实验结果表明，改进的m e a n s h i f t 运动跟踪算法能够较准确的跟踪到观测点，即 使在发生遮挡的情况下，也能根据运动学约束，预测观测点的位置。 在人体运动建模的过程中，首先，使用d l t 定标技术对相机定标，并用l m 算法优化相机的投影矩阵；然后，根据立体视觉原理，计算出人体的每一个关节 点的世界坐标，建立人体模型；最后，通过求解人体约束的能量函数，优化人体 运动数据。实验结果表明，通过这些人体运动数据，能够较准确地仿真人体运动， 并精确地计算出人体的运动指标。 从论文的工作可以看出，这种基于立体测量的运动数据采集的方法具有一定 的鲁棒性和自适应性。该方法能够很大程度上减少人机交互，减少用户的工作量， 提高工作效率。 关键词：运动跟踪，运动建模，相机定标，立体视觉 浙江大学硕士学位论文a b s g a c t a b s t r a c t m o t i o nd a ma c q u i r e m e n ti st h ek e yt e c h n o l o g yo fc o m p u t e ra i d e ds p o r t st r a i n i n g s y s t e m t op r o v i d em o r ee x p e d i t i o u sa n da c c u r a t ed a t af o rm o t i o ns i m u l a t i o n ，w e p r o p o s eam e t h o do fm o t i o nd a t aa c q u i r e m e n t ，b a s e do ns t e r e om e a s u r e m e n t t h i s m e t h o di n c l u d e st w op a r t s ，m o t i o nt r a c k i n ga n dm o t i o nm o d e l i n g i nt h ep r o c e s so fh u m a nm o t i o nt r a c k i n g ，f i r s to fa l l ，t w oo rm o r eh i g hs p e e d c a m e r a sa r eu s e dt os y n c h r o n o u s l yf i l maa t h l e t e sm o t i o np r o c e s s ，a n dt h em o t i o n v i d e o sa r ec o l l e c t e d ；s e c o n d l y , u s i n gh u m a nm o t i o nc o n s t r a i n t sa n dt h em e a n s h i f t m a r k e r - l e s st r a c k i n ga l g o r i t h m ，t h ep i x e lc o o r d i n a t e so ft h eh u m a ns k e l e t o n si ne a c h i m a g ec 柚b et r a c k e da n dc a p t u r e d e x p e r i m e n t a lr e s u l ts h o w st h a tt h ei m p r o v e d m e a n - s h i f ta l g o r i t h mc a nt r a c kt h em o n i t o r i n gp o i n t sp r e c i s e l y e v e nw h e nt h e m o n i t o r i n gp o i n ti sb l o c k e do u t ，t h ep o s i t i o no ft h em o n i t o r i n gp o i n tc a nb es p e c u l a t e d o na c c o r d i n gt ot h em o t i o nc o n s t r a i n t s i nt h ep r o c e s so fh u m a nm o t i o nm o d e l i n g ，f i r s t l y , w eu s et h ed i r e c t l yl i n e a r t r a n s a c t i o n ( d l t ) a l g o r i t h m t oc a l i b r a t et h e c a m e r a s ，a n d t h e nu s et h e l e v e n b e r g m a r q u a r ta l g o r i t h mt oo p t i m i z et h ep r o j e c t i o nm a t r i x ；s e c o n d l y , b yu s i n g t h es t e r e ov i s i o nt h e o r y , t h e3 dc o o r d i n a t e so fe a c hs k e l e t o no ft h ea t h l e t ea r e c a l c u l a t e dt om o d e lt h eh u m a nm o t i o n ；f i n a l l y , t h eh u m a nm o t i o nd a t aa r eo p t i m i z e d b ys o l v i n gt h ee n e r g yf u n c t i o no fh u m a nb o d yc o n s t r a i n t s e x p e r i m e n t a lr e s u l ts h o w s t h a tu s i n gt h e s em o t i o nd a t a , t h eh u m a nm o t i o nc a nb es i m u l a t e dw e l la n dt h em o t i o n i n d e x e sc a nb ec a l c u l a t e da c c u r a t e l y t h et h e s i s sw o r kp o i n t so u tt h a tt h i sm o t i o nd a t aa c q u i r e m e n tm e t h o di so fs o m e r o b u s t n e s sa n da d a p t a b i l i t y t h i sm e t h o dc a nl a r g e l yr e d u c et h eh u m a n - c o m p u t e r i n t e r a c t i o n ，r e d u c eu s e r sw o r k l o a da n di m p r o v ew o r ke f f i c i e n c y k e y w o r d s ： m o t i o nt r a c k i n g ，m o t i o nm o d e l i n g ，c a l i b r a t i o n ，s t e r e ov i s i o n 浙江大学硕士学位论文 图目录 图目录 图1 1 论文组织结构图5 图2 1 运动数据采集系统结构图7 图2 2 光学式动作捕捉系统1o 图3 1 跟踪结果对比2 0 图4 1 坐标系平移2 l 图4 2 坐标系旋转。2 2 图4 3 相机成像原理。2 3 图4 4 相机定标架2 7 图4 5 定标架31 图4 63 ds k e l e t o nm o d e l 3 3 图4 7 立体视觉原理3 3 图5 1 视频采集系统结构3 7 图5 2 视频采集的两个相机3 8 图5 3 定标架3 8 图5 4 定标界面3 9 图5 5 运动跟踪4 0 图5 - 6 运动数据采集系统框架4 l 图5 7 界面模块设计。4 2 图5 8 运动跟踪结果。4 4 图5 - 9 动作全景图和捕获结果4 5 图5 10 标枪运动仿真4 6 图5 1 1 跳高运动仿真4 6 图5 1 2 跳高运动参数4 7 i 浙江大学硕士学位论文 表目录 表目录 表3 1 运动学约束的m e a n s h i f t 跟踪算法18 表4 1l m 算法优化相机投影矩阵2 9 表4 2 投影矩阵3 0 表4 3 定标数据：。3l w 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝鎏盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：签字日期： 年月日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂 有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘鲎一可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：导师签名： 签字日期：年 月日 签字日期： 年月日 浙江大学硕士学位论文第1 章绪论 1 1 课题研究背景与意义 第1 章绪论 运动数据采集是计算机辅助训练系统和计算机运动分析系统中的关键技术。 数据采集的精度，直接决定了辅助训练和运动分析的结果。随着现代科学技术的 发展，信息技术在体育领域的应用，从当初的局部性、客观性支持( 如提供建筑 等) ，逐渐地转变成为主动支持，例如依据运动项目进行的技术研究、专用运动 器材和设备、体育训练系统、计算机辅助决策系统等等，进而全方位地成为体育 发展的支柱力量。这对运动数据的采集提出了更高的要求。 科学的体育运动训练方法认为运动员提高运动成绩的因素是多方面的，强调 多学科综合，并完成运动员在训练和竞赛中的机能评定、心理测试和技术诊断。 机能评定解决运动员的合理负荷问题，防止训练过度或训练不足：心理测试解决 运动员的心理障碍、增强信心和驱除精神疲劳问题；技术诊断满足解决技术动作 合理性的问题。现代训练法特别强调技术手段在技术诊断的应用。摄影机、肌电 分析设备逐渐成为体育训练的必需设备。发达国家已经把训练场地和科研场地合 为一体。科学训练的内容还远不止这些。可以说，运动训练是一个庞大的系统工 程，从最初的科学选材开始，然后是早期专门化训练，再进人系统的专业化训练 的全过程，包括技战术训练、计划安排、动作设计、心理训练、医务监督、食物 营养、伤病防治、驱除疲劳与恢复体力和成绩预测，每一个环节都离不开科学保 障。因此，现代训练法提倡成立有科研人员参加的综台训练小组，指导体育训练。 体育训练不再停留于经验式的阶段。 随着竞技体育向高、难、精、尖的迅速发展，体育运动分析和训练系统越来 越多地借助于当代高科技手段。因此，信息技术全面渗透到体育训练中来，是一 个不可阻挡的趋势。研发数字化体育运动分析和训练系统就是要在运动训练中引 入信息技术，帮助运动员在训练过程中尽快掌握动作的技术要领，减少盲目的重 复，提高训练效率、降低运动员受到伤害的可能性，从而达到最佳的训练效果。 1 浙江大学硕士学位论文第l 章绪论 通过数字化方针和分析训练手段，运动员可以对技术动作进行有效改进，达到提 高运动成绩的目的。 数字化体育运动分析和训练项目的实施不仅可以将科学训练理论与实践相 结合，在科学分析和运动仿真的基础上，得出更为科学的i | 练依据和保障手段， 同时该项目也具有显著的社会和经济效益。2 0 0 8 年北京奥运会不仅是体育的盛 会，也是一个围绕体育的现代科技大比拼。以信息技术为核心的训练装备、训练 管理一方面体现了我国科技界的自主创新能力，同时也将对我国的“后奥运时 代”的体育事业产生深远的影响。 运动数据的采集是数字化体育运动分析和训练的基础，也是难点。只有有了 精确的运动数据，才能仿真运动员的运动过程，才能准确地判断运动员在训练或 比赛过程中的动作是否规范，才能量化地分析比较与世界先进水平的差距在哪些 方面，从而减少盲目的重复，提高训练效率。然而在采集运动数据的过程中，也 会受到场地、运动规则、运动员自身的习惯等的影响和限制，增加了运动数据采 集的复杂性。 1 2 国内外发展现状 在体育运动中，对技术动作的分析和比较可分为定性分析、定量分析和预测 性分析三种主要方法。其中，定性分析方法主要基于观察( 分阶段分析，时序分 析和主元( 主要特性) 分析等) 和主观判断。定量的分析方法主要基于收集到的 生物力学数据，并基于数学和物理准则进行建模分析，其中的主要难点是如何有 效地准确采集运动数据和计算运动的主要技术参数和变量。预测性分析需要根据 定量分析的结果，根据动力学和运动学原理提出方法改进，并通过计算机仿真等 手段进行模拟和评估。 目前，体育运动的定性分析方法趋于和定量分析方法相结合，采用计算机技 术建模和分析运动员的技术动作，提出定量的评价，使得运动员技能获取和运动 水平的提高变得更为快速和有效。预测性仿真方法也在相当范围内得到了应用。 国内的研究工作主要有中国科学院计算技术研究所开展的面向跳水和蹦床 2 浙江大学硕1 ：学位论文第l 章绪论 运动的体育运动仿真和运动分析系统【1 ，2 1 。该系统完成了跳水运动和蹦床运动图像 与视频的人体运动参数获取、人体运动的计算机模拟与仿真结果与运动员视频的 同屏对比等工作。 在国外，已有大量针对分析和f | 练技术的理论探讨。如建立一个速度滑冰的 人体运动模型，并依据逆向动力学原理确定各个关节的运动，神经反射运动和机 械能的消耗；分析4 乘1 0 0 接力的运动模型；研究足球运动中的技术动作、受伤、 抛球、守门动作的生物力学分析；概述铁饼投掷的模型。 一些计算机辅助的分析和训练系统也在国外得到了研究。b e c k e r 和p e n t l a n d 在a 1 i v e 系统的修改版本内建立了太极训练器( t a ic h it r a i n e r ) 【3 】o 这种a 1 i v e 系统使用隐式马尔可夫模型解释用户的姿态，能够获得对1 8 个姿态集的超过9 0 的识别率。u y y a n g 等人实现了一个基于虚拟现实技术的沉浸式运动训练系统， 其核心思想是一种被比喻为“幽灵”的基于直觉的交互式方法，称之为“j u s t f o l l o wm e ( j f m ) 【4 】”。在训练过程中，训练者的运动被实时地可视化( 初始的时 候训练者与受训者的可视化图像是重合的) ，受训者尽可能近地( 或尽可能快地) 紧跟幽灵进行运动。s e o n g m i nb a e k 等人【5 】实现了一个基于虚拟现实的运动训练 系统，提出了一种姿势导向的运动重定向方法和运动分析方法，为受训者调整给 定的参考运动，并提供受训者跟随参考运动的效果分析。 此外，一些商用系统已经投入了应用。如美国图像公司和加利福尼亚戴维斯 大学联合开发了一种雪橇比赛装置，运动员在这套装置上能真切体验到驾驶雪橇 沿着跑道飞速下滑的感觉。实验设备随时检测运动员的身体状况，并进行技术分 析、功能诊断，预测比赛中可能出现的各种问题，并制定最佳策略，从而提高运 动成绩。韩国p o s h t e c h 虚拟现实实验室实现了一个沉浸式运动训练系统，在训 练过程中，训练者的运动被实时可视化，从不同视点观察受训者的运动。研究人 员还为受训者任意调整给定的参考运动，并提供受训者跟随参考运动的效果分 析，并以击剑运动员训练为例验证了算法。德国s i m im o t i o n 动作捕获分析系统， 专为2 d 或3 d 的运动力学、生物力学、动物医学、生物学等动作分析而设计的， 最适于做动作捕获及分析。总之，这些分析和训练系统可以为教练员指导运动员 3 浙江大学硕士学位论文第l 章绪论 的训练提供科学依据，在很大程度上提高了相关的体育活动的训练水平。 在以上这些计算机辅助的分析和训练系统中，得到广泛关注的是运动员的技 术动作矫正问题。因为技术矫正工作是运动训练中的基础工作之一。技术动作诊 断工作并不是简单地按照一个优秀样本进行技术裁减。它是一项系统工程，是和 技术动作的分析、比较以及运动仿真紧密结合并集成在一起的。技术动作矫正可 以保留合理的技术动作，改正不合理之处，建立把个人潜力最大化的“最佳”动 作技术模型。 技术动作的矫正主要解决两个问题：( 1 ) 技术动作信息的获取；( 2 ) 技术动 作分析。其中，技术动作信息的获取的途径主要有两方面：( a ) 从视频中获取； ( b ) 从基于传感器技术的三维运动捕获设备中获取。由于人体运动和场景的复杂 性，并且运动训练或比赛中不宣给运动员贴上标记点或者佩戴传感器设备，所以 比较通用的方法是使用相机拍摄运动过程，然后根据立体视觉原理，从视频中捕 获运动员的运动数据。 1 3 本文工作 目前，大多数的动作捕获或仿真系统在特定的条件下，能够完成简单的动作 分析。但是，由于人体运动和场景的复杂性，并且运动训练或比赛中不宜给运动 员贴上标记点，这使得这些算法有很大的局限性。即使是商用软件s i m im o t i o n 也 只是对针对有标记的运动提供了自动的运动跟踪，对于无标记的运动只能通过人 机交互，通过手动一帧一帧的手动完成运动跟踪。 本文针对上面的局限性，提出了一种基于立体测量的运动数据采集方法的设 计与实现，该方法可以完成自动的无标记运动的数据采集工作。系统主要研究的 关键技术及其贡献如下： ( 1 ) 照相机定标技术。照相机定标是数据采集系统的基础。照相机标定的准确性 直接决定了人体运动关节点三维数据计算的准确性。 ( 2 1 带运动约束的无标记点的运动跟踪。 ( 3 ) 建立三维人体运动模型。根据立体视觉的原理，计算出入体关节点的世界坐 4 浙江大学硕十学位论文 第1 章绪论 标，然后根据人体约束，求解人体约束的能量函数，优化人体运动模型。 1 4 本文组织 本文共分7 章，其结构如图i - i 所示： 第一章 绪论 第二章 运动数据采集系统概 述 关键技术 第三章第四章 人体运动跟踪l - 一人体运动建模 第五章 系统实现及实验结果 第六章 总结和展望 图i - i 论文组织结构图 本论文主要将描述一个更加通用的运动数据采集系统，分为三部分： 文章的第一部分包括第一、二章。第一章为绪论，主要介绍了数字化三维体 育运动分析、仿真系统的研究背景和国内外发展现状；第二章总体上概括性地介 绍了基于立体测量的运动数据采集系统的框架，以及相关的关键技术。 文章的第二部分包括第三、四。第三章主要介绍了人体运动跟踪，如何在连 续图像中，根据运动学约束，获取人体关节点的像素坐标。第四章主要介绍了如 何标定照相机的投影矩阵，以及根据前面人体运动跟踪得到的像素坐标信息，如 何建立三维人体模型和对人体模型的优化。 浙江大学硕士学位论文第l 章绪论 文章的第三部分包括第五、六章。第五章介绍了基于立体测量的运动数据采 集系统在实际训练中的应用，以及实验结果分析；第六章将概括全文，做出总结， 并展望下一步的工作。 1 5 本章小结 本章主要介绍了基于立体测量的运动数据采集方法的研究背景与意义，以及 当前运动辅助训练技术的国内外发展现状。 6 浙江大学硕：t 学位论文 第2 章运动数据采集系统概述 2 1 系统概述 第2 章运动数据采集系统概述 如图2 1 所示，基于立体测量的运动数据采集系统主要由三个部分组成：动 作视频采集系统，技术动作数据采集系统，和运动仿真系统。 模型数据 图2 - i 运动数据采集系统结构图 运动视频采集系统，由两个或者多个照相机组成，采用同一频率、同步拍摄 运动过程，产生多个不同角度的人体运动视频数据。 技术动作数据采集系统，主要由两个部分组成，运动跟踪和运动建模。运动 跟踪主要根据多个相机拍摄的运动视频，跟踪每一个视频中的人体运动，得到人 体的关节点在每一帧图像中的像素坐标。运动建模主要根据人体关节点的像素数 据，利用立体视觉原理和人体约束，建立并优化三维人体模型。 7 浙江大学硕士学位论文第2 章运动数据采集系统概述 运动仿真系统，主要根据技术动作数据采集系统获得的模型数据，仿真人体 运动过程，计算人体运动过程中的各种运动指标，如关节点速度、加速度、关节 角度等。 2 2 运动捕捉技术综述 2 2 1 运动捕捉系统分类 运动捕捉技术的起源于上个世纪的7 0 年代末，随着计算机软硬件技术的飞 速发展，目前，在发达国家，运动捕捉技术已经得到了广泛的应用，成功的应用 于影视特效、虚拟现实、动画制作、人体工程学、模拟训练、生物理学研究、游 戏等许多方面。 一般来讲，动作捕捉技术可以分为四类：机械式运动捕捉、声学式运动捕捉、 电磁式运动捕捉、光学式运动捕捉。 2 2 1 1 机械式运动捕捉 机械式运动捕捉使用机械设备来跟踪和捕捉测量运动。典型的机械式运动捕 捉系统可以由多个关节和刚性连接杆组成，在可以转动的关节中，装有角度传感 器，可以测得关节转动角度的变化。系统根据角度传感器的数据和连接杆的长度， 可以得出观测点在空间中的运动轨迹。实际上，系统中任何一点的运动轨迹都可 以观测得到，刚性连接杆也可以换成长度可变的伸缩杆，用位移传感器测量器长 度的变化。 早期的一种机械式运动捕捉的装置是使用带角度传感器的关节和连接杆构 成一个可以调节姿态的模型，该模型可以模拟人体，也可以模拟其他动作。锁定 姿态后，角度传感器测量出关节的转动角度，依据这些角度和连接杆的尺寸，可 以算出模型的姿态。机械式运动捕捉系统还可以直接把机械结构与捕捉的对象连 接起来，对象的运动直接带动机械装置，从而被传感器实时的记录下来。 这种方法的优点是成本低，精度也较高，可以做到实时预测。其主要的缺点 主要是使用起来非常不方便，机械装置对表演者的动作阻碍和限制很大。机械式 运动捕捉系统主要应用于静态造型的捕捉。 8 浙江大学硕士学位论文第2 章运动数据采集系统概述 2 2 1 2 声学式运动捕捉 常用的声学式运动捕捉系统由发送器、接收器和处理单元组成。发送器是一 个固定的超声波发生器，接收器一般由三个超声探头组成，三个超声探头呈三角 形排列。通过测量声波炒年糕发送器到接收器的时间以及相位差，系统可以计算 并确定接收器的位置和方向。 声学式运动捕捉系统的成本较低，但是有许多缺点：对运动的捕捉有较大的 滞后性；精度不是很高；超声波发送器和接收器之间不能有大的遮挡物：受噪声 和多次反射等干扰较大；声波的传送速度受气压、适度、温度等自然因素的影响。 2 2 1 3 电磁式运动捕捉 电磁式运动捕捉系统是目前比较常用的运动捕捉设备。首先，电磁式捕捉系 统的发射源在空间产生按一定时空规律分布的电磁场；然后，在表演者身体的关 键位置安置接收传感器；最后，表演者在电磁场中运动或表演时，接收传感器将 接收到的信号通过电缆或者无线的方式传送给处理单元，根据这些信号可以解算 出每个传感器的空间位置和方向。 目前，电磁式运动捕捉系统的采样速率一般在每秒1 5 1 2 0 次，为了消除抖 动和干扰，在实际实验的系统中的采样速率一般在每秒1 5 次左右。对于一些高 速运动，如标枪、跳高等，该采样速度不能达到要求。这类系统的主要缺点在于 对环境的要求严格，在表演场地附近不能有金属物品，否则会造成电磁场畸变， 影响精度。系统允许表演的范围比光学式运动捕捉系统要小，电缆对表演者的活 动限制比较大，对于比较剧烈的运动或者表演则不太适用。 2 2 1 4 光学式运动捕捉 光学式运动捕捉通过主要足通过对目标上特定光点的监视和跟踪，然后基于 计算机立体视觉原理，来完成运动捕捉的任务。从理论上说，空间中的任意一点， 只要有两部相机同时拍摄到该点，则可以根据两部相机同时拍摄到得图像和相机 本身的参数，确定这一时刻空间点的世界坐标。当相机以较高的速率连续拍摄时， 就可以从连续的图像序列中获得该点的运动轨迹。 典型的光学式运动捕捉系统通常使用多个相机环绕表演场地，这些相机视野 9 晰大学硎掌论i 第2 $ 动翦# 采集系境述 重叠的区域就是表演者的动作范围，为了便于处理，通常要求表演青穿上单色的 衣服，在身体的关键的部位，如关节点处，贴上一些特殊的标志物或者发光点， 由相机捕获这些点。如图2 2 所示的运动捕提系统共有1 0 个相机对这些相机标 定之后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后在进行识别 和处理获取标记点在图像中的像素坐标并根据立体视觉原理，计算标记点在 每一个瞬间的空间位置，进而可以获得标记点的运动轨迹。为了准确地得到标记 点的运动轨迹，相机应该由较高的拍摄速率，一般要在每秒6 0 帧以上。 圈2 - 2 光学式动作捕捉系统 有些光学式的运动捕捉系统不依靠标记点，而应用图像识别技术、图像分析 技术，由视觉系统直接识别表演者身体关键部位并测量其运动轨迹的技术。这也 是本篇论文要解决的问题。 光学式运动捕捉系统的优点是表演者的活动范围大，可以正常的自由的运动 或表演，没有电缆、机械装置等的限制，使用很方便。其采样速率较高，可以满 足多数高速运动测量的需蔓，如本篇论文中涉及到的标枪以及跳高等运动。但是， 光学式运动捕捉系统的缺点足系统价格昂贵，一般需要多个相机：后续处理，包 括关键点的识别、跟踪、空间坐标的计算等，工作量较大：当表演者的关键点发 生遮挡或者混淆的情况下，需要人工干预后处理过程。 浙江大学硕士学位论文第2 章运动数据采集系统概述 2 2 2 无标记点运动跟踪技术 光学式的运动跟踪主要是在连续的图像帧之间创建基于位置、速度、形状等 有关特征的对应匹配问题。在运动跟踪的过程中，常用的数学工具有卡尔曼滤波 ( k a l m a nf i l t e r i n g ) 6 1 c o n d e n s a t i o n 算法【7 圾动态贝叶斯网络【8 ( d y n a m i cb a y e s i a n n e t w o r k ) 等。其中k a l m a n 滤波是基于高斯分布的状态预测方法，c o n d e n s a t i o n 算法是以因子抽样为基础的条件密度传播方法，结合可学习的动态模型，能完成 鲁棒的运动跟踪。目前，就跟踪对象而言，分为跟踪如关节点等身体部分与跟踪 整个人体；就跟踪的相机的个数，分为单目跟踪和多目跟踪；就标记点而言，分 为有标记点跟踪和无标记点跟踪。 在本论文中，我们主要解决多目的、无标记点的人体关节点的跟踪的问题。 这要求我们使用基于特征的运动跟踪算法。这类算法包括两个过程：特征的选取 和特征的对应于跟踪。 特征的选取。一个好的特征必须符合对于噪声的不敏感，易于识别，以及具 有唯一性等条件。简单的特征易于提取和判别，但不利于跟踪；相反，复杂的特 征提取较为困难，但易于定位与跟踪。例如在p o l a n a 的文章【9 】中，将每个行人用 一个矩形框封闭起来，封闭框的质心被选择作为跟踪的特征，用以代表人体的位 置。在跟踪过程中，若发生遮挡，只要质心的速度能被区分开来，跟踪仍能被成 功地执行。该方法简单，并利用人体运动来解决遮挡问题，如果结合纹理、色彩 等特征，可能会进一步提高跟踪的鲁棒性。 在人体运动跟踪中，人体运动虽然是非刚性的，但是由于其运动可以被看成 连接性非刚性运动，因此人体的结构特征在空间上提供了一定的约束信息，有利 于采用预测的方法来解决对应的问题。人体运动的预测一般建立在前面所有图像 帧处理分析的结果以及物体的位置、色彩、运动方向等信息的基础上。通过这种 预测，可以较为粗略的得到物体在下一帧图像中的位置，并且大大缩小了给定特 征存在的空间范围，减少了特征搜索以及提取的时间。一般预测过程往往根据人 体运动的方式，得出人体的运动模型，用运动模型来指导预测过程。如j a n g 与 c h o i t l o 】利用区域的形状、纹理、色彩和边缘特征信息建立了活动模板，结合卡尔 浙江大学硕士学位论文第2 章运动数据采集系统概述 曼滤波的预测方法，是特征匹配能量函数最小化来完成运动目标的跟踪过程，该 活动模型对于非刚性物体的跟踪具有良好的自适应性。 2 3 本章小结 本章首先介绍了基于立体测量的运动数据采集系统的构架。然后根据运动捕 捉系统的分类，依次简介了机械式运动捕捉、声学式运动捕捉、电磁式运动捕捉 以及光学式运动捕捉。再次，介绍了光学式运动捕捉中的无标记点的运动跟踪技 术。 1 2 浙江大学硕士学位论文 第3 章人体运动跟踪 第3 章人体运动跟踪 要建立人体的三维运动模型，完成运动仿真，需要确定视频的每一帧中人体 关节点的像素坐标。主要有两类方法：有标记和无标记的运动跟踪。有标记的动 作跟踪【l l 1 2 1 ，利用安置在人体关节上的彩色标记点对人体进行跟踪。但是由于运 动员在训练或比赛中不宜贴上标记点，这要求我们使用无标记的运动跟踪算法。 无标记点的运动跟踪方法 1 3 , 1 4 1 主要利用人体上的某些图像特征对人体进行跟 踪，但无标记点的运动跟踪方法受环境影响较大。文献 1 s , 1 6 1 中使用颜色信息结合 跟踪目标的三维空间信息的m e a n - s h i f t 的方法跟踪目标物体。我们采用带运动 约束的m e a n - s h i f t 方法来跟踪人体关节点。 3 1 运动学约束 由于人体的运动符合运动学的原理，人体的每一个关节点在运动过程中受到 的力随时间变化而不同，是一个变加速的运动过程。将每一个关节点的运动投影 到照相机成像平面，同样符合运动学原理，整个过程是一个变加速运动。但是在 极短的时间内，例如视频的几帧之间的间隔，关节点的速度满足如下关系： ，= v o + 云f 。因为a t 很小，趋近于0 ，所以，v o ，即在短时间内，每一个关节点 可以看成匀速运动。 假设已知前k - 1 帧图像中关节点j 的像素坐标分别为x ，x h ，求关节点j 在第k 帧图像的像素坐标，记为x 。，则由运动学原理得： 三二三= l ：三l = l 二兰= 2 ff 公式( 3 1 ) 其中f 表示相机两帧之间的时间间隔。化简公式( 3 1 ) 得： x t = 2 x h x h 公式( 3 2 ) 由公式( 3 2 ) 可以推测关节点j 在第k 帧图像中的像素坐标应该在邑附近， 距离x 。不应该超过d 的距离，即以x 。为中心，d 为半径的圆形区域内。 浙江大学硕士学位论文 第3 章人体运动跟踪 3 2m e a n s h i f t 运动跟踪 3 2 1 目标表示 为了跟踪目标关节点，在新的视频图像中跟踪寻找目标关节点的位置，需要 选取目标关节点所在区域的特征空间，如颜色概率密度函数( c o l o rp r o b a b i l i t y d e n s i t y f u n c t i o n ，p d f ) ，来表示目标区域。不失一般性，可以假设目标模板的中 心所在位置为原点，即空间坐标为x 卜。，其颜色概率密度函数记为q ；在后一帧 图像中，待匹配区域的中心所在位置为坐标x 。，其颜色概率密度函数记为p ( x 。) 。 为了方便计算，本文使用m b i n 颜色柱状图来表示目标模板( t a r g e tm o d e l ) 和待 匹配区域( t a r g e tc a n d i d a t e ) 的离散概率密度。因此： 目标模板： q ( x h ) - - q 。( x h ) ) 例。 待匹配区域：p ( x 。) = 见( x 。) ) 州。 吼( x h ) - - 1 。 u = l 见( x 。) = 1 。 = i 为了测量待匹配区域和目标模板匹配的相似度，便用相似度函数( s i m i l a r i t y f u n c t i o n ) ：p ( x 。) 暑科p ( x 。) ，q ( x h ) 】。如果只使用颜色概率密度信息表示目标关 节点，则光线、背景等因素就会对相似函数p ( x 。) 影响很大。为了更加精确的跟 踪到目标关节点，我们使用观测点的空间信息【17 】，核函数( k e r n e lf u n c t i o n ) 作 为颜色信息的权重：距离中心像素越近，其核函数权重越大；相反，距离中心像 素越远，核函数权重越小。 3 2 2 目标模板 假设目标关节点j 在第k 1 帧图像中的像素坐标位置为x 卜。( 椎，。) ，选取以 该像素坐标为中心的一个正方形区域为目标模板，标记为r ( x 卜。) 。假设序列 x ) 抖。是目标模板区域蜀内的像素坐标，且墨的中心像素坐标为0 。模板区域 内每一个像素有一个对应的权重值，用核函数k ( x ) 表示。k ( x ) 是一个单调递减的 凸函数，对于距离中心点越远的像素，核函数的值就越小，则该像素的颜色信息 1 4 浙江大学硕士学位论文第3 章人体运动跟踪 的权重也就越小。使用核函数作为像素的权重值，可以增加使用颜色概率密度跟 踪匹配的鲁棒性，因为越边缘的像素越容易受到背景等因素的影响，使得这些像 素变得不可靠。 统计目标模板区域内的聊一b n 的颜色直方图，并用颜色概率密度向量来表述 该区域。则关节点j 在第k 1 帧图像中的目标模板可以表示为： q ( x h ) ：【g l ，g 。】t ，其中芝吼：l 颜色“ l ，朋) 的概率可以写成： 吼( x ：) = c 善啡h 师) 万( 一材) 公式( 3 3 ) 公式( 3 4 ) 其中函数6 ( x ：) ：尺2 一 1 ，肌) 把像素坐标x ：的颜色值映射到1 到m 之间；函 数万( 6 ( x ：) 一材) 为狄拉克函数：万( 口) = 0 三i 三；函数七( x ) 是一个凸函数，且单 调递减。由公式( 3 3 ) 和公式( 3 4 ) 以及概率密度向量的归一性，常量c 为： 。甄两1 公式( 3 5 ) 3 2 3 待匹配区域 由运动学约束可得，关节点j 在第k 帧图像中的预测的像素坐标位置为x 。， 选取以x 。为中心的正方形区域恐( x 。) 作为待匹配区域，是的大小与目标模板区 域墨的大小一致，并且待匹配区域内的像素点用 x ，) 卧。表示。在待匹配区域内 使用同目标模板一样的核函数七( x ) 。则待匹配区域的颜色概率密度向量为： p ( x 。) = 【雕一，】t ，羔见= 1 或( x 。) = c 芝：k ( 1 l x , - x k l l 2 p ( 6 ( x ：) 一甜) 其中常量c t 为： 公式( 3 6 ) 公式( 3 7 ) 浙江大学硕士学位沦文第3 章人体运动跟踪 c 2 丽1七( q | 1 2 ) ，= i 公式( 3 8 ) 3 2 4 相似度计算 为了在待匹配区域内查找人体关节点j ，需要计算待匹配区域恐的颜色概率 密度向量蚤( x 。) 与目标模板区域蜀的颜色概率密度向量日( x h ) 之间的相似度。可 以利用巴氏( b h a t t a c h a r y y a ) 系数【1 8 】测量两个颜色概率密度向量之间的相似性： ( p ( x 。) ，q ( x h ) ) ：芝厄瓦丽 u = l 公式( 3 9 ) 公式( 3 9 ) 睁几何意义是向量 压，“i t 和向量 i ，厄 t 之问夹 角的余弦值。而目标模板与待匹配区域之间的颜色概率密度向量的距离可以表示 为： d ( x t ) = , 、1 - p ( p ( x k ) , q ( x k - 1 ) ) 公式( 3 1 0 ) 3 2 5 定位目标关节点 为了定位目标关节点在当前帧图像中的像素坐标x 。，应该计算公式( 3 1 0 ) n 1 4 、值。即，若x 。为目标关节点在当前帧图像中所在的像素坐标，则公式( 3 1 0 ) 应该在处取得最小值。从公式( 3 9 ) 和公式( 3 1 0 ) 可以得到，求解d ( x 。) 的 最小值，等价于求解p ( p ( x 。) ，q ( x h ) ) 的最大值。 假设目标关节点在前一帧图像中的像素坐标为x 卜，根据运动学约束，目标 关节点在当前帧图像中的位置可以初始化为氢。为了寻找更加合适的目标关节点 的位置，需要先计算目标模板颜色概率密度向量 吼( x 卜。) 州。以及待匹配区域的 颜色概率密度向量 见( 童。) ) 洱册。将公式( 3 9 ) 中右边的芝“i i 页i 再在 见( i 。) 处使用泰勒展开式，经过化简可以得到巴氏系数的线性近似值： 1 6 浙江大学硕士学位论文 第3 章人体运动跟踪 其中 尸( p ( x a q ( x h ) ) 畦姜瓜瓦哇姜见( x t ) 公式( 3 1 1 ) 对于所有的u = l m ，p u ( i o ) 0 。把公式( 3 7 ) 代入公式( 3 ii ) 可以得 舢a q ( x h ) ) 三姜o ( i o ) q , + 导和( o x , - l , 1 1 2 ) 公式( 3 胞) 公式( 3 1 3 ) 正如前面所述，求解d ( x 。) 的最小值，等价于求解( p ( x 。) ，q ( x 川) ) 的最大值， 因为公式( 3 1 2 ) 中右边的第一项的值与毫无关，因此由公式( 3 1 2 ) 可以得到， 求解尸( p ( x 。) ，q ( x h ) ) 的最大值，等价于求解公式( 3 1 2 ) 中右边的第二项 等窆哆七( o x ，一x 。1 1 2 ) 的最大值。等窆q 七( o x ：一x 。| | 2 ) 表示在当前帧图像中对待匹 配区域r ( x 。) 颜色概率密度的评估，并且使用公式( 3 1 3 ) 中的哆作为像素颜色 数据的权重。 在当前帧图像中寻找目标关节点的过程中，总会根据如下关系，递归地从当 前位置氢移动到一个新的位置i 。： 芝x ，哆g 吣：一i 0 1 1 2 ) 1 芝q g ( 1 | x i i 。1 1 2 ) ，= l 其中，g ( x ) = - k ( x ) 。 3 3 算法描述 公式( 3 1 4 ) 假设：已知目标关节点j 在前后一1 帧图像中的跟踪得到的像素坐标是 x 。，x h ，现在，我们要用上面介绍的运动学约束和m e a n - s h i f t 图像跟踪方法来 1 7 浙江大学硕士学位论文 第3 章人体运动跟踪 跟踪获得关节点j 在第七帧图像中的像素坐标x 。其中v 占 0 ，d 为预先设定 的查找范围，算法描述如下： 表3 1 运动学约束的m e a n s h i f t 跟踪算法 i n p u t ：x l ，x h ，t h ep i x e lc o o r d i n a t e so ft a r g e tj o i n tji ni m a g es e q u e n c e ，厶- l ，t h ei m a g e i k l a n di m a g e i k o u t p u t ：x i ，t h ep i x e lc o o r d i n a t e so f j o i n tji ni k ( 1 ) i n i t i a l i z a t i o n ： p = 卜2 x j 1 一x 一2 ； c o m p u t et h ec o l o rp r o b a b i l i t yd e n s i t yv e c t o ri ni m a g eo l 舔t h et a r g e t m o d e l ： 。 q ( x h ) = 【g 。q m t ( 2 ) d o ( 3 ) ( 4 ) ( 5 ) x i 卜x i j c o m p u t et h ec o l o rp r o b a b i l i t yd e n s i t yv e c t o ro ft h et a r g e tc a n d i d a t e a r e a 恐( x ) i