（应用数学专业论文）体育解析系统中虚拟人动作的编辑、修改及视频合成.pdf

可北工业大学硕士学位论文 体育解析系统中虚拟人动作的编辑、修改及视频合成 摘要 在以往的体育解析与诊断系统中，通常是用两台摄像枫对运动员的技术动作进行实地 拍摄，并将其两组图像序列合成转化成为三维数据，然后仅通过对运动参数的解析给教练 以参考。然而在实际应用中人们更希望提供教练能对参数进行修改，甚至直接用鼠标对动 作进行编辑的功能，实现教练对动作的设计和指导。并将其修改的结果通过虚拟人表现出 来，再与运动员的动作进行视频合成，给运动员以直观的演示。 2 0 0 3 年我们承担了河北省运动技术可视化实时生物力诊断与仿真指导系统研究， 对体育解析与诊断系统软件进行了研发，实现了关节点的手工标记法”1 和自动识别法”1 ，运 动参数的解析和虚拟人动作重现“1 ，用逆向动力学计算关节点的位置”1 及从图片中提取运 动人体轮廓等功能。本文是对该系统做了进一步的修改和完善，包括以下三部分内容。 1 虚拟人动画：实现虚拟人动画的常用方法是手工标示法、运动捕获方法和自动识别 方法。为了减少手工标示的工作量，回避运动捕获的高成本和弥补自动识别的精度误 差。本文提出了基于插值原理的方法，其采用样条插值技术处理位置的平移变化，采 用四元数插值技术处理方向的旋转变化。 2 虚拟人动作的设计与修改：当教练员需要对运动员的某一时刻的某一关节点进行修 改时，为了保持整个动作的协调性和前后动作的连贯性，需要对该帧的其他关节点和 前后帧的动作做相应的自动匹配。为此本文提出了基于运动自身的自相似方法和基于 正态分布的关节点曲线调整方法。从运动员自身的运动曲线中提取特征信息，然后进 行自动调整使其结果能最大限度地符合运动员自身特点。 3 视频合成：传统的a l p h a 图像合成算法往往使作为运动参照的背景图像在融合之后 不够清晰。本文提出了一种新的图像融合算法- - n e w a l p h a 算法。此方法的优点在于它 既保存了原始图片中的清晰背景又使融合后的图像平滑自然。同时，本文还开发了一 套视频处理系统，它能够实现视频图像的慢放、及同帧显示不同时刻的动作等操作。 关键字：数字图像，体育解析与仿真系统，虚拟现实技术，视频合成，关键帧 笪夏墅堑至釜主堡型垒垫芝坚萱墨：。整整垄堡塑垒塞。 t h ee d i t i o n 、m o d i f i c a t i o na n dv i d i oc o m p o s i t i o n o f s u a lh u m a nm o t i o ni nt h es i m u l a t i o na n d 心i 则s i ss y s t e m a b s t i 认c t i nt h ep a s ts i m u l a t i o na n d a n a l y s i ss y s t e m s ，w eu s e dt w ov i d i c o n st ot a k ep h o t o g r a p h so f a t h l e t e sa c t i o n a n dg o tt h r e e - d i m e n s i o nd a t ab yc o m p o s i n gt w oi m a g es c r i m a f t e r w a r d ，w ec a n a n a l y s i sm o t i o np a r a m e t e r s b u t ，w es t i l lh o p et h a tc o a c h sa r ea b l et om o d i f yp a r a m e t e r s ，a n d e v e nt h e yc a nu s et h em o u s et od ot h a te x p e d i e n t l y ，t h e nt h e yc a l lu s et h ev i s u a lh u m a nt o d i s p l a yi t ，f i n a l l yw ec o m p o s ev i s u a lh u m a na n da t h l e t ei no n ei m a g et o g e t h e r b e f o r e ，w eh a dar e s e a r c ho nt h es i m u l a t i o na n da n a l y s i ss y s t e m 。b yt h a tw eh a ds i g n e d t h ej o i n tb yh a n d ；c a l c u l a t e dt h ep o s i t i o no f j o i n tw i t hi n v e r s ek i n e m a t i c sa n dp i c k - u pt h eo u t l i n e o f m o t i o nh u m a n i nt h et h e s i s ，im a i n l yi m p r o v et h es y s t e ma n de n h a n c ei t sf u n c t i o n s ，i n c l u d i n g t h ef o l l o w i n gt h r e ep a r t s 夺v i s u a lh u m a na n i t a a t i o n ：b e c a u s et h e r ei sm u c hd e f i c i e n c i e sn o w w ew a n tt or e d u c e w o r k l o a da n di m p r o v ep r e c i s i o no fd a t a i nt h et h e s i s ，b a s e do ns p l i n ei n t e r p o l a t i o n ，i d i s p o s et h ec h a n g eo fp o s i t i o na n db a s e d o nq u a r t e m i o ni n t e r p o l a t i o n ，id i s p o s et h ec h a n g e o fa n g l e 夺t h e d e s i g na n dm o d i f i c a t i o no fv i s u a lh u m a nm o t i o n ：w h e ne o a c h sw a n tt om o d i f ya c t i o n ， h ew i l lm o d i 黟t h ej o i n tp o i n tb yp o i n t 。j tm a k e st h ea d j u s t e dm o r o ni n c o h e r e n c ea n d i r r e l e v a n c e ，n e g l e c t i n gt h er e l a t i o na m o n gf l a m e s i nt h et h e s i s ，ib r i n gf o r w a r dt w om e a n s ( b a s e do nt h ec o m p a r a b i l i t yo fo n e s e l fa n db a s e do nt h en o r m a ld i s t r i b u t i o n ) t h e yc a l l 西c k u pt h ec h a r a c t e r i s t i ci n f o r m a t i o nf r o mt h e m o i l o no f t h ea t h l e t e ；r e d u c et h ew o r k l o a d 夺v i d e oc o m p o s i t i o n ：t r a d i t i o n a lm e t h o do fi m a g ec o m p o s i t i o nu s u a l l yb l u r st h eb a c k g r o u n d o fi m a g e s ot h et h e s i sd i s c u s san e wm e t h o d - n e w a l p h a i tn o to n l yk e e p st h eb a c k g r o u n d s y l l a b i f yb u ta l s om a k e st h ec o m p o s e di m a g e s m o o t h n e s sa n dn a t u r a l i na d d i t i o n ，ir e s e a r c h av i d e os y s t e mt op l a yt h ev i d e os l o w l ya n dd i s p l a ym o t i o no fd i f f e r e n tt i m eo nt h es a m e i m a g e 翌j ! 三些查兰堡主堂堡鎏塞 k e yw o r d s ：d i g i t a li m a g e ，t h es i m u l a t i o na n da n a l y s i ss y s t e m ，v i s u a lr e a l i t y ，v i d e o c o m p o s i t i o n ，k e y - f r a m e 独创性声明 本人郑重声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成某。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或瘼写的研究成果，电不包含为获得河北工业大学或其他教育机构的学位或证书所使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示了谢意。 学位论文作者签名：勉 日期：妒辩嗣g 趵 关于学位论文版权使用授权的说明 本学位论文作者完全了解河北工业大学有关保留、使用学位论文的规定。特授权河北 工业大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印 或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文 的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 导师签名： 杏k 新压 1 日期：h 尤舀舞占用g 四 日期：嵋占，占 鎏苎三些查兰堡圭兰竺笙苎 第一章绪论 1 1引言 竞技体育的目标是“更高、更快、更强”。除了运动员刻苦的调练之外，科学的洲练方法和手段也是 提高运动员成绩的有效途径。随着当代新技术革命的不断深入，现代科学技术对体育的渗透日益广泛， 并已经成为体育运动发展的强大推动力，尤其是以电子计算机技术为中心的各类高新技术在体育中的应 用，促迸体育运动发生巨大的变化。未来，以计算机应用为中心的高新技术，将不断缝在体育研究中得到 广泛应用，必将推动体育辅助解析系统的研究产生极大变化。 在此背景下，我们与河北师范大学体育学院承担了运动技术可视亿实时生物力诊断与仿真指导系 统研究项目，希望开发出一套用于体育运动分析的实用软件，目的在于给教练员提供科学的运动参数， 并希望借助于虚拟人的演示给运动员更直观的感受。为此我们开发了一套人体运动三维仿真与分析系 统，并实现了如下功能。 1 ) 视频采集：利用两台高速摄像机，在两镜头形成某一角度的情况下，对运动员的技术动作进行 同步录像，并通过视频采集设各将生成的图像以图片的形式保存。其中图片信息为运动员在此 时刻的运动状态。 2 ) 关节点的标示：将图片引入到解析系统中，通过手工标示方法“1 和自动标示方法“1 ，对运动人 体的每一个关节点进行标示得到两组二维信息。 3 )三维数据的解析：利用两张有标示图片的二维信息，我们还原出运动员此时刻的三维信息，并 且通过三维信息得到运动员的运动参数( 坐标、距离、速度、相对距离、相对速度、角度、角 速度等) 。进而通过三维的虚拟人体模型重现运动员各个时刻的姿态。 4 ) 运动轮廓的提取；利用一组视频序列，将运动员的轮廓从每幅图片中提取出来。 5 ) 逆向动力学：根据逆向动力学的原理，根据运动员一个关节点位置的变化反求出运动员身上其 他关节点的位置。 在上述研究的基础上，本文着重对系统进行了修改和完善，增加了运动编辑与视频合成两个模块并 提出了自己的方法。运动编辑模块能够实现对虚拟人动作的再编辑，它的作用在于能够让教练员对运动 员的技术动作进行形象直观地指正和修改；视频合成模块包括图像合成与媒体播放器的开发两个部分。 前者能够将虚拟人动作和运动人体、运动员不同时刻动作合成在一起，后者能够实现视频的慢放、快放 等功能。与此同时，为了弥补手工标示的方式“1 工作奄大而自动标示方法容易产生偏差的缺点，本文 体育解析系统中虚拟人动作的编辑、修改及视频合成 对虚拟人动画技术采用插值的方法，以此达到既减少工作量又提高数据精度的目的。 可以预见，随着对体育训练辅助解析系统研究的不断深入，其功能必将不断地完善。在各项体育 训练中应用体育训练辅助解析系统，可以提高各项训练的高科技含量，促使教练员和运动员从传统的体 育训练模式向更加科学、更加形象的数字与仿真的运动分析模式方向的转变。这就为运动员取得好的成 绩提供了必要的技术支持。 1 2体育系统仿真 体育系统仿真是一门实验技术科学。它是通过计算机模拟技术再现体育教师的教学经验、教练员的 训练意图、管理者的组织方案和运动员的训练过程，从而达到对体育系统的解释、分析、预测、组织、 评价的一种实验技术科学。近些年来，系统仿真的研究热点有面向对象的仿真方法、定性仿真、分布交 互仿真、可视化仿真、多媒体仿真、基于v r 的仿真和智能化的仿真等。与面向对象的仿真方法、定性 仿真、分布交互仿真、可视化仿真和多媒体仿真方法不同，基于v r 的仿真强调多种感知能力、交互性 和沉浸感等，而许多体育训练恰恰需要运动员的多静感觉( 视觉、听觉、触觉和嗅觉等) 的共同参与， 冈此，随着v r 技术进一步发展，基于v r 的仿真必将在体育领域得到广泛的应用“1 。 12 1 基于v r 的体育系统仿真 虚拟现实技术在体育仿真中具有很好的应用前景，这是由虚拟现实技术特点所决定的。虚拟现实技 术能够为体育工作者和运动员提供有效的、崭新的训练手段，扩大系统仿真的应用范围，也能够促进虚 拟现实技术的发展。所谓基于v r 的体育仿真，就是应用虚拟现实技术对体育系统进行仿真，使教练 员能够在一种虚拟的环境下对运动员进行指导。 与其它仿真技术相比，基于虚拟现实的体育仿真具有多种感知能力，因此能够增强受训者与体育仿 真系统进行交互的能力，能够提高体育仿真训练的效果。虚拟现实技术在体育训练仿真中的应用能够提 高运动员的科学训练水平和运动竞技水平，并且有利于广泛开展全民健身运动。虚拟现实技术必将在体 育仿真技术中发挥越来越熏要的作用。 目前，受虚拟现实软硬件技术条件限制，如虚拟现实专用交互设备比较昂贵现有交互方式还不够 方便灵活，系统实时性和精度都有待提高，这些制约因素限制了v r 技术在体育仿真技术领域的推广 应用。随着v r 技术进步，在不远的将来会有更多的、更具创新的应用出现。 2 体育解析系统中虚拟人动作的编辑、修改及视频占成 对虚拟人动画技术采用插值的方法，以此达到既减少工作量又提高数据精度的目的。 可以预见，随着对体育训练辅助解析系统研究的不断深入，萁功9 量必将不断地完善。在各项休育 训练中应用体育训练辅助解析系统，可以提高各项训练的高科技含量，促使教练员和运动员从传统的体 育训练模式向更加科学、更加形象的数字与仿真的运动分析模式方向的转变。这就为运动员取得好的成 绩提供r 必要的技术支持。 1 2体育系统仿真 体育系统仿真是一门实验技术科学。它是通过计算机模拟技术再现体育教师的教学经验、救练员的 训练意图、管理者的组织方案和运动员的训练过程，从而达到对体育系统的解释、分析、预测、组织、 评价的种实验技术科学。近些年来，系统仿真的研究热点有面向对象的仿真方法、定性仿真、分布交 互仿真、可视化仿真、多媒体仿真、基于v r 的仿真和智能化的仿真等。与面向对象的仿真方法、定性 仿真、分布交互仿真、可视化仿真和多媒体仿真方法不同，基于v r 的仿真强调多种感知能力、交互性 和沉浸感等，而许多体育训练恰恰需要运动员的多种感觉( 视觉、听觉、触觉和嗅觉等) 的共同参与， 冈此，随着性技术进一步发展，基于v r 的仿真必将在体育领域得到广泛的应用“1 。 1 21 基于v r 的体育系统仿真 虚拟现实技术在体育仿真中具有很好的麻用前景，这是由虚拟现实技术特点所决定的。虚拟现实技 术能够为体育工作者和运动员提供有效的、崭新的训练手段，扩大系统仿真的应用范围，也能够促进虚 拟现实技术的发展。所谓基于v r 的体育仿真，就是应用虚拟现实技术对体育系统进行仿真使救练 员能够在一种虚拟的环境卜对运动员进行指导。 与其它仿真技术相比，基于虚拟现实的体育仿真具有多种感知能力，因此能够增强受训者与体育仿 真系统进行交互的能力，能够提高体育仿真训练的效果。虚拟现实技术在体育训练仿真中的应用能够提 高运动员的科学训练水平和运动竞技水平，并且有利于广泛开展全民健身运动。虚拟现实技术必将在体 育仿真技术中发挥越来越重要的作用。 目前，受虚拟现实软硬件技术条件限制，如虚拟现实专用交互设备比较昂贵，现有交互方式还不够 万便灵活，系统实时性和精度都有待提高这些制约因素限制了v r 技术在体育仿真技术领域的推广 麻用。随着v r 技术进步，在不远的将来会有更多的、更具创新的应用出现。 麻用。随着v r 技术进步，在不远的将来会有更多的、更具创新的应用出现。 河北工业太学硕士学位论文 122 功能要求 基于v r 的体育仿真解析系统具有如下功能要求： 根据用户的需要构建不同的虚拟人体模型，并且重现三维虚拟场景。 辅助系统本身构建了一个虚拟人的模型库，其中存储了不同类型的人体模型可供用户 选择：能够构建一个虚拟的场景，包括运动参照物等。 运动数据捕获 通过两台摄像机同步拍摄，获得人体运动的视频文件，并从文件中提取出关键帧图像。应用 模式匹配、人工智能和计算机图形学的思想，将运动人体从图像中提取出来，得到运动物体的轮廓 ”l 以及各个关节点的二维信息，然后根据两张同时刻图片中人体的二维信息，重构人体三维运动数 据”1 并将其用于生成计算机动画。 动作的重现和展示 动作重现是体育系统仿真的重要要求，教练员可以通过此方式多角度的观察运动员的技术动 作，并可以对一些尚在进行研究的技术动作进行模拟，以便给运动员一个形象直观的指导。主要是 将我们得到的人体三维运动数据重定向到虚拟人身上，并将虚拟人按定的帧率播放，在三维场景 中实时渲染，达到不仅能够模拟真实的运动员运动而且能够从多角度，全方位观看的目的。 运动相关参数的获取 根据运动项目、教练员与运动员的不同要求，系统反馈各种与运动相关的参数、运动 员的生理指标等内容，其目的在于将运动员的各项指标量化。 图示化训练效果 将所有与运动相关的结果、不同动作的差异等以图示的方式显示出来，方便教练员将此运动 员的运动信息与国内外高永平的运动员的运动信息将比较，增加系统的形象表示能力。 数据的再编辑 我们得到的数据往往是粗糙的，要对数据进行再编辑，对数据进行平滑、删减。利用 原始数据对技术动作进行改进，创作新的动作，将几个技术动作进行串联等。 视频的同步显示与视频合成 能够将虚拟人模拟的运动存储为视频文件。支持视频文件的剪辑、快放、慢放、定格 显示、将原视频图像和我们用虚拟人模拟的视频图像进行同屏显示，给人以形象直观的比 较。 3 体育解析系统中虚拟人动作的编辑、修改及视频合成 1 3本文的主要研究内容 针对上述分析中提及的体育训练辅助解析系统仍然存在的问题，本文着重解决体育解析系统中关于 虚拟人动作的动画显示，虚拟人动作的修改与设计，数据的再编辑以及后期的视频合成部分。本文主要 研究内容包括： 夺 为了弥补教练员对动作进行逐帧逐点修改的手工标示的方式“3 工作量大，回避运动捕获的高成 本和弥补自动识别方法”3 的精度不足的缺点。本文对虚拟人采用插植的方法与此同时为了使 通过若干个关键帧问的动画连续流畅，避免线性插值造成虚拟人动画的跳跃，且本文采用两种 方法对得到的人体运动三维信息进行插值。对于位置的平移变化我们采用样条关键桢插值的方 法，而对于角度的旋转变化我们采用四元数插值的方法。这样我们就可以将修改后的结果重定 向到虚拟人上面，对每个动作进行精确的数据分析，并通过虚拟人的动作使结果在三维场景中 重现。实时、多角度地显示运动员的每一个动作，而使其从基于经验的训练分析方法到基于人 体运动模拟与仿真的人体运动分析方法的转变。 夺 当教练员在针对运动员的某一个关键部位在一段时间内的运动情况进行修改时，为了保持整个 动作的协调性和前后动作的连贯性，本文提出了基于运动自身的相似性方法和基于正态分布的 方法来提取运动自身特征，并在此基础上对技术动作进行修改。此方法不但使修改后的结果晟 大限度地符合运动员自身特点，而且减少了教练员对动作进行逐帧逐点修改时的工作量和用自 动匹配方法所产生的误差。与此同时，教练员还可以应用此方法对运动员的动作进行重新设计 和编排，使其产生新的技术动作，帮助运动员改进和创新技术动作，提高技术水平。 夺 本文提出了一种新的a l p h a 图像融合方法。使融合后的视频既保存了清晰的背景参照物，又能 够使合成后的视频文件看起来更加自然。以此方法为基础，将对虚拟人修改后的动作结果与运 动初始动作进行视频同步输出。另外，本人开发了一个新的播放器软件，教练和运动员通过它 不仅可以反复观看刚刚做完的动作，还可以对动作进行视频文件的合成。实现视频文件的慢放、 快放，定格显示，将不同时刻的动作叠加在一幅图像上显示等操作。能够帮助教练员找出技术 动作上的不足。使其从传统的主要基于人眼观察的方法向基于高精度视频捕捉与分析的人体运 动测量方法的转变。 4 河北工业大学硕士学位论文 2 1 引言 第二章虚拟人动画技术 在现在的体育训练中，教练员往往通过观察运动员的技术动作，然后凭印象对运动员的技术动作进 行指导。在此过程中，教练员的经验是十分重要的，是运动员技术动作是否能够改进的关键。但是教练 员在经验上往往存在偏差，对技术动作的理解和对所观察动作的回忆也并不十分准确。这就使运动员常 常不能得到正确的指导。而通过传统的视频录像的方法，教练员和运动员又只能从一个侧面来观察运动 员的技术动作，而不能够从其它方向进行观察，因此不能完全的还原运动员的技术动作。 体育解析系统中的虚拟人动画技术，就是将我们得到的三维运动信息重定向到我们所建立的三维虚 拟人模型上面，使三维虚拟人模型能够在计算机中重现运动员的技术动作，反馈运动员的三维运动信息， 使教练员和运动员能够在三维空间中实时地、多角度地观察运动员的技术动作。这样教练员就能够通过 这种形象直观的方法对运动员的技术动作进行准确地指导。 在此之前，我们己经有三种方法( 手工逐点标示法”，自动匹配方法“1 和运动捕获方法) 来得到驱 动虚拟人运动所需要的三维信息，而这三种方法均存在不同程度的问题。手工逐点标示法的工作量比 较大、工作周期长，而自动匹配方法”在帧数较多时往往容易产生偏差，不能得到最佳的匹配结果。运 动捕获方法，即在人体的各个关节点处粘贴传感器，进而自动捕捉运动数据的方法，由于价格昂贵且容 易受外界环境干扰等原因导致实用效果也不理想。 在此基础上，本文提出了基于虚拟人运动信息的插值方法。它只需教练员给出某些关键帧中运动员 的三维运动信息，然后算法对帧与帧之间的过渡信息进行自动插值。其中对于位置的平移变化我们采用 样条关键桢插值的方法，而对于角度的旋转变化我们采用四元数插值的方法。此方法在有效地减少手工 逐点标示法“1 所需的工作量的同时，又提高了用所得到的三维运动信息来显示动画时的准确性。 体育解析系统中虚拟人动作的编辑、修改及视频台成 2 2 人体结构分析 人体运动是以骨为秆，骨连接为支点，通过肌肉收缩完成的。骨与骨连接组成骨骼，构成人体支架， 支持人体的软组织和全身重量，肌肉牵引骨骼绕关节转动，使人体产生各种各样运动。人的坐、卧、行、 走以及各肢体乃至全身运动均通过人体基点的平移与各肢体闻的各种旋转运动组合面成。它不是一般的 简单组合+ 而是需要手、臂、腿、脚和躯干以某种复杂方式协调的运动。为了更好地描述的人体的运动， 我们需要知道虚拟人的静态描述以及与虚拟人运动相关的信息。解决以上问题的一个比较常用的方法就 是使用一个有关节的虚拟人模型，如图2 2 1 所示。同时我们建立虚拟人体的树型结构，如图2 2 2 所示。 6 图2 2 1 虚拟人模型 她2 2 1v i s u a lh u m a nm o d e l 图2 2 2 人体树状结构图 f i gt h es t r u c t u r eo fh u m a nb o d y 河北工业大学硕士学也论文 从图中我们可以看出：头、左手、右手、左脚、右脚为树的末端，可以单独运动。它们的父结 点是颈、左前臂、右前臂、左小腿和右小腿，父结点运动时一定带动其子结点同时运动。同理， 左上臂运动带动其子结点左前臂及左前臂的子结点左手同时运动。其它肢体同理，即每一层的 骨骼或关节的位置是由它的上一层的位置所决定的。某一结点的肢体运动必然带动其所有的后代结 点同时运动，这就使虚拟人运动符合人类运动规律。 2 3 虚拟人运动模型旧 下面将在人体的运动学和动力学两个方面对虚拟人的运动进行描述。 2 3 1 基于运动学的模型 人体运动学是描述人体运动的学科，它只讨论运动本身的细节而不涉及产生运动的内力和外力。所 谓基于运动学的模型是指物体的运动独立于产生运动的力。其参数包括物体的位置、速度和加速度。例 如在基于运动学的模型中，任何一个人体骨骼段的完整的运动学参数共需1 5 个随时间变化的参量来形 容。主要包括人体骨骼段的重心位置、人体骨骼段的体心速度、人体骨骼段的体心加速度、人体骨骼段 的角度、人体骨骼段角速度、人体骨骼段角加速度等。因此人体运动参数是很复杂的。 为了降低研究的复杂度，通常我们在对具体运动进行描述时，对其进行合理的简化。这样就可以只 使用诸多运动参数的一小部分即可完成对此运动的描述了。 目前很多软件中，关于虚拟人的运动模型都是基于运动学的。在利用这些软件实现虚拟人的动画的 过程中，需要用户交互设置一些关键参数并通过插值。用这些关键参数生成和控制物体的运动变化并且 这些参数的变化只涉及到各时刻各参数值的大小及其变化速度。 通过以上分析可以发现，在基于运动学模型的虚拟人的动画技术中，只考虑了物体的运动学特性碾没 有考虑物体的动力学特性并且代之以由用户交互确定一些关键参数来生成其运动。 2 3 2 基于动力学的模型 人体动力学是对产生人体运动的力学的研究。例如对于整个身体来说其主要受到重力、地面反作用 力、外力、肌肉力、关节反作用力以及骨与骨之间的作用力。所谓基于动力学的模型则是指物体的运动 由它所受的力来控制，有关的运动参数完全由动力学方程决定。 在现实世界中，物体的运动变化是由于其受力均衡状态被打破而形成的。因而物体的运动与它和周 围的环境的相互作用以及外界对它施加的外力有关。事实上，物体的真实运动决定于其受力情况。基于 动力学的模型的虚拟人动画技术是在建立虚拟人的动画模型时，引入了物理规律，其目的是提高计算机 动画的逼真性。 1 体育解析系统中虚拟人动作的编辑、修改及视频台成 与基于运动学的模型恰恰相反。从上述分析我们可以看出基于动力学的模型有很多优势，其最主要 的优势就是可以按照动画设计者的要求而运动。然而基于动力学的模型的应用也存在很多的局限性，例 如动力学方程的求解问题通常我们无法得到动力学方程的封闭解析解，只能采用数值求解技术。而且尽 管目前在数值计算领域已有众多的求解微分方程的数值计算方法，但找到适当的求解方法并不是一件容 易的事。 2 4 虚拟人运动控制的关键技术 为了使虚拟人的动画更加自然真实，在计算机动画中已经发展了很多技术来实现，其中比较传统的 运动控制方法有，参数化关键帧技术，过程动画技术。另外比较常用的有基于物理的仿真技术以及目前 在商业产品中比较流行的运动捕获技术、运动合成技术等【7 l 。 2 4 1 参数化关键帧技术 关键帧技术是进行虚拟人运动控制的最早方法，其概念源于早期w a l td i s n e y 公司卡通画的制作。 在早期的制作过程中，先由高级动画师设计关键画面也即所谓的关键帧，然后由助理动画师设计中间帧。 在计算机技术还未进入这一领域时，大量的繁琐的中间帧的工作是由助理动画师手工完成的。随着计算 机图形学的发展，插补取代了设计中间帧的艺术家。中间帧可以采用计算机自动生成。关键帧技术最初 仅仅用来插值帧与帧之间卡通画的形状，后来该技术被发展成为可以用来插值影响运动的任何参数。因 此也称其为参数关键帧。在应用参数关键帧技术产生虚拟人的运动时应注意所插值的参数否则会产生不 恰当的运动。由于关键帧插值不考虑人体的物理属性以及参数之间的相互关系，因此插值得到的运动不 一定是合理的，通常需要动画师对运动进行仔细的调整。尽管如此，由于关键帧技术的使用简便，因此 仍然是最常用的动画生成方法。 2 4 2 插补算法 插补算法在实现用关键帧技术产生最终的动画中具有很重要的地位。比较简单的插补方法是线性插 补法。采用此方法的动画经常会出现急速改变的情况，出现这种情况的原因主要是因为运动对象的速度 是不连续的。为了纠正这个现象我们通常采用更先进一些的插补技术，例如s p l i n e s 插补法来产生平滑 的插补曲线，这样就可以使动画看起来很通畅平滑。利用关键帧技术实现虚拟人的运动控制时必须解决 以下两个问题分别是位置插值和朝向插值。关键帧的位景插值可以由样条插值和速度曲线插值实现a 朝 向插值可以通过四元数插值方法来实现。 2 4 3 四元数插值 在计算机图形学中，对于围绕与坐标轴不重舍的轴旋转时，可以用平移与坐标轴旋转进行复合而得 到。为了得到所需要的复合矩阵，传统的方法是首先必须得到由选定旋转轴移到另一个坐标轴，然后根据 r 河北工业大学硕士学位论文 指定旋转角求出该轴的旋转矩阵，最后得到将转轴变回到原来位置的逆矩阵序列。运算比较繁杂。获得 对给定轴旋转的更有效方法是运用旋转变换的四元数表示，它只需少于4 4 矩阵的存储空间，且更容易 写出变换序列的四元数过程，这对于需要复杂运动序列和给定物体两个位置的运动插值动画尤其重要。 2 4 3 1 四元数的定义 设q 是实数域r 上的四维向量空间，其正交基底为( 1 , 0 ，0 ，0 ) 、( o ，1 ，0 ，0 ) 、( 0 , 0 ，l ，0 ) 、( 0 , 0 ，0 ，1 ) 分 别用e , i ，j ，ke ，i ，j ，k 表示，则o 中的元素均为q = 【s ，v 】= a o e + q f + 口2 j + a 3 k 的形式a 其中标量 部分s = 。，矢量部分v = ( d ，a 2 ，a 3 ) ，q 称为是一个四元数9 。 四元数运算满足加法交换律，加法结合律，但是，四元数的乘法无交换律。特别地，绕单位轴n 进 行角0 的旋转可以表示为g = c o s ：- ，以s 证昙 。 2 4 3 2 四元数与欧拉角的转换 1 ) 欧拉角向四元数与的转换 设绕x ，y ，z 轴旋转的欧拉角分别为岛，0 2 ，岛，对应的四元数为魄，口岛，如，则由式r q ( p ) 2q p q 。 可知，欧拉角对应的四兀数为： a = = 【c 。s 导，( o ，o ，s i n 譬) 【c o s 鲁 ( 0 ，s i n 鲁，o ) 】 c 。s 鲁，( s i n 导，o 。) 】 令单位四元数g ：【c o s 昙，n s i i l 昙】_ w o ，弘z ) 1 则有： w ：c o s 鱼c o s 0 2c o s 鱼s i n 鱼s i n 鱼s i n 鱼 ，：。鱼。鱼。i n 鱼+ 。i n 鱼。m 鱼。鱼 。；c o 。鱼。i i l 鱼。o 。鱼+ s i n 旦。o s 鱼。i l l 鱼 ：s i n 鱼c o 。堡。鱼+ c o s 鱼。i n 鱼。i n 鱼 22 222z 2 )四元数项旋转矩阵的转化： 有公式r 。( p ) = 【o ，( c o s o ) r + ( 1 一c o s o ) ( n r ) h + ( s i n o ) n x r n 可知l ，四元数q 2 【w ，( _ x ，y ，z ) 】所决定的 其次旋转矩阵为 m = l 一2 v 2 2 2 2 2 x y + 2 w z 2 x z 一2 w v 2 x v 一2 w z 1 2 x 2 2 z 2 2 坦+ 2 w x 3 ) 旋转矩阵向四元数的转化 2 x z + z w v 2 y z 一2 w x 1 2 x 2 2 v 2 记为 m m l o m 2 0 m o 肘， m 2 体育解析系统中虚拟人动作的编辑、修改及视频含成 由( 2 ) 可知旋转矩阵的迹t r ( m ) 为： ( 1 2 y 2 2 2 2 ) + ( 1 2 x 2 2 2 2 ) + ( 1 2 x 2 + 2 y 2 ) = 3 4 ( x 2 + y 2 + z 2 ) ，由于旋转矩阵所对应的四 元数必为单位四元数，即x 2 + y 2 + z 2 + w = 1 ，因此，t r ( m ) = 4 w 2 1 。 若f r ( m ) 。，则对应的四元数g = 【c 。s 詈，一s i i l 争= 【m ( 暑y ，z ) 】为； w = 妻扣百i 丽 z = ( m 2 t 一 t 2 ) 4 w y = ( m 0 2 一 ) 4 w z = ( m o m 0 1 ) 4 w 若t r ( m ) m 。l 且m 0 0 m 2 2 ，m 分量x y 且x z 。不妨假设为此种情况，此时x 分量最大，求得四元数口= 【c 。s 罢，n s i n 尹0 = 【w ( z ，) ，z ) 】 石：昙扛i 孺再瓦可 为y = ( m 0 1 + m d ) 4 x z = ( m 0 2 + m 2 0 ) 1 4 x w = ( m 2 1 + m 1 ) 4 x 如果z 或y 分量最大，可以按同样方法处理。 2 4 3 3 四元数球面线性插值 由丁二一个旋转变换映射为一个单位四元数，整个旋转群应该射到四元数空间的单位球面上，因而插 值后所的中间值的曲线也应该在这个球面上。考虑最简单的情形，插值两个朝向关键帧。若直接采用线 性插值，则插值曲线不在球面上，结果导致中间的运动加快，为了保证稳定的旋转，必须采用球面线性 插值，即插值曲线沿着经过关键帧的大圆弧“。”。 设q ，和q ：为单位四元数，”【0 , 1 ，从9 1 到q 2 球面的先行插值记为s l e r p ( q l ，口：；“) ，则有如下公 式：脚( q 2 , q 2 ；u ) 一s i n ( 咖1 - 口u ) 型”警g ：其帕s 臼= 9 1 9 2s m s m 2 5 其它动画技术 住动画技术中除了关键帧动画技术之外还有过程动画( p r o c e d u r a lm e t h o d s ) 和运动捕获技术等方 法。其中，过程动画( p r o c e d u r a ll d e t h o d s ) 指的是用一个过程去控制物体的动画。最简单的过程动 画是用个数学模型去控制物体的几何形状和运动。过程动画技术的优点就是它具有生成交互性行为的 o 河北工业大学硕士学位论文 潜力。当然过程动画技术也有一定的局限性，首先利用过程动画很难定义一般的运动，它只适用于某些 特定类型的运动。其次由于自动的本质决定了动画师不能在动画中进行很好的细节上的控制，因此也导 致了角色动画运动缺乏表情或独特性。 运动捕获技术是通过使用称为跟踪器的专门的传感器米记录运动者的运动信息，然后我们就可以利 用所记录下来的数据来产生动画。此方法仍然存在诸多问题：首先，由于所获得的人体运动数据是通过 附着在运动者皮肤或是寝服上的跟踪器得到的，在运动者运动时会产生一定程序的移位，在某些情况下 还会引起虚拟人的运动在一定程度上的失真。其次，由于一些用于捕获运动的技术本身的局限性，导致 一些运动不能被捕获。“ 2 6 本文采用的三维动画生成方法 三维动画再生是指将捕获的三维运动信息赋予其它的动画角色( 又称为运动重定向) ，以其产生动 画效果。由于三维场景是经常变化的，因此我们_ 般不直接地将笛卡儿坐标表示的三维运动信息赋给虚 拟人，而需要将三维坐标表示的运动信息变换为采用旋转和平移表示。 因为每一个关键帧都有一系列的控制点对应于其它关键帧的控制点， 本文所采用的方法是： 1 1首先，求出各个关节点相对于虚拟人体的重心位置的相对坐标，消除遥动的平移量对虚拟人体 各关节运动的影响。 2 然后应用逆向动力学的知识得到的各个关节相对于其“父”节点的旋转角。 3 )根据虚拟人体的重心位置在不同时刻的位置变化，采用样条关键帧插值的方法对虚拟人的空间 位置进行插值。 4 )对于任意两个运动关键帧上每个关节的初始位置与利用逆向动力学得到的关节的旋转角，我们 采用四元数插值的方法进行插补，从而形成中间画面。 5 1将在每一帧求出的模型姿态按照真实情况的帧速进行渲染并进行连续播放，得到了虚拟人体模 型运动的动画。 6 1在此基础上，程序本身又能将所形成的虚拟人动画保存成a v i 文件，为后期的视频合成操作提 供必要的准备。 f 图为根据数据得到的虚拟人动画中的几个关键帧图像，图2 6 1 为原始姿势，图2 6 2 ，图2 63 ，图 26 4 为中间过渡关键帧图像，图265 为最终图像。 体育解析系统中虚拟人动作的编辑、修改及视频合成 图26 1 f i g2 6 1 图2 6 4 f i g2 , 6 ，4 图26 2 f i g2 6 2 图2 6 5 f i g2 6 5 图2 63 f i g2 6 3 河托工业大学硕士学位论文 3 1 概述 第三章运动编辑 运动编辑技术是通过对现存的运动进行改编或混合而生成新的运动。其输入为一段运动，输出为另 一段运动( 如图3 1 1 所示) 。应用上一章节讲的技术可以获得大量逼真的运动片段，如何存储这些不 同的运动片断并将它们重新利用是目前研究的重点“。 二三基垂乎运动辅嚣。 j 至虽 图3 。1 1 当教练员需要对运动员的某一时刻的动作进行修改时，往往要对各关节点逐修改。这种方法不仅 产生了巨大的工作量，而且其对关节点的调整是孤立的，忽略了前、后时刻的动作与该时刻动作的本质 联系，使调整后的动作不连贯且缺少相关性。调整后的结果常常不符合人体的真实运动情况。 为了解决上述问题，本文提出了两种算法( 基于运动自身的自相似方法和基于正态分稚的关节点曲 线调整方法) ，实现当改变某一个关节点在某一时刻的位置时，此关节点其它时刻的位置将随其作相应 的何调整。前一种方法的关键是如何使调整后的结果与调整前的原形在空间结构上尽可能的相似。第二 种方法的关键是使当前帧对前、后帧的影响按照正态分布的方式衰减。同时，本文应用逆向动力学的思 想”! ，反求出随着此关节点不同时刻位置的变化，其余关节点对应时刻的位置将作如何变化。 3 2 运动编辑的背景 既然我们可以通过关键帧技术，过程控制技术，运动捕捉技术得到肢体运动的数据，并通过重定向 定义到虚拟人上，那么为什么我们还要对运动进行编辑呢? 其原因如下： 1 )完善和整理数据：由于噪声和捕捉场景的限制，捕捉到的数据可能不是很准确，此时就需要对现有 的数据进行编辑。 2 )原始数据的重复利用：我们得到的数据只是对某一个特定场景、特定时期、特定动作的描述，在大 多数情况下我们希望将此数据进行细微的修改后再重定向到别的对象上。 3 )编辑动作，创建新动作：在对新动作的创新过程中，我们往往在已有数据的基础上，设计新的动作。 l 丽此，我制有必要对得到的数据进行修改。 1 3 体育解析系统中虚拟人动作的编辑、修改段视频合成 3 3 运动编辑的分类 根据所涉及的运动的数目不同可将运动编辑分成两大类“” ( 1 ) 单个运动内的编辑操作主要包括运动修改( m o t i o nm o d i f i c a t i o n ) ，运动重定向( m o t i o n r e t a r g e t i n g ) ，运动平滑( m o t i o ns m o o t h i n g ) ，运动风格的改变等。其中重新指定关节的位置意味 着改变人体的姿态，这是最底层的一种操作。运动修改技术将对运动数据中的非本质的属性进行交换操 作。这种操作的前提假设是运动数据依旧保持原数据的大部分本质属性不变。 ( 2 ) 多个运动之间的编辑操作主要包括运动连接( m o t i o nt r a n s i t i o n ) 和运动混合( m o t i o n b l e n d i n g ) 。和运动插值等。 3 3 1 运动修改( m o t i o nm o d i f i c a t i o n ) 在体育辅助训练解析系统中，某一个关节点自身在不同时刻的运动轨迹，在空间中绘制出一条曲线。 有时候希望将曲线上的某一点做一些细微的调整，这意味着要改变人体在某时刻的姿态。其关键在于两 个方面：其一，调整了某一点的位置以后，反映此关节点的运动轨迹上其它点的位置将作如何的改变。 其二，伴随着此关节点运动曲线的改变，其它关节点的运动曲线将作如何的调整，才能准确地反映人体 的运动特征。 对于第一种情况，我们提出了两种方法来进行解决，而对于第二种情况，我们采用逆向动力学的方 法【”。 3 3 2 基于运动自身的自相似方法 当我们从实际数据中提取运动员某一个关节点的运动曲线时，我们假设此曲线为该运动员完成该动 作的最理想的方式。即这个运动员的这个关节以此种类型的曲线完成这个动作时