（计算机应用技术专业论文）运动捕捉数据辅助训练的应用研究.pdf

运动捕捉数据辅助训练的应用研究：摘要 摘要 运动捕捉是指通过传感设备记录人体在三维空间中的运动轨迹，并将其转化为抽象运 动数据，然后根据这些数据驱动虚拟人运动。 近年来，国外对于运动捕捉进行了大量的研究工作，并开发出了许多运动捕捉方面的 系统。但是这些运动捕捉系统普遍昂贵，性价比不能满足国内需求。国内有一些科研机构 也在从事运动捕捉的研究，然而，国内的类似系统绝大多数都是通过相机捕捉图像，没有得 到准确的三维运动参数，处理过程仍要凭感性经验进行人工干预。因此开发出性价比能够 满足国内需求的三维运动捕捉系统十分必要。 本文在计算机科学联合研究院开发的具有自主知识产权的空间信息采集装置 “t r i - e y e ”的基础上，针对实时性和真实性两大关键，在保证实时性的基础上对精度问 题的处理达到了一个新高度，并将空间信息采集装置应用于体育训练中，生成一个实用的 运动捕捉训练演示系统。 本文第一章综述了提高运动捕捉的真实性和实时性的意义以及运动捕捉设备的发展 现状，分析了对运动捕捉的一致性造成影响的各种因素并讨论了其中的一些需要进一步研 究的问题。同时对辅助训练系统的实现策略进行了介绍。 第二章在分析了散乱数据拟合原理的基础上，比较了各种拟合方法的优劣，提出了一 种基于搜索的分层多重拟合算法，详细说明了该算法的实现过程并给出了实验结果。 第三章通过分析国内外的摄像机标定方法，提出了一种适用于本系统的外标定算法， 以确定空间信息采集装置在世界坐标系中的三维位置和方向，从而得到采集数据的世界坐 标。文中详细说明了该算法的实现过程并给出了实验结果。 第四章通过对各种虚拟人模型的研究，确定了本系统与被训练者匹配的八面体模型， 并对该模型进行了实时驱动显示。接着，本章分析了开源骨骼动画引擎( c a l 3 d ) ，提出了 生成运动捕捉数据文件( c s m ) 的策略。本章最后研究了由运动捕捉数据文件向c a l 3 d 支 持的文件格式的转化方法，以方便利用c a l 3 d 来逼真的实现被训练者的动作。 第五章通过研究著名运动捕捉装置辅助训练系统，得出本系统进行打高尔夫球辅助训 练的方法，详细说明了这些方法的实现过程，给出运动捕捉数据辅助高尔夫训练的结果， 从而指导被训练者改正不良姿势。 最后，在第六章中，对仍然存在的问题进行了深入的探讨，并对以后的研究给予了一 些具体的建议。 关键词：运动捕捉，辅助训练，虚拟人，标定 运动捕捉数据辅助训练的应用研究：a b s t r a c t a b s t r a c t m o d o nc a p t u r ei st 0r e c o r dt h em o t i o ni r a c ki nt h r e ed i m e n s i o n sb ys e n s o rd e v i c e s ，t o t r a n s f o r mi tt om o t i o nd a t a , a n dt h e nt od r i v et h ev i r t u a lh u m a nt om o v eb a s e do nt h e s ed a t a i nr e c e n ty e a r s ，t h e r ea r eal o to f w o r k sd o n eo nt h em o t i o nc a p t u r eo u t s i d en a t i o na n dm a n y s y s t e m so nm o t i o nc a p t u r eh a v eb e e np r o v i d e dt ol l s c b u ta l lo ft h es y s t e m sa r es oe x p e n s i v e t h a tf e wi n s t i t u t e so rc o m p a n i e si no u rc o u n t r yc a na f f o r d af e wi n s t i t u t e si no u rc o u n t r yh a v e b e e ne n g a g i n gi nt h eb u s i n e s sf o rs e v e r a ly e a s ，h o w e v e r , t h ei m a g e sc o l l e c t e db yt h es y s t e m m a d eb yt h e ma r eo r p l a n a ra n dh a v en ot h r e e - d i m e n s i o n a lm o t i o np a r a m e t e rb e c a n s et h e i m a g e sa r ec a p t u r e db yc a m e r a sa n dh a v et ob ed i s p o s e do ns e n s i b i l i t ye x p e r i e n c e a sar e s u l t ，i t i sv e r yn e c e s s a r yt od e s i g na3 dm o t i o nc a p t u r es y s t e mb yo u r s e l v e st of u l f i l lt h ei n t e r n a l d e m a n d b a s e do n “t r i e y e w h i c hi sad e v i c ec o l l e c t i n gs p a t i a li n f o r m a t i o nm a d eb yc f i lt h i s d i s s e r t a t i o na i m sa tr e a l - t i m ea n dr e a l i t y , r e a c h e san e wp r e c i s i o nl e v e li nf o u n d a t i o no f g u a r a n t e e i n gi t sr e a l t i m e ，a n dn s e st h ed e v i c et oa s s i s tt r a i n i n g ，a n dc r e a t ea na p p l i e dt r a i n i n g s y s t e mb a s e do nm o t i o nc a p t u r e t h es i g n i f i c a n c eo fa d v a n c i n gt h er e a l i t ya n dr e a lt i m eo fm o t i o n - c a p t u r ei ss u m m a r i z e da n d t h ed e v e l o p m e n ta c t u a l i t yo ft h em o t i o n - c a p t u r es y s t e m si sd e p i c t e di nt h ef i r s tc h a p t e r t h e f a c t o r st h a tm a yd e m o l i s ht h ec o n s i s t e n c yo fm o t i o nc a p t u r ea n ds o m ep r o b l e m sn e e d e df l l r t h g t r e s e a r c ha r ea r g u e di nt h i sc h a p t e r a l s o ，t a c t i c sf o ri m p l e m e n t i n gt h ea s s i s t - t m i m n gs y s t e ma r e i n t r o d u c e dh e r e b ya n a l y z i n gs c a t t e r e dd a t af i t t i n gt h e o r y , t h es e c o n dc h a p t e rc o m p a r e ss e v e r a ld a t a - f i r i n g m e t h o d s ，p r o p o s eal a y e r e da n dr e p e t i t i o u sd a t a - f i r i n ga l g o r i t h mb a s e do ns e a r c h i n g ，e x p l a i nt h e a l g o r i t h mi nd e t a i la n dp r e s e n tt h ee x p e r i m e n t a lr e s u l t s b ya n a l y z i n gc a l i b r a t i o nm e t h o d st ov i d i c o n sa th o m ea n da b r o a d t h et l l i r dc h a p t e rp u t s f o r w a r da no u t s i d ec a l i b r a t i o na l g o r i t h mu s e di nt h i ss y s t e m t h ea l g o r i t h mi su s e dt oa s c e r t a i n t h et h r e e d i m e n s i o n a lp o s i t i o na n dd i r e c t i o ni nt h ew o r l dr e f e r e n c ef r a m eo ft h es p a t i a l i n f o r m a t i o nc o l l e c t i o nd e v i c ea n di no r d e rt og e tt h ew o r l dc o o r d i n a t oo f t h ec o l l e c t i n gd a t & t h e c h a p t e re x p l a i n st h ea l g o r i t h mi nd e t a i la n dp r e s e n t st h ee x p e r i m e n t a l r e s u l t s a f t e rs t u d y i n gv a r i o u sm o d e l so fv i r t u a lh u m a n s ，a l lo c t a h e d r o nm o d e li ss e l e c t e di nt h i s s y s t e ma n dt h eo c t a h c d r o nm o d e li sd r o v et od i s p l a yi nar e a lt i m ei nt h ef o r t hc h a p t e r a n da f t e r a n a l y z i n gt h ee l l g i n g 一一c a l 3 d ，t h i sc h a p t e rp u t sf o r w a r da t a c t i ct oc r e a t ec s mf i l e i nt h ee n d l 运动捕捉数据辅助训练的应明研究：a b s t r a c t o ft h ec h a p t e r , ad a t at r a n s f o r mm e t h o df r o mc s mt of i l e so fc a l 3 di sn a r r a t e di no r d e rt os h o w t h et r a i n e e sa c t i o nt h r o u g hc a l 3 d t h ef i f t hc h a p t e re x c o g i t a t e ss o m em e t h o d st oa s s i s tg o l ft r a i n i n gb a s e do na n a l y z i n go t h e r a s s i s t - t r a i n i n gs y s t e m sw i t hm o t i o n c a p t u r ed e v i c e s t h e s em e t h o d sc a l lb eu s e dt oc o r r e c tt h e i n c o 力c tg e s t u r e so f t h et r a i n e e f i n a l l y , t h e 矿c h a p t e ra r g u e dt h ep r o b l e m s t h a ts t i l le x i s th o m e 。a n dg i v e ss o m ea d v i c e sf o r l a t e rr e s e a r c hi nd e t a i l k e y w o r d s ：m o t i o nc a p t u r e ，a s s i s tt r a i n i n g ，v i r t u a lh u m a n ，c a l i b r a t i o n 第一章绪论 1 1 引言及背景 第一章绪论 运动捕捉( m o t i o nc a p t u r e ) 是指通过传感设备记录人体在三维空间中的运动轨迹，并 将其转化为抽象运动数据，然后根据这些数据驱动虚拟人运动【l l 。为了达到虚拟人运动与 控制的目的，通常还需要对运动捕捉数据进行编辑与合成。同时，运动编辑与合成还可以 提高运动捕捉数据的可重用性，建立超乎实际的运动、突出次要运动以及生成新的复杂运 动等。 近年来，国内外对于运动捕捉进行了大量的研究工作。美国n p s ( t h en a v a l p o s t g r a d u a t es c h 0 0 1 ) 的m o v e s 部门在从事人体跟踪技术的研究，以求提供一个自然的、 与网络虚拟环境的沉浸式融合。包括基于关节的身体运动研究、惯性运动跟踪研究、移动 装置研究、虚拟环境中人体建模的研究等。美国斯坦福国际研究所已成功研制出远程手术 医疗系统。医生对病人模型进行手术，他的动作通过卫星传送到远处的手术机器人。手术 的实际图像通过机器人上的摄像机传回医生的头盔立体显示器，并将其和虚拟病人模型进 行叠加，为医生提供有用的信息。 到目前为止，国外的许多公司都有运动捕捉方面的产品：如法国b i o g e s t a 公司的 “s a g a - 3 ”3 dm o v e m e n ta n a l y s i ss y s t e m s ，美国c h a r n w o o dd y n a m i c sl t d 的c o d a r e a l t i m ea u t o m a t e d3 dm o t i o nt r a c k i n gs y s t e m ，意大利e m o t i o n 公司的s m a r tm o t i o n c a p t u r es y s t e m ，英国v i c o n 公司的v i c o n 系列产品，美国m o t i o na n a l y s i sc o r p o r a t i o n 的 m a cr e a l t i m es y s t e m s ，加拿大p h o e n i xt e c h n o l o g i e si n c 的t h ev i s u a l e y e z r 。s y s t e m 。加拿 大k a y d a r a 公司开发的f i l m b o x 是一个综合的具有工业标准的软件，紧密地联系着运动捕 捉数据和三维建模软件，成为最流行的影视游戏创作工具【2 】。 然而，以上这些运动捕捉系统普遍昂贵，性价比不能满足国内需求。国内有一些科研 机构也在从事运动捕捉的研究：中科院自动化所在进行数字手套的研究；同济大学计算机 科学与工程系正在开发基于光学的运动捕捉系统，可以用两个摄像机进行捕捉，但精度不 够，下一步就是要增加摄像机的个数，以提高捕捉的精度；大连东锐软件有限公司、北京 迪生通博科技有限公司正在大力研发具有自主知识产权的光学运动捕捉系统。但国内的针 对于人体全身的运动捕捉产品，在真实性和实时性上还需要进一步提高。因此在国内开展 此类研究，开发具有自主知识产权的运动捕捉系统是很有发展前景的。 运动捕捉系统可以应用于很多领域，尤其是随着2 0 0 8 中国奥运会进入倒计时阶段，越 第一章绪论 来越多的团体或机构将运动捕捉应用于体育训练中。运动捕捉系统应用于体育训练中，可 以帮助教练员从不同的视角观察和监控运动员的技术动作，并大量地获取某类技术动作的 运动参数及生理生化指标等数据，从而统计出其运动规律，为科学训练提供标准规范的技术 指导。通过实时的运动捕捉技术对训练中出现的问题进行技术诊断与分析，并以视频和图像 以及量化的数据等方式反馈给教练，为教练员提供科学、准确、定量的依据和量化的训练 指标。从而使教练员研究和改进训练方法直至提出新的改进训练意见，使教练员能够有的放 矢地纠正运动员的技术动作，大大提高训练效果，使体育训练摆脱纯粹的依靠经验的状态，进 入科学化、数字化的时代。运动捕捉技术广泛的应用于田径、高尔夫、曲棍球、举重、铁 饼、赛艇等项目p 】。 到目前为止，国内外的许多公司都有训练辅助产品，然而，这些产品都存在不足之处： ( 1 ) 绝大多数都是通过相机捕捉图像，然后对采集到的视频进行分析、处理、发布。 相机得到的为二维图像，仍没有得到准确的三维运动参数。 ( 2 ) 处理过程是通过对图像进行手动加点来完成。也就是仍要凭感性经验进行人工 干预。 ( 3 ) 因研制成本很高，价钱都比较昂贵。 因此，自主开发真正基于动作捕捉的运动训练系统是很有必要的。 我们计算机科学联合研究院开发了具有自主知识产权的空间信息采集装置“t r i e y e ” ( 如图1 1 ) 。采用了基于主动式标志的光学跟踪方案，目前已能够针对人体全身进行运动 捕捉。但是，实时性和真实性是运动捕捉的两大关键，因此，本课题“运动捕捉数据辅助 训练的应用研究”从实际硬件采集得到的原始数据入手，在保证实时性的基础上对精度问 题的处理力争达到一个新高度；并将空间信息采集装置应用于体育训练中，生成一个基于 运动捕捉的实用的训练演示系统，此处以高尔夫球训练演示系统为例。 图1 。1“t r t - e y e ”示意豳 2 第一章绪论 1 2 国内外发展现状 1 2 1 捕捉方式的发展 虚拟环境的空间跟踪目前主要是通过头盔显示器、数据手套、数据衣等交互设备上的 空问传感器，确定用户的头、手、躯体或其他操作物在三维虚拟环境中的位置和方向。对 于基于全身的运动捕捉，归纳起来可分为五种：机械方法、惯性跟踪方法、电磁方法、 声学方法、基于光学的方法。 其中基于光学的方法又细分为三类： ( 1 ) 基于被动式标志( p a s s i v em a r k e r ) 的光学方法： 在人体有关部位贴上m a r k e r ，由传感器( 一般为红外c c d ) 对m a r k e r 空间数据进行 采集记录，再由m a r k e rt r a c k 算法对m a r k e r 进行跟踪，然后进行运动重构。其中以v i c o n m o t i o nc a p t u r es y s t e m s 和m a cr e a l t i m es y s t e m s ( m o t i o n a n a l y s i sc o r p ) 最出色。 ( 2 ) 基于主动式标志( a c t i v em a r k e r ) 的光学方法： 在人体有关部位贴上m a r k e r ，由每个m a r k e r 主动发光，由传感器( 一般为c c d ) 对 m a r k e r 空间数据进行采集记录，再根据各m a r k e r 的特性如发光频率可以判别m a r k e r 身份， 然后再进行运动重构。以n o r t h e r nd i g i t a l 和a d a p t i v e0 p t i c s a s s o c i a t e s 最为出色。这种方 法比基于被动式标志的光学方法稍贵，且会对人的运动造成一定约束，但是不需要人工干 预。 ( 3 ) 基于无m a r k e r 的纯v i s i o n 视频方法： 用摄像机对表演者进行拍摄，依靠光流分割、运动检测等视频图像处理技术，实时地 将用户的影像从其所处的背景环境中分离出来，实现对诸如头部、四肢等身体各部位运动 的跟踪，达到运动捕捉的目的。麻省理工学院媒体实验室( m i tm e d i al a b ) 开发了人体运 动跟踪系统p f i n d e r ，实现了静态复杂背景下的实时用户运动跟踪，并且能够克服短暂的光 照变化和遮挡等因素的扰动。日本a t rm i c 实验室研究的“v i r t u a lk a b u k is y s t e m 也是 通过视频对象运动跟踪技术实现了面部表情与身体动作的实时跟踪。这种基于纯v i s i o n 的 运动捕捉还刚刚起步，该方法使用起来最方便，对表演者的约束最少，但是技术还很不成 熟，需要手工标点，捕捉的精度很低。现在普遍用于运动的跟踪和识别阶段。 总之，基于光学的捕捉方法优点在于活动范围大，对表演者运动的影响小，但是价格 贵，标定复杂，且对场地仍有要求，其中基于无m a r k e r 的纯v i s i o n 视频方法还很不成熟且 精度不高。而基于被动式标志的光学方法由于m a r k e r 问的混淆现象，还离不开人工的干预 后处理。 综上，目前普遍采用的是基于电磁的捕捉设备和基于光学的捕捉仪，其精度有相应保 3 第一章绪论 证，也为一致性提供了基础。为了减低成本和减小人工干预性，保证实时性和精度，我们 的系统最终采用了基于主动式标志的光学跟踪方案。 下图1 2 为光学运动捕捉的基本示意图【4 】： 穿着光学- a 畦硼自表演看 运动输入 ；b 人的骨桨及实体模型 捅提系统处理框架 图1 2 光学运动捕捉基本示意图 如下图1 3 为一般的光学运动捕捉软件处理的示意图【4 1 ： 图1 3 光学运动捕捉软件处理的示意图 1 2 2 运动捕捉设备的发展现状 最终的虚拟人 运动输出 对于运动捕捉的研究已经有几十年的历史，经历了一个技术上由简到繁，使用上由繁 到简的过程，从基于机械的运动捕捉设备，到基于电磁或超声波的电子设备，再到基于光 学的捕捉仪，再发展到现在基于纯v i s i o n 的运动捕捉与识别。捕捉的方式和s e n s o r 的选择 也得到了广泛研究。其中光学运动捕捉系统以其快速，安全，准确，方便等优点，被广大 的科研工作者所采用。学者们朝着提高实时性，提高捕捉精度，提高自动化程度，减少对 表演者的阻碍，降低成本的方向不断努力。在计算机动画，计算机图形学等相关领域的国 际会议上都有关于运动捕捉的讨论，9 8 年后还专门举行了针对运动捕捉的国际会议 c a p t e c h 9 8 。长期以来，各公司机构努力将研究成果转化成产品。到目前为止，国外的许 4 第一章绪论 多公司都有运动捕捉方面的产品： 英国c h a m w o o dd y n a m i c s 公司在3 维追踪领域处于领导地位，c o d a m o t i o n 是 c h a r n w o o dd y n a m i c s 的旗舰产品，是一款实时性的动作捕获和分析系统。 英国v i c o n 公司的v i c o n m x 系统利用网络连接的运动捕捉摄像机和相应设备( p c 主 机、m xn e t 等) 来捕捉实时的光学数据。这些数据可以广泛的应用于运动捕捉相关的分 析、应用领域，其中涉及医疗、工程以及娱乐制造等多方面产业。v i c o nm x 提供基于 d y n a c a l 系统的纯动态校准结构，并通过硬件完成全自动三维数据重建、跟踪器自动识 别等功能。另外，v i c o n m x 是目前所有运动捕捉系统中唯一具有可编辑插件功能的系统。 美国m o t i o n a n a l y s i s 公司( m a c ) 是全球最大的以光学动作捕捉系统为基础的高性能 电脑生产商，专业为用户提供3 d 光学动作捕捉系统。成熟的m o t i o na n a l y s i s 数字影像捕 捉分析系统已经为全球近千用户提供了完善的解决方案，涉及动画制作、运动分析和工业 测量与控制等广泛领域。 美国p o l h e m u s 公司是全球专业的六自由度运动捕捉厂商，凭借其领先的电磁测量和数 字化技术，2 0 多年来一直为虚拟现实、动画制作、体育训练、军事仿真、虚拟手术、考古 等各行业提供精确的动态数据采集设备，其经典的产品f a s t t r a k 是一种使用在非金属 物体上的快速动作捕捉器，取样频率可达每秒1 2 0 次，适用于头部追踪、手部追踪、仪 器追踪、生化机械分析、图像及光标控制、机械臂动作捕捉、数字化与指引等方面的使用。 不但能准确地计算接收在空间中移动的位置跟方位，测量时也能自动修正讯号延迟的问 题。 法国b i o g e s t a 公司的“s a g a 3 ”三维运动分析系统是用至少两台摄像机来跟踪贴在 人的皮肤或紧身衣上的m a r k e r 点，从而计算出任意复杂运动中各m a r k e r 点的三维坐标。 i m m e r s i o nt e c h n o l o g i e s 公司是数据手套方面的先驱者，其生产的产品广泛应用于虚拟 现实、电脑辅助设计、动画制作、电脑游戏、培训、手语认证等各个领域。 然而，以上这些运动捕捉系统普遍昂贵，性价比不能满足国内需求。 国内有一些科研机构也在从事运动捕捉的研究：中科院自动化所在进行数字手套的研 究；北航虚拟现实新技术教育部重点实验室自主研制了人体运动数据采集设备数据 衣；同济大学计算机科学与工程系正在开发基于光学的运动捕捉系统，可以用两个摄像机 进行捕捉，但精度不够，下一步就是要增加摄像机的个数，以提高捕捉的精度；大连东锐 软件有限公司、北京迪生通博科技有限公司正在大力研发具有自主知识产权的光学运动捕 捉系统。但国内的针对于人体全身的运动捕捉产品，在真实性和实时性上都还需要进一步 提高。 第一章绪论 1 2 3 对于提高运动捕捉数据一致性的研究现状 ( 1 ) 对摄像机的标定技术【5 1 在运动捕捉领域，德国s i m ir e a l i t y m o t i o ns y s t e m 公司的s i m im o t i o n 系统对 于3 d 运动的分析需要两台面阵摄像机来记录，运动空间要由标定框架进行标定；同样， v i e o n 的多台摄像机也要进行标定才能工作，也需要标定架，前提是已知该标定架上各点 间的关系。 摄像机标定是运动跟踪的初始环节，影响运动跟踪的系统误差。在从二维图像信息计 算三维空间结构的过程中，要利用视点的位置信息和视点的朝向信息，因此需要知道摄像 机的各种参数，包括内部参数和外部参数，建立几何模型，从而实现三维重建。 摄像机标定主要可以分为两大类：确定摄像机内部几何( i n t r i n s i cp a r a m e t e r s ) 和光学 特性( 内部参数) 以及确定摄像机在一个世界坐标系中的三维位置和方向( 外部参数， e x t r i n s i cp a r a m e t e r s ) 。 摄像机标定的方法主要分为传统的摄像机标定方法和摄像机自标定方法。 摄像机内标定技术在实际的应用过程中非常的方便，通常仅需要给定摄像机位移前后 的图像信息，这样就可以利用场景的刚性得到摄像机内部参数的两个约束条件。因此，如 果使用一个摄像机在不同位置下拍摄同一个场景的几幅图像，而且在此过程中摄像机的内 部参数保持不变，那么利用这几幅图像之间的对应关系就可以重建3 d 空间结构了。l i s a d r o n 6 1 提出了一种最小平方算法，通过计算运动序列进行内标定的方法。l i 7 1 的方法是用 活动的物体来决定摄像机的内部参数。他们利用了场景中的平面信息，当场景中的物体进 行正交平面运动时，摄像机就得到一个特定值，然后通过这些特定值计算其内部参数。 摄像机外标定技术在实际的应用中也有很多实用的方法。 但是，基于线阵c c d 的光学系统的标定因具有更多的参数而显得更为复杂。需要在 光学公式的基础上，进行参数搜索，来得到确切的c c d 参数值。 佗) 数据插值方法 为实现如训练中可能需要的连续比较、以及慢动作等需求，需要对关键帧进行插值。 人体是一种关节链结构，其状态可用根关节的平移和所有关节的旋转表示。平移即是一般 的三维向量，旋转可用旋转矩阵，欧拉角或四元数来表示。因此，根关节的平移用一般的 线性插值，对所有关节的旋转的插值可分为旋转矩阵插值，欧拉角插值和四元数插值。 旋转矩阵方法：假设任意旋转轴为归一化的向量r 有一个绕r 轴旋转的角度，求旋转矩阵， 如图1 4 ： 首先找到另外2 个单位向量s 和t , r , s 和t 两两正交，组成一个基坐标系； 改变基坐标为标准坐标，用旋转矩阵表示： 6 第一章绪论 绕x 轴旋转a 角，用旋转矩阵r ( a ) 表示； 再逆变换回基坐标，用旋转矩阵m 。表示； 旋转矩阵x = m - 1 r i ( d ) m = m t r x ( ) m 。 图1 4 旋转矩阵绕任意轴的旋转 欧拉角方法：欧拉角是用来唯一地确定定点转动刚体位置的三个一组独立角参量，由 章动角0 、进动角v 和自转角巾组成，为l 。它们有多种取法，一种是三轴设定法，例如： 在起始的时候，动坐标系的三个轴x o ，3 0 和z o 与固定坐标系的三个轴x ，y 和z 轴分别重合。 第一次转动采取动坐标系绕z o 转过n 角，达到新的坐标系x 1 y l z l ；第二次转动将动坐标系 绕y 1 轴转过b 角达到新的坐标系x 2 y 2 2 2 ；第三次转动坐标系绕新的x 2 轴转过y 角到达最终 的位置x y z 。这整个三次转动过程记为z - y - x 的转动方式，三次转动绕不同名称的三个轴。 欧拉角描绘物体运动的另一种方法是两轴设定法，例如z y - z 型，三次先后转过中，0 和 v ，见图1 5 。与z + y - x 型的不同只是它的第三次转动是将动坐标系x 2 y e z 2 不是绕x 2 轴而 是绕z 2 轴转过一个角度。即第一和第三的两次转动绕同一名称的轴来转动，如第一次绕z o 轴转动，第三次绕z 2 轴，三次转动绕了不同名称的两个轴峭】。 氨对睡。) 蕞站 意 图1 5z - y - z 型欧拉角 四元数方法： 四元数是一个四维的矢量，如下： q = w x ，y ，庐 其复数形式如下： q = w + x i + y j + z k 7 第一章绪论 fm l u t ( q ) 一孔圬+ 司) 2 ( 凡一k ) 2 ( 舀+ ) o i 。 麓：曩絮蔫审盘铡正，0 。i 1 0 1 ” 砒删劬删m o a u q 。q 、? j lo u j m o d u l ( q ) = 1 时，矩阵q 即为旋转矩阵。 1 2 4 各种高尔夫辅助训练系统 近年来，国内外对于如何通过分析挥杆动作来提高高尔夫成绩进行了大量研究： 美国宾西法尼亚州费城的g a r yb r o o k s 领导的团队【9 l 直从事高尔夫挥杆分析系统的 研究，并开发出标准版和专业版的高尔夫挥杆分析系统。他们用一台高速摄像机采集挥杆 时的视频，并对其进行手工标定，以便与标准动作进行比较。 m o t i o n c o a c h 是由加拿大著名的体育软件开发公司m e d i a v e n t i o n 开发的“动作教练” 的体育动作分析软件，对体育运动中学员的动作进行记录处理和分析。m o t i o n c o a c h 软件 主要用于高尔夫运动领域的视频采集、分析、处理、以及发布等等。1 3 2 版本的m o t i o n c o a c h 是最高级和完善的挥杆动作开发系统。解决方案提供了更好的价值，以及融入了更多的专 家的经验。它是一个完整的高尔夫指导解决方案。 d a r t g o l f e r 是由世界闻名的体育分析软件开发公司瑞士的d a r t f i s h 公司研制的， d a r t f i s h 公司主要致力于利用高科技的方法提供给运动员更科学更有效率的方法提高水 平。d a r t f i s h 公司出品的d a r t t r a i n 运动分析软件被十分广泛的应用于世界各地体育协会( 包 括中国) 的日常训练中。d a r t g o l f e r 就是专门面向高尔夫分析和提高的软件。此软件支持 两个摄像机同时采集动作视频，这样使用者就可以同时得到正面和侧面的挥杆动作了。并 且可以快速的回放采集的视频【1 0 l 。 第一章绪论 北美球具和球生产商t a y l o r m a d e 研发并推出一种叫做m a t t - t ( 动作分析科技) 的教学 系统【l l 】，主要是用于帮助选手适应球具并且培训他们的挥杆动作，如今被美国p g a 教学 中心采用。它使用了高速数码相机，把一些轨迹追踪标记贴在球员身上，当他挥杆的时候， 电脑记录并且追踪着每一个点的轨迹，然后显示在电脑屏幕上。不过对于这个系统来说， 想要得到推广，最大的问题依然是成本。p g a 教学中心总监里克。马蒂诺说他们在这套仪 器上花费了5 0 万美元。而这个系统未来的发展也将取决于成本能够在近期得到下调。 加拿大f o c f l t r o n 有限公司第一个将激光技术应用于高尔夫挥杆分析设备，开发了g o l f a c h i e v e r 系统。它可以通过激光测量球手的挥杆路径、球速、起飞角度等参数，记录下这 些数据，提供给教练，展示结果给学习打球的人，让教学工作变得更加方便、直观、更具说 服力。g o l f a c h i e v e r 还给球具销售者和购买者提供了详细的球手信息、挥杆和击球结果报 告，让球杆的选择过程变得简捷、易于理解、参与性更强。 韩国g o l f z o n 公司是一家专门开发3 d 高尔夫模拟系统的公司，其开发的挥杆分析 仪内置2 7 万像素的摄像机，可以录制自己正面侧面的挥杆动作并给予分析；其开发的挥 杆分析系统可以分析使用者击打球瞬间的杆面情况，并可以准确的分析左曲球和右曲球及 距离。 d i g i c o a c h i i 视频分析系统是由北京盈智恒信科技有限公司针对高尔夫领域专门开发 触摸式操作的计算机视频分析系统。主要功能是利用高速摄像头将练习者的击球动作录制 成视频文件，通过计算机进行慢放、定格、放大、标注等处理。使练习者获得直观的视觉 反馈，便于针对性的进行改正，极大的方便了各种体育教学1 1 0 】。 深圳市赛银远古公司与深圳市匹奔体育用品有限公司合作，引进研制了高尔夫击球数 码分析系统，并结合目前国内的实际教学经验，在国内开发了一套纯中文版a l 高尔夫数 码击球影像挥杆分析系统，将传统教学和现代西方高尔夫教学理论相结合，并融合现代高 科技信息处理技术。 大连东锐软件有限公司开发的图像解析式高尔夫球辅助训练系统( g t r s - 1 ) 是通过一 台相机捕捉图像，通过对图像进行手动加点处理计算出选手特定关节点在某一时刻的速 度、加速度、角度、角速度。然后通过与模板数据的比较加以纠正，提高高尔夫球选手的 水平。通过画辅助基准线的形式，可以直观看到选手在运动过程中身体的位姿变化【1 2 j 。 1 3 本系统方案的概述 本实验室的系统所采用的采集方式为主动式的光学捕捉方式。具体说明如下： ( 1 ) 系统对单个m a r k c r 的采集 系统通过3 个线阵c c d ( 注：c c d 设在一个架子上，每个架子上一个纵向c c d 两个 9 第一章绪论 横向c c d ) 对空间中的发光标志m a r k e r 进行跟踪，将c c d 上的数据通过u s b 传送到上 位机进行处理。如图1 6 为系统实景： 图1 6 全局照片 ( 2 ) 一帧人体运动数据的采集 对整个人体运动数据的采集是建立在对单个m a r k e r 的采集基础上的。 首先在人身上合理的位置贴上m a r k e r 点，由l e d 来实现，共2 6 个，位置如图1 7 ： 图1 7 正在采集的表演者 i o 第一章绪论 然后用无线发射接收装置来控制这些m a r k e r 依次发光； 通过主机与从机间的同步来保证采集数据的时序性，让所有c c d 都对当前发光的 m a r k e r 进行采集，不漏采也不重采； 在1 2 4 秒内获得所有2 6 个m a r k e r 在各c c d 中的对应数据( 即一帧数据) ； 然后通过u s b 传送到上位p c 机进行后续处理生成人体运动。 具体后续处理过程 利用同架三个c c d 的数据进行一维数据到三维数据的转换，生成m a r k e r 空间坐标； 对空间信息采集装置进行内标定； 对空间信息采集装置进行外标定； 然后建立标准运动信息； 之后根据运动参数对建好的人体模型进行驱动，生成姿态； 最后判别标准运动信息与实际运动信息的误差，并据此对人体运动予以指导。 如下图1 8 是本系统的框图：! 一、 图1 8 本系统流程图 设 备 预 处 理 第一章绪论 1 4 本论文的组织结构 本论文以提高运动捕捉的真实性和实时性并将其应用于辅助训练为目的。 在第一章中综述了提高运动捕捉的真实性和实时性的意义，将运动捕捉应用于体育训 练的意义，以及运动捕捉设备的发展现状。分析了对运动捕捉的一致性造成影响的各种因 素并讨论了其中的一些需要进一步研究的问题。同时还给出一些高尔夫辅助训练系统。最 后对本系统进行了概述。 接下来几章以应用运动捕捉装置采集到的数据制作一个高尔夫训练演示系统为目的， 研究了其中提高运动捕捉数据一致性、驱动显示虚拟人、对误差进行判别并给予相应指导 的方法策略。 第二章和第三章研究了提高运动捕捉数据一致性的方法。 最终要生成的高尔夫训练演示系统，需要一个能得到准确三维坐标的运动捕捉系统， 而已有的空间信息采集装置的还不能满足此要求，因此需先对其进行内标定。第二章在分 析了散乱数据拟合原理的基础上，比较了各种拟合方法的优劣，提出了一种基于搜索的分 层多重拟合算法，详细说明了该算法的实现过程并给出了实验结果。空间多点信息采集装 置采集到的数据是以支架中心为坐标原点的，随着支架摆放位置、俯仰角的变化，数据本 身有很大变化，而本系统要得到一个固定位置固定角度的数据，因此，需要对采集装置进 行外标定，确定它在一个世界坐标系中的三维位置和方向，从而得到采集数据的世界坐标。 第三章分析了国内外对摄像机标定的方法，提出了一种适用于本系统的外标定算法，详细 说明了该算法的实现过程并给出了实验结果。 经过在第二章和第三章中描述的两个步骤后，“t r i e y e ”已可以对人体进行真实地运 动捕捉。 第四章首先对各种虚拟人模型进行研究，通过对其优缺点地比较来确定本系统所用的 与被训练者匹配的八面体模型。之后，对该模型进行实时驱动显示。接着，本章分析了开 源骨骼动画引擎( c a l 3 d ) ，提出了生成运动捕捉数据文件( c s m ) 的策略。最后，研究了 由运动捕捉数据文件向c a l 3 d 支持的文件格式的转化方法，并利用其来逼真的重现被训练 者的动作。 第五章首先分析了运动捕捉设备在体育训练中的作用，然后通过研究著名运动捕捉装 置辅助训练系统而得出本系统进行打高尔夫球辅助训练的方法，并实现这些方法，给出运 动捕捉数据辅助高尔夫训练的结果，从而指导被训练者改正不良姿势。 最后，在第六章中，对整个论文进行了总结，并给出了将来的研究方向。 第二章空间信息采集装置的内标定算法的研究与实现 第二章空间信息采集装置的内标定算法的研究与实现 目前，我们自主开发的运动捕捉设备“三眼”系统，采用了基于主动式标志的光学跟 踪方案，其中主要用到了线阵c c d 。为了最终生成高尔夫训练演示系统，需要一个能得到 准确三维坐标的运动捕捉系统，也就是需要从c c d 的一维坐标正确地还原出物体的三维 坐标。这些均需要对光学镜头成像系统的各种参数进行标定。然而，这种标定是很复杂的， 特别是由于镜头制造和各部件装配误差，使得这个线阵c c d 光学成像系统有一定的扭曲 变形，目前各种标定算法都不理想。因此，为精确地建立“三眼”系统采集的原始数据坐 标与实际三维坐标之间的关系，需要进行数据拟合。但是，由于系统采集数据的坐标值与 实际坐标值不一致的规律性很不明显，本文借助于对散乱数据的处理方法，并在其基础上 进一步改进提高，提出一种基于搜索的分层多重拟合算法，并实际应用到我们的系统中。 在本章中，首先分析了大家一般采用的散乱数据拟合和插值的方法，然后提出了一种新的 散乱数据拟合算法基于搜索的分层多重拟合算法。最后给出了该算法实验结果和分 析。 2 1 现有散乱数据处理方法及问题 散乱数据指的是在二维平面域或三维空间中随机分布的抽样数据点。散乱数据主要来 源于三个方面：一是物理量的测量数据；二是科学实验所得到的数据；三是科学计算或工 程计算的结果数据“。 散乱数据拟合或插值是指用一个光滑的曲面或曲体来逼近或通过这一系列无规则的 抽样数据点。将散乱数据进行插值或拟合有着广泛的应用领域。早在2 0 世纪6 0 年代，散乱 数据的插值问题就已经引起人们的注意，并提出了很多方法，包括：d e l a u n e y 三角划分拟 合曲面法、s h e p a r d 方法、有限元方法、两步拟合法、径向基函数插值法、基于网格细分 ( s u b d i v