运动捕捉舞谱技术方案

年4月19日运动捕捉舞谱技术方案文档仅供参考，不当之处，请联系改正。基于运动捕捉数据的拉班舞谱生成科研分析学院音乐系工号教师完成日期.3.8目录前言 5一、行业发展现状 5二、运动捕捉系统 5三、BVH文件 9四、基于BVH文件的拉班舞谱自动生成算法 10五、运动数据转换为舞谱 10六、系统功能实现 13前言项目主要目的是经过使用运动捕捉数据BVH(BiovisionHierarchicalData)文件作为原始数据，经过解析BVH文件的骨架层次结构，量化运动方向与时间，自动地生成与其相对应的拉班舞谱。项目流程图：

采购运动捕捉系统采购运动捕捉系统（国外设备或国内设备舞蹈老师运动捕捉BVH文件骨架数据分析欧角拉数据转化生成拉丁舞谱一、行业发展现状随着创意产业的发展，人体运动捕捉技术成为了研究的热点。它为动画和游戏的制作提供了新的途径。同时，这种技术也产生了更广泛的应用，不但仅能够捕捉人体的运动，还能够捕捉动物设置机器设备的运动情况。当前业界没有舞谱自动生成系统，只有学术性的研究，没有实质的科研。运动捕捉系统二、运动捕捉系统1、全身动作捕捉系统随着计算机软硬件技术的飞速发展和动画制作要求的提高，在发达国家，运动捕捉已经进入了实用化阶段，有多家厂商相继推出了多种商品化的运动捕捉设备，如MotionAnalysis、Polhemus、SegaInteractive、MAC、X-Ist、FilmBox等，成功地用于虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等许多方面。从技术的角度来说，运动捕捉的实质就是要测量、跟踪、记录物体在三维空间中的运动轨迹。典型的运动捕捉设备一般由以下几个部分组成：·传感器。所谓传感器是固定在运动物体特定部位的跟踪装置，它将向Motioncapture系统提供运动物体运动的位置信息，一般会随着捕捉的细致程度确定跟踪器的数目。·信号捕捉设备。这种设备会因Motioncapture系统的类型不同而有所区别，它们负责位置信号的捕捉。对于机械系统来说是一块捕捉电信号的线路板，对于光学Motioncapture系统则是高分辨率红外摄像机。·数据传输设备。Motioncapture系统，特别是需要实时效果的Motioncapture系统需要将大量的运动数据从信号捕捉设备快速准确地传输到计算机系统进行处理，而数据传输设备就是用来完成此项工作的。·数据处理设备。经过Motioncapture系统捕捉到的数据需要修正、处理后还要有三维模型向结合才能完成计算机动画制作的工作，这就需要我们应用数据处理软件或硬件来完成此项工作。软件也好硬件也罢它们都是借助计算机对数据高速的运算能力来完成数据的处理，使三维模型真正、自然地运动起来。全身动作捕捉系列是实用光学式运动捕捉产品。系统采用多台近红外线高感度摄像机及相关设备，实现高精度实时三维运动数据的采集，支持实时在线或者离线的运动捕捉及分析。在国际上拥有同类产品最高性价比，可广泛的应用于虚拟现实、军事模拟、工程测量、医学研究中的运动机能评价和康复医疗、体育运动分析和体育训练指导、影视、动画和游戏制作等诸多领域。取相摄像头1、数据采集精度更高全身动捕系列光学被动式摄像机，对于细微动作都可实现精细捕捉。相机前端特有的处理芯片具有FPGA编成功能，实现海量数据的高速处理。相机采用圆形拟合算法的标识点（Marker）中心演算功能实现独立的标识点高精度识别。相机采用144个LED照明，在保证亮度前提下效率更高。2、系统更加稳定可靠系统采用标准TCP/IP协议网络数据传输方式，构成简单，无需专用采集设备，一台计算机控制所有相机。集成为一根的摄像机专用综合电缆具有采样同步控制信号传输；LED照明同步控制信号传输；摄像机和LED照明供电传输多种功能的同时，极大地简化了系统布线结构同时，使系统数据传输更稳定，克服了USB等方式的连接距离短、级联台数受限等问题。3、系统功能更强大高性能自动识别功能，根据人体模板自动进行标识点匹配，免除繁杂的操作。强大的后期数据自动插值、滤波和手动修改等编辑功能以及CSM、BVH、FBX、BIP、DRS、TRC、C3D等通用数据格式转换功能，完全满足动漫、体育、医疗等不同领域的应用需求。全面支持第三方软件相结合使用接口（如MotionBuilder、3DMax、Maya、Delt3D或测力平台、肌电仪以及客户自主开发平台软件等，进行数据的实时、定时传送及各种同步触发控制接口）。4、系统操作更简洁便利系统根据中国用户设计，在保证完美实现功能的前提下极大的简化了系统操作中繁琐的人机交互模块，使整个系统操作流程更加方便快捷。系统架设灵活，能够根据环境和使用者意愿来搭建捕捉系统，捕捉范围可根据房间大小和用途随时调整。相机独立的LED编号显示，使架设和调整操作更方便。同等捕捉空间标识点更精小（3mm、5mm、10mm、15mm、20mm、25mm规格），被测者运动更自如。5、光学被动式运动捕捉系统，拥有业界高性价比系统独特的软硬件系统构成，在实现同等运动捕捉性能时，在价格上具有更大优势，整体系统具有更高性价比。应用虚拟现实领域：可应用于高端装备的虚拟装配；高等教育的虚拟教学及科学研究；国防军队的军事训练；医疗领域：1、对患者进行步态分析、动作分析、运动失调程度评价等；2、动物药理反应实验。体育领域：体育训练、体育教学、步态分析、田径项目的运动分析、冬季体育项目的运动分析、球技动作分析、舞蹈动作分析、帆板动作分析、自行车竞技分析、打斗技巧分析等。影视动画：现代影视特技制作、三维电影、三维动画和游戏制作。其它领域：系统可广泛应用于：人体工学研究、机器人研究、感性工学研究、高精度振动计测、福祉工学领域、灵活性能评价、碰撞试验、飞行测试、心理分析、刚性测试、实用性能评价。测试软件Fig.

Test

software除了运动捕捉系统还需要结合用交互追踪系统：2、G-Motion交互追踪系统这是是一套高精度光学位置追踪产品，能实时准确的捕捉目标物体6自由度姿态（位置和方向）信息。可作为虚拟现实人机交互外设，也可应用于人体动作捕捉、结合半实物仿真设备进行姿态捕捉和运动实物的空间位置信息实时获取等方向。•红外光学追踪，无电、磁和声音干扰•可支持2-12个红外摄像头，用户可根据追踪范围需求选择摄像头的个数•支持眼镜和手持式交互设备追踪，有6个按钮能够进行交互功能设计开发•高度准确的6自由度姿态（位置、方向）追踪•位置追踪精度0.2mm，角度追踪精度0.2°•60/120Hz刷新率可调•支持12路同步处理，并可级联扩展，同步延迟可调•支持简捷快速自定义跟踪目标•灵活方便的场地校准和相机校准•支持追踪数据记录与回放•直观的2D/3D数据显示•集成VRPN接口，能够结合系统选用的CAE后处理软件和虚拟设计辅助软件•用户追踪界面与系统算法处理器可分离，利于部署1）能够作为交互外设与虚拟现实类软件DVS3D、Unity等结合，实现虚拟展示、虚拟装配等人机交互；2）能够应用于半实物仿真训练，如半实物的消防演练、军事虚拟射击等；3）可应用于运动物体的空间位置高精度姿态定位，比如机器人路径规划中运动信息的实时捕获；4）应用于人体动作捕捉，进行步态分析和虚拟人动作模拟。三、BVH文件项目所使用运动捕捉数据格式为BVH(BiovisionHierarchicalData)文件，它主要由骨架层级结构部分和欧拉角运动数据两大部分组成三维人体骨架模型

2Fig.

3d

human

skeleton

model2四、基于BVH文件的拉班舞谱自动生成算法本章将对拉班舞谱的生成算法进行详细探讨，这也是本次论文的核心内容。经过对BVH文件进行解析和转换，并利用拉班舞谱的规律和特点，找出运动捕捉数据与拉班舞谱的对应关系，并最终在图形界面显示下自动生成拉班舞谱，其过程如下:(1)读取BVH文件，按照BVH文件中所描述的骨骼层级结构读取数据，并将运动数据分组存储。(2)欧拉角数据的转换。由于BVH文件中所存储的运动数据为欧拉角数据，因此我们需要将其转换为惯性坐标系下的位置数据，进而进行接下来的关于水平运动方向和垂直程度的分析。(3)判断运动方向。首先，将人体分为5个主要的身体部位(BodyPart)即头、左臂、右臂、左腿和右腿。然后根据这5个身体部位的空间位置关系来判断她们的水平运动方向和垂直程度。(4)生成最初的拉班舞谱数据。将其中过于琐碎和重复的数据进行适当的删减和合并。(5)生成最终的拉班舞谱数据。(6)绘制拉班舞谱。五、运动数据转换为舞谱我们知道，存储在BVH文件当中的运动捕捉数据都是以欧拉角的形式存储的三维旋转数据，为了方便以后对身体各部位的运动方向和运动趋势进行判断，我们需要将欧拉角旋转数据转换为惯性坐标系下的空间位置数据[[31-32]。因为，如果直接使用欧拉角作为判断依据，所得到的结果十分不理想。下面首先简要介绍一下几种常见的坐标系[30J0数据转换为了计算出子节点在其父竹点惯性坐标空间卜的位置，我们需要将运动数据中的欧拉角组合成一个旋转矩阵。前面曾经提到，关于欧拉角最为常见的约定为"heading-pitch-bank"，这是从惯性坐标系到物体坐标系的旋转。设H,P,B分别为绕Y轴，x轴和z轴旋转的旋转矩阵，我们将其旋转角依次设为h,p,b，那么则我们能够得出从惯性坐标系到物体坐标系旋转的公式如下:可是，我们需要使用的BVH文件的欧拉角旋转顺序为“roll-pitch-yaw"，它与"heading-pitch-bank”的旋转顺序正好相反，因而我们需要经过求惯性到物体旋转矩阵的逆获取由物体坐标系到惯性坐标系的旋转矩阵。上图能够看作是一次的旋转矩阵，如果将其乘以当前节点的OFFSET，就可运动分析我们将人体分为5个主要的身体部位(BODYPART包括左腿、右腿、左臂、右臂、和头部。针对每一个身体部位，我们要判断在每一帧数据中其末端所处的方向和高度空问。也就是判断子节点在以父节点为原点的惯性坐标系下所处少27个子空间中的哪一个。这里的子节点与父节点并不是指的在BVH文件树一形结构中直接意义上的父子节点，而是具有拉班舞谱意义的父子节点。例如，对于右臂来说，右腕关节RightWrist在树形结构中的直接意义上的父节点为右肘关节RightElbow，但它在拉班舞谱意义上的父节点实际上为右肩关节RightShoulde:节点。也就是说，拉班舞谱意义上的父子节点并不一定与骨架结构中直接意义上的父子节点相同。如图4.5所示，显示了拉班舞谱意义上的父子节点的示例。当然，拉班舞谱意义上的父子节点也有可能与直接意义上的父子节点相同。例如，考虑头部的动作，Head节点在树形结构中直接意义上的父节点就是Neck节点，与拉班舞谱意义上的父子节点相一致。为了要对每一个身体部位所处的空间和方向做出判断，我们需要求得每一个身体部位拉班舞谱意义上父子节点的相对位置关系。即在拉班舞谱意义上，子节点在以父节点为原点的惯性坐标空间下的相对位置。由式4.10我们能够很方便的求出子节点在其直接意义上的父节点惯性坐标空间下的位置数据。为了求得子节点在其拉班舞谱意义上的父节点惯性坐标空间中的坐标，我们还需要进行进一步的运算。假设拉班舞谱意义上的父节点为JOINTPARENT,拉班舞谱意义上的子节点为JOINTCHILD，当它们在运动数据中相邻接时(即它们同时为直接意义上的父子几点)能够直接经过式4.10求得惯性坐标系下的位置数据。而当JOINTPARENT和JOINTCHILD在树形结构中并不相邻时，则我们需要先求出JOINTPAPRENT的实际的子节点(设为JOINTMIDDLE)的旋转矩阵，再经过乘以JOINTMIDDLE的OFFSET信息获取JOINTMIDDLE相对于JOINTPARENT的位置偏移p1，而这个实际的子节点JOINTMIDDLE又是JOINTCHILD的直接意义上的父节点，这时，再根据式4.10求得JOINTCHILD相对于中间节点JOINTMIDDLE的位置偏移p2。同时，p1和p2都是以惯性空间为参考，而且p2的原点为中间节点JOINMIDDLE的位置，因而p1+p2获得的新的位置偏移p3就是拉班意义上的子节点JOINTCHILD相对于其父节点JOINTPARENT的位置偏移。正如下图4.6显示了不相邻父子节点的情况。支撑栏动作分析经过前面对拉班舞谱的介绍，我们知道支撑栏在拉班舞谱的3线11栏中属于最为重要和特殊的一栏，它是用来记录人体支撑部位的动作，即人体的哪一个或是哪几个部位起支撑人体重心的作用，那么它或它们的动作就会被记录在支撑栏里。一般来讲，人体各个部位都能够起到支撑人体重心的作用，因此它们都能够看作支撑部位。例如，在现代街舞中，许多头转的动作都是头部作为支撑点，支撑整个人体的重量;还有许多舞蹈中用手作为支撑做一些倒立的舞蹈动作。可是，绝大多数的舞蹈动作还是以腿部作为主要支撑的。为了便于分类，我们把能起支撑作用的部位分为12类，她们依次是左脚和右脚，左膝和右膝，左手和右手，左肘和右肘，左肩和右肩，还有躯干和头部。表4.1对着12个身体部位进行了整理和归类。根据式4.10我们能够求出当前节点在其直接意义上的父节点的惯性坐标空间下的坐标，那么再加上其父节点的世界坐标，我们能够很方便的求得当前节点的世界坐标Child..xyz二Parent.rotationxChild.of}set+Parent.xyz六、系统功能实现在基于以上的讨论和研究的基础之上，该系统平台实现的功能主要有:(1)读取并解析BVH文件;(2)播放BVH文件(经过调用BVHplayer程序来播放;(3)完成BVH文件向拉班舞谱的转化。这些功能经过构造几个主要的类来实现，下图5.1显示了拉班舞谱的生成过程及主要类的功能。界面及结果展示首先，我们:,.ii