基于三维视频的民族特色舞蹈动作捕捉系统

1、 /8 /8 /8中国非物质文化遗产的三维数据库-基于三维视频的民族特色舞蹈动作捕捉系统信息工程学院傅思遥简介：通过三维视频采集系统，力求为民族传统艺术文化产业提供一个无边际的服务空间和资源共享网络。在数据库可以采集到中国非物质文化遗产名录中所记载的传统艺术肢体动作甚至濒临灭绝的各类动作技法，还有其他传统、现代的带有民族特色的体育竞技、打斗动作、舞蹈艺术等各类动作数据，在相关动漫影视、电子游戏、数字出版、教育培训、非物质文化遗产保护等领域均能发挥重要作用。最大限度的降低三维动画的技术壁垒和制作成本。引言所谓“非物质文化遗产三维数据库”，是指采用数字采集、数字存储、数字处理、数字展示、数字传播等

2、数字化技术，将文化遗产转换、再现、复原成可共享、可再生的数字形态，并以新的视角加以解读、保存和传播。在此方面相关研究早已成型。案例一，中国古建筑的三维复原因为古建筑文化遗产不可再生，而修缮保护方法是多样的，选择最佳的古建筑修缮保护方案显得尤为重要。古建筑修缮保护动画片是对修缮保护历史文化遗产建筑有极大的促进作用。数虎图像在古迹复原文物复原方面，是采用非接触测量技术、三维成像技术，经过实地摄影、数据采集、三维动画合成，虚拟文物建筑影像的三维模型，利用3D虚拟现实技术将修缮保护工程方案制作成一套全面、具体、准确、生动的修缮过程互动演示片，对历史文化古建筑的保护、更新、延续具有重要的现实意义。数虎图

3、像的虚拟现实技术结合网络技术，可以将文物的展示、保护提高到一个崭新的阶段，可以推动文博行业更快地进入信息时代，实现文物展示和保护的现代化。重要性：1，文物保护：因为古文物不可再生，进行仿真可以更好的保存。2，传承文明：数虎图像对古建筑工艺和古制作流程可以进行完美的可视化数字呈现，让这些即将消失的技艺得以传承。3，教育意义：对古遗址进行虚拟的仿真复原，让后代可以更好的认识古代的文明对后辈进行爱国主义教育和历史文明展示。4，推广宣传：对古建筑、古遗址进行模拟仿真，可以提取更多的历史文化价值，是古城和古景区宣传推广的绝好材料。本工程试图从科学的角度定义和解决目前国内极具争议的跨学科敏感话题。例如“何

4、谓文化遗产数字化”、“数字艺术”、“数字化的局限性”等。介绍了数字复原、数字勘探、数字考古、虚拟音乐、虚拟剧场、数字艺术、交互式艺术等新领域，加深科研人员对目前互联网上大量涌现的数字博物馆和虚拟遗产展示背景的了解。如当今各种数字化方法和热点技术，包括三维/断层数字扫描、多波段/光谱数字摄影、三维数字重建、数字动画、虚拟现实、多媒体数据库、数字内容检索、数字版权、数字出版、数字内容管理与发布等，并在国内首次提出了一套完整的文化遗产数字化技术解决方案。即：基于三维视频的民族特色舞蹈动作捕捉系统。目的：实现基于民族的民间艺术舞蹈影像、三维视频动画数据库这一非物质文化遗产保护领域的重要创新，拟围绕国家

5、首批非物质文化遗产名录，依托民族大学信息工程学院的三维视频信息处理实验室的动作捕捉，三维扫描等技术，对中国的民族民间舞蹈、戏曲等非物质文化遗产进行采集工作，并按照类、项、套等完成非物质文化遗产的单体动作的采集。特色：通过计算机，辅导舞蹈家进行舞蹈训练和创作，舞蹈室已经经过提炼、组织和艺术加工的人体动作来表达人们思想感情的，其基本要素是动作姿态，节奏和表情。但人体动作是在一种复杂的三维立体空间运动，难以用象乐谱那样简单，直观，明白易懂的舞谱来表达，因此舞蹈一直被认为是一种只可意会不可言传的艺术，计算机辅助的舞蹈技术是指将舞蹈动作通过三维视觉传感器和动作行为传感器捕捉、并抽象成为一种模式信息，经过

6、分析和处理，研究。最终创作出可供指导和辅助训练的模拟舞蹈动作的适当舞谱形式。具体技术如在舞蹈家身体运动关节上安置适当的测角传感器以及在周围布置若干台视觉传感器，可将人体舞蹈动作的模式信息经过模数转换实时输入计算机。并通过软件在屏幕上显示出舞姿动作变化情形。供舞蹈家边审看边修改舞姿。并可将舞蹈动作信息记录、存储。以便对舞蹈家的技术技巧和经验体会进行科学的分析研究，总结经验和规律。评定艺术水平。并用以指导训练和提高创作艺术效果，更重要的是保存某些独具特色的民族舞蹈文化的精华，用以文化传承。国内外研究现状：舞蹈影像的林林总总从欧美40年代发展以来，跟随着录像艺术的脚步，实验电影运动家的作品、后现代编

7、舞家的趣味和实践以及多媒体高科技技术的发展，从一开始就不是什么纪录性的艺术行为，而是完全创造和互动的双向对话。美国的默斯堪宁汉、比尔订琼斯，英国DV8身体剧场、乔纳森贝劳斯（原为英国皇家的舞者,加拿大人类脚步啦啦啦、法国的安德林普雷约卡伊、作为电影人的鲁道夫努日耶夫、德国编舞家皮娜鲍希、Sasha.waltz、瑞典的马茨埃克、比利时的罗刹舞团等等，都曾是，仍是当今较为活跃的舞蹈录影编舞家和观念的先导。舞蹈教育软件舞蹈教育软件与舞蹈游戏、舞蹈动画同时并存的还有舞蹈软件的开发和利用。在动画技术、三维制作软件的大量出现，舞蹈软件的更新也是日新月异，其中以位于加拿大的“信条互动公司”开发出的软件最为瞩

8、目，出现了“舞蹈形式”、“生命模式”教案和制作软件，“动作采集”的硬件系统等等。人们对于舞蹈本体创作的认识也有了更为全面和便捷的方式。特别是在舞蹈教案上，从早期的使用电脑自动和人工操作结合的机械化设备，来提高和训练舞者的身体以及舞蹈技术技巧，包括对软度、开度以及力量，同时包括对于旋转、跳跃等相应训练机械。一直到今天“舞蹈形式”舞蹈软件的出现，使舞者在身体训练之外，去认识舞蹈的方面，更为全面和立体。“舞蹈形式”的软件其实是某种三维、可操控的舞蹈动作分析教案软件，其中又包括了像“芭蕾动作”“现代舞动作”等等的舞蹈软件类别。“芭蕾动作”软件通过三维人物采集、集中了俄罗斯芭蕾学校、英国芭蕾学校、意大利

9、芭蕾学校的芭蕾动作语汇、提供了不同的动作风格、以及最基本的芭蕾技术，甚至包括了芭蕾的经典剧目，如在MIDI音乐伴奏下的睡美人、吉赛尔、天鹅湖等等。舞蹈学生、舞蹈教师和任何学习者都可以通过软件，运用软件中的镜头推拉、旋转、平移、俯仰，可以深入的认识动作、学习舞蹈，并且进行动作分解重放，不同舞蹈风格的比较。“现代舞动作”舞蹈软件更是集中了当代的，新型的现代舞技巧动作风格。在互动的动作学习同时，还提供了舞蹈历史学习、可抒写的舞蹈心得和舞蹈评论，以及简单的舞蹈编排的软件功能。相关的舞蹈软件不仅仅适用于舞蹈动作学习和编排当中，更是深入到了舞蹈解剖学的教案当中，使用三维软件观察人体结构、关节、神经、肌肉、

10、以及在舞蹈运动当中身体结构和器官的形态。相关的舞蹈软件不仅仅适用于舞蹈动作学习和编排当中，更是深入到了舞蹈解剖学的教案当中，使用三维软件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中身体结构和器官的形态。相关的舞蹈教育软件不仅仅适用于舞蹈动作学习和编排，更是深入到了舞蹈解剖学的教案，使用三维软件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中身体结构和器官的形态，一切都通过鼠标的控制，逐层的分析和观察，每一部分都有详实的注解。学生们可以直观形象的了解身体，来巩固对于舞蹈解剖学与区别知识的认识和记忆，相对与原来的模型教案，三维动画的平台和互动的操作界面是一个巨大的飞跃，不仅对于舞蹈解剖学，

11、对于舞蹈医疗同样是最为形象的教案方式。其中比较有名的三维软件“麦克明3D解剖”，“互动实用解剖”可以使用3D的分层/旋转控制，文字和真人视频的注释，从骨骼、肌肉、神经，任意逐层添加、剥离，互动、全面的学习解剖学。舞蹈教育软件的另外一个代表作品，是利用MacromediaflashMX软件制作的交互式的教案光盘。BEDFORD互动研究公司是这方面的业内先驱之一，已经致力于数字化舞蹈教育15年之久。像杰奎琳史密斯奥塔德教授和BEDFORD互动研究公司研制的玛莎格莱姆技术CD-ROM教案和独舞动机编舞训练CD-ROM，都是使用了MacromediaflashMX制作技术，利用Macromediafl

12、ash播放器，通过各种角度的观察来学习舞蹈。和“舞蹈形式”不同，CD-ROM里的内容不是三维人物的操作，而是真人演示，播放器里呈现交互式的界面，比如“独舞编舞训练”软件当中，界面里呈现影像控制（快慢速度，节奏控制，模式控制（观赏和教案，每个训练附有讲解，空间时间的变化，更有拉班舞谱的图解。学习者通过不断点击，运用多种功能的控制键，了解编舞的技法。按照杰奎琳教授的话，舞者用鼠标在学习和跳舞。舞蹈创作软件“生命模式”则是更为复杂的舞蹈人物制作、动作排列组合、舞蹈自由编排的制作软件。相对在“动作采集”系统下的软件操作，“动作采集”是通过传感技术，在舞者身上的关节点上，粘贴具有弹性的传感器，在采集摄影

13、棚中，通过多台摄像机的全息摄影，把采集到的人体动作传输到电脑中，然后通过多种三维软件和“生命模式”软件进行创作。在“生命模式”软件中，有着视频非线编辑的相似界面，编辑者可把动作采集的素材放在时间线上，自由拖拽，复制粘贴动作，甚至可以重新组合不同的身体部位，编舞家就可以通过查看动作素材，尝试出舞蹈作品无数的可能性，并且通过内置的镜头语言设置场景。三维艺术家和实验舞蹈艺术家，更可以在动作采集素材的基础上，创作出许多以人体动作为主体的异类形象。加州大学欧文学院的舞蹈教授丽莎玛丽纳格尔是在生命模式”实践和理论中的重要人物，其中一个工程就是她运用“动作采集”系统和“生命模式”对于社区内的普通人进行了日常

14、动作的采集和重新编排。最后的成品为一个虚拟的城市，虚拟的舞者和市民在游走生活，影像从纽约的高楼上投射到地面，行人们俯视者自己的影像，熟悉而又陌生，一个一个城市中的城市，一个从动作采集而来的令人反思的自己。 /8 /8“生命模式”对于重新认识动作，去认识和把玩身体语言、身体结构都有着重要的意义，相同的舞蹈动作可以以完全不同的生命形态出现，完全不同的编排规律出现，我们在更大的程度上要去超越自己的想象，赋予这种想象以独特的舞蹈生命形态。国内尚未开展任何关于此方面的研究。潜在应用：1，虚拟教案虚拟教案就是利用虚拟技术模拟难以讲解的教案场景，并使之可视化和可参与性，让学员在可视化和参与性下能更好的学习到

15、相关技能。数虎图像的虚拟现实技术可以使枯燥表格、数字和程序，手术，安装流程等变得生动而有趣，另一方面，虚拟实验能将若干知识点串联起来，起到汇总和系统化的作用。提供教案质量，降低教案成本。而这一点对于非传统的艺术类文化的授课和知识传承是非常重要的。优点如下：1、教案内容视觉化2、学习中的交互性好3、沉浸感真实感强采集场景以及技术手段如下图所示关键技术：光学运动捕捉光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。目前常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时

16、刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。MotionAnalysis公司是该领域的佼佼者。典型的光学式运动捕捉系统通常使用68个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为Marker，视觉系统将识别和处理这些标志，如图4所示。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机

17、应有较高的拍摄速率，一般要达到每秒60帧以上。如果在表演者的脸部表情关键点贴上Marker,贝V可以实现表情捕捉，如图5所示。目前大部分表情捕捉都采用光学式。有些光学运动捕捉系统不依靠Marker作为识别标志，例如根据目标的侧影来提取其运动信息，或者利用有网格的背景简化处理过程等。目前研究人员正在研究不依靠Marker，而应用图像识别、分析技术，由视觉系统直接识别表演者身体关键部位并测量其运动轨迹的技术，估计将很快投入实用。光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。Marker的价格便宜，便

18、于扩充。这种方法的缺点是系统价格昂贵，虽然它可以捕捉实时运动，但后处理包括Marker的识别、跟踪、空间坐标的计算）的工作量较大，对于表演场地的光照、反射情况有一定的要求，装置定标也较为烦琐。特别是当运动复杂时，不同部位的Marker有可能发生混淆、遮挡，产生错误结果，这时需要人工干预后处理过程。总结：舞蹈新媒体技术的出现，改变着人们对于舞蹈的感知，改变着创作舞蹈的方式。影像化的舞蹈传播，数字化的舞蹈教育，扩充了舞蹈教育的受众，扩充了大众接触和深入了解舞蹈的途径。舞蹈借助数字化技术，凸显出舞蹈艺术本身的游戏性，感应技术的出现，舞蹈游戏从简单机械操作转变为真正的身体参与。多种虚拟技术把经验的，身

19、体的舞蹈艺术推向了另一个极端，舞蹈体验的真实与虚拟，科技和人性的对话，改变人们的审美情趣和体验方式，随着科技的发展，这些都将逐步成为舞蹈新媒体的研究课题。该工程是在数字资源和网络资源的基础之上，同时在大量舞蹈多媒体实践当中整理探索出来，同时也希冀能够引发出舞蹈新媒体的学科建设，并为舞蹈新媒体学科提供一些基础性的理论构架。附录2：光学运动捕捉公司美国MotionAnalysis公司MAC）是全球最大的以光学动作捕捉系统为基础的高性能电脑生产商，专业为用户提供3D光学动作捕捉系统。成熟的MotionAnalysis数字影像捕捉分析系统已经为全球近千用户提供了完善的解决方案，涉及动画制作、运动分析和

20、工业测量与控制等广泛领域。全球80%的动画、游戏制作工作室都选用MotionAnalysis系统。大量特技采用MotionAnalysis系统进行采集制作。美国影城-好莱坞已经建立了一个基于MotionAnalysis系统并且有16镜头的工作室。部分影片：魔戒-王者归来黑客帝国-重装上阵黑客帝国-矩阵革命我，机器人最终幻想等超过150款世界上最流行的游戏是应用MotionAnalysis系统采集制作，用户包括史克威尔（Square、科纳M（Konami、南宫梦（Namco等著名游戏厂商。MontionAnalysis公司Eagle-4数字动作捕捉系统MotionAnalysis公司最近发布了最

21、新的400万象素数字动作捕捉系统-Eagle-4.Eagle-4数字动作捕捉系统由Eagle-4数字捕捉镜头，EagleHub和EVaRT软件组成，可极其精确得捕捉复杂动作。实时功能使用户可以在同一时间观察到目标某个细微动作。Eagle-4镜头可以与MotionAnalysis公司的其他镜头自由组合，从而优化工作室的效能。Eagle-4数字动作捕捉镜头 /8 /8Eagle-4数字动作捕捉镜头，采用了美国Micron公司的MI-MV40传感器，在2352X1728象素的模式下工作，频率可以达到每秒200帧。较小分辨率的情况下，采集频率可升至10,000帧/秒。对于需要过滤额外光线的工作环境，E

22、agle-4是一个极佳的选择。Eagle-4数字动作捕捉镜头利用先进的数码工具为当今的动作捕捉技术提供了可靠性和精确性的保障。运用数字科技，不再会有远程信号降级，而且噪音较少，也无需重新取样。随着当今数据采集的增多与增大，对信号稳定性的要求也越来约严格。镜头信号可直接通过以太网到达跟踪计算机。信号处理内置于摄像头。这以最新型的从摄像头到计算机的动作捕捉传输系统，意味着较少的硬件和较少的设备故障。FPGA嵌入Hawk可以通过Internet升级，甚至不用取下摄像头。MotionAnalysis公司是第一家生产动作捕捉镜头的公司，2001年，（美国计算机协会绘图专业组引入Eagel数字系统。Eagle-4数字镜头比标准视频镜头有更大的感应区域。系统选用高质量的35mm镜头来涵盖较大的采集区域，以保证系统精确性。特性所有工作模式下，采集频率：1-200帧/秒部分工作模式下，采集频率最高可达10,000帧/秒便携式镜头箱：可携带4个镜头嵌入式镜头为简易的装卸提供更多视觉选择可独立的对光圈，焦距及ringlight进行调节Availablewithvisiblered,nearred,orinfraredringlights镜头上有单独的LED，显示镜头状态及编号237LED使发光更明亮、更