-基于三维视频的民族特色舞蹈动作捕捉系统

中国非物质文化遗产的三维数据库 -基于三维视频的民族特色舞蹈动作捕捉系统 信息工程学院 傅思遥 简介： 通过三维视频采集系统，力求为民族传统艺术文化产业提供一个无边际的服务空间和资源 共享网络。在数据库可以采集到中国非物质文化遗产名录中所记载的传统艺术肢体动作甚 至濒临灭绝的各类动作技法，还有其他传统、现代的带有民族特色的体育竞技、打斗动作、 舞蹈艺术等各类动作数据，在相关动漫影视、电子游戏、数字出版、教育培训、非物质文 化遗产保护等领域均能发挥重要作用。最大限度的降低三维动画的技术壁垒和制作成本。 引言 所谓“ 非物质文化遗产三维数据库”，是指采用数字采集、数字存储、数字处理、数字 展示、数字传播等数字化技术，将文化遗产转换、再现、复原成可共享、可再生的数字形 态，并以新的视角加以解读、保存和传播。在此方面相关研究早已成型。 案例一，中国古建筑的三维复原 因为古建筑文化遗产不可再生，而修缮保护方法是多样的，选择最佳的古建筑修缮保护方 案显得尤为重要。古建筑修缮保护动画片是对修缮保护历史文化遗产建筑有极大的促进作 用。数虎图像在古迹复原文物复原方面，是采用非接触测量技术、三维成像技术，经过实 地摄影、数据采集、三维动画合成，虚拟文物建筑影像的三维模型，利用 3D 虚拟现实技 术将修缮保护工程方案制作成一套全面、具体、准确、生动的修缮过程互动演示片，对历 史文化古建筑的保护、更新、延续具有重要的现实意义。数虎图像的虚拟现实技术结合网 络技术， 可以将文物的展示、保护提高到一个崭新的阶段，可以推动文博行业更快地进入 信息时代，实现文物展示和保护的现代化。 重要性： 1，文物保护：因为古文物不可再生，进行仿真可以更好的保存。 2，传承文明：数虎图像对古建筑工艺和古制作流程可以进行完美的可视化数字呈现，让 这些即将消失的技艺得以传承。 3，教育意义：对古遗址进行虚拟的仿真复原，让后代可以更好的认识古代的文明对后辈 进行爱国主义教育和历史文明展示。 4，推广宣传：对古建筑、古遗址进行模拟仿真，可以提取更多的历史文化价值，是古城 和古景区宣传推广的绝好材料。 本项目试图从科学的角度定义和解决目前国内极具争议的跨学科敏感话题。例如“何谓 文化遗产数字化” 、 “数字艺术 ”、 “数字化的局限性”等。介绍了数字复原、数字勘探、数字考 古、虚拟音乐、虚拟剧场、数字艺术、交互式艺术等新领域，加深科研人员对目前互联网 上大量涌现的数字博物馆和虚拟遗产展示背景的了解。如当今各种数字化方法和热点技术， 包括三维/断层数字扫描、多波段/ 光谱数字摄影、三维数字重建、数字动画、虚拟现实、 多媒体数据库、数字内容检索、数字版权、数字出版、数字内容管理与发布等，并在国内 首次提出了一套完整的文化遗产数字化技术解决方案。即：基于三维视频的民族特色舞蹈 动作捕捉系统。 目的： 实现基于民族的民间艺术舞蹈影像、三维视频动画数据库这一非物质文化遗产保护领 域的重要创新，拟围绕国家首批非物质文化遗产名录 ，依托民族大学信息工程学院的三 维视频信息处理实验室的动作捕捉，三维扫描等技术，对中国的民族民间舞蹈、戏曲等非 物质文化遗产进行采集工作，并按照类、项、套等完成非物质文化遗产的单体动作的采集。 特色： 通过计算机，辅导舞蹈家进行舞蹈训练和创作，舞蹈室已经经过提炼、组织和艺术加工的 人体动作来表达人们思想感情的，其基本要素是动作姿态，节奏和表情。但人体动作是在 一种复杂的三维立体空间运动，难以用象乐谱那样简单，直观，明白易懂的舞谱来表达， 因此舞蹈一直被认为是一种只可意会不可言传的艺术，计算机辅助的舞蹈技术是指将舞蹈 动作通过三维视觉传感器和动作行为传感器捕捉、并抽象成为一种模式信息，经过分析和 处理，研究。最终创作出可供指导和辅助训练的模拟舞蹈动作的适当舞谱形式。具体技术 如在舞蹈家身体运动关节上安置适当的测角传感器以及在周围布置若干台视觉传感器，可 将人体舞蹈动作的模式信息经过模数转换实时输入计算机。并通过软件在屏幕上显示出舞 姿动作变化情形。供舞蹈家边审看边修改舞姿。并可将舞蹈动作信息记录、存储。以便对 舞蹈家的技术技巧和经验体会进行科学的分析研究，总结经验和规律。评定艺术水平。并 用以指导训练和提高创作艺术效果，更重要的是保存某些独具特色的民族舞蹈文化的精华， 用以文化传承。 国内外研究现状： 舞蹈影像的林林总总从欧美 40 年代发展以来，跟随着录像艺术的脚步，实验电影运动家的 作品、后现代编舞家的趣味和实践以及多媒体高科技技术的发展，从一开始就不是什么纪 录性的艺术行为，而是完全创造和互动的双向对话。 美国的默斯堪宁汉、比尔 T琼斯，英国 DV8 身体剧场、乔纳森贝劳斯( 原为英国皇家的 舞者)，加拿大人类脚步啦啦啦、法国的安德林普雷约卡伊、作为电影人的鲁道夫 努日耶 夫、德国编舞家皮娜鲍希、Sasha. waltz、瑞典的马茨埃克、比利时的罗刹舞团等等，都曾 是，仍是当今较为活跃的舞蹈录影编舞家和观念的先导。 舞蹈教育软件 舞蹈教育软件与舞蹈游戏、舞蹈动画同时并存的还有舞蹈软件的开发和利用。在动画技 术、三维制作软件的大量出现，舞蹈软件的更新也是日新月异，其中以位于加拿大的“信条 互动公司”开发出的软件最为瞩目，出现了“舞蹈形式” 、 “生命模式”教学和制作软件， “动作采 集”的硬件系统等等。人们对于舞蹈本体创作的认识也有了更为全面和便捷的方式。特 别是在舞蹈教学上，从早期的使用电脑自动和人工操作结合的机械化设备，来提高和训练 舞者的身体以及舞蹈技术技巧，包括对软度、开度以及力量，同时包括对于旋转、跳跃等 相应训练机械。一直到今天“舞蹈形式”舞蹈软件的出现，使舞者在身体训练之外，去认识 舞蹈的方面，更为全面和立体。 “舞蹈形式”的软件其实是某种三维、可操控的舞蹈动作分析 教学软件，其中又包括了像“芭蕾动作”“ 现代舞动作”等等的舞蹈软件类别。 “芭蕾动作”软件通过三维人物采集、集中了俄罗斯芭蕾学校、英国芭蕾学校、意大利芭 蕾学校的芭蕾动作语汇、提供了不同的动作风格、以及最基本的芭蕾技术，甚至包括了芭 蕾的经典剧目，如在 MIDI 音乐伴奏下的睡美人、吉赛尔、天鹅湖等等。舞蹈学生、舞蹈教 师和任何学习者都可以通过软件，运用软件中的镜头推拉、旋转、平移、俯仰，可以深入 的认识动作、学习舞蹈，并且进行动作分解重放，不同舞蹈风格的比较。 “现代舞动作” 舞蹈 软件更是集中了当代的，新型的现代舞技巧动作风格。在互动的动作学习同时，还提供了 舞蹈历史学习、可抒写的舞蹈心得和舞蹈评论，以及简单的舞蹈编排的软件功能。相关的 舞蹈软件不仅仅适用于舞蹈动作学习和编排当中，更是深入到了舞蹈解剖学的教学当中， 使用三维软件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中身体结构和器官的 形态。 相关的舞蹈软件不仅仅适用于舞蹈动作学习和编排当中，更是深入到了舞蹈解剖学的教 学当中，使用三维软件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中身体结构 和器官的形态。相关的舞蹈教育软件不仅仅适用于舞蹈动作学习和编排，更是深入到了舞 蹈解剖学的教学，使用三维软件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中 身体结构和器官的形态，一切都通过鼠标的控制，逐层的分析和观察，每一部分都有详实 的注解。学生们可以直观形象的了解身体，来巩固对于舞蹈解剖学与区别知识的认识和记 忆，相对与原来的模型教学，三维动画的平台和互动的操作界面是一个巨大的飞跃，不仅 对于舞蹈解剖学，对于舞蹈医疗同样是最为形象的教学方式。其中比较有名的三维软件“麦 克明 3D 解剖” ， “互动实用解剖”可以使用 3D 的分层/旋转控制，文字和真人视频的注释，从 骨骼、肌肉、神经，任意逐层添加、剥离，互动、全面的学习解剖学。 舞蹈教育软件的另外一个代表作品，是利用 MacromediaflashMX 软件制作的交互式的教 学光盘。BEDFORD 互动研究公司是这方面的业内先驱之一，已经致力于数字化舞蹈教育 15 年之久。像杰奎琳史密斯奥塔德教授和 BEDFORD 互动研究公司研制的玛莎格莱姆技术 CD-ROM 教学和独舞动机编舞训练 CD-ROM，都是使用了 MacromediaflashMX 制作技术，利 用 Macromediaflash 播放器，通过各种角度的观察来学习舞蹈。和“ 舞蹈形式”不同，CD- ROM 里的内容不是三维人物的操作，而是真人演示，播放器里呈现交互式的界面，比如 “独舞编舞训练” 软件当中，界面里呈现影像控制(快慢速度) ，节奏控制，模式控制(观赏和 教学)，每个训练附有讲解，空间时间的变化，更有拉班舞谱的图解。学习者通过不断点击， 运用多种功能的控制键，了解编舞的技法。按照杰奎琳教授的话，舞者用鼠标在学习和跳 舞。 舞蹈创作软件 “生命模式”则是更为复杂的舞蹈人物制作、动作排列组合、舞蹈自由编排的制作软件。 相对在“动作采集” 系统下的软件操作， “动作采集”是通过传感技术，在舞者身上的关节点上， 粘贴具有弹性的传感器，在采集摄影棚中，通过多台摄像机的全息摄影，把采集到的人体 动作传输到电脑中，然后通过多种三维软件和“生命模式 ”软件进行创作。在“生命模式” 软 件中，有着视频非线编辑的相似界面，编辑者可把动作采集的素材放在时间线上，自由拖 拽，复制粘贴动作，甚至可以重新组合不同的身体部位，编舞家就可以通过查看动作素材， 尝试出舞蹈作品无数的可能性，并且通过内置的镜头语言设置场景。三维艺术家和实验舞 蹈艺术家，更可以在动作采集素材的基础上，创作出许多以人体动作为主体的异类形象。 加州大学欧文学院的舞蹈教授丽莎玛丽纳格尔是在“生命模式 ”实践和理论中的重要人物， 其中一个项目就是她运用“动作采集”系统和“ 生命模式”对于社区内的普通人进行了日常动 作的采集和重新编排。最后的成品为一个虚拟的城市，虚拟的舞者和市民在游走生活，影 像从纽约的高楼上投射到地面，行人们俯视者自己的影像，熟悉而又陌生，一个一个城市 中的城市，一个从动作采集而来的令人反思的自己。 “生命模式”对于重新认识动作，去认识和把玩身体语言、身体结构都有着重要的意义， 相同的舞蹈动作可以以完全不同的生命形态出现，完全不同的编排规律出现，我们在更大 的程度上要去超越自己的想象，赋予这种想象以独特的舞蹈生命形态。 国内尚未开展任何关于此方面的研究。 潜在应用： 1， 虚拟教学 虚拟教学就是利用虚拟技术模拟难以讲解的教学场景，并使之可视化和可参与性，让学员 在可视化和参与性下能更好的学习到相关技能。数虎图像的虚拟现实技术可以使枯燥表格、 数字和程序，手术，安装流程等变得生动而有趣，另一方面，虚拟实验能将若干知识点串 联起来，起到汇总和系统化的作用。 提供教学质量，降低教学成本。 而这一点对于非传 统的艺术类文化的授课和知识传承是非常重要的。优点如下： 1、教学内容视觉化 2、学习中的交互性好 3、沉浸感真实感强 采集场景以及技术手段如下图所示 关键技术： 光学运动捕捉 光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。目前常见 的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它 能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这 一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得 到该点的运动轨迹。 MotionAnalysis 公司是该领域的佼佼者。 典型的光学式运动捕捉系统通常使用 68 个相机环绕表演场地排列，这些相机的视野 重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身 体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为 “Marker“，视觉系统将识别和处理这些标志，如图 4 所示。系统定标后，相机连续拍摄表 演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计 算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有 较高的拍摄速率，一般要达到每秒 60 帧以上。 如果在表演者的脸部表情关键点贴上 Marker，则可以实现表情捕捉，如图 5 所示。目 前大部分表情捕捉都采用光学式。 有些光学运动捕捉系统不依靠 Marker 作为识别标志，例如根据目标的侧影来提取其运 动信息，或者利用有网格的背景简化处理过程等。目前研究人员正在研究不依靠 Marker， 而应用图像识别、分析技术，由视觉系统直接识别表演者身体关键部位并测量其运动轨迹 的技术，估计将很快投入实用。 光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以 自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。Marker 的价格便宜，便于扩充。 这种方法的缺点是系统价格昂贵，虽然它可以捕捉实时运动，但后处理（包括 Marker 的识别、跟踪、空间坐标的计算）的工作量较大，对于表演场地的光照、反射情况有一定 的要求，装置定标也较为烦琐。特别是当运动复杂时，不同部位的 Marker 有可能发生混淆、 遮挡，产生错误结果，这时需要人工干预后处理过程。 总结： 舞蹈新媒体技术的出现，改变着人们对于舞蹈的感知，改变着创作舞蹈的方式。影像 化的舞蹈传播，数字化的舞蹈教育，扩充了舞蹈教育的受众，扩充了大众接触和深入了解 舞蹈的途径。舞蹈借助数字化技术，凸显出舞蹈艺术本身的游戏性，感应技术的出现，舞 蹈游戏从简单机械操作转变为真正的身体参与。多种虚拟技术把经验的，身体的舞蹈艺术 推向了另一个极端，舞蹈体验的真实与虚拟，科技和人性的对话，改变人们的审美情趣和 体验方式，随着科技的发展，这些都将逐步成为舞蹈新媒体的研究课题。该项目是在数字 资源和网络资源的基础之上，同时在大量舞蹈多媒体实践当中整理探索出来，同时也希冀 能够引发出舞蹈新媒体的学科建设，并为舞蹈新媒体学科提供一些基础性的理论构架。 附录 2： 光学运动捕捉公司 美国 Motion Analysis 公司（MAC）是全球最大的以光学动作捕捉系统为基础的高性能电脑 生产商，专业为用户提供 3D 光学动作捕捉系统。成熟的 Motion Analysis 数字影像捕捉分 析系统已经为全球近千用户提供了完善的解决方案，涉及动画制作、运动分析和工业测量 与控制等广泛领域。 全球 80的动画、游戏制作工作室都选用 Motion Analysis 系统。大量特技采用 Motion Analysis 系统进行采集制作。美国影城-好莱坞已经建立了一个基于 Motion Analysis 系统并 且有 16 镜头的工作室。部分影片：魔戒-王者归来 黑客帝国-重装上阵 黑客帝国-矩 阵革命 我，机器人 最终幻想等超过 150 款世界上最流行的游戏是应用 Motion Analysis 系统采集制作，用户包括史克威尔(Square)、科纳米(Konami)、南宫梦(Namco)等著 名游戏厂商。 Montion Analysis 公司 Eagle-4 数字动作捕捉系统 Motion Analysis 公司最近发布了最新的 400 万象素数字动作捕捉系统-Eagle-4. Eagle-4 数 字动作捕捉系统由 Eagle-4 数字捕捉镜头，EagleHub 和 EVaRT 软件组成，可极其精确得捕 捉复杂动作。实时功能使用户可以在同一时间观察到目标某个细微动作。 Eagle-4 镜头可 以与 Motion Analysis 公司的其他镜头自由组合，从而优化工作室的效能。 Eagle-4 数字动作捕捉镜头 Eagle-4 数字动作捕捉镜头，采用了美国 Micron 公司的 MI-MV40 传感器，在 23521728 象 素的模式下工作，频率可以达到每秒 200 帧。较小分辨率的情况下，采集频率可升至 10,000 帧/秒。对于需要过滤额外光线的工作环境，Eagle-4 是一个极佳的选择。 Eagle-4 数字动作捕捉镜头利用先进的数码工具为当今的动作捕捉技术提供了可靠性和精确 性的保障。运用数字科技，不再会有远程信号降级，而且噪音较少，也无需重新取样。 随着当今数据采集的增多与增大，对信号稳定性的要求也越来约严格。镜头信号可直接通 过以太网到达跟踪计算机。 信号处理内置于摄像头。这以最新型的从摄像头到计算机的动 作捕捉传输系统，意味着较少的硬件和较少的设备故障。FPGA 嵌入 Hawk 可以通过 Internet 升级，甚至不用取下摄像头。 Motion Analysis 公司是第一家生产动作捕捉镜头的公司，2001 年，(美国计算机协会)绘图 专业组引入 Eagel 数字系统。 Eagle-4 数字镜头比标准视频镜头有更大的感应区域。系统选用高质量的 35mm 镜头来涵盖 较大的采集区域，以保证系统精确性。 特性 所有工作模式下，采集频率：1-200 帧/ 秒 部分工作模式下，采集频率最高可达 10,000 帧/秒 便携式镜头箱：可携带 4 个镜头 嵌入式镜头为简易的装卸提供更多视觉选择 可独立的对光圈，焦距及 ringlight 进行调节 Available with visible red, near red, or infrared ringlights 镜头上有单独的 LED，显示镜头状态及编号 237 LED 使发光更明亮、更均匀 附带散热片的光圈闸门式调节 4 个可移动的点使摄像头能变化布置 软件调节灯光输出，调