（计算机应用技术专业论文）民间舞蹈艺术数字化技术及应用研究.pdf

摘要 近年来，随着经济的快速发展，社会对丁我国非物质文化遗产的保护h 益重 视。本文将数字化技术应用于民间舞蹈艺术的保护中，为民间舞蹈的保护和开发 利，目工作提供了新的手段。奉文的主要1 ：作包括： 1 设计并实现了一套民间舞蹈数字化保存和展示的技术方案。利用动作捕捉技 术记录舞蹈演员的表演，根据获取的动作数据，采用骨骼蒙皮动画的方式进 行实时虚拟舞蹈的展示。和常规的视频记录相比，通过数字化虚拟展示，观 看者能够以任意角度、任意距离进行浏览，这就为民间舞蹈的研究和教学工 作带来了便利。针对蒙皮动画中顶点位置计算j f ：销较人的问题，利用v e r t e x s h a d e r 提高了渲染效率，为大场景、多人物的虚拟舞蹈展示提供了条件。 2 在数字化获取和展示工作的基础上，利用获得的舞蹈动作数据，针对传统的 舞蹈创作与编排中缺乏可视化的预演手段，而且演员需多次重复排练的问 题，设计并实现了相应的舞台构图和动作片段连接辅助技术： a ) 在舞台构图方面：没计，一种基于多分辨率滤波的路径编辑方法。利用 多分辨率滤波从人物根关节的运动轨迹中提取运动路径，使用户可以根 据自我认知选择不同的滤波参数，以保留不同绌节信息。创编人员可以 自由修改已有的动作片段，并将其放置在舞台的任意侮置。 b ) 在动作片段连接方面：采用刈各个关节的欧挣角进行插值的方法进行动 作连接，根据被骨骼驸动的蒙皮网络上顶点在不同帧川的距离来衡量两 帧问的差异：改变了已有方法根据对应天节的火角衡量任意两帧问的差 异，而忽略肢体扭动的情况。 利用上述技术，能够在演员实际表演前进行舞蹈编辑、渊整舞台效果并获得 相应的预览，从而降低实际编排的难度与工作量。 3 最后，我们以浙江省民问舞蹈的保护为应h j 背景，刈f ：述技术进行了应用验 证。 关键宁：1 f 物质文化遗产；舞蹈虚拟展示；舞蹈辅助编排：运动路径编辑：运动 连接；动作捕捉 浙江大学硕士学位论文 a b s t r a e t r e c e n ty e a r s ，o u rc o u n t r yh a sp a i dm o r ea n dm o r ea t t e n t i o no nt h ep r o t e c t i o no f i n t a n g i b l eh e r i r a g e s i nt h i sa r t i c l e ，w ea p p l yd i g i t a lt e c h n i q u e si n t ot h ep r o t e c t i o no f f o l kd a n c ea n dp r o v i d en e wm e t h o d sf o ri t sc o n s e r v a t i o na n du t i l i z a t i o n 0 u fm a i n j o b si n c l u d e ： 1 d e s i g na n di m p l e m e n tad i g i t a lc o n s e r v a t i o na n de x h i b i t i o ns o l u t i o nf o rf o l k d a n c e w eu s em o t i o nc a p t u r et e c h n i q u et or e c o r da c t o r s o r i g i n a lp e r f o r m a n c e a n di m p l e m e n ts k e l e t o na n i t a a t i o nf o rr e a l t i m ev i r t u a ld a n c ee x h i b i t i o n c o m p a r e dw i t ht r a d i t i o n a lm e t h o d s ，t h i sa p p r o a c hc a np r o v i d ef r e ev i e wf r o m a n yd i s t a n c e sa n dd i r e c t i o n s w ea l s oi n t r o d u c ev e r t e xs h a d e rt oi m p r o v e r e n d e r i n ge f f i c i e n c y 2 b a s e do i la b o v ed i g i t a lc o n s e r v a t i o na n de x h i b i t i o nt e c h n i q u e s w ep r o v i d e c o r r e s p o n d i n gc o m p u t e ra s s i s t e dd a n c ep r o d u c i n ga n da r r a n g i n gs o l u t i o n s ： 曲d e s i g nam u l t i - r e s o l u t i o nb a s e df i l t e r i n gm e t h o dt oe x t r a c tm o t i o np a t h u s e r sc a np r e s e r v ed i f f e r e n tl e v e lo fd e t a i l sa c c o r d i n gt ot h e i ro w n a p p e r c e p t i o n d a n c ed e s i g n e r sc a nm o d i f ye x i s tm o t i o nc l i p sa n da r r a n g e t h e mo nt h es t a g e b 1 u s i n ge u l e ra n g l ei n t e r p o l a t i o nt o c o n n e c td i f f e r e n tm o t i o ne l i p s t h e d i 跪r e n c eb e t w e e nf r a l l l e sw a sm e a s u r e db yt h ed i s t a n c e sb e t w e e nv e r t i c e s w h i c hw e r ed r i v e nb yb o n e s t h i sa p p r o a c hi m p r o v e st h eo r i g i n a lm e t h o d t h a tm e a s u r e st h ed i t i e r e n c eb e t w e e nf r a l t t e sb yt h ea n g l e sa n di g n o r e sl i m b s t w i s t i n g t h r o u 曲t h e s et e c h n i q u e s ，w e c a l l p r e v i e wt h ee r i e c t so fd a n c ea n dm a k e m o d i f i c a t i o nb e f o r ea c t u a lp e r f o r m a n c e t h u st or e d u c ed i f f i c u l t ya n dw o r k l o a d 3 f i n a l l y ，w ea p p l ya b o v et e c h n i q u e st ot h ep r o t e c t i o no fz h e j i a n gp r o v i n c e sf o l k d a n c ea n da c h i e v eg o o dc o m m e n t sf r o mf o l kd a n c ee x p e l s ， k e y w o r d s ：i n t a n g i b l eh e r i t a g e ；d a n c ev i r t u a le x h i b i t i o n ；d a n c ea r r a n g e m e n ta s s i s t i n g ； m o t i o np a t he d i t i n g ；m o t i o nt r a n s i t i o n ；m o t i o nc a p t u r e i i 浙江大学硕上学位论文 第一章绪论 1 1 非物质文化遗产保护与民间舞蹈艺术 我国是个有着五千年历史的文明古国，我国各族人民在长期生产生活实践 中创造了丰富多彩的非物质文化遗产，包括民间表演艺术、民俗活动、礼仪、节 庆、传统手工艺技能等。这些非物质文化遗产展现了中华民族赖以存在和发展的 特有的生存方式、生活智慧、思维方式、想象力和文化意识，体现了中华民族优 秀的文化价值和审美情趣，是我国优秀传统文化的重要组成部分，是中华民族智 慧与文明的结晶。 图1 1 浙江省民间舞蹈十八蝴蝶 在现代化进程快速发展的今天，传统的文化生态受到了强烈的冲击：由于掌 握“绝艺”者年事已高和缺乏后学者，一些靠1 3 授和行为传承的文化遗产正在不 断消失；许多传统技艺濒临消亡；大量珍贵实物和资料遭到毁弃或流失境外；随 意滥用、过度开发的现象时有发生。我国的非物质文化遗产的生存、保护和发展 面临着严峻的挑战。近年来，随着经济的发展，保护非物质文化遗产开始成为了 社会各界的共识。2 0 0 5 年，国务院办公厅印发了国务院办公厅关于加强我国 非物质文化遗产保护工作的意见，这标志着我国菲物质文化遗产的保护工作将 进入一个全新的发展阶段。 作为非物质文化遗产的一个重要组成部分，民间舞蹈艺术以人类自身的形体 动作来表现社会生活，体现民族历史，传情达意，抒发情怀。中国的民间舞蹈艺 术源远流长，在5 0 0 0 年前的新石器时代就已产生，经历代发展，传承至今，其 种类因地域而剐，内容十分丰富。自古以来，中匿一直就注重民问舞蹈文化遗产 的保护、抢救、存续、复兴等问题。如诗经“诵诗三百，弦诗三百，歌诗三 百，舞诗三百”；墨子公孟以歌、乐、舞三位一体的形式，集中保护了十五 个诸侯国与地区的民俗风情遗产；再如汉乐府将诗与歌舞相结合，突出反映 浙江人学硕上学位论文 了两汉时期人民的精神面貌，等等。1 9 世纪末2 0 世纪仞，中国社会面临亡国危 机，为唤起国民自主意识的觉醒、延续中国传统文化，一批有志者挽救、整理中 国传统民族民间舞蹈文化遗产，创作了一系列与现实斗争相结合的边疆舞蹈，并 用于舞蹈演出和学校美育实践中。2 0 世纪中叶，挖掘、保护、整理中国民族民 间舞蹈文化遗产形成了一股声势，出现了大批的优秀民族民间舞蹈艺术作品和较 为系统的几大民族民间舞蹈教学体系。进入2 1 世纪以来，在进入全球化的时代 背景下，人们越发认识到保护与抢救民间舞蹈文化遗产在的重要意义，开展了多 项民间舞蹈艺术保护工作，取得了初步成效。 在上述背景下，本文以民间舞蹈艺术的保护研究与开发利用为目的，将最新 的数字化技术应用民间舞蹈保护工作中。我们利用动作捕捉技术对民间舞蹈进行 全方位的数字化获取，并提供相应的民间舞蹈虚拟展示、辅助编排技术。为民间 舞蹈艺术的保护、刨编和开发利用工作提供了全新的辅助手段。 1 2 数字化技术与民问舞蹈艺术保护 和物质文化遗产不同，民问舞蹈艺术不以一定的物质形态存在于一定的环境 之中。这就给舞蹈的记录和保存增加了难度。在传统的记录保存工作中，演员的 舞蹈动作多通过文字、照片、视频进行记录。近年来、数字化技术的发展使得上 述手段的实施更为便利，促进了民间舞蹈保护工作的开展：模拟摄像机和d v 摄 像机的出现使得舞蹈拍摄更为大众化；数据库技术使得火范围的民间舞蹈获取成 为可能；网络技术的进步，舞蹈制品的网络传播、交流，搭建了一个全新的舞蹈 呈现平台。 然而，上述手段仍然难以对舞蹈表演，特别是演员的表演动作进行准确全面 的记录。拍摄录像或d v 只能从几个有限的角度以二维图像的方式进行录制。记 录下的数据虽然可以方便的存贮在录像带、电脑硬盘等媒体中并通过网络传播， 但数据的可重用性和可编辑性较差。在教学和重现时，还需要舞蹈艺术家和演员 的参与。获取的数据难以有进一步的开发利用( 如直接应用于影视、动画制作等 等) 。若舞蹈艺术家希望对获取的数据进行修改，则需要演员全部重新表演，带 来较大的工作量。 针对k 述问题，我们将动作捕捉技术应用到了民间舞蹈艺术的数字化保护 中，为民间舞蹈艺术的保护、创编和开发利用工作提供了全新的辅助手段： 首先设计并实现了一套民间舞蹈数字化保存和展示的技术方案。根据获取的 动作数据，采用骨髂蒙皮动画的方式进行了虚拟舞蹈的展示。和常规的视频记录 相比，通过数字化虚拟展示，观看者能够以任意角度、任意距离进行浏览，为民 间舞蹈的研究和教学工作带来了便利。针对蒙皮动画中顶点位置计算开销较大的 问题，利用v e r t e xs h a d e r 提高了渲染效率，为大场景、多人物的虚拟舞蹈展示 2 浙t i 夫学硕 学位论文 提供了条件。 在数字化获取和展示工作的基础上，利用获得的舞蹈动作数据，针对传统的 舞蹈创作与编排中缺乏可视化的预演手段，而且演员需多次重复排练的问题，设 计并实现了相应的舞台构图和运动片段连接辅助技术。 在舞台构图方面：设计了一种基于多分辨率滤波的路径编辑方法。；f u 用多分 辨率滤波从人物根关节的运动轨迹中提取运动路径，用户可以根据自我认知选择 不同滤波参数，以保留不同细节信息。改变了已有的基于b 样条的路径编辑方法 中的运动速度变化和人物滑动的问题。创编人员可以自由修改已有的动作片段， 并将其放在舞台的任意位置。 在动作片段的组合方面：采用对各个关节的欧拉角进行插值的方法进行动作 连接，又根据被骨骼驱动的蒙皮网络上顶点在不同帧间的距离来衡量两帧间的差 异，改变了已有方法根据对应关节的夹角衡量任意两帧间的差异，而忽略肢体扭 动的情况。 最后，结合浙江省科技项目民间表演艺术的数字化保存和开发利用关键技 术研究的要求，与浙江省民间艺术研究会合作，收集整理了浙江省包括民间舞 蹈艺术在内的2 0 多种民间表演艺术的资料，以此为基础搭建了基于w e b 的民间 表演艺术展示平台。对民间舞蹈余杭滚灯进行了包括动作录制在内的全方位 数字化获取，并对民间舞蹈虚拟展示和辅助编排技术进行了应用验证。 在后面的章节中，第二章介绍了当前民间舞蹈艺术保护工作开展的现状和相 关数字化技术：动作捕捉技术、人物动画技术、动作编辑技术；第三章介绍了民 间舞蹈艺术虚拟展示技术的实现；第四章介绍了民间舞蹈计算机辅助舞蹈创作与 编排技术；第五章介绍了上述技术的应用示范情况；第六章为全文的总结和展望。 浙江大学硕士学位论文 第二章民间舞蹈艺术保护工作与相关数字化技术现 状 2 1 民间舞蹈艺术保护工作的开展现状 近年来，随着经济的发展，国家和社会已经越来越重视非物质文化遗产的保 护工作【1 】。2 0 0 1 年和2 0 0 3 年，中国的昆曲和古琴先后入选联合国教科文组织公 布的第一、第二批“人类口头和非物质文化遗产代表作”：2 0 0 3 年，文化部、财 政部启动了“中国民族民间文化保护工程”；2 0 0 4 年中国正式加入联合国教科文 组织保护非物质文化遗产国际公约。各省、自治区、直辖市也结合本地区非 物质文化遗产现状开展了诸多工作。 目前数字化技术在保护工作中起到的作用仍然有限。以目前正在实旅的中 国民族民间文化保护工程为例，其中的保护方式主要有【2 1 ：一、普查、确认、 登记、立档；二、在记录的基础上进行整理、研究、出版，或在博物馆以妥善的 方式予以展示、保存；三、通过建立文化生态保护区等形式进行动态的持续性保 护：四、建立传承机制。在这些工作开展的过程中，先进的数字化技术的应用多 限于获取数据的存储、传播上，没有能够为保护工作提供新的手段，缺乏深层次 的利用。 2 2 动作捕捉技术 动作捕捉技术的出现可以追溯到2 0 世纪7 0 年代。当计算机技术刚开始应用 于动画制作时，纽约计算机图形技术实验室就设计了一种光学装置，将演员的表 演姿势投射在计算机屏幕上，作为动画制作的参考。之后从2 0 世纪8 0 年代开始， 美国b i o m e c h a n i c s 实验室、s i m o nf r a s e r 大学、麻省理工学院等开展了计算机人 体动作捕捉的研究。此后，动作捕捉技术吸引了越来越多的研究人员的目光，并 从试用性研究逐步走向了实用化。近年来，随着计算机软硬件技术的飞速发展和 动画制作要求的提高，有多家厂商相继推出了多种商品化的动作捕捉设备，如 v i c o n ，p o l h e m u s ，s e g ai n t e r a c t i v e ，m a c ，x i s t ，f i l m b o x ，m o t i o n a n a l y s i s 等c 其应用领域涵盖了影视制作、虚拟现实、游戏、人体工程学研究、模拟训练、生 物力学研究等许多方面。 浙江大学硕上学位论史 图2 1 利用动作捕捉技术制作的动词电影极地特快 到目前为止，常用的动作捕捉技术从原理上说可分为机械式、声学式、电磁 式和光学式四种【3 ： 机械式动作捕捉 机械式动作捕捉依赖机械装置来跟踪和测量运动轨迹。典型的系统由多个关 节和刚性连杆组成，在可转动的关节中装有角度传感器，可以测得关节转动角度 的变化情况。装置运动时，根据免度传感器所测得的角度变化和连杆的长度，可 以得出杆件末端点在空间中的位置和运动轨迹。x l s t 公司的f u l l b o d y t r a c k e r 是 一种颇具代表性的机械式动作捕捉产品。 图2 2 机械式动作捕捉 机械式动作捕捉的优点是成本低，精度也较高，可以做到实时测量，还可容 许多个角色同时表演。但其使用起来非常不方便，附着于表演者身体上的连杆和 设备对表演者的动作阻碍和限制很大，难以被应用于复杂动作的获取上。 声学式动作捕捉 浙江人学硕上学位论文 声学式动作捕捉装置通过测量声波从发送器到接收器的时间或者相位差来 确定接收器的位置和方向，从而获取人体的运动轨迹。l o g i t e c h 、s a c 等公司都 生产超声波动作捕捉设备。声学式动作捕捉装置成本较低，但对动作的捕捉有较 大延迟和滞后，实时性较差，精度一般不很高，声源和接收器间不能有大的遮挡 物体，受噪声和多次反射等干扰较大。由于空气中声波的速度与气压、湿度、温 度有关，所以还必须在算法中做出相应的补偿。 电磁式动作捕捉 电磁式动作捕捉系统中，一般利用特定的发射源在空间产生按一定时空规律 分布的电磁场。接收传感器安置在表演者身体的关键位置，随着表演者的动作在 电暾场中运动。通过电缆或无线方式与数据处理单元相连。表演者在电磁场中表 演时，接收传感器将接收到的信号通过电缆传送给处理单元，根据这些信号可以 解算出每个传感器的空间位置和方向。 电磁式动作捕捉的优点首先在于它记录的是六维信息，即不仅能得到空间位 置，还能得到方向信息；其次是装置的定标比较简单，成本相对低廉。它的缺点 在于对环境要求严格，在表演场地附近不能有金属物品，否则会造成电磁场畸变， 影响精度。所需的电缆对表演者的活动限制比较大，对于比较剧烈的运动和表演 则不适用。 光学式动作捕捉 光学式动作捕捉是目前最常用的动作捕捉技术。它通过对目标上特定光点的 跟踪来完成动作捕捉的任务。目前常见的光学式动作捕捉大多基于计算机视觉原 理：从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据 间_ 一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的 位置( 圈2 3 ) 。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该 点的运动轨迹。 图2 3 光学式动作捕捉的原理 6 撷江大学硕l 学位论殳 为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关 节、髋部、肘、手腕等位置贴上一些特制的标志或发光点( m a r k e r ) ，如图2 4 所示。系统定标后，相机连续拍摄表演者的运动，并将图像序列保存下来，然后 再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而 得到其运动轨迹。 图2 4 光学式动作捕捉 光学式动作捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表 演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测 量的需要。缺点是系统价格昂贵，且后期处理( 包括标志点的识别、跟踪、空间 坐标的计算) 的工作量较大，装置定标也较为烦琐。特别是当运动复杂时，不同 部位的m a r k e r 有可能发生混淆、遮挡，产生错误结果。 2 3 人物动画技术 人物动画是计算机图形学和艺术相结合的产物。最早的人物动画是由动画师 先在画纸上手绘真人的运动，然后再复制于卡通人物之上。到2 0 世纪7 0 年代后 期，美国开始出现了利用电脑辅助的人物动画制作技术。之后、通过预先制作人 物动画序列，渲染，然后作为视频文件播放成为诸多影视特技、商业广告、游戏 中常用的技术手段。另方面，随着虚拟现实技术、特别是计算机硬件技术的发 展，实时的人物动画开始越来越多的被应用到游戏、虚拟现实等领域。 目前，实时角色动画技术主要有三种实现手段【4 】： 第一类是关节动画。关节动画中的人物角色由若干独立的部分( 关节) 组成。 每一个部分对应着一个独立的嘲格模型。通过改变不同部分之间的相对位置( 如 夹角，位移) ，就可以实现所需要的各种动画效果。这类动画的优点在于，在动 画序列的关键帧中只需要存储节点问的相对变化，因此动画文件占用的空间很 小。关节动画的缺点在于，不同部关节的结合处会有很明显的接缝，这会严重的 斯江大学硕l 学符论史 为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关 节、髋部、肘、手腕等位置贴上一些特制的标志或发光点( m a r k e r ) ，如图2 , 4 所示。系统定标后，相机连续拍摄表演者的运动，并将图像序列保存下来，然后 再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而 得到其运动轨迹。 图2 4 光学式动作捕捉 光学式动作捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表 演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测 量的需要。缺点是系统价格昂贵，且后期处理( 包括标志点的识别、娠踪、空间 坐标的计算) 的t 作量较大，装置定标也较为烦琐。特别是当运动复杂时，不同 部位的m a r k e r 有可能发生混淆、遮挡，产生错误结果。 2 3 人物动画技术 人物动画是计算机图形学和艺术相结合的产物。最早的人物动画是由动画师 先在画纸上手绘真人的运动，然后再复制于 通人物之上。到2 0 世纪7 0 年代后 期美国) _ f = 始出现了利用电脑辅助的人物动硒制作技术。之后、通过预先制作人 物动画序列，渲染，然后作为视频文件播放成为诸多影视特技、商业广告、嵇字戏 中常用的技术手段。另一方面，随着虚拟现实技术、特别是计算机硬件技术的发 展，实时的人物动画开始越来越多的被应用到游戏、虚拟现实等领域。 目前，实时角色动画技术主要有三种实现手段f 4 1 ： 第类是关节动画。关节动l 画中的人物角色由若干独立的部分( 关节) 组成。 每一个部分对应着一个独立的嗣格模型。通过改变不同部分之间的相对位置( 如 夹角，位移) ，就可以实现所需要的各种动画效果。这类动画的优点在了，在动 画序列的关键帧中只需要存储节点闻的相对变化，闵此动画文件占用的空间很 小。关节动画的缺点在于，不同部关节的结合处会有很明显的接缝，这会严重的 小。关节动画的缺点在于，不同部关节的结台处会有很日爿显的接缝，这会严重的 浙江大学硕士学位论文 影响模型的真实感。 第二类是单网格模型动画。这种动茴中的人物角色由一个完整的网格模型 构成。在动画序列的关键帧中记录着组成网格的各个顶点的当前位置或者是相对 于上帧位置的改变量。通过在相邻关键帧之间进行插值，可以直接改变网格模 型中各个顶点的位置，从而实现动画效果。由于在关键帧中需要存储弼格模型所 有的顶点信息，动画文件占用的空间特别大。 第三类是骨骼蒙皮动画。在骨骼蒙皮动画中，个人物角色由作为皮肤的单 一网格模型和按照一定层次组织起来的骨骼组成。皮肤的每个顶点都会受到一 个或者多个骨骼的影响，通过改变相邻骨骼间的夹角和位移，组成角色的皮肤就 可以体现出不同的外观，从而实现动画效果。骨骼蒙皮动画的效果比关节动画和 单一网格动画更逼真，更生动。而且，随着3 d 硬件性能的提高，越来越多的相 关计算可以通过硬件来完成，骨骼蒙皮动画已经成为各类实时动画应用中使用最 广泛的动画技术。 2 4 动作编辑技术 动作编辑通过对现存的动作进行改编、或混合不同的动作片段，生成新的动 作【5 】。在动画制作过程中，动作编辑技术能够给动画师带来极大的便利【6 】【7 】： 利用动作编辑技术，可以编辑捕捉获得数据使其满足某些标准；此外，捕捉的动 作数据只是对某一段动作的精确记录，如果希望重复使用这些数据并有细微的不 同，那么也必须对原始的动作数据进行编辑；最后，动作编辑技术能够制作出现 实世界中不可能的动作，如动画片中人物夸张的动作。动作编辑技术不仅局限于 编辑通过动作捕捉获得的数据，也可以应用于其他动作生成技术，如关键帧动画 和仿真动画等。 动作编辑的手段多种多样。运动信号处理方法 8 】将图像处理和信号处理的 思想应用于运动数据的编辑中，将运动数据作为信号来处理：采用多分辨率滤波 等方法处理捕获的运动数据，根据信号频率的不同选择不同的细节层次进行编 辑；通过选择不同的参数在多目标插值时选择不同的插值效果，等等。类似的基 于信号处理方法的偏移映射技术【9 】【1 0 】将运动细节信息和运动的整体变化区分 开来，从而在对运动进行整体编辑时保持肢体运动的细节。 上述动作编辑方法缺乏对运动的约束，容易产生严重违反物理和生物规律的 动画。为此人们弓i 入了时空约束方法【1 1 1 【娩】求解生成满足用户所指定约束的动 画。时空约束方法的主要难点在于如何获取一个能够正确反映人体运动规律，且 足够简洁、能够被快速演算的约束方程。运动变形【1 5 】技术则通过定义类似于关 键帧的约束条件，实现动作间的平滑过渡，进而利用混合和重叠生成一组新的动 作片段 浙江大学硕士学位论文 由于动作数据中记录的是各个关节的转动角度，在将同一段动作应用到不同 的人物模型时，会产生失真的情况。例如一个足球运动员踢球的动作，根据球员 模型的不同( 人体骨骼长度不同) ，球员与球的相对位置也应当不同。运动重定 向【1 3 】方法利用时空约束、反向动力学等方法，解决了上述问题。 最近几年来，动作编辑中个流行的思路是采用大规模的动作捕捉获取很多 个动作片段，再在这些动作片段上进行混合、编辑等操作。运动图f 1 4 】方法通过 定义动作片段间的距离和两个动作片段间的变换关系以生成新的动作，从而最大 程度的利用了捕捉获取的动作数据。 目前，国内的动作捕捉、动作编辑技术曰益，“泛。 1 6 】设计了一套面向蹦床 运动的动作片段编辑方法，以帮助运动员改进和创新技术动作，提高运动竞技水 平；【1 7 】针对编钟乐舞建立了运动数据库，讨论了基于情感模型的运动片段分类， 等等。 9 浙江大学硕上学位论文 第三章民间舞蹈虚拟展示技术 利用动作捕捉获取的舞蹈表演动作数据准确记录了演员身体各主要关节的 长度、关节运动角度等信息。但仅通过这些数据，观看者无法获得对舞蹈表演的 直观的认识。为此，还需要通过虚拟展示技术重现原来的表演。图3 i 描述了从 记录到重现( 展示) 的整个流程：对于真实的舞蹈表演( 图3 ，l a ) ，通过动作捕 捉( 图3 1 b ) 获得动作数据( 图3 1 c ) ，最后通过人物动画重现表演动画( 图3 1 d ) 。 此外，由于人物动画实现的系统开销较大，我们还实现了基于v e r t e xs h a d e r 的 加速绘制，为大场景、多人物表演的虚拟展示提供了条件。 ( a ) ( c )( d ) 图3 i 数字化记录和重现的流程 3 1 人体运动的表示 在动作捕捉和实现人物动画时，通常将人体的骨骼结构表示为一个多块骨骼 组成的骨骼链 1 8 】。如图3 2 所示，骨骼间剐性连接，予骨骼受父骨骼运动的影 响。 - 1 目套l 女t l o 苷套i 鼎k n 帕 叠l o c r 妇 i 考撼。一嘞 叠m m j lf f f o 。t 一+ l e nf 0 0 t 图3 2 人体骨骼结构的链式表示 除了记录骨骼的长度外，动作文件中还需要记录每块骨骼在每一帧中的位置 和朝向。以最常见的b v h 格式为例，每个骨骼的位置和朝向记录包含了6 个自 由度： 帆幽 一 r 一 浙江大学硕卜学位论文 c h a n n e l s6 x p o s i t i o ny p o s i t i o nz p o s i t i o nz r o t a t i o nx r o t a t i o n y r o t a t i o n 分别是骨骼沿着x ，y ，z 坐标轴的位移和旋转的欧拉角。设r x ，r 。r ：为欧 拉角对应的三个3 3 的旋转矩阵，t 。，t 。，t 2 为三个坐标轴方向的位移，则骨 骼的旋转矩阵为： m = 其中 r 。，= r x r v r 2 ( 3 1 ) 式( 3 1 ) 是在骨骼的局部坐标系中的变换矩阵。对于除根骨骼以外的骨骼， 还需要计算其所有父骨骼局部变换矩阵的累加。如对于图3 1 中的右脚，设在右 脚骨骼的局部坐标系中表示右脚骨骼长度和初始朝向的向量为a ，则在运动时， 右脚的空间位置为： a = m n 睇m 咖协p mr l 却x e mm 稍f a 3 2 模型网格与骨骼闻关系的建立 ( 3 2 ) 如在2 3 节中提到的，在实现骨骼蒙皮动画时，需要根据骨骼运动信息驱动 蒙皮上各个顶点位置的变化。为此，首先需要建立蒙皮网格上的顶点与骨骼间的 对应关系。这一步工作我们通过专业建模软件3 ds t u d i om a x 完成 t 9 1 2 0 。我们 首先将三维人物模型导入到3 ds t u d i om a x ，建立b i p 格式的骨骼模型，调整骨 骼各关节的位置和大小，使骨骼和蒙皮问的位置尽可能一致，如图3 3 所示。 互0 e 如oo墨廊熙o 浙江大学硕十学位论文 ( a ) 蒙皮网格( b ) 导入骨骼( c ) 对齐 图3 , 3 蒙皮和骨骼对齐 调整好位置之后调用3 ds t u d i om a x 的c h a r a c t e rs t u d i o 插件中的p h y s i q u e 修 改器将蒙皮绑定到骨骼上。3 ds t u d i om a x 会根据骨骼和蒙皮的位置自动计算每 个顶点应当对应的骨骼。由于前面操作中骨骼和蒙皮位置对位偏差，以及 c h a r a c t e rs t u d i o 计算的误差，可能会有一部分蒙皮的顶点被绑定在了错误的骨骼 上面，需要通过手工调整进行修改。如图3 4 ( a ) 中，红色的顶点为初始计算后 绑定于左上臂的顶点，其中腋下的红色圈标出了绑定不合理的顶点；图3 4 ( b ) 为手 ：修改后的绑定关系。根据所采用的蒙皮复杂度不同，这一步骤可能需要相 当多的手工操作。 ( a ) ( b ) 图3 4 手工调整顶点与骨骼的相对关系 在绑定好蒙皮并导入动作数据后，利用d i r e c t ( 的x s k i n e x p 插件【2 l 】导出包 1 2 浙江大学硕士学位论j 含蒙皮顶点及骨骼运动信息的x 文件，即可以进行实时渲染了。 3 3 骨骼蒙皮动画的实现 3 3 1 蒙皮网格中顶点位置的计算 如3 1 节中所述，通过动作文件中记录的每一帧中各个骨骼的自由度，可以 得到当前帧中各块骨骼在局部标系中的变换矩阵m 。要得到骨骼在世界坐标系 中的变换矩阵，还需要考虑该骨骼的父骨骼，如式( 3 2 ) 所示。设骨骼i 为骨骼 i - 1 的子骨骼，可以得到每块骨骼在世界坐标系中的变化矩阵为： ( 3 3 ) 其中为单位矩阵。 由于蒙皮网格中的顶点坐标均根据世界坐标系计算，故在计算蒙皮顶点在 每一帧的空间位置时，需要首先将顶点转化到骨骼所在的坐标系中。这个变换矩 阵0 ，容易由骨骼链的初始位置信息获得。由此我们得到最终的变换矩阵： 鼻= l 口 被骨骼驱动的顶点p 在运动时的位置为 p=fp ( 3 4 ) ( 3 5 ) 上述公式仅仅考虑表示了顶点被一块骨骼驱动的情况。 。般在人体的关节 连接处，皮肤的外形会受到多块骨骼的影响。通过式( 3 5 ) 实现的动画，虽然 运动的皮肤是无缝的，但会在关节处出现褶皱【2 2 】，如图3 5 所示。3 5 ( a ) 和 3 5 ( b ) 为人体上臂和前臂的模型，3 5 ( c ) 和3 5 ( b ) 展示了采用式( 3 5 ) 进 行蒙皮动画的效果。由于顶点位置被单一骨骼驱动，导致了褶皱的效果。 浙江大学硕t 学位论史 ( c ) 图3 5 采用刚性蒙皮导致的凹陷 ( d ) 针对上述问题，通用的解决方法采用顶点混合技术( v e r t e xb l e n d i n g ) ，即为 顶点指定多个对应的骨骼阱及相应的权重。设一个顶点共受到k 块骨骼的影响， 容易由式( 3 5 ) 得到： 户= 一巧尸 = l 其中 h = 1 ，= l ( 3 6 ) 式( 3 6 ) 中的w j 一般由建模软件计算或动画师手动设定。图3 6 展示了利 用式( 3 6 ) 进行蒙皮动画的效果。可以看到，关节处的褶皱被明显的消除了。 浙江大学硕上学位论史 ( a ) ( b ) 图3 6 采用顶点混合进行蒙皮动画的效果 3 3 2 运动数据的组织 在本文的实现中，我们用类c s k i n n e d m e s h 组织人物动画相关的数据结构。 一个c s k i n n e d m e s h 对象对应虚拟场景中的一个人物。在对象初始化时，调用 d i r e c t 3 d 提供的d 3 d x l o a d m e s h h i e r a r c h y f r o m x 接口加载x 文件，读入人物蒙 皮、纹理、运动数据等信息。加载后的人物骨骼运动数据以d 3 d x f r a m e 格式 存放： t y p e d e fs t r u c td 3 d x f r a m e l p s t rn a m e ： d 3 d x m a t r i xt r a n s f o r m a t i o n m a t r i x ； l p d 3 d x m e s h c o n t a i n e rp m e s h c o n t a i n e r ： s t r u c t d 3 d x f r a m e + p f r a m e s i b l i n g ； g t r u c td 3 d x f r a m e * p f r a m e f i r s t c h i l d ； d 3 d x f r a m e ，l p d 3 d x f r a m e ； 其中n a m e 和t r a n s f o r m a t i o n m a t r i x 记录了骨骼的名称和对应的变换矩阵。 人体骨骼结构由d 3 d x f r a m e 组成的多叉树表示。图3 2 中的骨骼结构对应的 d 3 d x f r a m e 多叉树如图3 7 所示。 图3 7 骨骼运动数据的组织格式 浙江大学硕上学位论文 在进行实时绘制时，c s k i n n e d m e s h 提供了 两个接口，用于将d 3 d x f r a m e 链表中存储的变换矩阵重置为初始状态以 及向后偏移t i m e d e l t a 毫秒。利用上述两个接口，可以获得任意时刻任意骨骼的 变换矩阵。在帧间的f r a m e m o v e 过程中，根据当前给予人物的世界变换矩阵和 时间更新骨骼的变换矩阵： u p d a t e f r a m e m a t r i c e s ( l p d 3 d x f r a m ep f r a m e b a s e ， l p d 3 d x m a t r i xp p a r e n t m a t r i x ) 之后就可以在r e n d e r 过程中遍历所有的d 3 d x f r a m e 节点，绘制 c s k i n m e s h 对象所包含的骨骼动画了。 3 3 3 利用v e r t e xs h a d e r 的加速绘制 如式( 3 6 ) 所述，在实现骨骼蒙皮动画时，计算每个顶点的新位置时都需 要多次矩阵运算。在传统的固定功能的图形处理流水线( 图3 8 ) 中，我们需要 通过c p u 计算所有顶点经过变换后的位置p ，计算的开销较大。而通常一个表 演场景中包含多个人物模型，一个人物模型有数千到数万个顶点，这就给动画的 实时展示带来了困难。 由c p u 计算包含 大量矩阵运算 l l i i i 厶 l 1 ，? 固定渲染流水线 面丁+ 图3 8 利用固定功能图形处理流水线处理顶点位置计算的流程 为了提高渲染效率，我们采用显示卡的可编程渲染流水线，将顶点每一帧新 位置的计算工作( 式3 6 的计算) 交由v e r t e xs h a d e r ( 顶点着色器) 来完成，利 用g p u 强大的矩阵运动功能，提高渲染效率。图3 9 展示了利用v e r t e xs h a d e r 的渲染流程。 浙江大学硕士学位论文 v e r t e x s h a d e r 。p g p u 图3 8 利用v e r t e xs h a d e r 进行顶点位置计算的流程 在v e r t e xs h a d e r 中的所有数据( 寄存器) 都被表示为1 2 8 b i t 的四元数( 4 个f l o a t ) 。v e r t e xs h a d e r1 1 中寄存器的名称和用途如衷3 1 所示。 表3 jv e r t e xs h a d e r 的寄存器分配 用途 名称 属性 输入寄存器 v 0 ，v 】，v 1 5 只读 输出寄存器o p o s ，o d 0 ，o d l ，o t 0 只写 常量寄存器c o ，c l ，- ”，c 9 5只读 暂存寄存器 r o ，r 1 ，r l l读写 地址寄存器 a 0 x 读写 根据影响一个顶点位置的骨骼数目不同，v e r t e xs h a d e r 的代码也不同。我们 在d i r e c t x 9 0 和v e r t e xs h a d e r1 l 环境下实现了硬件支持的骨骼蒙皮动画。根据 影响一个顶点位置的骨骼数量不同，采用的v e r t e xs h a d e r 也不同。f 面以顶点 被两块骨骼影响，即式( 3 6 ) 中k = 2 的情况为例，说明加速绘制的实现。 首先在c p u 的计算流程中，动态计算各块臂骼的最终变换矩阵f 、投影矩 阵、光源位置等，放入常量寄存器c o c 9 5 中。其中矩阵的一行对应一个寄存器。 整个常量寄存器的分配如表3 2 所示。 。，。扒， 浙江大学硕士学位论文 表3 2 常量寄存器的分酣 寄存器 存放内容 c 0 ( 1 ，镜面反射光的亮度，0 ，7 6 5 1 ) c l 光源方向 c 2 c 5 投影矩阵 c 7 环境光 c 8 漫射光在光源方向上的投影 c 9 c 9 5 变换矩阵f j 之后定义输入寄存器 其中寄存器v 0 存储顶点的原始位置；v 3 存储顶点的原始法向量；v l 存顶点 混合时的权重，即式( 3 6 ) 中的w 。；v 2 存储顶点对应的矩阵索引。需要指出的 是，一个变换矩阵需要3 个寄存器，则v e r t e xs h a d e r 中最多能够存储( 9 6 9 ) 3 = 2 9 块骨骼的变换矩阵，这个数量能够满足一般骨骼动画的要求。本文的实现 中将人体分为了2 3 块骨骼。对于要求更为精细，骨骼数量更多的蒙皮动画，则 需要采用其它的处理方式。 由于g e f o r c e 3 不支持索引存放的d 3 d v s d tu b y t e 4 格式的数据，所以v 2 以d i r e c t x 的颜色数据格式d 3 d d e c l t y p ed 3 d c o l o r 进入v e r t e xs h a d e r ，为 此我们首先需要将d 3 d c o l o r 格式的数据进行转换，获得正确的索引： 其中c 0 w 被设置为( 2 5 5 变换矩阵的行数) + 0 1 。关于上述处理的详细原 理，见参考文献【2 3 1 。 v l 中记录的权重为w 】到w “，所以还需计算最后的混合权重w i 。 1 8 塑垩查堂堡主兰垡笙塞 其中c o x = l ，c o ，z = 0 ，v 1 x = w l 。上述两条指令令r 0 w = w 2 。 之后计算顶点p 及其法向量n 被f l 作用后的位置。r 4 存储矩阵变换后的顶 点， r 5 存储矩阵变换后的法向量 计算w l f l p 和w l f l n m u lr 4 x y z ，r 4 x y z ，v 1 x x x x j m u lr 5 x y z ，r 5 x y z ，v 1 x x x x ； 计算顶点及其法向量被f 2 作用后的位置： 将两次计算的结果相加，r 4 和r 5 中分别存储w j f l p + w 2 f 2 p 和w 1 f i n + w 2 f 2 n m a dr 4 x y z ，r 2 x y z ，r 0 w w w w ，r