动作与音乐的节奏特征匹配模型研究

1、动作与音乐的节奏特征匹配模型研究 摘 要：通过动作与音乐的节奏特征匹配模型来改变制作动画中的动作和音乐效果。在此模型中需首先了解其特点，继而利用动态时间规整算法在了解其应用在模型上的配合效果。为了有效看出模型在动作和音乐效果，可通过实验获得数据。首先可通过匹配模型来了解计算机中两样数据组合情况来获得关键数据，之后通过数据显示出来的性征特点来实现动作和音乐的配合效果。现本文将具体针对动作与音乐的节奏特征匹配模型进行阐述分析，希望为以后的研究提供参考以及借鉴。 关键词：动作；音乐；节奏特征 中图分类号：tp391.41 文献标识码：a 文章编号：1673-2596（2016）02-0233-02

2、众所周知，音乐对个体有着绝对感召力的元素是“节奏”。从各国音乐的发展，可以看到纵使语言不通，在不同的国度的个体也会随着音乐的节奏而抒发个体情怀。因此，可以说“音乐节奏”成为人们共同所享有的元素。尤其是现代音乐的发展，对节奏的关注比以往任何一个时期都更为重视。从音乐发展的核心来看，动作和节奏是音乐发展过程中的两个不可或缺的核心要求。 在现代音乐中，动作和音乐片段的相互匹配已经广泛应用于在编舞和配乐中。在创作编舞时，要以用户选定的音乐片段为依据，在此基础上编排适当的舞蹈动作。在创作配乐时，就要在用户选定的舞蹈动作的基础上，再创作出合适的背景音乐。但是动作与音乐作为两种完全不同感知的时序信号，为了二

3、者能够恰当的匹配在一起，此时，就需要一种动作音乐特征匹配模型的建立，此模式能够将单纯的动作与音乐信号合为一体，建立符合人类认知的匹配关系，且能够存储、检索和编辑音乐和动作。 一、传统创造与“节奏”的论述 传统创作动画就是利用动画师手工建立动作与音乐的匹配模型，然后，以给定的音乐为基础进行编舞，手工绘制关键帧后，再经过计算机进行插值处理，以变成舞蹈动画。相对于配乐而言，就需要动画师听取不同的音乐并进行多次创作，最终选定与既定的舞蹈动作最为匹配的音乐，选曲是非常耗时且枯燥的。 到目前为止，在动作与音乐特征匹配模型方面，人们已经积累了许多有价值的经验，在编舞方面，研究出了一个以音乐情感以及运动风格为

4、基础的动作与音乐特征匹配模型；并研究出对音乐和动作的节奏以及密度特征的利用，以使整个编舞过程更加顺利；还可以预先构建动作图，以供搜索选择，使编舞系统的搜索效率得到提高。在配乐方面，lee等建立了以一个舞蹈动作和音乐特征点之间的匹配模型，将其作为创作音乐的基础，以使半自动配乐得以实现；cardle等制作出了应用于影片音轨配乐系统的匹配模型。但是，上述匹配模型都是以一定任务为前提，在不同场合的情况下就难以通用。 音乐和舞蹈中交替出现，且有规律性的强弱、长短的现象被称为“节奏”。人的走路步态、动作的强弱以及节奏等动作特征，以及音调、音高、音色、音符时长的音乐节奏等音乐特征都是能够被人类所感知的。经研

5、究证明，最容易被观众感知的特征就是节奏，且节奏是舞蹈动作与音乐共同的特征。在研究分析动作特征时，shiratori等提出，动作的主要特征就应该是动作的节奏模式，在对日本传统舞蹈的节奏进行分析学习时，就必须结合手、脚以及身体重心三点的速度曲线以达到完美的效果。而lee等提出，将关节点角速度的极值点当做分割节奏的候选点以进行节奏分析，而后按照候选点的分布排列情况将其重新制作成动作特征曲线。在分析音乐特征之时，goto将音符的起始点、和弦变化以及鼓点模式综合起来，以完成对音乐节奏特征的分析。kim等认为音乐的主要特征就应该是播放的速度、节拍等。以上所述，均是以“节奏”特征为中心进行阐述，所以，在本文

6、中，也选择将音乐的舞蹈动作的节奏特征作为基础和铺垫，以将动作与音乐片段的匹配模型得到建立。 二、提取节奏特征 为使计算机动作与音乐的节奏相互匹配，就需要将动作和音乐信号变成在节奏语义上的特征点序列，也就是将音乐与动作数据的节奏信息以函数的形式抽象的表达出来。可以说，通过计算机对动作与音乐节奏的匹配，更加能够合理数据库范围内所要求的各种规范，信息函数是其表达所需要的前提，序列与节奏则是最终的表现形式。 kim等对于节奏的分析方法就是将各个关节点角速度曲线的动作数据提取出来，并将曲线的极值点作为节奏的参考点，以使参考点的时间序列形成。midi有较为直接的音乐节奏的提取，被看做音符指令组成集合的mi

7、di乐谱，在获得音符时长和位置时可以较为容易得到，但对于绝大多数音乐的片段来说，一个音乐小节各类音符的起始点一般都是四分音符，同时其也是乐曲的重音处，所以，一般情况下，音符的节拍位置都会与四分音符相重合。按照这一特点，将midi乐谱中的每一个四分音符的位置都作为此音乐的节奏点，此方法就是节奏特征的提取算法。用与节奏点最近距离的音符的音高决定节奏点的强度，节奏点未落在四分音符处的音乐片段不在本次研究之内。 三、节奏匹配度量 从音乐整体发展来观察，动作序列与节奏序列处于相互依赖，而又各自独立的过程中。无论是动作序列的编排如何具有创意性，总是离不开节奏旋律的规范。这是节奏序列与动作发展的所要依据的规

8、律。计算机的出现与应用，给节奏的划分提供更为精准的体系，制定一系列的标准。而对音乐节奏度量的要求，随着计算机的发展与人们对辨音的更高的要求，而更得更加严谨。 当动作序列被转化为动作节奏特征点序列值，音乐序列被转化为音乐节奏特征点序列值之后，二者的匹配程度就需要通过计算得出，其中方法包括：利用经典的欧式距离以解决上述问题，但是动作和音乐特征点序列的总体往往有相似的趋势，但是却不能够在时间轴上对齐。dtw算法就能够结合时间规划与距离测度，以有效的将问题解决。计算动作与音乐片段匹配程度的准则可以用它提供的累积距离函数来表示。 四、构建动作音乐映射图 一般应用动作图以及音乐图的方式进行储存和组织动作和

9、音乐的数据，进行自动编舞以及配乐。也就是通过节奏切分动作数据以及音乐数据，然后将各个片段制作成动作图或者音乐图中的一个节点。这样就可以将自动编舞以及配乐变成为遍历问题，通俗来说，就是利用动作以及音乐的节奏匹配模型以将潜在的动作和音乐片段组合的匹配程度计算出来。自动编舞或配乐的输出结果就选择匹配程度最高的一条路径。但计算的过程花销较大，因此必须构建一张以节奏为基础的动作音乐映射图，以使候选动作或音乐数据的搜索更加高效。 （一）构建动作与音乐图 构建动作与音乐图之前，应该以动作和音乐节奏点的位置为基础，然后切分动作和音乐数据，以及节点间的距离以建立其的连通性。具体可分为音色距离以及和弦距离两种。

10、（二）动作音乐映射 通过对dtw算法得出的分值进行比较，找出与每个动作或音乐片段最为匹配的音乐或动作节点，最后将匹配的结构存储与一个动作的音乐映射表中，此映射表能够将搜索的效率提高。 （三）点对点的网络效应 点对点的信息获取，简称为p2p搜素，是网络上一种对音乐作品进行深层挖掘的方式，主要通过一些分享开放式的文档进行筛选信息，可以分享的音乐文档也涵盖了作品名称、作者、曲风、时代等。这种平台互动和共享的音乐搜索机制正在慢慢应用到其他领域中。 五、配乐及编舞 完整的动作音乐映射图有利于自动配乐以及自动编舞，其工作流程具体可分为两个阶段：预计算和实时运行阶段。但同时，为了候选动作和音乐之间的节奏匹配

11、的改善，以使质量符合客户要求，对候选动作以及音乐还需进行加工处理。 （一）自动配乐 用户将动作序列输入，系统将自动输出匹配于该动作序列的音乐序列被称为配乐。自动配乐的过程中，依据于数据库对动作序列和节奏序列的整合，依据制作者所制定的标准与体系而进行相对更佳的配比。用户对动作序列的要求，通过具体指令进行匹配形式的操作和匹配结果的干预，从而形成符合用户需求的配乐，这种配乐方式，相对于传统方式来说，更加快捷而有效。 （二）自动编舞 用户将音乐序列输入，系统将自动输出匹配于该音乐序列的舞蹈动作被称之为自动编舞。从编舞的指令入手，计算机数据库内存在大量舞蹈风格与类型，不同的风格和类型是精通前期的裁剪而优

12、化形成音乐资源的主体，对用户所提到基本要求给一定程度上的满足。个体用户通过指令的方式输入音乐序列，指令转达给舞蹈数据库，进行相对应的配合，以达到音乐序列与舞蹈序列的结合。 （三）动作候选以及优化音乐编辑 即使图遍历策略输出的候选动作以及音乐序列是最好的，但是因原始数据库存在不完备的特征，也还是无法通过图遍历策略完成两者的高度匹配。依据dtw算法，可以变形音乐片段，以达到将动作特征点映射到对应的音乐特征点中的目的，使动作以及音乐片段的匹配程度得到改善和提高。 结语 动作音乐匹配模型是为了改变舞蹈连贯性和音乐方面的匹配，在模型中前期通过动作-音乐视图以及dtw算法从而得出数据，然后通过数据来改善和

13、处理动画和音乐方面的问题。 动作和音乐融合状况一直是一个难以攻克的课题，需要更深层次的去完善和处理相关问题。文章指出的编舞处理未能整体考虑相连性，只考虑的片段之间动作联系，为了能全面处理整体问题，可以通知整体段落之间的联系来改善部分段落之间的契合，从而使段落中的动作能实现完全的整体连贯和匹配。而音乐方面，为了使片段和片段之间能够完整的呈现完美旋律，可以通过计算机的数据库在此方面的音乐衔接规则得出片段之间的联系，来实现音乐整体旋律的完美融合。动作音乐匹配模型在动作和音乐方面能够使编舞和配乐系统的整体效率提高，还能使舞蹈和音乐之间的融合的更加简单、方便、快捷。 参考文献： 1樊儒昆，傅晶，程司雷等.动作与音乐的节奏特征匹配模型j.计算机辅助设计与图形学学报，2010，22（6）：990-996. 2谷勇.英纽特鼓舞歌的文化属性与音乐特征j.中国音乐，2005，（3）：69-73. 3包天天.探索肖斯塔科维奇早期钢琴作品的创作风格及演奏特征以三首幻想舞曲为例j.音乐时空，2014，（14）：100-100，104. 4姚琦.影视画面的节奏艺术特征分