音乐特征提取

1第1章绪论1.1问题的提出随着生活水平的不断提高，人们对自身素质也有更高的要求，越来越多的人开始学习乐器来提高自身的音乐素质。在各种培养学生音乐感受节奏的方法中，听、念、动三种需要教师播放CD、磁带上的音乐或用钢琴演奏相关的乐曲。CD和磁带上的音乐内容是固化了的，只能因教学的需要进行选择，而不能因教学的需要进行改变。钢琴在现代的音乐课堂上已成了必不可少的工具，利用钢琴教学，方便、灵活、有情感。但也有缺点，如：课堂上教师必须花一部分精力在弹奏钢琴上，无法全身心地投入到教学活动的组织中去；钢琴的弹奏不但受演奏技术程度的制约，也受人的精神和体力状态的制约，人在情绪欠佳或在长时间弹奏(如连续上多堂课)后略感疲劳，可能会弹错音或弹奏的节奏不准确；钢琴的音色较单一等等。这些缺点可由计算机音乐系统来弥补。在音乐的坐标中，横轴是节奏的交替，竖轴是音的高低。在音乐的流动之中，正确地听辨音的高低是非常重要的。培养学生辨别音的高低的能力，要通过必要的音准训练来进行。计算机音乐系统辅助学生的音准训练，有较大的优势。对学生进行音准训练，先从基本音级开始，然后把变化音级一个个依次加入。训练方法主要有三种：听辨、模唱、听记。音的高低，必须有比较才能感觉，所以辨别音的高低至少要牵涉到两个音。任何两个音的出现体现出的特征为每个音的绝对位置和音与音之间的相对关系，而其中最重要的特征是音与音之间的相对关系。在调性音乐中音与音之间的关系体现于音乐的“调式”[1]。音乐的调式构成了音与音之间的不平等关系：统帅与从属、稳定与不稳定。所以辨别音的高低可以先给标准音，从音的绝对音高出发辨别音的高低；可以给某一作为基本音高的音，从一个调式主音出发辨别音的高低。在小字一组的基本音级里，大调式主音就是C，标准音是A，辨别音的高低可从这两个音开始。也有人主张从G—C开始，因为其体现的是大小调式的主属关系，不稳定到稳定的关系。这些见解都很有道理。在练习方法上，传统的方法总离不开钢琴弹奏，现在用计算机音乐系统辅助，更为简便。1.2选题背景及其意义现代科学的发展历史证明，很多新的学科都是在不同学科的交叉点上生长出来的，70年代出现的“电脑音乐”[2]就是音乐艺术与信息科学的交叉学科。三十年来，电脑音乐已经取得了很多实用性的成果，电子乐器、音乐信号的数字编码、数字压缩、数字存储等技术迅速发展，促进了CD、VCD、数字广播、多媒体等的普及应用，展现了广阔的市场前景。但是，电脑音乐作为一个新学科，其根本目标是要用计算机来模拟人对音乐的认知和创作智能，涉及音乐理论、认知科学、人工智能、信息处理、模式识别、智能控制与自动化等学科，具有很大的难度。应该说，时至今日在此方面的研究还只是刚刚开始。计算机的出现推动了现代电子音乐技术的发展。计算机多媒体技术和信号处理技术的日新月异和其在音乐欣赏与创作领域的渗入，使以电子音乐为代表的现代音乐技术飞速发展，而且技术革新的领域也在逐渐扩大。基于计算机、电子技术的音乐识别、分类、特征提取等一系列问题，被越来越多研究人员关注。如果能将电子学的发展灵活运用到音乐欣赏创作的领域，无疑一方面会减轻音乐工作者的劳动强度，辅助他们工作；另一方面将促进实现音乐处理、识别、创作的智能化。因此，寻找一个合理而又有实践价值的结合点，对推动此交叉学科的发展有深远意义。基于电脑技术被运用到相应的音乐欣赏领域，指导或辅助音乐学习、鉴赏提出了音乐识别、音乐检索、录音分析等课题。其中，音乐识别、旋律提取、节拍分析、风格自动分类等研究已被给予一定关注[3]。这个“电子老师”会像音乐教育工作者或者其他接受过多年音乐训练的专业人员一样，智能地理解分析音乐，还可以指导演奏学习者在钢琴演奏领域的实践。1.3当前研究现状目前，对音乐信息的研究主要分为音乐认知、音乐创作和音乐数据库检索三个方面。在音乐认知方面，既包括对节奏[4]、和声[5]等复杂特征的分析与识别，也包括能像人一样的分析音乐风格、感受音乐[6,7]，像演奏家一样演奏音乐的计算机系统。在音乐创作方面，又包括以下两方面的内容：一个是按照某种风格，或将一些音乐片断重新组合作曲[8]；另一方面是将音乐与视觉艺术相结合，根据音乐产生出不同的图形和动画。在音乐数据库检索方面，是根据一小段旋律，在音乐数据库中找到相应的曲目[9,10]，这对于音乐资料的查找将有重要的意义。由于音乐信息中含有大量的模糊性和不确定性，缺乏严格的数学描述和数学模型，无法用传统的信息处理方法来解决，因此多数研究采用了模糊系统、神经网络、专家系统、遗传算法等智能信息分析处理方法。1.4本文研究内容本文从研究音乐特征开始入手，在音乐、物理的基础上首先明确了可以用于音乐识别的音乐特征的界定，着眼于对描述音乐的本质特征的探询，目的是探讨何谓可以识别音乐的特征，并力争对这些音乐特征进行合理提取、分析。投入大量时间精力研究不同音乐特征的具体提取方法和分析方法，并且结合实际，分别完成音高、时值、特征提取方法设计及其计算机实现。本人的工作还包含制作大量可以用于测试实验的音频文件(录制.wav格式)和乐谱，以及存储相应信息的数据文件；当然，还对系统性能进行必要测试。论文工作的目标是建立钢琴音乐识别系统合理框架结构，给出可以用于识别的音乐特征，实现钢琴演奏音乐的各个特征提取。另外，基频(基音)的提取方法理论及其实现的研究是工作的重点。总之，研究工作是基于物理、音乐及其电子相关理论展开的，并结合信号处理技术、多媒体技术以及模式识别的方法实现的。第2章音乐的物理基础音是一种物理现象。物体振动时产生音波，通过空气传到人们的耳膜，经过大脑的反射被感知为声音。人所能听到的声音在每秒振动数为16-2000次左右。在自然界中，我们人的听觉能感受到的音很多，但并不是所有的音都可以作为音乐的材料。使用到音乐中的音(不含泛音)，一般只限于每秒振动27-4100次的范围内。也就是说在音乐中所说的音是人们在长期的生活实践中挑选出来，能够表现人们生活或思想感情的，并组成一个固定的体系，用来表达音乐思想和塑造音乐形象。音有音高、音长、强弱和音色四种特征，它们分别与振动的频率、持续时间、振幅和频谱分布等物理量相对应：音高代表了音符的高低，可以用钢琴的键盘来说明。钢琴键盘上的每一个白建和黑键都是一个音，从音的高低关系上来说，不管白键还是黑键。凡是相邻两个键都是半音的距离。如果单看键盘上的白键，可以看成是由每七个键分为一组的若干个组过构成，每个组代表了从某一个音到它的高八度音之间的一段距离。各组之间的关系就是由低到高或由高到低逐渐上升或下降的关系。如果两个白键之间插有一个黑键，则这两个白键包含了两个半音，即一个全音；如果两个白键之间没有插有黑键，则这两个白键包含的就是半音。钢琴键盘上每组的七个白键，在五线谱中用基本的音高符号C、D、E、F、G、A、B七个字母来命名，叫做“音名”。黑键依白键而命名，如C、D之间的黑键，可成为升C(#C)或降D(bD)，#、b是升高半音或降低半音符号。在简谱中，对应的音高符号是1、2、3、4、5、6、7。从物理学角度来看，音高和声波的频率有着密切的关系，频率越高，则音高越高。音长说明了音符的长短，这是以全音符为基础划分的，其它各音符按它与全音符的比值命名，如二分音符、四分音符就相当于全音符的二分之一、四分之一。通常音乐都是以四分音符为一拍，八分音符为半拍来演奏音乐的。音强就是在听时人们所感到的响度，也就是人们通常说的强弱或大小，轻重，它代表音符的强弱，比如在弹奏钢琴时音强说明了一个琴键按下的力度。音的以上四种性质，在音乐表现中都是非常重要的，但音的高低和长短则具有更为重大的意义。假使改变音乐的音色和强弱，仍可以依稀辨认出乐曲；但若改变音乐的音高和时值，音乐形象将受到破坏。因此，音乐识别的基础任务就是通过识别获得这四个参数的信息，特别是严格地获得音高与时值信息。在音乐中使用的、有固定音高的音的组合，叫做乐音体系[28]。在乐音体系中的音，按照上行或下行次序排列起来，叫做音列。乐音体系中的各音叫做音级(Step)。音级有基本音级和变化音级两种。乐音体系中，七个具有独立名称的音级叫做基本音级。在钢琴上五十二个白键循环重复地使用七个基本音级名称。两个相邻的具有同样名称的音之间的跨度叫做八度(Octave)。升高或降低基本音级而得来的音，叫做变化音级。这样一个八度内所包含的12个音符为：C、＃C、D、＃D、E、F、＃F、G、＃G、A、＃A、B。一个个孤立的音，是无法塑造音乐形象的；在音乐中使用的音总是按照一定的关系连结在一起，表达一定的音乐思想。组成一首乐曲的三个基本要素为旋律、节奏和和声。而在这三种要素中，旋律和节奏是不可缺少的，因此对一首乐曲的旋律和节奏的认知是必要且必须准确的。同时乐曲的调式调性也很好的表征了乐曲的特点，如果能很好的提取出音乐的调式特性，在一定程度上可以辅助演奏者对乐曲特征的感知与表现。第3章钢琴音乐的音高、时值特征提取音乐特征的分析与提取对实现音乐的自动识别起着至关重要的作用，其提取对象的科学性、提取方法的可行性及其提取结果的准确性直接影响自动识别的效果，对于本文来说，提取结果将进一步影响对.wav格式的音频信号的分析，及其后续判别、比较、评定工作。因此，特征提取环节是钢琴演奏音乐的计算机识别系统的重要研究讨论的内容，也是实现系统功能必不可少的组成部分。本章讨论了可以用于识别的七种钢琴音乐特征―音高、时值的提取方法理论及其计算机实现。3.1短时傅里叶分析下的音乐特征识别3.1.1短时傅里叶变换的定义和物理意义傅里叶分析是分析线性系统和平稳信号稳态特性的强有力手段，它在许多工程和科学领域中得到广泛的应用。短时傅里叶分析，是基于短时平稳的假定下，用稳态分析方法处理非平稳信号的一种方法，也可称为时间依赖傅里叶变换[43]。对于钢琴演奏的音乐来说，速度较快的急板乐曲一般每分钟240拍左右，即便按照钢琴演奏家的极限能力―在如此速度下，每拍都演奏三十二分音符(也就是每拍八个音符)，那么按照相邻两个音符皆不同计算，每分钟可演奏960个音符，则演奏单个音符所占据的时间是0.0625s。由此可以看出，对钢琴音乐进行短时傅里叶分析的短时平稳假设成立(可以假设音乐信号在10ms这样短的时间段中是平稳的)。在这种情形下，可以分辨的最低频率为16Hz，而键盘上的最低音的音高约为27.5Hz。声音的感知过程与人类听觉系统具有频谱分析功能是紧密相关的。因此，对音乐信号进行频谱分析，是认识音乐信号和处理音频信号的有效手段之一。信号的短时傅里叶变换定义为：(3-1)式中，为一窗序列，显然是个二维函数，也称时频函数。可以从两个角度理解时频函数的物理意义：一种解释是：当固定时，例如，则是将窗函数的中心移至处截取信号，再做傅里叶变换而得到的一个频谱函数。这是直接由式(3-7)从频率轴方向来理解的。第二种解释是从时间轴方向来理解：当频率固定时，例如，则可看作时信号经过一个中心频率为的带通滤波器后产生的输出。这是因为式(3-7)中窗序列通常具有低通频率响应，而的傅里叶变换为，这里的指数对的调制作用，是使其频谱产生位移，即将频谱中对应于频率的分量平移到零频。因此，式(3-7)可以理解为如图3-1所示的带通滤波作用。图3-1短时傅里叶等效的带通滤波Fig.3-1Theband-passfilterofSTFT3.1.2基于短时傅里叶变换的频谱图及其时频分辨率短时傅里叶变换幅度的平方是信号在时间处的频谱能量密度函数。当把看成是能量有限信号时，其频谱能量在频域是连续分布的，只能以密度函数的形式给出。它是信号的短时自相关函数的傅里叶变换，即：(3-2)其中短时自相关函数定义为：(3-10)在实际计算时，一般用离散傅里叶变换代替连续傅里叶变换，这就需要对信号进行周期性扩展，也就是把看成是某个周期性信号的一个周期，然后对它作离散傅里叶变换，这时得到的是功率谱。值得注意的是，如果窗长为，那么的长度为，而的长度为。如果对以为周期进行扩展的话，在自相关域就会出现混叠，即这个周期函数的循环相关在一个周期中的值就与线性相关的值不同了，这样得到的功率谱只是真正功率谱的一组欠采样，即个采样值。如果想得到功率谱的全部值，可以在之后补个采样值，将它扩展成为周期为的信号再作傅里叶变换。这时候的循环相关与线性相关才是等价的。以语音识别的语谱图和MIDI制作中的钢琴事件卷帘窗作为参考，本文提出一种相应的、更直观的基频和时值特性的表示方法。用时间作为横坐标，做纵坐标，所构成的二维图像可以清楚的表达每一时刻的音高，同时也得到了每一音符触发、持续时间、释放的相应信息。这种表示方法可以反映音频信号动态频谱特性，其时间分辨率和频率分辨率是由所用窗函数的特性决定的。先看频率分辨率。假定时间固定，例如，对信号乘以窗函数作用，在频域相当于用的频率响应与信号频谱相卷积。设通带带宽为，那么它在频域可分辨的频率宽度即为。这就是说，卷积作用将使相隔的频率差小于的任何两个谱峰都合并为一个单峰。因为对同一种窗函数而言，其通带宽度与窗长是成反比的，因此，如果希望频率分辨率高，则窗长尽量取长一些。再来看时间分辨率。假定频率固定，例如，对信号乘以窗函数的作用，相当于对时间序列作低通滤波。其输出信号的带宽就是的带宽。根据采样定理，对这种信号只需以为采样率就可以充分反映，可见它所具有的时间分辨宽度为。因此，如果希望时间分辨率高，则窗长应尽量取短一些。由此可见，短时傅里叶变换的时间分辨率和频率分辨率是相互矛盾的，这是短时傅里叶变换本身固有的弱点。3.2音高时值特征3.2.1音高时值特征的提取3.2.1.1音高检测原理音高检测实质上是音乐信号的基音检测[44]。所谓音高，也称音调，它是人耳区分声音振动频率高低的一个度量。音高主要取决于声音频率的高低本文完成的钢琴演奏的计算机识别中，选用效率较高且正确率较高的短时傅里叶分析作为核心思想，提取音频信号的基音音高、触发时刻、发音持续时间以及结束时刻的相关信息。音高时值的功能模块可以较好地处理独立单音、单音旋律以及简单双音，并将特征提取的详细结果表示在以时间作为横轴，以键盘序号为纵轴的“演奏事件效果”效果图上。实现此功能的流程图如图3-2所示。功能块输入.wav格式文件，输出为两幅图像：(1)时间－基频图；(2)时间－事件图。功能块全部算法依赖Matlab软件编程[46,47]实现。图3-2钢琴演奏的音高时值特征提取流程图Fig.3-2Thepick-upflowchartofpianoperformance’sfrequency-timevalue3.2.1.2音高识别步骤步骤1：读取trans.dat，trans_tone.dat，trans_key.dat三个事先制作好的数据表格。在trans.dat表格中存储了0Hz到5000Hz的频谱范围上，每个整数频率点应近似得到的相应标准音高。而标准音高是依照十二平均律，通过数学计算得到的钢琴键盘上每个琴键所对应的标准频率(取整数)。在trans_tone.dat中存储十二平均律下，每个音的基频所对应的标准频率，用来在以后的计算中将计算出的基频结果规范化。在trans_key.dat中存储每个标准音高所对应的钢琴键盘序号(钢琴琴键从左起第一个键开始，全部白键黑键顺序编号步骤2：完成对待分析的乐曲的基本信息[48]读入工作。待分析的乐曲是真实的通过mic采集来的一段音乐，按照标准.wav格式存储在计算机中的。用.wav为扩展名的文件格式称为波形文件格式(WaveFileFormat)，Wave格式是对实时播放的音乐信号进行采样和数字编码，记录了实际的演奏效果。波形文件格式支持存储各种采样频率和样本精度的声音数据，并支持声音数据的压缩。波形文件有许多不同类型的文件构造块组成，其中最主要的两个文件构造块是FormatChunk(格式块)和SoundDataChunk(声音数据块)。本步骤完成对实际演奏信息的获取。步骤3：是基本的滤波去噪单元，降低外界干扰对分析结果的影响。步骤4：为基音提取模块，在这个模块中完成对一个重要音乐特征－基频的分析和提取工作。因为单音单旋律和双音采用不同的基频提取方式，以下对基频特征提取模块作分别说明：(1)单音旋律(或独立单音)提取单音旋律或伴奏的识别，可以认为是对钢琴演奏者单手演奏的单声部乐曲的识别。一般初级钢琴音乐作品都是单旋律作品加上左手一定的音乐织体伴奏。对于初级钢琴作品单声部的识别，意味着系统可以很好的认知每首作品的主要音乐成分。虽然钢琴是多声部乐器，但在钢琴学习中，分声部练习是非常重要和必要的。因此，系统对于单声部音乐，特别是旋律的音高和时值特性的提取是至关重要的。提取模块的详细流程图如图3-3。单音旋律基频提取模块主要完成对初级钢琴音乐作品演奏的音高的连续提取，提取出来的基频信息按照时间顺序存储在freq数组中。单音旋律提取模块基本再现了真实演奏中的音高及其奏响顺序，此模块的核心思想是采用短时傅里叶分析的方法对信号加窗，使音频信号分解成很小的帧。然后对每一帧根据前文总结出的钢琴弦振动的频域特性归纳分辨基音，并按事件发生的前后顺序依次记录在表示音高特性的数组中。进行音高提取并存储，这将作为后续调式识别模块的输入信息之一。相对困难的是双音的音高提取。(2)简单双音旋律的基音提取双音(或多音)的基频提取一直是音频信号分析的困难之一。由于音律的定义方式和钢琴弦振动的特性，构成泛音关系的两个音(或多个音)在频域上的混叠，协和和弦在最小两个基频的最小公倍数处同样产生叠加。这样，区分两个基频变得相当困难。本文的方法是先将每一个音的振动情况存储成参考模板，然后仍然利用短时傅里叶分析，按照单一基频的提取方法先提取出能量较高的一个音的基频。再将每一帧的频域数据与参照模板比较，分成协和与不协和情况分别讨论分析，提取第二个基频。这种分步提取的方法和按照音程性质的提取方法，在分辨简单双音时有很好的分辨率。在此应该指出的是，双音是指在某一时刻出现两个音同时发音并持续振动一段时间。而这里研究对象仅仅是简单双音，是固定不动且跨度不超过3个八度的同时发声的两个音。相对的，这里把流动变化的双音双称为复杂双音。简单双音的音高提取方法是在简单单音提取音高的基础之上进行二次判断，对于复杂双音的音高提取，应用此方法得不到很高的准确度。流程图如图3-4所示。图3-3单旋律音乐基频提取流程图Fig.3-3Thepick-upflowchartofsimplesinglenote’sfirstpartial步骤5：为波形整理规范化模块，在此步骤中依照音乐中节奏型和节拍单位除去波形中的毛刺。对于每首乐曲来说，一般都会有最小的计量单位，如十六分音符、三十二分音符等。在系统从第一步骤得知首音的长度后(一般要求演奏的首音时值相对准确，以便系统正确地计算)，可以计算出计量单位的绝对时间长度。然后可以使用这个绝对时间长度对输出进行整理。步骤6：先是提取每个音符绝对时间长度，经计算获取相对时间长度，即用标准的时值表示的音长。其算法流程如图3-5所示。振动的延续时间长，音则长；振动的延续时间短，音则短。乐曲节拍的时域特征主要变现在波形文件的物理特征上，如信号周期、频率、振幅等。节拍的频域特征主要表现在乐曲的功率谱密度上，即信号能量。节奏是指单位时间内人物语言中交替出现的有规律的强弱、长短的现象。我们把舞台语言这种具有节拍感的快慢长短、轻重强弱变化就叫做语言的速度节奏。音长是构成语言速度节奏变化的主要因素，所以我们同样可以依据声音四要素变化的原理来进行舞台语言速度节奏变化技巧的训练。图3-4简单双音旋律音乐基频提取流程图Fig.3-4Thepick-upflowchartofsimpledoublenote’sfirstpartial步骤7：输出结果的单元，结果做图表示。时间－频率结果图是以时间为x轴，以提取到的各个时刻的基频频率为y轴的表示图；时间－事件结果图是以时间作为x轴，以各个时刻所触发的琴键序号为y轴。这种表示方法与乐谱有着天然的类似，即表现演奏事件在时间上的变化过程。图3-5相对时值提取流程图Fig.3-5Thepick-upflowchartofrelativetimevalue3.2.2先来看看单音的音高时值提取结果，对中音区音阶(c1-c2)采用上述乐音识别方法频率的识别结果如表3-1。表3-1识别结果Table3-1Recognitionresult识别音符标准频率Hz识别频率Hz误差率%c1261.63261.29850.127d1293.66293.92210.089e1329.63329.73460.032f1349.23350.17260.27g1392.00392.86330.22a1440.00439.24400.172b1493.88494.79100.184c2523.26524.42550.223对于单音旋律的音高时值提取结果：实验数据为100段音乐主题或主旋律片断，包含中外古典与现代的不同风格。片断由钢琴演奏学习者演奏，片断长度不超过30小节，即不超过一分钟。实验所用乐曲难度涵盖入门级到业余钢琴演奏十级(但只演奏单音旋律部分)的误差来说，只要将误差容许范围设定为(-25%，+25%)，就可以正确调整所有的时值。系统正确识别出了所有的音符，结合调整的时值就可以完成谱曲。结果如表3-1。表3-2识别结果Table3-2Recognitionresult序号频率Hz识别音名检测时值准确时值误差%1261.566c1616.78555.56+11.022293.289d1565.99555.56-1.883330.756c1431.75555.56-22.294349.256f1700.23555.56+265391.594g1588.72555.56-5.976391.054g1602.27555.56+8.417393.449g1275.74277.78-8.418350.896f1282.99277.78-0.739330.194c1413.6555.56-25.610348.833f1685.71555.56+23.4311348.403f1595.01555.56-7.112348.451f1326.53277.78+17.5513329.352c1312.02277.78+12.3314291.394d1562.35555.56-1.2215261.047c1573.25555.56-3.1816330.384c1631.3555.56+13.6317392.010g1446.72555.56+19.6以一首用于单音旋律乐曲的乐谱―贝多芬第九交响曲《欢乐颂》的主题为例。MIDI软件Cakewalk制作得到的钢琴卷帘事件窗。对于卷帘窗可以如表3-2是乐音“洋娃娃和小熊跳舞”经过端点检测和音符识别所得到的频率、音名、时值。系统正确识别出了乐音中所有音符的音名。对于时值项，其实际的含义是决定乐音的延时，即区分是全音符、二分音符、四分音符等。其中四分音符时值为：555.56ms，八分音符时值为277.78ms。在这个速度下，计算出时值识别误差。总的来看，由于标准音符时值的时间间隔较大：全音和二分音符的时值相差1111.13ms；二分音符和四分音符时值相差555.56ms；四分音符和八分音符时值相差277.78ms，所以就表下理解：横向是小节及其节拍时刻，可理解为时间轴；纵向是钢琴键盘序号，如图中左侧的钢琴键盘。在二维的网格图中相应的方块表示在此时刻相应的钢琴键盘被按下，即相应的琴弦产生振动。如图3-6所示。图3-6乐曲《欢乐颂》钢琴卷帘事件窗Fig.3-6Thepianoshutteraffairwindowof<<HuanLeSong>>那么，图3-6可以看作时间－键盘事件图，恰好对应音高时值提取模块的输出时间－事件图，这里称前者为《欢乐颂》这首乐曲的标准时间－事件图，作为判断实验结果的理论值图，称后者为《欢乐颂》这首乐曲的实验时间－事件结果图，为实际实验结论图。对比图3-6和图3-7可看到实验结果与理论值已经有很好的近似性，如果进一步将时值特征规范化，用严格的音乐时值概念