（纺织工程专业论文）音乐的计算机模拟生成研究.pdf

音乐的计算机模拟生成研究中立摘要音乐的计算机模拟生成研究中文摘要随着计算机技术和电子技术的飞速发展，计算机已经普遍并渗透到我们生活的各个领域中。计算机音乐生成研究是计算机技术进入艺术创作领域中的一个引入注目的范畴，它是信息科学与艺术的交叉性学科。计算机音乐生成研究所包含的内容十分广泛，本课题就音乐的计算机模拟生成的有关理论及应用问题展开研究。我们对以w a v e 文件格式记录存储的音乐定义为音乐时间序列。通过对整段音乐时间序列进行特征分析和建立序列模型，探讨基于音乐序列的综合特征的模拟生成问题；并在此基础上对音乐序列进行短时频谱的时变特征分析，研究基于音乐时变特征的模拟生成理论问题，并进行了模拟生成实验。在本文的第一部分，我们首先对所定义的音乐进行时域解析，即对整段音乐序列进行基本的统计特征及连续特征的分析，然后提出影响音乐风格的各种特征参数。基于在第一部分对这些特征参数的解析，我们建立了一些模型，包括弦振动模型和自回归模型等，通过这些基础模型，探讨模拟生成整段音乐序列的方法。由于真正的音乐其频率特征多是随时间而变化的，故在第二部分进行了音乐序列的短时分析，并提取了短时幅度谱，并建立时变自回归模型对其进行预测，生成新的幅度谱。然后根据信号重构理论和迭音乐的计算机模拟生成研究中文摘要代序y , j # b 推法对预测的幅度谱进行信号还原，以此获得模拟音乐。按照以上方法进行模拟生成音乐并分析生成结果，我们得知从时域解析得到的模拟方法适用于较单纯的音乐，而利用短时分析的模拟方法对一些变化较复杂，频域较宽的音乐模拟效果较好。本课题对模拟生成音乐问题提出了特有的可行方法，为深入展开计算机模拟音乐生成与作曲研究提供了一些切实的基础理论与实验结果。关键词：音乐信号 时间序列；计算机模拟；电脑音乐；短时傅立叶变换；信号重构i i作者：刘侠指导老师：费万春s t u d yo nt h eg e n e r a t i o no ft h em u s i cb yc o m p u t e rs i m u l a t i o na b s t r a c tw i t ht h ef a s td e v e l o p m e n to fc o m p u t e ra n de l e c t r o nt e c h n o l o g y ,c o m p u t e rh a si n f l u e n c e de v e r yf i e l do fo u rl i v e s g e n e r a t i o no ft h em u s i cb yc o m p u t e rs i m u l a t i o ni san o t i c e a b l ec a t e g o r yo fc o m p u t e r sa p p l i c a t i o ni na r tc r e a t i o n ，i t sac r o s ss u b j e c tb e t w e e ni n f o r m a t i c sa n da r t i nt h i sp a p e r , t h et h e o r ya n da p p l i c a t i o no fg e n e r a t i o no ft h em u s i cb yc o m p u t e rs i m u l a t i o nw a ss t u d i e d t h ed e f i n i t i o no ft h em u s i ct h a ts a v e da sw a v ef o r m a ti st i m es e r i e so fm u s i c t h ew h o l et i m es e r i e so fm u s i cw a sa n a l y z e dt ob u i l du ps e r i a l sm o d e l t h es i m u l a t i o nm o d e l sa r eu s e dt os i m u l a t et 1 1 et i m es e r i e so fm u s i cs i g n a l f i n a l l y , t h em e t h o di sd i s c u s s e di nt h ef i r s tp a r to ft h i sp a p e r , t h em u s i ct h a td e f i n e di sf i r s t l ya n a l y z e d ，t h a ti st h ea n a l y s i so fb a s i cs t a tc h a r a c t e ra n dc o n t i n u t u mc h a r a c t e ro ft h ew h o l es e g m e n tm u s i cs e r i a l s b a s e do nt h ea n a l y s i so ft h e s ee i g e n v a l u e ，s o m em o d e l sw e r ef o u n d ，i n c l u d i n gc h o r dv i b r a t i o na n da u t or e g r e s s i v em o d e l b a s e do nt h e s eb a s i cm o d e l s ，t h em e t h o do fs i m u l a t i o ng e n e r a t i o no ft h ew h o l es e g m e n tm u s i cw e r ed i s c u s s e d f r e q u e n c yc h a r a c t e ri sv a r i a b l ef r o mt i m e ，s om u s i cs e r i a l sw e r ea n a l y z e di nt h es e c o n dp a r to ft h i sp a p e r , s h o r tt i m ef o u r i e rt r a n s f o r m a t i o n1 1 1音乐的计算机模拟生成研究a b s t r a c t( s t f t ) w a sp i c k e du pt of o u n dt i m e v a r y i n ga u t or e g r e s s i v em o d e l ，w h i c hc a nb ef o r e c a s t e da n dm a d ean e wa m p l i t u d es p e c t r u m o nt h eb a s i so fs i g n a lr e c o n s t r u c t i o nt h e o r ya n di t e t a t i v es e r i a le x t r a p o l a t i o n ，t h ef o r c a s t e da m p l i t u d es p e c t r u mi su s e dt or e v e r t et h es i g n a l ，a n dt h es i m u l a t i o ni so b t a i n e da c c o r d i n gt ot h em e t h o d sm e n t i o n e da b o v e ，t h er e s u l tc a nb ef o u n da f t e rm u s i cw a ss i m u l a t e da n da n a l y z e d ，b u tt h i sm e t h o di st h es a m ew i t hr e l a t i v e l ys i m p l em u s i c ，c o m p l i c a t e dm u s i cn e e dnm e t h o do fs h o r tt i m ea n a l y s i st os i m u l a t et h i ss t u d yp r o v i d ef e a s i b l em e t h o do fm u s i cs i m u l a t i o ng e n e r a t i o na n ds o m ep r e s s i n gb a s i ct h e o r i e sa n de x p e r i m e n tr e s u l t sf o rt h ef u r t h e rs t u d yo fg e n e r a t i o no ft h em u s i cb yc o m p u t e rs i m u l a t i o na n dc o m p o s ek e y w o r d s ：m u s i cs i g n a l ；t i m es e r i e s ；c o m p u t e rs i m u l a t i o n ；c o m p u t e rm u s i c ：s h o r tt i m ef o u r i e rt r a n s f o r m a t i o n ( s t f t ) ；s i g n a lr e c o n s t r a c tw r i t t e nb y ：l i ux i as u p e r v i s e db y ：f e iw a n c h u ny64 5 6 17苏州大学学位论文独创性声明及使用授权声明学位论文独创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含其他个人或集体己经发表或撰写过的研究成果，也不含为获得苏州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责任。研究生签名：塞当堡日期学位论文使用授权声明工加苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文台作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。研究生签名导师签名日期日期r 。加像趸、銎音乐的计算机模拟生成研究引言引言1 音乐的计算机模拟研究目的和意义音乐的计算机认知和智能创作被视为是电脑音乐的根本目标，而在我国，计算机音乐认知及智能创作领域的研究还只是开始。在迅速发展的计算机技术的支撑下和多媒体技术的诞生，使计算机应用于声音以至于音乐领城，有了一个关键性的开端。多媒体技术主要表现于视、听两大领域。音频技术作为多媒体技术的重要组成部分，它一方面有广阔的应用领域，一方面又获得了长足的发展。由于现代社会中的许多领域( 影视、声像出版、各种演唱会和音乐会、各种音乐比赛、群文活动、音乐教育等) 对音乐需求更加广泛与迫切，由于人的精力往往是有限的，故而传统的人工作曲生成音乐的方法在满足需求量及更广泛的适应性方面都显出了其局限性。而且对于某些已故的音乐家们遗留下来的经典的作品，人们往往为是不可再生的，而感到遗憾和惋惜，其原因之一是人们对音乐生成讳莫如深、敬而远之：并认为生成优美乐曲的全部过程决定于某些人的智能水平。但是从音乐的本质属性来看音乐是由自然界的声音，所谓“天籁、地籁、人籁”等在人们感官中感受的再组织形式，这是一种与入的情感相关联的音律再现。声音包括频率( 音高) 、幅度( 振幅) 、长度( 时值) 、音色( 谐波频率) 几个要素1 2 。通过这些要素的连续变化及组合所构成的音乐就是有规律的一组占乐的计算机模拟生成研究引去声音。音乐的基本单位是音符，每个音符的高低和长短由这个声音的频率和时值来决定【3 1 。因此，在这个意义上说，计算机模拟音乐生成应具有其独到的特点，因为今天的计算机技术无论在模拟发声还是解析音律组织形式上都已具备比较成熟的软硬件基础。如何能够更加精确有效地总结人类对音乐的感受特征，使我们对现有的经典音乐有更深层次的了解，并在此基础上高效率地获及人们喜好的乐声。我们就考虑使用计算机找出这些音乐特征量，并利用模拟预测的方法生成各种特色的音乐，以此来满足人们对音乐的需要。2 计算机音乐的存储格式及特点在传统的音乐系统中，已经形成了一整套丰富的音乐记录表达及再现的方法。而在进行计算机音乐研究中，我们首先遇到的问题是如何记录、存储、表达音乐的问题。在研究计算机音乐的特征和模拟时，对于不同的记录格式记录的音乐有不同的分析方法，故在本课题开始实施时必须首先了解音乐在计算机存储的格式分类，并探讨在本研究中的应用。音乐信息记录格式主要分为m i d i 格式和w a v e 格式。m i d i ( m u s i c a li n s t r u m e n td g i t a li n t e r f a c e ) 的直译是乐器的数字接口，是为实时地传输音乐的定时和控制信息的一组数字编码，以及传输这些数码的硬件接口的技术规范。戴维斯密司和切特伍憾于1 9 8 1 年在美国第7 0 届音频工程协会会议上，提出了数字“乐器互连标准”或“通音乐的计算机模拟生成研究引言用合成器接口”，1 9 8 2 年改名为“乐器数字接口”，同时八家生产乐器的厂家取得了技术指标上的一致意见。随着m i d i 的接口技术在不断改进。各种m i d i 控制器、混合器、处理器、编辑器、检查器等也在开发。远程的m i d i 工作站也正在开发。由于m i d i 格式的音乐文件记录了音乐的全部乐谱和演奏的全过程，因此现在大部分的音乐识别和音乐特征提取多应用了这种音乐记录格式。但是m i d i 的缺点是标准死板、操作复杂等i4 1 。w a v e 格式是实时播放的音乐信号进行采样和数字编码记录演奏效果。它不仅能录制声音，而且能记录产生、发生这些音响的系列数据，如频率、振幅等，这些已经为认识音声本质提供了可贵的第一手数据材料。并且，这些数据可以根据需要作调整，为人们寻找音乐构成的主要因素提供了可能 5 1 。一般p c 机录制音乐时使用此种格式较为普遍，并且很多的应用软件也是以此为默认音乐记录格式，本研究中使用此格式作为音乐原始录制文件格式。3 国内外计算机音乐研究的现状和展望计算机音频技术的发展比计算机的其它技术发展较晚。最初计算机软件设计者只是为了用简单的声音信号作为计算机操作过程中的提示音而设计的，这种提示功能至今都保留在各种类型的计算机里，这些声音最初是用汇编语言控制口1 。伴随着语音技术在计算机领域中的广泛应用，计算机音乐也逐步发展起来。它同时也给音乐本身带来了变音乐的计算机模拟生成研究引言革，由于计算机技术的渗透，音乐被赋予了更广阔的天地和瓶的观念也促进了音乐研究的深化。对计算机音乐的研究主要分为音乐的识别，音乐作曲和辅助音乐工作三个方面【。音乐识别即是对节奏、旋律和曲式风格等的识别。节奏是音乐抑扬顿挫变化快慢节拍的表现，是人类感受音乐最主要的要素之一。节奏的识别是将被识别的乐曲与一系列具有不同节奏的标准音乐模型进行比较。但是由于乐曲的速度随时间而变化嘲，目前的节奏识别主要针对那些节奏鲜明的音乐作品。旋律是音乐的谐音变化规律，是音乐序列的核心，人的情感的表现、音乐对景物的描写、音乐语言的实现主要是通过旋律的形式来表达的。旋律的识别是对音高和音长的识别，通常是以所研究音乐段的第一个音作为标准音而后对其他的音依次求出音高差值【7 1 ，为了形象地表示这个差值可以使用t - - 维坐标1 0 1 来表现或者采用树状结构【1 ，最近也使用模糊集合方式来表示【1 2 】。曲式识别是全面的综合的对音乐的旋律、节奏、音色、音响等音乐要素进行识别，现阶段的研究仅限于音乐形式严谨有较规范的曲式结构的古典音乐。计算机作曲包括利用计算机产生由音符，音色或节奏组成的乐曲，并把它演奏出来3 1 。可分为随机作曲，逻辑作曲和智能作曲。随机作曲是在规定了一定的音名、音高范围、时值取值之后，让计算机随机产生旋律，这就是计算机随机作曲，但迄今为止还未听到过很好的随机计算机音乐作品。逻辑作曲是在随机作曲方法之上，附加上一定的逻音乐的计算机模拟生成研究引言辑”，将人的预期目的和具体的实现步骤逐个加在随机作曲中是计算机逻辑作曲。虽然用这种方法也得到了一些音乐旋律，但应用价值不大。智能作曲即让计算机代替作曲家作曲。既能反映作曲家的思想也能反映作曲家的技巧，这些综合了音乐中人的思维特点的作品我们称之为智能作曲。这是计算机音乐技术所追求的目标，也是本研究的根本目标。有不少人进行过一些初步的尝谢3 1 。辅助音乐工作是今年来人们在计算机音乐应用理论研究中最广泛和最具有成效的。许多音乐电脑系统上所说的计算机作曲，实际上是计算机辅助作曲。计算机辅助音乐工作一般指音乐的输入、显示、储存和重放系统和乐谱的打印工作i t 3 1 。例如近几年来发展的计算机光学识谱技术其目的就是要让计算机“读懂”乐谱n 4 】。这些都为计算机音乐辅助教学系统和音乐数据库检索提供了方便和技术保证。使用智能方法研究音乐是科学与艺术的结合，是涉及广泛学科的交叉研究。现在大部分的计算机音乐研究工作都是基于m i d i 音乐格式的文件和m i d i 格式的系统。并且在计算机的智能作曲和音乐特征识别方面还未从数学方面给出可公认的结果和理论。音乐本身有些什么内在的规律? 音乐与数学的关系到底如何? 这都是本研究力图解决的问题和最终的目标。这将有助于我们进一步探求音乐的本质和奥秘。4 本研究内容本文的研究是涉及计算机音乐研究领域里的音乐识别和音乐作曲音乐的计算机模拟生成研究引言两方面。音乐识别主要是结合数理统计和信号分析处理等的知识提出一系列影响和反映音乐的音色、旋律、节奏、音响、曲风等的数学参数，并作为基础建立相应的模拟预测音乐的模型。以此达到模拟音乐智能作曲的目标。首先通过计算机读取一段以w a v e 格式存储的音乐文件，并将此数字化的音乐信号视为一种时间序列，然后通过两种途径分别对音乐序列进行模拟生成：本文前一部分主要从时域解析出发对整段音乐时间序列进行记录变换及分析，并提取影响音乐风格的特征值，基于对这些特征值解析建立种种模型进行模拟表述，如利用弦振动模型和自回归预测模型等。在此基础上研究模拟生成音乐的方法。本文第二部分主要从短时频谱分析方面，即是对音乐序列应用短时傅立叶变换理论解析其相应幅度谱，并根据频率和时间二维空间上的幅度变化规律进行新的音乐序列的模拟预测，由于预测的对象是与时间有关，故我们使用了时变参数自回归模型进行预测模拟，组成新的幅度谱后使用信号重构理论，利用部分采样值及幅度谱重构对应音乐时间信号，以此获得新的模拟音乐序列。最后根据以上提出的模拟音乐方法我们进行了各种音乐模拟生成及应用，并对模拟音乐的结果进行特征分析和探讨。音乐的计算机横拟生成研究第一章音乐序列的时域分析和模拟第一章音乐序列的时域分析和模拟1 1 音乐序列的记录将一段音乐通过变换和a d 转换得到一个数字序列，所得到的数字序列记为， x 。) ( i = 1 ，2 ，) ，显然在该数字序列中包含了该段音乐的全部信息。我们将这个数字序列称为音乐信号时间序列( 以下简称为音乐序列) 。如图1 - 1 所示是一段流行音乐ib e l i v e ) ) 前六秒的音乐序列，按采样频率b = 8 0 0 0 h z剐所得到的4 8 0 0 0 个数据记录。臻时间( 砂)图1 - 1 原始音乐序列为了便于研究和说明，我们将其作为本研究的研究对象对它进行注1 有关于采样频率定理的内容请参看本文第三章3 11 节音乐的计算机模拟生成研究第一章音乐序列的耐域分析和模拟分析与模拟，并将这段音乐序列称为原始音乐序列。对于这样一个音乐序列，首先考虑导入一些统计特征以此表达音乐的各方面信息。1 2 音乐序列的特征参数通过变换得到的数字序列 t ) 是一个表示发音振子位置的变动过程，这里从一些基本统计特征开始对其进行全面的标定。1 2 1 平均值音乐序列的平均值按照下式估计，一1, 扣熙专娶( 1 - 1 )平均值；表示了发音振子的平衡位置，因此一般应为；。0 。观察图卜1 也可注意到曲线基本是以0 作为对称轴上下波动。1 2 2 方差音乐序列的方差由下式估计，s 2 = 般万1 蕃, v ( x i - - 动2 ( 1 - 2 )音乐序列的方差就是发音振子的位移方差，其大小与发音振动的幅度大小有关，它与音乐的很多特性如音乐的昂扬顿挫感及节奏等有关。音乐的跳跃感强，节奏感强烈的音乐序列一般方差大，而音乐旋律比较舒缓的时间序列方差则比较小。音乐的计算机模拟生成研究第一章音乐序列的时域分析和模拟1 2 3 自相关系数音乐序列的自相关系数表示由发音振子表达的音响之间的内在关系，其定义为，去( x ，一；) ( 薯+ f _ ；)月( f ) = l i r a 盟旦j ( r = o 12 )( 1 3 )斗o自相关系数给出音乐序列中位差为r ( = 0 , 1 ，2 ) 的信号间相关系数，式中i 是此音乐序列的平均值，s 2 是此音乐序列的方差。从式中可看出在r = 0 时即在位差坐标的原点处有月( o ) = 1 ；序列 r ( f ) ) 表现了隐含在音乐中的连续性和相关性。其与音乐的旋律有着密切的关系。特别是对于音乐序列中发音振子周期波动特性，自相关系数具有显示与放大的功能，自相关系数序列的周期亦存在与音乐序列中。以位差r 为横坐标，r ( r ) 为纵坐标可以作出自相关图。图1 - 2 音乐序列的自相关图糍懈水b 皿音乐的计算机模拟生成研究第一章音乐序列的时域分析和模拟如图1 2 给出图1 - 1 所示的音乐序列的自相关曲线，图中位差r 单位是个数，取值为0 到5 0 0 。从图中可以看出自相关系数序列每隔1 0 0个单位会有一个较高的峰值出现，这些峰值之间的间隔周期我们借用语音分析的方法称之为音乐的基音周期1 。1 2 4 音乐序列的傅立叶变换音乐序列的频率是决定音乐的音色、音响的最重要的指标之一。由于音乐可以理解成由很多单纯的振动按不同的混合比例混合而成的，因此分析这些混合的单纯振动及其混合的比例，是阐明音乐结构特征的最重要的手法。傅立叶变换提供了这样一种分析的方法，它可以帮助我们从整体上了解音乐序列中的各个频率振动组成状况。通过傅立叶变换可以将音乐序列的时域变化转换为频域变化，综合分析其频域特征。这有助于了解音乐序列演奏的乐器，音乐的旋律及和声效剁m l 。音乐序列的傅立叶变换按下式定义【1 6 】，f ( 珊) = l i m 专e x p ( 一2 足蒯) h( 1 4 )叶vt ：1上式中f ( 妫表示在音乐时序中频率为国的波动成份的分布，又称为谱密度函数。以频率瑚为横坐标，幅度i f ( 叻l 值为纵坐标可以作出频谱分布图，图1 - 3 给出前述音乐序列的频谱分布图，在信号处理中又可以称为幅度谱 】。由于傅立叶变换有共轭对称性16 1 ，故图中仅需要标出频率在o b 2 胁范围内的l f ( 圳幅度值( 本文中频率单位为- z ) 。由图l 一3 我们可以看出此段音乐序列的频率基本分布在0 。2 0 0 0 h z 内，音乐的计算机模拟生成研究第一章音乐序列的时域分折和模拟其中在0 5 0 0 h z 的频率在混合成分中贡献率较大。一般我们认为音乐序列的频率分布域越宽广，表现出音乐的丰满度，流畅度越好，并且不同的乐器也具有不同的频率分布域。图l 一3 音乐序列的频率分布图1 2 5 音乐序列的节奏周期观察图l l 宏观上可看出音乐序列在每隔一段时间( 约0 5 5 秒)就会出现一个振动峰值而后逐渐衰减，这样的变化周而复始，显然对于不同曲式的音乐，它的特征是不同的。由于发音振子这样的变化形成了音乐序列特有的节奏感1 1 3 1 。这里我们定义两个峰值之间的时间长度为序列的节奏周期，它与音乐节奏、旋律等特征有着密切的联系。我们需要对它进行一系列的分析。音乐的计算机模拟生成研究第一章音乐序列的时域分析和模拟1 2 5 1 序列节奏周期的概念因为音乐序列可近似地看成是以原点为中心对称波动的序列，因此在分析时，只需在序列正数部分的取值。将序列按长度，分割为l 1个区间，这里长度z 我们设定为音乐序列的自相关系数的平均周期2 3倍以上。在每个区间中求出其最大值并记为：z k 。n l a x x ( 1 一1 ) ，+ l ，x ( 一i ) ，+ 2 ，x ( k - 1 ) + l 将这个序列 z 。 各点用直线联结起来，可以得到音乐信号正值的近似包络线。对于包络线序列z 1 ，9 2 ，毛，z n ，当z i + 1 z 一z i 一1时，称z 。为振动峰值并将其记为爿；，若记两个相邻的振动峰值a 。= z ，a = z 。之间的间隔为一，有，z ( 七一，) ，7 t 即为节奏周期。在音乐时间序列中，按此方法可以得到节奏周期序列五，正，一，瓦其平均值和方差为于= 吉喜瓦；s r 2 = 土n 窆k = l ( 疋一于) 2 ( 1 - 5 )图1 - 4 中用小圈点表示前述音乐序列的振动峰值，而个峰值之间的间隔就是节奏周期。音乐的计算机模拟生成酬究第一章音乐序列的时域分析和模拟0 2 5o2o 1 6o1o 口5臻。mo s田1 6a 22 5_-一滥敷一k 黼温h 赫kj一曩r 孵1 p q 啊n 刖r r 胛r _ l l l 啊”-，_1 2 5 2 最大振幅图1 - 4 节奏周期利用以上所述方法所得到的振动峰值a ，亦给出了到下一个振动峰值“。之前的振幅最大值。这是振动幅度大小的标志。在不同的节奏周期中，最大振幅各不相同，( a 。 构成一个波动序列，其平均值和方差为，万= 去喜4 ；s ：= i 1 善n ( 4 一了) 2 ( 1 - 6 )1 2 5 3 节奏周期内的波动特征为了更好地描述节奏周期内的特征，我们将图1 4 中一个节奏周期内部的波动曲线在时间轴上放大可以得到如图1 - 5 所示实线部分的波动曲线，这时可以看到音乐序列呈现低频大波动和高频小波动的叠1 3音乐的计算机模拟生成研究第一章音乐序列的时域分析和模拟加形态。为了表示序列的波动成份叠加的状态，需要将叠加的波动成份加以区分。一般地，我们可以通过移动平均的计算方法( m o v i n ga v e r a g e ：m a ) 将较高频率的小波动过滤以获得变动趋势曲线。对于音乐序列 x ，) ，移动平均序列为【1 9 1y 一= 妻喜x ，y ：= 喜x ，。，y ，= 窑x ，+ ，一。，0 - 7 )为了使移动平均后的序列能够与原始序列横坐标相对应，以便下一步进行提取高频小波动时无偏差，这里我们规定公式( 1 7 ) 中移动平均点数k 为奇数不为偶数，且t 的取值应略小于大波动周期的1 4 。相对于移动平均序列，定义小波动为区= x ，一y 。( 1 - 8 )所得到的序列，记为点，最，氓，。图1 - 5 音乐序列的移动平均曲线童堡塑生整塑堡型生些塑壅兰二兰童墨壁型塑堕塑坌堑翌! 堡型小波动序列通常把它看成是一种平均值为零，具有较高频率的白噪声，按( 1 。3 ) 式方法估计出序列的自相关系数，可以用自回归模型对序列进行预测。图1 5 中虚线表示移动平均序列，小波动序列为在移动平均曲线上下波动的部分。1 2 5 4 节奏周期内的波动衰减率观察各节奏周期内的序列波动可以看出：序列由最大振幅作为起点，此后的波幅呈近似指数衰减形态。我们若将一个节奏周期内的波动用上述的方法滤去小波动时，可以看到其具有比较规则的振动，为了近似地表达其连续波动特性，我们采用如下的指数衰减振动曲线模型，x 肚= a e x p ( 一2 k ) c o s 2 r c f t ( k = 1 , 2 ，- 一)( 1 9 )式中x 似表示第- ，个包络线周期内第k 时点的发音振子位移；五为该序列的衰减率；f 为在该节奏周期内大波动的频率。对于第j 个节奏周期内的波动序列 h ( 七= 1 , 2 ，- ) ，根据式( 1 5 ) 获得第j 个节奏周期内移动平均序列( j ，卅) = 1 , 2 ，) ，若记由第1 到第珂个振动峰值分别为巧，：，匕，其中= 爿，则该节奏周期内衰减率名可以由下式估计。吉薹击，n m 呐对于各个节奏周期内的衰减率，可以进一步讨论各个节奏周期内衰减率的变化规律，包括其平均值、方差以及连续变化特性参数自相童堡塑生竺! ! 堡型竺盛堕塞塑二兰童堡壁型塑堕塑坌塑翌! 堡丝关系数。由于方法与上述的讨论一致，这里不再赘述。音乐序列中各个节奏周期内大波动衰减率的连续变化状况，对音乐序列中音节的长短、节奏的舒缓程度及曲式曲风都有着重要的影响。1 _ 2 5 5 节奏周期内的波动频率在式( 1 9 ) 中的，为在节奏周期内大波动的频率，这是决定音阶高低的因素，在不同的节奏周期内频率的连续变化，构成音乐的抑扬顿挫的变化并形成具有各种情感色彩的旋律。其值大小影响到音色，厂值越大音调越高，越小则音调低沉。频率变化规律是音乐构成的最重要因素之一。分析并了解相联接的各节奏周期内频率的连续变化特性是模拟音乐不可缺少的基础工作。1 3 本章小结本章以一段经过a d 转换后的数字音乐序列作为研究对象，进行时域特征解析，对整段音乐序列定义其基本的统计特征参数和序列连续特征方面的特征参数；同时定义音乐整段序列的傅立叶变换。基于这些定义我们分析了这些特征参数对音乐序列特征的影响，其中我们着重介绍了与音乐的节奏和旋律有直接关系的节奏周期等一系列参数，并给出参数估计方法。这些音乐序列参数的引进及意义，是计算机音乐解析的基础，其为计算机音乐模型的建立提出了表征音乐的基本材料。音乐的计算机模拟生成研究第二章音乐序列的建模及模拟生成实验第二章音乐序列的建模及模拟生成实验2 1 音乐信号时间序列的建模为了表现音乐序列和实现音乐的模拟生成，基于上章的音乐序列特征的描述和估计的结果，我们在这章将建立音乐序列的描述模型。由于音乐的类别繁多，各种音乐序列形式十分复杂，故在建立音乐时序模型时可有各种形式。这里我们以节奏周期作为基本单元进行讨论。2 1 1 弦振动函数模型音乐的形式虽然复杂，但将其信号的时间序列在小范围内展开来时，可以注意到序列是由比较有规律的波动所组成的，特别是将小波动过滤掉以后，呈现出接近弦振动的波动形式。有时为了简化对音乐序列的分析与生成方法，我们可以用一个简单的弦振动函数模型来近似地描述音乐序列。为此我们建立如下的模型x 女= a e x p ( 一五七) c o s 2 r c f k + 瓯( k = 0 ，1 ，2 ，)( 2 1 )其中a 是该节奏周期中振幅的极大值；a 为前述的移动平均序列的衰减率；f 为振动频率。以为对音色有重要影响的小波动，可以用下述的自回归模型的方法生成。弦振动模型生成音乐的特点是所生成的音乐的音色比较单调。为了获得较好的音乐生成效果，可以采用将若干个不同频率组成的弦振动序列叠加的方法。此外再叠加小波动序列的方法，这样可以改善音1 7音乐的计算机模拟生成研究第二章音乐序列的建模及模拟生成实验色单调的状况，获及乐感较为丰富的音乐。2 1 2 自回归模型对于给定的音乐序列，通过以上所述的方法能够得到一系列特征参数的序列，如节奏周期序列钒j ，节奏周期中的最大振幅序列忸， ，节奏周期内衰减率序列饥 以及节奏周期内按幅度贡献率不同的频率序列j ，而后我们利用线性自回归模型【2 0 1 ，对每个特征参数进行模拟预测。下面我们以预测最大振幅( 爿， ( j = 1 , 2 ，”) 为例进行说明。首先作变换d ，= 一，一j ，获及平均值五= 0 的0 均值序列k io 假设序列的方差为s ：= 盯2 ，假设序列k ， 是一个平稳序列，并且已经根据既有的序列获知其自相关系数序列扫， 。则，为了对序列b ， 进行预测与模拟，利用线性自回归模型吒= 岛，+ 矗j = l( 2 2 )式中阶数小一般要根据首乐序列的特征来确定。局( ，= 1 , 2 ，m ) 为待定自回归系数，矗为期望值为0 的正态分布随机变量，其方差为：吒2 = 慨褂。一鼽叫 2陋s ，根据最小二乘法，我们可以求出使误差方差去最小值的自回归系数。为此令：筹_ o ，川 2 ，珊音乐的计算机模拟生成研究第二章音乐序列的建摸及模拟生成实验记时间序列k ， 的自相关系数p ，为，鲈脚专喜事，由式( 2 3 ) 可得，p , p ，= p ，o = l ，2 ，m )因p ，= p 一，故由上式可得线型方程组，p op lp 。p lp op 。一p m ip m 一2p o烂p op j：p 。由此可知以解出白回归系数只。另一方面，若记岛= 一l ，则由式( 2 3 ) 可得，仃；= 盯2 ，f l , p ，r = oj ；0由式( 2 - 4 ) 知，当盯：取最小值时有，f l j p 。= 0r = l ，2 ，m )j f f i o因此式( 2 6 ) 中只有r = 0 的项不为零。故仃：的最小值为，m仃；= 一盯2 f l i p - ，将风= 一1 ，p 。= 1 ，p 一= p j 代入上式可得，z = 仃2 ( t - f l j p j )( 2 - 4 )( 2 5 )( 2 6 )( 2 7 )( 2 - 8 )误差巳是一个正态分布n ( o ，盯；) 的随机变量，故使用正态随机数模拟生音乐的计算机模拟生成 i ；| f 究笫二章音乐序列的建模及模拟生成实验成的方法司以获得。根据以上分析可知，对于期望值为0 ，方差为盯2 以及自相关系数列为p ， 的时间序列扛， ，只要根据式( 2 5 ) 求出谚 ，并以式( 2 _ 8 ) 为方差值模拟正态分布变量氏，则可利用式( 2 2 ) 从既知的m 个振幅序列点a n _ 1 口。，口预测下一个点。最后再将预测结果民叠加其平均值j ，即可得到我们最终所需的音乐序列节奏周期的最大振幅序列的预测值4 。同样类推下去，可模拟获得一连串具有所要求特征的最大振幅序列。只要假设音乐序列的各特征值序y t j t n 节- 奏周期内小波动序列符合平稳过程的特征，我们就可以利用此线性自回归模型进行模拟预测。2 2 音乐序列的模拟生成实验与方法通过对原始音乐序列进行统计特征分析和建模后，我们可以进行音乐信号的模拟生成实验。2 2 1 模拟生成方法这里，我们将根据既有的音乐序列进行特征分析的基础上进行模拟生成的过程归纳为如下几个主要步骤，( 1 ) 对原始音乐进行分析，计算节奏周期内的周期长度、最大振幅、衰减率和移动平均及大波动的频率等的特征值序列和每个节奏周期内移动平均后的小波动序列。童墨塑生塑! ! 塑丝兰堕堑壅篁三兰童堡壁型塑堡堡丝堡型生盛塞堡( 2 ) 当以上特征值序列和小波动序列是平稳序列时，应用自回归模型分别对其进行预测模拟。( 3 ) 根据上一步所得到各特征值模拟序列和小波动序列，应用弦振动函数模型依次生成每个节奏周期内的模拟音乐信号序列。( 4 ) 最后将模拟出的每个节奏周期信号序列首尾相连就可以生成一段音乐信号序列。为了使模拟生成的音乐与原始音乐的音色更加相似，我们可以使用若干个节奏周期内大波动频率的弦振动叠加生成节奏周期内的波动序列。以此获得音色较丰满的模拟音乐。2 2 2 模拟音乐编程软件本研究的实现编程软件选择m a t l a b6 5 1 2 1 - 2 4 1 。此软件在音频处理方面提供了一系列函数来实现从声音信号模拟量与数字序列的互相转化。这为我们的工作提供了方便。本研究中常用到的一些主要函数名如表i 所示口1 1 。在表l 中的主要的录放音函数使用方法现解释如下。( i ) w a v r e c o r d ：其功能为通过w i n d o w s 的音频设备进行录音并将录下的模拟信号转化为数字信号。使用格式为y = w a v r e c o r d ( n ，f s ，d t y p e ) 。这里n 为采样的时间，单位为秒；它决定录音的长度。f s 为采样频率，即每秒采集点数，默认值为1 1 0 2 5 h z 。d t y p e 为采样数据的存储格式，可以是d o u b l e 、s i n g l e 、i n t 8 ，其中d o u b l e 、s i n g l e 是1 6 位采样精度，i n t 8 是8 位采样精度。通过这一函数就可把一段音乐的模拟信音乐的计算机模拟生成研究第二章音乐序列的建模及模拟生成实验号转化位数字序列并存放在数组y 中。表1m a t l a b 中将声音模拟量变换到数字序列的有关函数函数名功能描述w a v r e a d读文件w a v w n t e写文件s o u n d v i e w放音s o u n d s c归一化放音w a v p l a y放音w a v r e c o r d录音( 2 ) s o u n d v i e w ：是音频输出函数实现把数组通过发音装置转化为音乐。使用格式为：s o u n d v i e w ( y ，f s ) 。函数式中y 为需要变换的数组，f s 为输出频率。通过此函数把数字信号y 转换为频率f s 的音频信号的由输出装置进行放音。2 3 考察与讨论根据上节所述模拟生成音乐的具体方法，我们对图1 - 1 所示的原始音乐进行模拟生成实验。图2 - 1 为模拟生成的音乐序列之一例( 其他模拟实验参看第四章) 。音乐的计算机模拟生成研究第二章音乐序列的建模及模拟生成实验2 3 1 音响效果时间( 秒)图2 1 模拟音乐序列对图2 1 的模拟音乐，利用m a t l a b 的放音函数s o u n d v i e w 进行回放后，能昕出模拟音乐与原始音乐的旋律较为接近。为了更清楚地了解模拟出的音乐序列的效果，我们进一步对模拟生成的音乐序列的统计特征进行了分析，并与原始音乐序列进行了比较。2 3 2 自相关系数分析应用自相关系数公式( 1 - 3 ) ，我们对模拟音乐序列进行计算并与原始音乐序列相比较，如图2 2 所示。图中分别给出了位差在0 到5 0 0之内的自相关系数曲线。从图中可以看出模拟音乐和原始音乐的拟似周期平均值都约在4 0 左右，基音周期在1 0 0 左右。但是模拟音乐序列童墨塑盐簦! ! 竖型生! 塑塑兰三童童堡壁型塑堕堡丝塑型兰堕! 唑的基音周期不如原始音乐序列的明显。显然这使得生成的音乐旋律与原始音乐的旋律相比表现出一定的变化。( a ) 模拟音乐( b ) 原始音乐图2 - 2 模拟音乐与原始音乐的自相关系数比较2 3 3 频谱特性通过对模拟生成的音乐序列进行傅立叶变换，可以了解模拟音乐序列频域特性，并与原始音乐序列进行比较。( 1 ) 综合频率特性从总体上对整段音乐序列进行傅立叶变换，图2 - 3 为原始音乐序列与其模拟音乐序列的序列整体的频谱图。从图中可以看出两段音乐的总体频率分布范围基本一致且主频一致，同时也看出原始音乐的频率分布区域比较宽，频率成份比模拟音乐丰富。序童堡塑生苎! ! 堡型圭垡型塑笙三童童堡生型竺垄堡墨堡型竺垡兰竺列整体的频谱图分布范围方面的差异是第四章继续探索的问题之一。( 2 ) 分段频率特性用整段音乐序列的傅立叶变换进行比较，虽然能够从总体上考察音乐序列所含的频率谱，但是我们在分析音乐序列时注意到，在不同的节奏周期内，音乐序列可以表现出不同的频率特性。为此，考察各种频率在不同时间段的音乐序列中的贡献率就显得十分重要。基于这样的考虑，我们对模拟音乐序列中各个不同的振动节奏周期分别进行了傅立叶变换。图2 4 给出原始与模拟音乐序列中第五个振动节奏周期的频谱图。比较两个频谱图可进一步看出在节奏周期内原始音乐序列的频率分布区域依然大于模拟音乐序列。( a ) 模拟音乐图2 - 3 整序列频谱图( b ) 原始音乐由此也可以看出，音乐感觉上的差异通过实际的频谱分析反映出其问题的所在。即由于模拟生成音乐频域相对狭小。因此音乐感的丰音乐的计算机模拟生成研究第二章音乐序列的建模及模拟生成实验实程度受到了影响。2 4 本章小结( a ) 模拟音乐( b ) 原始音乐图2 - 4 第五个节奏周期的频谱图通过第一章在时域方面对音乐序列的特征值分析，我们在本章中根据这些特征值的估计方法建立自回归数学模型对其进行模拟生成。观察音乐序列的节奏周期内部的振动曲线，我们发现音乐序列实际上是一些不同频率的有规律的振动复合成的，据此我们建立弦振动模型来近似模拟音乐的基本振动形式，然后将根据原始音乐序列计算出的各种特征参数模拟出的特征参数序列，通过弦振动模型近似地生成我们所需的模拟音乐序列。为了使生成音乐序列音色更加丰富，自然，可以从原始音乐序列中析出高频率小波振动，用线性自回归模型进行模拟生成后叠加到模拟音乐序列中去，这样可以获及与真实音乐序列音乐的计算机模拟生成研究第二章音乐序列的建模及模拟生成实验较接近的音乐感觉。最后为了验证这种模拟方法，我们用特征值估计的方法对模拟出的音乐序列进行了分析与检验，并和原始音乐进行了对比讨论，了解到模拟生成音乐的主要旋律及音乐频域都与原始音乐序列大体相同。实验证明此方法是可行有效的，但是也存在一些问题。这是由于真正的音乐其频率特征往往是随时问而变化的，而这里给出的方法并未能反映或模拟出这样的变化，这就难免使得生成的音乐音色比较呆扳，旋律单纯，乐感不丰满。为了解决该方法的缺点，我们在第三章里将对音乐序列模拟生成方法进行短时分析并加以改善。音乐的计算机模拟生成研究第三章基于短时傅立口1 变换的音乐序列分析第三章基于短时傅立叶变换的音乐序列分析在第一，二章中所做的谱分析方法是时域信号与其频谱之间的一对一的映射关系。属于音乐序列整体的变换，即只能从整体信号的时域表示得到其频谱。另外，傅立叶变换建立的只是从一个域到另一个域的桥梁，它并没有把时域和频域组合在一起，所以，频谱只是显示信号中某一频率分量的振幅和相位。而无法告诉我们信号中各频率分量随时间变化的特性。信号的频谱是不包含任何时问信息的平均谱，由于频率特性随时间的变化状况不同，两个完全不同的音乐信号通过傅立叶变换可以得到完全相同的频谱。举一个简单的例子：如一个线性系统对平稳白噪声激励的响应和该系统对脉冲激励的响应具有相同的功率谱密度；一个调频信号和一个正弦调制信号也可以有相同的频谱。故整段序列的傅立叶变换适用于分析信号频率分量或信号的统计量( 例如相关函数和功率谱密度等) 不随时间变化的平稳信号。实际上很多音乐序列的频率特性往往是随时间变化的，但通过对整段序列进行傅立叶变换都只能给出各时段频率特性的平均状态。因此基于整段序列的傅立叶变换的谱分析无法反映非平稳信号频率