（控制理论与控制工程专业论文）基于单片机的音乐信号处理系统研究.pdf

摘要 捅要 通过近几年高职高专电气自动专业发展，尤其是根据示范专业建设要求，体 现工学结合的生产性实训开展，高职院校开设实训课题的标准越来越高。为了 体现课题生产性，同时兼顾课题理论性，还要课题兴趣性，从而选择该课题， 既有典型性，也有代表性；达到对专业知识和实践的有机结合。 本课题从研究音乐模块发音机理，音乐信号节拍跟踪和噪声消除出发，以 a t 8 9 s 5 1 单片机为主芯片，通过扩展相关硬件系统和开发控制软件，实现音频产 生、音频信号处理、数码显示和矩阵输入等音乐模块的基本功能。本文共分五 大部分：第一部分主要分析设计思路；第二部分主要实现音乐信号处理，音频 产生及矩阵键盘的接入；第三部分主要设计系统的硬件整体电路图，及所需器 件；第四部分主要是软件的调试及仿真；第五部分是总结与思考。最终通过调 试安装设计出该实验模块。 该模块功能典型集中，同时采用了高性能器件，使得该实验模块小型、高速、 高和可靠，而且扩展性能好等优点。因此，非常适合高职高专教学实训模块使 用。 关键词：音乐信号c q t 矩阵键盘4 - l e d 数码管显示 a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，w i t ht h ed e v e l o p m e n to fe l e c t r i ca u t o m a t i o n ，t h es t a n d a r do f t r a i n i n gt o p i c si nv o c a t i o n a lc o l l e g e si sb e c o m i n gh i g e ra n dh i g e r i np a r t i c u l a r , a c c o r d i n gt od e m o n s t r a t i o no fp r o f e s s i o n a lb u i l d i n gr e q u i r e m e n t sa n dr e f l e c t i n gt h e p r i n c i p l e s o f e n g i n e e r i n gp r a c t i c e a n dt h e o r ys t u d y t h i ss u b j e c tr e f l e c tt h e p r a c t i c e ，t y p i c a la n dr e p r e s e n t a t i o n ，s ow ec h o s et h i ss u b j e c t t h i si sa l s oc o m b i n et h e t h ep r o f e s s i o n a lk n o w l e d g ea n dt h ep r a c t i c e t h er e s e a r c hi sc o m p l e t e df u n c t i o n so fa u d i op r o d u c t i o n ，d i g i t a ld i s p l a y , a n d m a t r i x i n p u t b a s e do n t h e e x p a n s i o n r e l a t e dc h i p f r o m a t 8 9 s 51 m i c r o c o n t r o l l e r - b a s e dc h i pa n dt h es t u d yo fp r o n u n c i a t i o nm e c h a n i s mo ft h em o d u l e ， m u s i cr h y t h mt r a c ka n de l i m i n a t i n gn o i s es i g n a l s t h i sp a p e ri sd i v i d e di n t of i v ep a r t s ： f h s t l y , t h em a i na n a l y s i sa n dd e s i g ni d e a si si n t r o d u c e d ；s e c o n d l y , t h em a j o rm u s i c a l s i g n a lp r o c e s s i n g ，a u d i og e n e r a t i o na n dm a t r i xk e y b o a r da c c e s sa r er e a l i z e d ；t h i r d l y , t h em a i nc i r c u i to ft h es y s t e m sh a r d w a r ea n dt h er e q u i r e dd e v i c e sa r ei n t r o d u c e d ； f o u r t h l yt h em a i n l ys o f t w a r ed e b u g g i n ga n d s i m u l a t i o na r e r e a l i z e d ；f i f t h l y , a s u m m a r ya n dr e f l e c t i o na r ei n d u e d f i n a l l y ，t h et e s tm o d u l ei s w o k e do u tb y d e b u g g i n ga n di n s t a l l a t i o n t h et e s tm o d u l eh a st y p i c a lf e a t u r e sw h i l eu s i n gah i g h p e r f o r m a n c ed e v i c e s ， t h e ni th a st h ea d v a n t a g e so fs m a l l - s i z e d ，h i g h - s p e e d ，r e l i a b l e r e l i a b l ep e r o r m a n c e ， a n dg o o de x t e n d i n gp e r f o r m a n c e t h e r e f o r e ，i ti ss u i t a b l ef o rt r a i n i n gc o u r s e si n v o c a t i o n a lc o l l e g e s k e y w o r d s ：m u s i cs i g n a l ；c o n s t a n tqt r a n s f o r m ；m a t r i xo ft h ek e y b o a r d ；4 - l e d d i g i t a lt u b ed i s p l a y ； 郑重声明 本人的学位论文是在导师指导下独立撰写并完成的，学位论文没有剽窃、抄 袭等违反学术道德、学术规范的侵权行为，否则，本人愿意承担由此产生的一切 法律责任和法律后果，特此郑重声明。 学位论文使用授权声明 本人在导师指导下完成的论文及相关的职务作品，知识产权归属郑州大学。 根据郑州大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门 或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权郑州大学 可以将本学位论文的全部或部分编入有关数据库进行检索，可以采用影印、缩印 或者其他复制手段保存论文和汇编本学位论文。本人离校后发表、使用学位论文 或与该学位论文直接相关的学术论文或成果时，第一署名单位仍然为郑州大学。 保密论文在解密后应遵守此规定。 学位论文作者：互系影罕 同期： 力口7 年肜月吖同 绪论 1 1 选题的意义和背景 1 1 1 选题的意义 第一章绪论 现代人们生活水平越来越高，对家电产品要求不断提高，尤其是音像设备不但要求 音质效果好，而且要求音乐节奏感强；特别专业音箱设备，比如音乐喷泉、智能舞台、 录音棚等，尤其近年来提出的音乐的可视化，对音乐信号处理要求更高、更准、更快。 本课题采用颜色( l e d 闪烁) 显示音乐信号，进行可视化处理；同时紧密联系实际工 作，确定设计一个基于单片机音乐信号处理系统。要求该系统，尽可能体现音乐信号可 视化，同时突出单片机控制功能，完成中断、显示、定时和通信等功能，最终通过设计 一个典型控制系统完成以上功能，以充分体现出现实意义。本系统复杂，同时具有很大 的可操作性，功能齐全，涉及到单片机的很多功能应用，是对单片机知识的综合运用， 能够很好地检验同学们对知识的掌握程度，充分体现单片机实际使用意义，贴近生活， 有很强代表性，能极大地调动同学们的积极性和兴趣，很大程度上提高同学们动手能力； 体现高职教育工学结合的要求，完成高职教育目标。同时为了提高理论深度，对于音乐 信号处理方面，找到与音调对应频率，继而找到与之对应频谱，然后对音乐信号进行快 速傅里叶变换，c q t 处理技术，最终利用单片机实现音乐转换。 1 1 2 选题的背景 长期以来音乐信号处理的对象局限与确定性信号或是统计量不随时问变化的平稳 信号，其有效的分析工具就是傅里叶数学，它是一种全局性的变换，无法表达信号的时 频局部特性。对于非平稳信号的分析，过去一直是沿用平稳信号的处理方法来接近，效 果不是很理想，甚至产生误动作。为了改善音质效果，达到音阶频率准确跟踪，决定采 用和音阶频率具有相同的分布的c q t 算法，直接得到音乐信号一致的频谱特性曲线。 对于音乐信号处理系统，一个相对独特的新兴应用正在出现，就是所谓的可视化。 在音乐信号可视化过程中，国际上很多科学家构建了音乐节拍模型，s i m o nd i x o n 和 e m i l i o s c a m b o u r o p o u l o s n 2 1 提出了一种使用音乐知识来进行音乐节拍跟踪的方法。该方 1 绪论 法只对速度固定的音乐具有较好的推测结果，但不能推测速度变化的音乐。j a r n o s e p p a n e n n 3 3 提出模型是用于分析音乐信号的层次结构中的最低层的结构的，虽然对音乐 信号处理具有借鉴意义，但是仅对于最低层次结构。m a s a t a k ag o t o 和y o i c h im u r a o k o 的模型是以一系列因果的音乐信号推测音乐节拍频率n 4 1 。以上这些模型都是以音乐信号 作为输入信的模型，因此更加适合于真实的音乐信号处理，接近于人们听音乐的过程。 但是象这样的以音乐信号作为输入的模型，都要进行基于能量分析的音乐突出点探测， 由于音乐信号周期范围比较宽，在能量分析时音乐节拍的分频或倍频的信号经常会由于 它们的能量比音乐节拍能量更大而作为输出结果，使系统得出错误结果。在次基础上， 我们根据音乐知识辅助建立新的模型。将音乐信号等分，找出两个音乐备选方案，在新 的模型中找出最优；最后采用c q t 算法确定音乐信号最佳频率。基于以上决定选择音 乐信号处理系统研究，作为研究课题。选择该课题以后，结合高职特点，积极应用于实 践。 目前高职高专院校都在进行示范性建设，实训设备功能、质量要求不断提高，不单 单要求突出技能训练，还要突出激发大学生兴趣，更注重工学结合，每个实训任务都要 寄予工作过程。对于单片机实训要求来说，尤其对于高年级实训项目要求有一定难度， 能够充分检验和培养同学们的综合能力。经过几年的教学实践，音乐模块非常具有带表 性，能调用高职课程中所要求掌握的大部分知识，是对高职所要求的单片机功能模块的 综合应用。另外，音乐信号处理直观、现象明显，很容易激发大家兴趣，所以选择了该 课题，并带领同学们积极实践，通过学生完成实训任务，即对单片机设计思路有了深入 了解和掌握，有加强理论联系实际的能力，更重要是通过该课题不断实践，功能更加齐 全，设计更加完美。在音乐信号处理系统中，采用新型模型建立，找到最佳音拍频率， 通过大量数据运算，尤其采用常量q 变换，更能准确跟踪音阶频率，模拟音谱图象， 实现模块功能多，音质好的效果。 1 2 本文主要内容 本文主要讨论了音乐信号产生原理和处理方法，然后通过单片机设计实现音乐信号 转化，最终设计出单片机音乐板。本文主要内容包括： 第一章绪论。介绍选题的意义和背景。 第二章音乐信号处理。说明了信号定义和分类，阐述音乐信号产生，音乐信号处 理，音拍跟踪和音频中误差分析。 2 绪论 第三章课题硬件电路设计。分别对每个电路模块设计方法和电路作详细分析，针 对硬件电路设计对应程序。 第四章课题使用硬件和软件发展。说明课题选用音乐板的硬件模块，分别对硬件 主要功能进行介绍和选择根据，并说明使用软件，并对软件发展作简要叙述。 第五章总结。 3 音乐信号处理及实现 2 1 信号的概念 第二章音乐信号处理及实现 2 1 1 信号的定义 信号( 也称为讯号) 是运载消息的工具，是消息的载体。从广义上讲，它包含光信 号、声信号和电信号等。例如，古代人利用点燃烽火台而产生的滚滚狼烟，向远方军队 传递敌人入侵的消息，这属于光信号；当我们说话时，声波传递到他人的耳朵，使他人 了解我们的意图，这属于声信号；邀游太空的各种无线电波、四通八达的电话网中的电 流等，都可以用来向远方表达各种消息，这属电信号。人们通过对光、声、电信号进行 接收，才知道对方要表达的消息。 2 1 2 信号的分类 对信号的分类方法很多，信号按数学关系、取值特征、能量功率、处理分析、所具 有的时间函数特性、取值是否为实数等，可以分为确定性信号和非确定性信号( 又称随 机信号) 、连续信号和离散信号、能量信号和功率信号、时域信号和频域信号、时限信 号和频限信号、实信号和复信号等n 们。音乐信号属于非确定性、离散的和时域信号，对 于信号处理应该由频域到时域。 2 2 音乐信号的处理 2 2 1 音乐信号产生的原理 一首音乐是许多不同的音阶组成的，而每个音阶对应着不同的频率，这样我们就可以 利用不同的频率的组合，即可构成我们所想要的音乐了，当然对于单片机来产生不同的 频率非常方便，我们可以利用单片机的定时计数器t 0 来产生这样方波频率信号，因此， 我们只要把一首歌曲的音阶对应频率关系正确即可。 若要产生音频脉冲，只要算出某一音频的周期( 1 频率) ，再将此周期除以2 ，即 为半周期的时间。利用定时器计时半周期时间，每当计时终止后就将p 1 0 反相，然后 重复计时再反相。就可在p 1 0 引脚上得到此频率的脉冲。 4 音乐信号处理及实现 利用a t 8 9 c 5 1 的内部定时器使其工作计数器模式( m o d e l ) 下，改变计数值t h o 及 t l o 以产生不同频率的方法产生不同音阶，例如，频率为5 2 3 h z ，其周期t = 1 5 2 3 = 1 9 1 2 l is ，因此只要令计数器计时9 5 6l is 1l ls = 9 5 6 ，每计数9 5 6 次时将i 0 反相，就可得 到中音d o ( 5 2 3 h z ) 1 1 1 。 计数脉冲值与频率的关系式( 如式所示) 是： n = f i 2 f r( 2 1 ) 式中，n 是计数值；f i 是机器频率( 晶体振荡器为1 2 m h z 时，其频率为1 m h z ) ；f r 是 想要产生的频率。 其计数初值t 的求法如下： t = 6 5 5 3 6 - - n = 6 5 5 3 6 一f i 2 f r( 2 2 ) 例如：设k = 6 5 5 3 6 ，f i = 1 m h z ，求低音d o ( 2 6 1 h z ) 、中音d o ( 5 2 3 h z ) 、高音d o ( 1 0 4 6 h z ) 的计数值。 t = 6 5 5 3 6 一n = 6 5 5 3 6 一f i 2 f r = 6 5 5 3 6 一i 0 0 0 0 0 0 - - 2 - - f r = 6 5 5 3 6 - - 5 0 0 0 0 0 f r ( 2 - 3 ) 低音d o 的t = 6 5 5 3 6 5 0 0 0 0 0 2 6 2 = 6 3 6 2 7 中音d 0 的t = 6 5 5 3 6 5 0 0 0 0 0 5 2 3 = 6 4 5 8 0 高音d o 的t = 6 5 5 3 6 - - 5 0 0 0 0 0 1 0 4 6 = 6 5 0 5 9 单片机1 2 m h z 晶振，高中低音符与计数t o 相关的计数值如表2 一l 所示 表2 - 1 音符频率表 音符频率简谱码( t音符频率( h z )简谱码( t 值) ( h z )值) 低l d ( )2 6 26 3 6 2 8# 4f a #7 4 06 4 8 6 0 # 1d o #2 7 76 3 7 3 1中5s o7 8 45 4 8 9 8 低2r e2 9 4 6 3 8 3 5# 5s o #8 3 16 4 9 3 4 # 2r e #3 1 16 3 9 2 8中6l a8 8 06 4 9 6 8 低3m3 3 0 6 4 0 2 1# 69 3 26 4 9 9 4 低4f a3 4 9 6 4 1 0 3中7s i9 8 86 5 0 3 0 # 4f a #3 7 06 1 1 8 5高ld 0l0 4 66 5 0 5 8 低5s 03 9 2 6 4 2 6 0弹1d 0 #1 1 0 96 5 0 8 5 5 音乐信号处理及实现 # 5s o #4 1 5 6 4 3 3 1高2r e7 56 5 1 1 0 低6l a4 4 0 6 4 4 0 0苒2r e #1 2 4 56 5 1 3 4 # 64 6 6 6 4 4 6 3高3m1 3 1 86 5 1 5 7 低7s i4 9 4 6 4 5 2 4高4f a1 3 9 76 5 1 7 8 中1d 05 2 36 4 5 8 0苒4f a #1 4 8 06 5 1 9 8 # 1d o t t5 5 46 4 6 3 3高5s o1 5 6 86 5 2 1 7 中2r e5 8 7 6 4 6 8 4# 5s o #】6 6 16 5 2 3 5 肄2r e #6 2 26 4 7 3 2高6l a1 7 6 06 5 2 5 2 中3m6 5 96 4 7 7 7# 61 8 6 5 6 5 2 6 8 中4f a6 9 8 6 4 8 2 0高7s i1 9 6 7 6 5 2 8 3 我们要为这个音符建立一个表格，单片机通过查表的方式来获得相应的数据 低音o 1 9 之间，中音在2 0 3 9 之间，高音在4 0 5 9 之间 t a b l e ：d w0 ，6 3 6 2 8 ，6 3 8 3 5 ，6 4 0 21 ，6 410 3 ，6 4 2 6 0 ，6 4 4 0 0 ，6 4 5 2 4 ，0 ，0 d w0 ，6 3 7 3 1 ，6 3 9 2 8 ，0 ，6 4 1 8 5 ，6 4 3 3 1 ，6 4 4 6 3 ，0 ，0 ，0 d w0 ，6 4 5 8 0 ，6 4 6 8 4 ，6 4 7 7 7 ，6 4 8 2 0 ，6 4 8 9 8 ，6 4 9 6 8 ，6 5 0 3 0 ，0 ，0 d w0 ，6 4 6 3 3 ，6 4 7 3 2 ，0 ，6 4 8 6 0 ，6 4 9 3 4 ，6 4 9 9 4 ，0 ，0 ，0 d w0 ，6 5 0 5 8 ，6 5 11 0 ，6 5 1 5 7 ，6 5 1 7 8 ，6 5 2 1 7 ，6 5 2 5 2 ，6 5 2 8 3 ，0 ，0 d w0 ，6 5 0 8 5 ，6 5 1 3 4 ，0 ，6 5 1 9 8 ，6 5 2 3 5 ，6 5 2 6 8 ，0 ，0 ，0 音乐的音拍，一个节拍为单位( c 调) ( 如表2 - 2 所示) 表2 - 2 曲调值表 曲调值d e l a y ( 全)曲调值d e l a y ( 半) 调4 4 1 2 5 m s 调4 4 6 2 m s 调3 4 1 8 7 m s 调3 4 9 4 m s 调2 4 2 5 0 m s调2 4 1 2 5 m s 对于不同的曲调我们也可以用单片机的另外一个定时计数器来完成。 在这个程序中用到了两个定时计数器来完成的。其中t o 用来产生音符频率，t l 用 来产生音拍。 6 音乐信号处理及实现 2 2 2 音拍跟踪 音乐是一种象语言一样进行感情交流的途径。世界各地的人们虽然有着不同的语言 和文化背景，但是却可以用共同的方式音乐来进行情感上的沟通与交流。伴随着人 类的进步与发展，音乐也经历了千百年的发展变化，产生了多种多样的音乐形式：但是 节奏却始终保持着它表达音乐美的重要地位。节奏就好象是音乐的脉搏，音乐如果没有 了节奏就失去了表达音乐思维的能力：音乐的节奏作为音乐的概念是人类对于音乐的一 种感觉，但是它却较难用文字来定义。在基础乐理中则把节奏概括为音值的长短与 强弱拍位所构成的组织形态。相对于节奏而言，“拍”则是节奏的一个方面n 刳。d a w l i n g 和h a r w o o d 对拍的定义是“拍 是指划分相等的时间间隔的脉冲感觉。同时“拍”也 是度量音乐行进速度的单位，通常以音乐每分钟的拍数( b p m ) 来表示音乐的速度：实际 上音乐具有以二叉树或三叉树来组织的层次结构，每一层中的重音构成了上一层的音 步。拍则是音乐的层次结构中间的一层。人类拥有一种“听 音乐的自然能力，即使对 音乐知识一无所知的人也会随着音乐节拍拍手和跺脚。舞蹈即是人类表达音乐感受的最 好的形式。近些年来，随着计算机技术的发展，用计算机来模拟实现人类的这一自然 能力成为很多学者积极研究的一个课题。其目的就是设计一种计算机算法使它能够自动 抽象出音乐中的一些信号来表示人类对于音乐节奏的感觉。这一过程涉及到了音乐的心 理声学和信号处理方面的理论知识。e r i cs c h e i r e r 认为这方面的研究可以概括分为两 个层次，较低的层次是构建一个对“拍 的感觉的分析系统；而较高的层次则是在重音 和乐器的拍的模式识别基础之上，推测出节奏的层次结构的模型。本课题所涉及的内容 则是“感知 出音乐中的每一拍出现的时刻和强弱以及音乐行进的速度。 由于人类的听觉系统对语音、音乐和周围的其它声音等有着惊人的检测、区分和识 别能力，因此近几十年来人们对于人类的听觉功能原理做了大量的理论和实验研究。本 课题所提出的方法则首先采用了一组带通滤波器对音乐信号进行处理来模拟人的耳蜗 的听觉处理过程，然后再使用共振器从这些信号的均方根幅度谱的包络线中获得能量最 大的周期信号来作为最可能的音乐节拍推测结果。但是由于音乐的速度变化范围太宽， 因此当与“拍相连的上下两个音乐层次的能量较大时( 例如以四分音符为一拍时，八 分音符或二分音符的能量最大) ，就有可能会得出错误的推测结果。u 驯因此把共振器的 共振频率o 7 5 3 h z ，分为0 7 5 1 5 h z 和1 5 3 o h z 两段，然后分别求出这 两段中产生最大的峰值能量的频率作为两个备选的节拍推测方案，最后使用每个方案的 和弦变化的可能性以及每个节拍的能量和出现的次数确定出最可能的结果，并进一步确 定出拍的强弱。这样就可以减少了上面提到的把节拍的分频或倍频作为错误的输出结果 7 音乐信号处理及实现 的可能n 即。这个系统应用于声学信号，不必区分乐曲中是否有鼓，不必区分音乐风格n 钉。 国际上的一些节拍推测模型虽然近年来有许多学者致力于音乐的节拍感知方面究； 但是与人类的简单的随着音乐的节拍拍手或跺脚的能比，计算机仍然很难做的象人一样 出色。j a r n os e p p a n e n 前的一些模型进行了分类，分类的依据分别是以下两点： ( 1 ) 模型输入的信号是声音信号还是表征符号。 ( 2 ) 节拍跟踪模型是因果的还是非因果的。 其中第一点是各种模型最重要的一个区别。e r i cs c h 认为以表征符号( 如m i d i ) 作 为输入信号的模型很难应用正的音乐信号分析。而第二点特征则反映出哪一个模型更适 合人听音乐时的实时过程。因为非因果的模型需要分析当出点后面的信号，因而与因果 的模型相比自然就要略逊。 针对于音乐节拍推测中常出现的把节拍周期频率的分频和倍频作为错误的探测结 果的问题，这一部分提出了一个新的节拍跟踪模型，在这个模型中把节拍周期频率的 探测范围0 7 5 - 3 h z 分为o 7 5 1 5 h z 和1 5 3 o h z 两段，然后分别求出这两 段中产生最大的峰值能量的频率作为两个备选的节拍推测方案，最后使用每个方案的和 弦变化的可能性以及每个节拍的能量和出现的次数确定出最可能的结果，这个模型主要 由以下3 个部分组成： ( 1 ) 节拍备选方案推测： ( 2 ) 高级知识提取； ( 3 ) 节拍选择及强弱拍确定。 在这个模型中，以采样频率为2 2 0 5 0 h z 的w a v 文件作为输入，然后由节拍备选方 案模块进行带通滤波、突出点探测，针对于节拍推测中常出现的错误，系统每2 0 m s 分 别对范围在o 7 5 h z 1 5 h z 和1 5 h z - - - 3 h z 的节拍周期频率进行一次节拍周期选择 和拍位推测，并且对每个频段的方案重复出现的次数进行统计，然后选择在一定时间内 出现频率最多的两套方案向后输出：高级知识准备模块根据前面推测出的两套方案， 分别计算出每套方案的半节拍周期的和弦变化的可能性和整节拍周期和弦变化的可能 性。节拍选择模块比较两套方案的分别出现的次数、能量和半节拍周期的和弦变化的可 能性及其重复出现的次数，选择出现次数最多、节拍能量最大、半节拍周期的和弦变化 的可能性最大和重复出现的次数最多的一套方案作为最佳的推测结果。然后根据这套方 案的整节拍周期和弦变化的可能性分辨出每一拍的强弱。 8 音乐信号处理及实现 图2 1 模型的系统结构图 高级知识准备模块根据前面推测出两套方案，分别计算出每套方案的半音拍周期的和 弦变化的可能性和整节拍周期和弦变化的可能性。音拍选择模块比较两套方案的分别出 现的次数、能量和半音拍周期的和弦变化的可能性及其重复出现的次数、选择出现次数 最多、音拍能量最大、半音拍周期的和弦变化的可能性最大和重复出现的次数最多的一 套方案作为最佳的推测结果；然后根据这套方案的整音拍周期和弦变化的可能性分辨出 每一拍的强弱。 2 2 3 音乐信号c q t 处理 音乐信号分析和处理中最基本亦即最主要的问题之一是音调检测或跟踪，实际上音 乐信号的音调分析要比语音信号的音调分析复杂，因为语音信号分析更注重单声源( 含 噪声) 问题，而在音乐信号分析中，多声源则是非常典型的研究对象。对于音乐信号的 音调检测( 乐谱分析) 人们已经提出各种算法。由于“耳蜗的作用相当于一个谱分析器 的观点仍是人们建立音调感知模型的重要依据，因此多数算法还是直接或间接地建立在 信号的谱分析基础之上。例如：文献n 3 的独奏音乐音调跟踪系统中有一个快速傅罩叶变 换( f f t ) 前端，直接从频谱中检测基频分量；文献的二声部乐谱分析系统的基本工作原 理是短时傅里叶变换( s t f t ) 。但是离散傅里叶变换( d f t ) 的谱线频率是线性分布的。音 阶频率是指数分布的，同时为了分辨低音区音阶，d f t 的长度远大于所需计算的音阶频 率个数，因此用d f t 估计音阶频率存在着一些问题。n 剐常数q 变换( c o n s t a n tq t r a n s f o r m - - c q t ) 算法 则是为克服o f t 在音阶频率估计中的某些不足而提出的，由于 c o t 的谱线频率可以和音阶频率具有相同指数分布规律，因此在音乐信号的音调检测中 有着独特的点，许多研究者已尝试将这一变换应用于各种音乐信号的分析与处理之中 。 文献口1 的c q t 的性能究竟如何? 目前尚未见评述文献，本课题研究认为还需从各个方面 去研究其特性、开发其潜力、完善其不足。本文从频率分辨率谱线频率和音阶频率间的 误差、多音阶信号时的谱特性、窗函数的影响等方面，对非固定窗长度和固定窗长度 下c q t 的性能作出分析。从分析和研究结果看，对于音乐信号的处理，c q t 在某些方面 9 音乐信号处理及实现 确有看比d f t 更好的特性。根据谱线频翠的不同，改变面长度，以获得更好的性能， 是c q t 的个显著特点。因此本课题重点分析这种c o t 形式的特性。但是窗长度的改 变意味着在同一次谱分析中，所涉及的时域数据长度不仅不同，而且差别很大；另外， 调整窗的长度也给寻求更有效的快速算法增加了难度。研究固定窗长度c q t 的性能，可 为探索一些问题的解决方法提供依据。 1 c o t 的性能分析 c q t 的定义式与音调频率估计的准确性，为了体现c q t 的常数q 特征，通常采样 的定义形式为： x 叼( 七) = 击薹石( 尼) 毗( 咒) p 署“ ( 2 4 ) 其中o j n , ( | 1 ) 是窗函数，m 和c q 谱的频域下标k 值有关，由式( 2 5 ) 决定： 叫q 纠 协的 其中符号 x 为大于等于x 的最小整数无为采样频率正是音阶频率，满足式( 3 ) ： - 厶2 七脑 ( 2 6 ) 按照此定义实现的算法，由于公式( 2 ) 右端进行的取整数运算。导致c q t 谱线频率和实 际的音阶频率之间有误差。 结论1 ：设音阶频率为则按式( 1 ) 计算c q t 的第k 条谱线所对应的模拟频率与实际 音阶频率五之间的误差为： 鱿一赤 ( 2 - 7 ) 其中 q 2 蚓一唾 证明如下 吼。【q 尝】一q 尝2 甲一m 为 音乐信号处理及实现 胛一嘻；m = 唾 则 矿唼 = 忐 所以 甑i 矿小丧“一上i r k + a , ( 2 - 8 ) 一意 一志无 结论2 ：如果采用定义式 x 凹( 七) ；軎笙x ( 刀) 毗( 刀) e 叫知旁“ ( 2 9 ) x 凹( 七) 2 衰磊x ( 刀) 毗( 刀) f “ ( 2 9 则c q t 的谱线频率将和音阶频率严格的对应。 证明如下：因考虑的是谱线频率的准 确性，所以取窗函数为矩形窗。则式( 5 ) 变为： x 叼( 七) ，軎笙x ( 咒) e - j 知务“ x 叼( 七) 。袁荟x ( 咒 厶“ 而长度为的有限长序列的频谱为： x ( ) = t 荟k - - 1 工( 刀) e 巾 比较上两式得： x q ( 七) 。袁x ( 扩) 尝( 2 - 1 0 ) 式( 8 ) 表明x 唧( 七) 是序列( n = o ，1 ，1 ) 在五处的离散值( 不考虑1 m 因子) ，即 c o t 的谱线频率和音阶频率是严格对应的。因此从c q t 谱线频率准确性考虑，应该采用 式( 5 ) 计算c q t ( 后面讨论的c o t 主要是指按式( 5 ) 计算的c o t ) 。当c o t 谱线频率和实际 音阶频率有误差时，会发生c o t 对音高“不准”的信号给出较好的谱线图，对音高准 确的信号，谱线图特性反而较差。按定义式( 1 ) 计算的纯- 0 音信号e 8 ( 音高 2 6 3 7 0 2 h z ) c q t 谱，有较大的“虚假 音符谱线值。根据式( 4 ) ，定义式( 1 ) 在e 8 时的 误差是4 9 7 6 6 h z = 8 0 0 0 h z ) ，若将待分析的信号的频率改为2 6 3 7 0 2 4 9 7 6 6 = 2 5 8 7 h z 音乐信号处理及实现 时，则得到特性较好的谱。如图2 b 所示。图6 是按照定义式( 5 ) 计算的c q t 谱。它呈 现了正确的特性，即“信号音调较准时，c q t 谱的特性较好 。虽然式( 1 ) 的谱线频率 误差在单音信号的情况下，一般不会引起音调检测中音符判断的失误但其谱特性的恶 化对多音调信号的音调检测很不利。 纠 c 篝工 赛 斟 ! 枣 基 蠢 音符编号音符编号 ( 仅) 信号频率2 6 3 一h z ( b ) 信号频率2 5 8 7 h z 图2 2 按定义式( 1 ) 计算的c q t 谱 音符编号 ( q 信号频率2 6 3 7 h z 音符编号 ( b 信号频率2 5 8 7 h z 图2 - 3 按定义式( 5 ) 计算的c q t 谱 2 c q t 和d f l - 窗长度和频率分辨率 当窗长度以( = o ，1 ，2 ，k 一1 ) 满足关系式( 2 ) 时，c q t 则可正确分辨任意两个 相邻的音阶频率。如果d f f 要正确分辨音阶频率 + 1 和五，则d f t 的 窗长度应满足关系： 畔志- 矗。q 丢一m 协 式( 9 ) 表明，从窗长度和分辨率角度看，c q t 的性能并不劣于d f f 。更进一步地，我们 音乐信号处理及实现 。可以给出f 面的结论。 结论3 - 对于c o t 和d f f ，正确分辨 + ，和无的 最小窗长度均是m - ( 2 正l ( 2 1 2 ) 3 c o t 和d f t 的谱线频率误差 由结论2 知，当采用式( 5 ) 计算c o t 时，其谱线频率和音阶频率之间没有频率误差。 由于d f f 谱线频率是线性分布的与音阶频率的指数分布规律不同。因此无论怎样取 窗长度，其谱线位置不可能与音阶频率有准确的对应关系，即d f f 的谱线频率和音阶频 率之间会存在误差。1 7 1 结论4 ：设音阶频率为 ( k = o , 1 , 2 ，七一1 ) ，j v o 为厶所对应的窗长度，若对序列 作0 点的d f t ，则d f ，r 谱中与音阶频率 对应的谱线频率与实际音阶频率 之间的 频率差为： 钟- 一五_ 口，詈 2 - 1 3 ) 其中 卵2 吲一等 式中 x 为使( x 一x ) 为最小的整数。证明如下： 序列x ( 厅) 的0 点d f t 为： 州。薹批叫钆n 磊i l - 1 柿卅扫竿“ 浯 即x 一( 1 ) 的“基频 为f o ( 2 ，则所对应的谱线下标( 位置) 为t ： 叫彘】- 詈 倍 所对应的谱线频率矿为： 2 惫叫料丧 浯 上式与 的差为： 1 3 音乐信号处理及实现 钟廿叫料瓦l 一五 一i ( l 兀q + 影) 惫一五 ( 2 _ 1 7 ) 一( 警叫扣卅唔 4 多音阶信号 c q t 和d f t 的谱特性比较用1 2 个等幅、相邻音阶构成正弦信号的叠加，c o t 按式 ( 5 ) 计算，df 1 - 长度取为j v ot 正q 兀一正q 6 5 4 ，实验结果如图8 和图9 所示。c o t 谱线显示了良好的特性，谱线幅度较接近等幅，旁瓣幅度很小，没有“虚假音符谱 线的出现。这是因为c q t 的窗长度调整，使得在计算每个谱线时，所取的样值数均近 似等于该频率点信号的整数倍周期，这在很大程度上抑制了数据截断的窗效应。d f t 不 具窗长度调节的特点，窗效应会增加，同时d f f 的谱线频率和音阶频率不是严格对应的， 当音阶频率处于两个谱线频率之间时，必定导致与之相邻的两条谱线均有较大的幅值。 此时若用d f f 谱判 拟 。、 ! 严： d ! y - x 逞( 葺冬 音符编号 图2 - 4 个相邻音阶的c o t 谱 1 4 音乐信号处理及实现 拟 。弋 弪三 整 嚣 音符编号 图2 - 51 2 个相邻音阶的d f t 谱 可能会产生误判( 图4 中方点为按照式( 1 2 ) 确定的音符谱线位置) 。由于音阶频率 间隔的加大，以及窗长度和信号周期的比值加大，非音阶频率的谱线幅值减小。 5 非矩形窗的影响 如果使用非矩形窗( 如h a m m i n g 窗) ，c q t 的特性会下降，因为非矩形窗虽能抑制 “旁瓣”；但其“主瓣”宽度的扩展，将产生幅值较大的“虚假 音阶频率。事实上， 由于c q t 变换中数据长度在根据频率调整，始终取q 个周期的样值，这使得c q t 本身 就具有较好的“旁瓣抑制功能。所以采用非矩形窗进一步抑制旁瓣，似乎得不偿失。 至少对于理想的音阶频率信号是这样。图1 0 是对3 个等幅、相邻音阶频率构成的叠加 信号进行c q t 变换的结果( 图1 0 ( a 是加矩形窗，图1 0 ( b ) 是加h a r e m i n g 窗) 。 6 主旁谱峰值随音阶频率的变化情况 c o t 具有很强的“虚假”峰抑制能力，但是有限长序列的“窗效应”还是存在的。 对c q t 在一个较宽的音程范围内“窗效应的检测，图6 图7 给出了实验结果，采 样频率是4 4 1 0 0 h z 。输入信号是单一音符频率信号。测定的音阶频范围是6 5 0 4 h 1 4 9 1 7 2 4 h z ( 共9 5 个音阶频率) ，对每个音符频率信号，记录c q t 主峰值和最大旁 峰值。图1 1 表明在整个被测范围内主峰幅值基本恒定( 在0 5 上下有较小的变化) ； 图1 2 显示的是最大旁峰与主峰的比值。结果表明单音符编号 1 5 音乐信号处理及实现 钗 j ：王 蜜 蠢 拟 1 ：三 塞 嚣 型 三 d 一 ：譬 音符编号 ( q ) 加矩形窗 钗 1 三 蜜 蚕 音符编号 ( b ) ) j d h a r n m i n g 窗 图2 - 6 窗函数对c q t 谱的影响 音符编号 图2 7 主峰幅度随音阶频率的变化 音符编号 图2 喝主峰与最人虚假峰的比随频率的变化 音符频率输入时，最大旁峰在5 1 5 之间。在一个较宽的频率范围内这个比值 基本在1 0 左右。该实验结果为不等幅、多频率信号情况下的音符判断 提供了有价值的参考。 1 6 音乐信号处理及实现 7 固定窗长c q t 变换及性能分析 若在式( 1 ) 中计算所有x 唯) 的窗长度时取为等式 x 钾( 忌) ，专萎工( 厅) 反，( 以) p 7 扫尝“ ( 2 1 8 ) ( 2 - 1 4 ) 为固定窗长的c q t 。当满足2 ，( t = o ，2 ，l ( - 1 ) 时，固定窗长c o t 定义 在形式上和d f t 更接近，但在谱线频率的分布上仍有着重要的区别。即前者是非均匀 的指数分布，后者是均匀的线性分布。采用固定窗长的理由之一是实际应用中通常根 据信号的短时平稳性，决定合适的数据帧长度。但选用固定窗长度时，必须考虑到分辨 率的问题。 结论5 ：若要分辨音阶频率石，五小 小固定窗长度必须满足 f = q 尝 ( 2 1 9 ) 结论5 是结论3 的直接推论。在满足上述条件时，固定窗长度的c q t 谱线性能 比非固定窗长度的谱线性能要略好。如果所选窗长度不满足上述关系则固定窗长度的 c q t 旁峰谱线会增大，如图所示。另外，若在单一信号频率下，不断减小窗长度旁峰 达到5 0 主峰时测定窗长，实验结果表明在6 5 0 4 h z - - 一1 4 9 1 7 2 4 h z 音阶频率范围内， 窗长减小到分辨率所要求窗长的6 0 ( n = o 6 m ) 时，旁峰将超过5 0 主峰高度。 ：2 - z g 二一 ：客 嚣 ( a ) 同定窗长n = n k( b ) 同定窗长n 卸6 n k ( a ) 图2 - 9 窗长度c q t 中窗长的影响 8 c q t 的一些问题 c q t 的最主要问题是计算速度，由于其频率分布不是线性的，因而不能直接调用 f f t 。目前在时域中“快速计算c o t 的基本思想是预先计算与数据无关的核( k e r n e l ) ， 这样可避免直接计算法中在处理每帧数据时重复计算核的缺点。频域中的快速算法n 们 1 7 音乐信号处理及实现 是在分离核方法基础上，调用f f t 进行计算这种方法提高了计算速度，却又部分地损 失了c q t 的特点，显现了d f t 在音阶频率检测中的局限性，可以说目前尚无非常有效 的c q t 快速算法。c q t 变换的另一个问题是数据帧的长度，若要充分利用c o t 的特点， 为区分低音区频率，所需的帧长则较大，并且随着采样频率和每倍频程中频率分割点 数的增加而急剧增加。 9 c q r 变换的快速算法及在音调频率估计中的误差分析 离散傅里叶变换d f t p l 的频率点是等间隔分布的，而音乐信号音阶频率是按指数 规律分布的，当用d f t 估计音阶频率时，由于两者的频率点不可能准确地对应，造成 某些音阶频率的估计误差较大。如果从滤波器组的角度理解d f t ，d f t 为中心频率等间 隔分稚、带宽相同的滤波器组n 引。而所谓的常数q 变换。由于c o t 可以和音阶频率具 有相同的分布，通过计算音乐信号的c o t 谱，可直接得到该音乐信号在各音符频率处 的频谱值，因此c q t 在音乐信号处理中，尤其是音调分析中正逐渐获得广泛应用阳1 ， 但是对c q t 的介绍和分析的中文文献并不多见。本课题首先从c o t 和d f t 比较的角度， 对定义c o t 的依据和它与d f t 的关系做出分析；然后讨论c o t 的时域直接计算和频域 快速计算；最后分析这一计算方法在音乐的音调分析中所产生的频率误差。本课题的分 析将为实际应用中c o t 算法参数的选取、寻找音阶频率估计误差的修正方法等提供重要 参考依据。 1 0 d f l i 与c o t ( 1 ) c q t 的定义 有限长序列( n ) 的c o t 变换为 m 一 一i丝巳1 x 凹( 七) 2 瓦荟x ( 咒) 毗( n ) e 气( 2 - 2 0 ) 其中w 是长度为n 的窗函数( 如h a m m i n g 窗) ，q 是c q 变换中的常数因子，k 是序列c q 谱的频域下标，n 和k 值有关。 ( 2 ) d f t 和c o t 的关系 长度为的有限长序列x ( n ) 的d f t 变换为 x 一( z 1 。n - i 工( 咒) p 叫等“ ( 2 2 1 2 1 ) x 一( 小工( 咒) p 叫万“ ( 2 一 ；面 在d f t