（信号与信息处理专业论文）基于内容的音乐信息检索研究与系统实现.pdf

基于内容的音乐信息检索研究与系统实现 摘要 音乐是一类重要的音频数据，传统的音乐信息检索都是基于元数 据的检索，使用受限。随着互联网的快速发展及数字化设备的普及， 基于内容的音乐信息检索研究受到广泛的关注。 本文结合音乐信息检索的发展和现状，对基于内容的音乐信息检 索领域的主要问题进行了全面的研究，并在此基础上设计和实现了一 个基于语义文本查询的音乐检索原型系统。 研究的问题主要包括音乐内容的表示与提取、音乐信号的处理、 音乐信息检索的主要技术方法。本文借鉴在基于内容的图像检索和音 乐检索最新研究中取得良好效果的s m l 模型，提出基于s 雌型的中 文音乐信息检索，为此建立了专门针对华语音乐的语义标注歌曲集 p m d 5 0 0 并对其进行相关的特征表示。在此基础上，设计和实现了一 个基于语义文本查询的歌曲检索原型系统。系统通过学习可以实现歌 曲的检索和自动标注功能，评测结果显示系统具有不错的性能，也存 在一些需要改进的问题。 本文的工作为基于内容的音乐信息检索的研究打下了一定的基 础，对进一步的深入研究具有一定推动和借鉴意义。 关键词：基于内容音乐信息检索s m l 模型语义文本查询 2 r e s e a r c ha n ds y s t e mi m p l e m e n t a t i o n o nco n t e n tb a s e dm u s i c i n f o r m 嗡t i o nr e t r i e v a l a b s t r a c t m u s i ci sa ni m p o r t a n tk i n do fa u d i od a t a 7 舱t r a d i t i o n a lm u s i ci n f o r m a t i o n r e t r i e v a ls y s t e mi sa l m o s tb a s e do nm e t a d a t a ，a n dt h eu s ei sl i m i t e d w i t ht h er a p i d d e v e l o p m e n to ft h ei n t e m e ta n dt h ep o p u l a r i z a t i o no fd i g i t a ld e v i c e s ，r a p i da n d e f f e c t i v es e a r c h i n gf o rd e s i r e da u d i od a t ab e c o m e sa ni m p o r t a n ta n dc h a l l e n g i n g r e s e a r c ht o p i c i nt h i st h e s i s ，c o n s i d e r i n gt h eb a c k g r o u n da n dt h er e c e n ts t u d i e so nm u s i c r e t r i e v a l ，w es t u d yt h em a i ni s s u e so fc o n t e n t - b a s e dm u s i ci n f o r m a t i o nr e t r i e v a l ( m i r ) ，0 1 1t h i sb a s i sw ed e s i g na n di m p l e m e n taq u e r y - b y - s e r n a n t i e - t e x tm 瓜 p r o t o t y p es y s t e m 啊1 em a i ni s s u e sw es t u d yi n c l u d et h er e p r e s e n t a t i o na n de x t r a e t a t i o no fm u s i c c o n t e n t , m u s i cs i g n a lp r o c e s s i n ga n dt h em e t h o d sa n dt e c h n o l o g i e so nc o n t e n t - b a s e d m r b yu s i n gs m lm o d e lf o rr e f e r e n c ew h i c hi sp r o v e dt oh a v ea c h i e v e d9 0 0 d e f f e c t i v e n e s si nt h er e c e n tr e s e a r c ho nc o n t e n t - b a s e di m a g ea n dm u s i ci n f o r m a t i o n r e t r i e v a l ，w ep r e s e n tc h i n e s em u s i cr e t r i e v a lb a s e ds m lm o d e l ，e x p r e s s l yc r e a t ea c h i n e s em u s i cd a t a s e tp m d 5 0 0a n dr e p r e s e n tt h er e l a t e df e a t u r e s o nt h i sb a s i s ，w e d e s i g na n di m p l e m e n taq u e r y - b y - s e m a n t i c - t e x tm 己p r o t o t y p es y s t e m t h es y s t e mi s a b l et or e a l i z et h ef u n c t i o no fm u s i cr e t r i e v a la n da n n o t a t i o nb yl e a r n i n gt h e m o d e l t h ee v a l u a t i o ns h o w sa ne n c o u r a g i n gr e s u l t , h o w e v e r , s o m ep r o b l e m sa r e f o u n dt ob es o l v e di nt h ef u t u r ew o r k t h es t u d yw o r ko ft h i st h e s i sp r o v i d e st h ep r e p a r a t i o nf o rt h ed e v e l o p i n go f c o n t e n tb a s e dm i rr e s e a r c ha n dp u s h e sf o r w a r dt h es t u d yo ns e m a n t i ct e x tr e t r i e v a l k e yw o r d s ：c o n t e n tb a s e d m u s i ci n f o r m a t i o nr e t r i e v a ls m lm o d e l q u e r yb ys e m a n t i ct e x t 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 五盘盈日期：翌受：主：! 呈 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：壶! 丝耋塾日期：盈：墨：丝 导师签名： 四 日期： 塑璺，：墨：12 l i 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 1 1 引言 第一章绪论 随着互联网的日益普及，人们开始被包括文本、图像、音频、视频在内的各 种多媒体信息海洋所包围。如何在这些海量数据中找到能够满足自己需求的信息 成了一个极为重要的问题。搜索引擎的出现给了我们一个不错的解决方案，它使 人们可以从大量信息中快速找出与用户请求相关的各种信息，我们把这种技术叫 做“信息检索一( i n f o r m a t i o nr e t r i e v a l ，瓜) 。早在2 0 世纪5 0 年代，人们就开始 从事文本和数值方面的信息检索技术的研究，目前该技术已经发展得比较成熟， 人们熟悉的b a i d u 、g o o g l e 等通用搜索引擎已经成为网络生活所必不可少的工具。 基于文本的瓜通常利用一组关键字组成的查询来搜索用户需要的文档，即 定位文档中的查询关键字来发现与之匹配的文档。随着计算机性能的提高和互联 网带宽的增长，信息含量大而且富有表现力的多媒体信息占据了越来越重要的地 位。最初，对多媒体信息的检索也采用了文本检索技术，通过人工方式给多媒体 文档添加文本标签，如文件名、歌曲的演唱者等，然后采用文本检索技术实现对 多媒体信息的检索。多媒体信息检索的基本框架如图1 1 所示。 图1 - 1 多媒体信息检索的基本框架 2 北京邮电大学硕士毕业论文 基于内容的音乐信息检索研究与系统实现 基于文本标签的多媒体信息检索有其固有的无法克服的缺陷。首先，多媒体 信息的数量庞大并不断增长，人工标注根本无法完成对如此大规模多媒体数据的 标注，而且成本较高；其次，多媒体信息的一些重要特征，如图像的纹理、音乐 的旋律和节奏等，很难或者根本就无法用文本直接表达清楚；另外，文本瓜技 术很难实现基于内容的多媒体信息检索，如检索和指定的音频数据相同的信息、 检索包含用户哼唱片段的歌曲等。 正是基于以上这些因素，客观上要求我们研究基于内容的检索技术( c o n t e n t b a s e dr e t r i e v a l ，c b r ) 。基于内容的检索是指根据媒体和媒体对象的内容、语义 及上下文联系进行检索，需要利用模式识别、计算机视觉、图像处理、语音信号 处理等学科中的一些方法作为基础技术。c b r 不单单是一种信息检索技术，它 是从认知科学、用户模型、模式识别、图像处理、语音信号处理、知识库系统、 数据库管理系统，以及信息检索领域中获得启发，引入新的媒体数据表示和数据 模型，产生出有效、可靠的查询处理方法和可视化查询接口，以及与领域无关的 检索技术和系统结构。 根据多媒体种类的不同，基于内容的检索可以分为图像检索、音频检索、视 频检索等类型。本文集中讨论基于内容的音频检索。基于内容的音频检索是相对 于传统的基于文本元数据( 通常指音频的名称、作者等与音频特征无关的数据标 记) 的音频检索提出的，具体是指通过对音频的特征加以分析，然后利用这些特 征进行检索。声音媒体是除视觉媒体外最重要的媒体，约占信息总量的2 0 。对 声音进行数字化处理得到的结果称为音频。音频文件通常分为语音、音乐、噪音 三类。其中语音的识别和检索技术已经比较成熟，而音乐检索的发展却相对缓慢。 这种现象与音乐本身所具有的特性有很大关系。音乐作为信息的一种载体，同时 又是一种艺术表现形式。它不仅与人的听觉感知有关，还蕴含某种感情在内。这 些就决定了音乐内容的特殊性和复杂性。 基于内容的音乐信息检索( c o n t e n t - b a s e dm u s i ci n f o r m a t i o nr e t r i e v a l ) 是一 个涉及到计算机科学、信息检索、音乐学、音频技术、数字信号处理和心理学等 多门学科的研究方向，它在数据库管理、i n t e r n e t 音乐检索以及生活娱乐方面都 具有非常重要的意义，有很强的研究价值和广阔的应用空间。【l 】 1 2 研究现状 相对于文本和图像检索，基于内容的音乐信息检索技术的研究起步较晚，成 果也比较有限。但自上个世纪9 0 年代以来，研究工作取得较大进展。在该研究 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 领域中，比较重要的期刊和会议包括i e e et r a n s a c t i o n0 1 1s p e e c ha n da u d i o p r o c e s s i n g ，i e e et r a n s a c t i o no nm u l t i m e d i a ，i e e e t r a n s a c t i o no ns i g n a l p r o c e s s i n g ，i e e ei n t e r n a t i o n a lc o n f e r e n c eo na c o u s t i c s ，s p e e c ha n ds i g n a l p r o c e s s i n g ( i c a s s p ) ，i n t e r n a t i o n a ls y m p o s i u m0 1 1m u s i ci n f o r m a t i o nr e t r i e v a l ( i s m i r ) ，m u s i ci n f o r m a t i o nr e t r i e v a le v a l u a t i o ne x c h a n g e ( m i r e x ) 等。 基于内容的音乐信息检索最早可以追溯到上世纪6 0 年代中期，美国康奈尔 大学( c o m e l lu n i v e r s i t y ) 的m i c h a dk a s s l e r 和他的同事 1 9 6 6 ，1 9 7 0 己着手开始 研究，之后直到1 9 9 5 年，同一所大学的g h i a s 1 9 9 5 等人开发了第一个哼唱检索 q b h ( q u e r yb yh u m m i n g ) 系统，重新开启了这方面的研究工作。近些年，随 着个人计算机和互联网的普及、数字音乐产业的快速发展及人们对搜索技术的日 益重视，基于内容的音乐检索得到了迅猛发展。2 0 0 6 年，c o 加协烈i c 佃o n so f t h ea c m 杂志对音乐信息检索等相关内容进行了专题探讨 b p , 2 0 0 6 ；r d ，2 0 0 6 ；a w , 2 0 0 6 。在国外，包括m i d o m i ( h t t p ：w w w m i d o m i c o r n ) ， s o n g t a p p e r ( h t t p ：w w w s o n g t a p p e r c o m ) 和t a n e s p o t t i n g ( h t t p ：t u a e s p o t t i n g c o r n ) 等基于内容的音乐搜索引擎已经推向实用。 在国内，中科院、上海交通大学【李扬等，2 0 0 3 】( 参见图1 2 ) 、西安交通大 学、浙江大学 冯等，2 0 0 4 、西北大学 赵，2 0 0 5 ；郭，2 0 0 6 等院校也开展了相关 的研究工作。基于内容的音乐检索经过十多年的发展，虽然取得了不小的成就， 但是，在应用方面，成果有限，研究的重心还只是停留在理论的层面上。目前， 可供用户使用的哼唱检索系统很少，哼唱检索的应用仍停留在初始阶段。而另一 方面，音乐产业发展迅猛，新的音乐不断大量涌现，音乐爱好群体的需求旺盛。 因此，基于内容的音乐信息检索存在广阔的发展空间。 麓律提取 膏符序列 图1 2 李扬等提出的歌曲哼唱检索系统工作流程图【2 】 3 4 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 1 3 本论文结构安排 结合国内外基于内容的音乐信息检索理论的研究动态，我们确定了以下几个 研究方向：音乐的内容表示与提取、音乐信号处理( 音乐特征提取) 、音乐信息 检索技术，最后设计和实现了一个原型音乐检索系统。 围绕以上主题，全文分为以下六个章节： 第一章，绪论。主要讲述了基于内容的音乐检索的一些基本概念、研究背景 和研究现状。 第二章，全面介绍基于内容的音乐信息检索领域的主要问题，包括音乐内容 的表示与提取、音乐信号处理( 音乐特征提取) 、音乐信息检索技术等具体内容。 第三章，结合实现的音乐检索系统，着重介绍音乐数据集的选用与相关的特 征表示。 第四章，介绍系统核心模型s m l 模型，包括理论介绍、问题表述、建模过 程以及参数估计等内容。 第五章，音乐信息检索系统的设计与实现。采用原创音乐数据集p m d 5 0 0 ，利用s m l 模型，设计和实现一个基于语义文本查询的音乐检索原型系 统，具有音乐检索和自动标注功能，之后对其进行评测和分析，最后总结了该系 统的特点。 第六章，结论与展望。对全文进行总结，并对今后基于内容的音乐信息检索 的发展进行展望。 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 第二章基于内容的音乐检索的主要问题研究 2 1 音乐乐理基础 什么是音乐? 音乐是凭借声波振动而存在、在时间中展现、通过人类的听觉 器官而引起各种情绪反应和情感体验的艺术形式。音( t o n e ) 是一种物理现象。 物体振动时产生声波，通过空气传到耳膜，经过大脑的反射被感知为声音。人所 能听到的声音每秒振动次数大约在1 6 - 2 0 0 0 之间。根据振动方式的不同，声音可 以分为“乐音一与“噪音一两种。振动起来有规律的、单纯的，并有准确的高度 的音，称为“乐音”。没有一定高度，且振动既无规律又杂乱无章的音，称为“噪 音一。音乐是以乐音为主的声音，但噪音也是音乐的表现手法之一，比如利用鼓、 锤等乐器发出的声音。 从专业角度来说，按照音乐理论，在音乐中使用的、有固定音高( p i t c h ) 的 音的总和，叫做乐音体系。乐音体系中的各音叫做音级，两个音级在音高上的相 互关系叫做音程( i n t e r v a l ) 。乐音体系中的音，按照上升或下降次序排列起来， 叫做音列。总的音域是指音列的总范围，即从它的最低音到最高音( a 2 c 5 ) 间 的距离。 音乐是由一系列音符( n o t e ) 序列组成，音符是构成音乐的基本单元。( 见 图2 1 ) 每一个音符又包含三部分特征：音高( p i t c h ) 、音长( d u r a t i o n ) 和音强 ( i n t e n s i t y ) 。 了 - 盛mi m1 、 y - t mi i _ - l j jj|jj j 一- t jll r 甘广r r - , i 孽严 午f _ “￥t p l 事、l1 簧。毋i= |，l一dl 图2 - 1 乐谱上的音符，节选自法国作曲家c h u c k d e b u s s y 的p r e m i e r e a r a b e s q u e 音高代表了音符的高低，可以用钢琴的键盘来说明。( 参见图2 2 ) 钢琴键盘 上的每一个白键和黑键都是一个音，从音的高低关系上来说，不管白键还是黑键， 5 6 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 凡是相邻两个键都是半音的距离。如果单看键盘上的白键，可以看成是由每七个 键分为一组的若干个组所构成，每个组代表了从某一个音到它的高八度音之间的 一段距离。各组之间的关系就是由低到高或由高到低逐渐上升或下降的关系。如 果两个白键之间插有一个黑键，则表明这两个白键包含了两个半音，即一个全音； 如果两个白键之间没有插有黑键，则这两个白键包含的就是半音。钢琴键盘上每 组的七个白键，在五线谱中用基本的音高符号c 、d 、e 、f 、g 、a 、b 七个字 母来命名，叫做。音名 。黑键依白键而命名，如c 、d 之间的黑键，可称为升 c 饼c ) 或降d ( b d ) ，撑、b 是升高半音或降低半音符号。在简谱中，对应的音高符 号是l 、2 、3 、4 、5 、6 、7 。从物理学角度来看，音高和声波的频率有着密切的 关系，频率越高，则音高越高。 def galcdi ifga ；cd 暑fgabcdefgalcd n 删k ，龟”费婀蛳m 瓤怫一一i 一_ 带蝴_ 枷蛳一蝴 图2 - 2 钢琴琴键示意图 音长说明了音符的长短，这是以全音符为基础划分的，其它各音符按它与全 音符的比值命名，如二分音符、四分音符就相当于全音符的二分之一、四分之一。 通常都是以四分音符为一拍，八分音符为半拍来演奏音乐的。 音强就是在听觉上人们所感到的响度，也就是人们通常说的强弱、大小或轻 重，它代表音符的强弱，比如在弹奏钢琴时音强说明了按下一个琴键的力度。 除此之外，还有一些常用的音乐术语，下面进行简要说明： 音色( t i m b r e ) 与声音本身特性有关，我们人耳能够区分出音高、音强一样 的不同声音就是靠音色。 基频( f u n d a m e n t a lf r e q u e n c y ，通常称为f o ) 是物体振动时发出的音的最低固 有频率。 和声( h a r m o n y ) 是指两个以上的音按照一定规律同时发生形成的组合。 旋律( m e l o d y ) 是指经过艺术构思而形成的若干乐音的有组织、有节奏的和 谐运动，就是我们通常所说的“曲调 。 节奏( r h y t h m ) 是音乐作品的骨架，简单地说，长短不一的音按照一定的规 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 律组织起来就是节奏。 2 2 音乐内容的表示与提取 2 2 1 音乐内容的表示 对于文本、图像或视频文件，它们所包含的信息很自然地构成了它们所要表 达的内容。比如对于“暴风雨一这个概念，文本上的一个语义词汇“暴风雨一、 图像中的暴风雨的画面、视频中的暴风雨的场景以及风雨声都是对“暴风雨”这 一内容的“形象阐述 。而同样的概念用音乐来表达就没那么直观容易了，似乎 我们唯一可以做到的就是说某某音乐作品听起来很有“暴风雨一来临的那种感觉 只是一种感觉。正是由于这种原因，我们只能采用音乐学的术语对音乐内容 进行有效的描述。 音乐可以看作是在时间上对各种声音和静音进行排列的艺术形式。如果把时 间看作坐标的横轴，那么那些从不同角度刻画音乐特征的相关音乐术语就可以看 作是不同的纵轴，我们称其为音乐语言的维度( d i m e n s i o n ) 【3 l ，通常情况下也 称为“特征 。 在【4 】中，d o w n i e 提到了音高( p i t c h ) 、和声( h a r m o n y ) 、音色( t i m b e r ) 、乐 曲编辑( e d i t ) 等多个维度。理论上，利用这些维度的不同组合作为描述音乐内 容的特征标示符就可以实现音乐检索的功能。表2 1 列出了西方音乐用到的主要 维度。【3 】 表2 - 1 西方音乐用到的主要维度【3 】 时标维度内容 ( t i m es c a l e ) 音色( t i m b r e ) 声音的品质特性 管弦乐作曲法声源 短时( o r c h e s t r a t i o n ) ( s h o r tt e r m ) 声学品质声音记录的品质 ( a c o u s t i c s ) 节奏( r h y t h m ) 声音的发起模式 中时旋律( m e l o d y )音符序列 ( m i d d l et e r m ) 和声0 1 a r m o n y ) 和弦序列 7 8 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 在表2 1 列出的诸多维度中，音乐信息检索里最常用到的就是乐曲的旋律和 节奏。旋律是音乐的灵魂，是音乐的基础。人们对于音乐作品的记忆主要就是对 旋律的记忆。文献【5 】【6 】【7 1 对音乐的记忆特性进行了研究，d o w l i n g 在文献 5 1 中指出 旋律的轮廓比精确的旋律更易于记忆。旋律的轮廓就是指音调起伏的整体形状。 而节奏是音乐的另外一个重要信息。研究发现，节奏在对音乐流派进行分类时有 重要作用。 2 2 2 音乐的表现形式 简单的说，音乐既是一种创作形式，也是一种表演形式。对于一首乐曲，用 户可能对作曲家的创作感兴趣，也可能对演奏家的演奏感兴趣。当然，对于没有 音乐专业知识的一般大众，更倾向于欣赏音乐表演。乐谱是与音乐创作形式相对 应的符号表示，其特点是可以将乐曲的一些参数直观方便地表示出来【引。但是 乐谱只能作为一个音乐作品的近似表示形式，因为对于同一个作品，不同的演奏 者在演奏时会存在演奏风格和表演方式上的差异。但是，反过来讲，音乐的乐谱 形式又是去除了这些演奏风格的“干净 的理想版本。基于上述原因，音乐的两 种表现形式都需要进行研究。 2 2 3 音乐文件的格式 对于音乐信息检索，我们的处理对象不是音乐本身，而是其数字化存储形式 音乐文件。音乐文件的种类繁多，上文提到的音乐的两种表现形式都分别对 应于几种不同的文件格式，而通过不同格式的文件能够获取的音乐维度也各不相 同，因此文件格式的选择对信息检索系统的维度描述有很大影响。为了包含乐曲 全部的音乐信息，业界提出了一种标准音乐描述语言s m d l ( s t a n d a r dm u s i c d e s c r i p t i o nl a n g u a g e ) 。但是该方案只是收集和囊括了各种现有的音乐格式，并 没有提出一个可以处理各种音乐维度的“万能 格式，因此实际应用价值不大。 现有的音乐文件格式主要包括符号格式( s y m b o l i cf o r m a t ) 、音频格式( a u d i o f o r m a t ) 和乐器数字接口( t h em u s i c a li n s t r u m e n td i g i t a li n t e r f a c e ，m i d i ) 三种。 1 符号格式 应用符号格式文件的目的通常是为了得到高质量的乐谱打印输出。所以它们 北京邮电大学硕士毕业论文 基于内容的音乐信息检索研究与系统实现 更倾向于乐谱信息的视觉化表示，而不是描述音乐的结构和维度。与文本文件类 似，音乐的符号编辑包括图形界面和标记语言两种方式。下面是对于符号格式音 乐的一种图形化表现形式一i a n o r o l l 表示。( 见图2 3 ) ： i1 一 ：一： 。 。- 。 。_ 一i n ：一 一 一： ：；! 一 ； ii；i _ _ - 一t ：； ；_： 时间( 秒) 图2 - 3 乐谱的图形化表示( p i a n o r o l l 表示) 2 音频格式 音频格式的文件是用于表示音乐表演的数字化记录。 大多数非压缩的音频文件都是基于脉冲编码调制( p c m ) 技术的，通过对 音乐表演的模拟信号进行采样、量化和编码，最终得到数字化的文件。常见的音 频格式包括m p 3 、c d 、a i f f 、w a v e 和a u 等，由于传统音频格式文件占用的 存储空间较大，提出了无损压缩和有损压缩技术，如现在我们极为流行的m p 3 ( t h em p e g 1 ，l a y e r3 ) 9 1 格式的压缩音频文件。还有一些压缩音频文件是从音 频合成技术的角度考虑，利用音频合成参数变化较慢的原理，得到具有高压缩比 的音频格式，比如m p e g 4 标准就利用了这种思想。然而这类格式的文件并不适 用于音乐信息检索，因为它们都只局限于对声音类别的划分，而这对用户真正的 信息需求用处不大。在m p e g 7 标准中，加入了对音频描述，尤其是音色维度的 编码，这些信息可以在一定程度有助于实现音乐的检索功能。 由于本论文实现的系统的音乐集全部采用m p 3 格式的音频文件，下面着重对 9 脚 馏 蛳 脚 脚 舟 铝 位 抛 舢 惺颧 1 0 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 m p 3 的编码解码进行详细介绍。 1 ) m p 3 编码 m p 3 文件是由帧( f r a m e ) 构成的，m p 3 的帧速度大概是3 0 帧秒。每个帧又由 帧头和帧数据组成，帧头记录着该帧的基本信息，包括同步信息、c r c 校正、码 率索引、采样率索引以及各种标志，帧数据记录了主体音频数据。具体编码流程 如图2 4 所示。其中滤波器组把信号按频率分成子带，然后对不同的子带进行不 同的量化分层。人耳听觉心理模型则根据最小听觉门限判定和遮蔽效应来提高编 码质量。随后的失真和量化控制则是为了在削减量化噪音在人耳遮蔽曲线即增益 因子( s c a l ef a c t o r ) 以下的同时，还要保证比特率满足要求。最后通过h u f f m a n 等编 码方式对比特流进行帧的封装，以得到最终的m p 3 格式存储。 图2 - 4m p 3 编码流程 2 ) m p 3 解码 n i p3 是以帧为单位编码的，因此在解码过程中就是一帧一帧的解开，具体如 图2 5 所示。在帧同步之后，解开帧的封装包，读取在帧头之后帧数据中的通道 信息和增益因子，然后再进行h u f f m a n 解码，这样就得到解压以后的数据。但这 些数据是一些频段信息，还需要经过一系列的重构过程如反量化、逆映射等来实 现频域到时域的转换，使得每一帧都与时间建立联系，最终把音频信号以尽可能 少的损失还原出来。 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 图2 - 5m p 3 解码流程 乐器数字接口格式( 下面简称为m d i ) 可以看作是符号格式和音频格式的折 中。该标准于1 9 8 2 年提出，最初是为了数字乐器之间的数据交换。用m i d i 编码 的文件称为标准m i d i 文件( s t a n d a r dm i d if i l e s ) s m f 规范定义了m i d i 信息 的结构以及包括音调、拍子记号在内的一些音乐全局参数。结构化的元数据( 作 者、标题、版权信息等) 也可以写入其中，但不是强制的。由于m i d i 包含了音 乐表示的信息，因此可以将其视为重构一个音乐作品的近似符号表示。这种特性 使m i d i 作为互联网早期的主要音乐转换格式。这也是为什么众多早期音乐信息 检索技术基于m i d i 格式的原因。然而，随着m p 3 格式的快速发展，相对缺乏音 乐艺术表现力的m i d i 的应用空间已经越来越小。 2 3 音乐信号处理 音乐信号处理，主要指的就是音乐的特征提取。 m m 的第一步就是对音乐文件进行处理，得到我们需要的音乐特征。对于不 同的音乐形式、格式和维度，存在着不同的处理方法。早期的特征提取主要是针 对符号格式的音乐文件，一方面是因为相关格式的旋律特征容易提取，另一方面 也是因为m p 3 格式的文件不像现在这么普及。而当前音乐检索研究的对象大部分 都集中在音频格式文件上。下面我们分别对符号、音频两种格式的音乐的不同维 度的特征提取进行详细讨论。 2 3 1 符号格式 1 旋律的提取 因为旋律在符号格式的文件中已经被清晰明确的表示成了符号序列的形式， 所以直接提取相当容易，尤其是对于单调乐谱音乐( m o n o p h o n i cs c o r e ) 。对于由 若干单调乐谱组成的复调乐谱( p o l y p h o n i cs c o r e ) 音乐，如果认为其中的每种单 调乐谱都是相互独立的，那么分别提取就可以了。但是实际的情况是，包括流行 和摇滚等主要流派在内的音乐，其中的人声部分才是与主要旋律相关的，而其它 的乐器伴奏部分与旋律关系不大。那么如何在复调音乐中提取乐曲的主旋律，就 成了一个重要的问题。对于这个问题，主要是采用一些统计的方法，通过训练学 1 2 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 习让系统能够“辨别 出人声部分。文献【l o 】就用这种思想提出了一个计算复调 音乐中人声主旋律的方法。 对于复调音乐主旋律的提取，其结果通常充满了错误。很多情况下人们不能 根据提取后的主旋律联想起与之对应的原音乐。当然，提取主旋律并非处理复调 音乐的必要步骤，我们还有其他的方法可以利用，如【1 1 1 2 】所提到的方法。 2 旋律的切分 如果我们提取了一个音乐作品的旋律，我们就可以通过旋律切分进行更高效 的处理。比如，我们可以利用切分结果建立索引。最常用的旋律切分方法是 n g r a m ，即从整个旋律中提取含有n 个音符的全部子序列，而且允许相互交迭。 n g r a m 方法有很多的改进形式。 除了n g r a m ，还有一类方法是利用音乐学的一些先验知识进行旋律切分。 评测结果【1 3 】显示，目前旋律切分的结果还不错，只是有时存在切分过细的 倾向。 2 3 2 音频格式 1 音色 在音乐的不同维度中，音色是最难定义和描述的。但是它与音乐的表演形式 密切相关，听众对它非常感兴趣，因而显得十分重要。人们对音色的感知与音乐 信号的频谱构成有关，因此傅立叶变换是音色分析和音频分析的常用工具。为了 提取音色特征，通常需要分析处理音乐的声谱图( s p e c t r o g r a m ) ，如图2 6 所示。 在语音识别领域取得很好效果的m e l 频率倒谱系数( m e l f r e q u e n c yc e p s t r a l c o e 伍c i e n t s m f c c s ) 在m 瓜领域也得到了广泛的应用，它可以看作是一个音乐 特征标识符的集合。理论上任何形式的时频变换都可以表示音色信息，也许还有 比m f c c s 效果更好的变换形式存在，有待于我们进一步的发掘。 2 节奏 节奏是公认最好识别的维度。对于绝大多数流行和摇滚音乐，通常采用“节 拍跟踪 ( t e m p ot r a c k i n g ) 技术就可以完成节奏识别。从信号处理的角度考虑， 我们可以利用信号的幅度包络线的周期变化得到相应的节奏信息，具体来说可以 通过计算自相似矩阵【1 4 】或者自相关函数【1 5 】得以实现。 3 旋律 北赢断电大学醇毕业论盘基于内容的音乐信息检索研究与系统实现 与旋律有关的最主要元素就是音符的音高。音高的提取是音频处理过程中最 基本、最重要的一环。要获得音乐的旋律特征向量，就需要获得每一帧的音高。 单帧内音高提取的方法很多，主要可分为时域和频域两大类。时域方法有： a c f ( a u t o c o r r e l a f i o nf u n c e o n ) 、a m d f ( a v e r a g em a g n i t - - d ed i f f e r e n c ef u n c t i o n ) 和 s i f t ( s i m p l e i n v e r s e 丘i t e r 曲d 血曲( 图2 - 7 是图2 - 1 所示乐曲片段的时域表示) 频 域方法有：h m m o l f i c p r o d u c ts p e c u e m 1 6 1 1 1 和c e 岫方法i 埘。 田2 _ 6 乐曲片段的声_ i 田 时闻( 秒) 图2 - 7 乐曲片段的时城袁示囤 1 3 1 4 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 2 4 音乐信息检索 信息检索的核心目标是满足用户的信息需求。而一般用户对于音乐信息的需 求主要体现在查找某个( 某类) 特定的音乐作品、建立自己的音乐集、核对比较 音乐作品三方面。【3 】 根据这三种不同需求，广义的m 瓜可以分为搜索( s e a r c h i n g ) ，过滤( f i l t e r i n g ) ， 浏览( b r o w s i n g ) 等三个主要方向。 2 4 1 音乐搜索 狭义的音乐检索指的就是音乐搜索，即由用户给出音乐的某种或某几种维度 的描述符作为查询输入，经过m 瓜系统的处理，输出用户想要的音乐。尽管理论 上可以采用任何维度作为查询输入，但实际系统大多而且只采用“旋律一这个维 度特征。基于音乐旋律的检索需要计算查询输入与音乐库中各个文件的相似度。 根据相似度计算方法的不同，我们可以将其分为三类：基于索引、基于序列匹配 和基于几何图形。 1 基于索引 该方法主要是借鉴文本信息检索的技术。建立索引可以大大提高检索效率， 但是对于音乐检索，我们提取什么作为索引项( i n d e xt e r m ) 以及怎样提取，都 不是一个简单的问题。对于符号格式的音乐文件，通常利用自动提取旋律内容描 述符的方法，将得到的类似于文本检索中的音乐“词汇单元 ( 1 e x i c a lu n i t ) 作为 索引项，然后利用特征向量空间模型，用t f i d f 计算权重。【1 9 】提出了一种利用 n g r a m 建立索引的音乐检索方法。此后又出现一些基于n g r a m 的改进方法。【2 0 】 提出了一种可以对复调音乐建立索引进行检索的方法，而【2 l 】将具有音乐相关性 的不定长音符序列作为索引项，并称之为m u s i c a lp h r a s e 来实现音乐检索。 2 基于序列匹配 该方法的一个典型应用是通过输入某个音乐作品的部分摘引从而得到准确 完整的音乐。对于每一次查询，都要对查询序列与音乐库中所有的文件进行比对 计算。该方法优点是：通过利用已有的近似字符串匹配技术，可以对查询与文件 可能出现的误匹配现象建模。文献【冽就是最先应用这种技术的。【2 3 】利用了计算 生物学中的模式发现( p a t t e r nd i s c o v e r y ) 技术来寻找音乐库中查询的音高轮廓线 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 的简化描述。还有其他一些类似的基于序列匹配的方法可以在【2 4 】【2 5 】中找到。除 了利用近似字符串匹配技术，统计模型也被引入到序列匹配的方法中。 2 6 l 提出 对音乐库中提取的音乐主题集合用马尔科夫链建模的方法，【2 7 】提出用隐马尔科 夫模型( h i d d e nm a r k o vm o d e l s ，h m m ) 对哼唱查询中可能出现的错误建模。 序列匹配技术的计算效率很高，对于一个大小为n 的音乐库，输入一个长度 为m 的查询，其计算复杂度为o ( m + n ) 。然而由于每次查询都要与库中所有文件 进行比对，计算代价与库的大小成正比，这也就意味着利用该方法的查询具有很 低的可扩展性。文献【2 s 】提出利用剪枝技术( p r u n i n gt e c h n i q u e s ) 解决这个问题。 3 基于几何图形 如同上文提到的音高轮廓线，如果我们用横轴表示时间，纵轴表示音高，那 么音乐就可以用几何图形来表示。同样我们也可以将查询转化为几何图形的形 式，于是只要比较这些图形之间的相似性就可以得到我们需要查找的音乐。这种 方法的优点主要体现在处理复调音乐上，即无需提取其主旋律。【1 2 】提到的方法 是将查询经过一系列的转化与音乐库文件的几何表示进行比较，寻找出最佳匹 配。上海交通大学的李扬提出的l a m ( l i n e a ra l i g n m e n tm a t c h i n g ) 算法就是基 于旋律线的一种几何图形方法的改进。【2 】 2 4 2 音乐过滤 由于网上购物的不断发展，越来越多的人选择通过互联网购买音乐专辑。音 乐自动推荐系统( a u t o m a t i cr e c o m m e n d e rs y s t e m s ) 可以代替音乐专家，根据用户 自己的兴趣特点提供音乐推荐。协同过率( c o l l a b o r a t i v ef i l t e r i n g ) 是推荐系统最 常用的技术，但是存在“新添项”( n e wi t e m ) 和“冷启动( c o l ds t a r t ) 问题。 因此，研究人员提出了一些基于内容的音乐推荐系统。这些系统的设计思想是利 用用户已经评定的项( i t e m ) 的集合，去推荐那些与其元素相似度接近的新项， 而音乐特征的选择取决于哪些音乐维度与用户更为相关。【2 9 】中的系统利用了音 色信息，【蚓采用m f c c 作为特征描述符。 实验结果表吲3 1 】：就当前情况而言，协同过滤的方法仍要优于基于内容的 方法。 音乐播放列表的自动生成是m m 里的特有任务。它与音乐推荐有所不同，音 乐播放列表里的音乐通常是用户已知的音乐而且其排列顺序通常是相关的。【3 2 】 将播放列表的生成看作是在结点为歌曲、边为相似歌曲的连线的图( g r a p h ) 上 寻找条路径( p a t h ) 的过程。 1 5 1 6 北京邮电大学硕士毕业论文基于内容的音乐信息检索研究与系统实现 2 4 3 音乐浏览、分类 前面提到的音乐搜索只是对音乐库进行访问的方式之一。我们还可以像访问 文本文件或其它多媒体文件那样，用浏览音乐库、查看音乐文件分类目录或者利 用相关视觉线索等更有效的方式去访问音乐库。 1 音乐库浏览 对音乐库的浏览是一种自然而可行的访问方式。而且音乐库的导航 ( n a v i g a t i o n ) 时常与基于内容的音乐检索结合在一起。音乐的浏览与导航都是 基于音乐文件“相似性一这一概念的。原则上讲“相似性一是用户独立 ( u s e r - d e p e n d e n t ) 的，而且是随时间变化的。但是大多数音乐浏览方法都是基于 预先设定好的音乐维度的静态相似性计算。 关于基于内容的音乐库导航的第一篇论文是【3 3 1 ，在这篇论文中，作者采用 音高轮廓线的特征表示对唯一的