已阅读5页,还剩116页未读, 继续免费阅读
(计算机应用技术专业论文)基于内容的音乐信息检索技术研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 摘要 随着计算机多媒体技术和 n t e r n c t 的迅速普及,多媒体信息的应用日益广泛, 数字化的音乐作为多媒体信息中的重要成员,其应用的范围也不断扩大。近年来 所为人关注的网络音乐的传播、共享和知识产权的问题可以使我们深信,随着数 字技术以及互联网络这种特殊媒体的发展,音乐工业的传统模式以及传统的人和 音乐的关系都将发生巨大的变革。数字化音乐以及互联网的发展导致对基于特定 特征及需要的新的信息检索方法的需求越来越强烈。 本文的主要内容就是关于利用信息技术和计算机科学的方法,对数字化音乐 信息实现基于内容的方便有效的组织和检索的理论及实践性问题,同时研究了旋 律感知的相关问题。通过对音乐的内容,也就是旋律这一音乐的最本质属性的研 究,探讨了基于内容的音乐信息检索系统的相关技术。工作的成果体现在所设计 实现的完整系统结构中,所有技术手段均围绕音乐的内容本身即旋律特征来进行 实现,着重研究了音乐哼唱检索的相关技术以及基于旋律特征的音乐检索方法。 进行理论研究的同时开发了一套完整的工具和系统软件,并通过实验评估了系统 性能。 本论文主要研究和讨论的内容及成果如下所述: 。 1 。提出了一个全面完整的音乐信息检索系统的体系结构设计,并实现了原型 系统。系统结构的设计以音乐信息数据流作为功能分割的依据,划分各部 分模块,以标准化的接口设计实现系统结构和内容的分离,在开放的系统 结构上支持不同的具体技术和方法实现各部分的功能,并可以合理有效地 实现各种功能和性能的评估,系统的体系结构设计在系统数据库设计和查 询构造及匹配检索环节均实现了对m p e g 7 标准的支持,提供了基于 m p e g 一7 的描述子,描述模式的信息处理和检索接口。 2 通过对音乐旋律特征以及数字化音乐信息的分析研究,提出一种新的音乐 旋律特征的表达方式。多形态旋律特征表达针对系统的开放式设计结构以 及对多种技术手段的支持,提出了同时考虑音高特征( 以音高差表达) 和 节奏特征( 以音长比表达) 的旋律表达方式。对于不周的输入方式和不同 应用目的的特征信息分别进行规格化处理,实现了对同一旋律进行的多形 态旋律特征表达,支持包括m p e g 7 标准在内的多种格式,有效地实现了 对不同输入方式,不同匹配技术和不同数据组织结构的支持。 3 针对音乐信息查询的特殊性,设计实现了多模态用户接口,从考察和建立 用户模型出发进行了用户接口设计。针对数字化的音乐信息表达方式,提 西安电子科技大学博士学位论文 基于内容的音乐信息检索技术研究 出了全面、有效、灵活、直观易用和统一访问的设计原则,实现了对于使 用等价于音符描述方式的支持和音频波形数据的支持,合理地定义了各种 用户查询输入方式的表达,实现了完备的表达效果。不同的输入方式均为 用户提供方便易用的图形化操作界面。并提供用户对查询输入进行调整和 反馈的机翩,提高了查询构造的有效性。协同的多模态和多媒体的用户接 口组建成集成的功能系统,依靠统一访问和近于同构的方式实现系统的开 放和有原则的集成,允许多模态和多媒体的多个颗粒度级别上的集成,通 过多级分析和对话实现了对于不同模态或不同媒体的输入数据空间的所 有数据元素进行统一的访问。 4 提出了一种新颖有效的音乐哼唱查询信息处理技术。这种哼唱信息处理方 法结合了哼唱语音信号增强技术以及时域与频域处理技术相结合的哼唱 转谱方法。包括分级音符分割方法,基于规则的基音检测、音高跟踪方法, 并提出一种合理的旋律特征表达的中间格式用于哼唱查询构造。实验结果 证明了这种哼唱信息处理方法的有效性。通过这种方法有效地降低了哼唱 转谱过程中引入的误差,提高了旋律查询构造的准确性,进而可以有效地 增强整个音乐检索系统的检索效果。 5 针对音乐哼唱查询的非精确性及哼唱方式的特点,提出一种新的模糊旋律 匹配方法。将模糊集合及其方法引入到旋律特征近似匹配的过程中,对用 户查询与数据库目标数据之间构造模糊隶属函数,根据隶属度来判断音高 特征的相似度,同时对音长比信息进行相似度计算,两者加权得分作为动 态规划匹配过程中的转换代价,最终得到两个匹配序列的编辑距离作为相 关性判定标准,得到查询结果。实验结果显示模糊方法的引入提高了检索 命中率,同时考虑音长特征的策略也提高了检索准确度。 6 讨论了将隐马尔可夫模型应用予音乐自动分类技术,由于隐马尔可夫模型 能够很好地刻画音乐信息的时间统计特性,因此,尝试在对音乐素材的处 理过程中使用隐马尔科夫模型用于音乐分类技术,对音乐进行自动分类操 作,从而可以实现音乐类别信息的自动提取以及通过分类提高后续的音乐 检索的效率。 7 讨论了对音乐信息检索系统的科学评估问题。 关键词:基于内容的音乐信息检索,旋律表达,m p e g 7 声音标准,音乐检索用 户接口,哼唱检索技术,旋律近似匹配,音乐信息检索的科学评估 西安电子科技大学博士学位论文 a b s t i a c t a b s t r a c t t h e s p e e d yp o p u l a r i z a t i o no fm u l t i m e d i at e c h n o l o g ya n di n t e r n e em a d et h e r i f e n e s so fa p p l i c a t i o n so fm u l t i m e d i ai n f o r m a t i o n , e s p e c i a l l yt h ed i 百t a lm u s i c t h e r e c e n tc o n t r o v e r s i e ss u r r o u n d i n gt h es p r e a d ,s h a r i n go fd i 百t a lm u s i ct h r o u g ht h e i n t e r n e ea n dt h ec o r r e s p o n d i n gp r o b l e m so fi n t e l l i g e n tp r o p e r t yh a v eb r o u g h tu st o b e l i e v et h a ta l o n gw i t l lt h ei r r e s i s t i b l et r e n do ft e c h n o l o g y , p e o p l ew i l lu l t i m a t e l yb r e a k t h et r a d i t i o n a lm o d e l so f t h em u s i ci n d u s t r ya n de v e np e o p l e sm u s i ca p p r e c i a t i o nh a b i t s t h ee m e r g e n c eo fd i s t a lm u s i co nt h ei n t e r n e er e q u i r e sn e wi n f o r m a t i o nr e t r i e v a l m e t h o d sa d a p t e dt os p e c i f i cc h a r a c t e r i s t i c sa n dn e e d s t h i sd i s s e r t a t i o nw i l le x p l o r eb o t ht h e o r e t i c a la n dp r a c t i c a li s s u e si n v o l v e di nt h e c o n t e n tb a s e dm u s i ci n f o r m a t i o nr e t r i e v a lt e c h n i q u e s 嬲w e l la st oe x p l o r et h em e l o d y p e r c e p t i o ni s s u e s t h ec o n t e n to f m u s i cm e a n sm e l o d yf e a t u r e s ,t h ei n b e i n go fm u s i c a l lt h ew o r k sh a sb e e nd o n ea r o u n dt h em e l o d yf e a t u r e so f m u s i ca n d p r e s e n t e dw i t h i n a ni n t e g r a t e dm u s i ci n f o r m a t i o nr e t r i e v a ls y s t e ma r c h i t e c t u r ed e v e l o p e db yt h ea u t h o r t h ee x p l o r a t o r yr e s e a r c hw o r kf o c u s e do nt h eq u e r y - b y - h u m m i n gt e c h n i q u ea n d c o r r e s p o n d i n gm e l o d ym a t c h i n ga n dr e t r i e v a lm e t h o d s aw h o l es e t o ft o o l sa n d d e l i v e r a b l es o f t w a r ew e r ei m p l e m e n t e d ,a n de x p e r i m e n t sw e r ec o n d u c t e dt oe v a l u a t e t h es y s t e mp e r f o r m a n c e t h em a i nc o n t r i b u t i o n so f t h i sd i s s e r t a t i o na r es u m m a r i z e da sf 0 1 l o w s : 1 ac o m p r e h e n s i v ei n t e g r a t e dm u s i ci n f o r m a t i o nr e t r i e v a ls y s t e ma r c h i t e c t u r e w a sp r e s e n t e da n dt h ep r o t ot y p eh a sb e e nc a r r i e do u t t h es e g m e n t a t i o no f s y s t e mc o m p o n e n t sw a sb a s e do nt h e m u s i ci n f o r m a t i o nd a t af l o w t h e n o r m a t i v ei n t e r f a c ed e s i g nm a d ei tp o s s i b l et os u p p o r tt h ed i f f e r e n tu n i q u e t e c h n i q u e sa p p l i e dt oe a c hp a r to ft h ew h o l eo p e ns y s t e ma n da v a i l a b l e e v a l u a t i o n so ft h ef u n c t i o n sa n dp e r f o r m a n c e so ft h et e c h n i q u e sb e i n gu s e d t h es y s t e md e s i g ni m p l e m e n t st h es u p p o r tf o rm p e g - 7i nd a t a b a s ed e s i g n , q u e r yc o n s t r u c t i o na n dr e t r i e v a lp r o c e s s 2 an e wa n dm o r ee f f e c t i v em e l o d yr e p r e s e n t a t i o nf o rc o r r e s p o n d i n gm a t c h i n g m e t h o d sw h i c hc o m b i n e db o t hp i t c ha n dr h y t h m i ci n f o r m a t i o nw c f ea d o p t e d b a s e do nt h ei n - d e p t ha n a l y s i so f m e l o d yc h a r a c t e r i s t i ca n dt h ep a r t i c u l a r i t yo f d i g i t a lm u s i ci n f o r m a t i o n t h em u l t i f o r mm e l o d yr e p r e s e n t a t i o nn o r m a l i z e s t h em e l o d yf e a t u r e sf o rd i f f e r e n ti n p u t sa n dp u r p o s e t h i sm e t h o dr e a l i z e d s e v e r a lr e p r e s e n t a t i o nf o r m sf o rs a n l em e l o d yp i e c et os u p p o r to p e ns t r u c t u r e d e s i g na n dd i f f e r e n tm a t c h i n gm e t h o d s ,i n c l u d i n gt h ed a t af o r m a td e f i n e di n 西安电子科技大学博士学位论文 基于内容的音乐信息检索技术研究 m p e g 7 3 am u l t i m o d eu s e ri n t e r f a c ew a sd e v e l o p e di na l l u s i o nt ot h ep a r t i c u l a r i t yo f m u s i ci n f o r m a t i o nq u e r y t h ei n t e r f a c ed e s i g nb a s e do nt h ei n v e s t i g a t i o na n d e s t a b l i s ho fu s e rm o d e l s b o t ht h ee q u i v a l e n c eo fs y m b o l i cd e s c r i p t i o na n d a u d i ow a v e f o r md a t aw e r es u p p o r t e db a s e d0 1 1t h er u l e so f c o m p r e h e n s i v e n e s s , e f f i c i e n c y , a g i l i t y , i n t u i t i v i s ma n de a s yt ou s e t h ed i f f e r e n ti l s e l i n p u tm e t h o d s w e r ed e f i n e dr e a s o n a b l y t h eg r a p h i cu s e ri n t e r f a c e sw e r ea d o p t e di ne v e r y u s e ri n t e r a c t i v ep a r t sa n dt h eu s e ri n p u tf e e d b a c km e c h a n i s mw a sp r o v i d e dt o i m p r o v et h ee f f e c t i v e n e s so ft h ec o n s t r u c t i o no fu s e rq u e r i e s t h ef u n c t i o n a l s y s t e mm o d e lw a sb u i l tb yc o l l a b o r a t i o no fm u l t i m o d ea n dm u l t i m e d i au s e r i n t e r f a c e t h eo p e ns y s t e ma n dr e a s o n a b l ei n t e g r a t i o nw a sr e a l i z e dd e p e n d so n u n i f o r ma c c e s sm e t h o da n da l m o s ti s o m o r p h i cm a n n e r t h ei n t e g r a t i o no f m u l t i m o d ea n dm u l t i m e d i aw i t hd i f f e r e n t g r a n u l a r i t y w a se n a b l e dt o i m p l e m e n tt h eu n i f o r ma c c e s s o fd a t ai nd i f f e r e n ti n f o r m a t i o n a c q u i r i n g d i m e n s i o n s 4 a ne f f e c t i v ea n dn o v e lh u m m i n gq u e r yp r o c e s s i n gm e t h o dh a sb e e np r e s e n t e d i tc o m b i n e st h e s p e e c he n h a n c e m e n tt e c h n i q u e 谢t ht i m e - d o m a i na n d f r e q u e n c y - d o m a i na n a l y s i st od ot h eh u m m i n gt r a n s c r i p t i o n ah i e r a r c h i c a l n o t es e g m e n t a t i o nm e t h o da n dar u l eb a s e dp i t c ht r a c k i n gm e t h o dh a v eb e e n t a k e na n da ni n t e r m e d i a t ef o r m a tf o rm e l o d yr e p r e s e n t a t i o nh a sb e e np r o p o s e d e x p e r i m e n t a lr e s u l t ss h o wt h ee f f e c t i v e n e s sa n da c c u r a c yo ft h eh u m m i n g t r a n s c r i p t i o n ,t h u st h ep e r f o r m a n c eo ff o l l o w i n gm e l o d yb a s e ds e a r c h i n gc a l l b ei m p r o v e d 5 an e w f u z z ym e l o d ym a t c h i n g m e t h o d w a s p r e s e n t e d a i ma t q u e r y - b y - h u m m i n gb a s e dm u s i ci n f o r m a t i o nr e t r i e v a ls y s t e m s i n c ea ni n p u t h u m m i n gq u e r ym a yh a v ev a r i o u s 朗t o r 5 ,t h es y s t e ms h o u l db ea b l et ot o l e r a t e t h e s ee r r o r s t h ef u z z yr e l a t i o n s h i pw a se s t a b l i s h e db e t w e e nt h ei n p u tq u e r y a n dt h et a r g e td a t a i nt h ed a t a b a s et h r o u g hc o n s t r u c t i n gt h em e m b e r s h i p f u n c t i o no ft h ef u z z ys u b s e tt oj u d g et h es i m i l a r i t yo ft h ed e l t ap i t c h e st oi t s t a r g e t b o t hd e l t ap i t c h a n dp i t c hd u r a t i o nr a t i ow e r eu s e di n m e l o d y r e p r e s e n t a t i o n t h ed y n a m i cp r o g r a m m i n gm a t c h i n gm e t h o dw a st a k e nt od o t h es i m i l a r i t ym e a s u r e s e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a to u rm e t h o d sd i d h e l pi m p r o v i n gt h e e f f e c t i v e n e s so f aq u e r y - b y - h u m m i n gs y s t e m 西安电子科技大学博士学位论文 a b s t r a c t 6 t h ea u t o m a t i cc l a s s i f i c a t i o nt e c h n i q u eu s i n gh i d d e nm a r k o vm o d a lh a sb e e n p r e s e n t e d f o r h i d d e nm a r k o vm o d a lc a nd e p i c tt h es t a t i s t i c a lt e m p o r a l c h a r a c t e r so fm u s i ci n f o r m a t i o nc o m m e n d a b l y , s ot r yt ou s eh i d d e nm a r k o v m o d a lt oc l a s s i f yt h em u s i cg e n r et h e r e f o r ei m p r o v et h ee f f i c i e n c yo ft h e m u s i ci n f o r m a t i o nr e t r i e v a li sf e a s i b l ea n de f f e c t u a lp r o v e db yt h e e x p e r i m e n t s 7 t h es c i e n t i f i ce v a l u a t i o np r o b l e mo f m u s i ci n f o r m a t i o nr e t r i e v a ls y s t e mh a s b e e nd i s c u s s e d k e yw o r d s : c o n t e n tb a s e dm u s i ci n f o r m a t i o nr e t r i e v a l ,m e l o d yr e p r e s e n t a t i o n , m p e g 7a u d i o ,u s e l i n t e r f a c eo fm u s i cq u e r y , q u e r yb yh u m m i n g , m e l o d y a p p r o x i m a t em a t c h i n g , s c i e n t i f i ce v a l u a t i o no f m u s i ci n f o r m a t i o n r e t r i e v a l 西安电子科技大学博士学位论文 创新性( 或独创性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知,除了文中特别加以标注和致谢中所罗列的内容以外,论文中不 包含其他人已经发表或撰写过的研究成果;也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处,本人承担一切相关责任。 本人签名:骝釜 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定,即:研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后,发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件,允许查阅和借阅论文:学校可以公布论文的全部 或部分内容,可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本人签名 导师签名 勉亟塞 同期2 刁彳、占、g 日期勿z 。彭:舌 第一章绪论 第一章绪论 科学技术已经在快速和显著地改变着这个世界,尤其是信息技术的飞速发展, 使得原本没有直接关系的事物紧密地结合了起来。音乐和计算机技术的结合就是 其中之一。随着计算机多媒体技术和i n t e m e t 的迅速普及,多媒体信息的应用日益 广泛,数字化的音乐作为多媒体信息中的重要成员,其发展和应用的范围也不断 扩大。近年来所为人关注的网络音乐传播、共享和知识产权的问题可以使我们深 信,随着数字技术以及互联网络这种特殊媒体的发展,音乐工业的传统模式以及 传统的人和音乐的关系都将发生巨大的变革。数字化音乐以及互联网的发展导致 对基于特定特征及需要的新的信息检索方法的需求越来越强烈。本文的主要内容 就是关于利用信息技术和计算机科学的方法,对数字化音乐信息实现基于音乐内 容的方便有效的检索,即基于旋律特征的音乐信息检索。 1 1 音乐信息检索 首先我们简单的解释一下音乐信息检索( m u s i ci n f o r m a t i o nr e t r i e v a l ,m i r ) 的基本概念。 最常见的,很多人会有这样的需求,就是自己听到似曾相识的或者记起熟悉 的一支音乐旋律或是一首歌曲的片段,可就是想不起来这段音乐或者歌曲的详情 了,比如名称,作者,演奏者或演唱者以及音乐的完整内容。那么我们怎么样解 决这个问题呢? 一般地,我们可能会找一个身边有一定音乐知识的人,把音乐哼 出来给他听,希望他能够帮助自己找到答案,这当然是最直接及自然的方法;如 果是歌曲,能记得几句歌词,或者还能想起来大概是和哪个歌手有关,那么等于 有了一些文字性的查询信息,现在这个时代我们当然可以到互联网上去搜索一下。 互联网已经成为人们获取音乐用于娱乐、教育、商业以及其它用途的重要渠道之 一。互联网的发展导致对基于特定特征及需要的新的信息检索方法的需求越来越 强烈。互联网上原有的与获取音乐数据相关的功能基本上是基于内容分类的浏览 以及基于文本方式进行检索的方法,对于海量的信息以及音乐本身的特殊性,这 样的方法不能方便而且有效地使用户获取所需要的音乐信息。要找到自己想要的 音乐内容,用户需要提供的是音乐的标题名称、作者、演奏或演唱者以及其它的 机遇文本的信息,然后系统的搜索引擎可以依据用户提供的这些信息对基于文本 内容的数据库进行搜索;或者用户需要浏览整个分类目录来寻找自己的目标。当 然,对于音乐专业人士,他们还有一些传统的音乐检索方式,那就是到音乐图书 西安电子科技大学博士学位论文 2 基于内容的音乐信息检索技术研究 馆去查几本可以提供有限范围的音乐作品信息的音乐旋律辞典【1 刃。 人们试图找到一段音乐的名称或旋律细节这还只是m 取应用的一个部分。例 如,作曲家会为了探究自己音乐灵感的来源寻找音乐旋律,音乐评论家会为版权 问题对相关的音乐作品进行分析,音乐家经常会寻找同一个音乐作品的不同改编 版本和不同的演奏版本。 以上人们所作的事情实际上就是在做广义上的音乐信息检索。我们这里所研 究的对象将音乐信息检索这个概念限定在通过计算机设备进行的对数字化的音乐 信息进行检索的过程。 1 1 1 基于内容的音乐信息检索 音乐被人们所听到并感知到的主体内容就是音乐旋律,是旋律的独特性才能 使我们分辨出不同的音乐作品。使用音乐自身的内容( 旋律本身) 用来分辨不同 的音乐作品比起使用音乐的次要特征( 名称,作者等信息) 是一种更为自然的搜 寻音乐的方法。因为音乐作品所表现的旋律内容本身通常是更加容易被人们所记 忆的,也是更加不容易被混淆的特征。简单的m 浓技术已经在被实际应用着,有 些m 取原型系统允许提出旋律查询并找出相像的一组旋律作为答案。 基于内容的音乐信息检索( c o n t e n t b a s e d m u s i c i n f o r m a t i o n r e t r i e v a l ) 就是基 于音乐旋律的特征所进行的,所以基于内容的音乐信息检索的研究和应用主要集 中在对音乐旋律特征的处理上,主要有三个方面的内容: 旋律特征表达 对音乐旋律特征的有效表达,是进行有效检索的基础。过于简单的特征描述 方式会丢失音乐旋律的细节信息,无法对应特定的目标。而过于复杂的旋律表达 会导致附加或者无效信息的产生,从而限制了其可用性。当然如果使用了不合理 的旋律表达方式不会得到任何有用的结果。 旋律特征提取 对于各种数字化的音乐素材和音乐表达,无论是数字化的乐谱,数字化的演 奏信息还是数字化的音乐录音,我们都需要找到从这些音乐素材中获取我们所需 要的旋律特征信息。对于不同的音乐素材,我们需要研究出不同的技术和方法根 据已经确定的旋律特征表达方式来进行特征的提取和表达。 旋律近似匹配。 在基于内容的音乐信息检索中核心的部分就是如何确定旋律的近似性,也就 是说如何对于用户查询从目标数据库中通过合理的近似匹配方法得到相关的检索 西安电子科技大学博士学位论文 第一章绪论 结果。 要研究上述的所有关于音乐旋律的内容就必然需要了解人类对音乐旋律是如 何感知的,如何记忆的,如何辨别不同的旋律的。从听到的旋律片断来判断和识 别音乐作品对大多数人来说是一件相对容易做到的事情。但是,我们仍然不能清 楚地知道人类是如何完成这一过程的。比如,人们是如何从一个复杂的音乐作品 中提取出旋律内容并且把它们转换成可以一种可以在大脑中记忆和容易且准确地 检索的表现方式,而且很少会受到调性的不同以及变化的影响? 尽管对这个问题 的全面和深入的研究已经超越了本文所研究的范围,但我们要对音乐的旋律特征 进行建模就必须要了解相关的理论,利用已有的研究结果,提出合理有效的旋律 表达方式。 除了以上的和音乐内容紧密相关的问题之外,由于音乐信息的特殊性,检索 系统的用户接口也是必需加以考虑的问题。音乐检索的查询输入是来自用户描述 的,最终检索结果是交给用户的,因此在音乐检索系统中,用户接口也起着重要 的作用,它在用户和检索系统之间提供了一种交互式的检索机制,用户可以通过 该接口选取合适的查询机制以及获取检索结果。 m p e g ( m o v i n g p i c t u r e e x p e r t g r o u p 。运动图像专家组) 在针对基于内容的多 媒体信息检索相关研究的基础上,致力于制定和完善通用的“多媒体内容描述接口” ( m u l t i m e d i ac o n t e n td e s c r i p t i o ni n t e r f a c e ,m p e g 7 ) 标准【3 j ,目标就是要制定一个 标准化的多媒体内容描述的框架,以便于多媒体内容的有效表达和检索。m p e g - 7 标准也试图实现集高层语义特征和低层视觉听觉特征的多特征综合检索。 特别地,基于用户对旋律的哼唱的方式来进行音乐查询( q u e r yb yh u m m i n g , q b h ) 是一种比现有传统的音乐检索系统提供更加友好和自然的查询接口的音乐 检索方法。除了显著的应用价值,哼唱检索从技术角度来看也是一个有趣和值得 探索的领域。 1 1 2 面临的问题 基于内容的音乐信息检索有别于其它信息检索作业,这是由对于音乐查询所 需要的特殊处理方法所决定的。 有几个因素使得完成音乐信息检索的任务并不简单:复调的音乐,多声部的 音乐等一般的音乐都不是单音的,即不止一个音符同时可能被演奏发声。用户提 出的一个查询可能与被储存的音乐版本起调是不同的,即可能在起始位置所使用 的就是不同的绝对音高的音符。在用户查询和所对应的答案之间很可能有所变化, 例如单个音符被分开成几个重复的音符,装饰音的出现以及不重要的音符发生了 音高的变化。来源于同一个原始的音乐作品在不同的表演和改编之间都会有所变 西安电子科技大学博士学位论文 4 基于内容的音乐信息检索技术研究 化。如果是基于哼唱检索的方式,由于不同的用户受其演唱能力方面的限制哼唱 的准确度差异很大,不可避免地有误差产生。要使用完全匹配的技术导致的是计 算复杂度组合式的增长。 研究具体的m m 技术时还面临着多种数据类型的问题。要面对的数据类型包括 音频波形数据,复调的音符数据和单音的音符数据。要开发一个成功的m 瓜系统, 必须解决几个问题。首先,必须决定查询所要匹配的对象是什么类型的数据。其 次,需要开发一种适当的匹配方法。第三,也是非常重要的,选择一种适当的方 法来评估所开发的技术的效果。将一个用户的查询与复调的音乐进行旋律匹配和 比较对于大多数复调的音乐数据源来讲都是很难的,因为音乐本身并没有对旋律 构成要素进行定义。 目前在m i i 己的研究中对于目标音乐作品的音乐旋律进行匹配主要有两种可行 的方案:一是特征数据库中存贮每个音乐作品的所有旋律特征信息,把用户查询 和任何可能的旋律音符序列都要进行匹配;- - f l 是首先判断音乐作品中的哪些部 分是这个作品的主题旋律或者是重要的旋律特征部分,然后在特征数据库只存贮 这些特定的部分,从而用户查询只与这部分的音乐旋律进行匹配。第一种方法不 会丢失任何旋律信息,从而不会错过任何可能的对用户查询的匹配,但这种方法 会导致组合级的计算复杂度,并且很可能产生很多虚假的匹配。第二种方法需要 先经过一个“重要旋律判定”的过程,属于某个旋律或主题的音符被提取出来再用于 匹配的用途。 如果目标数据是使用音频波形数据而非音符特征数据,那么问题就变得更加 困难,因为这时候还必需要从波形数据中提取出旋律特征。目前的研究对于从特 殊的音频波形数据中提取音乐旋律信息有基本能够满足要求的结果,但是如果要 做到从任意音频数据中理想地提取出音乐旋律用来进行旋律匹配使用目前可用的 任何方法都基本没有可能。 1 2 相关的研究工作 我们已经讨论了m 破研究的主要内容和所面临的问题,也可以知道目前大多数 的m 瓜研究集中于与音乐旋律相关的三个方面的内容,以及需要解决的主要问题。 目前在国际上对于音乐信息检索技术的研究方兴未艾。相关的研究文献从上 世纪9 0 年代初开始逐渐多见。 早期的对音乐信息进行的检索相关的研究从音乐数据库相关问题的研究开 始,研究如何处理音乐信息来存贮到数据库中并可以进行搜索操作。之后主要的 西安电子科技大学博士学位论文 第一章绪论 5 研究重点转移到对近似旋律匹配技术的研究上。r u b e n s t e i n 应用e r - 模型来存贮音 符信息【”1 。e a g l e s t o n e 提出扩展关系模型来存贮音乐【4 2 1 ,并允许使用扩展的s q l 来 进行查询音符。 在研究对象方面,多数的m 瓜系统只处理单音数据的音乐素材,另外的一些则 研究如何处理复调的多声部的音乐素材。大多数使用单音的音乐信息的研究其数 据来源都是民歌集1 6 2 ,7 0 ,或者少量的旋律集 5 6 1 。 在旋律近似匹配技术方面,有多种相关技术和方法已经被引用或提出用来进 行对音乐旋律近似匹配,包括动态规划法【”,7 0 ,9 2 ,1 0 ”,基于n 一孕锄的匹配【4 9 ,6 2 t 7 6 ,彻, 特征直方刚8 2 1 ,h m m 方法1 4 0 ,1 4 2 , 1 4 刀以及状态匹配【研等等。 对旋律近似匹配技术展的研究方面,研究对象包括音频格式的音乐和符号化 描述的音乐。有的系统通过哼唱查询来检索音乐的研究允许用户与音乐检索系统 之间通过对着麦克风自然地哼唱来得到检索目标“,4 5 , 6 4 , 7 0 , 8 3 ,1 0 1 ,1 眈1 0 3 ,1 2 3 , 1 2 5 1 。对 音频音乐还有使用基于范例的查询方式来进行检索操作的研究 4 6 一- q 。使用音符描 述来检索音乐的系统建立在对音乐的音高和节奏特征之上的检索技术的研究也很 广泛 4 9 ,5 0 ,6 2 ,8 8 9 5 。 有些研究者进行了对于复调音乐素材自动提取旋律特征并对用户查询进行匹 配的研究工作2 9 ,4 9 ,5 0 , 6 5 , 8 7 , 9 0 , 9 5 1 。有人在把复调音乐分离成不同声部的尝试中取得 了一些成果【8 刀,但是旋律提取问题在检索技术中还没有被全面深入地探索过。选 择复调音符数据作为研究对象的研究者使用m i d i 格式的音乐文件作为数据来源, 这些m i d i 文件提供了复调音乐数据。他们大多选择在这些m i d i 文件集合中进行旋 律的任意匹配,而不考虑这些音乐信息中的声部和配器情况【2 9 8 7 9 0 j ,然而这种努 力并没有显示出其有效性。u i t d e n b o g e r d l 9 5 1 的工作比较全面,效果较好。 有些研究者研究了针对音频波形数据的检索问题,其相似性判定是通过提取 音频波形数据的特征来实现的。这个领域目前的最新研究水平是可以在一个音频 波形数据中辨别是否包含音乐或是语音信号,在音乐录音中的一些音乐体裁方面 的特征可以被检测到,某些拍子及速度特征可以被侦测到,但从非单音的音乐波 形数据中判断实际的旋律音符特征是非常困难的。主要的难点在于实际的乐器发 声本身就会包含基因频率和其谐波成分,而在多个音重叠的混合音频波形数据就 更加复杂,从中辨别出每一个音的信息或者旋律信息就会难上加难。对于基音的 判别在有约束条件的音乐波形中会比较容易做到,比如使用简单音色的单一乐器 来进行单音演奏的录音数据。但即使是这样,处理结果也不能保证其完全精确。 这个领域的研究重点集中在从音频波形进行音乐转谱的新方法的研究【3 3 ,4 5 , 7 9 , 1 4 3 , 1 4 4 , 1 4 6 1 和使用非音乐性的特征进行匹配,比如音频结构性信息 3 1 , 3 2 】。 西安电子科技大学博士学位论文 6 基于内容的音乐信息检索技术研究 k a g e y 锄a 小组【5 6 】最早提出了基于哼唱查询旋律的方法,他们对旋律数据进行 了索引,推断用户一般会从旋律乐句的开头位置开始查询,所以只从旋律乐句的 开头位置建立索引,由此减少需要索引的项目,允许非精确匹配。使用了1 0 0 个哼 唱查询对5 0 0 首歌曲的旋律数据库进行了检索实验,分别评估了四种匹配技术。 台湾清华大学陈良弼( c h e r t a l p ) 小组进行了很多相关研究工作,c h o i r 5 l 】 使用p a t - t r e e s 结构对旋律进行索引,允许某种用户查询误差,没有对方法的有效性 进行评价;h s u l 5 2 使用动态规划算法来匹配旋律自身,来寻找旋律中的所有重复 模式部分,使用绝对音高来表达旋律;之后,l i u t 5 3 】应用“r p t r e e s ”来寻找音乐旋 律中的非不重要重复模式。r p t r e e s 以树结构表达音乐字串,实验结果表明其速度 快于使用后缀树或动态规划法;他们还提出一种“l - t r e e 来索引节奏信息,使用 节奏信息进行音乐检索,给出了使用不同参数的实验结果;在后续工作【5 5 】中,他 们对音高和音长信息都进行了索引,使用一种改良的后缀树结构来进行索引,实 验表明比使用普通后缀树结构更有效。 d o w n i e , 、组 5 9 , 6 0 , 6 1 , 6 2 应用了信息计量学方法到m 取系统,他们分析了民歌音 乐文档集的统计特性,扶而决定最适当的匹配策略。他们使用建立了索引的 n - 孕a m s 数据库用于音乐检索。使用s m a r t 文本检索系统进行了实验。基于他们 的分析结果,指出使用音高轮廓的方式( 即粗略的三级旋律轮廓方式) 进行旋律 检索是不充分的。 g h i a s d 、组删也是较早提出基于哼唱查询进行旋律检索的方法的。他们使用 m i d i 文件集作为数据来源,从这些文件中提取旋律轮廓,以字符串方式表达和存 贮,与用户的哼唱查询进行匹配。他们指出使用更多级轮廓旋律表达方式效果会 好过三级轮廓方式。 b l a c k b u r
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 红日发展历程课件
- 核潜艇简介课件
- 2026及未来5年有光扎染短毛绒项目可行性研究报告(市场调查与数据分析)
- 2026事业单位工勤技能-北京-北京堤灌维护工四级(中级工)历年参考题库含答案详解
- 2026事业单位工勤技能-北京-北京保育员二级(技师)历年参考题库含答案详解
- 2026事业单位工勤技能-内蒙古-内蒙古电工五级(初级工)历年参考题库含答案详解
- 2026中国数字广告传媒行业市场供需特点及投资机会评估报告
- 2026事业单位工勤技能-内蒙古-内蒙古垃圾清扫与处理工五级(初级工)历年参考题库含答案详解
- 2026事业单位工勤技能-内蒙古-内蒙古下水道养护工三级(高级工)历年参考题库含答案详解
- 2026事业单位工勤技能-云南-云南林木种苗工四级(中级工)历年参考题库含答案详解
- 2026福建福州旗山供水有限公司招聘2人考试模拟试题及答案解析
- 北京市朝阳区2026-2027学年度第一学期期中质量检测高三英语试卷(含答案)
- 2026山东省防疫安全协管员招聘考试(畜牧兽医)历年参考题库含答案详解
- 正大集团人才评估行测题目
- UL 9540A 2026 储能电池热失控传播测试标准中文版 模组防火试验规范
- 物业服务履约评价报告
- 光伏组件拆除方案
- 2026年出版社招聘考试面试题及参考答案
- 2025-2026学年江西省赣州市大余县部分高中高三上学期11月期中考试英语试题
- 小区物业消防安全培训课件
- 空乘课件教学课件
评论
0/150
提交评论