已阅读5页,还剩58页未读, 继续免费阅读
(计算机软件与理论专业论文)基于web的音乐哼唱检索关键技术研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 摘要 随着网络技术的不断发展,越来越多的人们希望通过网络寻找到他们感兴 趣的东西,如音乐,图片等。人们的这种需求对多媒体搜索提出了新的要求。 音频检索是继图像检索之后在基于内容的检索领域中发展起来的研究新 热点。作为基于内容的音频检索的一个分支,基于内容的音乐哼唱检索为用户 提供了一种全新的检索方式,使得用户可以通过哼唱音乐片段的方式,在大规 模的音乐数据库中快速的寻找到目标歌曲。将这种新型的音乐检索方式应用到 互联网上,可以在很大程度上提高用户的交互体验。本文紧紧围绕基于w e b 的 音乐哼唱检索关键技术,开展了以下研究工作: ( 1 ) 深入研究了音频信号的相关理论基础、音乐乐理若干知识,为后续的 音乐信号处理及系统实现工作奠定了基础。 ( 2 ) 分析音乐信号的本质特征,在研究音乐旋律的表示方法及音乐信号旋 律特征提取算法的基础上,给出了基于音高轮廓的蕨律特征提取算法。同时对 语音信号基音检测方法做了深入研究,实现了一种复杂度较低的基音周期检测 算法。 ( 3 ) 对部分基于内容的音乐检索算法以及音乐相似度计算方法进行详细地 描述和分析,并结合本文中音乐特征的表示方法以及对哼唱输入的错误分析, 使用相似度匹配的方法进行音乐检索,实现了基于动态规划思想的音乐特征相 似度匹配算法。 ( 4 ) 给出了基于w e b 的音乐哼唱检索系统框架,设计了音乐特征存储模式, 完成了基于w e b 的音乐哼唱检索系统的开发。对系统的哼唱检索结果进行了分 析,验证了系统的有效性和可行性。 本研究工作得到国家自然科学基金“基于w e b 的音频识别与检索关键技术 研究( 基金编号:6 0 6 7 3 1 0 0 ) ”的资助。 关键词:哼唱检索,音乐旋律,相似度匹配,j 2 e e a b s a c t t h er e s e a r c ho nt h ek e y t e c h n o l o g yo f w e b b a s e d q u e r yb yh u m m i n g a b s t r a c t w “ht h ed e v e l o p m e n to fi m e m e t ,m o r ea n dm o r ep e o p l eh o p et os e a r c ht h e t h i n g si n t e r e s t i n gt h e i i l ,s u c ha sm u s i ca n dp i c t u r e s ,w h i c hr a i s e st h er e q u i r e m e mf o r m u l t i m e d i as e a j - c h a u d i or e t r i e v a li san e wf b c u sa r e r i m a g er e t r i e v a l i nt h ef i e l do f c o n t e n t b a s e dr 武r i e v “a sab m c ho fc o m e n t b a s e da u d i or 吐r i e v a l c o n t e n t b a s e dm u s i cr e t r i e v a lq u e r yb yh u m m i n go f f 打sat o t a l l yn e wr e t r i e v a l m e t l 】o db ys e a r c l l i n gt h ed e s i r e ds o r 吗b a s e do nt h eu s e r sh u m m i n gs e g m e n t si n l a 唱ed a t ab a s eq u i c k l yn w i ni m p r o v et h eu s e r si m e r a c t i v ee x p e r i e n c eb ya p p l y i n g t h i sn e wm u s i cr e t r i e v a lm e t h o do nt h ei n t e m e t t h i sp 印e rm a k e sl h ef o l l o w j n gr e s e a r mf o c u s i n g 叩t h ek e ) ,t e c h n o 】o 科o f w e b - b a s e dq u e r yb yh u m m i n g ( 1 ) s t u d i e st h er e l e v a n tt h e o r i e so fs o u n ds 噜n a l ,l a y i n gt h ef o u n d a t i o nf o r f i l t u r e 打e a t m e mo fm u s i cs i g n a l sa n ds y s t e mr e a l i z a t i o n ( 2 ) s m d i e st h e 向n d a m e n t “c h a r a c t e s t i c so fm u s i cr e a i i z e sap i t c hp e r i o d m e a s u 嘣n e n ts 0 1 u t i o nb a s e d0 nt h er h y m eo ft h em u s i cs i g n a la n dg i v i n gp r i 鲥t yt o t h ee x p r e s s i o no fm u s i cr h y m ea n dp i t c hm e a s u r e m e n to 矗l e r st h ee ) c t m c t i o n a r i t m e t i cb a s e do nm e l o d yc o m o u rt l l r o u g hs t u d y i n gt h ee x t r a c t i o na r i t h m e t i co f m u s i cf h y m ef e a t u r e s ( 3 ) a d o p t ss i m i l a r i t y m a t c h i n gm e t h o db a s e do nd y n a m i cp r o g r 啪m i n gt o r e t r i e v em u s i cb yd e s 嘶b i n ga n da n a l y z i n gt h ec o n t e n t - b a s e dm u s i cr e t r i e v a l a r i t h m e t i ca l l dn m s i cs i m i i a r i t yc a i c u i a t i o nw i t ht h ec o m b i n a t i o n0 f t h ee x p r e s s i o no f t h em u s i cf e a t u r e sa n dt h ee r r o ra i l “y s i so f h u m m i n g i 印u t ( 4 ) o 丘e r st h e 丘a m e w o r ko fw 曲- b a s e dq u e r yb yh u m m i n gs y s t e ma n d d e s i g n st h ed a t a b a s eo ft h em u s i cc h a r a c t e lr e a i i z e st h ew 曲- b a s e dq u e r yb y h u m m i n gs y s t e m ,a n a 】y s et j l ee x p e r j m e n tr e s u j tw h j c hv a l i d a t e st h et h ef e a s j b j l j t y t | a b s t r a c t a n de f 传c t i v e n e s so f t h es y s t e m t h er e s e a f c hh a sb e e n 血n d e db y “t h er e s e a r c ho ft h ek e yt e c h n o i o g yo f w e b _ b a s e dq u e r yb yh u m m i n g ( 如n dn u m b e r :6 0 6 7 3l o o ) ” k e yw o r d s :q u e r yb yh u m m i n m e l o d y ,s i m i i a r i t y ,j 2 e e 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。 本人允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研 究所等机构将本学位论文收录到中国学位论文全文数据库或其它 相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名:! 坠鱼 指导教师签名:_ 盈9 0 衾 矶。8 年月7 曰 上却年多月甲日 西北大学学位论文独创性声明 本人声明:所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知,除了文中特别加以标注和致谢的地方外,本论文不包含其他人已经 发表或撰写过的研究成果,也不包含为获得西北大学或其它教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确 的说明并表示谢意。 学位论文作者签名:旅1 翱 如u 8 年6 月f7 曰 第章绪论 1 1 研究背景及意义 第一章绪论 随着互联网的蓬勃发展,网络中的信息和数据呈爆炸式增长。人们面临的 问题不再是缺少多媒体信息,而是如何在海量的多媒体世界中找到自己所需要 的信息。这种情况的发生,让人不禁会有“网络到底是存储信息的金矿还是埋 藏信息的沼泽地”的困惑“3 。传统的信息检索( i n f o m a t i o nr e t r i e v a l ,i r ) 技 术是基于文本的,即利用所要查找信息的关键字进行检索。目前,这种检索技 术已经发展的非常成熟。例如我们日常接触的一些搜索引擎如y a h 0 0 、g o 0 9 1 e 、 百度都是基于文本的检索。但是,在检索方面,还缺乏比较实用的多媒体搜索 引擎。最初对多媒体信息进行检索也采用文本检索技术,是通过人工方式生成 多媒体文档的文本标注,然后采用文本检索技术实现对多媒体信息的检索。但 是对多媒体信息采用文本检索有很大的缺陷性:其一,文本信息难以完整描述 多媒体数据丰富多变的内容。其二,手工生成文本索引费时费力,而且缺乏统 一的描述标准。在这种情况下,基于内容的检索技术应运而生。 基于内容的检索( c o n t e n t b a s e dr e t r i e v a l ,c b r ) 是指根据多媒体对象的 语义特征进行检索,如图像中的颜色、纹理、形状,视频中的镜头、场景,声音 中的音调、音色等。1 。基于内容的检索技术强调从搜索对象的本质入手,通过 提取对象特征,进行匹配,从而达到检索的目的。基于内容的检索是对基于文 本的检索的补充,它并不能完全代替基于文本的检索。 基于内容的音乐检索( c o n t e n t b a s e dm u s i cr e t r i e v a l ,c b m r ) 是近年来 研究的新热点。它是通过分析音乐信号的音乐特征和音频特征,从音乐本身所 包含的旋律,节奏等信息为出发点进行音乐检索的一种方式。目前用户对音乐 的检索,大多数是使用歌曲名,歌手名或者歌词等关键字进行检索。但是用户 会经常碰到这种情况,他能记得歌曲的某些片断,却无法想起歌名或演口昌者等 信息,从而无法利用基于文本的检索找到目标歌曲。使用哼唱检索技术( q u e r y b yh u i n i i n g ,q b h ) 可以有效的解决这种问题。用户想要查找一首不知道歌名、 歌手的歌曲,但是他熟悉其中的一些旋律,他可以将该段旋律哼唱出来,计算 第一章绪论 机通过音乐的旋律等内在特征进行检索。哼唱检索的方式不需要用户有专业的 音乐知识,并且可以使用户得到更佳的搜索体验。 基于内容的音乐检索系统可应用在现代视听系统中,这种交互方式的人性 化,会更加得到用户的青睐。音乐创作者也可以使用哼唱检索系统将自己创作 的音乐与现有音乐旋律进行比较。防止音乐著作权和版权的问题发生。随着现 代人们的生活和互联网之间的联系越来越紧密,通过实现基于w e b 的音乐哼唱 检索,只需用户登录互联网,就可以随时随地的通过哼唱的方式检索自己喜欢 的歌曲,这种新型的检索方式为用户的音乐检索带来更多的便捷和更新的体验。 所以,基于w e b 的音乐哼唱检索研究具有深远的理论研究价值和广泛的实用价 值。 1 2 国内外研究现状 基于内容的音乐检索是继基于内容的图像检索之后发展起来的一个新兴 研究方向。近年来,已经受到越来越多研究者的关注。 1 9 9 5 年,g h i a s 。1 等首先提出了哼唱检索的音乐检索系统架构,并提出了 音高轮廓( p i t c hc o n t o u r ) 的概念,即把对连续音符的音高变化抽象成为u ( u p 升高) ,d ( d o w n 降低) ,s ( s a m e 重复) 组成的字符串,这种表示方法放弃了对音 乐的节奏特征的表征。在进行旋律匹配时,他们采用了经典的快速近似匹配法 “1 ,在符号级别上比较序列间的相似性。r j m c n a b 。1 等采用的近似匹配方法沿 袭了g h i a s 的音高轮廓( p i t c hc o n t o u r ) 概念,再采用d p ( d y n 锄i cp r o g r a 咖i n g ) 音乐旋律快速匹配技术来近似匹配符号串。r j m c n a b 等的实验系统也是第一 个实现在线哼唱检索的系统。r o l l a n d 删等使用了基于树的数据库搜索技术以提 高精度和速度。b 1 a c k b u r n ”1 等改进了m c n a b 的系统。以取得更加准确的检索结 果。l i el u 等o 在音高轮廓的基础上增加了音高差、音符长度,共同构成三元 组为单位表示旋律信息,即( 音高曲线,音高距离,持续时间) ( p i t c hc o n t o u r , p i t c hi n t e r v a l ,d u r a t i o n ) ,并提出了一种分层匹配的方法。k o s u g i “”1 等 在其系统中使用欧氏距离进行搜索,并且该系统中用户输入及数据库内容都被 分割为固定窗长。s h i h “”等在其q b h 系统中使用了隐马尔科夫模型( h 删) 进行 第一章绪论 音符分割。p a r d o 。2 1 等尝试了两种不同的相似度计算方法用于哼唱搜索,第一种 方法是是使用距离估计目标和数据库中数据的差异;第二种方法则将数据库中 的旋律序列看成h 删形式,而输入数据看作观察序列,只有当某个l 丑n t 结构看 起来能够产生查询序列而这才相匹配。 在国内,如中科院声学研究所、上海交通大学o ”、西北大学可视化研究所 “、北京师范大学信息学院“”等众多单位也开始了基于内容的音乐检索研究。 基于内容的音乐检索经过十多年的发展,虽然取得了很大的成就,但是,在应 用方面,其发展的还不是很完善,研究的重心还只是停留在理论的层面上。目 前,可供用户使用的哼唱检索系统并不多。有个别基于网络的音乐检索网站, 它们对用户提供了相应的检索方式,如输入乐谱检索、拍打节奏检索等,这些 检索方式适用于有专业音乐背景的用户,而不适合大多数一般用户使用,并且 其提供的哼唱检索接口检索精度有限。所以,哼唱检索的应用还是只停留在初 始阶段,基于内容的音乐检索研究还有广大的发展前景。 1 3 研究内容与论文框架概述 1 3 1 研究内容概述 基于内容的音乐检索在研究内容上与认知学,语音信号处理,音乐理论等 多种学科相互交叉,以其独特的研究内容得到了广大研究者的关注。它从音乐 的本质特征如旋律,节奏等为基本出发点,研究音乐信号被人感知的过程,通 过计算机模拟该过程,从而达到人们进行音乐检索的目的。 基于内容的音乐检索流程如图1 1 所示: 图1 1基于内容的音乐检索流程图 第一章绪论 随着网络技术的不断发展,人们对网络的依赖性也逐渐增加,人们希望通 过网络找到自己感兴趣的多媒体信息。所以,提供方便快捷的多媒体检索方式 势在必行。 本文在认识了基于内容的音乐检索现状及人们对多媒体搜索的迫切需求 之上,研究并实现了基于w e b 的音乐哼唱检索系统。主要研究内容有: ( 1 ) 研究学习了语音信号的相关理论知识。具体研究内容包括语音信号的 短时平稳性,语音信号的时域分析、频域分析、倒谱分析,以及语音信号的预 处理方法。 ( 2 ) 研究音乐信号旋律提取的各种方法,并给出基于音高轮廓的音乐旋律 特征提取算法。对语音信号的基音周期检测方法进行研究,实现了一种复杂度 较低的基音周期检测算法。 ( 3 ) 结合国内外匹配方法的研究成果,利用相似度匹配的方法,寻找与输 入旋律相似度最高的音乐片段,并将结果返回给用户。 ( 4 ) 研究学习了j 2 e e 技术,并将该技术用于基于w e b 的音乐哼唱检索系统 的实现中。 1 3 2 论文框架安排 基于以上研究内容,本文分为六个章节: 第一章绪论。简要介绍了基于内容的检索及基于内容的音乐检索的基本 概念,对该课题的研究背景、研究意义及国内外现状进行了阐述,并结合本文 的研究内容给出了论文框架结构。 第二章基于w e b 的音乐检索基础。介绍了j 2 e e 的相关知识, 【v c 设计模 式及j d b c 数据库连接技术。并简要介绍了音乐信号的基本知识。最后,通过对 语音信号的特征分析,可以得出对音乐信号进行处理的相应方法。 第三章音乐信号的特征提取。从人对音乐的认知出发,得出结论,旋律 是音乐的灵魂。以音乐的旋律为主要出发点,研究音乐信号的特征提取方法并 给出了基于音高轮廓的音乐特征提取方法。为后续的检索匹配工作打好基础。 第四章音乐检索匹配算法研究。学习研究国内外匹配方法的成果,在此 4 第一章绪论 基础上,结合系统需要,使用相似度匹配算法对输入的音乐信号进行搜索,将 最相似的检索结果返回给用户。 第五章基于w e b 的音乐哼唱检索系统设计与实现。结合上述各研究内容, 实现了基于w e b 的音乐哼唱检索系统,分析了整个系统功能,详细描述了系统 的结构设计和具体实现,并进行了系统运行结果分析。 第六章结论与展望。对本文做出总结,并对今后的基于w e b 的音乐哼唱 检索研究进行了展望。 第二章基于w 曲的音乐检索基础 第二章基于w 曲的音乐检索基础 随着i n t e r n e t 的不断发展,基于w e b 的开发技术也得到了很大的发展。 s u n 公司的j 2 髓技术和微软的n e t 技术都可以实现w e b 服务。但是j 2 e e 技术 是一组规范和标准,它依附于j a v a 技术,具有平台无关性,而且j 2 髓架构在 一致性、扩展性和移植性方面比n e t 都有优势。 本章介绍了j 2 既的相关知识,并且对哼唱音乐信号的数字化表示及特征 进行分析研究,为后面基于w e b 的音乐检索研究工作奠定基础。 2 1j 2 e e 相关知识 2 1 1j 2 e e 概述 j 2 e e ( j a v a2p l a t f o r me n t e r p r i s ee d i t i o n ) 是建立在j a v a2 平台上的 企业级应用的解决方案。j 2 e e 并非一个产品,而是一系列的标准。它提供了基 于组件的、以应用服务器为核心的多层应用体系结构,以及系统必需的可靠性、 可扩展性、可管理性和安全性“”。这种多层结构简化了开发、配置和维护企业 应用的过程,它最大的优点就在于将业务逻辑同呈现逻辑分开。应用服务器为 组件提供了一系列的底层服务,如事务管理、多线程、分布式程序设计、缓冲 池等,这就使得开发者能够将精力集中于特定领域的业务规则的组织上,而不 用过多地关心那些底层的复杂而又烦琐的系统级事项。 j 2 e e 平台使用了一个多层的分布式的应用程序模型。应用程序的逻辑根据 其实现的不同功能被封装到组件中,组成j 2 e e 应用程序的大量应用程序组件根 据其在所属的多层的j 2 e e 的环境中所处的层被安装到不同的机器中。 j 2 e e 的应用程序由组件组成。一个j 2 髓组件就是一个自带功能的软件单 元。j 2 e e 组件由j a v a 编程语言写成。并和用该语言写成的其它程序一样进行 编译。 a p p l e t 是基于j a v a 的小型客户端的组件。它在w e b 浏览器上运行,通过 h t t p 协议和服务器进行通信。a p p l e t 实际上是运行在w e b 页面上的j a v a 程序。 它通过引用被嵌入到h t 札页面中去,就象一个图像一样。a p p l e t 和h t m l 的组 第二章基于w 曲的音乐检索基础 合,可以建立功能强大的动态界面。 j a v as e r v l e t 和j a v as e r v e rp a g e s ( j s p ) 是运行在服务器端的w e b 组件。 s e r v l e t 是j a v a 动态处理h t t p 请求和生成网页的类。每个s e r v l e t 就是 一个在j 2 e e 应用服务器w e b 容器里的程序组件。这种组件有效地利用了w e b 服 务器的h t t p 通信功能。s e r v l e t 的主要功能在于交互式地浏览和修改数据,生 成动态w e b 内容,其工作过程为: ( 1 ) 客户端发送请求到服务器端: ( 2 ) 服务器将请求信息发送到s e r v l e t ; ( 3 ) s e r v l e t 生成响应内容并将其传给服务器。响应内容动态生成,通常取 决于客户端的请求; ( 4 ) 服务器将响应返回给客户端; j s p 技术是j 2 e e 的一个关键技术,它在更高一级的层次上抽象s e r v l e t 。 它可以让常规静态h t m l 与动态产生的内容相结合,看起来像一个h t m l 网页, 却作为s e r v l e t 来运行。如果有一个支持j s p 的w e b 服务器,并且有一个j s p 文件,可以把该j s p 文件放到任何静态h t m l 文件可以放置的位置,不用编译, 不用打包,就可以像访问普通网页那样访问它,服务器会自动做好其他的工作。 j s p 文件里面包含了一些j a v a 代码,它使用j s p 的后缀,用来告诉服务器这个 文件需要特殊的处理。当访问一个j s p 页面的时候,该j s p 文件首先会被j s p 引擎翻译为一个j a v a 源文件,其实就是一个s e r v l e t ,并进行编译,然后像其 它s e r v l e t 一样,由s e r v l e t 引擎来处理。s e r v l e t 引擎装载这个类,处理来 自用户的请求,并把结果返回给用户。以后再有用户访问这个页面的时候,只 要该文件没有发生过更改,j s p 引擎就直接调用已经装载的s e r v l e t 。如果己经 做过修改的话,那就会再次执行以上过程,翻译、编译并装载。这就是所谓的 “第一人惩罚”。因为首次访问的时候要执行一系列以上的过程,所以会耗费一 些时间,以后的访问就会较快了。 j 2 e e 容器是一个组件和支持组件的底层平台特定功能之间的接口。在一个 w e b 组件或者是一个应用程序客户端组件可以被执行前,它们必须被装配到一 个j 2 e e 应用程序中,并且部署到它们的容器。装配的过程包括为j 2 e e 应用程 序中的每一个组件以及j 2 e e 应用程序本身指定容器的设置。容器设置定制了由 7 第二章基于w 曲的音乐检索基础 j 2 e e 服务器提供的底层支持,这将包括诸如安全性、事务管理、远程连接等。 j 2 e e 服务器以容器的形式为每一个组件类型提供底层服务。容器还管理诸如 s e r v l e t 的生存周期、数据库连接资源池等服务。 2 1 2m v c 设计模式 肼c 模式是“m o d e l 叫i e w - c o n t r 0 1 1 e r ”的缩写,中文翻译为“模式一视图 一控制器”。 i v c 把一个应用的输入、处理、输出流程按照m o d e l 、v i e w 、 c o n t r o 儿e r 的方式进行分离,这样一个应用被分成三个层模型层、视图层、 控制层。 视图( v i e w ) 代表用户交互界面,对于w e b 应用来说,通常是j s p s e r v l e t , 即页面显示部分。州c 设计模式对于视图的处理仅限于视图上数据的采集和处 理,以及用户的请求,而不包括在视图上的业务流程的处理,业务流程的处理 交给模型处理。 模型( m 0 d e l ) 是应用程序的主体部分,负责业务流程状态的处理以及业务 规则的制定。通常用服务端的j a v a b e a n 或者e j b 实现,即业务逻辑部分的实现。 业务流程的处理过程对其它层来说是黑箱操作,模型接受视图请求的数据,并 返回最终的处理结果。业务模型的设计是m v c 的核心。 控制( c o n t r o l l e r ) 可以理解为从用户接收请求,将模型与视图匹配在一 起,共同完成用户的请求。通常用s e r v l e t 来实现,即页面显示的逻辑部分实 现。划分控制层的作用也很明显,它就是一个分发器,选择什么样的模型,选 择什么样的视图,可以完成什么样的用户请求。控制层并不做任何的数据处理。 模型、视图与控制器的分离,使得一个模型可以具有多个显示视图。如果 用户通过某个视图的控制器改变了模型的数据,所有其它依赖于这些数据的视 图都应反映到这些变化“”。因此,无论何时发生了何种数据变化,控制器都会 将变化通知所有的视图,导致显示的更新。模型、视图、控制器三者之间的关 系和各自的主要功能,如图2 1 所示。 第二章基于w 曲的音乐检索基础 方法调用,事件 图2 1m v c 组件类型的关系和功能 m v c 要求对应用分层,虽然要花费额外的工作,但系统的结构清晰,主要 有以下几个优点: ( 1 ) 一个模型可以对应多个视图。在目前用户需求的快速变化下,可能有 多种方式访问应用的要求。比如监控模型可以为w e b 访问监控数据,也可以为 其它应用程序提供数据,但是对数据的采集和处理分析都是一样的,按h l v c 设 计模式,一个模型和多个视图即可解决问题。这样减少了代码的复制,即减少 了代码的维护量,一旦模型发生改变,也易于维护。 ( 2 ) 由于模型返回的数据不带任何显示格式,因而这些模型也可直接应用 于接口的使用。 ( 3 ) 由于一个应用被分离为三层,因此有时改变其中的一层就能满足应用 的改变。一个应用的业务流程或者业务规则的改变只需改动m v c 的模型层。 ( 4 ) 控制层把不同的模型和不同的视图组合在一起完成不同的请求,因此, 控制层可以说是包含了用户请求权限的概念。 ( 5 ) 有利于软件工程化管理。由于不同的层各司其职,不同的应用在同一 层具有某些相同的特征,有利于通过工程化、工具化产生程序代码。 第二章基于、c b 的音乐检索基础 2 1 3j d b c 数据库连接技术 j d b c ( j a v ad a t a b a s ec o n n e c t i v i t y ) 是一种可以为各种常用数据库提供无 缝连接的技术。它对独立于数据库的跨平台的数据库访问提供有力的技术支持。 j d b c 定义了j a v a 语言同s q l 数据之间的程序设计接口,它由一组类和接口构 成,通过调用这些类和接口所提供的方法,提供了j a v a 程序与各种数据库服务 器之间的连接服务,它实现了从j a v a 程序内调用标准的s q l 命令对数据库进行 查询、插入、删除和更新等操作,并确保数据事务的正常进行。 j d b ca p i 并不能直接访问数据库,它依赖于数据库厂商提供的j d b c d r i v e r ( j d b c 驱动程序) 。j a v a 程序和_ 丁d b c 驱动程序之间的关系如图2 2 示。 图2 2j a v a 程序和j d b c 驱动程序之间的关系 j d b c 驱动程序把j a v a 应用实现分为三层。最上层是j a v a 应用程序,第二 层是j d b c 驱动管理器,最底层是j d b c 驱动程序。其中,j d b c 驱动管理器是j d b c 体系结构的支柱。它实际上很小,也很简单。其主要作用是把j a v a 应用程序连 接到正确的j d b c 驱动程序上。最上层的j a v a 应用程序层通过j d b ca p i 访问 第二层的j d b c 驱动管理器,j d b c 驱动管理器则通j d b cd r i v e ra p i 来调用j d b c 驱动程序实现对数据库的访问与操作。 j d b c 驱动程序实现在j d b ca p i 中定义的所有抽象类和接口,为通用的驱 动程序管理器提供j d b ca p i 。根据访问数据库的技术不同,j d b c 驱动程序相应 l o 第二章基于w 曲的音乐检索基础 地分为四种类型,分别是j d b c o d b cb r i d g e 、j d b c n a t i v ea p ib r i d g e 、 j d b c m i d d l e w a r e 及p u r ej d b cd r i v e r 。不同类型的j d b c 驱动程序有着不一样 的特性和使用方法,程序开发人员根据自己研究系统的需要来选择进行选择。 一般来说,j a v a 应用程序访问数据库的过程是“”: ( 1 ) 装载数据库驱动程序。 ( 2 ) 通过j d b c 建立数据库连接。 ( 3 ) 访问数据库,执行s q l 语句。 ( 4 ) 断开数据库连接。 j d b c 作为一种数据库访问技术,这种直接连接方式具有简单易用的优点。 但使用这种模式进行w e b 应用程序开发,则存在很多缺陷。 首先,每一次w e b 请求都要建立一次数据库连接,而且系统还要分配内存 资源。若频繁的进行数据库连接操作势必占用很多的系统资源,网站的响应速 度必定下降,严重的甚至会造成服务器的崩溃。 其次,对于每一次数据库连接,使用完后都得断开。否则,如果程序出现 异常而未能关闭,将会导致数据库系统中的内存泄漏,最终将不得不重启数据 库。还有,这种开发不能控制被创建的连接对象数,系统资源会被毫无顾忌的 分配出去,如连接过多,也可能导致内存泄漏,服务器崩渍。 由此可阻看出,问题的根源就在于对数据库连接资源的低效管理。为解决 上述问题,可以采用数据库连接池技术。数据库连接池的基本思想就是为数据 库连接建立一个“缓冲池”。预先在缓冲池中放入一定数量的连接,当需要建立 数据库连接时,只需从“缓冲池”中取出一个,使用完毕之后再放回去。我们 可以通过设定连接池最大连接数来防止系统无尽的与数据库连接。更为重要的 是我们可以通过连接池的管理机制监视数据库连接的数量、使用情况、为系统 开发、测试及性能调整提供依据。 第二章基于w 曲的音乐检索基础 2 2 音乐信号相关知识 2 2 1 音乐乐理预备知识 音是一种物理现象。物体振动时产生音波,通过空气传到人们的耳膜,经 过大脑的反射被感知为声音。绝大多数物体在振动时,振动的不仅是整个物体, 它的各个部分也分别在同时振动,这种振动叫复合振动。复合振动所产生的音 叫复合音。其中整体振动所产生的音叫基音,各个部分振动所产生的音叫泛音。 在自然界中,人的听觉能感受到的音很多,但并不是所有的音都可以作为 音乐的材料。使用到音乐中的音,一般只限于每秒振动2 7 4 1 0 0 次的范围内。 也就是说在音乐中所说的音是人们在长期的生活实践中挑选出来,能够表现人 们生活或思想感情的,并组成一个固定的体系,用来表达音乐思想和塑造音乐 形象。 在音乐中使用的、有固定音高的音的总和,叫做乐音体系。乐音体系中的 各音叫做音级。七个具有独立名称的音级叫做基本音级。像1 2 3 4 5 6 7 就是基本 音级。音程指两个音级在音高上的相互关系,也就是音与音之间的距离。乐音 体系中的音,按照上行或下行次序排列起来,叫做音列。音阶指调式中的各音, 从以某个音高为起点即从主音开始。按照音高次序将音符由低至高来排列,这 样的音列称为音阶。 在音乐中使用的、有固定音高的音叫做乐音;而把音高不明显,或者音高 不固定的音叫做噪音。 音有高低、强弱、长短、音色即音高、音强、音长、音色四种主要性质, 其中以音高和音长最为重要。对于一首歌,不管人声演唱还是乐器演奏,唱的 声音是小是大,也不管演唱或演奏时用什么调,音的强弱及音色有了变化,但 这支歌的旋律依旧。可是,如果这首歌的音高或音的长短有改变的话,则人对 音乐的感受就会改变。可见,对一段旋律来说,音高和音长是非常重要的。 音的高低决定于物体在一定时间内的振动次数( 音的振动频率) 。振动次数 越多,音越高;振动次数越少,音越低。基本的音高符号在五线旋律谱中用c 、 d 、e 、f 、g 、a 、b 七个字母命名,在简谱中对应的是1 、2 、3 、4 、5 、6 、7 。 第二章基于w 曲的音乐检索基础 音的强弱决定于振幅( 音的振动幅度) 的大小。振幅越大,音越强;振幅越小, 音越弱。它代表音符的强弱。比如在弹奏钢琴时,音强表明一个琴键按下的力度。 音的长短决定于音的延续时间,延续时间越长,音越长;延续时间越短,音越 短。这是以全音符为基础划分的,其他各音符按与全音符的比值命名,如二分音 符相当于全音符的二分之一、四分音符就相当于全音符的四分之一。通常音乐 都是以四分音符为一拍、八分音符为半拍来演奏的。音色指音的感觉特性,它 由发音体的性质、形状及泛音的多少等多种因素决定,是音乐中极为吸引人、 能直接触动感官的重要表现手段。泛音的多寡及泛音之间的相对强度决定了特 定的音色。人们区分音色的能力是天生的,音色分为人声音色和器乐音色。人 声音色高、中、低音,并有男女之分;器乐音色中主要分弦乐器和管乐器,各 种打击乐器的音色也是各不相同的。 2 2 2 音乐信号的数字化表示 多媒体技术问世以来,相继出现了多种音频格式。目前,主流的音频格式 很多,不同的格式都有自己的用途。例如常见的m p 3 格式,主要是用于对音乐 进行编码压缩。w a v e 格式主要是记录声音的波形。下面介绍一些常见的音频格 式。 ( 1 ) w a v e w a v e 是m i c r o s o f tw i n d o w s 本身提供的音频格式,由于w i n d o w s 本身的 影响力,这个格式已经成为通用音频格式。w a v e 来源于对声音模拟波形的采样。 用不同的采样频率对声音的模拟波形进行采样可以得到一系列离散的采样点, 以不同的量化位数( 8 位或1 6 位) 把这些采样点的值转换成二进制数,然后存入 磁盘,这就产生了声音的w a v e 文件,即波形文件。该格式记录声音的波形,故 只要采样率高、采样字节长、机器速度快,利用该格式记录的声音文件能够和 原声基本一致,质量非常高。目前所有的音频播放软件和编辑软件都支持w a v e 格式,并将该格式作为默认的文件保存格式之一。本系统中所采用的音频格式 是w a v e 格式,以下对该格式做简要介绍。 w a v e 文件是以资源互换文件r i f f 格式为标准的。r i f f 是英文r e s o u r c e 第二章基于w 曲的音乐检索基础 i n t e r c h a n g ef i l ef o 珈a t 的缩写,每个舭v e 文件的头四个字节便是“r i f f ”。 w a v e 文件是由若干个块( c h u n k ) 组成的。按照在文件中的出现位置包括: r i f fw a v ec h u n k ,f o r i i l a tc h u n k ,f a c tc h u n k ( 可选) ,d a t ac h u n k 。具体格式 描述见图2 3 所示: r i f fw a v ec h u n k i d = r i f f r i f 玎l y p e = w a f o r m a tc h u n k i d = f m t f a c tc h u n k ( o p ti o n a l ) i d =f a c t d a t ac h u n k i d = d a t a 图2 3w a v 格式示例 在其格式组成中,除了f a c tc h u n k 外,其他三个块是必须的。每个块有 各自的i d ,位于块最开始位置,作为标示,而且均为4 个字节。并且紧跟在i d 后面的是块大小( 去除i d 和s i z e 所占的字节数后剩下的其他字节数目) ,用4 个字节表示。 f o r i a tc h u n k 包含w a v e 文件所需的信息,即波形数据的采样频率、声道 数目、每个样本存储数据长度等信息。d a t ac h u n k 是真正保存w a v e 数据的地 方,以d a t a 作为该块的标示,然后是数据的大小,紧接着就是w a v e 数据。 ( 2 ) m p 3 m p 3 的全称是m o v i n gp i c t u r ee x p e r t sg r o u pa u d i ol a y e ri i i ( m p e g l l a y e r 3 ) 音频文件,是m p e g l 标准中的声音部分,也叫m p e g 音频层。简单的说, m p 3 就是一种音频压缩技术,由于这种压缩方式的全称叫m p e ga u d i ol a y e r 3 , 1 4 第二章基于w 曲的音乐检索基础 所以人们把它简称为m p 3 。m p 3 是利用m p e ga u d i ol a y e r3 的技术,将音乐以 1 :1 0 甚至1 :1 2 的压缩率,压缩成容量较小的文件。换句话说,能够在音质丢 失很小的情况下把文件压缩到更小的程度,而且还非常好的保持了原来的音质。 正是因为m p 3 体积小,音质高的特点使得m p 3 格式几乎成为网上音乐的代名词。 由于m p 3 是世界上第一个有损压缩的编码方案,所以几乎所有的播放软件都支 持它。 ( 3 ) m i d i m i d i 技术本来是应用在电子乐器上、用来记录乐手的弹奏以便以后重播的 技术。随着在微型计算机中引入支持m i d i 合成的声卡后,m i d i 才正式成为一 种音频格式。m i d i 文件记录的是音乐演奏指令序列,说明了在什么时间、用什 么乐器演奏什么音符及如何演奏。m i d i 中保存了音符、乐器等详细的语义内容, 数据量小,便于传输和保存。实际上m i d i 文件是利用声音输出设备或与计算 机相连的电子乐器进行演奏,其中并不包含真实声音的数据。 ( 4 ) r e a l m e d i a 网络流媒体技术是一项重要的网络技术,它先将原来连续不断的音频信号 分割成一个一个带有顺序标记的小数据包,之后将这些小数据包通过网络进行 传递,在接受的时候再将这些数据包重新按顺序组织起来播放。如果网络质量 太差,有些数据包收不到或延缓到达,它就跳过这些数据包不播放,以保证用 户听到的内容是基本连续的。 r e a l i e d i a 是由r e a ln e t w o r k s 公司发明的支持网络流媒体技术的一种多 媒体格式。r a 、r m a 这两个文件类型就是r e a l m e d i a 的音频格式。它主要用来 在低速率网络上进行在线音乐欣赏,因而通常它的回放效果较差。由于 r e a l m e d i a 的用途是在线聆听,并不适合编辑,所以相应的处理软件并不多。 2 3 语音信号的特征表示及预处理 音乐信号的特征表示指的是寻找音乐信号的表达形式,提取能代表原始音 乐信号的数据“”。音乐哼唱虽然和人们说话有区别,但是从人的发音器官的机 理来看,二者是基本相同的。所以,语音信号的分析和研究对我们研究哼唱所 第二章基于w 曲的音乐检索基础 得的音乐信号有着重要的作用。以下研究语音信号的特性。 2 3 1 语音信号的短时平稳性 语音信号从整体来看其特性及表征其本质特征的参数均是随时间变化的, 所以它是一个非平稳态过程,不能用处理平稳信号的数字信号处理技术对其进 行分析处理。但是,由于不同的语音是由人的口腔肌肉运动构成声道某种形状 而产生的响应,而这种口腔肌肉运动相对于语音频率来说是非常缓慢的,所以 从另一方面看,虽然语音信号具有时变特性,但是在一个短时范围内( 一般认为 在1 0 一3 0 m s 的短时间内) ,其特性是基本保持不变即相对稳定的,因而可以将其 看作是一个准稳态过程,即语音信号具有短时平稳性啪1 。所以,任何语音信号 的分析和处理必须建立在“短时”的基础上,即可以对语音信号进行“短时分 析”,将语音信号分为一段一段来分析其特征参数,其中每一段称为一帧,帧长 一般取为1 0 3 0 m s 。这样,对于整体的语音信号来讲,分析出的是由每一帧特 征参数组成的特征参数时间序列。 2 3 2 语音信号特征分析 根据所分析语音信号参数的性质不同,可将语音信号的分析分为时域分 析、频域分析以及倒谱分析。 2 3 2 1 语音信号的时域分析 语音信号的时域分析就是分析和提取语音信号的时域参数。时域分析是最 早使用,也是应用最广泛的一种分析方法。语音信号的常见时域特征有: ( 1 ) 短时能量及短时平均幅度 设语
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 五年级综合实践活动教学设计:神奇的中草药
- 初中七年级数学下册《实数》第1课时教学设计
- 高中生物必修一教学设计:细胞中的糖类与脂质结构功能关联教学实践
- 浙教版九年级科学上册常见的碱第2课时教学设计
- 高三政治《生产资料所有制与分配制度》二轮复习教学设计
- 小学六年级心理健康教育下册《一寸光阴一寸金》教学设计
- 小学四年级书法教学设计:左尖横与右尖横的笔势变化与结构统摄
- 高中体育双手向前掷实心球教学设计
- 高中地理教学设计:天气系统演变推断核心素养突破
- 高三英语读后续写“修车奇缘”任务型教学设计
- 骨髓移植后血型鉴定课件
- 肾动脉栓塞介入术
- 《邮轮烹饪英语》-《邮轮烹饪英语》-Appendixes
- 魅力辽宁课件
- 天津市2021-2024年中考满分作文59篇
- 口腔正畸接诊流程技巧
- 军队职工抚恤管理办法
- GB/T 39542.3-2025技术制图活动铅笔第3部分:黑铅芯HB铅芯弯曲强度
- 班级历程回顾
- 森林旅游学习通超星期末考试答案章节答案2024年
- 县乡教师选调进城考试-教育法律法规题库含答案(突破训练)
评论
0/150
提交评论