（信号与信息处理专业论文）乐谱数字化的研究与实现.pdf

东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 研究生签名：耋至盔 日 期：兰垒! 望：三 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸 质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包 括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名：耋互垒导师签名：逝日强：29 汜； l 摘要 摘要 乐谱数字化研究与实现 学生姓名：黄瑞导师姓名：邹采荣 东南大学信息科学与工程学院 自从乐谱诞生后，就如同文字的发明对于历史的重要性一样，这一发明对于人类音乐 历史产生了巨大的影响。经历了手抄、印刷等发展阶段后，随着数字化时代的不断进步， 数字乐谱对比传统纸质乐谱显示出越来越大的优势。在计算机软、硬件和网络强大功能的 配合下，人们可以轻松地对数字乐谱文件进行编辑、修改、打印、传播或实时演奏。数字 乐谱代替传统乐谱是未来乐谱发展的必然趋势，所以本文研究的数字乐谱系统具有重要的 理论和实践意义。 本文的研究内容是针对实现数字乐谱系统的两个关键技术，乐谱显示时要用到的乐符 库和纸质乐谱数字化过程中音乐符号的识别，并分为三个部分作了详细的研究工作。 本文的前两部分研究了乐符库的建立和使用。首先，借鉴当前流行的字库技术，研究 了生成曲线乐符库的方法，利用逐点前进法提取特征点的方法提取乐符图像的轮廓特征。 然后，利用q t 提供的绘图功能绘制乐符的轮廓并使用边标志算法填充轮廓，得到要显示的 乐符图形并通过设计的乐符显示接口提供给上层显示软件使用。 第三部分研究了音乐乐符的识别技术，提出乐符样本的方向性距离分布特征的改进提 取算法，并将其作为分类器的输入，实现了基于b p 神经网络的乐符识别系统。该系统具有 良好的泛化能力，可以作为纸质乐谱数字化模块中的一部分。 关键字：数字化乐谱；+ 乐符库；方向性距离特征；b p 神经网络 摘要 a b s t r a c t j u s t 酗t h ei m p o r t a n c eo ft h ei n v e n t i o no ft e x t ，m eb i 曲o fm u s i cs c o r eh 嬲a 臼e m e n d o u s i m p a c to nt h ei n v e n t i o no fm eh i s t o r yo fm u s i c 。e x p e r i e n c e dh 锄d w r i t t e na n dp r i n t i n gs t a g e so f d e v e l o p m e n t ，a l o n gw i t ht 1 1 ec o n t i n u o u sp r o g r e s so ft l l ed i g i t a la g e ，d i g i t a lm u s i cs h o w e d 锄 i n c r e 硒i n ga d v a n t a g ec o m p a r e dw i t l lt h e 仃a d i t i o n a lp a p e 卜b 硒e ds c o r e s w i t ht h ep o w e r m l f e a t u r c so fh a r d w a r c ，s o r w a r e 锄dn 鲍o r ki nt h ec o m p u t c r ，p e o p i ec a ne a s i l ye d i td i g i t a im u s i c f i l e s ，m o d i 舭p r i n t ，咖s m i to rr e a l t i m ep e r f o r m 锄c e w i t ht h ed e v e l o p m e n to fm o d e mp a t t e m r e c o g 皿i t i o n 锄da n i f i c i a li n t e l l i g e n c et e c h n o l o g y ，d i g i t a im u s i cc 柚b e 彻a l v z e ds ot h a tt h e c o m p u t e rc 锄g e n e r a t e dm u s i ce m o t i o nw h i c hi ss i m i l a rt 0t h eh u m a n d i g i t a lm u s i cs c o r ew i l lb e w i d e l yu s e di nc o m p u t e rm u s i c ，c o m p u t e r - 勰s i s t e dm u s i ct e a c h i n g ，d i g i t a lm u s i cl i b r a r i e s ，锄d m 粕yo t h e rf i e l d s t h i ss t u d yc o n t e n ti sa i m e da tm ok e yt e c h n o l o g i e so ft h ed ig i t a lm u s i cs y s t e m o n ei st h e e s t a _ b l i s h m e n ta n du s eo fm u s i cs y m b o ll i b m r y t h e0 t h e ri s t 1 1 ep r o c e s so fm u s i cs y m b o l i d e n t i 6 c a t i o n a n dm i sa r t i c l ei sd i v i d e di n t ot h r e es e c t i o n st od e t a i lt h er e s e a r c _ hw o r k t h ee s t a b l i s h m e n ta n du s a g eo fm u s i cs y m b o ll i b r 乏i r i e s 羽ed i s c u s s e di nt h ef i r s t 铆op a n so f t h i st h e s i s f i r s to f a l i ，a c c o r d i n gt ot h ec u n e n tp o p u l a rf o n tt e c h n o l o g y ，t h em e t h o do fg e n e r a t i n g c u r v em u s i cs y l n b o l l i b m wi ss t u d i e d a n dt h e nt h ec o n t o u rf e a t i j r eo ft h em u s i cs y m b o l i m a 2 e s c o u l db ee x 仃a c tb yt h ef c a _ t u 佗p o i n t sw h i c ha r eo b t a i n e db vt h ef o r w a r dp o i n tb yp o i n tm e t h o d a r e r w a r d s ，t h eg r a p h i c 如n c t i o no fo ti su s e dt od m wt h ec o n t o u ro ft h es y m b o l s 卸dt h e c o n t o u r sa r ef i li e db yt h ee d g ef l a ga l g o r i t h m a r e rt h e s es t e p s ，t h es y m b o l st 0b ed i s p l a y e da r c a c q u i r e d 锄dt i l e nc 锄b eu s e db yt h eu p p e rd i s p l a ys o r w a r et h r o u 曲t h es y m b o ld i s p l a yi n t e r f a c e t h er e c o g n i z i n gt e c h n o i o g o fs y m b o l si sd i s c u s s e di nt h et h i r dp a l to ft h i st h e s i s ，t h e i m p r o v e m e n to fd i r e c t i o n a ld i s t a n c ed i s 倒b u t i o nf e a t l l r ca l g o r i t h mi sp r o p o s e d am u s i cs y m b o l r e c o g n i t i o ns y s t e mb 船e do nb pn e u r a ln e 锕o r k si si m p l e m e n t e dw h i c ht h ed i s t a n c ed i s t r i b u t i o n f e a t u r ei si n t e r p r e t e da st h ei n p u t s s i n c et h i ss y s t e mh a sg o o dg e n e r a l i z a t i o na b i l i t y ，i tc a nb es e e n o n eo ft h em o d u l e s0 ft h ed i g i t i z e dp a p e r b a s e dm u s i c a ls c o i c k e yw o r d s ：d i g i t a lm u s i cs y s t e m ；m u s i cs y m b o l l i b 豫叮；d i r e c t i o n a ld i s t a n c ed i s t r i b u t i o n f e a t l i r e ；b pn e u r a ln e t w o f k s i n - 一 目录 目录 摘要i a b s 仃a c t i 目录1 0 r 第一章绪论l 1 1 课题研究的背景及意义l 1 2 国内外研究现状3 l - 3 数字乐谱系统的研究内容4 1 3 1 数字乐谱系统的软件硬件实现。4 1 3 2 数字化乐谱数据结构的设计及文件标准制订5 1 3 3 矢量乐符库5 1 3 4 纸质乐谱的数字化6 1 4 本论文组织结构7 第二章数字乐谱系统整体实现方案一9 2 1 总体方案9 2 2 硬件平台概述lo 2 2 1 嵌入式主板1 l 2 2 2 带触摸功能的液晶显示器1 2 2 3 软件平台1 2 2 3 1 软件运行环境1 2 2 4 软件开发工具q t 1 5 2 5 数字乐谱软件总体结构一l7 2 6 系统实物图1 8 第三章曲线乐符库的建立1 9 3 1 本章概述1 9 3 2 字库技术简介1 9 3 2 1 点阵字库19 3 2 2 轮廓矢量字库2 0 3 2 3 曲线字库2 l 3 3 曲线乐符库的建立一2 l 3 3 1 点阵图像的矢量化2 2 3 3 2 特征点提取2 3 3 3 乐符数据在文件中的存储结构一2 6 第四章数字乐谱软件系统中乐符的显示及管理。2 9 4 1 本章概述2 9 4 2 乐符图像的还原一2 9 4 2 1 乐符轮廓绘制2 9 4 2 2 区域填充3l 4 3 乐符库管理模块3 6 4 4 系统乐谱显示界面3 8 第五章基于神经网络的乐符识别3 9 5 1 本章概述。3 9 5 2 乐符图像的前置处理。3 9 5 2 1 乐符图像正规化4 0 v 目录 5 3 特征提取4 l 5 3 1 本文使用的特征提取方法4 2 5 4 神经网络分类器的设计4 8 5 4 1 人工神经网络原理4 8 5 4 2 多层感知器与b p 神经网络5 l 5 4 3 基于神经网络分类器的设计5 5 5 5 乐符识别流程及结果分析5 7 5 5 1 基于b p 神经网络的乐符识别流程5 7 5 5 2 网络训练与测试结果5 8 5 6 本章小结5 9 第六章总结与展望6 l 致谢6 3 参考文献6 4 第一章绪论 第一章绪论 1 1 课题研究的背景及意义圆【4 0 】【4 1 】【4 2 1 【4 3 1 音乐是一门声音艺术，无论是当今唾手可得的m p 3 ，还是古老的山歌对唱，抑或人们只是 独自在家中哼了一首歌，所有这些都是音乐的传播。就像文字的发明在人类史中的意义一样， 乐谱在人类音乐传播史上是一个跨时代的伟大发明。乐谱是人们发明的一种独立于文字之 外，专门用来记录音乐旋律的方法。它的出现终于使人们能够把音乐这门时间的、听觉的、 动态的艺术，转换成为可记载、可保存、可视的静态符号，并以文本的形式保存和流传。由 于乐谱的出现，音乐传播过程的口头接力消失了。音乐创作者优美的旋律以音符的形式准确 地记录下来，从而使音乐走向更广阔的空间和地域：无论何时何地，人们可以将乐谱“解 读 。从而还原出原创的音乐。在旋律创作中，乐谱的出现克服了创作者在以往创作构思中 的遗忘性，从而使创作过程进入程序化、条理化。在乐谱传播条件下的旋律创作中，必然导 致人们在旋律创作上的一种新思维方式。这种新的思维方式，使旋律的构思和创作较之山歌 的感性思维更加理智、成熟和专业化。 古往今来的优秀音乐作品大都以纸质乐谱的形式保留下来，直至今天，纸质乐谱仍是 表达和描述音乐作品的主要载体。但是，纸质乐谱在交流和保存音乐的同时需要占用一定 的空间，不利于大量携带，特别是纸质乐谱无法实现高速查询与检索，只能以纯手工的方 式进行。如何解决大量乐谱的存储、携带以及实现乐谱高效检索和管理是人类长期的梦想。 信息技术已经渗透到了人类生产和生活的各个方面，人类社会正步入一个全新的数字 化时代。计算机的出现加快了数字化的脚步，计算机在数据处理和传输方面有着无与伦比 的优势，使人们可以更为方便快捷地交流与存储信息。于是，人们很自然地想到将现代计 算机科学与音乐艺术的结合，从而产生了各种各样的计算机音乐系统，即数字音乐系统， 它的出现体现了音乐艺术的一次革命，给人类的音乐活动带来了生产方式的根本变革，人 们对音乐的创作、演奏、传播将由传统的手工作业方式逐步转变为高科技方式。 一般概念上的纸质乐谱的数字化有两种形式：一种是采用光学扫描压缩存贮乐谱图像。 另一种是根据乐谱描述的音乐内容将其转化成数字化音乐文件。同样作为数据资源，数字 化音乐文件具有存贮空间小、表现方式灵活、检索方便快速等许多图像文件无法比拟的优 势，是真正意义上的数字化乐谱。本课题指的乐谱数字化即是后者。 本课题立足于科技与音乐艺术逐步融合的背景下，通过对乐理的研究，拟建立一套完 东南大学硕士学位论文 整的基于数字音乐文件的乐谱数字化标准化方案，在此基础上，设计面向应用的数字化系 统一一数字电子乐谱系统，从而从根本上解决纸质乐谱的存储、携带以及高效检索和管理 的问题，可以满足以下的应用需求： ( 1 ) 乐团及个人乐谱管理及演奏的需要 几个世纪以来，演奏者都是依靠纸制的乐谱来演奏的。演奏过程中如何迅速地翻乐谱 是音乐家们的一门手艺，而且在演奏过程中，演奏者还需要将乐谱前后的音符牢记在心。 这样的工作不但对于初学者难度很高，对于熟练的演奏家来说，当遇到自己不熟悉的乐曲 也很棘手。而且在演出条件比较苛刻的情况下，乐谱还有从乐谱架上掉落和被风吹乱的危 险。另外，当一个大的演出团体进行巡回演出时，携带和管理数目庞大的乐谱也是一项艰 巨的任务，这些问题的存在一直长期困扰着音乐爱好者以及演出团体。电子乐谱系统的出 现，可以很好地解决上述问题，满足音乐家以及演出团体管理乐谱及排练、演奏的需要。 ( 2 ) 计算机辅助音乐教学的需要 在由应试教育向素质教育转轨并不断发展的今天，音乐教育己成为时代发展和素质 教育的需要。一台集成作曲、乐谱编辑、音乐回放、排练与演奏播放功能的电子乐谱系统， 可代替传统的“课本+ 黑板+ 钢琴音乐教学模式。在传统音乐教学中教师在黑板上写出的 谱例在学生心中难以形成音响的听觉联想，而钢琴上弹出的声音转瞬即逝，借助电子乐谱 系统，教师则可在课堂上即时地将课本上的谱例生成数字乐谱文件，非常直观的实时性、 动态性显示，并能将谱例与实践音响同步展现在学生面前，可迅速重新演奏乐谱或乐谱中 的任一片断，使学生的听觉与视觉形象融为一体，从而激发学生的学习兴趣，提高教学质 量。 ( 3 ) 创建数字音乐标准及音乐图书馆的需要 尽管计算机技术目前己渗透进各行各业，但音乐界人士仍然感觉缺少统一而实用的数 字音乐标准，这使得数字音乐文件交流、保存、下载都很困难。另外，随着数字图书馆的 蓬勃发展，数字音乐图书馆也悄然兴起，其面临的一个突出问题就是已有音乐资源的数字 化问题和标准化问题。 因此通过乐谱数字化方案及应用项目的实施，不仅仅是实现一个集编辑、演奏、传播 于一体的数字化乐谱系统，而是进一步深入探讨音乐的数字化标准，为将来构建统一的数 字音乐图书管、互联网数字音乐平台打下基础，对整个数字音乐产业的发展和壮大具有积 极的意义。 2 第一章绪论 1 2 国内外研究现状 真正的数字化的乐谱是只存储乐谱所描述的音乐内容的二进制音乐文件，如m i d i 文件。 因此我们需要建立一套数字音乐文件格式标准来保存这种二进制的乐谱。由于目前乐谱数 字化的研究在我国还处于空白，在世界也才处于起步阶段，目前国际上尚未见统一的乐谱 格式标准，只有国外少数几个公司开发了几种互不兼容的数字乐谱方案，如c o m p o s e rm a s t e r 定义了叫s 格式的数字乐谱文件，o v e r t u r e 支持o v e 格式的数字乐谱文件。随着我国对 知识产权作用和地位认识地不断提高，实现乐谱数字化标准将可以使我国在基于数字音乐 的文化产业领域占有一席之地。 在应用层面，国外已有不少数字化乐谱系统的解决方案，如卡耐基梅隆大学设计的m u s e 概念系统、针对音乐专业人士包括乐器演奏者和乐队指挥推出的数字乐谱系统设计m m m s ( m u l t i m o d a lm u s i c a ls t a n d ) 、以及专为管弦乐队设计的数字乐谱系统m o o d s ( m u s i c o b j e c t _ o r i e n t e dd i s t r i b u t e ds y s t e m ) 等等。其中比较成熟且已商业化的产品有两个， 一是美国的f r e e h a n d 公司开发的m u s i c p a d 电子乐谱；二是韩国公司开发的m u s e b o o ks c o r e 电子乐谱。f r e e h a n d 公司研制出一种可以显示乐谱并能自动进行翻页的m u s i c p a dp r o ，该 乐谱显示屏为1 2 1 英寸的液晶触摸屏，内置6 4 m b 的r a m 和3 2 m b 的f 1 a s hr o m ，可存储多 达5 0 0 0 页的乐谱。在演奏时可方便的翻动乐谱、作标记和对重要地方放大。由美国开发的 这种电子乐谱架从外表和功能上看都像普通乐谱架，但是它没有纸，用户不必伸手去翻乐 谱，脚踏板可以代劳，这样音乐家就可以专心演奏。另外，这种乐谱架还能在乐谱上加注释、 标记和重音符，并可以立即传给其他音乐家。韩国的m u s e b o o ks c o r e 是一款主要针对钢琴 演奏的电子乐谱产品，它采用p e n t i 岫i i i9 3 3 姗z 处理器，6 0 g b 硬盘和1 0 4 ”或1 2 1 ”x g a 液晶显示屏，其超大的硬盘容量，可以满足绝大部分用户的需求。m u s e b o o k 在世界上第一 次实现了自动翻页，当弹奏钢琴的时候，m u s e b o o k 可以通过麦克风自动跟踪钢琴的演奏节 拍，从而实现自动翻页。 图1 1m u s i c p a dp r o 电子乐谱 图1 2e s t a n d 电子乐谱 谱。该数字乐谱系统携带方便，可以存储大容量乐谱曲目，并且可方便对乐谱进行分类管 理，同时兼有自动翻谱、填加标注等功能。这种功能强大的系统可以满足更多音乐人士的 需要，在我国，有着广阔的应用前景。 1 3 数字乐谱系统的研究内容 1 3 1 数字乐谱系统的软件硬件实现 本论文涉及了一个完整的数字乐谱系统的设计和实现。该系统是在以嵌入式主板为核 心，l i n u ) 【操作系统和w i n d o w s 操作系统为软件设计平台的思想下，将信息技术、电子技术应 用于音乐领域而开发出来的一项电子智能产品。这个数字乐谱系统可以实现乐谱编辑、大 容量存储乐谱曲目、方便的乐谱管理、及自动翻谱等功能，可以满足个人及团体在音乐创 4 第一章绪论 作、排练和演出的所有需求，完全可以作为传统纸质乐谱的数字化替代品。 1 3 2 数字化乐谱数据结构的设计及文件标准制订 针对五线谱( 主要指钢琴谱) 的具体结构及表达音乐的方式，通过认真的分析和比较， 建立能够正确描述五线谱各种信息的数据结构。建立的数据结构力求做到既能够精确的、 完整的描述音乐信息，又能保证信息在数字化的过程中不会产生损失。另外在描述具体乐 符的时候，通过精心地选择特性信息，做到对每一个音符的数据结构达到最简化，从而保 证占用更少的存储空间。获得更好的音乐压缩功能。 建立了标准的数据结构之后，再在此基础上提出自己的文件标准，文件标准初步设想采 用树型结构，以保证相关信息搜索的高效性。目前国内尚无统一的数字乐谱标准文件格式， 在这方面的研究几乎空白，因此通过建立自己的文件标准，可以填补当前国内的空白，同 时也将对乐谱数字化迈向新的台阶做出相当的贡献。 1 3 3 矢量乐符库 乐谱数字化的主要任务是将乐谱中的乐符符号以数字方式表示以供存储、访问与显示。 为了能美观地显示乐谱，乐符符号的显示将采用现在常用的字库技术，经历了早期的点阵 字库技术、早期向量技术到现在先进的曲线字库技术。曲线字库的产生是因为点阵字库和 向量字库所需存储空间较大和存在放大出现锯齿效应等缺点，而曲线字库具有所需存储空 间小和美观、放大无锯齿效应等优点。相对于字符符号字库技术的发展，乐谱数字化中乐 符库技术也已经进入曲线字库技术的时代。图3 是放大4 倍的点阵字库技术的符号和放大4 倍的曲线字库技术的符号，可以很清楚地看出曲线字库技术在符号多次放大后仍然具有光 滑清晰的显示效果。 图1 5 放大4 倍的点阵字库与曲线字库显示效果比较 东南大学硕士学位论文 1 3 4 纸质乐谱的数字化n 儿幻 目前，纸质乐谱数字化最成熟的技术就是光学乐谱识别技术，即o m r ，它是一项综合应 用数字图像处理、模式识别、人工智能、音乐理论等多门相关学科的交叉技术，其目的就 是要让计算机“读懂”乐谱。一个完整o m r 系统主要由五大模块组成：乐谱扫描输入与预 处理、谱线定位与删除、音符基元识别、音符基元重组及语义理解，其处理流程如图卜6 所示。 图1 6o m r 系统处理流程示意图 ( 1 ) 输入乐谱图像的预处理 将纸质乐谱经扫描仪或者其它数码设备( 如照相机等) 输入计算机生成乐谱图像，生成 后的乐谱图像可能会受到设备或者外部环境的影响造成图像受到噪声的干扰或者输入计算 机中的图像发生各种变形，如采用数码相机输入的乐谱图像经常产生曝光、桶形失真或者 枕形失真，因此在乐谱图像输入之后还必须对扫描图像中的噪声、局部变形等缺陷进行消 除和弥补，通过不同的预处理技术来达到所需目的。 ( 2 ) 谱线定位与删除 6 第一苹绪论 因为乐谱图像绝大多数符号和标记都叠加在谱线上，所以在提取和识别音符对象前首先 要对谱线进行定位和删除，这样可将各种音乐符号从谱线中分离出来，以排除谱线在识别 音符过程中造成的巨大干扰，为后一步的音符基元识别打基础。 ( 3 ) 音符识别 谱线删除后的乐谱图像可视作一幅仅由音符组成的图集，音符识别就是把每一个独立的 音符识别出来，用其对应的音符代号表示，存储时只存储音符代号。 ( 4 ) 音符语义理解 对音符对象所代表的音乐语义进行解释，生成语义编码，最后根据语义编码将识别结 果输出成音乐格式文件。 目前，文字识别技术已经相对成熟，乐谱识别和文字识别比较相近，乐谱识别的很多成 果都是建立在文字识别技术上的。但是乐谱识别比文字识别的难度要大得多，其原因在于 乐谱在信息表达方式上和文字不同，不利于计算处理，具体表现如下【3 1 ： 待识别对象的复杂性上：文字识别中文档仅由字符组成，每一个字符的大小相差不 大，而乐谱图像中有音符、字符等多种符号，这些符号有的呈细长的线形形状，有 的呈块状，符号的形状差异较大，这种差异大大增加了识别难度。 排列方式上：文字在一行内水平排列，而乐谱图像上每一个五条线附近，符号的排 列是上下左右的二维排列，这使得乐符的分割更为困难。 o c r 中每一个字即为识别的最小单位，o m r 中的符号的重组现象比较常见，需要分 解才会出现可识别的基元。 o m r 识别出的符号信息需要根据音乐语义进行理解，并且保存成可以编辑的乐谱格 式文件，在需要的时候，可以方便地转换成声音文件。 乐符识别系统是o m r 系统中最重要的部分，其性能的优劣直接影响了o m r 系统的好坏。 1 4 本论文组织结构 数字乐谱系统涵盖很多的内容，本文主要研究了数字乐谱系统实现过程中几个关键的技 术。 第一章，介绍了本论文的课题背景、研究状况、论文的主要研究内容，最后介绍了本文 的组织结构。 第二章，详细介绍了数字乐谱系统的软硬件的整体实现方案。 第三章，研究曲线乐符库的实现过程并提出乐符库文件结构。 7 东南大学硕士学位论文 第四章，乐符库建立好后，要通过显示接口与应用层模块连接，实现乐符的显示。本章 实现了对乐符形状的还原和乐符库的软件管理模块。 第五章，本章研究纸质乐谱数字化模块中最重要部分乐符识别系统。详细分析了乐 符样本的特征提取算法和神经网络原理，并实现了基于b p 神经网络的乐符识别系统。 第六章，对本文所做的工作进行了总结，并对研究前景进行了展望。 8 第二章数字乐谱系统整体实现方案 第二章数字乐谱系统整体实现方案 2 1 总体方案 随着计算机和电子技术以及互联网的发展，人类社会步入全新的数字化时代。传统的阅 读方式正在发生着天翻地覆的变化，电子书作为数字化时代的代表，以其方便性、可搜寻 内容、容量大等等诸多优点，正逐渐取代纸质书，成为知识重要的载体。 在音乐领域，也面临着同样的情况。由于纸质乐谱本身具有如不宜保存、查找和携带以 及翻页不便等缺点，也促使许多作曲家使用作曲软件制作音乐，使用打谱软件来生成数字 化的乐谱。但是，虽然制作音乐和生成乐谱的软件很多，相应的阅读乐谱的软硬件设备却 很少，由于没有可行的方法把乐谱显示出来，演奏者必须把已数字化的乐谱再打印到纸上， 这说明了在音乐领域数字化工作进行的并不彻底。 信息技术与电子技术广泛应用于人们生活的各个领域，智能化是发展趋势也是发展必 然要求。从目前来看，在乐团或乐队工作的指挥与演员们无论是排练还是演出时仍然是采用 纸制的乐谱和人工翻乐谱的方法。我们知道，纸质乐谱一直沿用至今，有着非常悠久的历 史，它的弊端也不断的显现出来。演奏人员都是靠纸制的乐谱来进行表演的。演奏家们必 须携带厚重的纸制乐谱，并且需要手工进行翻页。在演奏过程中，如何迅速地翻乐谱是这 些人的一门手艺。乐谱从架子上掉下或被风吹走是件危险的事。 本项目的目的是开发一种基于嵌入式的便携式电子乐谱系统。该系统实现了乐谱编辑、 大容量存储乐谱曲目、方便的乐谱管理、及自动翻谱等功能，基于以嵌入式主板硬件的核 心，l i n u x 操作系统为软件设计的平台的思想下，是将信息技术、电子技术应用于音乐领域而 开发出来的一项电子智能产品。总体方案图下： 图2 1数字电子乐谱总体方案示意图 9 变堕奎堂堡主兰垡丝茎 在我国，该类电子乐谱系统的研究尚处于起步阶段，电子乐谱产品在我国有着广阔的 前景。我们的目的就是开发一款有着我国自主知识产权的电子乐谱产品。同国外产品相比， 在硬件方面我们占有一定的优势，相对于国外产品一般显示屏只有1 2 英寸，我们的1 7 英 寸液晶显示屏可以显示更多的内容，能够更加清晰的将电子乐谱呈现给演奏家。 2 2 硬件平台概述 嵌入式系统的硬件的实现以及选择的微处理器类型主要取决于应用的领域、用户的需 求、成本问题、处理器类型、开发的难易程度等因素。数字乐谱系统要实现的主要功能如 下： 1 有较强的数据处理能力，读取数字化的乐谱文件，转换成可以阅读的乐谱，并在 演奏时支持翻页，且翻页速度快； 2 为了保证在演奏过程系统可以较长时间工作而不出现意外，要求系统有较高的系 统稳定性； 3 支持触摸屏，用户通过触摸笔可对乐谱进行编辑、添加注释等操作。 4 有大量的乐谱文件需要存储和管理，所以还要具有大容量的存储空间； 5 可以通过网络与电脑连接，下载乐谱文件，所以需要网络接口； 6 演奏时可以通过无线蓝牙接口连接脚踏板实现翻页功能。 我们要实现的数字乐谱系统的硬件平台模型如下图所示： u s b 接豳 模块 、 无线蓝牙 接口模块 l 之多 、 | 数据存储器 、 争 7 液晶触摸 1 f 卡) ， 、 yy 微处理器( a m d g e o d el x 8 0 0 f 1 + a m dg e o d e | k ，、ff ，1 、 网络接【j ： “ ， o b b 勺0 b ， 屏 n矿 i- j 27 0 。j2 一、遣 u 弋 音频输出电源管理 模块模块 图2 2电子乐谱硬件平台 i o 墨三兰鏊兰墨堕墨竺竺堡塞里查壅 一 此数字乐谱系统的硬件主要由微处理器、液晶触摸屏、u s b 接口模块、无线蓝牙接口 模块、电源管理模块、音频输出模块、数据存储器、网络接口组成。其中最重要的两部分 是微处理器和带触摸功能的1 7 英寸宽屏l c d 显示器。微处理器是整个电子乐谱的硬件的 核心，也是软件设计与操作的主体平台；带触摸功能的液晶屏显示器主要完成乐谱显示、人 机交互的功能。 2 2 1 嵌入式主板 我们选择了威达电子公司的w a f e r l x 系列工业主板作为系统的主体平台，该主板提 供的外围接口能够很好的满足数字电子乐谱系统的要求。w a f e r l x 系统规格图如下图所 示： 图2 3w a f e r l x 系统规格图 该主板的主处理器是a m dg e o d el x8 0 0 ，并且有丰富的外围接口，满足我们的需要。 a m dg e o d el x 处理器采用了通用的行业标准x 8 6 体系架构。a m dg e o d el x 处理器基于 x 8 6 架构，它是具有台式机c p u 完全功能嵌入式c p u ，可以用于嵌入式设备或者移动设备。 它的功耗不到1 w ，可以在低功耗、无风扇易携带移动设备上运行，具有高度的可靠性。并 且，a m dg e o d el x8 0 0 处理器支持微软w i n d o w sx p 嵌入式操作系统和l i n u x 操作系统。 除了高功率性能和高可靠性以外，a m dg e o d el x 处理器通过d d r 接口增加了内存 带宽，用u s b 2 o 接口提高了输入和输出设备的速度。同时，该主板还提供两个l o 1 0 0 b a s e t 以太网络端口，储存上则可采用2 5 英寸i d e 硬盘、c f 存储卡。 为了保证系统的高效运行，同时节约成本，我们采用5 1 2 m 的内存和4 g 的c f 卡作为 存储介质，能够满足大多数用户的需求。 1 1 东南大学硕二l ：学位论文 在显示功能上，w a j p e r - l x 支持高分辨率( 1 9 2 0 1 4 4 0 ) 的液晶显示。 2 2 2 带触摸功能的液晶显示器 在数字乐谱硬件部分设计中，我们选用1 7 英寸的宽屏液晶显示器。在选择液晶显示屏 的时候，我们主要基于以下两点考虑：第一，液晶屏的尺寸要足够大，这样可以方便演奏 家可以清晰的查阅电子乐谱，以至于在演奏的时候不会漏看或看错电子乐谱上的符号；第 二，为了能够在显示屏上显示左右两页对称的乐谱，我们选用目前比较流行的宽屏液晶显 示器。在通过充分的考虑和比较后，我们决定选用1 7 英寸的宽屏液晶显示器，能够完全达 到我们的要求，并且显示效果很理想。 在硬件电路设计和开发中，触摸屏是必不可少的一个环节。在数字乐谱系统中，我们 可以通过触摸的方式直接在液晶显示屏上对数字电子乐谱进行操作，不仅减小了整个系统 的体积大小，而且操作简单方便，方便演奏者进行翻页、编辑、查询等操作。为了节约成 本，我们采用了目前比较流行的4 线电阻式触摸屏。 2 3 软件平台 2 3 1 软件运行环境 由于我们开发的是一个嵌入式系统，所以选择一个嵌入式操作系统是必不可少的。 w a f e r l x 嵌入式主板相对于台式机来说，资源比较有限，所以，运行在嵌入式主板上的 操作系统必须是经过精简的操作系统，这样才能在有限的资源下，让整个数字电子乐谱系 统高效快速的运行。 目前国内外己有几十种商业、非商业操作系统可供选择，比如，l i n u x ，v x w o r k s ，p s o s ， n e c u l e u s ，p a l mo s 和w i n d o w sc e 等，目前在我国应用较多的为l i n u x 和w i n d o w sc e 。 2 3 1 1 嵌入式w i n d o w sc e 操作系统 w i n d o w sc e 是微软开发的一个可升级的3 2 位嵌入式操作系统，是适用于掌上电脑类的 电子设备的操作系统。w i n d o w sc e 不仅继承了传统的w i n d o w s 图形界面，并且在w i n d o w sc e 平台上可以使用w i n d o w s9 8 2 0 0 0 x p 上的编程工具( 如v i s u a lb a s i c ，v i s u a l c + + 等) 。绝 大多数的应用软件只需简单的修改和移植就可以在w i n d o w sc e 平台上继续使用。w i n d o w sc e 1 2 至三童鍪兰墨堂墨竺兰堡壅婴立壅 的设计目标是：模块化及可伸缩性、实时性能好，通信能力强大，支持多种c p u 。它可以满 足多种设备的需要，这些设备包括工业控制器、通信集线器以及销售终端之类的企业设备， 还有像照相机、电话和家用娱乐器材之类的消费产品。 w i n d o w sc e 具有如下特点： 首先，具有灵活的电源管理功能，包括睡眠和唤醒模式。 第二，使用了对象存储( o b j e c ts t o r e ) 技术，包括文件系统、注册表及数据库。此外， 它还具有很多高性能、高效率的操作系统特性，包括按需换页、共享存储、交叉处理同步、 支持大容量堆( h e a p ) 等。 第三，拥有良好的通信能力。广泛支持各种通信硬件，支持直接的局域连接以及拨号 连接，提供与p c 、内部网以及i n t e r n e t 的连接和通信功能。 第四，支持嵌套中断。允许更高优先级别的中断首先得到响应，而不是等待低级别的 i s r 完成。故该操作系统具有嵌入式操作系统所要求的实时性特点。 第五，更好的线程响应能力。对高级别i s t ( 中断服务线程) 的响应时间上限的要求更加 严格，通过改进线程响应能力，帮助开发人员掌握线程转换的具体时间，并通过增强监控 能力和对硬件的控制能力帮助他们创建新的嵌入式应用程序。 第六，具有2 5 6 个优先级别。可以使开发人员在控制嵌入式系统的时序安排方面具有 更大的灵活性。 第七，w i n d o w sc e 的a p i 是w i n 3 2a p i 的一个子集，支持近1 5 0 0 个w i n 3 2a p i 。有了 这些a p i ，足可以编写任何复杂的应用程序。在掌上型电脑中，w i n d o w sc e 包含如下一些 重要组件：p o c k e t0 u t l o o k 及其组件、语音录音机、移动频道、远程拨号访问、世界时钟、 计算器、多种输入法、g b k 字符集、中文t t f 字库、英汉双向词典、袖珍浏览器、电子邮件、 p o c k e to f f i c e 、系统设置、w i n d o w sc es e r v i e e s 软件。 2 3 1 2 嵌入式l i n u x 操作系统 l i n u x 自1 9 9 1 年诞生以来，其发展日新月异。嵌入式l i n u x 作为l i n u x 发展的一个新 的方向，在嵌入式操作系统领域也有着不俗的表现，正成为许多商业团体、机构和个人研 究和开发的对象。嵌入式l i n u x 系统融合了l i n u x 操作系统和嵌入式系统两者，主要特点 如下： 首先，源代码开放。l i n u x 作为一个自由软件，是网络时代的产物，有着庞大的开发群 体，在过去十几年里，其内核不断被修改和优化，为使用者提供了优异的性能。开放源代 它能取代目标板的微处理器，给目标程序提供仿真环境。但i c e 价格昂贵，增加了嵌入式 系统的开发成本。而嵌入式l i n u x 是基于g n u 的g c c 编译器来编译c c + + 源程序，并能用功 能强大g d b 调试器来调试源程序。此外，还可以利用更高级的调试工具，如k g d b 或x g d b 等来调试。这些工具都是免费的。 第六，系统运