基于数学形态学和记谱法的数字乐谱音乐信息提取.pdf

第2 5卷第8 期 2 0 0 8年 8月 计算机应用与软件 C o mp u t e r Ap p l i c a t i o n s a n d S o f t w a r e V0 1 2 5 No 8 Au g 2 0 08 基于数学 形态 学和记谱 法的数字乐谱 音乐信 息提 取 陈根方 张文俊 杭州师范大学信息工程学院浙江 杭州 3 1 0 0 3 6 上海大学影视 艺术技 术学 院上海 2 0 0 0 7 2 摘要 从图像处理的角度 对乐谱记谱法的基本规则进行 了分析 利用记谱法符号图元之间的结构关系 运用数学形态学的基 本算法 提取数字乐谱的音乐信息 从而将音乐信息转化为MI D I 文件 实现音乐乐谱的重构和提供乐谱传播的音响载体 实验结果 表明 系统对钢琴乐谱的音乐信息提取的正确率达到了9 4 4 能满足实际应用的需要 为音乐数字图书馆 音乐教育 音乐理论分 析等提供 了新 的途径 关键词 乐谱 图像识别 数学形态学 记谱法 MI D I T HE M US I CAL I NF oRM ATI oN EXTRACTI oN FRoM DI GI TAL M US I CAL SCoRE BASED oN M ATHEM ATI CAL M oRPHoLoGY AND M USI CAL NoTATI oN C h e n G e n f a n g Z h a n g We n j u n S c h o o l o fI n f o r m a t i o n E n e e r i n g H a n g z h o u N o r m a l U n i v e r s it y Ha n g z h o u 3 1 0 0 3 6 Z h e j i a n g C h i n a S c h o o l o fF i l m T VA r t s a n d T e c h n o l o g y S h a n g h a i U n i ver s i t y S h a n g h a i 2 0 0 0 7 2 C h in a Ab s t r a c t T h e b a s i c r u l e o f mu s i c a l n o t a t i o n f o r i ma g e p r o c e s s i n g i s a n a l y z e d B a s e d o n t h e s t ru c t u r al e l e me n t s o f mu s i c al n o t a t i o n a n d t h e b a s i c a l g o ri t h ms o f ma t h e ma t i c a l mo r p h o l o g y a n e w me t h o d f o r mu s i c al i n f o r ma t i o n e x t r a c t i o n for m d i g i t al mu s i c a l s c o r e i s p r e s e n t e d Th e mu s i c a l i n f o rm a t i o n i s t r a ns f o rm e d t o MI DI fil e for t he p r o p a g a t i o n a n d r e c o ns t ruc t i o n o f mus i c a l s c o r e Th e r e s u l t s o f t h e e x p e rime n t s h o w t ha t t he s t a t i s t i c a v e r a g e v alu e o f e x t r a c t i o n r a t e for mu s i c al i nfo rm a t i o n f r o m d i g i t al mu s i c a l s c o r e i s 9 4 4 Th e c a n me t h o d me e t t h e d e ma n d o f p r a c t i c al a p p l i c a t i o n a n d i t i s a n e w w a y for t h e a p p l i c a t i o n s o f d i g i t al l i b r a r y mu s i c al e d u c a t i o n mu s i c al the o r y a n a l y s i s a n d S O o n Ke y wo r d s Mu s i c a l s c o r e I ma g e r e c o g n i t i o n Ma t h e ma t i c a l mo r p h o l o g y Mu s i c al n o t a t i o n MI D1 0 引 言 音乐的传播方式主要有两种形式 纸质乐谱 包括各种形 式 如西方的五线谱 简谱 中国传统的工尺谱 减字谱等等 音乐声 响 也 包括各种形 式 如磁 带 C D 电视 演 出 网络 播放 等等 大多数情况下 这两种音乐传播形式是分离的 且大量 的传统音乐 包括近现代的大多数音乐 都以纸质乐谱为传承 载体 由于音乐是听觉的感觉媒体 音乐声响传播形式更易于 人们接受和传递音乐信息 而成为主导的音乐传播方式 数字 技术与网络技术的迅猛发展与普及 为纸质乐谱转化为音乐声 响进行传播提供了物质条件 通过建立面向大众 的数字音乐平 台 可以让大量优秀的传统和古典音乐通过网络进入千家万户 但是 首先需要解决的关键问题是研究与开发乐谱数字化的有 效方法与技术 将音乐的纸质乐谱转化为数字乐谱 自动生成与 之相对应的数字音频 以实现网络上的音乐传播 目前 乐谱数 字实现主要有 两 种方 法 一是 由音 乐 专业 人 员 通 过音 乐 软 件 如 C a k e w a l k等 手工把乐谱输入到计算机中 这种方法需要依 赖于专业人员 且工作效率低下 二是利用 O M R O p t i c a l M u s i c R e c o gni t i o n 计算机光学乐谱识别 技术进行自动输入 O MR综 合了图像处理 模式识别 人工智能 MI D I 等相关技术 转化一 张乐谱只要尼秒钟 大大提高了工作效率 广泛应用于数字媒体 音乐库 大型数字音乐图书馆 机器人读谱与奏谱 计算机音乐 教学 中国传统音乐谱表数字化等 本文利用 O MR技术 从图像处理的角度 对乐谱记谱法的 基本规则进行了分析 利用记谱法符号图元之间的结构关系 提 出了一种新的基于数学形态学的数字乐谱音乐信息提取方法 并 采用 MI D I I 0协议 把音 乐信息 转化 为 M I D I 文件 实 现了音 乐乐谱 的音乐声响传播形式的转换 利用 C a k e w alk等音乐软件 可以从 MI D I 文件重构这些乐谱 音乐记谱法领域知识 记谱法是记录乐曲的方法 在音乐的发展进程中 由于乐 曲的不同内容与需要 而产生了各种各样的记谱方法 比如 为 古琴用的古琴谱 为锣鼓用的锣鼓谱 以及现在普遍应用的五线 谱 简谱和在我国民间应用的工尺谱等 记谱法对创作和表演都是十分重要的 记谱法必须能记录 音乐活 动的方方面面 包括 音 的高低 强 弱 长短 音 色 表情 记 号等等 音符是记录不同时间长短的音的进行的符号 休止符 收稿 日期 2 0 0 6 1 2 0 1 浙 江省社 会科学 界联合 会 2 0 0 6年研 究 课题成果 0 6 Z 2 7 2 0 0 5年 浙江省 教育厅 计划 课题 0 5 6 1 X P 5 1 陈 根 方 讲师 主研领域 光学乐谱识别 算法 多媒体技术 维普资讯 7 6 计算机应用与软件 2 0 0 8互 是记录不同长短的音的间断的符号 在西方的五线谱记谱法 中 常用 的音符与休止符 如图 1 所示 五线谱 的连谱号包 括起 线 连接数行五线谱的垂直线 和括线 连接数行五线谱的括 弧 两个组成部分 小节线 图2中间的垂线 连接十条平行线 如图 2 所 示 e 个 曲 j 个体止 荫 分 休 J 符 垂 垂 川分 几分 八 分 音拍 音钧 音 钧 1 常用 旨符与休止符 图 2 钢琴谱用的连谱号 小节线 五线谱记谱法的基本规则很详细 从图像处理的角度 来描述五线谱记谱法 其主要的基本规则如下 1 音符 包括三个 组成部 分 符头 空 心 的或实 心 的椭 圆 形标记 符头的高度是两条谱线的距离加上一条谱线的宽度 符 头的宽度大于高度 符干 垂直的短线 长度大于四条谱线之 间的距离 和符尾 连在符干一端 的旗状 标记 向着符头方 向 音符的符头在五线谱中的位置决定了音高 符头图元是记谱法 所用的符号图元中高宽比最小的图元 这一特点为符头的识别 提供了方便 音符的符头在两条谱线之间或横穿一条谱线 2 小节线是等长分隔时值的垂直的线 从最高一条谱线 一 直连到最下面一条谱线 长度大于符干的长度 小节线之问的 音符 的总时值是一定的 由拍号决定 3 最长的水平方向的线当然是五线谱 中平行的五条线 这五条线的长度一般占据了图像水平长度的三分之二以上 4 谱号总是位于每一行五线谱的第一个小节线右侧 调 号 的左侧 5 调号总是位于谱号的右侧 同一行的第一个音的右侧 而且 升降号的出现顺序遵循 固定 的规律 2 数字乐谱图像处理的数学形态学算法 数学形态学是以几何学为基础 着重研究图像的几何结构 其基本思想是利用一个结构元素去探测一个图像 看是否能够 将这个结构元素很好地填放在图像的内部 同时验证填放结构 元素是 否有效 结 构元素 的选 择是 以处 理 目的为标准 的 不 同 的结 构元 素可 以得到不同的分析结果 数字乐谱图像为二值图像 腐蚀 膨胀 击中击不中变换等 二值图像的数学形态学算法 是用于乐谱图像处理的几个基 本运算 集合 被集合 B腐蚀 表示为 B 其定义为 A 0B B CA 1 腐蚀可以用E A 来表示 其中A称为输入图像 B称为 结构元素 A OB由将 B平移 但仍包含在 A内的所有点 组 成 A被 B膨胀表示 为 A B 其定义 为 A B A 0 一 B 2 其 中 A 表示 A的补集 击中击不中变换需要两个结构基元 E和 F 这两个基元被 作为一个结构元素对 B E F 一个探测图像内部 另一个探 测图像外部 其定义为 A B A 0 E n A F 3 当且仅当E平移到某一点时可填人 A的内部 F平移到该 点时可填人 A的外部时 该点才在击中击不中变换的输出中 3 基 于数 学形态 学 的数 字 乐谱音 乐信 息 的提 取 基于乐谱识别系统 O MR 的纸 质乐谱 数字化 及音 乐信息 提取的工作流程 如 图 3所示 图 3 基于 O MR系统的音乐信息提取流程 下面以多声部的钢琴乐谱为例 运用数学形态学 对钢琴乐 谱数字图像进行处理 提取出乐谱中的音乐信息 钢琴乐谱特 点主要有 1 用连谱号连接两行五线谱 这提高了模式识别的 难度 2 钢琴曲绝大多数为多声部乐曲 纵向结构复杂 3 钢 琴乐谱的表情记号丰富 4 钢琴乐谱有大量的演奏提示信息 等 要提取出乐谱的所有的音乐信息是不现实的 目的只是得 到此乐谱相对应的音响 因此不需要识别出乐谱中的大量的演 奏提示信息 音响本来就是演奏的结果 但是 基本的音符的 音高 时值 多声部是必须识别出来的 通过组合它们的信息 建立此乐谱相对应的音响文件 MI D I 文件 并且可以利用 MI D I 文件重构此乐谱 工作流程如图3所示 在图像预处理阶段 由于五线谱图像的背景单一 记录音乐 信息用的颜色单一 可以利用二值化图像处理技术将纸质五线 谱转化为二值图像 同时利用数学形态学的先腐蚀后膨胀运算 去掉椒盐状躁声 设待处理的图像为A 其高度为 宽度为 音乐信息识别阶段 利用 一投影技术 水平统计 获取乐 谱谱线的信息 以行为统计单位 统计每一行 的黑色像素的 个数 得到数组 S n 1 n W 若把 S n 中的每个元素的值 看作是灰度值 可以统计灰度直方图 称为数值直方图 显然 在数值直方图中有两个山峰 由此可得到划分两个山峰的阈值 记为 厂 找出数组 S n 中大于 厂的元素 记共有 m个 得到这些 元素的下标序列 记为R 且满足 1 R 记谱线的宽度为k 显然有 k 1 且有性质 若 k 1 则 R 一 R 1 1 i 1 则存在 i 满足 至 维普资讯 第8 期 陈根方等 基于数学形态学和记谱法的数字乐谱音乐信息提取 7 7 R l R l 1 1 i 1 和 R 一 R 1的不同的 i 有 t 个 谱线间的距离定义为d m l 一 R i 一 d L 一 4 m t 本文选取贝多芬 土耳其进行曲 片段 数字图像 A 进行 了处理 结果示于图4中 其中 左边为乐谱数字图像 右边对应 部分为 l 一投影的结果 右上边为数值直方图 土耳其进行曲 数值直方图 Y I 投 影 图4 Y 投影结果及其数值直方图示例 根据谱线的位置及谱线距离 d 利用击中击不中运算可以 识别谱号和调号 利用腐蚀运算可以识别音符 设 曰 1为 d k d k 的 黑色像素构成的结构元素 运用腐蚀运算 可识别出音符的符 头 得到符头的位置信息 图5为对柴可夫斯基的 四小天鹅舞 曲 腐蚀结果 根据谱线和符头的位置来确定音符的音高 同 时 设 为 1 4 d 3 k 的黑色像素构成的结构元素 利 用腐蚀运算可以得到音符的符干和小节线 图 6为贝多芬 献 给爱丽丝 的腐蚀结果 图 5 左 图为乐谱 右 图为 A OB 的腐蚀运算结果 图6 左图为乐谱 右图为A O B 2 的腐蚀运算结果 A OB 和A O B 这两个运算可以并行进行 利用得到的音符 的符头位置和符干位置的关系 来设计结构元素 E和 F 利用这 两个结构元素对乐谱图像进行击 中击不中变换 可以获取音符 的时值信息 得到完整的音符信息之后 利用小节线对所有的音符进行 划分 划分成一小节一小节 每个音符只属于一个小节 对所有 小节内的时值进行计算 判断是否相等 如不相等 则对此小节 内的音符重新进行识别 最后 综合提取的音乐信息 可根据 MI D I 1 0协议的数据 结构 把音乐信息转化为 MI D I 文件 一 4 实验结果 利用数学形态学的几个基本运算及音乐记谱法的领域知 识 设计了乐谱识别原型系统 在大众乐谱 网 上选取了有代 表 性的 3 6首钢琴 曲 都 为多 声部乐 谱 其 中有 复 杂 的 简单 的 有著名作曲家的作品 有民歌等 利用本文建立的方法与系统 就这 3 6首乐谱进行了音乐信息提取的仿真实验 识别结果示于 表 1中 表 1 3 6首乐谱 的部分 识别结 果 音符 时值 音高 序号 乐 曲名称 个数 识 别 识别 正确率 总数 错误数 错误数 l 很久 以前 2 0 5 O 9 3 0 7 7 3 l 7 l 2 法来西 民歌 l 7 0 2 4 t 3 5 O 8 2 6 4 7 l 3 小姐妹 2 0 0 2 4 2 2 0 8 8 5 4 进行 曲2 3 5 6 2 7 4 4 O 9 0 o 2 8 l 5 意大利歌 曲 2 4 2 1 4 2 9 O 9 I 1 l 5 7 6 土耳其进行 曲 4 4 7 4 7 5 O 9 l l 6 3 3 7 娃娃进行 曲 2 l 8 l l 2 3 0 9 2 2 0 1 8 8 命运交响 曲第一乐章 2 4 4 5 3 l 0 9 2 6 2 3 9 波尔卡舞曲 l 8 3 7 1 9 0 9 2 8 9 6 2 1 0 玛祖卡 l 9 l 1 4 l 2 O 9 3 1 9 3 7 l l 星光园舞曲 3 7 9 l 8 3 2 0 9 3 4 0 3 7 l 2 孩子的梦 2 8 4 4 3 2 O 9 3 6 6 2 l 3 F大调旋律 2 5 3 4 2 5 0 9 4 2 6 8 8 1 4 小杜鹃 l 0 0 O 1 0 O 9 5 l 5 可爱 的五月 l 7 0 6 1 0 0 9 5 2 9 4 1 l 6 集市 2 3 l 5 l 6 0 9 5 4 5 4 5 l 7 致爱丽斯 l 2 9 3 8 O 9 5 7 3 6 4 l 8 四小 天鹅舞 曲 2 6 4 5 1 7 0 9 5 8 3 3 3 l 9 G大调小步舞 曲 2 6 7 6 1 6 0 9 5 8 8 0 1 2 0 旋律 2 5 6 5 1 6 0 9 5 8 9 8 4 2 l 溜 冰园舞 曲 2 6 5 O 2 l 0 9 6 0 3 7 7 2 2 婚礼进行 曲 2 3 4 1 4 2 0 9 6 5 8 1 2 2 3 小步舞 曲 l 3 O O 7 0 9 7 3 0 7 7 2 4 鳟鱼 1 6 3 2 5 0 9 7 8 5 2 8 2 5 罗密欧与朱丽 叶 7 2 2 l 0 9 7 9 1 6 7 2 6 进行 曲 1 3 3 9 6 5 0 9 8 3 7 7 6 2 7 欢乐颂 2 0 3 O 3 0 9 9 2 6 1 l 2 8 行板 1 5 2 O 2 0 9 9 3 4 2 1 2 9 在 月光下 1 0 8 O 1 0 9 9 5 3 7 3 0 无题 2 l 1 1 O 1 O 9 9 5 4 9 5 3 1 在泉水边 1 4 9 O 1 0 9 9 6 6 4 4 维普资讯 7 8 计算机应用与软件 2 0 0 8 3 2 蓝色多瑙河 2 5 5 0 1 0 9 9 8 0 3 9 3 3 无题 1 9 5 0 0 1 3 4 五月 1 6 7 0 0 1 3 5 扬基歌 2 9 0 0 1 3 6 摇篮曲 1 2 9 0 0 l 统计平均 7 3 9 0 2 l O 6 1 5 0 9 4 4 l 8 从表 1中可见 最高的识别率为 1 0 0 最低的为7 7 3 根据统计 平均识别率为9 4 4 通过分析乐谱 可以得知 识 别率较高的乐谱谱面的噪声较少 乐谱的各种表情记号和演奏 记号较少 而识别率较低的乐谱音乐结构较复杂 各种表情记号 和演奏记号较多 导致误识增多 比如 柴可夫斯基的 四小天 鹅舞曲 如图5所示 的第三行左手伴奏部分第一小节 由于 音高的变化 高音谱号出现在音符中间 因此 在腐蚀运算时把 它 当作音符处理 第一行 的第 二小节第 二拍 的二个三十 二分音 符位置靠得太近 音符图元大小比正常音符图元的大小略小 在 进行腐蚀运算是被腐蚀了 导致在此处的音乐细微变化没有识 别出来 解决的方法可以是利用音乐作曲法有关知识及记谱法的有 关规则进行修正 比如在作曲中 两个相邻的音符之间音高之差 绝大多数情况下不会大于八度 同时发声的多个音符 一般符 合和声法规则等等 但这样必定会增加处理的时间 5 结 论 数学形态学结合音乐记谱 法知识 可 以为纸质 音乐的数 字 化提供有力工具 特别是对于具有相对规范的五线谱记谱法 音 乐信息的提取效果较好 实验所用的钢琴谱是最典型的五线谱 乐谱 因此 所建立的方法及结果可适用于所有五线谱乐谱 目前 大量的音乐都是以五线谱记谱法的形式存在 因此 本文所提出和建立的基于数学形态学的 O MR技术是大型音乐 数据库建设的关键技术 在数字图书馆建设 音乐教学 音乐分 析等领域有着 良好的应用前景 参考文献 1 C h e n G F X i a S R T h e S t u d y a n d P r o t o t y p e S y s t e m o f P r i n t e d Mu s i c Re c o g n i t i o n Pr oc e e d i n g s 2 0 03 I n t e r n a t i o n a l C o n f e r e n c e o n Ne u r a l Ne t wo r k s a n d S i g n a l P r o c e s s i n g I EEE 2 0 0 3 2 李重光 音乐基础知识 M 北京 人民音乐出版社 1 9 8 0 3 崔屹 图像处理与分析 一 数学形态学方法及应用 M 北京 科学 出版社 2 0 0 0 4 E t i e n n e S i c a r d A n E ffic i e n t Me t h o d f o r t h e R e c o g n i t i o n o f P ri n t e d Mu s i c 0 81 8 6 2 9 2 0 7 9 2 I E EE 1 9 9 2 5 大众乐谱网 h t t p w w w m y s c o r e o r s 上 接第 5 8页 2 3两种模 型 比较 传统的软件体系结构模型中 构件的非功能属性通过特定 平台映射到构件模型中 这加强了构件模型之间的依赖性 而在 面向方面软件体系结构模型中 不仅实现了功能属性和非功能 属性的分离 而且还实现了非功能属性的无缝编织 编织过程隐 含在连接件和构件端口的绑定中 与传统的体系结构模型相 比 其具有如下优点 1 对构件模型影响 本文所提出的新模型最大的优点就 图 3 面向方面软件体系结构模型 是降低了构件模型之间的依赖性 构件之间的依赖性通过构件 的 R e q u i r e 端 口 图中用 d i r r 来表示 描述 并且构件的开发者 也需要知道外部功能的确切位置或外部功能被连接的点 但是 构件通过 R e q u i r e端口描述依赖性给开发者描述接口的完整语 义带来了负担 而引入方面连接件以后 构件无需考虑外部依 赖性 的问题 而是通过 A O P中的 J o i n t p o i n t 和 P o i n t c u t 机制来实 现 另外 使用方面连接件也增强了构件的可配置能力 如果系 统中并不需要某个 构件 P r o v i d e 端 口提供 的所有功 能或者不 能 传递 R e q u i r e 端口所需要的所有参数 这样可以通过方面连接 件中的 A d v i c e来实现增加或者去除某些参数或功能 同时构 件的可配置能力增强 构件的复用性也随之增强 2 对系统影响使用方面连接件增强了系统的适应性 例如 上述实例中要在每次图书业务和管理之后增加 日志功能 只需在方面连接件 A c c e s