音乐结构分析(MusicStructureAnalysis).pptx

,基于异常点监测和相似度计算的 音乐结构分析算法研究 Music Structure Analysis by using Novelty Detection and Similarity Calculation 顾旻玮 07300720293 指导老师：凌力,Contents,Conclusion,Evaluation,Demo Realization,Algorithm Design,Abstract,Contents,Conclusion,Evaluation,Demo Realization,Algorithm Design,Abstract,课题背景和选题意义,课题背景 Computer Music - MIR 音乐结构分析的定义： 将一段音频内容分成时序上的一些音乐片段，并把它们归类到音乐上有意义的结构分类中去 （intro，verse，chorus，bridge，outro） 选题意义,Publishers,listeners,researchers,应用开发,试听功能，互动交流,前处理，研究样本,Composers,版权保护,研究工作内容,Contents,Conclusion,Evaluation,Demo Realization,Algorithm Design,Abstract,研究现状,三类典型算法 Novelty（异常点） 寻找音乐四要素变化和对比较大的点 Repetition（相似度） 寻找音乐四要素的重复片段 Homogeneity（聚类） 将相同的语义结构组进行聚类 国内相关研究概述 音色单元分布-非监督聚类 (homogeneity) PCP特征+余弦距离-相似度计算(repetition),旋律，节奏 歌词，编曲,算法流程概述,输入 音频,输出 副歌段落,输出结构分析结果,分帧： 节拍线分割,特征提取： Chroma & MFCC,结构划分： 基于自相似度计算和异常点检测,维度转换： 自距离矩阵计算,候选副歌打分： 基于能量，位置，平均距离,片段语义标注： 最佳路由算法,测试歌曲：风雨十载,节拍线分割 Onset Detection,音符开端检测(Onset detection) Onset, Attack, Transient的区别,节拍线分割 Onset Detection,音符开端检测(Onset detection),考虑要素 Amplitude（幅度）& Phase（相位）； 某一段音频中第m帧的 第k维信息表示如下： 计算某点实际和期望的 欧氏距离 帧内求和，取阈值， 得onset点,节拍线分割 动态规划,节拍线分割动态规划 两个先验原则： 流行歌曲的节拍局部恒定； 节拍的开端通常是音符的开端 目标函数：寻找基于onset点重合且基本节拍恒定的路径,特征提取MFCC,MFCC简介 基于心理声学中的人耳听觉特性 语音识别的基础特征 在音乐信息中通常作为音色描述子（descriptor） MFCC的提取关键步骤 frame blocking-windowing-FFT-filtering-IDCT 输出后与节拍同步，取对数能量+12阶系数,特征提取MFCC,MFCC的提取步骤,Start,预加重,分帧,加窗,快速傅里叶变换,三角带通滤波,反离散余弦变换,求对数能量,output,求差分参数,特征提取Chroma,Chroma简介 基于十二平均律的音高向量特征 反映音乐信息中的音高和声分布（权重） 倍频部分（高低八度）映射到同音名不同音高的基频频率带 一般采取基准：A4=440Hz Chroma的提取关键步骤 Resampleling-frame blocking-DFT-mapping-post-processing 输出后与节拍同步，取12阶系数,特征提取Chroma,Start,Chroma output,重采样,离散傅里叶变换（DFT）,在频域上映射到一个12维频率带中,修正后处理,分帧,特征提取特征时序图,结构划分自距离矩阵,SDM简介 计算向量之间的距离 常用于比较局部相似性,MFCC,Chroma,结构划分异常点检测,结构划分相似度计算,片段语义标注副歌提取,候选片段打分 取最高分输出，将输出点延展或压缩至最近的Novelty点上,Chorus,出现在整首歌的3/4处,重复出现3次以上,出现在整首歌的1/4处,平均能量较高,平均距离较小,包含人声,片段语义标注其他段落划分,基于重复片段的粗略划分 Verse 采用与副歌提取相似的方法，打分权值稍做更改 Intro 定位主歌后，取verse1前面的无人声部分作为intro Outro 定位副歌后，取verse2/3后面开始的无人声部分作为outro 缺陷 （1）人声检测本身的正确率 （2）后者定位极度依赖前者的准确程度,片段语义标注其他段落划分,异常点最佳路由算法 Onset-Beat-Novelty Segmentation-Group-Labeling 对于之前提取的重复片段，在它们之间的Novelty点可以去掉， 对于其它的novelty点，距离少于16个beat的点可以去掉 对于剩下的点（应当远远小于30）再进行测量，计算复杂度将大大降低,Contents,Conclusion,Evaluation,Demo Realization,Algorithm Design,Abstract,算法实现,Researcher Toolbox的使用 底层的节拍线分割和特征提取采用各工具箱函数 之前工作的结合 编写了部分验证特征和模型的测试程序 COM控件调用 打包函数，,需求分析,传递参数设定 输入参数：readDir，writeDir，wavname, minnum，debug，method，output_opt 输出参数：iTime，cTime，vTime。oTime 界面设计,界面演示,Contents,Conclusion,Evaluation,Demo Realization,Algorithm Design,Abstract,实验测试 标准设定,评价体系 不同特征运用和后处理过程比较设定 不同的特征：chroma，MFCC，chroma+MFCC 不同的后处理过程：打分输出的标准采用 计算时间比较 数据库选择 52首不同风格的华语流行歌曲 实验室数据库中2000首G字母开头的歌曲,实验测试 I,实验测试 II,结果分析,主要结论 验证了算法的有效性 比较了不同的特征，后处理方法对于性能的影响 不同类型歌曲的提取建议 测试方面的后续工作 增加语义标注测试和F-Measure的准确评估 统一数据库,Contents,Conclusion,Evaluation,Demo Realization,Algorithm Design,Abstract,总结与展望,总结 基于异