CN116010902B 基于跨模态融合的音乐情感识别方法及系统 （复旦大学）

基于跨模态融合的音乐情感识别方法及系统一种基于跨模态融合的音乐情感识别方法及系统。本发明方法包括获取待识别音乐的音乐信序列；将特征融合序列输入到Transformer2所述2D_CNN(2_DimensionalConvolutionalNeuralNetwork，二对所述片段等长的特征序列中的片段进行位置编码，得到具有位置编2.根据权利要求1所述的音乐情感识别方法，其特TransformerEncoder是一个6层的TransformerEncoder；Transformer机构由多头自注意3将所述融合后的音乐情感特征输入预训练的全连接分类器，5.一种基于权利要求1_4之一所述音乐情感识别方法的基于跨模态融合的音乐情感识预处理模块，用于对所述音乐情感特征进行预处理，得到具有位置编融合模块，用于将所述特征融合序列输入预训练的TransformerEn预测模块，用于将所述融合后的音乐情感特征输入预训练的全连接这5个模块执行基于跨模态融合的音乐情感识别方法6.一种电子设备，其特征在于，包括存储器理器执行时实现如权利要求1至4中任一项所述的基于跨模态融合的音乐情感4[0002]音乐情感识别(MER)是指识别给定音乐片段所包含的情感信息的任务，其输入是模型学习音频中的隐式特征(latentfeatures)。Mion等人使用特征选择方法和主成分分信息与音乐情感高度相关。Schmidt等人将频谱质心，MFCC(MelFrequencyCepstrumGaussianMixtureModel)学习音乐中的隐式特征的方法，并将其取名为高斯声学情感模2017年仍被Chen等人应用在情感识别方法中。除了AEG以外，支持向量机(SVM，Support[0006]自深度学习方法逐渐发展成熟，近年来地音乐情感识别研究大多基于深度学在2016年，Li等人提出了一个基于DBLSTM(DeepBidirectionalLongShortTerm和RNN(RecurrentNeuralNetwork，循环神经网络)仍是音乐情感识别中的主流，2019年5BoltzmannMachine)的多模态情感[0008]近年来比较具有代表性的多模态情感方法是由Delbouys等人在2018年提出的，[0019](4)将所述特征融合序列输入预训练的Transfor[0020](5)将所述融合后的音乐情感特征输入预训练的全连接分类器，得到预测的音乐6[0024](3)将调整后的频谱图输入预训练的2D_CNN模型进行音频特征提取，得到音频特[0035](3)对所述片段等长的特征序列中的片段进行位置编码，得到具有位置编码的特征融合序列。[0038]进一步地，步骤(4)中所述的TransformerEncoder是一个6层的Transformer输入是特征融合序列(多模态融合的嵌入表示合序列；7被处理器执行时实现上述的基于跨模态融合的音乐8起来，计算拼接后文本信息对应的词嵌入表示，具体地，可以使用Transformers库中的BertEmbeddings()函数进行快捷的计算，将输入的文本信息转化为BERT模型可以处理的[0076]步骤S32：将转换为一维向量的音乐情感特征进行切分，得到片段等长的特征序9的嵌入表示序列即为具有位置编码的特征融合序列。音乐情感特征。具体地，预训练的TransformerEncoder是一个6层的Transformer输入是特征融合序列(多模态融合的嵌入表示的TransformerEncoder、初始预训练的2D_CNN、预训练的BERT模型和初始预训练的Resnet50；模型中初始预训练的TransformerEncoder、初始预训练的2D_CNN、预训练的BERT模型和初始预训练的Resnet50加载开源的预[0085]对该音乐情感识别模型进行整体训练时，音乐信息均可以在音乐的数据库中获型的整体训练过程中无需更新其参数，并且在对该音乐情感识别模型的进行整体训练时，预训练的Resnet50的整体模型，在对该音乐情感识别模型训练的过程中，初始预训练的TransformerEncoder、初始预训练的2D_CNN和初始预训练的Resnet50的参数会得到自适[0089]1.本发明提供的基于跨模态融合的音乐情感识别方法能更高效地利用除了音频[0090]2.本发明提供的基于跨模态融合的音乐情感识别方法使用的特征提取模型多为[0091]3.本发明提供的基于跨模态融合的音乐情感识别方法在某些输入缺省时仍可以[0092]4.本发明提供的基于跨模态融合的音乐情感识别方法使用了拥有较高性能的跨模态Transformer进行各个模态特征的融合，相比现存使用跨模态注意力或直接特征拼接合序列。序，所述处理器运行计算机程序以使电子设备执行实施例1的基于跨模态融合的音乐情感算机程序被处理器执行时实现实施例一的基于跨模态融合[0106]将本发明所提出的方法在MSDD(MillionSongDatasetannotatedbyDeezer)[0110][1]VaswaniA,ShazeerN,ParmarN,etal.Attentionisallyouneed[J].Advancesinneuralinformationpro[0111][2]DevlinJ,ChangMW,LeeK,etal.Bert:Pre_trainingofdeepbidirectionaltransformersforlanguageunderstanding[J].arXivpreprintarXiv:1810.04805,2018.imagerecognition[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016:770_778.[0113][4]DelbouysR,HennequinR,PiccoliF,etal.MusicMoodDetectionBasedOnAudioAndLyricsWithDeepNeuralNet[J].2018.[0114][5]ZhaoJ,RuG,YuY,etal.Multimodalmusicemotionrecogniti