CN119446180A 一种基于多层神经网络的多声音事件检测方法 （哈尔滨理工大学）

一种基于多层神经网络的多声音事件检测一种基于多层神经网络的多声音事件检测和双向门控循环网络的弱标记多声音事件检测2S3、在利用PCS结构形成高级特征信息的基础上，构建ME_AttCapS4、在BiGRU模块获取上下文信息之后使用具有sigmo积核大小分别是3x3,5x5,7x7。卷积核大小在频明采用残差网络结构将CapsNet网络与注意力机制结合，构建AttCapsule模块。其中号和低频信号分别转换成对数Mel频谱图，若只是将三者简单相加势必会导致多声音信号信号和低频信号分别转换成对数Mel频谱图，并运用PSC结构提取和融合对数Mel频谱图的不同特征信息形成高级特征信息，构建ME_AttCapsNet_BiGRU多声音事件检测模型。在3BiGRU模块获取上下文信息之后使用具有sigmoid激活函数的前馈层来获得每帧事件活动4[0002]声音事件检测(SoundEventDetection,SED)是一种通过在声音信号中准确标记性为实时处理和构建听觉场景提供了可能，使得这项技术的应用极为广泛。SED在安全监[0003]SED可以分为单声音事件检测和多声音事件检测两种。单声音事件检测一般是指[0004]在过去，许多工作已经在SED中完成。用于SED的分类器包括如隐马尔可夫模型(HiddenMarkovModel,HMM)、非负矩阵分解(Non_negativeMatrixFactorization,NMF)、支持向量机(SupportVectorMachine,SVM)、多层感知机(Multi_LayerPerceptron,MLP)和高斯混合模型(GaussianMixtureModel,GMM)。尽管它们的性能很有短期记忆网络(LongShort_TermMemory,LSTM)等发展到混合模型：卷积循环神经网络[0007]对于弱标记SED，多实例学习(MultiInstanceLearning,MIL)是5经网络(ConvolutionNeuralNetworkRNN)及其组合的方法在弱标记SED任务中表现出最先进的性能。一种带有可学习门控线性弱标记数据，无法进行准确的误差计算来更新BLSTM的参数。作者引入了连接时序分类务中取得了先进的结果。CRNN是由CNN和循环神经网络(RerrentNeuralNetwork,RNN)组6赖性的能力特点，本发明采用残差网络结构将CapsNet网络与注意力机制结合，构建个解码器，每个编码器和解码器中使用的是多头注意力机制，多头注意力机制设置为8个势必会导致多声音信号特征的信息冗余或信息失真，综上考虑利用PSC结构来处理不同维其分为LF组和HF组，然后将HF组经AMM算法转换后重构成高频信号和将LF组重构成低频信件之间的重叠和弱标记数据集数据稀缺性问题，基于经验模态分解算法(EmpiricalModeDecomposition,EMD)、胶囊网络(CapsuleNetwork,CapsNet)，注意力机制(Attention提出自适应平均中位数经验模态分解_注意力胶囊双向门控循环多层卷积神经网络(AdaptiveMeanMedian_EmpiricalModeDecomposition_AttentionCapsuleBidirectionalGatedRecurrentMultilayerConvolutionalNeuralNetwork,ME_胶囊网络(AttentionCapsuleNetwork,AttCapsNet)模块和BiGRU模块三个模块，具体而特征提取模块中，本发明使用AMM_EMD算法对声音信号进行预处理，丰富声音事件特征信息，并引入了一个带有循环层的早期基于融合的并行卷积结构(ParallelConvolutional不足导致无法充分利用深度复杂的神经网络和多声音事件存在声音事件重叠这两个问题，7实施方式的基于多层神经网络的多声音事件检测方法是首先，将多声音信号经EMD变换获IMF分为低频信号LF组和高频信号HF组，利用自适应平均中位数阈值方法将HF组中的所有[0038]根据CapsNet网络强大的泛化能力和注意力机制捕捉全局依赖性的能力特点，本8发明采用残差网络结构将CapsNet网络与注意力机制结合，构建AttCapsule模块。在1层的第j个胶囊将接收ui并计算其与相应转换矩阵Wij，产生的结果向量in即为l层胶囊i9[0049]同时为了获取上下文信息，本发明采用具有时间分布的全连通层的BiGRU作为致多声音信号特征的信息冗余或信息失真，综上考虑利用PSC结构来处理不同维度的特征寸的卷积核，可以使原始特征具有不同的分辨率。在卷积层后使用最大池化来降低维度。[0053]本实施根据CapsNet网络强大的泛化能力和注意力机制捕捉全局依赖性的能力特号和低频信号分别转换成对数Mel频谱图，并运用PSC结构提取和融合对数Mel频谱图的不同特征信息形成高级特征信息，并将其输入所构建的ME_AttCapsNet_BiGRU多声音事件检[0060]本发明使用DCASE2017任务4提供的弱标注数据集进行