CN119479701A 一种基于深度卷积神经网络的环境噪声声源类型识别方法及装置 （浙江省质量科学研究院）

一种基于深度卷积神经网络的环境噪声声本申请涉及环境噪声声源类型识别技术领度卷积神经网络对环境噪声数据的梅尔频谱图进而为噪声控制以及环境保护提供有力的技术2提取所述环境噪声数据的梅尔频谱特征以得到环境噪声梅对所述环境噪声梅尔频谱图像进行基于局部尺度的频谱分析以得到环境噪声梅尔频谱局部语义特征编码向量的序列；对所述环境噪声梅尔频谱局部语义特征编码向量的序列进行特征动态优化聚合以得2.根据权利要求1所述的基于深度卷积神经网络的环境噪声声源类型识别方法，其特使用图像分割器对所述环境噪声梅尔频谱图像进行图像分块处理以得到环境噪声梅将所述环境噪声梅尔频谱图像图块的序列中的各个环境噪声梅尔频谱图像图块分别输入基于深度卷积神经网络模型的声音梅尔频谱特征提取器以得到所述环境噪声梅尔频谱局部语义特征编码向量的序列。3.根据权利要求2所述的基于深度卷积神经网络的环境噪声声源类型识别方法，其特基于所述环境噪声梅尔频谱局部语义特征编码向量的序列的特基于所述环境噪声梅尔频谱局部语义特征编码向量的序列中的各个环境噪声梅尔频谱局部语义特征编码向量相对于所述环境噪声梅尔频谱局部语义伪锚定聚合中心表示向4.根据权利要求3所述的基于深度卷积神经网络的环境噪声声源类型识别方法，其特征在于，基于所述环境噪声梅尔频谱局部语义特征编码向量的序列的特征静态势能分布，将所述环境噪声梅尔频谱局部语义特征编码向量的序列中的各个环境噪声梅尔频谱局部语义特征编码向量分别输入特征静态势能度量网络以得到环境噪声梅尔频谱局部语将所述环境噪声梅尔频谱局部语义特征静态势能度量系数的序列输入特征能级筛选基于所述环境噪声梅尔频谱局部语义特征静态势能权重因子的序声梅尔频谱局部语义特征编码向量的序列的加权和以得到所述环境噪声梅尔频谱局部语5.根据权利要求4所述的基于深度卷积神经网络的环境噪声声源类型识别方法，其特频谱局部语义特征编码向量相对于所述环境噪声梅尔频谱局部语义伪锚定聚合中心表示3计算所述环境噪声梅尔频谱局部语义特征编码向量的序列中的各个环境噪声梅尔频谱局部语义特征编码向量相对于所述环境噪声梅尔频谱局部语义伪锚定聚合中心表示向量的聚合运动方向以得到环境噪声梅尔频谱局部语义聚合运行方向的序列；基于所述环境噪声梅尔频谱局部语义聚合运行方向的序列局部语义特征编码向量的序列向着所述环境噪声梅尔频谱局部语义伪锚定聚合中心表示6.根据权利要求5所述的基于深度卷积神经网络的环境噪声声源类型识别方法，其特特征编码向量和所述环境噪声梅尔频谱局部语义伪锚定聚合中心表示向量之间的反余弦7.根据权利要求6所述的基于深度卷积神经网络的环境噪声声源类型识别方法，其特将所述环境噪声梅尔频谱显著聚合特征向量输入基于分类器的环境噪声声源类型识8.根据权利要求7所述的基于深度卷积神经网络的环境噪声声源类型识别方法，其特识别模块以得到所述识别结果，所述识别结果用于表示所述环境噪声数据的声源类型标使用所述基于分类器的环境噪声声源类型识别模块的全连接层对所述环境噪声梅尔频谱显著聚合特征向量进行全连接编码以得到全连接环境噪声梅尔频谱显著聚合特征向将所述全连接环境噪声梅尔频谱显著聚合特征向量输入所述基于分类器的环境噪声声源类型识别模块的Softmax分类函数以得到9.一种基于深度卷积神经网络的环境噪声声源类梅尔频谱特征提取模块，用于提取所述环境噪声数据的梅尔频谱特征以得到环境噪声频谱分析模块，用于对所述环境噪声梅尔频谱图像进分析以得到环境噪声梅尔频谱局部语义特征编码向环境噪声特征动态优化聚合模块，用于对所述环境噪声梅尔频谱局部量的序列进行特征动态优化聚合以得到环境噪声梅尔频谱噪声识别结果确定模块，用于基于所述环境噪声梅4处理以得到环境噪声梅尔频谱图像图块的序列；声音梅尔频谱特征提取单元，用于将所述环境噪声梅尔频谱环境噪声梅尔频谱图像图块分别输入基于深度卷积神经网络模型的声音梅尔频谱特征提取器以得到所述环境噪声梅尔频谱局部语义特征编码向量的序列。5[0003]传统的声源识别方法主要依赖于物理模型或基于特征工程的手工设计特征。然提取所述环境噪声数据的梅尔频谱特征以得到环境噪声梅对所述环境噪声梅尔频谱图像进行基于局部尺度的频谱分析以得到环境噪声梅对所述环境噪声梅尔频谱局部语义特征编码向量的序列进行特征动态优化聚合6频谱分析以得到环境噪声梅尔频谱局部语义特征编码向量的序列；码向量的序列进行特征动态优化聚合以得到环境噪声梅尔频谱显[0008]本申请提供的一种基于深度卷积神经网络的环境噪声声其通过麦克风阵列采集环境噪声数据，并对其进行信号处理以生成环境噪声梅尔频谱图[0010]图1为本申请实施例的基于深度卷积神经网络的环境噪声声源类型识别方法的示[0011]图2为本申请实施例的基于深度卷积神经网络的环境噪声声源类型识别方法的数[0012]图3为本申请实施例的基于深度卷积神经网络的环境噪声声源类型识别方法中步[0013]图4为本申请实施例的基于深度卷积神经网络的环境噪声声源类型识别方法中步[0014]图5为本申请实施例的基于深度卷积神经网络的环境噪声声源类型识别方法中步[0015]图6为本申请实施例的基于深度卷积神经网络的环境噪声声源类型识别方法中步[0016]图7为本申请实施例的基于深度卷积神经网络的环境噪声声源类型识别装置的示7频谱图像进行基于局部尺度的频谱分析以得到环境噪声梅尔频谱局部语义特征编码向量态或者低信噪比的声音信号时。局部尺度的分析有助于模型学习到更多类型的声学模式，包括那些在全局视角下不易察觉的特征。这使得模型不仅能够在训练数据集上表现良好，8割器对所述环境噪声梅尔频谱图像进行图像分块处理以得到环境噪声梅尔频谱图像图块块分别输入基于深度卷积神经网络模型的声音梅尔频谱特征提取器以得到所述环境噪声梅尔频谱局部语义特征编码向量的序列。噪声梅尔频谱图像图块分别输入基于深度卷积神经网络模型的声音梅尔频谱特征提取器式识别方面具有显著优势的深度卷积神经网络模型来对所述环境噪声梅尔频谱图像图块9了保证输出特征的一致性和可比性，通常会在最后几层加入全连接层或全局平均池化层，从而实现对环境噪声信号的全局频谱特征提征编码向量的序列中的各个环境噪声梅尔频谱局部语义特征编码向量相对于所述环境噪局部语义特征编码向量的序列进行动态聚合以得到所述环境噪声梅尔频谱显著聚合特征的序列的特征静态势能分布，计算环境噪声梅尔频谱局部语义伪锚定聚合中心表示向量，尔频谱局部语义特征编码向量分别输入特征静态势能度量网络以得到环境噪声梅尔频谱态势能度量系数的序列输入特征能级筛选门控单元以得到环境噪声梅尔频谱局部语义特所述环境噪声梅尔频谱局部语义伪锚定聚合中列中的各个环境噪声梅尔频谱局部语义特征编码向量分别输入特征静态势能度量网络以得到环境噪声梅尔频谱局部语义特征静态势能度量系数的序列。[0032]V=(V,V2,..,V,..,vn}i个和第m个环境噪声梅尔频谱局部语义特征编码向量，m为所述环境噪声梅尔频谱局部语义特征编码向量的特征均值和特征方差，为所述环境噪声梅尔频谱局部语义特征编码向量的特征尺度值，ei为所述第i个环境噪声梅尔频谱局部语义特征编码向量的静态势能到环境噪声梅尔频谱局部语义特征静态势能度量系数的序列。系数的序列输入特征能级筛选门控单元以得到环境噪声梅尔频谱局部语义特征静态势能权重因子的序列。ei为所述第i个环境噪声梅尔频谱局部语义特征编码向量的静态势能度量所述环境噪声梅尔频谱局部语义伪锚定聚合中vi分别表示所述环境噪声梅尔频谱局部语义特征编码向量的序列中的第i的序列中的各个环境噪声梅尔频谱局部语义特征编码向量相对于所述环境噪声梅尔频谱征编码向量的序列进行动态聚合以得到所述环境噪声梅尔频谱显著聚合特征向量，包括：谱局部语义特征编码向量相对于所述环境噪声梅尔频谱局部语义伪锚定聚合中心表示向征编码向量的序列向着所述环境噪声梅尔频谱局部语义伪锚定聚合中心表示向量进行动态聚合以得到所述环境噪声梅尔频谱显著聚梅尔频谱局部语义特征编码向量和所述环境噪声梅尔频谱局部语义伪锚定聚合中心表示序列中的各个环境噪声梅尔频谱局部语义特征编码向量相对于所述环境噪声梅尔频谱局部语义伪锚定聚合中心表示向量的聚合运动方向以得到环境噪声梅尔频谱局部语义聚合运行方向的序列。vi分别表示所述环境噪声梅尔频谱局部语义特征编码向量的序列中的第i声梅尔频谱局部语义特征编码向量相对于所述环境噪声梅尔频谱局部语义伪锚定聚合中局部语义伪锚定聚合中心表示向量进行动态聚合以得到所述环境噪声梅尔频谱显著聚合ei为所述第i个环境噪声梅尔频谱局部语义特征编码向量的静态势能度量系数，表示所述第个环境噪声梅尔频谱局部语义特征编码向量相对于所述环境噪声梅行分类决策。这种方式确保了识别过程直接依赖于经过精细分析和高度抽象的声音特征，对所述环境噪声梅尔频谱显著聚合特征向量进行全连接编码以得到全连接环境噪声梅尔分类器的环境噪声声源类型识别模块的Softmax分类函数以计算所述环境噪声梅尔频谱显著聚合特征向量的所有特征值的绝对值之和以获fi表示所述环境噪声梅尔频谱显著聚合特征向量的第i个特征值，n表示所述环境噪声梅尔频谱显著聚合特征向量的特征值总数，p1表示第一环境噪声梅尔频谱显噪声梅尔频谱显著聚合空间结构值减去所述特征值与所述环境噪声梅尔频谱显著聚合特征向量的特征值总数的乘积以获得的第一环境噪声梅尔频谱显著聚合长程依赖值计算所述特征值总数的平方根乘以所述特征值的乘积减去所述第二环境噪声梅尔频谱显著聚合空间结构值以获得的第二环境噪声梅尔频谱显著聚合长程依赖值将所述第一环境噪声梅尔频谱显著聚合长程依赖值作为自然常数的指数计算得到的指数值与所述第二环境噪声梅尔频谱显著聚合长程依赖值的倒数进行加权求和以获和表示加权超参数，f表示每个特征值对应的优化特征值；将所述优化特征值组成的优化的环境噪声梅尔频谱显著聚合特征向量通过基于梅尔频谱局部语义特征编码向量分别表示环境噪声梅尔频谱图像经图像分块处理确定的使得所述环境噪声梅尔频谱显著聚合特征向量具有梅尔谱图像语义特征融合分布空间结可能存在的空间结构缺失导致图像语义分类回归基于特征地隐含推断空间结构信息的收[0064]图7为本申请实施例的基于深度卷积神经网络的环境噪声声源类型识别装置的示征提取模块120，用于提取所述环境噪声数据的梅尔频谱特征以得到环境噪声梅尔频谱图合模块140，用于对所述环境噪声梅尔频谱局部语义特征编码向量的序列进行特征动态优用图像分割器对所述环境噪声梅尔频谱图像进行图像分块处理以得到环境噪声梅尔频谱序列中的各个环境噪声梅尔频谱图像图块分别输入基于深度卷积神经网络模型的声音梅尔频谱特征提取器以得到所述环境噪声梅尔频谱局部语义特征编码向型识别装置中的各个模块和