CN114067837B 啸叫检测方法及装置、介质和计算设备 （杭州网易智企科技有限公司）

Z.Chen等.Aneuralnetwork-basedhowlingdetectionmethocommunicationapplications本公开的实施方式提供了一种啸叫检测方检测模型基于所述待检测音频特征数据获取检通过第一啸叫检测模型基于在不同通信场景下采集的样本音频信号以及对应的啸叫标注信息叫检测模型包含依次级联的卷积神经网络和循2获取待检测音频信号，并对所述待检测音频信号进行预处理通过目标啸叫检测模型基于所述待检测音频特征数据获取检测结果其中，通过第一啸叫检测模型基于在不同通信场景下采集基于所述卷积神经网络，对所述样本音频信号的特征数据进对所述第二特征向量进行聚焦处理，输出啸叫属性概率分布向量基于所述样本音频信号的特征数据对应啸叫属性的概率对分帧后的一帧待检测音频信号进行特征提取以获得待检测音频基于指定衡量标准对所述第一啸叫检测模型中的神经元及其连接关系进行裁剪；和/或基于指定量化准则对所述第一啸叫检测模型的熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应的第一损失函数确3熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应的第二损失函数确针对不同啸叫类型，对所述卷积神经网络的卷积层参数进行丢对所述第一啸叫检测模型的模型参数进行参数正则化和/或对加窗处理后的待检测音频信号进行快速傅里叶变换以获得对应待检测通过相应频域滤波器对所述待检测频域信号进行将滤波处理后的频域信号转换到对数域以获得待检测音风和/或不同性能通信设备播放的音频信号获取所述样本音频将所述检测结果中指定啸叫属性信息对应音频信号的帧数与预设对于特定帧信号，将该帧信号在连续指定次检测中的检测结果进行均预处理模块，用于获取待检测音频信号，并对所述待检测音频信检测模块，用于通过目标啸叫检测模型基于所述待检测音频特征数据获取检测结果；其中，通过第一啸叫检测模型基于在不同通信场景下采集4训练模块，用于基于所述卷积神经网络，对所述样重采样模块，用于将所述待检测音频信号进行重采样，以使所述特征提取模块，用于对分帧后的一帧待检测音频信号进行基于指定衡量标准对所述第一啸叫检测模型中的神经元及其连接关系进行裁剪；和/或基于指定量化准则对所述第一啸叫检测模型的熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应的第一损失函数确熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应的第二损失函数确针对不同啸叫类型，对所述卷积神经网络的卷积层参数进行丢5对所述第一啸叫检测模型的模型参数进行参数正则化和/或变换子模块，用于对加窗处理后的待检测音频信号进行快速傅里叶转换子模块，用于将滤波处理后的频域信号转换到对数域以获得待检测音频特征数样本获取模块，用于通过采集麦克风和/或不同性能通信设备播放的音频信号获取所将所述检测结果中指定啸叫属性信息对应音频信号的帧数与预设对于特定帧信号，将该帧信号在连续指定次检测中的检测结果进行均令，所述处理器用于调用所述存储器存储的可执行指令执行如权利要求1至11中任一项所67[0021]基于指定衡量标准对所述第一啸叫检测模型中的神经元及其交叉熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应的第一损失函交叉熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应的第二损失函[0035]对加窗处理后的待检测音频信号进行快速傅里叶变换以获得对应待检测频域信89[0060]基于指定衡量标准对所述第一啸叫检测模型中的神经元及其交叉熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应的第一损失函交叉熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应的第二损失函[0078]样本获取模块，用于通过采集麦克风和/或不同性能通信设备播放的音频信号获理器执行时实现如上述实施例中所述的啸叫获得待检测音频特征数据；通过目标啸叫检测模型基于待检测音频特征数据获取检测结[0088]通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目[0094]图6示意性示出了根据本公开的一个实施例的实时通信场景下的语音处理流程[0096]图8示意性示出了根据本公开的一个实施例的目标啸叫检测模型的结构及处理流[0097]图9示意性示出了根据本公开的一个实施例的第一啸叫检测模型的训练过程实现器存放的过去的扬声器的输出值的多少，AEC可以消除各种延迟的回声。NS(Noise[0111]啸叫：指由于声源与扩音设备之间因距离过近等问题导据此可以根据开环传递函数的奈奎斯特图或者波特图进行系统稳定性[0121]图6中对通话质量影响较大的是3A处理中的降噪处理，降噪的噪声跟踪是有可能[0122]目前的啸叫检测方法为：通过大量训练样本训练基于机数据的时域特征或者频域特征，如log梅尔谱、MFCC(Mel-FrequencyCepstral[0129]在一些示例实施例中，对待检测音频信号进行预处理以获得待检测音频特征数采用下采样以减小数据量。例如，将待检测音频信号进行重采样，使其归一化到指定的[0135]对加窗处理后的待检测音频信号进行快速傅里叶变换以获得对应待检测频域信[0139]目标啸叫检测模型可以通过第一啸叫检测模型基于在不同通信场景下采集的样型和/或啸叫级别对应的样本数据进行特征提取，将提取的特征数据(如维度为32*1)与是[0150]在一些实施例中，通过采集麦克风和/或不同性能通信设备播放的音频信号获取叫信息以外的啸叫类型和啸叫级别信息，使得后续能够有针对性的对每类啸叫进行抑制，类的加权二值交叉熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应类的加权二值交叉熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应[0177]在一些实施例中，对所述第一啸叫检测模型的模型参数进行参数正则化和/或参[0182]本公开的啸叫检测结果可以应用于后续的啸叫抑制等处理中，例如系统麦克风[0188]步骤S1004，对分帧后的一帧待检测音频信号进行特征提取以获得待检测音频特[0191]步骤S1006，采用样本音频信号以及对应的啸叫标注信息对第一啸叫检测模型进行训练。具体地，训练过程中进行参数正则化和参数归一化，同时在每个卷积层内添加dropout模块(丢弃处理)，也可以在训练过程中或者训练结束后进行模型压缩和模型量化[0194]步骤S1009，将每次输入的多帧数据对应检测结果中指定啸叫属性信息对应音频[0216]基于指定衡量标准对所述第一啸叫检测模型中的神经元及其交叉熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应的第一损失函交叉熵损失函数确定是否含啸叫对应的第一损失信息以及采用多分类对应的第二损失函[0234]样本获取模块，用于通过采集麦克风和/或不同性能通信设备播放的音频信号获号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，[0252]可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序组件(包括存储单元1320和处理单元1310[0260]存储单元1320还可以包括具有一组(至少一个)程序模块13205的程序/实用工具计算设备1300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过显示单元1340和与显示单元1340连接的输入/输出(I/O)的一个模块或单元的特征和功能可以进一步划分为由多个模