CN115083431B 回声的消除方法、装置、电子设备及计算机可读介质 （北京达佳互联信息技术有限公司）

信号以及所述参考信号输入所述滤波器进行线对所述残差信号进行干扰信号消除以及有效信用信号处理方法消除原始音频信号中的线性回2获取原始音频信号以及滤波器进行回声消除所将所述原始音频信号以及所述参考信号输入所述滤波器进行线性回声滤波基于目标模型对所述残差信号进行干扰信号消除以及有效信获取多组训练数据，其中每组所述训练数据中包含原始音频训将各组所述训练数据中的所述残差训练数据和所述参考训练数据作为第根据所述第一训练数据得到对应的频域特征训练数据，并将所述根据所述残差训练数据的样本频谱和所述音频样本时频掩码得到增强后的目标音频根据所述增强后的目标音频信号的样本频谱和所述干扰信号的样本频谱确定频谱距根据所述频谱距离损失和所述信噪比损失得到整体损失，并根将各组所述训练数据中的所述原始音频训练数据和所述参考训练数据作为第二训练数据，并按照预设数据比例根据所述第一训练数据和所述第二训练数据得到混合训练数根据所述原始音频信号和所述线性回声信号的估计值之间的差值根据所述残差信号和所述参考信号得到所述原始音频信号对将所述频域特征输入预先训练的目标模型中，得到目标音频信号根据所述残差信号的频谱和所述音频信号时频掩码得到目将所述参考训练数据与所述滤波器的初始滤波器权重进行卷积3根据所述原始音频训练数据和所述线性回声预测数据之间的差值得到残根据所述残差预测数据和所述残差训练数据之间的差异对所述滤波器的初始滤波器根据各组所述训练数据中的所述参考训练数据和所述原始音频训练数据得到测试数根据所述残差训练数据的样本频谱和所述增强后的目标音频信号的样本频谱确定音获取训练数据中的干扰训练数据，并根据所述干扰训练数根据所述音频频谱距离损失和所述干扰频谱距离损失得到获取由用户端麦克风采集到的所述原始音频训练数据，其中，对所述原始音频训练数据进行变速处理、混响处理以及延迟处理，根据所述原始音频训练数据以及对应的所述模拟回声数据之间的差值得到所述原始音频信号获取模块，被配置为执行获取原始音频信号以及滤线性回声消除模块，被配置为执行将所述原始音频信号以及干扰信号消除模块，被配置为执行基于目标模型对所频域特征训练数据输入初始神经网络模型中，得到音频样本时频掩码和干扰样本时频掩4数据，并按照预设数据比例根据所述第一训练数据和所述第二训练数据得到混合训练数线性回声估计单元，被配置为执行将所述参考信号与所述线性回声消除单元，被配置为执行根据所述原始音频频域特征确定单元，被配置为执行根据所述残差信号和所述参考信时频掩码确定单元，被配置为执行将所述频域特征输入预先信号频谱确定单元，被配置为执行根据所述残差信号的频信号频谱转换单元，被配置为执行将所述目标音频信号的频谱转线性回声预测数据确定单元，被配置为执行将所述参考训练残差预测数据确定单元，被配置为执行根据所述原始音频训滤波器权重迭代单元，被配置为执行根据所述残差预音频频谱距离损失确定单元，被配置为执行根据所述残差训干扰频谱距离损失确定单元，被配置为执行获取训练数据中所述干扰训练数据的样本频谱和所述干扰信号的样本频谱确定干扰频谱频谱距离损失确定单元，被配置为执行根据所述音频频谱距离损失和所原始音频训练数据获取单元，被配置为执行获取由用户端麦克5模拟回声数据生成单元，被配置为执行对所述原始音频训练数据进行残差训练数据生成单元，被配置为执行根据所述原始音频训练数据拟回声数据之间的差值得到所述原始音频训练数据对应的其中，所述处理器被配置为执行所述指令，以实现如权利要求16.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处行时实现如权利要求1至7中任一项所述的回声6[0003]回声现象是由扬声器的声音反馈到麦克风引起的，如果[0009]将所述原始音频信号以及所述参考信号输入所述滤波器7[0022]根据所述原始音频训练数据和所述线性回声预测数据之间的差值得到残差预测[0023]根据所述残差预测数据和所述残差训练数据之间的差异对所述滤波器的初始滤[0025]将各组所述训练数据中的所述残差训练数据和所述参考训练数据作为第一训练[0026]将各组所述训练数据中的所述原始音频训练数据和所述参考训练数据作为第二[0029]根据各组所述训练数据中的所述参考训练数据和所述原始音频训练数据得到测[0032]根据所述残差训练数据的样本频谱和所述音频样本时频掩码得到增强后的目标[0033]根据所述增强后的目标音频信号的样本频谱和所述干扰信号的样本频谱确定频[0036]根据所述残差训练数据的样本频谱和所述增强后的目标音频信号的样本频谱确8[0042]根据所述原始音频训练数据以及对应的所述模拟回声数据之间的差值得到所述[0052]时频掩码确定单元，被配置为执行将所述频域特征输入[0054]信号频谱转换单元，被配置为执行将所述目标音频信号[0055]在本公开的一种示例性实施例中，所述回声的消除装置9[0060]在本公开的一种示例性实施例中，所述回声的消除装置还包括目标模型训练模得到整体损失，并根据所述整体损失对所述初始神经网络模型中的神经网络参数进行迭所述增强后的目标音频信号的样本频谱确定音频频谱根据所述干扰训练数据的样本频谱和所述干扰信号的样本频谱确定干扰[0077]模拟回声数据生成单元，被配置为执行对所述原始音频训练数据进行变速处理、述模拟回声数据之间的差值得到所述原始音频训练数据对应的残差程序被处理器执行时实现上述任意一项所述的[0088]图3示出了本公开示例实施方式的消除原始音频信号中的线性回声信号的流程示[0093]图8示出了本公开示例实施方式的第一训练数据对初始神经网络模型进行训练的[0095]图10示出了适于用来实现本公开实施方式的电子设备的计算机系统的结构示意[0098]以下示例实施方式能够以多种形式实施，且不应被理解为限或描述公知技术方案以避免喧宾夺主而使得本公开的各方面[0104]步骤S120.将原始音频[0105]步骤S130.基于目标模型对残差信号进行干[0109]图2为根据本公开的一个具体实施方式中的回声消除系统的示意图。在该回声消[0113]其中*表示卷积操作。非线性回声信号为远端参考信号在多路径传播后被近端麦的自适应滤波方法消除d(t)中的线性回声信号y(t)，得到残差信号e(t)，然后通过RES[0116]在步骤S120中，将原始音频信号以及参考信号输入滤波器进行线性回声滤波处[0118]步骤S310.将参考信号与滤波器[0119]对于输入的远端参考信号r(t)，将其与自适应滤波器的滤波器权重h(t)进行卷[0120]步骤S320.根据原始音频信号和线性[0121]根据原始音频信号d(t)和线性回声信号的估计值r(t)*h(t)之间的差值，即可得[0123]在步骤S130中，基于目标模型对残差信号进行干扰信号4所示，基于目标模型对残差信号进行干扰信号消除以及有效信号增强，得到目标音频信[0129]步骤S420.将频域特征输入预先训练[0135]最后，再利用目标音频信号的相位，将增强后的目标音频信号的频谱使用ISTFT[0140]首先，需要根据需求准备训练自适应滤波器和神经网络模型所需的多组训练数[0145](2)对原始音频训练数据中的原始语音训练数据增加带有变速和混响的数据，用[0148]步骤S520.将参考训练数据与滤波器的[0150]步骤S530.根据原始音频训练数据和线性回声预测数据之间的差值得到残差预测[0152]步骤S540.根据残差预测数据和残差训练数据之间的差异对滤波器的初始滤波器[0154]本示例实施方式中，如图6所示，目标模型的训练方法具体可以包括以下几个步[0155]步骤S610.将各组训练数据中的残差训练数据和参考训练数据作为第一训练数[0156]图7为根据本公开的一个具体实施方式中的神经网络模型的示意图。该神经网络模块(GRUblock)，每个卷积模块由一个Conv2D(二维卷积模块)、批标准化模块BN(Batch[0158]本示例实施方式中，可以将线性回声消除部分与神经网络模型的训练过程相结[0160]本示例实施方式中，如图8所示，根据第一训练数据对初始神经网络模型进行训[0161]步骤S810.根据第一训练[0163]步骤S820.根据残差训练数据的样本频谱和音频样本时频掩码得到增强后的目标[0165]目标音频信号的样本频谱＝maskspeech*残差训练数据的样本频谱[0166]步骤S830.根据增强后的目标音频信号的样本频谱和干扰信号的样本频谱确定频[0168]本示例实施方式中选择了两种loss(损失)函数，分别为OSISNR(Optimalscale-invariantsignal-to-noiseratio，最优尺度不变信噪比)函数与CSD(CompressedOSISNR和频谱距离损失，和lcsn,代表干扰部分的OSISNR和频谱距离损失。S(t,f)[0174]步骤S840.根据频谱距离损失和信噪[0176]步骤S620.将各组训练数据中的原始音频训练数据和参考训练数据作为第二训练置可以包括音频信号获取模块910、线性回声消除模块920以及干扰信号消除模块930。其[0185]音频信号获取模块910被配置为获取原始音频信号以及滤波器进行回声消除所需[0186]线性回声消除模块920被配置为将原始音频信号以及参考信号输入滤波器进行线[0187]干扰信号消除模块930被配置为基于目标模型对残差信号进行干扰信号消除以及[0188]在本公开的一些示例性实施例中，线性回声消除模块920可以包括线性回声估计[0190]线性回声消除单元被配置为根据原始音频信号和线性回声信号的估计值之间的[0191]在本公开的一些示例性实施例中，干扰信号消除模块930可以包括频域特征确定[0192]频域特征确定单元被配置为根据残差信号和参考信号得到原始音频信号对应的[0194]信号频谱确定单元被配置为根据残差信号的频谱和音频信号时频掩码得到目标[0198]线性回声预测数据确定单元被配置为将参考训练数据与滤波器的初始滤波器权[0199]残差预测数据确定单元被配置为根据原始音频训练数据和线性回声预测数据之[0200]滤波器权重迭代单元被配置为根据残差预测数据和残差训练数据之间的差异对[0202]初始神经网络模型训练单元被配置为将各组训练数据中的残差训练数据和参考[0203]混合训练数据确定单元被配置为将各组训练数据中的原始音频训练数据和参考[0204]第一神经网络模型训练单元被配置为根据混合训练数据对第一神经网络模型进[0207]样本时频掩码确定单元被配置为根据第一训练数据得到对应的频域特征训练数[0208]样本频谱确定单元被配置为根据残差训练数据的样本频谱和音频样本时频掩码[0209]网络损失确定单元被配置为根据增强后的目标音频信号的样本频谱和干扰信号[0210]神经网络参数迭代单元被配置为根据频谱距离损失和信[0212]音频频谱距离损失确定单元被配置为根据残差训练数据的样本频谱和增强后的扰训练数据的样本频谱和干扰信号的样本频谱确[0214]频谱距离损失确定单元被配置为根据音频频谱距离损失和干扰频谱距离损失得[0216]原始音频训练数据获取单元被配置为获取由用户端麦克风采集到的原始音频训[0218]残差训练数据生成单元被配置为根据原始音频训练数据以及对应的模拟回声数[0219]上述回声的消除装置中各模块/单元的具体细节在相应的方法实施例部分已有详读存储器(ROM)1002中的程序或者从存