CN115171705B 一种语音丢包补偿的方法、语音通话的方法及装置 （阿里巴巴云计算(北京)有限公司）

US2019051310A1,2019本发明实施例提供了一种语音丢包补偿的并采用目标生成对抗网络对语音数据进行丢包网络中采用排序在第一语音帧之前的第二语音2在进行丢包补偿的过程中，针对所述语音数据中存在数其中，在针对所述语音数据中存在数据丢失的第一语在训练所述目标生成对抗网络的过程中，采用所述生成器对存3.根据权利要求2所述的方法，其特征在于，所所述目标生成对抗网络的生成对抗损失、时域波形的损失、多分辨在进行丢包补偿的过程中，针对所述语音数据中存在数3其中，在针对所述语音数据中存在数据丢失的第一语述学生模型用于对存在数据丢失的语音数据进行编码并预测完整的数第一丢包补偿模块，用于获取语音数据，并采用所述目第一语音帧重构模块，用于在进行丢包补偿的过程中，针对第一掩码设置模块，可以用于对处理单元语音数据中语音帧据丢失的语音数据进行编码并预测完整的数第二语音帧重构模块，用于在进行丢包补偿的过程中，针对第二掩码设置模块，可以用于对语音数据中语音帧设置掩码所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求14[0013]可选地，生成器具有采用U_net结构的编码器和解码器，编码器用于提取语音特56[0051]用户通过客户端200可与服务端100进行交互以接收其它客户端200发送的数据，7端发送的数据进行处理的服务器等。服务端100可以实现成多个服务器组成的分布式服务音丢包补偿的方法及语音通话的方法还可以是由客户端与服务端8Canceller)、自动噪声控制(ANS，AutomaticNoiseSuppression)、自动增益控制(AGC，[0063]而在深度学习领域，存在生成对抗网络(GAN，GenerativeAdversarial深度学习的丢包补偿算法的工作框架可以包括是离线处理框架和实时未来的j+m帧一起送入深度学习网络去生成第j9[0075]在本发明一实施例中，编码器和解码器之间可以采用瓶颈层(Bot级的处理单元之间可以设置有层间跳跃连接(Skip-Connection)，进而可以允许相位或对频，然后对折叠后的数据进行2-D卷积，但其每个通道上的折叠数据混合了不同频率的伪对存在数据丢失的样本数据进行编码并预测完整的[0086]在本发明一实施例中，目标生成对抗网络的损失函数可根据真实无损的音频信号和有损的音频信号，计算得到目标生成对抗网络的生成对抗损[0089]多分辨率的短时傅立叶变换损失可以根据谱收敛损失和对数STFT幅度谱损失得[0093]步骤203，在进行丢包补偿的过程中，针对语音数据中存在数据丢失的第一语音[0094]为了兼容在低功耗的移动设备上处理实时音频流，目标生成对抗网络需要体积国际电信联盟的标注化代号为ITU-TP.862，通过采用感知客观听力质量分析(POLQA，PerceptualObjectiveListeningQualityAnalysis)算法对客观语音质量评估提供一[0108]步骤602，在进行丢包补偿的过程中，针对语音数据中存在数据丢失的第一语音[0115]在本发明一实施例中，目标生成对抗网络的损失函数可理单元目标生成对抗网络可以采用处理单元生成器和处理单元鉴别器对抗的方式进行训失的样本数据进行丢包补偿，并采用处理单元生成器对丢包补偿后的样本数据进行鉴别，[0130]在本发明一实施例中，处理单元生成器可以具有采用U_net结构的编码器和解码[0147]在本发明一实施例中，目标生成对抗网络的损失函数可行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中[0158]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程包括优选实施例以及落入本发明实施例范围的所有变