CN114512114B 基于概率扩散模型的声学模型后处理方法、服务器及可读存储器 （浙江大学）

本发明公开了一种基于概率扩散模型的声法通过学习输入的预测频谱和真实频谱之间的法针对各种声学模型得到的频谱都可以起到频2隐向量采样点与步骤S12生成的预测频谱计算损失函数Lm，并通过概率扩散模型中的噪声高斯分布，均值记为Hars方差记为oas根据其与步骤S13得到的均值和方差计算损后的损失函数计算公式为L＝Lmλm+Lnλn；好的噪声估计网络权重得到当前步数t下分布的均值ar和方差ours然后逐步实现概率分步骤S11所取的声学参数具体为：最小频率和最大频率分别是0和8000Hz，采样率为所述的对齐搜索的方法设计为将三个音素作为一个单位，下一个3步骤S12中的对音素序列编码，使用基于多头注意力机制和一维卷积的运算作为一个编码所述使用时长信息将音素序列对齐到梅尔频谱的长度，包括：所述序列解码同样基于4层多头注意力机制和一维卷积结合的解码器结构，并在解码步骤S13中所述扩散步数为1000步，所述随扩散步数t而变化的噪声系数#t的计算公式为#t所述条件概率的数据分布的均值和方差计算步骤S14中所述的噪声估计网络使用2个4层的二维卷积结构，第一个4层的二维卷积结构执行时实现如权利要求1至8中任一项所述的基于概率扩散模型的声学模型后处理方法的4梅尔频谱和音素序列使用对齐搜索的方法获得5空间隐向量采样点与步骤S12生成的预测频谱计算损失函数Lm，并通过概率扩散模型中的[0013]S21、将预测频谱作为概率扩散空间的均值，以多元随机高斯分布的方差作为方训练好的噪声估计网络权重得到当前步数t下分布的均值Hac和方差ours然后逐步实现概[0015]进一步地，步骤S11所取的声学参数具体为：最小频率和最大频率分别是0和[0019]所述序列解码同样基于4层多头注意力机制和一维卷积结合的解码器结构，并在tt0+(1-0)t01分别取值为0.05和20。6在每层的上采样计算时会将当前结果与对应分辨率的下采样隐序列在时间维度上进行并[0027]进一步地，步骤S21中在使用训练好的模型进行反向概率扩散时，预设的步数为[0032](1)通过基于概率扩散模型的设计使模型学习到预测频谱和真实频谱之间的差[0033](2)通过合理的模型和参数设计及模型训练使合成的优化频谱能够得到自然度更7梅尔频谱和音素序列使用对齐搜索的方法获得空间隐向量采样点与步骤S12生成的预测频谱计算损失函数Lm，并通过概率扩散模型中的加权后的损失函数计算公式为L＝Lmλm+Lnλ[0046]S21、将预测频谱作为概率扩散空间的均值，以多元随机高斯分布的方差作为方训练好的噪声估计网络权重得到当前步数t下分布的均值和方差ours然后逐步实现概[0049]所述的特定英文数据集是语音领域公开的学术数据集，包含了13100条单说话人8[0052]步骤S12中的对音素序列编码，使用基于多头注意力机制和一维卷积的运算作为[0054]所述序列解码同样基于4层多头注意力机制和一维卷积结合的解码器结构，并在t0+(1-0)t01分别取值为0.05和20。(x1,x2,…,xN)，则在第一个4层的二维卷积结构中，每层下采样的输出表示为x1＝(x1,采样隐序列的长度将缩减为原来的即对应长度分别为和在第二个4层的二优化预测频谱更加接近真实频谱，因此通过后处理进一步提升了声学模型合成频谱的质9指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行基于概率扩散模型的声学模型后易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM