CN119495307A 语音信号解码方法和装置及电子设备 （华为技术有限公司）

本申请提供一种语音信号解码方法和装置风格特征进行风格融合得到的语音特征能够还2从所述声学特征编码结果中获取风格特征，所述风格特征用于指示所述所述通过激励网络获取所述激励特征，还包括：通过所述短时傅所述通过所述第一卷积模块对所述激励信号进行卷积处理，包括通过风格网络从所述声学特征编码结果中获取所通过所述第一上采样模块对所述声学特征编码结果进行上采样，以通过所述第二卷积模块对所述声学特征上采样结果进行卷积处通过所述第一上采样模块对所述声学特征编码结果进行上采样，以8.根据权利要求1至7中任一项所述的方法，3将所述风格特征和所述激励特征分别输入生成器，通过生成器所述通过所述生成器对所述风格特征和所述激励特征进行风格融合通过所述风格融合模块对所述第一信号特征和所述风格特征进行线性调制以得到第通过所述第三卷积模块对所述第三信号特征进行卷积处理，以得到所所述通过所述风格融合模块对所述第一信号特征和所述风格特征进行线性调制以得将所述解码语音信号和所述原始语音信号输入到辨别器中，通过辨风格特征获取模块，用于从所述声学特征编码结果中获取风格特征，所述风格风格融合模块，用于响应于获取到的激励特征，将所述风格特征和所所述存储器存储有程序指令，当所述程序指令由所述处理器执行时4权利要求1至权利要求11中任一项所述的语音信号解权利要求1至权利要求11中任一项所述的语音信号解5[0003]基于DNN的语音编解码系统主要可以分为两大类：基于神经声码器的系统和端到6和第三卷积模块；所述通过所述生成器对所述风格特征和所述激励特征进行风格融合处7格融合子模块对所述第一信号特征和所述风格特征进行线性调制，以得到第一调制结果；[0025]第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任8面或第一方面的任意可能的实现方式中的语[0027]第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任[0029]第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任一方面或第一方面的任意可能的实现方式中的语[0031]第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任[0033]第六方面以及第六方面的任意一种实现方式分别与第一方面以及第一方面的任[0035]第七方面以及第七方面的任意一种实现方式分别与第一方面以及第一方面的任9[0048]图12a为示例性示出的解码装置中第一风格网络模块和第一生成器模块的结构示[0049]图12b为示例性示出的解码装置中第N风格网络模块和第N生成器模块的结构示意[0058]声音(sound)是由物体振动产生的一种连续的波。产生振动而发出声波的物体称以是指用于描述声场的信号；其中，语音信号可以包括：高阶立体混响(higherorder特征可以通过激励网络生成，例如激励网络生成激励特征之后输入到解码装置中的生成[0075]示例性的，本申请具体可以应用于虚拟现实(VirtualReality，VR)/增强现实于VQGAN的语音编码系统在语音编码时输出的语音码率低，使得解码装置解码得到的语音[0086]请参阅图2所示，为本申请实施例提供的一种语音信号编解码系统的组成结构示意图，语音信号编解码系统具体可以是一种基于风格融合的矢量量化_生成对抗网络[0094]请参阅图3所示，为本申请实施例提供的另一种语音信号编解码系统的组成结构[0100]请参阅图4所示，为本申请实施例提供的另一种语音信号编解码系统的组成结构[0109]图5为示例性示出的解码过程示意图。图5为与前述的编码过程所对应的解码过该声学特征编码结果还可以是经过量化器压缩之后[0112]在本申请的一些实施例中，编码器的主体部分由多个编码块(Encoderblock)堆[0129]在本申请的一些实施例中，如图6所示，激励网络还包括：短时傅里叶变换模块[0146]在本申请的一些实施例中，第二卷积模块可以包括两个卷积层或者更多的卷积[0167]C12、通过风格融合模块对第一信号特征和风格特征进行线性调制以得到第二信得到第二信号特征。举例说明如下，风格融合模块采用自适应反归一化(Temporal一信号特征和风格特征进行线性调制以得到第[0170]C13、通过第三卷积模块对第三信号特征进行卷积处理，以得到融合后的语音特[0176]基于图10所示的风格网络和生成器，步骤C12通过风格融合模块对第一信号特征征的生成过程，解决了在风格融合模块和门控模块的多层堆叠时生成第三信号特征的问[0197]语音编解码系统采用基于风格融合的VQGAN(即StyleVQGAN)编码框架，语音编解申请实施例采用激励网络来生成一个包含语音先验知识的激励特征作为生成器的输入参[0208]编码装置的主体部分由多个编码块(Encoderblock)堆叠而成，每个编码块包括[0210]与VQGAN的编码框架所不同的是，该声学表征不会作为直接输入，送入生成器当[0212]量化器的目的是将编码装置输出的声学表征z压缩到特定的比特率。本申请实施例使用残差矢量量化器(residualvectorquantizer,RVQ)学习一套码书(codebook)，用实施例采用的激励网络主要包括激励信号生成模型、短时傅里叶变换(Short_Timeqq门控模块将y'0输入到第二生成器模块中的第q[0225]风格网络模块的初始输入为隐层声学特征z，并通过上采样和卷积生成风格特q模块(StyleBlock)中进行风格融合。其中风格融合模块所采用的融合算法为自适应反归[0233]接下来对本申请实施例提供的语音编解码系统的解码语[0234]如下表1所示，本申请实施例提供的基于风格融合的VQ_GAN系统在两种评价指标解码装置则更好地利用语音信号的隐层声学特征恢复质量更高的解码语音合的VQ_GAN系统在不同的激励信号下的效果均[0256]本实施例还提供一种芯片，该芯片包括一个或多个接口电路和一个或多个处理[0258]本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干[0268]结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实(ReadOnlyMemory，ROM)、可擦除可编程只读存储器(ErasableProgrammableROM，些功能存储在计算机可读介质中或者作为计算机可读介质上