CN114360502B 语音识别模型的处理方法、语音识别方法及装置 （腾讯科技（深圳）有限公司）

根据标注字符序列与第一预测字符序列计算的2将所述样本信号输入语音识别模型，得到所述样本信号对应的语音述语音特征输出的第一预测字符序列；将所述标注字符序列对应的前向字符序列输入解码器，所述前在所述解码器中，根据所述前向字符序列对应的语义特征对所述语音特征进行解码，基于根据所述标注字符序列与所述第一预测字符序列计算的语音识通过所述语音识别模型的编码器输出所述样本信号对应通过所述语音识别模型中与所述编码器连接的分类器，基于将所述样本信号输入所述编码器，得到由所述编码器中的特征样本信号对应的语音向量序列；对所述语音向量序列中的语音向量进行随机将遮掩处理后的语音向量序列输入所述语音上下文网络，得所述根据所述前向字符序列对应的语义特征对所述语音特征进行通过所述解码器的向量化层，将所述前向字符序列转化为对应的前向字符向量序列，通过所述语义上下文网络，基于所述前向字符向量序列，计算所述通过所述语音语义上下文网络，基于所述前向字符序列对应的语5.根据权利要求4所述的方法，其特征在于，所述基于所述语音语义联合特征进行预3通过所述分类器基于所述语音语义联合特征，输出所述样本信所述基于根据所述标注字符序列与所述第一预测字符序列计算的语根据所述语音识别损失和所述语义识别损失，对所述解码器和所述语将所述无标注样本信号输入初始编码器，得到由所述初始编码器中将遮掩处理后的语音向量序列，输入所述初始编码器的语音上语音上下文网络输出的与所述遮掩语音向量对应的基于所述语音量化向量序列中与所述遮掩语音向量对应的语音量根据所述自监督训练损失更新所述初始编码器的网络参数后，返基于所述标注字符序列与所述第一预测字符序列之间的差异构建所述基于所述标注字符序列与所述第二预测字符序列之间的差异构建根据预设的损失加权系数对所述语音识别损失与所述语义根据所述目标损失联合训练所述语音识别模型将所述待识别信号输入训练好的语音识别模型，得到由所述语4将所述待识别信号输入训练好的语音识别模型，得到由所述语其中，所述语音识别模型与解码器基于语音识别损失与语义识别损失联合训练得到，编码模块，用于将所述样本信号输入语音识别输入模块，用于将所述标注字符序列对应的前向字符序列输入解码模块，用于在所述解码器中，根据所述前向字符序列对应的语义特训练模块，用于基于根据所述标注字符序列与所述第一预测一预测字符序列。5述样本信号对应的第二预测字符序列。由所述初始编码器中的特征提取网络输出的与所述无标注样本信号对应的语音向量序列；模型中的分类器基于所述语音特征输出的语音识语音识别模块，用于将所述待识别信号输入训练好的语音识别模型其中，所述语音识别模型与解码器基于语音识别损失与语义识别损失联合训练得到，6理器执行时实现权利要求1至10中任一项所述的方法行时实现权利要求1至10中任一项所述的方7得到所述样本信号对应的第二预测字符序列；8预测字符序列。[0021]在一个实施例中，所述语音识别模型包括编码器和与所述编码器相连接的分类9征对编码器输出的语音特征进行解码-编码所获得的语音语义联合特征携带有语义层次的据第二预测字符序列与标注字符序列所构建的语义识别损失辅助语音识别模型进行训练，能够将语义层次的上下文信息蒸馏进语音识别模型，从而提升语音识别模型的识别准确[0057]本申请实施例提供的语音识别模型的处理方法和语音识别方法，涉及人工智能[0061]本申请实施例提供的语音识别方法，主要涉及人工智能的语音技术(SpeechTechnology)。语音技术的关键技术有自动语音识别技术和语音合成技术以及声纹识别技[0065]本申请提供的语音识别模型的处理方法与语音识别方法，可以应用于如图1所示标注字符序列与第二预测字符序列计算的语义识别损失，联合训练语音识别模型与解码中该语音识别模型的处理装置可以采用硬件或软件的方式实现。计算机设备可以是图1中器104将待识别信号输入训练好的语音识别模型，得到由语音识别模型中的编码器输出的[0072]以车载机器人为例，车载机器人是应用于车载智能座舱要以该方法应用于上述图1中的计算机设备(终端102或者服务器104)来举例说明，包括以[0080]在一个实施例中，语音识别模型可以是基于CTC(Connectionisttemporal[0087]在一个实施例中，编码器可采用通用的编码器结构，例如CNN(Convolutional层次的上下文信息，基于语音语义联合特征预测得到样本信号对应的第二预测字符序列，根据第二预测字符序列与标注字符序列所构建的语义识别损失辅助语音识别模型进行训[0093]在一个实施例中，计算机设备将标注字符序列对应的前[0095]举例说明，继续参照图4，计算机设备将标注字符序列对应的前向字符序列“/与语义识别损失联合训练语音识别模型与解码器。2可取0.7。征进行解码-编码所获得的语音语义联合特征携带有语义层次的上下文信息，基于语音语[0105]在一个实施例中，编码器包括特征提取网络与基于自注意力~t5时段的语音信号，将样本信号输入编码器，得到由编码器中的特音向量序列[z1z2z3z4z5]，其中语音向量z1是t1时段的语音信号所对[0108]在一个实施例中，编码器可包括特征提取网络与基于自注意力的语音上下文网音特征，基于自注意力的语音上下文网络能够利用上下文信息对语音向量序列进行编码，(ConvolutionalNeuralNetworks,卷积神经网络)、RNN(RecurrentNeuralNetwork,循环神经网络)等。基于自注意力的语音上下文网络可采用通用的自注意力(self-[0110]在一个实施例中，计算机设备对语音向量序列中的语音向量进行随机遮掩处GELU(GaussianErrorLinerarUnits)对语音向量序列中的语音向量进[0111]在一个实施例中，计算机设备将遮掩处理后的语音向量序列输入语音上下文网神经网络基于各语音向量及其对应的自注意力各相似度进行归一化处理，获得遮掩处理后的语音向量序列中各语音向量对应的自注意为遮掩处理后的语音向量序列中各语音向量对应的编码器502，获得由编码器502中的特征提取网络输出的语音向量序列[z1z2z3z4意力网络，分别计算遮掩处理后的语音向量序列[*z2*z4*]中各语音向量与遮掩处理后的处理后的语音向量序列[*z2*z4*]中的各语音向量，输入基于自注意力的语音上下文网络504中的前馈神经网络进行编码，获得前馈神经网络输出的上下文语音特征[c1c2c3c4[0119]在一个实施例中，对于t时段的语音信号对应的语音向量预测损失可通过以下公simc,q)表示ct与之间的相关性。意力网络，分别计算遮掩处理后的语音向量序列[*z2*z4*]中各语音向量与遮掩处理后的义识别损失对解码器和语音识别模型的网络字符向量序列[e1e2e3e4e5]输入解码器702的基于自注意力的语义上下文网络，通过提取的语音特征[c1c2c3c4c5]输入解码器702的基于交叉注意力的语音语义上下文网而语音识别模型的分类器基于语音特征[c1c2c3c4c5]输出样本信号对应的第一预测[0138]其中，待识别信号是待通过本申请实施例提供的方法进行语音识别的语音信号对应的语音特征；基于语音量化向量序列与无标注样本信号对应的语音特征之间的差列。序列。掩处理后的语音向量序列[*z2*z4*]中各语音向量与遮掩处理后的语音向量序列[*z2*列[*z2*z4*]中的各语音向量，输入基于自注意力的语音上下文网络中的前馈神经网络进转化为对应的前向字符向量序列[e1e2e3e4e5]。计算机设备将前向字符向量序列[e1音识别模型的分类器基于语音特征[c1c2c3c4c5]输出样本信号对应的第一预测字符语音语义上下文网络的具体结构依次包括Multi-headCross_Attention(多头交叉注意进行解码-编码所获得的语音语义联合特征携带有语义层次的上下文信息，基于语音语义次测试对语音识别模型采用了两种训练方式，一种是联合训练语音识别模型与解码器(以[0152]对于联合训练方式，计算机设备先对语音识别模型的编[0153]对于单独训练方式，计算机设备先对语音识别模型的编证集和测试集，Aishell-1训练集的测试条数为120098，Aishell-1验证集的测试条数为[0158]其中，待识别信号是待通过本申请实施例提供的方法进行语音识别的语音信语音识别结果，由于训练好的语音识别模型能够利用语义层次的上下文信息进行语音识到样本信号对应的第二预测字符序列；[0171]在一个实施例中，编码器包括特征提取网络与基于自注意力[0178]关于语音识别模型的处理装置的具体限定可以参见上文中对于语音识别模型的征进行解码-编码所获得的语音语义联合特征携带有语义层次的上下文信息，基于语音语[0183]其中，语音识别模型与解码器基于语音识别损失与语义语音识别结果，由于训练好的语音识别模型能够利用语义层次的上下文信息进行语音识的数据库用于存储语音识别模型的处理数据和/或图像生成数据。该计算机设备的网络接运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，器执行时以实现一种语音识别模型的处理方法和/或包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-