CN115064154B 混合语言语音识别模型的生成方法及装置 （京东科技信息技术有限公司）

本申请提出一种混合语言语音识别模型的习模型对音频样本中每帧音频数据进行特征提向量分别输入到初始混合语言语音识别模型中方法通过将自监督学习模型作为特征提取器对2将所述特征向量分别输入到初始混合语言语音识别模型中的语种识别网络和语音识获取所述词概率分布中每个词对应的概率与所述语种概率分布中该词所属语种对应计算所述每个词对应的第一概率之和得到第二概率，并计算根据所述语种概率分布、所述更新后的词概率分布及所述标注基于所述各帧音频数据对应的损失值，分别对所述语种识根据每帧音频数据所属语种与对应的标注字符所属语种之间的差异，确定语种损失分别对所述语种识别网络和所述语音识别网络进行修正，以获取混合语言语音识别模型，根据所述音频样本对应的损失值，分别对所述语种识别网络和所3将每帧音频数据对应的特征向量输入到混合语言语音识别模型第二获取模块，用于利用自监督学习模型对所述音频样本第三获取模块，用于将所述特征向量分别输入到初始混合语言训练模块，用于基于所述各帧音频数据对应的损失值更新单元，用于获取所述词概率分布中每个词对应的概率与所述语种根据每帧音频数据所属语种与对应的标注字符所属语种之间的差异，确定语种损失根据所述音频样本对应的损失值，分别对所述语种识别网络和所4第二获取模块，用于利用自监督学习模型对所述待识别音频数第三获取模块，用于将每帧音频数据对应的特征向量输入到混合语言语音识别模型确定模块，用于根据各帧音频数据对应的识别结果，确定其中，所述处理器通过读取所述存储器中存储的可执行程执行时实现根据权利要求1-4中任一所述方法的步骤或者实现根据权利要求5所述方法的5[0008]将所述特征向量分别输入到初始混合语言语音识别模型中的语种识别网络和语6[0024]第二获取模块，用于利用自监督学习模型对所述待识别执行程序代码对应的程序，以用于实现如上述一方面实施例和另一方面实施例所述的方算机程序，该程序被处理器执行时实现如上述一方面实施例和另一方面实施例所述的方[0033]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得7[0034]图1为本申请实施例提供的一种混合语言语音识别模型的生成方法的流程示意[0036]图3为本申请实施例提供的另一种混合语言语音识别模型的生成方法的流程示意[0037]图4为本申请实施例提供的另一种混合语言语音识别模型的生成方法的流程示意[0040]图7为本申请实施例提供的一种混合语言语音识别模型的生成装置的结构示意[0044]图1为本申请实施例提供的一种混合语言语音识别模型的生成方法的流程示意8征表示，然后将特征编码器的输出的特征向量分别作为量化器q和由多个Transformer(转换器)网络堆叠而成的上下文特征编码器的输入，得到每帧音频数据基于上下文的特征向[0057]步骤103，将特征向量分别输入到初始混合语言语音识别模型中的语种识别网络将音频样本中每帧音频数据对应的特征向量分别输入到语种识别网络和语音识别网络中，9[0075]步骤303，将特征向量分别输入到初始混合语言语音识别模型中的语种识别网络另一种混合语言语音识别模型的生成方法的流[0098]步骤404，将特征向量分别输入到初始混合语言语音识别模型中的语种识别网络型为例进行说明。图5为本申请实施例提供的一种中英混合音频数据识别模型的训练示意[0108]如图5所示，初始混合语言语音识别模型包括语音识别网络和语种识别网络，其[0130]第二获取模块720，用于利用自监督学习模型对音频样本中每帧音频数据进行特[0131]第三获取模块730，用于将特征向量分别输入到初始混合语言语音识别模型中的[0156]第三获取模块830，用于将每帧音频数据对应的特征向量输入到混合语言语音识述实施例所述的混合语言语音识别模型的生成[0162]为了实现上述实施例，本申请实施例还提出一种非临时