CN114783426B 语音识别方法、装置、电子设备和存储介质 （科大讯飞股份有限公司）

设备和存储介质，由于第二语音文本对容易获2所述语音识别模型是基于第一编码网络，应用第一语音文本对训练得到所述待识别语音和所述第一语音文本对属于第一语种，所述第一语种为低资源语种，基于所述语音向量和所述文本向量之间的相似度，以及所述第是否属于同一第二语音文本对，对所述语音编码网络和所述文本编码网络进行对比训练，本向量之间的相似度，以及所述第二语音和所述第二文本是否属于同一第二语音文本对，基于属于同一第二语音文本对的第二语音的语音向量和第二文本的例相似度，基于属于不同第二语音文本对的第二语音的语音向量和第二文本的文本向量，3.根据权利要求1至2中任一项所述的语音识基于语音合成模型，确定第三文本对应的合成语音，并基于所述述端到端语音识别模型中的编码器确定为所所述融合网络用于基于所述第一编码网络的第一输出和所述第二编码网络的第二输3在所述训练完成的联合编码网络之后接入至少两个解码网络，得到所述语音识别模所述语音识别模型是基于第一编码网络，应用第一语音文本对训练得到所述待识别语音和所述第一语音文本对属于第一语种，所述第一语种为低资源语种，基于所述语音向量和所述文本向量之间的相似度，以及所述第是否属于同一第二语音文本对，对所述语音编码网络和所述文本编码网络进行对比训练，8.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至6任一项所述语音识别4[0011]根据本发明提供的一种语音识别方法，所述第一编码网络基于如下步骤训练得5[0018]根据本发明提供的一种语音识别方法，所述语音识别模型基于如下步骤训练得将所述端到端语音识别模型中的编码器确定为[0027]所述融合网络用于基于所述第一编码网络的第一输出和所述第二编码网络的第二输出确定融合权重，并基于所述融合权重对所述第一输出和所述第二输出进行特征融算机程序被处理器执行时实现如上述任一种所述语6音识别过程中能够提取更加鲁棒的特征从而提供识7[0063]由于第二语音文本对本身的获取难度小，因此可以应用量和文本向量尽可能接近，不存在对应关系的语音向量和文本向量尽可能相区别为目标，码网络能够在训练过程中充分学习到语音和文本的特征，由此训练完成后的语音编码网89初始化模型作为低资源语种的初始化网络，然后再使用低资源语种的有监督数据再次训语音编码网络可以conformer结构或者其他能够进行语音编码的神经网络结构，文本编码网络可以是transformer结构或者其他能够进行文本编码的神经网编码网络和文本编码网络进行对比训练的目标损失设置为最大化同一对语音向量和文本TN|2络并行执行针对输入的待识别语音的语音编码，并各自输出针对待识别语音的语音向量，联合编码网络中还可以存在对于第一编码网络和第二编码网络各自输出的语音向量进行将所述端到端语音识别模型中的编码器确定为音识别模型的训练需要应用大量第一语种的有监督样本。但是第一语种属于低资源语种，[0104]所述融合网络用于基于所述第一编码网络的第一输出和所述第二编码网络的第二输出确定融合权重，并基于所述融合权重对所述第一输出和所述第二输出进行特征融现针对第一编码网络的第一输出和针对第二编码网络的第二输出的[0109]将所述第一编码网络的第一输出和所述第二编码网络的第二输出规整至相同的[0113]在所述融合网络中，基于融合权重对所述第一输出和所述第二输出进行特征融[0114]基于上述任一实施例，图6是本发明提供的融合网络的结t识别效果。第一语音所对应第一文本的三音素状态进行比对，从而计算得到联合编码网络的损失值，一编码网络和第二编码网络分别输出的语音向量进行融合，从而输出融合后的语音向量，将所述端到端语音识别模型中的编码器确定为[0150]所述融合网络用于基于所述第一编码网络的第一输出和所述第二编码网络的第二输出确定融合权重，并基于所述融合权重对所述第一输出和所述第二输出进行特征融[0159]此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；