CN114005434B 端到端语音的置信度计算方法、装置、服务器和介质 （北京小鹏汽车有限公司）

本发明公开了一种语音识别中端到端语音所述声学特征输入语音识别解码器并得到对应直接由声学特征和识别结果计算各个字和句子2将所述声学特征输入语音识别解码器并得到对应的根据所述声学特征、所述识别结果和预设特征抽象模型，提取所述将所述识别结果和所提取的置信度特征作为置信度计算模型的输入，预测根据所述声学特征、所述识别结果和预设特征抽象模型，提取所述预先设置采用编码器-解码器的模型结构的特将所述声学特征输入训练好的特征抽象模型的编码器中抽将所述原始特征输入训练好的特征抽象模型的解码器中抽象将所述原始特征和所述识别结果输入训练好的特征抽象模型的解码器中抽象出解码通过多头注意力机制使所述原始特征在训练好的特征抽象模型的解码器中抽象出所力进行句子级别抽象后再送入Sigmoid产通过正确转录和所述识别结果计算最小编辑距离得到模型的字标签和通过所述字正确概率和句子正确概率、所述字标签和句子标签进行logistic3置信度计算模块，用于将所述识别结果和所提取的置信度预先设置采用编码器-解码器的模型结构的特将所述声学特征输入训练好的特征抽象模型的编码器中抽将所述原始特征输入训练好的特征抽象模型的解码器中抽象将所述原始特征和所述识别结果输入训练好的特征抽象模型的解码器中抽象出解码9.一种计算机可执行指令的非易失性计算机可读机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1-6中任一项所4[0003]传统语音识别系统的置信度模块实现一般是基于解码lattice图计算得到，无需是用解码器产生的识别序列和端到端声学模型中的抽象特征训练一个后接的基于模型的各个字和句子的置信度，此置信度计算方案无需适配与依赖语音识别解码器的具体实现，5[0018]将所述原始特征和所述识别结果输入训练好的特征抽取模型的解码器中抽象出[0020]将所述原始特征输入训练好的特征抽取模型的解码器中[0021]通过多头注意力机制使所述原始特征在训练好的特征抽取模型的解码器中抽象意力进行句子级别抽象后再送入Sigmoid产[0033]通过所述字正确概率和句子正确概率、所述字标签和句子标签进行logistic6[0048]本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变[0049]图1是本发明实施方式的语音识别中端到端语音的置信度计算方法的流程示意[0050]图2是本发明实施方式的语音识别中端到端语音的置信度计算装置的模块示意[0054]下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不[0055]请一并参阅图1，本发明实施方式提供的一种语音识别中端到端语音的置信度计7[0060]请参图2，上述实施方式的语音识别中端到端语音的置信度计算方法可以由本发[0061]上述语音识别中端到端语音的置信度计算方法和语音识别中端到端语音的置信端到端语音置信度识别策略。上述每个字的置信度和句子的置信度可被应用到如对话系信度抽取的输入以独立于语音识别解码器抽取置信度特征[0065]在某些实施方式中，语音识别解码器包括基于HMM语音识别系统的解码器和基于8[0074]将原始特征和识别结果输入训练好的特征抽取模型的解码器中抽象出解码器特[0075]请参图2，上述实施方式的语音识别中端到端语音的置信度计算方法可以由本发的模型结构。声学特征送入训练好的特征抽取模型的编码器中抽象出原始特征(如高维特[0082]也可以采用语音恢复预训练任务的以掩码声学特征为标签的最小均方误差损征抽取模型的解码器对训练好的特征抽取模型的编码器输出的原始特征进行多头注意力[0084]在某些实施方式中，预设特征抽象模型的编码器由卷积层和多层Conformer[0088]通过多头注意力机制使原始特征在训练好的特征抽取模型的解码器中抽象出编[0089]请参图2，上述实施方式的语音识别中端到端语音的置信度计算方法可以由本发9模块15用于通过多头注意力机制使原始特征在训练好的特征抽取模型的解码器中抽象出[0091]具体地，请结合图3，训练好的特征抽取模型的解码器的TransformerDecoderBlock具有多头注意力层，训练好的特征抽取模型的编码器输出的原始特征送入多头注意[0093]以识别结果、置信度特征作为输入，通过特征拼接和位置编码后，送入多层力进行句子级别抽象后再送入Sigmoid产[0094]请参图2，上述实施方式的语音识别中端到端语音的置信度计算方法可以由本发17用于以识别结果、置信度特征作为输入，通过特征拼接和位置编码后，送入多层力进行句子级别抽象后再送入Sigmoid产之后其中一头过Sigmoid产生字置信度正确概率，另一头过层级注意力进行句子级别抽象[0101]请参图2，上述实施方式的语音识别中端到端语音的置信度计算方法可以由本发[0106]通过字正确概率和句子正确概率、字标签和句子标签进行logisticregression倾销百分之五+取消百分之+1111[0110]对于句子正确性判别，可以通过计算正确转录和识别结果的CER得到，当CER为0[0119]本发明实施方式还提供一种计算机可执行指令的非易失术人员可以将本说明书中描述的不同实施例或示例以及不同