CN114360537B 口语问答的评分方法、训练方法、计算机设备及存储介质 （科大讯飞股份有限公司）

本申请实施例提供了一种口语问答的评分解或避免现有的口语问答评分方案中语音识别2将所述作答音频输入预设的语音识别模型，得到所述作答音将所述口语识别文本和所述问题文本输入预设的语义提取模型，得基于预设的评分模型，根据所述作答音频对应的语音特征向量、文本其中，所述将所述口语识别文本和所述问题文本输入预将所述口语识别文本和所述问题文本拼接得到的目标文本，输将所述嵌入向量输入所述语义提取模型的多头自注意力子模型将所述作答音频输入所述语音识别模型的第一特征提取模将所述第一语音特征输入所述语音识别模型的编码器子模型，得到将所述语音特征向量输入所述语音识别模型的解码器子模型，得到将所述第二语音特征输入所述声学模型的声学信息提取子模型，得将预设的起始字符、所述口语识别文本、所述问题文本以及所6.一种口语问答评分模型的训练方法，其特征在于3将所述作答音频输入预训练的语音识别模型，得到所述作答音将所述口语识别文本和所述问题文本输入预训练的语义提取模型基于预设的评分模型，根据所述作答音频对应的语音特征向量、文本根据所述作答音频对应的预测得分和所述标注得分，调整所述语其中，所述将所述口语识别文本和所述问题文本输入预将所述口语识别文本和所述问题文本拼接得到的目标文本，输将所述嵌入向量输入所述语义提取模型的多头自注意力子模型基于预设的数据增强规则，对所述口语识别文本进行数据根据所述第二训练样本，对基于所述第一训练样本预训练后的语义8.如权利要求6或7所述的训练方法，其特征在将所述作答音频输入所述语音识别模型的第一特征提取模将所述第一语音特征输入所述语音识别模型的编码器子模型，得到将所述语音特征向量输入所述语音识别模型的解码器子模型，得到4如权利要求6-8中任一项所述的口语问答评分如权利要求6-8中任一项所述的口语问答评分56[0018]将所述作答音频输入预训练的声学模型，得到所述作答音频对应的声学特征向7长公共子串(lcs,longestcommonsubstring)、BLEU(BilingualEvaluationUnderstudy)、METEOR(MetricforEvaluationofTranslationwithExplicitORdering)等。然后对语音按照口语识别文本做切分并根据切分边界计算音素发音特征如[0045]请参阅图1，图1是本申请的实施例提供的一种口语问答的评分方法的流程示意8[0054]示例性的，语音识别也被称为自动语音识别(AutomaticSpeechRecognition，[0056]示例性的，语音识别模型包括编码器(Encoder)子模型和解码器(Decoder)子模通过神经网络对编码器子模型编码作答音频得到的向量进行处理，可以提取更有用的信[0061]示例性的，所述编码器子模型包括多层，如12层transformer(多头自注意力网9多头注意力(Multi-headAttentio[0062]所述编码器子模型的输入为T×40维的fbank特征，所述编码器子模型的输出是T×S维度的向量，S为transformer层的隐层向量维度，可以将编码器子模型的最后一层transformer的输出作为所述作答音所述口语识别文本和所述问题文本之间的预设的间隔字符(如[SEP])，输入所述语义提取[0074]在一些实施方式中，多头自注意力子模型为BERT模型(BidirectionalEncoder神经网络模型，或者为多种模型/网络的组合。BERT模型是一个双向语言表征模型。以Transformer网络(基于自注意力的神经网络)作为单元模块，在大规模语料上使用字掩码[0077]BERT模型是一个深度的语言模型，拥有12层Transformer网络(多头自注意力网最后一层Transformer网络的输出向量为间隔字符[SEP]对应的向量，hfnxz为问题文[0080]最后一层Transformer网络的输出output12包含了目标文本中全部字符的隐层表包括output12中与所述起始字符[CLS]本和所述问题文本对应的文本特征向量可以表示例如为40从而生成语义不变的样本。语义提取模型的预训练方法例如与原始Bert模型[0085]语义提取模型第二阶段的训练可以采用海量的对话样本进行对话连贯性评估建[0091]在一些实施方式中，所述第二特征提取模型用于提取作答音频的MFCC(Mel-的声学特征向量的向量维度和步骤S130得到的语[0093]在一些实施方式中，所述语音识别模型和所述声学模型分方法，可以通过基于语义提取模型提取口语识别文本和所述问题文本的文本特征向量，[0106]请结合前述实施例参阅图7，本申请实施例还提供了一种口语问答评分模型的训[0126]本申请实施例提供的口语问答评分模型的训练方法的具体原理和实现方式均与[0131]非易失性存储介质可存储操作系统和计算机程序。该计用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列[0148]将所述作答音频输入预训练的声学模型，得到所述作答音频对应的声学特征向设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart