CN114974224B 语音意图识别模型的训练方法、语音意图识别方法和装置 （北京达佳互联信息技术有限公司）

YinghuiHuangetal..Leveinternationalconferenceonacoustics,本公开关于一种语音意图识别模型的训练获取文本样本和携带有语义标签的第一语音样包括预训练的语义提取网络和待训练的意图识型进行训练，得到训练完成的语音意图识别模2获取文本样本和携带有语义标签的第一语音样本，其中，所述将所述第一语音样本的语音特征输入所述语义提取网络，确定所述第一语音语义特征和所述文本语义特征之间基于所述语义相似度，调整所述语义提取网络的参数，以对分别确定所述第一语音语义特征对应的语音表示向量和所述文本语义特征对应的文确定所述语音表示向量和所述文本表示向量之间的语义相6.如权利要求1到5中的任一权利要求所述将所述第二语音样本的语音特征输入所述预训练的语义提取网络，3将所述待识别语音的语音特征输入语音意图识别模型，得到所述待其中，所述语音意图识别模型是利用如权利要求1到6中的任8.一种语音意图识别模型的训练装置，其特征在将所述第一语音样本的语音特征输入所述语义提取网络，确定所述第一语音语义特征和所述文本语义特征之间基于所述语义相似度，调整所述语义提取网络的参数，以对分别确定所述第一语音语义特征对应的语音表示向量和所述文本语义特征对应的文确定所述语音表示向量和所述文本表示向量之间的语义相将所述第二语音样本的语音特征输入所述预训练的语义提取网络4其中，所述语音意图识别模型是利用如权利要求1到6中的任其中，所述计算机可执行指令在被所述至少一个处理器运行理器执行如权利要求1到6中的任一权利要求所述的语音意图识别模型的训练方法或如权述的语音意图识别模型的训练方法或如权利要求7所述的语音处理器执行时实现如权利要求1到6中的任一权利要求所述的语音意图识别模型的训练方5景下，传统的语音意图识别方法常常应用两阶段模型，第一步先经过ASR(Automatic[0004]为适应这类新场景，相关技术中存在另一种方法，构造语音内容理解的端到端确率严重依赖于人工标注的语音_意图成对6[0008]可选地，所述确定所述第一语音语义特征和所述文本语义特征之间的语义相似述第一语音语义特征和所述文本语义特征之间的语义的句首字符作为所述文本表示向量；或对所述文本语义特征进行时间维度上的池化处理，语音样本的第二语音语义特征；将所述第二语音语义特征输入所述待训练的意图识别网第一语音样本与所述文本样本的内容对应，所述语义标签为所述文本样本的文本语义特7机指令被至少一个处理器执行时实现根据本公开的语音意图识别模型的训练方法或语音[0024]根据本公开的实施例的语音意图识别模型的训练方法、语音意图识别方法和装8[0027]图1是示出根据本公开的示例性实施例的语音意图识别模型的训练方法的流程[0028]图2是示出根据本公开的示例性实施例的语音意图识别模型的第一阶段训练的流[0029]图3是示出根据本公开的示例性实施例的语音意图识别模型的第二阶段训练的流图类别。[0039]而随着电商直播的兴起，越来越多的商家开始在经营线9[0041]为适应这类新场景，相关技术中存在另一种方法，构造语音内容理解的端到端[0044]图1是示出根据本公开的示例性实施例的语音意图识别模型的训练方法的流程言模型，已有较多开源版本。作为示例，文本语义提取网络可以是BERT(Bidirectional别网络的识别准确率。作为示例，语义提取网络可采用带卷积的深度自注意力网络[0049]图2是示出根据本公开的示例性实施例的语音意图识别模型的第一阶段训练的流特征分别转换为句子级别的语音表示向量和文本表示向量，可直接计算两个向量的相似音表示向量或文本样本的文本表示向量就是句子级本语义特征的句首字符作为句子级别的文本表示向量，有助于简化文本表示向量的提取。[0060]图3是示出根据本公开的示例性实施例的语音意图识别模型的第二阶段训练的流音意图识别模型中得到的，也就是包括预训练的语义提取网络和待训练的意图识别网络。[0066]图5是示出根据本公开的示例性实施例的语音意图识别模型的训练装置的框图。应理解，根据本公开的示例性实施例的语音意图识别模型的训练装置可以在诸如智能手[0069]第一训练单元502可利用第一语音样本，对待训练的语音意图识别模型中的语义中包括预训练的语义提取网络和待训练的意[0070]可选地，第一训练单元502还可将第一语音样本的语音特征输入待训练的语音意[0071]可选地，第一训练单元502还可分别确定第一语音语义特征对应的语音表示向量[0076]可选地，第二训练单元503还可将第二语音样本的语音特征输入预训练的语义提的意图识别网络的参数，或调整预训练的语义提取网络及待训练的意图识别网络的参数，本公开的示例性实施例的语音意图识别装置可以在诸如智能手机、平板电脑、个人电脑[0081]识别单元602可将待识别语音的语音特征输入语音意图识别模型，得到待识别语别单元602运行语音意图识别模型来执行计算时，会先由语义提取网络提取待识别语音的一个存储器701中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器702执行时，执行根据本公开的示例性实施例的语音意图识别模型的训练方法或语音以是任何能够单独或联合执行上述指令(或指令集公开的示例性实施例的语音意图识别模型的训练方法或语者适应性变化遵循本公开的