CN114187894B 一种意图识别方法、装置及其相关设备 （京东科技信息技术有限公司）

开发区科创十一街18号院2号楼6层2获取与待检测音频对应的音素序列，并基于所述音素序列，确定应的文本序列；基于交叉注意力机制，对所述文本序列和所述音素序列进行特征提取分别对所述文本序列和所述音素序列进行编码，获取与所述文本序列根据文本序列权重参数和音素序列权重参数，对所述文本序列特征采用双向神经网络对所述文本序列和所述音素序列进行编码，获取与对样本文本序列和样本音素序列进行编码，获取与所述样本文本本序列和所述样本音素序列通过对所述音频样本进行语音识别得到；计算所述样本文本序列特征向量中每个文本的嵌入向量与所述样本音素序列特征向基于交叉熵损失函数，计算表征所述音频样本的意图的预测结果与6.一种意图识别装置，其特征在于，所述装置用3所述待检测音频对应的文本序列；交叉注意力模块，用于基于交叉注意力机制，对全连接神经网络分类模块，用于基于所述句子特征向量，获取用编码单元，分别对所述文本序列和所述音素序列进拼接单元，根据文本序列权重参数和所述音素序列权重参数，对所采用双向神经网络对所述文本序列和所述音素序列进行编码，获取与程序被处理器执行时实现如权利要求1至5任一项所述意图识别4对话系统的下一步响应动作的意图识别的现有方法为利用文本层面的特征信息实现意图[0007]根据本公开提供的意图识别方法，所述对所述文本序列和所述音素序列进行编5所述文本序列和所述音素序列进行编码，获取与所述文本序列对应的文本序列特征向量，机程序被处理器执行时实现如上述任一种所述意图识别方法6[0019]图2是本公开提供的意图识别方法中，对文本序列和音素序列进行特征提取和融[0020]图3是本公开提供的意图识别方法中，对文本序列权重参数和音素序列权重参数[0021]图4是本公开提供的意图识别方法的具体实施例的交叉注意力模型内部流程示意频对应的文本序列；频对应的文本序列；7[0037]获取与待检测音频对应的音素序列可以通过语音识别模块中的声学模型接收音不会有连接，通常相邻的两层是全连接的(一层的每个神经元连接到另一层的每个神经[0043]人们通常通过反向传播算法来训练全连接神经网络，给网络一对数据集(输入数这里的编码是将文本序列转换为特征向量或者可以叫做特征向量矩阵。编码的方式有多8这里的编码是将文本序列转换为特征向量或者可以叫做特征向量矩阵。编码的方式有多骤S401中的编码方式应该和步骤S201[0055]步骤S401中的样本文本序列和样本音素序列都可以通过对音频样本进行语音识[0058]归一化指数函数是二分类函数sigmoid在多分类上的推广，目的是将多分类9[0067]由于初次训练计算的文本序列权重参数和音素序列权重参数与实际使用的文本字和音素对应的特征向量得到最终的句子向量表征接入全连接神经网络结合交叉熵损失得到加权文字序列权重参数的文本序列特征向量和加权音素序列权重参数的音素序列特[0073]本公开实施例提供的意图识别装置，通过语音识别模块601获取与待检测音频对[0076]获取与待检测音频对应的音素序列可以通过语音识别模块中的声学模型接收音[0079]全连接神经网络分类模块603中，全连接神经网络(FFNN)将信息从前面反馈到后经元连接到另一层的每个神经元)。最简单实用的网络有两个输入神经元和一个输出神经[0080]人们通常通过反向传播算法来训练全连接神经网络，给网络一对数据集(输入数[0083]对于拼接单元6022，权重参数是指某一因素或指标相对[0088]样本编码单元801中的样本文本序列和样本音素序列都可以通过对音频样本进行[0090]文本序列参数计算单元802，计算样本文本序列特征向量中每个文本的嵌入向量[0092]归一化指数函数是二分类函数sigmoid在多分类上的推广，目的是将多分类[0094]以一个具体实施例为例来讲解文本序列参数计算单元802，文本序列参数计算单元802通过获取到的样本文本序列特征向量和样本音素序列特征向量，计算样本文本序列[0097]应用单元804，应用文本序列权重参数和音素序列权重参数加权求和文字序列和[0101]由于初次训练计算的文本序列权重参数和音素序列权重参数与实际使用的文本式为对两个Bi-LSTM编码器输出的文字序列特征向量矩阵和音素序列特征向量矩阵，计算[0103]交叉注意力模块602需要的训练数据主要包括文本和音素两部分数据。其中文本数据由人工听取音频转写的真实文本和语音识别产出的识别top1文本组成。在音素数据[0104]以装置具体应用实施例为例，输入一段语音，在语音模块601中对其进行语音识音意图的预测结果。[0106]此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为公开实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；