CN114186563B 电子设备及其语义解析方法、介质和人机对话系统 （华为技术有限公司）

述待解析语料数据所表示的意图的意图相关程2计算所述待解析语料数据所包括的字与所述待解析语料数据所表示的意图的意图相在每个时间步，基于所述字的语义信息和所述字的上文语义信生成所述待解析语料数据的句语义信息和所述待解析语料数据通过权利要求1至6中任一项所述的语义解析方法，解析出所述待解析基于所述解析出的所述意图和与各意图对应的槽位，执行所述9.根据权利要求8中所述的方法，其特征在于，所述操作包括向智能家居设备发送指3行时使电子设备执行权利要求1-6及权利要求9中任一项处理器，是电子设备的处理器之一，用于执行权利要求1-6及权利4构还无法对意图槽位之间的关系进行显示建模，对多标签的意图识别和槽位填充准确性[0007]所述待解析语料数据所包括的字与所述待解析语料数据所表示的意图的意图相[0009]所述字的上文语义信息可以是语料数据中与当前字连续5所述待解析语料数据中位于所述字前面的至少一个两个字的词义信息关联度较小或者关联度随着间隔的字符增加而逐渐达出特定的语义信息，这个特定的语义信息与人为理解这句话得到的语义信息相同或接6令在电子设备上执行时使电子设备执行上述语义解析方法或[0033]图7为本申请实施例的电子设备100根据用户语音指令执行相应操作的界面示意7[0039]自然语言(naturallanguage)即人类语言，自然语言处理(NLP)就是对人[0042]句子关系推断：给定两个句子，判断这两个句子是否具备某种名义关系。例如[0045](3)槽位(slot)是用来表达用户意图的关键信息，槽位填充的准确度直接影响到8[0048]语音识别模块111，用于通过语音识别技术(AutomaticSpeechRecognition，ASR)实现语音到文本的识别转换，识别结果一般以得分最高的前n(n≥1)个句子或词格[0049]语义解析模块112，也被称为自然语言理解(NaturalLanguageUnd[0050]问题求解模块113，主要用于根据语义解析识别的意图及相应槽位进行推理或查[0057]服务器200可以用于训练语义解析模型121，将训练出的语义解析模型121移植到通过训练出的语义解析模型121对电子设备100发送过来的语料数据进行语义解析并将结语义解析模块112具有语义解析模型121，该语义解析模型121能够基于本申请的技术方案[0061]语义解析模型121是由服务器200基于自然语言处理及上述各种神经网络结构和9模型预训练出来的一个自然语言处理模型。预训练的语义解析模型121能够提取单条语料理一般包括对语料数据进行分词处理、填充标记(Token)序列及断句标记(Segmentation)以及创建掩码。数据预处理最终得到包含句子文本字符和句子中每个字文本字符的Token序列、代表每个字对应的句子位置的断句标记以及对应表示Token序列中各个字符位置上[0073]填充Token序列，主要是利用分词处理得到的数据通过对句子截断或者填充字符[0075]创建掩码，主要是对上述填充得到的Token序列中的每个字符对应创建一个掩码(Mask)。创建掩码的目的是将Token序列中每个字符是否表达有效信息标[0084]将语料数据经过上述数据预处理后得到的三个数据可以输入语义解析模型121中[0088]BERT编码层1211以预料数据经过数据预处理后得到的Token序列、断句标记以及和词义信息能够表达用户的真实意图以及对应用户真实意图的码层1211输出的编码向量序列{h0,h1,h2,……,ht}中h10对应的字是光。[0093]BERT编码层1211通过识别掩码元素值依次识别Token序列中的有效字符<CLS>，[0094]Token序列中标记句子的字符<CLS>输入训练后的BERT编码层1211进行语义编码[0095]Token序列中字符<CLS>与截断字符<SEP>之间的字符x1,x2,……,xt-1对应语料数1[0098]BERT编码层1211可以基于BERT模型训练得到，具体训练过程参考下文详细描述，[0099]在另一些实施例中，BERT编码层1211也可以通过其他编码器或编码模型训练得意图标签计算意图置信度以判断该意图标签是等于0.5的条件，即上述3个意图标签满足输出条件，最终意图分类层1212输出3个意图标签中对应的意图置信度大于或等于0.5的意图标签为订车票和订酒店，满足输出[0107]意图分类层1212以BERT编码层1211输出的编码向量序列中的句向量h0作为输入，意图分类层1212通过解码并激活句向量h0提取句向量h0表示的语义信息中的所有可能的意[0110]意图分类层1212可以通过全连接层(dense)以及Sigmoid函数作为激活函数训练采用其他与全连接层具有相同功能的深度神经网络作为解码器，也可以采用其他与Sigmoid函数具有相同功能的函数作为对应的深度神经网络解码器的激活函数，此处不做[0112]注意力层1213用于量化语料数据中每个字与句子所表达向量相应的可以理解为用于量化每个词向量对应的字与句向量对应的句子表达意图的相BERT编码层输出编码向量序列中，句向量h0表示的语义信息中可能包括3个可能的意图标,……,ht表示的词义信息可能包括槽位的相关程度较低或者不相关。“帮我预定从上海到北京的火车票并预定北京火车站附近的五星级酒店”所表达的意图可[0116]而句子“帮我预定从上海到北京的火车票并预定北京火车站附近的五星级酒店”入，注意力层1213提取句向量h0表示的语义信息以及词向量h1,h2,……,ht表示的词义信注意力层1213输出的隐藏状态向量为句向量h0对应的语义信息，t＝2时刻的上一时刻(t=1时刻)输出的隐藏状态向量为词向量h1对应的第一个字的词义信息，其中词向量h1对应的息包括t＝1时刻词向量h1传递过来的词义信息，而词向量h1对应的词义信息还包括t＝0时注意力向量CI用于量化每个词向量对应的字与句向量对应的句子表达意图[0122]在计算槽位注意力向量时，上述公式(2)中的Q表示上一时刻(t-1时刻)注意力层通过上述公式(2)得到的注意力向量能够结合上一时刻隐藏状态向量学习当前t时刻处理的词向量的相关程度。基于上一时刻隐藏状态向量表示的已提取的语义信息或/和词义信息包含所有可能的槽位标签信息，因此将t-1时刻输出的隐藏状态向量C与通过上述公式量用于量化每个词向量对应的字与句向量对应的句子所表达槽位的相关程层1211输出的编码向量ht、t-1时刻注意力层1213输出的隐藏状态向量C(即当前处理的字该槽位标签是否满足输出条件。即槽位填充层1214基于包括词向量(包含待解析语料数据当前处理的字与句子所表达意图的相关程度以及当前处理的字与句子所表达槽位的相关中选择出满足条件或者说与待解析语料数据真实表达出的槽位的相关程度超过阈值的槽要的槽位，因此槽位填充层1214的输出最终输出3个候选槽位songName、videoName、[0130]值得注意的是，槽位填充层1214基于意图注意力向量作为每个时间步t预测槽位刻输出的意图注意力向量CI、槽位注意力向量以及注意力层1213在t-1时刻输出的隐藏状态向量C作为输入。槽位填充层1214先基于槽位门机制对意图和槽位之间关系进行显示[0134]gs=v*tanh(wxc'+c)(3)意图注意力向量CI的随机权重系数，W大于1表示意图注意力向量CI对槽位预测的影响程度[0136]在每个时间步t，槽位填充层1214基于输入的上述四个向量可以得到表示槽位标签信息的槽位向量进而基于槽位向量h"计算相应槽位标签的槽位置信度将槽位置信度通过Sigmoid激活函数后得到的计算公0.55，槽位标签O的槽位置信度是0.2，那么，最终为“你”预测的槽位是songName、习意图注意力向量与槽位注意力向量之间的关系，通过全局优化获得更好的语义框架网络模型作为解码器，也可以采用其他与Sigmoid函数具有相同功能的函数作为对应的深[0158]后置处理层1215以上述意图分类层1212得到的候选意图和槽位填充层1214得到的候选槽位作为输入，并基于语义解析模型121预训练过程得到的意图槽位映射表梳理候选意图与候选槽位之间的对应关系。基于语义解析模型121预训练过程得到意图槽位映射100上直接执行语义解析任务，也可以继续存在于服务器200中执行来自电子设备100请求[0164]用于训练语义解析模型121的样本语料数据需要分批输入语义解析模型121的各[0166](b)batchsize：批大小,一个batch中的样本数量。每次训练在训练集中取[0171]每条样本语料数据经过数据预处理后得到与该条样本语料数据相应的Token序到的Token序列、断句标记以及对应Token序列的掩码输入语义解析模型121中的BERT编码121的上下游参数，使得BERT编码层经过足够长的时间或者足够样本预料数据的学习后能的句向量h0输入语义解析模型121中的意图分类层1212进行训练，使其能够输出如上文意[0175]意图分类层1212基于全连接层以及Sigmoid函数作为激活函数训练得到，训练过程中需要不断微调语义解析模型121的上下游参数，使得意图分类层1212经过足够长时间或者足够大量的样本预料数据的学习后能够提取所有可能的意图标签以及每个意图标签[0176]对于每条样本语料数据，意图分类层1212输出的候选意图都会输入后置处理层输出的编码向量序列{h0,h1,h2,……,ht}输入语义解析模型121中的注意力层1213进行训练，使其能够输出如上文注意力层1213中描述的意图注意力向量CI和槽位注意力向量f义解析模型121中的上下游参数，使得注意力层1213能够量化每个词向量对应的字对表达中的记忆空间，随着时间而变化的。LSTM模型的工作原理可以简单描述为：(1)forgetValue进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对在t时刻输出的编码向量ht、以及上述流程505训练的注意力层1213在t时刻输出的意图注意力向量CI和槽位注意力向量以及注意力层1213中t-1时刻LSTM模型输量C(即当前处理的字之前的句子的语义信息或字的词义信息)输入语义解析模型121中的[0183]槽位填充层1214基于槽位门机制、LSTM模型作为解码器以及Sigmoid函数作为激层1214经过足够长时间或者足够大量的样本预料数据的学习后能够对应可能的意图标签[0184]对于每条样本语料数据，槽位填充层1214输出的候选槽位都会输入后置处理层量候选意图和大量候选槽位输入语义解析模型121中的后置处理层1215进行关系梳理，例处理层1215对输入其中的候选意图和候选槽位便能够准确快速的找到候选意图与候选槽[0190]509：服务器200继续输入下一次epoch的样本语料数据重复流程502～507继续训[0191]值得注意的是，为了消除语义解析模型121得到的候选意图或候选槽位与真实的意图或槽位之间的因意图分类或槽位填充损失带来的差异，需要在训练语义解析模型121时引入联合优化函数对输出的候选意图和候选槽位进行意图分类损失函数和槽位填充损[0192]具体地，对于意图和槽位联合优化采用的目标损失函数则由意图分类损失函数、叉熵损失(CrossEntropyLoss)函数，槽位填充损失函数采用序列化的多标签SigmoidL(y.fx))=⃞1i-tlogp(t=1x)-(1-t)log(1-p(t=1))}(6)语义解析模型121能够对待解析的语料数据解析出更接近真实意图及真实槽位的候选意图型121既能够移植到电子设备100上直接执行语义解析任务，也可以继续存在于服务器200设备100的语音助手输入语音指令，电子设备100通过内部的人机对话系统110基于上述语了语义解析模型121的电子设备100与用户之间的具体交互过程可以参考以下及多个候选槽位，最终语义解析模型121将多个候选意图与多个候选槽位梳理对应关系后北京的火车票并预定北京火车站附近的五星级酒店”通过语义解析模型121得到的语义解[0210]604：电子设备100的人机对话系统110中的问题求解模块113基于语义解析模块112得到的语义解析结果搜索相应的应用程序或网络资源，以得到对语义解析结果中意图车站附近的五星级酒店”解析得到意图及槽位映射结果中包含用户的2个意图及相对于每方式是通过电子设备100可以打开已安装的订票服务软件应用或旅游软件应用查询火车票数据解析得到的意图及槽位映射结果中包含用户的3个意图及相对于每个意图的3个槽位、以及每个槽位填充的槽位值，那么电子设备100可以基于用户的使用习惯设置默认打开音[0213]605：电子设备100的人机对话系统110中的语言生成模块114对问题求解模块113[0214]上述流程603中对用户指令“帮我预定从上海到北京的火车票并预定北京火车站式是通过电子设备100可以打开已安装的订票服务软件应用或旅游软件应用查询火车票信入预订界面请用户确认。语言生成模块114可以相应的生成火车票的车次信息或酒店的介开电子设备100上安装的天气查询软件搜索最近三天的天气情况，相应的，语言生成模块话历史调度问题求解模块113搜索用户经常查询的北京作为搜索地址，向用户反馈北京近[0224]可以理解，电子设备100的人机对话系统110中的对话管理模块115可以灵活调度[0225]607：电子设备100的人机对话系统110中的语音合成模块116将语言生成模块114子设备100通过与服务器200交互将转化后的语料数据发送给服务器200进行语义解析，服务器200基于上述语义解析模型121提取用户语音指令中的多个候选意图及与意图相对应子设备100通过受话器170B或麦克风170C获取用户语音指令，并将获取的用户语音指令发送给人机对话系统110进行语音识别及语义解析，根据解语义解析结果匹配对应的解决方110还可以将对应语义解析结果的解决方案生成应答语音通过电子设备100的扬声器170A[0232]音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦