CN110188182A 模型训练方法、对话生成方法、装置、设备及介质 （中国科学院深圳先进技术研究院）

通过所述对话生成模型中的解码器融合所述问句的编码表示和针对所述问句从知识库问答模过损失函数调整所述对话生成模型的参数直到2基于所述问句对应的预测回复和标注回复确定损失函获取所述问句的上下文注意力向量，将所述问句的上通过所述多层感知机网络获得所述问句的增强注意力向量，将将所述问句输入所述知识库问答模型，获取所述知识库问确定所述问句的相似问句对应的回复作为相似候选回复将所述问句的第二编码表示和第三编码表示中至少一则所述通过所述对话生成模型中的解码器融合所述问句的编码表示和从知识库问答通过所述对话生成模型中的解码器融合所述问句的综合编码表示和针对所述问句从基于通用数据集和常识知识库训练所述神经网络模型5.根据权利要求1至3中任一项所述的方法通过构建的对话生成模型基于词嵌入模型确定所述3通过所述对话生成模型中的解码器融合所述问句的编码表示和针对所述问句从知识将所述问句的上下文注意力向量输入所述知识库问答通过所述多层感知机网络获得所述问句的增强注意力向量，将获取所述多层感知机网络基于所述问句的上下文注意力向量和从知识库词表中各词根据所述问句的上下文注意力向量和所述知识库词表将所述对话生成模型中解码器的隐藏层状态表示和所述增强注意力向量输入所述对将所述对话生成模型中编码器针对所述问句中最后一根据所述对话生成模型中解码器的上一时间步状态和上一时间步生成的符号对应的词嵌入表示以及所述对话生成模型中编码器的当前时间步生成的注意力向量作为所述对将所述问句输入所述知识库问答模型，获取所述知识库问确定所述问句的相似问句对应的回复作为相似候选回复将所述问句的第二编码表示和第三编码表示中至少一4则所述通过所述对话生成模型中的解码器融合所述问句的编码表示和从知识库问答通过所述对话生成模型中的解码器融合所述问句的综合编码表示和针对所述问句从获取模块，用于获取对话数据集，所述对话数据集中的对话过所述损失函数调整所述对话生成模型的参数直生成模块，用于通过预训练的对话生成模型中的过所述对话生成模型中的解码器融合所述问句的编码表示和针对所述问句从知识库问答所述处理器用于根据所述计算机程序执行权利要求1至5生成模型中的解码器融合所述问句的编码表示和针对所述问句从知识库问答模型中迁移6输出的所述问句对应的预测回复，基于所述问句对应的预测回复和标注回复确定损失函[0025]通过所述对话生成模型中的解码器融合所述问句的综合编码表示和针对所述问7[0032]生成模块，用于通过预训练的对话生成模型中的编码器获得所述问句的编码表问答模型中迁移学习的知识信息，获得所述对话生成模型输出的所述问句对应的预测回[0037]获取所述多层感知机网络基于所述问句的上下文注意力向量和从知识库词表中[0038]根据所述问句的上下文注意力向量和所述知识库中词表中各词[0041]将所述对话生成模型中解码器的隐藏层状态表示和所述增强注意力向量输入所所述对话生成模型中解码器的初始状态并将预[0045]根据所述对话生成模型中解码器的上一时间步状态和上一时间步生成的符号对应的词嵌入表示以及所述对话生成模型中编码器的当前时间步生成的注意力向量作为所8[0052]通过所述对话生成模型中的解码器融合所述问句的综合编码表示和针对所述问[0055]所述处理器用于根据所述计算机程序执行本申请第一方面所述的对话生成模型[0057]本申请第五方面提供一种包括指令的计算机程序产品，当其在使得所述计算机执行本申请第一方面所述的对话生成模型训练方法或第二方面所述的对通过所述对话生成模型中的解码器融合所述问句的编码表示和针对所述问句从知识库问9备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过[0082]参见图1所示的对话生成模型训练方法的场景架构图，该场景中包括服务器10和整所述对话生成模型的参数直到所述对话生句的词嵌入表示，然后根据所述词嵌入表示通过双向长短期记忆网络(Bidirectional[0091]考虑到对话生成模型是一种序列到序列(Sequence-to-Sequence,Seq2Seq)框架xTx}，该对话生成模型输出的答复也可以通过单词序列的形式呈[0093]在实际应用时，服务器从知识库问答模型中迁移学习针对所述问句的知识所述知识库问答模型中的多层感知机(Multi-LayerPerception)网络中；通过所述MLP获注意力向量，针对融合后的向量可以通过对话生成模型中的分类器如softmax进行单词概整所述对话生成模型的参数直到所述对话[0098]其中，L为损失函数，θ代表模型所有参数集合，D代表包含<问句(post),回复基于该损失函数调整对话生成模型的参数，直至对话生成模型的损失函数处于收敛状态，示和针对所述问句从知识库问答模型中迁移学习的所述对话生成模型中的解码器融合所述问句的综合编码表示和针对所述问句从知识库问Questions，常识知识库可以是freebase-FB2M，在训练过程中通过铰链损失函数Hinge机程序的形式存储于服务器中，服务器通过执行该计算机程序实现本申请的对话生成方述对话生成模型中的解码器融合所述问句的编码表示和针对所述问句从知识库问答模型量，将所述问句的上下文注意力向量输入所述知识库问答模型中的MLP网络中，通过所述MLP网络获得所述问句的增强注意力向量，将所述问句的增强注意力向量作为针对所述问获取所述MLP网络基于所述问句的上下文注意力向量和从知识库词表中各词分别迁移得到述对话生成模型中解码器的隐藏层状态表示和上述增强注意力向量输入所述对话生成模型中分类层如softmax层，根据所述分类层输出的预测单词分布生成所述问句对应的预测[0129]其中，获得对话生成模型中解码器的隐藏层状态表示具体可以通过如下方式实对话生成模型中解码器的初始状态并将预设符号作为初始符号(startofsentence，词嵌入表示以及所述对话生成模型中编码器的当前时间步生成的注意力向量作为所述对实现的，该对话生成模型将知识库问答模型中的知识信息迁移到开放域对话生成任务中，[0137]对话生成模型的训练过程包括两部分，首先预训练KBQA，如图6中S601和S602所识知识库freebase-FB2M中随机采样20个错误答案。候选知识答案集G中至少包括一条正使用预训练的GloVe将每个单词转换为对应的词嵌入表示，该词嵌[0163]进一步地，服务器还使用预训练的KBQA中对问题Q进行编码的BiLSTM对问句再次函数调整所述对话生成模型的参数直到所述对话t-1和hkbtj是第t-1时刻解码器隐藏层状态表示与编码器第j时刻隐藏层状态表示的相和b0为要学习的参数。[0186]可以理解，本申请提供的对话生成方法可以应用于人工智能(Artificial型中迁移学习得到的第二编码表示以及基于回复引导注意力机制确定的第三编码表示拼力向量输入知识库问答模型中的MLP网络中，通过MLP网络获得该问句的增强注意力向量，[0191]服务器10通过对话生成模型中的解码器融合该待回答的问句的综合编码表示和[0192]以上为本申请实施例提供的对话生成模型训练方法和对话生成方法的具体实现[0204]通过所述对话生成模型中的解码器融合所述问句的综合编码表示和针对所述问[0208]可选的，所述训练模块820在通过构建的对话生成模型中的编码器获得所述问句[0217]获取所述多层感知机网络基于所述问句的上下文注意力向量和从知识库词表中[0221]将所述对话生成模型中解码器的隐藏层状态表示和增强注意力向量输入所述对所述对话生成模型中解码器的初始状态并将预[0225]根据所述对话生成模型中解码器的上一时间步状态和上一时间步生成的符号对应的词嵌入表示以及所述对话生成模型中编码器的当前时间步生成的注意力向量作为所[0232]通过所述对话生成模型中的解码器融合所述问句的综合编码表示和针对所述问个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存生成模型中的解码器融合所述问句的编码表示和针对所述问句从知识库问答模型中迁移程序用于执行前述各个实施例所述的对话生成模型训练方法或者对话生成方法中的任意[0248]本申请实施例还提供一种包括指令的计算机程序产品，当其在使得计算机执行前述各个实施例所述的对话生成模型训练方法或者对话生成方法中的任[0253]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方