CN119396979A 一种基于提示学习和对齐策略的对话推 荐模型训练方法及对话推 荐方法 （广东工业大学）

一种基于提示学习和对齐策略的对话推荐本发明公开了一种基于提示学习和对齐策语义对齐，利用线性交叉交互方法进行语义融2利用多粒度对比学习将对话历史的文本特征嵌入与实体的知识表示特征嵌入进行语利用线性交叉交互方法对对齐后的文本特征嵌冻结预设的生成式对话模型的参数，利用损2.根据权利要求1所述的一种基于提示学习和对齐策略的对话推荐模型训练方法，其3.根据权利要求2所述的一种基于提示学习和对齐策略的对话推荐模型训练方法，其将对话历史的文本特征嵌入和所涉及的实体的知识表示特征嵌入通过注意力引导降4.根据权利要求2所述的一种基于提示学习和对齐策略的对话推荐模型训练方法，其提取对话文本中的命名实体短语，将其在对话历史的文本特征嵌入中进行查找从实体级知识表示中提取与对话文本中命名实体短语相对应的实体嵌入，35.根据权利要求3或4所述的一种基于提示学习和对齐策略的对话推荐模型训练方法，6.根据权利要求1所述的一种基于提示学习和对齐策略的对话推荐模型训练方法，其fusepfuse表示线性交叉交互方法的可学习参数，θshare表示多任务共享软提示的可学p7.根据权利要求1所述的一种基于提示学习和对齐策略的对话推荐模型训练方法，其gengen8.根据权利要求7所述的一种基于提示学习和对齐策略的对话推荐模型训练方法，其49.根据权利要求1所述的一种基于提示学习和对齐策略的对话推荐模型训练方法，其5[0002]对话推荐系统(CRS)旨在通过自然语言对话来获取用户的偏好，并基于此向用户[0004]现有技术公开号为CN115525744A的发明专利提出了一种基于提示学习方法的对[0007]本发明第一方面提供了一种基于提示学习和对齐策略的6[0010]利用多粒度对比学习将对话历史的文本特征嵌入与实体的知识表示特征嵌入进[0011]利用线性交叉交互方法对对齐后的文本特征嵌入和实体[0013]冻结预设的生成式对话模型的参数，利用损失函数对模型的可学习参数进行训[0018]将对话历史的文本特征嵌入和所涉及的实体的知识表示特征嵌入通过注意力引前批次的实体嵌入与队列中非当前批次的文本嵌入[0024]提取对话文本中的命名实体短语，将其在对话历史的文7ppgengen述预设的生成式对话模型为预训练的DialoG为第j个原始对话响应，li是第i个原始对话的长度，wi，j是第i个原始对话第j个位置的单8[0064]图3为本发明实施例提供的预训练阶段，推荐任务阶段和对话生成任务阶段各自9史上下文文本嵌入Etext与回复文本嵌入Eresp，对回复文本嵌入Eresp进行映射变换后与历史2[0075]Response：Orforsomethingnewer，youmightlikeAWrinkleinTimeresp换后与Etext合并得到对话历史的文本特征嵌入别将对话历史上下文和Response使用RoBERTa进行编码后得到对话历史上下文文本嵌入Etext∈RBS×SQ×HS和回复文本嵌入Eresp∈RBS×SQ×HS，其中BS为batchsize，SQ为sequenceresp换后与Etext合并得到对话历史的文本特征嵌入[0078]知识图谱G由实体集合N和关系集合R组成种语义知识之间的模态差异对获取良好的整体知识表示来改进对话推荐系统的对话性能[0083]S3：利用多粒度对比学习将对话历史的文本特征嵌入Etokens与实体的知识表示特[0088]将对话历史的文本特征嵌入和所涉及的实体的知识表示特征嵌入通过注意力引前批次的实体嵌入与队列中非当前批次的文本嵌入[0093]细粒度对比学习是为利用对话文本中的命名实体短语嵌入与知识图谱中相应的[0094]提取对话文本中的命名实体短语，将其在对话历史的文pp段各自的提示模板组成如图3所示，引入软提示模版学习来引导DialoGPT模型更好地适应我们的下游任务。具体来说，方法中的软提示模版包括多任务共享软提示模版Pshare∈Rn为多任务共享软提示模版的序列长度，设置为20，n_rec为推荐任务软提示模版的序列长括多任务共享软标签嵌入，推荐任务中Et为第j个原始对话响应，li是第i个原始对话的长度，wi，j是第i个原始对话第j个位置的单[0122]其中，Prec为针对推荐任务的包含可学习参数θrec的软提示模板，C为原始对话历Etext并将推荐结果与生成文本G进行合并得到最终回复“HaveyouseenTheLionKinggenrecgenrec[0130]为了对对话推荐系统模型进行全面评估，我们选择了两个广泛认可的数据集：AmazonMechanicalTurk(AMT)的工作者通过模拟搜索者和推荐者之间的互动来收