《面向跨领域多轮对话系统的设计案例》3500字

面向跨领域多轮对话系统的设计案例综述系统设计流程本文集成上述方法和模型设计了系统的开发流程，如图1.1所示，实现了面向跨领域的多轮对话系统。图1.1系统设计用文字来总结为：第一步，针对数据集中跨景点、餐馆、酒店和交通等四个领域，设计了相对应的意图请求和语义表示；第二步，数据集预处理。按照预定义的意图以及语义槽，基于中文预训练的BERT模型对对话数据进行意图检测和领域识别，进而对语料进行语义槽填充；第三步，数据集划分为训练集、验证集和测试集，首先在训练集上训练得到性能稳定的模型，然后通过验证集和测试集的实验，获得性能表现最优的模型；第四步，设计实现基于规则的对话状态追踪模块，为验证规则的合理性，评估了该方法在数据集上的表现；第五步，在数据集上基于模仿学习的方法进行监督学习，根据语料库中相对应的系统回复，构建并训练得到最优的动作预测模型；第六步，设计与定义每个系统动作对应的应答回复模板或者训练系统回答的SC-LSTM模型；最后一步，进行系统的统一部署与测试。数据集的介绍通过调研任务型对话常见的的应用场景，对比了不同数据集之间的优劣以及特点，最终确定使用一种面向多领域交互任务的大规模中文对话数据集。表1.1为基于该数据集的一个对话示例。表1.1对话示例对话标注你好，帮我找一个免费的景点。Id=1(景点)：门票=免费，名称=？，周边酒店=？天安门广场怎么样？景点：门票=免费多谢，我还想在天安门广场旁边找一家有叫醒服务的酒店住宿。Id=2(酒店)：名称=附近(Id=1)，叫醒服务=yes，评分=？向您推荐北京首都宾馆。酒店：附近=天安门广场，酒店设施=叫醒服务这是一个中文大规模多领域任务导向对话数据集，包含6千次对话，10万个句子，涉及5个领域（景点、酒店、餐馆、地铁、出租）。各领域包含的信息如下表1.2所示：表1.2数据集描述景点域名称*、评分*、门票*、游玩时间*、地址、电话、周边景点、周边餐馆、周边酒店餐馆域名称*、评分*、人均消费*、推荐菜*、地址、电话、营业时间、周边景点、周边餐馆、周边酒店酒店域名称*、评分*、价格*、酒店类型*、酒店设施*、电话、地址、周边景点、周边餐馆出租域出发地、目的地、车型、车牌号码地铁域出发地、目的地、粗体部分可以是跨域的信息槽；带星号的为信息槽；除了出租车和地铁域中的“from”和“to”插槽外，所有插槽都是可请求的插槽。“周边景点/餐馆/酒店”槽和“推荐菜”槽可以以列表形式表示。“酒店设施”的值用1和0表示有无。实验将数据集划分为训练集、验证集和测试集，各部分的信息如下表1.3所示：表1.3数据集描述TrainValidTest对话总数5012500500对话总轮次8469284588476标记1376033137736137427词汇量1250252025143平均涉及领域3.243.263.26平均语义图14.814.915.0平均轮次16.916.917.0平均标记16.316.316.2针对本文的对话系统，定义的部分意图类型如下表1.4所示：表1.4意图类型示例意图类型含义General+greet+none+none问候General+thank+none+none感谢Inform+景点+门票告知景点价格Inform+景点+评分告知景点评分信息Request+景点+名称+请求推荐景点的名称Request+景点+游玩时间+请求景点的开放时间区间Request+景点+周边餐馆+请求景点周边的餐馆Inform+餐馆+人均消费告知餐馆人均消费Inform+餐馆+评分告知餐馆评分信息Request+餐馆+名称+请求推荐餐馆的名称Request+餐馆+电话+请求餐馆的电话Request+餐馆+营业时间+请求餐馆的营业时间Request+餐馆+周边酒店+请求餐馆周边的酒店Inform+酒店+价格告知酒店价格Inform+酒店+评分告知酒店评分信息Inform+酒店+酒店设施-叫醒服务+是告知系统需要酒店提供叫醒服务Inform+酒店+酒店设施-无烟房+是告知系统需要酒店提供无烟房Inform+出租+目的地告知系统乘坐出租的目的地General+bye+none+none再见接口的设计与实现本节主要介绍系统代理接口的设计与实现，接口中主要包括的方法是回复函数和对话进程管理函数。在接口的实现中，要求给定该管道方法各个模块所需要使用的方法和模型，并详细定义了各个成员函数的实现过程。管道对话代理基类，包括NLU，DST，Policy和NLG。流水线代理模块的组合方式非常灵活，可以根据客户的需求制定各个模块使用的模型和方法，从而实现对话系统的对多样性。例如，在对话状态追踪模块是使用RuleDST还是TRADE模型等。在对话系统被投入使用之前，便可以按照预定义的NLU，DST，Policy和NLG预先完成系统代理的部署。而各个模块的具体实现就会按照第三章中介绍的流程，一步步地完成各模块的任务实现。本文搭建的对话系统将系统动作的具体实现过程以及信息处理的细节都封装在代理类中，系统通过代理类的实现来设计在线客服。在多轮对话的过程中，用户只需要向系统发出自己信息咨询的具体请求，通过系统内部方法的实现向用户提供合适的回复。但是正如同现实中人类之间的交互一样，双方会存在表意不明或者要求不具体的因此，因而也需要通过用户和系统的多次交互来收集用户的需求以完成系统任务。NLU接口的实现通过意图识别和命名实体识别我们就可以完成自然语言理解，本文提出了一种BERTNLU-context的模型来做多轮对话下的自然语言理解。表1.5NLU接口的使用示例BERTNLU输入：你好，给我推荐一个评分是5分，价格在100-200元的酒店。历史信息：无NLU输出：['General','greet','none','none'],['Request','酒店','名称',''],['Inform','酒店','评分','5分'],['Inform','酒店','价格','100-200元']输入：北京布提克精品酒店酒店是什么类型，有健身房吗？历史信息：'你好，给我推荐一个评分是5分，价格在100-200元的酒店。','推荐您去北京布提克精品酒店。'NLU输出：['Request','酒店','酒店类型',''],['Request','酒店','酒店设施-健身房',''],['Inform','酒店','名称','北京布提克精品酒店']DST接口的实现对话状态跟踪负责从对话上下文识别用户目标，然后将目标编码到预定义的系统状态中。传统的状态跟踪模型以自然语言理解模块解析的用户对话行为作为输入，而近年来出现了直接从上下文获取系统状态的联合模型。我们在这个实验中既实现了一个基于规则的模型(RuleDST)，也使用了TRADE(TransferableDialogueStateGenerator)模型REF_Ref71109008\r\h[27]。下面表1.6展示了该基于RuleDST实现的一个示例。表1.6RuleDST的实现示例RuleDSTDST输入：['General','greet','none','none'],['Request','酒店','名称',''],['Inform','酒店','评分','5分'],['Inform','酒店','价格','100-200元']图1.2状态更新示例DPL接口的实现该接口的预测示例如下表1.7所示：表1.7对话策略预测示例对话策略预测示例DPL输入：{'user_action':[['General','greet','none','none'],['Request','景点','名称',''],['Inform','景点','门票','免费']],'system_action':[],'belief_state':{'景点':{'名称':'','门票':'免费','游玩时间':'','评分':'','周边景点':'','周边餐馆':'','周边酒店':''},'餐馆':{'名称':'','推荐菜':'','人均消费':'','评分':'','周边景点':'','周边餐馆':'','周边酒店':''},'酒店':{'名称':'','酒店类型':'','酒店设施':'','价格':'','评分':'','周边景点':'','周边餐馆':'','周边酒店':''},'地铁':{'出发地':'','目的地':''},'出租':{'出发地':'','目的地':''}},'cur_domain':'景点','request_slots':[['景点','名称']],'terminated':False,'history':[['sys',''],['user','你好，麻烦帮我推荐一个门票免费的景点。']]}预测输出：[['Inform','景点','名称','天安门广场']]NLG接口的实现在TemplateNLG模块中，我们预先定义了系统动作对应的回复模板。表1.8TemplateNLG的生成示例TemplateNLG输入：['Inform','景点','名称','天安门广场']输出：您可以考虑天安门广场这个景点。输入：['Inform','景点','周边餐馆','北京全聚德(王府井店)']输出：还真挺方便的，有一家饭店叫北京全聚德(王府井店)。如下表1.9所示为基于SC-LSTM的自然语言生成模块的作用原理。表1.9SC-LSTM方法的作用原理SC-LSTM输入：(Inform,Restaurant,name,$name)(Inform,Restaurant,cost,$cost)输出：为您推荐$name，人均消费$cost。如下表1.10展示了基于SC-LSTM方法的自然语言生成模块的作用示例：表1.10基于SC-LSTM方法的自然语言生成示例SC-LSTM系统端输入：['Inform','景点','名称','天安门广场']系统端输出：推荐您去天安门广场游玩。用户端输入：['Inform','餐馆','人均消费','100-150元'],['Request','餐馆','电话','']用户端输出：好的，请给我推荐一家人均消费100-150元的餐馆吃饭，这家的电话是多少？对话系统总体流程及成果展示对话系统总体设计流程图1.3系统流程多轮对话系统测试如表1.11所示，在多轮对话系统的测试过程中，用户输入请求语句，系统会实时的反馈用户意图的识别情况，以及系统下一步行为的预测，并生成最终给用户的答复。系统会根据预定义的对话状态，每一轮交互中都会更新用户的行为，直至语义槽填充完毕。在这里依次集成了BERTNLU模型、RuleDST模型、基于监督学习的对话策略学习模型和基于语义控制的LSTM模型用于系统测试。表1.11系统测试示例系统测试结果用户输入：你好，麻烦帮我推荐一个门票免费的景点。系统输出：推荐您去天安门广场游玩。用户输入：天安门广场不错，这附