CN114722839B 人机协同对话交互系统及方法 （阿里巴巴达摩院(杭州)科技有限公司）

本申请实施例提供了一种人机协同对话交获得携带有所述对话数据对应的短语维度语义2所述对话表示学习层，用于根据所述结构信息，获得携所述对话结构学习层，用于根据所述语义表征向量，所述服务层，用于根据所述语义表征向量和所述语义转移关系，根据所述语义表征向量和所述语义转移关系，确定出用于进行服务培训的对话数据；根据所述语义表征向量和所述语义转移关系，确定出获取服务处理过程中的对话数据，并对获取的所述对话式预训练层，基于设定服务的对话数据样本，所述对话表示学习层，根据训练完成的所述预训练语言模所述对话结构学习层，根据训练完成的机器学习模型输所述服务层，进行根据所述语义表征向量和所述语义3针对所述对话数据样本中的句子内部标记结构的训练以所述对话数据样本对应的标记的词性信息和基于所述标记对所述对话数据样本进将所述第一子表征向量和所述第二子表征向量进行拼接根据多个分词的凝聚度、自由度和通过所述预训练语通过所述对话表示学习层的机器学习模型对所述所述第一子预训练模型用于根据每轮对话的数据样本对应的标记信息进行针对对话所述根据训练完成的所述预训练语言模型输出的表征向所述对话结构学习层，进行对训练完成的机器学习4所述对话结构学习层，进行基于训练完成的机器学习模型输所述服务层，进行根据所述语义表征向量和所述语义所述服务层，进行根据所述语义表征向量和所述语义所述服务层，进行获取服务处理过程中的对话数据，通过所述对话式预训练层，获得所述对话数据的结构信息；所述对话式预训练层针对对话数据样本包括的多轮对话的对话依赖关系的训练包括：对所述对话数据样本包括的多轮对话中的部分轮次对话的数据样本中的标记进行掩码处根据所述结构信息，通过所述对话表示学习层，获得携根据所述语义表征向量，通过所述对话结构学习层获得各轮对话之间的语义转移关根据所述语义表征向量和所述语义转移关系，通5[0003]类似地，其它服务行业也存在着智能对话机器人不能很好满足服务需求的67对话数据的结构信息；通过对话表示学习层获得携带有对话数据对应的短语维度语义信[0022]用户设备106可以包括适合于进行数据呈现的任何一个或多个用户设备。在一些8[0026]参照图2A，示出了根据本申请实施例一的一种人机协同对话交互系统的结构框[0027]本实施例的人机协同对话交互系统包括：对话式预训练层102、对话表示学习层话结构学习层106，用于根据语义表征向量，获得各轮对话之间的语义转移关系；服务层[0030]本申请实施例中，待处理的对话数据可以为任意服务行业中涉及服务的对话数话式预训练层可以据待处理的对话数据，输出对话数据中各轮对话的句子内部标记能指示从A到C或者从B到C的语义转移概率较低。基于此，在后续进行相关对话确定及对话9用于实时的人机交互对话过程中时，可辅助确定与客户当前交互语句更适配的对话语句，中查找到与该问题X相匹配的三个候选回复，分别为回复Y1“现在注销的话会有权益损主题维度语义信息的语义表征向量；通过对话结构学习层基于这些语义表征向量得到4个[0044]本实施例着重从如何训练获得上述实施例一中所述的人机协同对话交互系统为[0045]参照图3，示出了根据本申请实施例二的一种人机协同对话交互系统的结构示意本对应的标记作为第一子机器学习模型的输入，对第一子机器学习模型进行标记特征提训练层的机器学习模型可以学习到句子内token级的结构知识，从而可以使得模型更加善[0056]示例性地，可以在每轮对话的数据样本的token前添加一个代表该对话的[CLS][0062]分词的凝聚度用于表征分词单独出现的概率乘积和它们一起出现的概率的大小[0063]对比学习损失函数是一种用于降维学习的损失函数，它可以学使得语义相关的分词正样本之间的距离更近，而语义不相关的分词负例之间的距离更远，学习损失函数的结果进行对话表示学习层的机器学习模型针对对话数据样本的短语表示[0068]过程（1对对话样本数据对的两个句子A和B，首先应用预训练语言模型进行编码，并提取其每个token所对应的高维特征向量。其次将每个位置的高维向量逐行层叠起的每个元素代表两个特征矩阵M和N对应位置的特征而当A句和B句来自于不同对话session时（也即负样本对他们的余弦距离进行最大化处B句，分别送入两个独立的预训练语言模型中，提取对应的句子表征向量后进行互表示处[0074]（3）对于仅有一个句子的单句场景：使用一个相同的预训练语言模型（设置型两次编码的是相同句子，则对它们的余弦距离进行最小化处理，反之对它们的余弦距离进行最大化处理。对话表示学习层的机器学习模型进行针对对话数据样本的主题表示训练。通过这种方式，可以准确使得训练完成的机器学习模型具有较好的positionindex是对话中任一轮次包含的标记token对应的ID和相对句首的位置；turnindex和rolelabel是指任一轮次的轮次序号和角色标签。在对对话中的token向量进行掩习。可选地，CPLM可以实现为基于掩码-重建任务训练的多层Transformer类模型，如是通过采样得到，具体来说分为三个子步骤1）首先对对话中的每个角色的对话进行汇[0086]示例性地，显式对话结构学习训练首先通过对话表示学习层完成对话内原子实等算法）等完成对话的离散化处理；进一步在离散化处理的基础上对对话的进行语义分析码后的结果经过两个其它机器学习模型分别预测得到一个离散化的ID所对应的均值和方[0091]在一个基于回复选择和回复生成两个任务的联合建模完成隐式对话结构学习训将切分点以前的轮次作为对话上下文，该轮次作为目标回[0097]建模回复选择和回复生成任务所依赖的基础模型可以是任意应用于自然语言处该表示映射至一个N维向量，N代表离散状态的数量。进一步地，基于该离散状态进行[0101]在模型训练收敛后，上下文编码向量所对应的N维向量即是该状态下的上下文结[0118]基于对话上下文的服务应答筛选处理可以实现为在线多轮回复选择或者个性化本可以是客服系统线上大规模人人对话日志，通过利用日志中的数据中存在的语义切分[0133]对话流程挖掘处理是针对某段历史对话，从中挖掘出对话全局流程图的一种处及重建。务层确定出与服务需求相匹配的对话数据，以通过确定出的对话数据进行预设的服务处[0158]处理器502可能是CPU，或者是特定集成电路ASIC（ApplicationSpecific[0159]存储器506，用于存放前述实施例一或二中所描述的人机协同对话交互系统和程memory例如至少一个磁盘存储器。[0160]程序510具体可以用于使得处理器502执行前述方法实施例中所描述的人机协同对话交互方法调用存储器506中的人机协同对话交互系统以进行对应的人机协同对话交互[0161]程序510中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对示计算设备执行上述方法实施例中的人机协同对话交络下载的