CN113988267B 用户意图识别模型的生成方法、用户意图识别方法和设备 （携程旅游信息技术（上海）有限公司）

司及各层卷积网络的输出结果与各层编码网络的进行可微神经网络结构搜索，获得目标学生模2基于逐层知识蒸馏训练包含多层编码网络的教师模型，获得目标基于包含多层卷积网络的学生模型，根据包含所述学生模型的根据所述目标学生模型的输出结果与所述真实标签之间的交叉熵损在所述教师模型中插入对应每层所述编码网络获得每层所述编码网络在所述预设次训练中的最优输出，作为所每个所述搜索单元中，两个所述输入节点为前两个搜索单元的输出其中，Lce为所述学生模型的输出结果与所层所述卷积网络的输出结果与各层所述编码网络的输出Logits之间的交叉熵损失，Le为3其中，为所述第j层编码网络上的Probe分类器，为所述第j层编码网络的隐藏所述对所述目标学生模型进行微调时，p(ym)为所述目标学生模型将所述第m个样本预所述用户意图识别模型用于识别用户输入内容是否为闲聊。将所述用户输入内容输入由权利要求1-10任一项所述的生成方法生成的用户意图识根据所述用户意图识别结果，判断所述用户输入内容是否为闲聊4知识蒸馏模块，用于基于逐层知识蒸馏训练包含多层可微搜索模块，用于基于包含多层卷积网络的学生模型，根微调处理模块，用于根据所述目标学生模型的输出结果与所述真实标意图识别模块，用于将所述用户输入内容输入由权利要求1其中，所述可执行指令被所述处理器执行时，实现如权利要求1-10任5[0007]需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理蒸馏训练包含多层编码网络的教师模型，获得目标教师模型的每层编码网络的输出6于知识蒸馏训练所述教师模型，以通过所述Probe分类器获得每层所述编码网络的输出所述教师模型进行预设次训练；获得每层所述编码网络在所述预设次训练中的最优输出，作为所述目标教师模型的每层所述编码网络的输出L为各层所述卷积网络的输出结果与各层所述编码网络的输出Logits之间的交叉熵损失，7[0027]在一些实施例中，所述学生模型的输出结果与所述真实标签之间的交叉熵损失的公式为：模型用于识别用户输入内容是否为闲聊。8[0042]图3示出本发明一实施例中可微神经网络结构搜索的更新迭代次数与目标损失函[0043]图4示出本发明一实施例中可微神经网络结构搜索的更新迭代次数与学生模型准[0051]在线旅行服务平台拥有庞大的用户数量，并为用户提供实时在线客服咨询服9网络结构搜索将BERT大模型(教师模型)自动压缩为适用于用户意图识别的小模型(学生模过Probe分类器获得每层编码网络的输出[0058]对于一个训练在主任务上的大型神经网络，Probe(探针)是一个插入在其中间隐核)；具有不同卷积核尺寸的多种空洞卷积，例如包括dilated_cnn3、dilated_cnn5和[0062]图2示出一实施例中进行可微神经网络结构搜索的神经网络架构。可微神经网络在DARTS搜索过程中，首先定义图2所示的神经网络架构。学生模型200中，包含输入层每条进入中间节点的边有10种候选算子，分别为：cnn3、cnn5、cnn7、dilated_cnn3、真实标签之间的交叉熵损失，Lro为各层卷积网络的输出结果与各层编码网络的输出[0065]在BERT模型压缩过程中，利用Probe分类器从教师模型中逐层分解有用的任务知表示为目标教师模型的第j层编码网络的隐藏表示，将cim表示为学生模型的第i层与第j层编码网络的输出Logits之间的交叉[0078]图3示出一实施例中DARTS搜索的更新迭代次数与目标损失函数的曲线关系，图4示出DARTS搜索的更新迭代次数与学生模型准确率的曲线关系。参照图3所示的曲线300和4.6ms4.5ms行过程中，基于Probes的知识蒸馏主要为适用于用户意图识别任务的小模型搜索提供向[0086]本发明实施例还提供一种用户意图识别方法，利用上述获得的用户意图识别模[0093]本发明的用户意图识别模型的生成装置/用户意图识别装置，能够通过逐层知识蒸馏和可微神经网络结构搜索，自动获得压缩了模型参数量与模型大小的目标学生模型，元810执行上述任意实施例描述的用户意图识别模型的生成方法/用户意图识别方法的步[0099]存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元[0101]总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储实现上述任意实施例描述的用户意图识别模型的生成方法/用户意图识别方法。在一些可完成模型结构搜索后进行微调，在不需要重新训练的情况下使得模型性能得到明显提升，(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-[0108]可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序