CN119415697A 困难负样本生成、意图识别方法、电子设备及存储介质 （湖北星纪魅族集团有限公司）

开发区神龙大道18号太子湖文化数字本申请涉及困难负样本生成、意图识别方对应的上下文引导描述以及该目标组合输入到2通过所述关键词构建目标组合，其中，所述目标组合为用于描述将与所述目标意图对应的上下文引导描述以及所述目标组合输入到大语言模型LLM3.根据权利要求1所述的方法，与所述目标意图对应的上下文引导描述包括以下至少从所述目标意图对应的正样本中抽取指定个数的正样针对任一候选负样本，获取所述候选负样本的向量表示，以分别计算所述候选负样本的向量表示与所述样本池中所有样本的向量表示之间的余获取目标正样本和包括所述困难负样本的目标负样本，并通过所述自监督对比学习损失，所述目标正样本的第一交叉熵损失以3所述已训练的意图识别模型通过结合权利要求1至7任一项所述方法生成的困难负样本对执行所述计算机程序时实现权利要求1至8中算机程序被处理器执行时实现权利要求1至84从所述目标意图对应的正样本中抽取指定个数的正样本作为样本池；针对任一候选负样5的文本分类模型：L=u(Lcg+L⃞)/2+(1-a)LSCZ，其中，Lcg为通过所述目标正样本确识别模型通过结合上述困难负样本生成方法生成的困难负样本对意图识别模型进行训练计算机程序在被计算机的处理器执行时用于使计算机执行决了相关技术中挖掘的困难负样本普遍存在质量较低6[0020]为了更好地理解本申请实施例，以下将本申请实施例中涉及的技术术语解释如7[0033]上述这些涌现能力让LLM在处理各种任务时表现出色，使它们成为了解决复杂问8[0038]目前随着大模型的普及（LLM使用大模型为意图分类任务做数据增强的方案也扩充语料，如图1所示。图1是基于LLM扩展文本的示例图，在图1中使用的上下文引导描述9户意图的诈骗检测中，通过选择那些看似合法但具有诈骗意图的负样本，可以增强模型对欺诈行为的识别精度。进而解决了相关技术中挖掘的困难负样本普遍存在质量较低于模型训练来说是非常重要的部分。如果模型没有用困难样本进行学习，将会是非常大噪[0064]需要说明的是，上述基于图模型的文本排序算法可以是基于TextRank的算法，现关系(Co_Occurrence)构造任意两个节点之间的边，两个节点之间存在边即仅当它们对通过上述步骤S31~S33构建的目标组合可以表达出完[0075]在本申请实施例中，上述获取该候选负样本的向量量进行平均或其他聚合操作，获取句子的向量表示；方式三、使用深度神经网络（Deep[0076]示例性的，如图3所示，从每个意图类别中随机抽取200条语料作为标准样本池（anchorsamples然后对每一条候选负样本与所有标准样本池中的样本进行向量表示，计算向量之间的余弦距离看作是文本语义相似度，根据语义相似度筛选出高于某个阈值的[0077]此外，类似由BERT这样的预训练语言模型得到的句子向量往往是具备各向异性的句子向量转化为一个各向同性的句子向量。通过对比学习方法能够缓解各向异性的问[0078]下面表2是列举部分意图生成的困难负样本示例，可以发现生成的困难负样本的示一个batch中第i个正样本在类别c上的真实标签，ic表示模型输出的第i个正样本属于示一个batch中第i个扩充样本在类别c上的真实标签，Jic表示模型输出的第i个扩充样本量，表示第i个扩充样本经过BERT编码得到的向量表示。为上述特征向量对，目标负样本，并通过该目标正样本和该目标负样本对文本分类模型进行自监督对比学习；L=a(Lcg+L⃞)/2+(1-a)LSCZ，其中，Lcg为通过该目标正样本确定的第一交[0098]本申请实施例还提供了一种意图识别方法，图5是根据本申请实施例的一种意图进行训练得到。[0099]通过上述步骤S502，结合上述方法生成的困难负样本对器通信连接的存储器。上述存储器存储有能够被上述至少一个处理器执行的计算机程序，上述计算机程序在被上述至少一个处理器执行时用于使电子设备执行本申请实施例的方计算机程序在被计算机的处理器执行时用于使上述计算机被计算机的处理器执行时用于使计算机执行本申请[0106]参考图7，现将描述可以作为本申请实施例的服务器或客户端的电子设备的结构执行各种适当的动作和处理。在RAM703中，还可存储电子设备操作所需的各种程序和数储单元708以及通信单元709。输入单元706可以是能向电子设备输入信息的任何类型的设[0110]用于实施本申请实施例的方法的计算机程序可以采用一个或多个编程语言的任理装置的处理器或控制器，使得计算机程序当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读信号介质可以包括合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式备或上述内容的任何合适组合。[0114]本申请实施例所提供的方法实施方式