CN115098679B 文本分类标注样本的异常检测方法、装置、设备及介质 （达观数据有限公司）

本发明实施例公开了一种文本分类标注样去噪模型识别准确率低而造成工作人员工作量了能够有效地对文本分类标注样本进行异常检2计算两两文本分类标注数据之间的语义相似度，并在每个聚类簇中，对相同分类标签的各文本分类标注数据进根据分类子簇中的文本分类标注数据在所属聚类簇中的数量占比，识别异常分类子将两两文本分类标注数据分别输入至预先训练的语义相似度模型将获取到的两个样本分类标注数据分别输入至参数共享层，得将第一样本分类标注数据对应的各所述字向量输入至池化层，得到计算第一样本分类标注数据向量和第二样本分类标注数据向量的拼接第一样本分类标注数据向量、第二样本分类标注数据向量以及将样本分类标注数据拼接向量输入至语义分类器中来训练，训练完成之根据所述语义相似度计算结果，构建得到语义相似度矩阵在所述文本分类标注数据集中，获取一个未处理的目标数据，将所述目标数据与各所述密度相连数据共同组成一个聚类簇，并返回执行在所述文本分类标注数据集中，获取一个未处理的目标3将不属于任一聚类簇的孤立文本分类标注数据识别为异统计在当前分类子簇中文本各分类标注数据的数量，并分别在识别为异常分类子簇中的各文本分类标注数据中添加解释标签，并反馈给用注数据的数据集合；所述文本分类标注数据是根据分类标签的不同而存在不同的标注数聚类簇确定模块，用于计算两两文本分类标注数据之间的语分类子簇确定模块，用于在每个聚类簇中，对相同分类标异常分类子簇识别模块，用于根据分类子簇中的文本分类9.一种计算机设备，包括存储器、处理器及处理器执行时实现如权利要求1-7中任一所述的文本分类标注样本的异45现如本发明任意实施例所述的文本分类标注样本[0019]图2为本发明实施例二提供的另一种文本分类标注样本的异常检测方法的流程[0020]图3是本发明实施例三提供的一种文本分类标注样本的异常检测装置的结构示意[0024]图1为本发明实施例一提供的一种文本分类标注样本的异常检测方法的流程图。6类标签B中存在50个文本分类标注数据和分类标签C中存在25个文本分类标注数据可以聚7比权重值为80由于80％大于30则分类子簇1为正常分类子簇。分类子簇2的占比权重[0044]进一步的，在聚类簇2中，可以计算出分类子簇3的占比权重值为66.67由于66.67％大于30则分类子簇3为正常分类子簇。分类子簇4的占比权重值为33.33由于类子簇属于正常分类子簇或者异常分类子簇。这样可以根据科学准确地计算出占比权重以是sentence-Bert语义相似度模型中的Bert层，能够将接收到的样本分类标注数据用字8[0049]其中，第一样本分类标注数据可以是两个样本分类标注数据中的一个样本数入的样本分类标注数据拼接向量进行语义分类的对应的各字向量输入至池化层，得到第二样本分类标注数据向量为因此可以得到样本分类标注数据差值向量为|使得训练出的语义相似度模型更加准确地输出两个文本分类标注数据之间的语义相似度，从而能更加准确对各文本分类标注数据进行聚比权重值为80由于80％大于30则分类子簇1为正常分类子簇。分类子簇2的占比权重[0056]进一步的，在聚类簇2中，可以计算出分类子簇3的占比权重值为66.67由于66.67％大于30则分类子簇3为正常分类子簇。分类子簇4的占比权重值为33.33由于9[0059]图2为本发明实施例二提供的另一种文本分类标注样本的异常检测方法的流程[0064]其中所述语义相似度矩阵中的一个矩阵元素为两个文本分类标注数据之间的语中至少存在10个文本分类标注数据才可以确定为有效的聚类簇。假设对100个文本分类标标数据的全部密度相连数据；将所述目标数据与各所述密度相连数据共同组成一个聚类[0082]图3是本发明实施例三提供的一种文本分类标注样本的异常检测装置的结构示意图，本实施例所提供的一种文本分类标注样本的异常检测装置可以通过软件和/或硬件来[0083]其中，文本分类标注数据集获取模块310，用于获取待去噪的文本分类标注数据[0086]异常分类子簇识别模块340，用于根据分类子簇中的文本分类标注数据在所属聚[0094]上述文本分类标注样本的异常检测装置可执行本发明任意实施例所提供的文本序以及模块，如本发明实施例中的文本分类标注样本的异常检测方法对应的程序指令/模[0100]输入装置430可用于接收输入的数字或字符信息，以及产生与设备的用户设置以中，如计算机的软盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random本发明不限于这里所述的特定