CN114691866B 面向多级标签的文本分类方法、装置、设备及存储介质 （航空工业信息中心）

本公开实施例涉及一种面向多级标签的文基于预设的面向多级标签的文本分类模型中的文本和现有类别标签进行编码处理和余弦相似2基于预设的面向多级标签的文本分类模型中的文本编码模型对所述文本进行编码处分别计算所述文本的特征向量与每个标签的向量将所述余弦相似度大于预设阈值的标签确定为所述所述基于预设的面向多级标签的文本分类模型中的文本编码模型对所述文本进行编基于所述文本编码模型，将所述文本的关键词注入到所述文本编基于所述文本编码模型，将所述文本转化为所述文本的特征向量，对所述文本进行预处理，所述预处理的方式至少包括删除超文本标记语从所述文本中提取标题以及首段和尾段的内容，并对所述标题以及编码模块，用于基于预设的面向多级标签的文本分所述编码模块用于基于所述文本编码模型，将所述文本的关键词注入3第一确定子模块，用于基于关键词和标签之间的映射关系，预处理模块，用于对所述文本进行预处理，所述预处理的方式至第一拼接子模块，用于从所述文本中提取标题以及首段述计算机程序被处理器执行时，实现如权利要求1-4中任一项所述的面向多级标签的文本4[0006]本公开实施例的第一方面提供了一种面向多级标签的文本分类方法，该方法包[0008]本公开实施例的第二方面提供了一种面向多级标签的文本分类装置，该装置包5[0019]图1是本公开实施例提供的一种面向多级标签的文本分类模型的训练方法的流程[0020]图2是本公开实施例提供的一种面向多级标签的文本分类模型的BERT模型的嵌入6[0025]图1是本公开实施例提供的一种面向多级标签的文本分类模型的训练方法的流程[0027]本公开实施例中，获取文本以及文本中关键词对应的标签可以通过步骤S11-S12[0029]本公开实施例所称的关键词表可以理解为某个领域预先[0035]本公开实施例所称的面向多级标签的文本分类模型是基[0038]本公开实施例的面向多级标签的文本分类模型需要正样本和负样本在特征空间7[0041]在本公开实施例的一种实施方式中，对文本进行编码处理的编码模型可以采用BERT(BidirectionalEncoderRepresentationsfromTransformers)模型对文本进行特[0042]在BERT模型嵌入层原有的三个嵌入特征的基础上，即在标记嵌入层(tokenembedding)，段嵌入层(segmentembedding)和位置嵌入层(positionembedding)的基础[0043]示例性的，如图2所示的BERT模型的嵌入层结构示意图，在BERT模型中输入文本[0044]BERT模型的嵌入层处理完文本信息后，将处理完后的数据输入BERT模型中的[0045]在本公开实施例的一些实施方式中，文本的特征向量可以是Transformer最后一声，还可以对文本进行预处理，预处理的方式至少包括删除超文本标记语言(HyperText8[0049]在本公开实施例的一种实施方式中，可以将离散标签通过one-hot编码映射成向中M为BERT模型的特征维度，则标签的向量的计算公式为在模型训练过程[0053]本公开实施例中的损失函数可以采用InfoNCE(InformationNoiseContrastiveEstimation)损失函数，该函数是一种用于自监督学习的对比损失函数，其中NCE(Noise特征向量和每个标签的向量以及该正样本对应的负样本的文本的特征向量和每个标签的9[0064]本公开实施例中的损失函数的值可以定义为损失值，可于或等于第一预设阈值的面向多级标签的文本分类模型的参数确定为原始数据集划分成训练集和验证集，将训练集输入面向多级标签的文本分类模型进行训[0074]图3是本公开实施例提供的一种面向多级标签的文本分类方法的流程图，该方法[0076]本公开实施例中的获取文本以及文本中关键词对应的标签的方式与上述步骤101[0077]步骤302、基于预设的面向多级标签的文本分类模型中的文本编码模型对文本进[0079]本公开实施例所称的预设的面向多级标签的文本分类模型为图1中训练得到的面向多级标签的文本分类模型，将获得的文本输入图1中训练得到的面向多级标签的文本分类模型中的文本编码模型，将获得的标签输入图1中训练得到的面向多级标签的文本分类文本的特征向量对文本的关键词进行敏感表征，基于该标签编码模型对标签进行编码处声，还可以对文本进行预处理，预处理的方式至少包括删除超文本标记语言(HyperText[0089]图4是本公开实施例提供的一种面向多级标签的文本分类装置的结构示意图，该[0091]编码模块420，用于基于预设的面向多级标签的文本分类模型中的文本编码模型[0092]计算模块430，用于分别计算文本的特征向量与每个标签的向量之间的余弦相似[0102]本实施例提供的面向多级标签的文本分类装置能够执行上述图3中任一实施例的器中存储有计算机程序，当该计算机程序被该处理器执行时可以实现上述图3中任一实施[0104]本公开实施例提供了一种计算机可读存储介质，该存储介质中存储有计算机程[0106]上述计算机程序可以以一种或