CN115345165B 一种面向标签稀缺或分布不平衡场景的特定实体识别方法 （北京邮电大学）

一种面向标签稀缺或分布不平衡场景的特本发明公开了一种面向标签稀缺或分布不布感知的自适应重采样策略和去混淆的边际损解决了域内标签稀缺场景下实体类别分布不平用于训练集中标签样本较少或不平衡度较高的2S2、使用训练好的模型对未标记的数据进行预测，S4、将采样出来的伪标注样本的伪标签作为其真实2.根据权利要求1所述的面向标签稀缺或分布不平衡场景的特定实体识别方法，其特体标签序列。3.根据权利要求1所述的面向标签稀缺或分布不平衡场景的特定实体识别方法，其特标签分布感知的边际损失函数LU如下：类抑制的混淆损失函数LP如下：4.根据权利要求1所述的面向标签稀缺或分布不平衡场景的特定实体识别方法，其特35.根据权利要求1所述的面向标签稀缺或分布不平衡场景的特定实体识别方法，其特4实体识别模型在实体分布不平衡的语料中训练会导致其对实体类型的判决边界向稀有实[0005]以自训练为代表的半监督方法在分布不平衡设定下的表现会大受影响。由于教师_学生模型的迭代过程中会不断有新标签加入，标签类别分布的不平衡往往会在这种迭[0006]近年来这一问题在图像领域得到了广泛的关注，《CReST:AClass_RebalancingSelf_TrainingFrameworkforImbalancedSemi_SupervisedLearning》(ChenWei,KihyukSohn,ClaytonMellina,AlanYuille,andFanYang.2021a.Crest:Aclass_rebalancingself_trainingframeworkforimbalancedsemi_supervisedlearning.2021IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR).)提出使用加权重采样的方式促使模型在迭代过程中更多的加入来自少数类的伪5标签，在长尾图像分类数据集上得到了很好的表现。《RethinkingRe_SamplinginImbalancedSemi_SupervisedLearning》(JuHe,AdamKortylewski,ShaokangYang,ShuaiLiu,ChengYang,ChanghuWang,andAlanYuille.2021.Rethinkingre_samplinginimbal_ancedsemi_supervisedlearning.arXivprep[0019]L=Lcnp+1Ln+ZLn6型在有标签样本较少且不平衡度较高的数据上识别[0041]2、本发明针对特定实体识别任务设计了一种新的伪标签分布感知的自适应重采7[0045]图1为本发明实施例提供的面向标签稀缺或分布不平衡场景的特定实体识别方法签将数据集划分为标记数据集和未标记数据集，并进一步将标记数据集按照7:2:1的比例8[0056]本发明实施例以目前常用的命名实体识别的Bert+BiLSTM+CRF模型作为骨干网损失函数的训练目标，旨在模型训练时修正实体之间的边界大小并减轻潜在的混淆现象。[0063]去混淆的边际损失函数L由条件随机场损失Lcrr、标签分布感知的边际损失[0066]条件随机场损失函数Lcnp是Bert+BiLSTM+CRF模型的原始损失函数；本发明采用了类抑制的混淆损失函数LP,如下：9[0072]其中ξ是一个分数阈值参数，将分数大于ξ的非真实类别上的损失计入损失函数，[0094]将待识别文本输入训练好的模型中进行预测，在CRF层中采用维特比算法进行译[0095]在本发明实施的数据集上，稀有实体类别的F1值可提升69％。如在10_shotSNIPS数据集稀有类别上F1值提升8.7在10_shotFew_