基于标签分布学习的偏标记分类研究综述

基于标签分布学习的偏标记分类研究综述一、偏标记分类的问题定义与现实场景适配偏标记分类是弱监督学习领域的典型问题，其核心特征是训练样本的真实标签被隐藏在一个候选标签集合中，学习器无法直接获取样本的精确标签监督信息。与传统监督学习中每个样本对应唯一确定标签的设定不同，偏标记分类的训练数据标注成本显著降低，能够适配大量无法实现精确标注的现实场景。例如在图像语义标注任务中，标注者可能仅能判断某张风景图片包含“山”“水”“树木”中的部分元素，但无法确定哪个是核心标签；在生物信息学的蛋白质功能预测场景中，通过高通量实验得到的蛋白质功能候选集合往往包含多个潜在功能，真实功能需要通过后续实验验证，直接使用候选集合作为监督信息训练模型是更高效的选择；在音频事件检测任务中，复杂背景音下的音频片段可能对应“鸟鸣”“风声”“汽车鸣笛”等多个候选事件，真实事件难以直接判定。常规偏标记分类的解决思路主要分为两种：一类是基于消歧的方法，即通过假设候选标签集合中真实标签的权重最高，在训练过程中迭代更新每个候选标签的置信度，逐步筛选出真实标签；另一类是基于标签嵌入的方法，通过将样本特征和标签空间映射到同一个低维空间，建立特征与候选标签集合的关联。但传统方法普遍存在一个显著缺陷：默认候选标签集合中仅存在一个真实标签，忽略了候选标签之间的相关性以及样本可能同时具备多个标签属性的情况，当候选标签之间存在语义重叠、或者样本本身具有多标签属性时，传统方法的分类性能会出现明显下降。二、标签分布学习的核心范式与适配性标签分布学习（LabelDistributionLearning,LDL）是针对标签模糊性问题提出的学习框架，其核心是将每个样本的监督信息表示为一个标签分布向量，向量中的每个元素对应一个标签的描述度，所有元素的和为1。与单标签学习中标签描述度为0或1、多标签学习中标签描述度为0或1且可存在多个1的设定不同，标签分布学习允许标签的描述度取0到1之间的任意实数，能够更精细地刻画样本与不同标签之间的关联程度。例如在人脸年龄估计任务中，一个看起来25岁左右的人脸样本，其标签分布可能在24岁、25岁、26岁三个标签上分别对应0.2、0.6、0.2的描述度，更符合人类标注的模糊性特征；在图像美学评估任务中，“构图”“色彩”“主题”三个标签的描述度可以分别反映图像在不同维度的表现，比单一的“美/不美”标签包含更丰富的监督信息。标签分布学习与偏标记分类的适配性体现在三个层面：首先，偏标记分类的候选标签集合可以自然转化为标签分布的支撑集，即候选标签之外的标签描述度为0，候选标签内部的描述度可以通过学习得到，无需假设仅存在一个真实标签；其次，标签分布学习的损失函数可以直接适配偏标记的监督形式，通过约束候选标签的描述度总和为1，同时最小化预测分布与真实分布的差异，实现端到端的训练；最后，标签分布学习天然具备建模标签相关性的能力，候选标签之间的语义关联可以通过分布的相似性进行刻画，例如“猫”和“狗”两个标签的分布在动物样本中通常具有更高的相关性，这种相关性可以帮助模型更准确地估计真实标签的描述度。三、基于标签分布学习的偏标记分类主流方法体系3.1基于分布初始化的消歧方法该类方法的核心思路是先对候选标签集合的初始分布进行合理假设，再通过迭代优化得到最终的标签分布和分类模型。早期的代表性工作采用均匀分布初始化，即假设候选标签集合中的每个标签初始描述度相等，之后在每一轮训练中，使用当前分类器预测每个样本的标签分布，再将预测分布与初始分布的加权结果作为下一轮训练的监督信息，直到模型收敛。这类方法的优势是实现简单，不需要额外的先验信息，但在候选标签集合规模较大时，均匀初始化的假设会引入较大的噪声，导致模型收敛速度慢、分类精度低。为了优化初始化策略，后续研究引入了特征相似性先验：假设特征相似的样本其标签分布也相似，因此可以通过K近邻方法统计每个样本的邻居样本中候选标签的出现频率，以此作为初始分布的权重。例如对于样本x的候选标签集合S，若x的10个近邻样本中有6个样本的候选集合包含标签y1，3个包含标签y2，1个包含标签y3，则初始分布可以设置为y1:0.6，y2:0.3，y3:0.1。这类方法能够利用数据的局部结构信息提升初始化的合理性，在人脸属性识别、自然场景分类等数据集上的性能比均匀初始化方法提升了10%以上。但该类方法的性能高度依赖特征空间的质量，当特征存在大量噪声、或者局部结构不清晰时，初始化的准确性会明显下降。3.2基于分布约束的端到端学习方法端到端学习方法不需要显式的消歧步骤，而是通过在损失函数中加入偏标记约束，直接学习从样本特征到标签分布的映射函数。最常见的约束是候选标签的描述度总和为1，非候选标签的描述度为0，在此基础上结合标签分布学习的典型损失函数，如Kullback-Leibler（KL）散度损失、一致性损失、最大间隔损失等。以KL散度损失为例，模型的优化目标是最小化预测标签分布与真实标签分布的KL散度，但由于真实分布未知，研究人员引入了“软标签”机制：将候选标签的预测值经过softmax归一化后作为近似的真实分布，同时加入正则化项约束非候选标签的预测值趋近于0。为了避免模型过拟合到错误的标签，部分工作还加入了熵最小化约束，即鼓励预测的标签分布尽可能尖锐，减少标签的模糊性，相当于隐式地引导模型选择置信度最高的标签作为真实标签。近年来随着深度学习的发展，端到端方法开始与深度神经网络结合，利用神经网络强大的特征提取能力提升复杂场景下的偏标记分类性能。例如在偏标记图像分类任务中，将卷积神经网络的输出层替换为标签分布预测层，在损失函数中加入候选标签约束，不需要额外的消歧步骤即可实现端到端训练，在CIFAR-10、ImageNet等标准数据集的偏标记版本上，性能比传统的基于SVM的消歧方法提升了15%以上。3.3基于标签相关性建模的分布增强方法候选标签之间的相关性是偏标记分类的重要先验信息，基于标签相关性的分布增强方法通过挖掘标签之间的共现关系、语义关联，对初始的标签分布进行增强，提升分布的合理性。常见的标签相关性建模方法分为三类：第一类是基于统计共现的方法，通过统计训练数据中标签对的共现频率，构建标签共现矩阵，再利用共现矩阵对初始的标签分布进行平滑。例如若标签y1和y2的共现频率为0.8，当某个样本的候选集合包含y1但不包含y2时，可以适当提升y2的描述度；若候选集合同时包含y1和y2，则可以根据共现频率调整两个标签的权重比例。这类方法的优势是计算简单，适用于标签规模较小的场景，但在标签规模较大时，共现矩阵会非常稀疏，统计结果不可靠。第二类是基于语义嵌入的方法，利用预训练的语言模型（如BERT、GPT）得到每个标签的语义向量，通过计算语义向量的余弦相似度衡量标签之间的相关性。例如“汽车”和“卡车”的语义向量相似度远高于“汽车”和“猫”的相似度，这种语义相关性可以帮助模型在候选标签存在语义重叠时更准确地分配描述度。这类方法能够利用外部的语义知识，即使训练数据中标签共现次数较少，也能得到合理的相关性度量，在细粒度分类、零样本偏标记分类等场景中表现出色。第三类是基于图神经网络的方法，将标签作为图的节点，标签之间的相关性作为边的权重，构建标签关系图，再通过图卷积神经网络对标签分布进行传播和增强。例如每个样本的初始标签分布作为图的输入信号，经过多层图卷积后，相关标签的信息会相互传播，得到更平滑、更合理的标签分布。这类方法能够建模高阶的标签相关性，在标签数量达到数百甚至上千的大规模偏标记分类任务中，性能明显优于前两类方法。四、应用场景与典型实践案例4.1生物信息学：蛋白质功能预测蛋白质功能预测是偏标记分类的典型应用场景，通过生物实验得到的蛋白质功能候选集合通常包含5-20个潜在功能，真实功能需要昂贵的后续实验验证。传统的偏标记分类方法默认仅存在一个真实功能，但实际上很多蛋白质同时具备多个功能，标签分布学习可以很好地适配这一特点。相关研究将蛋白质的氨基酸序列作为特征，候选功能集合作为标签分布的支撑集，通过图神经网络建模功能之间的通路关联，预测每个功能的描述度，实验结果表明，该方法在酵母蛋白质功能预测数据集上的F1值比传统消歧方法提升了22%，并且预测的功能描述度与实验验证的功能重要性高度相关，能够为后续的生物实验提供优先级指导。4.2计算机视觉：弱监督图像语义分割在弱监督图像语义分割任务中，图像级的标注通常给出图像中包含的物体类别集合，但没有每个像素的类别标注，相当于每个像素的候选标签集合是图像的类别集合，属于典型的偏标记分类问题。基于标签分布学习的方法将每个像素的特征映射到标签分布，通过约束同一图像中同类物体的像素标签分布相似，同时结合图像的边界信息优化分布，实现了仅使用图像级标注的语义分割。在PASCALVOC2012数据集上，该方法的分割精度比传统的多实例学习方法提升了8%，并且能够输出每个像素属于不同类别的概率，为后续的交互分割提供了更丰富的信息。4.3自然语言处理：实体链接实体链接任务的目标是将文本中的实体指称链接到知识库中的对应实体，由于存在歧义，一个实体指称通常对应多个候选实体，属于偏标记分类场景。传统方法通过特征工程计算指称与候选实体的匹配度，选择得分最高的候选作为结果，但忽略了候选实体之间的语义关联。基于标签分布学习的方法将每个指称的候选实体作为标签集合，预测每个候选的描述度，同时通过上下文信息建模不同指称对应的实体分布的一致性，例如同一段文本中提到的“苹果”和“乔布斯”对应的实体分布应该具有相关性。在CoNLL-YAGO数据集上，该方法的链接准确率比传统的排序方法提升了6%，尤其在歧义性高的短文本场景中性能提升更明显。五、现有研究的挑战与未来发展方向5.1大规模偏标记场景的分布学习效率问题当前基于标签分布学习的偏标记分类方法大多适用于标签规模在数千以内的场景，当标签规模达到数十万甚至百万级时（如电商商品分类、开放域实体链接），标签分布的预测和优化会面临严重的效率问题。一方面，输出层的维度随标签规模线性增长，导致模型参数量过大，训练和推理速度慢；另一方面，候选标签集合的规模也会随标签总数增长，分布约束的计算复杂度显著提升。未来需要研究高效的标签分布近似方法，例如采用哈希技术将高维标签分布映射到低维Hamming空间，或者采用分层标签树结构，实现分布的逐层预测，降低计算复杂度。5.2分布噪声的鲁棒性问题偏标记场景中的候选标签集合本身可能存在噪声，例如标注者错误地将无关标签加入候选集合，或者遗漏了真实标签，此时标签分布的支撑集本身就存在错误，会导致模型学习到错误的分布信息。现有方法大多假设候选标签集合包含真实标签，对分布噪声的鲁棒性较差。未来需要研究噪声感知的标签分布学习方法，通过异常检测技术识别候选集合中的错误标签，动态调整分布的支撑集，同时加入抗噪损失函数，降低错误标签对模型训练的影响。5.3跨域偏标记分类的分布适配问题在实际应用中，训练数据和测试数据通常存在分布差异，即域偏移问题。偏标记分类场景下的域偏移更加复杂，不仅存在特征空间的偏移，还存在标签分布的偏移，例如源域中候选标签集合的规模通常较小，而目标域中候选标签集合的规模更大，或者源域和目标域的标签相关性存在差异。现有跨域分类方法大多针对传统监督学习设定，无法直接适配偏标记的标签分布形式。未来需要研究跨域标签分布适配方法，通过对抗