CN116468888B 一种基于双网络协同分割模型的图像语义分割方法 （重庆邮电大学）

一种基于双网络协同分割模型的图像语义对于无标签数据采跨网络相互学习的方法进行本发明基于标签空间和特征空间的相互互补学习，实现了对大量无标签数据的高效利用和开2构建双网络协同分割模型并进行训练，将待分割的图像输入通过编码器进行编码，然后使用分类器进行分类，分别得到分割预测和S11：根据全监督训练和半监督训练的损失函数得到所述双网络协同分割模型的整体2.根据权利要求1所述的一种基于双网络协同分割模型的图像语义分割方法，其特征ce33.根据权利要求1所述的一种基于双网络协同分割模型的图像语义分割方法，其特征4.根据权利要求1所述的一种基于双网络协同分割模型的图像语义分割方法，其特征5.根据权利要求1所述的一种基于双网络协同分割模型的图像语义分割方法，其特征fθ1在弱数据增强版本xw上生成的伪标签，表示分割网络fθ2在强数据增强版本xs2上生成6.根据权利要求1所述的一种基于双网络协同分割模型的图像语义分割方法，其特征其中，z1、z2分别表示无标签数据的弱数据增强版本xw通过分割网络fθ1和fθ2生成的特征，projector1()、projector2()分别表示分割网络fθ1和fθ2的投影头进行投影操作，7.根据权利要求1所述的一种基于双网络协同分割模型的图像语义分割方法，其特征对伪标签y1和y2进行下采样操作，让y1和y2与特征集合z1和z2的分辨的来自网络k，k∈{1,2}、索引为i的锚特征向量以及其伪标签它的正样本定义为8.根据权利要求1所述的一种基于双网络协同分割模型的图像语义分割方法，其特征4为i的锚特征向量，表示锚特征向量zi1的正样本，zn1表示锚特征向量zi1的负样本，zi2表示来自分割网络fθ2、索引为为i的锚特征22表示锚特征向量zi2的负样本。9.根据权利要求1所述的一种基于双网络协同分割模型的图像语义分割方法，其特征一致性学习的损失函数，Lcontrast模型进行跨网络对比学习的整体5割不同的是，半监督方法能够同时利用在监督学习中无价值的无标记数据和带标记数据，空间中的锚定特征设计有效的正负样本对。通常还需要仔细设计额外阳性/阴性样本的过[0004]虽然基于半监督学习的自然图像语义分割取得了优异的成绩并展现出了巨大的[0006](2)一致性学习中相互学习的难度不够导致模型耦合的问题。为了通过让模型能够在无标记图像的不同视图下能够产生稳定的预测来让模型能够在不带标签的数据上也6对比学习不仅可以让模型在拟合带标记数据的情况之下还能更好的区分不同类别之间的[0011]所述双网络协同分割模型，包括：两个参数不同网络结构相同的分割网络fθ1和[0017]S5：将两个强数据增强版本xs1、xs2分别输入分割网络fθ1和fθ2，两个网络分别对[0019]S7：根据伪标签y1和y2使用损失函数Lpseuao进行跨网络在标签空间中的一致性[0023]S11：根据全监督训练和半监督训练的损失函数得到所述双网络协同分割模型的7[0031]所述双网络协同分割模型，包括：两个参数不同网络结构相同的分割网络fθ1和[0038]S4：将两个强数据增强版本xs1、xs2分别输入分割网络fθ1和fθ2，两个网络分别对8[0040]S6：根据伪标签y1和y2使用损失函数Lpseudo进行跨网络在标签空间中的一致性[0044]Lcontrast,通过优化Lcontrast可以让锚特征向量与正样本相互吸引，与负样本签数据进行全监督训练的损失函数LSU,包括：表示索引为i的标签数据。相同语义空间的两个模型能够学习到更加多样化其更具有y9网络fθ1在弱数据增强版本xw上生成的伪标签，表示分割网络fθ2在强数据增强版本xs2上[0065]通过正负样本对分别构造分割网络fθ1到fθ2的像素级对比学习损失函数和分割网22表示锚特征向量zi2的负样本。[0074]其中，Lcontrast表示模型进行跨网络对比学习的整体损失函数，表示[0076]L=L间的一致性学习的损失函数，Lcontrast模型进行跨网络对比学习的整体模型跨网络在标签空间的一致性学习的损失权重，μ表示模型进行跨网络对比学习的损失[0078]