CN119445120A 基于基础模型辅助半监督学习的医学图像分割方法及系统 （浙江大学）

基于基础模型辅助半监督学习的医学图像本发明公开了一种基于基础模型辅助半监分割任务中，本发明通过引入视觉基础模型SegmentAnythingModel(SAM)与U_Net模型相图像分割中的伪标签质量不高和数据标注成本2像分割方法的具体过程如下：将待分割的医学图像输入到经过训练的医学图像分割模型，集上对经过预训练的U_Net模型进行微调获得；预训练的U_Net模型由在有监督学习模式成一个弱扰动图像和两个独立的强扰动图像，预训练的U_Net模型为弱扰动图像以及每个2.如权利要求1所述的基于基础模型辅助半监督学习的医学图像分割方法，其特征在33.如权利要求2所述的一种基于基础模型辅助的半监督学习的医学图像分割方法，其上采样路径中，拼接后经过的卷积层均采用3x3的卷积核大小，用于在每次上采样操4.如权利要求1所述的基于基础模型辅助半监督学习的医学图像分割方法，其特征在如果稀疏提示是边框，则将连续区域最小外接矩形区域5.如权利要求1所述的基于基础模型辅助半监督学习的医学图像分割方法，其特征在性得分最低的w个无标签医学图像作为底部医学图像，将一致性得分不低于预设阈值的无6.如权利要求1所述的基于基础模型辅助半监督学习的医学图像分割方法，其特征在无标签医学图像中的某个像素被SAM前景图的多个类别掩码同时标记为前景，则将该像素分配给第一粗分割伪标签中的对应类别k，并在全零矩阵中将与该像素位置相同的点的值7.如权利要求1所述的基于基础模型辅助半监督学习的医学图像分割方法，其特征在区域内的像素与随机选择的有标签医学图像中所有属于二值掩码前景区域内的像素进行48.如权利要求1所述的基于基础模型辅助半监督学习的医学图像分割方法，其特征在9.如权利要求7所述的基于基础模型辅助半监督学习的医学图像分割方法，其特征在迭代次数；Lce(p,y)表示第一交叉熵损失；La像经过U_Net模型生成的概率图；表示标记为可靠的无标签医学图像对应的精分割伪标5结果获取模块，用于将待分割的医学图像输入到经过训练的医成一个弱扰动图像和两个独立的强扰动图像，预训练的U_Net模型为弱扰动图像以及每个6[0004]近年来，以SegmentAnythingModel(SAM)为代表的视觉基础模型在图像分割领能力应用于医学图像分割的半监督学习方法仍处7[0011]第一方面，本发明提供了一种基于基础模型辅助半监督学习的医学图像分割方应生成一个弱扰动图像和两个独立的强扰动图像，预训练的U_Net模型为弱扰动图像以及8积层的卷积核大小为1×1，用于将最后生成的特征图转换为与目标分类数相对应的通道[0020]作为上述第一方面的优选，视觉基础模型所需的提[0021]如果稀疏提示是边框，则将连续区域最小外接矩形区域作为表示稀疏提示的边将与该像素位置相同的点的值改为k，直至标记为可靠的无标签医学图像中的像素均遍历医学图像中所有属于二值掩码前景区域内的像素与随机选择的有标签医学图像中所有属签医学图像经过U_Net模型，标记为不可靠的无标签医学图像对应得到一个伪标签概率图并将其作为不可靠伪标签概率图，提取不可靠伪标签概率图中每个类别的最大连通区域，9值掩码前景区域内的像素与有标签医学图像的真实标签中所有属于二值掩码前景区域内[0026]作为上述第一方面的优选，经过预训练的U_Net模型在微调时，采用的损失函数签医学图像经过U_Net模型生成的概率图；Yl表示有标签医学图像对应的真实标签；表示第二交叉熵损失；表示第二Dice损失；Pr表示标记标签医学图像经过U_Net模型生成的概率图；表示标记为可靠的无标签医学图像对应的示强扰动图像经过U_Net模型生成的概率图；Lauce(pa,argmax(B,))表示第三Dice损失；Lace(pss,argmax(B,))表示第四Dice损失；Lam和Lm[0032]第二方面，本发明提供了一种基于基础模型辅助半监督学习的医学图像分割系[0034]结果获取模块，用于将待分割的医学图像输入到经过训集上对经过预训练的U_Net模型进行微调获得；预训练的U_Net模型由在有监督学习模式应生成一个弱扰动图像和两个独立的强扰动图像，预训练的U_Net模型为弱扰动图像以及低以及数据扰动适应性差的问题，同时克服了SAM单独应用时在处理复杂医学图像时的局不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有领域特定知识，通过利用SAM生成的前景掩码作为先验信息，优化了未标注图像的分割质应生成一个弱扰动图像和两个独立的强扰动图像，预训练的U_Net模型为弱扰动图像以及型(Semi_supervisedlearningmethodassistedbySAMformedicalimage像分割模型采用基础模型辅助的U_Net与SAM联合判断结构，并将训练好的U_Net模型作为图像的分辨率并提取出更丰富的特征信息；采用2×2卷积核大小的转置卷积实现上[0056]在本发明实施例U_Net模型中，考虑到医学图像分割模型SESAME输入既可以是无路径中，输入的大小为256×256的医学图像首先经过一层大小为3×3的第一卷积层处理，一个包含更多上下文信息的特征图。该特征图随后经过一个大小为3×3的第六卷积层处[0058]在第一步中，U_Net模型首先在有标签数据集上进行预训练，并由预训练后的U_Net模型根据无标签医学图像生成粗分割伪标签，并利用这些伪标签生成不同类别的提示成的粗分割伪标签与SAM生成的前景图带提示伪标签之间图像级一致性的评分方法，即粗可靠数据集进行处理在有标签图像与不可靠图像之间执行双向位移操作生成新的合成策略和区域交换策略的原理以及每个策略的具体处理流程[0065]如果稀疏提示是边框，则将连续区域最小外接矩形区域作为表示稀疏提示的边靠的无标签医学图像中的某个像素被SAM前景图的多个类别掩码同时标记为前景，则将该像素分配给第一粗分割伪标签中的对应类别k，并在全零矩阵中将与该像素位置相同的点视觉基础模型输出的SAM前景图可能导致的类别预测冲突，在本实施例中采用前景冲突处医学图像中所有属于二值掩码前景区域内的像素与随机选择的有标签医学图像中所有属签医学图像经过U_Net模型，标记为不可靠的无标签医学图像对应得到一个伪标签概率图并将其作为不可靠伪标签概率图，提取不可靠伪标签概率图中每个类别的最大连通区域，值掩码前景区域内的像素与有标签医学图像的真实标签中所有属于二值掩码前景区域内记为不可靠的无标签医学图像中所有属于二值掩码前景区域内的像素与随机选择的有标签医学图像中所有属于二值掩码前景区域内的像素进行交换，交换后生成两个合成图像，靠的无标签医学图像经过U_Net模型，标记为不可靠的无标签医学图像对应得到一个伪标通区域，生成新的精分割伪标签并将其作为第二精分割伪标签Bar将第二精分割伪标签中所有属于二值掩码前景区域内的像素与有标签医学图像的真实标签Yl中所有属于二值掩中得以充分利用。损失Lce(p,y)和第一Dice损失Laice(R,):[0083]可靠数据损失则针对U_Net在可靠数据集上的预测，其采用与有标签损失相同的记为可靠的无标签医学图像经过U_Net模型生成的概率图；表示标记为可靠的无标签医Lauce(pz,argmax(R,))表示第四Dice损失。[0090]不可靠数据损失Lm则是区域交换策略损失，针对区域交换后生成的合成图像的预测与其相应的监督信号之间的Dice损失进行计算，并通过一个控制参数ψ调整不可靠图DiagnosisChallenge数据集以及LiTS2017数据集。其中，ProstateMRlmageSegmentation数据集用于获取前列[0095]AutomaticCardiacDiagnosisChallenge数据集用于获取心脏部位的动态磁共[0098]本实施例中采用的基于基础模型辅助半监督学习的医学图像分割方法及系统具生成后续医学图像分割模型训练的Grou测得到拥有每个像素类别的概率，通过Sigmoid等激活函数选择概率最高的类别作为最终发明的另一较佳实施例中还提供了与上述实施例提供的基于基础模型辅助半监督学习的医学图像分割方法对应的一种基于基础模型辅助半监督学习的医学图像分割系统，如图7[0111]结果获取模块，用于将待分割的医学图像输入到经过训集上对经过预训练的U