CN119515897A 一种基于增强型聚合掩码和扩散模型的实例分割方法 （北京工商大学）

一种基于增强型聚合掩码和扩散模型的实本发明涉及一种基于增强型聚合掩码和扩器进行上采样融合获得图像的多尺度像素级掩构建噪声滤波器实现对输入数据中的噪声进行2步骤三、使用像素解码器对图像特征图进行上采样融在像素解码器中，对骨干网络输出的图像特征图，利用可变形分辨率特征，每层分辨率特征都添加一个正弦位置的嵌入以及一个可学习的尺度级嵌入，掩码特征是通过对输入图像进行初步处理得到的与实例相关的特征信息，步骤五、构建噪声滤波器，并使用加噪后的图像数噪声滤波器通过一个全连接层生成，本质为卷积核权值，包将步骤三中像素解码器输出的融合后的多尺度像素级掩码特征Fpixel，结合步骤五中训练后的噪声滤波器FIL作为实例输入到步骤六中构建的动态掩码头DH中，通过将权重从噪动态掩码头的学习能力能够结合噪声滤波器FIL中包含的噪声信息和原始实例特征，3以及多尺度像素级掩码特征Fpixel中的局部实例信息，学习过程中模型会尝试去除噪声干本地解码器是基于R_CNN基础架构，为了实现对图像中每个实例的准确分割基础上增加掩码分支，掩码分支与原有的分类和回归分支共享部分特征或者有信息交互；本地解码器中的分类任务通过分类器进行类别判断，将提取到的特征输入到分类器本地解码器中的回归任务利用图像特征来预测目标物体的边界框坐本地解码器中的分割任务在像素级别上对图像进行处理，通过一系列的至此，步骤二至步骤九，共同组成了“基于增强型聚合掩码和分类损失采用负对数似然损失，根据预测的类别得分模型在预测实例类别时与GroudTruth中真实类别之边界框损失衡量模型预测的实例边界框与GroudTruth边界框之间的误差掩码损失是所有样本的平均掩码损失，通过生成掩码logits并与目标掩码计算D步骤十一、对基于增强型聚合掩码和扩散模型的实例分割模模型进行训练并使用验证部分数据集进行模型验证，通过验证后获得训练完成的EAMD模步骤十二、将待进行实例分割处理的图像作为训练完成的EA45重要的应用，它旨在准确地识别出图像中每个实例的位置并为其分配精确的像素级掩码，[0004]有鉴于此，本发明提供了一种基于增强型聚合掩码和扩6中训练后的噪声滤波器FIL作为实例输入到步骤六中构建的动态掩码头DH中，通过将权重从噪声滤波器FIL分配到实例的卷积实现重塑实[0022]动态掩码头的学习能力能够结合噪声滤波器FIL中包含的噪声信息和原始实例特CNN基础上增加掩码分支，掩码分支与原有的分类和回归分支共享部分特征或者有信息交7衡量模型在预测实例类别时与GroudTruth中真实类别之间[0036]掩码损失是所有样本的平均掩码损失，通过生成掩码logits并与目标掩码计算[0037]步骤十一、对基于增强型聚合掩码和扩散模型的实例分割模型EAMD设置训练参数，对模型进行训练并使用验证部分数据集进行模型验证，通过验证后获得训练完成的8[0062]利用步骤四得到的噪声框特征，通过一个全连接层生成噪声滤波器FIL，滤波器9中训练后的噪声滤波器FIL作为实例输入到步骤六中构建的动态掩码头DH中，通过将权重从噪声滤波器FIL分配到实例的卷积实现重塑实[0067]动态掩码头的学习能力能够结合噪声滤波器FIL中包含的噪声信息和原始实例特构如附图2；边界框损失和掩码损失的量级和重要性可能不同，所以需要设置不同的权重来平衡它们，使用验证部分数据集进行模型验证，通过验证后获得训练完成的EAMD模型；训练完成的400K和580K次迭代时学习率除以10；通过参数SOLVER.BASE_LR参数设置初始学习率为DiffusionInst算法的实例分割结果对比如附图3，在附图3中箭头(a)与(d)指示的方法的分割结果更加接近于GroundTrut[0104]