CN115100410B 一种融合稀疏框架和空间注意力的实时实例分割方法 （浙江工业大学）

US2021326656A1,202US2021397876A1,2021.一种融合稀疏框架和空间注意力的实时实本发明公开了一种融合稀疏框架和空间注掩码核生成模块，得到空间注意力特征和掩码2将增强的特征图与实例分支输出的目标框进行拼接后输入到掩将第二尺度特征图与第一特征图进行元素相加后得到将第三尺度特征图与第二特征图进行元素相加后得到将所述第一特征图、第二特征图和第三特征图分别经过卷积操2.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法，其特征在3.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法，其特征在将输入的特征图进行通道维度上的最大值池化与平均池化得到池化之后的特征Pmax和4.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法，其特征在5.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法，其特征在36.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法，其特征在4[0005]MaskRCNN是典型的自顶向下的检测方法，在密集-稀疏检测器FasterRCNN的最[0007]SparseRCNN的最大特点是目标检测整个过程的稀疏性，输入是一组稀疏的建议都要独自经过卷积神经网络,并且还有繁琐的先验框设计和后处理操作，这使得花费的时5[0028]将输入的特征图进行通道维度上的最大值池化与平均池化得到池化之后的特征67的图片输入至ResNet50提取图像特征。特征提取网络提取得到多尺度的特征图(res3、[0065]在增强的特征图输入实例分支(InstanceBranch)之前，初始化一组可学习的参8[0067]本实施例将增强的特征图P通过区域特征聚焦(ROIAlign)的方式提取感兴趣特[0069]本实施例动态卷积头(Dynamic[0070]动态卷积头的输入是感兴趣特征roi_features和建议特征proposal_features，[0071]上一个动态卷积层的输出特征和输出建议框作为下一个动态卷积层的建议特征[0074]步骤S4、将增强的特征图与实例分支输出的目标框进行[0075]本实施例将增强的特征图与实例分支输出的目标框进行[0077]其中mask_convs表示4个3×3的卷积，cat表示concatenate的过程，coord_[0079]接下来将得到的mask_features特征图分别输入到SAM模块(spatialattention9进行通道维度上的最大值池化(MaxPool)与平均池化(AvgPool)得到池化之后的特征sigmoid操作后与原输入进行相乘(element-wise)得到空间[0085]其中spatial_attention_featuressam表示SAM模块最后输出的空间注意力特征，表示相乘(multiplication)的[0086]本实施例maskkernel模块，对输入的特征图mask_features通过线性层调整维[0091]其中pred_mask是掩码分支输出的分割掩码，w∈R1×C表示掩码核，spatial_类别的置信度，本实施例在训练所述实例分割网络时，引入交并比IoU来调整目标分类概[0107]其中Tlixy和分别表示预第i个预测掩码m和第k个真值对象掩码t在(x、y)处Laice=1-c(i,k)。