CN115797629B 基于检测增强和多阶段边界框特征细化的实例分割方法 （福州大学）

基于检测增强和多阶段边界框特征细化的本发明提出一种基于检测增强和多阶段边对训练集中图像进行包括数据增强和标准化处特征多阶段地对实例分割头的细化过程进行增22.根据权利要求1所述的基于检测增强和多阶段边界框特征细化的实例分割方法，其步骤A2：对增强后的图像进行标准化处理，标准化的均值为[123.675,116.28,3.根据权利要求1所述的基于检测增强和多阶段边界框特征细化的实例分割方法，其步骤B1：通过实例分割网络的骨干网络对输入图像进后将得到的检测头特征FBbox输入到解耦分类与回归的双分支,其中，ReLU为激活函数；FC1为输入通道数为CXHXW，输出通道数为4XCFC2为输入输出通道数均为4XC的全连接层；FC3为输入通道数为4XC，输出通道数为K+1的全连接层，K为数据集中除背景外的总类别数；然后将预测的每个类别，包含背景的概率3任务使用多个卷积层进行计算；将步骤B1得到的(P,C,H,W)大小的检测头特征FBbox经过残在经过步骤B2、B3设计的解耦分类与回归的双分支目标检测头边界框的结果；将预测的边界框坐标映射回FPN得到的多尺度特征中的对应区域，利用RoIAlign将对应区域的特征池化成固定大小为(P',C,H',W,)的分割头特征Fmask；其中，P,4.根据权利要求3所述的基于检测增强和多阶段边界框特征细化的实例分割方法，其步骤C1：多阶段细化与增强空间空洞融合模块的实例1×1为输入通道数为4×C，输出通道数为的1×1卷积；RoIAlign将特征大小从4池化变为其中P'为目标检测预测结果的边界Fmask的宽度和高度一致；Conv,1x1为输入输出通道特征金字塔网络FPN得到的多尺度特征中的P2层特征FP2，经过由4x3卷积；细粒度特征Ffine的大小为其中和表示特征的高度和宽积层得到与步骤C4中设计的实例分割主分支大小匹配的语义分割特征Fsema_feat(i)和语义小变为(p,⃞,2-XH,2-'xw):Conv,1x1为输入输出通道数均为的1x1卷积；5得到的边界框特征Fbox_feat(1)，步骤C3得到的语义分割特征Fsema_feat(1)和语义分割掩码倍后得到(p⃞,2XH,2xw)大小的实在第i，i＝2,3个阶段，将第i_1阶段输入的实例分割特征F(i),i＝1,2,3,4与真实标签进行交叉熵损失计算，得到每个阶段实例分割掩码的损失5.根据权利要求4所述的基于检测增强和多阶段边界框特征细化的实例分割方法，其具体公式如下：6步骤C42：将初步聚合的特征Faggr_feat_in(i)经过全局平均池化和1x1卷积提取细节特Conv1x1为输入输出通道数均为的1x1卷积，UP表示双线性插值上采样，将特征变回(p,⃞,2-'XH,2-xw):然后将初步聚合的特征Faggr_feat_2,3减小参数量，然后经过三个3x3卷积组成的卷积7(i)经过1x1卷积和Sigmoid激活函数获得增强空间注意力的因子Factori，再与初步聚合注意力特征Fen_spat_atten__feat(i)进行特征拼接后，经过一个1x1卷积改变通道数得到初步融合的实例分割特征Finit_fuse_feat(i)；再将Finit_fuse_feat(i)经过一个1x1卷积将通道数减小2后与语义分割掩码Fsema_mask(i)和实例分割掩码Fins_mask(i)进行特征拼接后得到增强空的1x1卷积；Conv,1x1为输入通道数为输出通道数为的1x1卷积。6.根据权利要求5所述的基于检测增强和多阶段边界框特征细化的实例分割方法，其坐标映射回FPN构建的多尺度特征表示，利用RoIAlign池化为固定大小的特征送入到多阶7.根据权利要求6所述的基于检测增强和多阶段边界框特征细化的实例分割方法，其步骤E1：将预处理后的训练集中的图像输入实例分割网络提取后的多尺度特征送入RPN子网络生成给定数量的候选区域，分类出正样本即前景利用RoIAlign池化为HxW的大小送入目标检测头；在目标检测头预测出的边界框结果中，8Lall=θ1xLrpn+θ2xLcls+θ3xLreg+θ4xLsema+θ5xLins,θ238.根据权利要求1所述的基于检测增强和多阶段边界框特征细化的实例分割方法，其步骤F2：使用目标检测头预测图像中前景物体的边界框9.一种基于检测增强和多阶段边界框特征细化的实于，所述处理器执行所述计算机程序时实现如权利要求1_8其中任一所述的基于检测增强程序被处理器执行时实现如权利要求1_8其中任一所述的基于检测增强和多阶段边界框特9精度高且具有良好鲁棒性的实例分割模型的重要性[0003]随着目标检测算法的不断研究，实例分割的研究进展也得益于强大的目标检测有个别的实例分割模型改进了检测分支去提高了上限，但是只是间接地去增强分割分支，候选区域结果中随机提取的数量，C表示特征的通道数，H和W表示检测头特征的高度和宽mask[0021]步骤B2：对于步骤B1得到的检测头特征FBbox，展平成(P，C×H×W)大小的特征将预测的边界框Bbox_Pred与真实标签进行平滑的L1损失计算，得到边界框回归的损失[0034]步骤C1：多阶段细化与增强空间空洞融合模块的实例分割头由边界框特征分支、程；将特征金字塔网络FPN得到的多尺度特征中的P2层特征经过由4个堆叠的3×3卷积的3×3卷积；细粒度特征Ffine的大小为其中和表示特征的高度和和卷积层得到与步骤C4中设计的实例分割主分支大小匹配的语义分割特征Fsema_feat(i)和2i_1×W′2Conv1×1为输入输出通道数均为的1×1卷积，UP表示双线性插值上采样，出通道数都为的1×1卷积；Add为逐元素相加；ConvGroup为三个3×3卷积组成的卷积[0075]其中，ReLU为激活函数；in和out分别为卷积组ConvGroup的输入和输出；三个初步聚合的特征Faggr_feat_in(i)逐元素相乘，得到最终增强空间注意力特征Fe步融合的实例分割特征Finit_fuse_减小2后与语义分割掩码Fsema_mask(i)和实例分割掩码Fins_mask(i)进行特征拼接后得到增强i=界框坐标映射回FPN构建的多尺度特征表示，利用RoIAlign池化为固定大小的特征送入到字塔网络提取后的多尺度特征送入RPN子网络生成给定数量的候选区域，分类出正样本即计算机程序被处理器执行时实现如上所述的基于检测增强和多阶段边界框特征细化的实[0098]相比于现有技术，本发明及其优选方案构建解耦分类与回归的双分支目标检测[0102]图3是本发明实施例中解耦分类与回归的双分支目标检测头，以及多阶段细化的[0107]如图1_图4所示，本发明提供一种基于检测增强和多阶段边界框特征细化的实例[0108]如图1所示，本实施例提供了一种基于检测增强和多阶段边界框特征细化的实例[0118]图3为本实施例中解耦分类与回归的双分支目标检测头，以及多阶段细化的实例[0121]步骤B2：对于步骤B1得到的检测头特征FBbox，展平成(P，C×H×W)大小的特征将预测的边界框Bbox_Pred与真实标签进行平滑的L1损失计算，得到边界框回归的损失[0133]如图3所示，其包括解耦分类与回归的双分支目标检测头和多阶段细化的实例分[0134]步骤C1：多阶段细化与增强空间空洞融合模块的实例分割头由边界框特征分支、从也化变为其中P,为目标检测预测结果的边程。将特征金字塔网络FPN得到的多尺度特征中的P2层特征Fn:经过由4个堆叠的3×3卷积的3×3卷积。细粒度特征Ffine的大小为其中和表示特征的高度化和卷积层得到与步骤C4中设计的实例分割主分支大小匹配的语义分割特征Fsema_feat(i)样2倍后得到(p⃞,2x,2xw)大小的实例分割特征Fins_feat(2)作为第二个阶段的输2将特征变回然后将初步聚合的特征Faggr_feat_in(i)经过三个出通道数都为的1×1卷积；Add为逐元素相加；ConvGroup为三个3×3卷积组成的卷积[0175]其中，ReLU为激活函数；in和out分别为卷积组ConvGroup的输入和输出；三个初步聚合的特征Faggr_feat_in(i)逐元素相乘，得到最终增强空间注意力特征Fe步融合的实例分割特征Finit_fuse_减小2后与语义分割掩码Fsema_mask(i)和实例分割掩码Fins_mask(i)进行特征拼接后得到增强i=[0183]图2为本实施例中基于检测增强和多阶段边界框特征细化的实例分割网络的结构界框坐标映射回FPN构建的多尺度特征表示，利用RoIAlign池化为固定大小的特征送入到字塔网络提取后的多尺度特征送入RPN子网络生成一定数量的候选区域，分类出正样本即θ5为超参[0195]本实施例还提供了一种基于检测增强和多阶段边界框特现在流程图一个流程或多个