CN115272378B 一种基于特征轮廓的人物图像分割方法 （西安电子科技大学）

本发明公开了一种基于特征轮廓的人物图2确定所述边缘曲线上各像素点的有效域，并根据所述有效域根据所述轮廓点组成的多个轮廓，分别计算每个轮廓的面积和将所述待处理的人物图像以及所述特征轮廓输入至预先训练好将所述待处理的人物图像和所述三值图输入至预先训练好的精所述第一编码器用于生成低层次特征流，并根据输入的所述特征轮所述ASPP模块用于提取所述子特征图中的不同尺度特征，并根据所述第一解码器用于根据所述特征图和所述低层次特征流恢复所述Softmax层用于将所述第一图像中的各像素点分类至前景区域、背景区域或未知所述精细分割网络包括U_net和上下文注意力CAM模块，所述U_net包括第二编码器和所述第二编码器用于在获取所述三值图和所述待处理的人物图像后，所述CAM模块用于根据被分类至前景区域和背景区域的像素点的透明度，预测被分类所述第二解码器用于根据所述Alpha特征流，恢复所述待处理的人物图像的原始分辨根据边缘曲线的表达式y＝f(x)和1曲率检测算法，确定所述边缘曲线上一像素点Pi的3在所述边缘曲线上取像素点Pi相邻的像素点Pi-k、Pi+k，并分别计算k＝1、2、3...时的弦；当所述的长度lik和Pi到的垂直距离dik满足预设条件时，根据k的最大针对所述边缘曲线上剩余的像素点，当像素点Pi对应的有效域半径ki＝1且有效域D的长度lik和Pi到的垂直距离dik满足预设条件时，根据k的最大取值ki确定当的长度lik满足所述第一预设条件和\或的长度lik以及Pi到计算每个所述轮廓的面积s和周长l，得到两个数组：L＝[l1,l2,...,lm]和S＝[s1,4[0001]本发明属于图像分割技术领域，具体涉及一种基于特征轮廓的人物图像分割方为网络的输入，通过网络的计算预测生成相应的透明度掩模图(alphamatting)，而无5[0012]将所述待处理的人物图像以及所述特征轮廓输入至预先6[0028]在本发明的一个实施例中，所述当所述的长度lik和Pi到的垂直距离dik满足预设条件时，根据k的最大取值ki确定像素点Pi对应的有效域半径和有效域D[0029]当的长度lik满足所述第一预设条件和\或的长度lik以及Pi到的垂直距离dik满足所述第二预设条件时，将的最大取值ki确定为像素点Pi有效域2[0038]所述Softmax层用于将所述第一图像中的各像素点分类至前景区域、背景区域或[0039]在本发明的一个实施例中，所述精细分割网络包括U_net和上下文注意力CAM模[0041]所述CAM模块用于根据被分类至前景区域和背景区域的像素点的透明度，预测被[0042]所述第二解码器用于根据所述Alpha特征流，恢复所述待处理的人物图像的原始进一步利用精细分割网络分割出高质量的alphamatting，该方法能够自动地生成高质量7[0052]图6是本发明实施例提供的MobileNetV3_mid网络中LastStage结构的一种示意是本发明实施例提供的基于特征轮廓的人物图像分割方法的一种示意图。请结合图1_2所步根据特征图和低层次特征流恢复得到第一图像，并将第一图像中的像素点分类前景区[0066]在上述人物图像分割方法中，可以先对待处理的人物图像进行Mean_Shift预处80pr分别为物理空间上和色彩空间[0080]可选地，当的长度lik满足第一预设条件和\或的长度lik以及Pi到的垂直距离dik满足第二预设条件时，将k的最大取值ki确定为像素点Pi有效域的92经过一个SEBlock添加注意力权重，SEBlock中主要进行Squeeze(压缩Fex)和Excitation别少用一次Bottleneck。在图像语义分割任务中MobileNetV3_mid的速度相比[0106]如表2所示结构的第一个1*1卷积输出的特征图即10*10*480的深层特征输出，将的精细分割网络中各Block模块的一种示意图，图9是本发明实施例提供的CAM模块的一种[0121]CAM模块用于根据被分类至前景区域和背景区域的像素点的透明度，预测被分类[0122]第二解码器用于根据Alpha特征流，恢复待处理的人物图像的原始分辨率并预测计方式能够保存更多的图像低层特征，有助于在预测生成alphamatting时能够保留更多和低层次特征流，CAM模块用于根据前景区域和背景区域周围的信息预测未知区域的不透)卷积块ResBlockup由两个3*3卷积、一个NearestUpsample操作以及一个1*1卷积组成，络的中间特征是80*80*24，只需要进行一次Stride为2的3*3卷积操作即可将尺寸输出为过程中使用的监督信号是三值图中未知区域的alpha掩模图，定义为未知区域的alphaμμμμ[0140]本发明基于特征轮廓的人像精细分割算法由语义分割网络和精细分割两个子网是语义分割网络的损失函数Lt和精细网络的损失函数L[0141]Loss=εLt+(1_ε)Ld特征轮廓的语义分割网络生成三值图的实验结果分析如下：第一列为待处理的人物图像，第二列为第一列图像的GroundTruth，第三列为对第二列进行腐蚀膨胀操作得到的三值明自动化语义分割网络生成三值图的平均速度为22.3fps，毫秒级别的生成速度是人工操[0145]如表4所示，本发明使用平均交并比(MIoU)和未知区域像素占图像的百分比(UP)[0148]本发明使用的基于特征轮廓的语义分割网络(FCSS)生成的三值图是最接近于手值图少近30％。将手工标注的三值图作为GroundTruth，计算各算法的效果与Ground本发明提出了MobileNetV3_mid，设计以MobileNetV3_mid作为主干网络的语义分割网络预处理算法能很好预测大部分轮廓边缘，再加上语义分割网络设计中引入的注意力模块，廓的人像分割整体效果分析如下：采用了DeepImageMatting和PM_100两种数据集进行模型训练和验证。图11中，第一列为待处理的人像图像；第七列为原图分割图的GroundTruth；第二列为DCNN的的分割效果；第三列为MODNet的分割效果；第四列为DeepImage过仔细观察发现，其alphamatting图存在过度分割的现象，一些分割出来的发丝粗于的网络结构使用的参数量很多，会导致验证集中一些分辨率超过2500*4000的图像在处理_70.0670.05__50.0542.31_√50.0431.0050.08√46.0336.3249.22√52.4038.00_√41.1222.4636.74√35.2244.23影响很大，其中DIM_Trimapless表示DeepImageMatting算法的网络结构删除trimap通DIM网络中；AlphaGAN也是一种需要三值图的分割算法。设计上不需要三值图的MODNetMSE降低了约50％。同时在进行训练时输入的三值图的质量也会影响分割的精度，作为对MSE分别降低了18.8％和12.5％。本发明的精细分割算法(Ours)相对于进一步利用精细分割网络分割出高质量的alphamatting，该方法能够自动地生成高质量[0159]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一