CN110532955A 基于特征注意力和子上采样的实例分割方法和装置 （中国科学院宁波材料技术与工程研究所）

基于特征注意力和子上采样的实例分割方本发明揭示了一种基于特征注意力和子上用子像素上采样对提取的兴趣区域生成分割掩2通过特征全局网络在所述原始图像中进行特征对所述提取的兴趣区域进行分类，并利用子像素上第一特征金字塔网络、连接在所述第一特征金字塔网络最后一个卷积层之后的注意力模分别对所述第一特征金字塔网络输出的中间特征图进行全局平均池化和全局最大池将所述第一子中间特征图和第二子中间特征图在共享卷积层中进行通道压缩和通道对所述通道注意力模块输出中的空间特征进行重组产生分别对所述第一特征金字塔网络输出的中间特征图进行全局平均池化和全局最大池将所述第一子中间特征图和第二子中间特征图在共享卷积层中进行通道压缩和通道将所述提取的兴趣区域通过卷积层生成通道数为r将多通道兴趣区域每个像素的r^2个通道排列呈r*r大小利用周期性改组算子将多通道兴趣区域每个像素的r^特征全局网络模块，用于在所述原始图像中进行特征图3被安排成存储计算机可执行指令的存储器，所述现如权利要求1-8中任一项所述的基于特征注意力4同一类别的不同实例。例如，当图像中有多只猫时，语义分割将两只猫的所有像素预测为过极大值抑制来筛选目标的边界框，最后通过全连接层和softmax计算得到每个region获得坐标为浮点数的像素点上的图像数值，将整个特征聚集过程转化为一个连续的操作，测、语义分割回归和方向预测回归(DirectionPredictionLogits)得到三个结果：回归标检测和语义分割可以用于不同类别的实例分割，方向特征则用于同一类别的实例分割，[0006]在网络中，Mask-RCNN仍然沿用Fasterrcnn中的特征金字塔来进行特征提取；MaskLab方向预测对数用于预测每个像素相对于它对应的实例中心的方向，进而用于分割同样语义标签的实例，但是网络中的额外方向预测仍然带来一定的计算量，而且在mask[0007]Fullyconvolutionalnetworks(FCNs)在逐像素即语义分割中已经取得了巨大5于解决现有技术中实例分割方法的图像特征向量有效性低，计算复杂且准确性不高的问[0016]分别对所述第一特征金字塔网络输出的中间特征图进行全局平均池化和全局最[0017]将所述第一子中间特征图和第二子中间特征图在共享卷积层中进行通道压缩和[0023]分别对所述第一特征金字塔网络输出的中间特征图进行全局平均池化和全局最[0024]将所述第一子中间特征图和第二子中间特征图在共享卷积层中进行通道压缩和6[0030]利用周期性改组算子将多通道兴趣区域每个像素的r^2个通道排列呈r*r大小的[0041]图1是本申请一实施方式中基于特征注意力和子上采样的实例分割方法的流程[0042]图2是本申请一实施方式中基于特征注意力和子上采样的实例分割方法中整体网[0044]图4是本申请一实施方式中特征全局网络的通道注意力和空间注意力级联模块的[0047]图7是本申请一实施方式中基于特征注意力和子上采样的实例分割方法(Mask-[0049]图9是本申请一实施方式中基于特征注意力和子上采样的实例分割装置的模块示7[0055]配合参照图3和图4，特征全局网络包括用于逐层下采样的第一特征金字塔网络、[0056]参图3，原始图像首先被送入预训练的第一特征金字塔网络，即构建down-top网1x1的卷积对C4进行降维处理，然后将两者对应元素相加，最后进行3x3的卷积操作；在和第二子中间特征图在共享卷积层中进行通道压缩和通道恢复，生成第三子中间特征图；中全局最大池化和全局平均池化两个分支分别生成两个特征图，分别输入到共享的卷积8通道数为r^2的多通道兴趣区域；再将多通道兴趣区域每个像素的r^2个通道排列呈r*r大×h×c的低分辨率特征图被重新排列成rw×rh×c的高分辨率特征图。在整个过程中没有)=φ(W1*H+b1))=φ(Wl*fl-1(H)+bl)[0071]在H空间中具有步幅的卷积与具有权重间隔的大小为ks的滤波器Ws将激活用于9趣区域的边界框进行修正和分类。通过分类器主要区分提取的兴趣区域具体是什么类别(人，车，马等)，兴趣区域的边界框修正类似于RPN中anchor边界框修正，利用SmoothL1[0077]使用coco数据集来验证上述基于特征注意力和子上采样的实例分割方法。参下意力和子上采样的实例分割方法在这两方面务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，[0092]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围