CN119494958A 图像语义分割方法、装置及计算机可读存储介质 （华为技术有限公司）

本申请实施例公开了一种图像语义分割方二特征和初始类别嵌入，确定学习后的类别嵌直接将初始类别嵌入随机初始化为0，本申请实2基于所述第一特征确定初始类别嵌入，所述初始类别嵌入包括N基于所述学习后的类别嵌入以及所述多个特征确定所述图像基于所述第一特征确定第一图像分割掩码集，所述第一图像分割掩码集包括N个第一对所述N个第一图像分割掩码中每个第一图像分割掩码进行池化处理3.如权利要求1或2所述的方法，其特征在对于排序后的第一个第二特征，基于所述初始类别嵌入和所述第一对所述初始类别嵌入中N个向量分别进行特征变换，得到与所述初始类别嵌入对应的第一变换特征集中的变换特征与所述第一个第二特将所述第一变换特征集中的每个变换特征分别与所述第一个第二特征之间进行点积5.如权利要求3或4所述的方法，其特征在基于与所述第一个第二特征对应的图像分割掩码集，确定与所述将与所述第一个第二特征对应的类别嵌入和所述初始类别3对于排序后的第一个第二特征，基于所述初始类别嵌入和所述第一对于排序后的第i个第二特征，基于最近一次更新后的类别嵌入和所述第i个第二特基于与所述至少一个第二特征一一对应的至少一个增强特征分别对所述初始类别嵌入进行两次不同的特征变换，将所述第一个第二特征作为查询参数，将所述第一变换特征8.如权利要求6或7所述的方法，其特征在于，所述基于与所述至少一个第二特征分别对应的图像分割掩码集以及所述第一图像分割掩基于所述学习后的类别嵌入和所述级联图像分割掩码集，确定所基于与所述至少一个第二特征一一对应的多个增强特征以及所述第基于所述图像中每个像素点属于所述N个类别中每个类别的概率以及所述级联特征，对每个初始特征进行特征变换，得到与所述多个初始特征一一对应的多个变换特征，每个初始特征的分辨率为相应的变换特征的构建每个变换特征对应的多样性特征，得到与所述多将每个变换特征和对应的多样性特征拼接，将拼接后的特征作为与通过压缩激活SE操作对每个变换特征进行处理，得到每个变换特征对应的多样性特4第一确定模块，用于确定图像的多个特征，所述多第三确定模块，用于基于所述至少一个第二特征和所述第四确定模块，用于基于所述学习后的类别嵌入以及所基于所述第一特征确定第一图像分割掩码集，所述第一图像分割掩码集包括N个第一对所述N个第一图像分割掩码中每个第一图像分割掩码进行池化处理对于排序后的第一个第二特征，基于所述初始类别嵌入和所述第一对所述初始类别嵌入中N个向量分别进行特征变换，得到与所述初始类别嵌入对应的第一变换特征集中的变换特征与所述第一个第二特将所述第一变换特征集中的每个变换特征分别与所述第一个第二特征之间进行点积基于与所述第一个第二特征对应的图像分割掩码集，确定与所述将与所述第一个第二特征对应的类别嵌入和所述初始类别5对于排序后的第一个第二特征，基于所述初始类别嵌入和所述第一对于排序后的第i个第二特征，基于最近一次更新后的类别嵌入和所述第i个第二特基于与所述至少一个第二特征一一对应的至少一个增强特征分别对所述初始类别嵌入进行两次不同的特征变换，将所述第一个第二特征作为查询参数，将所述第一变换特基于与所述至少一个第二特征分别对应的图像分割掩码集以及所述第一图像分割掩基于所述学习后的类别嵌入和所述级联图像分割掩码集，确定所基于与所述至少一个第二特征一一对应的多个增强特征以及所述第基于所述图像中每个像素点属于所述N个类别中每个类别的概率以及所述级联特征，对每个初始特征进行特征变换，得到与所述多个初始特征一一对应的多个变换特征，每个初始特征的分辨率为相应的变换特征的构建每个变换特征对应的多样性特征，得到与所述将每个变换特征和对应的多样性特征拼接，将拼接后的特征作为与通过压缩激活SE操作对每个变换特征进行处理，得到每个变换特征对应的多样性特22.如权利要求12_21任一所述的装置，其所述存储器用于存储支持所述装置执行权利要求1_11任一项所述的存储用于实现权利要求1_11任一项所述的方法所述处理器被配置为用于执行所述存储器中存储67在最后连接一个1x1卷积层以输出最终的语义分割图。但是这种语义分割方式提取特征能将初始类别嵌入随机初始化为0，本申请实施例中的语义分割方法可以进一步提高图像的8嵌入和最近一次得到的类别嵌入进行融合，融合后的类别嵌入作为此次更新后的类别嵌及多个特征确定图像的语义分割结果的实现过程可以为：对于排序后的第一个第二特征，9[0018]在本申请实施例中，可以通过基于注意力对特征进行处理的模型(Transformer)中的MSA操作来将每次更新后的类别嵌入和一个第二特征进行交互，以得到与该第二特征对应的多个增强特征、与多个第二特征分别对应的图像分割掩码集以及学习后的类别嵌至少一个模块用于实现上述第一方面所提供将初始类别嵌入随机初始化为0，本申请实施例中的语义分割方法可以进一步提高图像的[0047]本申请实施例提供的图像语义分割方法可以用于任何需要将图像按照语义进行信息同样需要通过语义分割检测到。由于语义分割结果会影响自动驾驶场景中的路线规(feature)。这多个特征的分辨率不同，因此该多个特征可以称为多尺度特征或多阶段特图像的其中一个特征确定初始类别嵌入，以使初始类别嵌入融合有图像的空间先验信息。初始特征的分辨率为相应的变换特征的分辨率的2倍；构建每个变换特征对应的多样性特[0060]其中，主干网络(backbone)示例地可以通过卷积神经网络(convolutional[0062]CNN是一种基于卷积层的特征提取网络结构。卷积层可以提取出图像中的空间特[0063]基于注意力对特征进行处理的模型(Transformer)是一种基于自注意力(self_置进行注意力计算，从而获取全局上下文信息。基于注意力对特征进行处理的模型[0065]另外，构建每个变换特征对应的多样性特征的实现方式可以为：通过压缩激活以进一步提高多样性特征的丰富性。其中，便宜(cheap)操作可以通过一个全连接层来实[0070]图3是本申请实施例提供的一种特征重建模块01的功能示意图。假设主干网络输份作为固有特征，同时将该变换特征经过计算量少的便宜操作和SE操作生成多样性特征。使得本申请实施例提供的方法很好地与U型语一图像分割掩码中每个第一图像分割掩码进行池化处理，得到与N个第一图像分割掩码一特征通过一个全连接层进行处理，以得到包括N个第一图像分割掩码的第一图像分割掩码[0084]图4是本申请实施例提供的一种显式类别提取模块02的功[0086]另外，可以将图4中从图像分割掩码集到类别嵌入的过程标记为显示类别嵌入现对N个向量中每个向量进行空间维度的变换，从而得到与第一个第二特征分辨率相同的可以直接将第一变换特征集中的每个变换特征分别与第一个第二特征之间进行点积计算，别嵌入中N个向量分别进行特征变换，得到与最近一次更新后的类别嵌入对应的第一变换[0104]比如，将图4中从图像分割掩码集到类别嵌入的过程标记为显示类别嵌入嵌入和最近一次得到的类别嵌入进行融合，融合后的类别嵌入作为此次更新后的类别嵌作为键参数，将第二变换特征集作为值参数，通过多头自注意力(multi-headself[0123]在本申请实施例中，可以通过基于注意力对特征进行处理的模型(Transformer)中的MSA操作来将每次更新后的类别嵌入和一个第二特征进行交互，以得到与该第二特征不同特征的关注度。MSA的输入包括三个参数：查询参数(query)、键参数(key)和值参数[0126]图5是本申请实施例提供的一种确定第二特征对应的增强特征的流程示意图。如行归一化处理，将归一化处理后的特征经过由全连接层构成的多层感知机(multilayer述图像中每个像素点属于所述N个类别中每个类别的概率以及所述级联特征，确定所述语[0136]其中，基于与多个第二特征分别对应的图像分割掩码集以及第一图像分割掩码每个像素点属于所述N个类别中每个类别的概率的实现方式可以为：将学习后的类别嵌入果可以表征图像中每一像素点属于N个类别中每直接基于步骤201中的获取的多个特征、与多个特征分别对应的图像分割掩膜集以及学习该不同阶段的特征经由图3所示的特征重构模块功能进一步抽象，得到最终的不同阶段的接层输出与特征X4对应的第一图像分割掩码集，接着通过图4所示的显示类别提取模块的对于直接将初始类别嵌入随机初始化为0，本申请实施例中的语义分割方法可以进一步提始类别嵌入。语义注意力提取和更新模块示例地通过基于注意力对特征进行处理的模型(Transformer)实现，以将显式类别提取模块提取的初始类嵌入输入到基于注意力对特征为键参数和值参数通过MSA操作与浅层特征进行交互，即鼓励浅层特征与具有空间信息的像语义分割方法进行了实验。这三种数据集分别为ADE20K数据集(一种有2万张图片150种计算量(GFLOPs)和更少的参数量(param)[0150]图10是本申请实施例提供的一种图像语义分割装置的结构[0156]基于第一特征确定第一图像分割掩码集，第一图像分割掩码集包括N个第一图像定第一次更新后的类别嵌入，与第一个第二特征对应的图像分割掩码集包括N个图像分割[0164]对初始类别嵌入中N个向量分别进行特征变换，得到与初始类别嵌入对应的第一[0165]将第一变换特征集中的每个变换特征分别与第一个第二[0171]对于排序后的第i个第二特征，基于最近一次更新后的类别嵌入和第i个第二特变换特征集和第二变换特征集，第一变换特征集和第二变换特征集均包括与N个向量一一[0177]基于与至少一个第二特征分别对应的图像分割掩码集以[0178]基于学习后的类别嵌入和级联图像分割掩码集，确定图像中每个像素点属于N个[0180]基于图像中每个像素点属于N个类别中每个类别的概率以及级联特征，确定语义[0183]对每个初始特征进行特征变换，得到与多个初始特征一每个初始特征的分辨率为相应的变换特征的对于直接将初始类别嵌入随机初始化为0，本申请实施例中的语义分割方法可以进一步提应用集成电路(application_specificintegratedcircuit，ASIC)或一个或多个用于控[0194]存储器1103可以是只读存储器(read_onlymemory，ROM)或可存储静态信息和指信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于和/或用于处理数据(例如计算机程序指令1106可以是液晶显示器(liquidcrystaldisplay，LCD)、发光二级管(lightemittingdiode，LED)显示设备、阴极射线管(cathoderaytube，CRT)显示设备或投影仪体