CN114820633B 语义分割方法、语义分割模型的训练方法、装置及设备 （北京三快在线科技有限公司）

YuhuiYuanetal.SegmentaTransformer:Object-CoRepresentationsforSemSegmentationviaHeight-driv制的特征提取模型提取得到融合原始图像的空标特征图强化了与原始图像的空间位置分布相2获取原始图像和语义分割模型，所述语义分割模型包括语义调用所述融合注意力机制的特征提取模型对所述原始图将所述目标特征图输入所述语义分类模型，得到所述语义分类模型所述调用所述融合注意力机制的特征提取模型对所述原始图像进行特调用所述特征提取模块提取所述原始图像在不同分辨率下对调用所述注意力模块获取所述多个特征尺度图分别对应调用所述融合模块将所述多个特征尺度图和所述多个特征尺度图分别对应的通道注所述调用所述融合模块将所述多个特征尺度图和所述多个特征尺度图分别对应的通调用所述融合模块将所述多个特征尺度图中的各个特征尺度图与所述各个特征尺度所述调用所述融合模块将所述多个特征尺度图中的各个特征尺度图与所述各个特征调用所述融合模块将所述多个特征尺度图中的各个特征尺度图与所述各个特征尺度将所述各个特征尺度图与所述各个特征尺度图对应的乘积结果对于所述多个特征尺度图中的任一特征尺度图，调用所述池化层将所第二空间维度为所述任一特征尺度图中除所述第一空间维度调用所述下采样层对所述第一中间特征进行下采样处理，得到精细化的第二中间特3调用所述上采样层对所述第三中间特征进行上采样处理第一获取模块，用于获取原始图像和语义分割模型，所特征提取模块，用于调用所述融合注意力机制的特征提分类模块，用于将所述目标特征图输入所述语义分类模第二获取模块，用于基于所述原始图像中各个像素点所述调用所述融合注意力机制的特征提取模型对所述原始图像进行特调用所述特征提取模块提取所述原始图像在不同分辨率下对调用所述注意力模块获取所述多个特征尺度图分别对应调用所述融合模块将所述多个特征尺度图和所述多个特征尺度图分别对应的通道注所述调用所述融合模块将所述多个特征尺度图和所述多个特征尺度图分别对应的通调用所述融合模块将所述多个特征尺度图中的各个特征尺度图与所述各个特征尺度所述调用所述融合模块将所述多个特征尺度图中的各个特征尺度图与所述各个特征调用所述融合模块将所述多个特征尺度图中的各个特征尺度图与所述各个特征尺度将所述各个特征尺度图与所述各个特征尺度图对应的乘积结果4[0002]语义分割是计算机视觉技术领域中重要的研究方向之一[0009]基于所述原始图像中各个像素点的语义类别，获取所述原始图像的语义分割结[0012]调用所述特征提取模块提取所述原始图像在不同分辨率下对应的多个特征尺度道注意力图用于指示特征尺度图在第一空间维度上的每一行对应每一特征通道的权重值，所述第一空间维度由所述原始图像的空间位置[0014]调用所述融合模块将所述多个特征尺度图和所述多个特征尺度图分别对应的通5尺度图的第二空间维度的向量进行池化压缩，得到所述第一空间维度上的第一中间特征，所述第二空间维度为所述任一特征尺度图中除所述第一空间维度之外的空[0019]调用所述卷积层提取所述第二中间特征的第一空间维度的向量之间的上下文信[0022]调用所述融合模块将所述多个特征尺度图中的各个特征尺度图与所述各个特征[0025]调用所述融合模块将所述多个特征尺度图中的各个特征尺度图与所述各个特征于基于所述样本图像的空间位置分布获取所[0034]根据所述损失函数值对所述初始语义分割模型中的所述初始语义分类模型和所6型输出的所述原始图像中各个像素点的语义类个特征尺度图中的各个特征尺度图与所述各个特征尺度图对应的通道注意力图进行融合，型，所述初始语义分割模型包括初始语义分类模型和融合注意力机制的初始特征提取模型，所述注意力机制用于基于所述样本图像的空间位置分布获取所述样本图像的结构特7义分类模型输出得到所述样本图像中各个像素点的始语义分割模型中的所述初始语义分类模型和所述融合注意力机制的初始特征提取模型的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，8[0068]语义分割(SemanticSegmentation)是指像素级地识别图像，预测出图像中每一或手写设备等一种或多种方式进行人机交互的电子产品，例如个人计算机(Personal[0070]当该语义分割方法应用于服务器中时，服务器可以从图像数据库中获取原始图[0071]本领域技术人员应能理解上述计算机设备101仅为举例，其他现有的或今后可能[0072]基于上述图1所示的实施环境，本申请实施例提供的语义分割方法可以应用于计9[0078]在本申请实施例中，语义分割模型用于获取原始图像中的方式训练得到语义分割模型，也可以是指将预先训练好并存储的语义分割模型提取出[0082]在本申请的示例性实施例中，融合注意力机制的特征提取模型包括特征提取模块采用的网络模型可以为采用对称的低到高分辨率(symmetriclow-to-highprocess)过程恢复高分辨率的网络模型、采用的转置卷积层(transposedconvolutionlayers)生成采用哪种网络模型均可获取到该原始图像在不同分辨率下对应的特垂直位置关系的结构特征，即通过该注意力模块获取每一垂直段对应的特征通道的权重一中间特征X1(H*C)的第h行的向量可[0103]在一种可能的实施方式中，各个卷积操作均由一个子卷[0110]本申请实施例不对将多个特征尺度图中的各个特征尺度图与各个特征尺度图对(PyramidSceneParsingNetwork，PSPNet)或物体上下文表示(ObjectContextual[0114]步骤204，基于原始图像中各个像素点的语义类别，获取原始图像的语义分割结对中包括该像素点的位置坐标、该像素点所属的类别以及该像素点属于所属的类别的概各个特征提取层之间的信息通过卷积单元(convunit)、上采样(upsample)和下采样HANET的HRNET获取到原始图像的目标特征图后，通过OCR方法来计算得到原始图像中各个深层所输出的像素特征表示(PixelRepresentations)和软物体区域计算得到K组向量，K的增强特征表示(AugmentedRepresentations)，该增强特征表示能够用于预测每个像素[0121]基于上述图1所示的实施环境，本申请实施例提供了一种语义分割模型的训练方[0125]可选地，样本图像的语义标签用于为初始语义分割模型的训练过程提供监督信样本图像中各个像素点的语义类别。别以及样本图像的语义标签对初始语义分割模型进行训练，以得到训练好的语义分割模分类模型和融合注意力机制的初始特征提取模型的参数进行迭代调整，直到满足收敛条像的各个语义标签的交叉熵损失函数或者MSE函数分别对应的权重根据经验设置，或者根类模型和融合注意力机制的初始特征提取模型的参数进行迭代调整，直到满足收敛条件，则将当前模型参数下的初始语义分割模型作为训练好的语义模型进行训练。基于本申请实施例提供的方法训练得到的语义分割模型(融合HAENT的HRNET+OCR)和相关技术中的语义分割模型(HRNET+OCR)的模型性能的比对结果如表1所示，74.8682.7166.2368.9390.2192.769.2880.2381.1人85.1385.5476.5676.798.2798.3695.4995.58[0141]根据表1可知，基于本申请实施例提供的方法训练得到的语义分割模型能够获取合HAENT的HRNET+OCR)和相关技术中的语义分割模型(HRNET+OCR)分别对测试图像进行语义分割模型(HRNET+OCR)分割得到的道路栅栏和电动车，本申请实施例提供的方法训练得到的语义分割模型(融合HAENT的HRNET+OCR)分割得到的道路栅栏和电动车更准确。因此，本申请实施例提供的方法训练得到的语义分割模型(融合HAENT的HRNET+OCR)的语义分割[0147]特征提取模块802，用于调用融合注意力机制的特征提取模型对原始图像进行特[0150]在一种可能的实施方式中，融合注意力机制的特征提取模型包括特征提取模块、[0151]特征提取模块802，用于调用特征提取模块提取原始图像在不同分辨率下对应的[0158]第一获取模块901，用于获取样本图像、样本图像的语义标签和初始语义分割模意力机制用于基于样本图像的空间位置分布获取样本图[0159]特征提取模块902，用于调用融合注意力机制的初始特征提取模型对原始图像进[0161]训练模块904，用于基于样本图像中各个像素点的语义类别与样本图像的语义标理器701可以采用DSP(DigitalSignalProcessing，数字信号处理)、FPGA(Field-处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing[0168]存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申[0170]外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(Liquid摄像头融合实现全景拍摄以及VR(VirtualReality，虚拟现实)拍摄功能或者其它融合拍声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。[0177]加速度传感器711可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。加速度传感器711协同采集用户对终端的3D动作。处理器701根据陀螺仪传感器712采集的[0179]压力传感器713可以设置在终端的侧边框和/或显示屏705的下层。当压力传感器器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的的正面之间的距离逐渐变小时，由处理器701控制显示屏705从亮屏状态切换为息屏状态；可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器401和一个或多个指令由该一个或多个处理器401加载并执行以实现上述各个方法实施例提供的语义分割方随机存取存储器(RandomAccessMemory，RAM)、只读光盘(CompactDis