CN115512109B 一种基于关系型上下文聚合的图像语义分割方法 （浙江大学）

OptimizedClass-AwareNetworkfoLetters.2024,第21卷1-5.一种基于关系型上下文聚合的图像语义分本发明公开了一种基于关系型上下文聚合义级多尺度上下文生成器和关系级多尺度上下明为上下文聚合机制在复杂背景图像的分割任2在所述编码器模块中，首先通过骨干网络进行特征提取类别级多尺度上下文输出到解码器模块作为解码器模块所述类别级多尺度上下文生成器以深层特征表示和预分类表示作所述关系级多尺度上下文整合器以预分类表示与深层特征表示及其对应的类别级多在所述解码器模块中，首先将加强后的特征表示上采样后与浅层特征预分类操作由连续的两个1x1卷积实现。3第二大概率求得的差值作为该像素点属于该最大概率对应类4[0003]现有的上下文聚合的方法主要分为两类：多尺度上下文聚合和关系型上下文聚下文信息聚合，而CCNet通过引入十字交叉注意力来缓解常见的空间注意力计算过程中计5[0010]所述关系级多尺度上下文整合器以预分类表示与深层特征表示及其对应的类别个像素与类别级多尺度特征表示之间的相似性，并通过分布概率的相似度加权该相似性，[0011]在所述解码器模块中，首先将加强后的特征表示上采样别概率分布中最大概率减第二大概率求得的差值作为该像素点属于该最大概率对应类别6待语义分割的图像输入由编码器模块和解码器模块组成的语义分割模型ReCAN中，获得语7关系级多尺度上下文整合器(RMCA)，对深层特征表示中的像素表示进行上下文信息聚合，层特征表示以及类别级多尺度特征表示输入到解码器(Decoder)模块，作为解码器模块的[0034]下面对本发明的ReCAN模型的具体结构进行详细描述。图1为ReCAN模型的整体结到浅层特征表示ROW和深层特征表示R,浅层特征表示Riow的维度为深单元输出；其次，深层特征表示经由连续的两[0036]本发明中的类别级多尺度上下文生成器(CMCG)以深层特征表示和预分类表示作深层表示R,即DK=Driylargmax(Dr)=k},Rr=(R-largmax(Di1)=k},其8个类内权重在前255075100％的点分别进行信息整合，即在每个类别内均按照前述获得类别级上下文表示的方法获得5个上下文表示，将所有尺度和类别下的上下文表示[0038]本发明中的关系级多尺度上下文整合器(RMCA)以预分类表示与深层特征表示及做一个自注意力操作获得其亲和矩阵即为亲意力操作获得亲和矩阵即为亲和矩阵,代表了特征表示中的亲和矩阵r9即为亲和矩阵代表了整合后的像特征表示进行整合再与原深层特征表示沿通道方向拼接，获得加强后的特征表示Raug,即为Raug=ψ为利用mask整合每个类增强后的特征表示的[0040]另外在解码器模块中，首先将加强后的特征表示上采样示Rout,即为Rour=upsamplezx(Raug)+其维度为C1为融合特征9其维度为最后，通过对加强后的融合[0043]下面将上述基于关系型上下文聚合的图像语义分割方法应用于一个具体实施例[0045]本实施例中采用的语义分割模型ReCAN具体网络结构如前所述，不再赘述，其中样本交叉熵损失函数LS,并根据批中所有训练样本的总损失L,对整个模型中的网络参数进[0052]将测试集的图像直接作为输入通过训练好的语义分割模型ReCAN中，最终预测得到拥有每个像素类别的概率，通过Sigmoid等激活函数选择概率最高的类别作为最终结果Imp.Sur.81.0588.5765.4675.8667.4468.9680.31[0056]由图5和表1可见，本发明的语义分割模型ReCAN针对遥感图像能够很好