CN115880552B 跨尺度图相似引导聚合系统、方法及应用 （中国海洋大学）

支，称为语义特征提取分支和边界特征提取分互模块CGI构建图结构，并利用图卷积推理并聚尺度相似性引导聚合模块MSA以提取多尺度边界2互模块CGI以提取语义特征，在边界特征提取分支中，引入了多尺度相似性引导聚合模块所述主干网络首先使用常规的卷积操作挖掘原始图像丰富的语义特征Xi；随即利用空所述语义特征提取分支包括跨尺度图交互模块GCI和图卷积网络GCN，所述边界特征提取分支包括多尺度相似性引导聚合模块MSA，该模块包括多尺度边界并执行乘法运算来聚合跨尺度语义特征Gi和边界特征Bi，以改善边缘特征对语义分割的辅模块CGI首先将主干网络生成的多尺度语义特征图通过特征拼接整合为跨尺度特征图，然4.使用权利要求1所述的跨尺度图相似引导聚合系统进行语义分割的方法，其特征在S1、首先将原始图像输入进主干网络中，主3相似性引导聚合SGA单元计算边界特征Bi和语义特征提取分支输出的语义特征Gi之间的相节点集合为每个节点f都对原始图像中的不同区域进行编码，n和d的值数通过反向传播学习到，和分别表示第p个尺度的第i个节点和第q个尺度的第j个节合SGA单元进行相似性计算具体步骤如下：给定多尺度语义图特征和边界特征Br={bl,…,b⃞,首先计算两者的相似度sk=其中4关联关系。这对于语义分割通常至关重要。除此之外，基于注意力的机制和图卷积网络5[0010]所述边界特征提取分支包括多尺度相似性引导聚合模块MSA，该模块包括多尺度边界特征Bi和所述语义特征提取分支输出的跨尺度语义特征Gi之间的相似性，并执行乘法运算来聚合跨尺度语义特征Gi和边界特征Bi的两个多尺度特征，以改善边缘特征对语义分[0011]进一步的，所述跨尺度图交互模块CGI首先将主干网络生成的多尺度语义特征图图卷积网络GCN中的消息传递机制来执行跨尺度推理来聚合信息，通过跨尺度图推理的作6利用相似性引导聚合SGA单元计算边界特征Bi和语义特征提取分支输出的语义特征Gi之间对原始图像中的不同区域进行编码，n和d的值由多尺度语义特征的空间和通道大小决定；分别表示第p个尺度的第i个节点和第q个尺度的第j个节点。[0020]进一步的，步骤S4中，所述相似性引导聚合SGA单元进行相似性计算具体步骤如置,首先计算两者的相似度其中函数用来计算在边界上第j位置与语义图上第i个位置多尺度边界特征和相似矩阵之间进行矩阵乘法运算其中α设计了多尺度相似性引导聚合(MSA)模块，挖掘多尺度边界信息，完成可靠的边界特征引利用具有不同膨胀率的阿托斯卷积来探测多尺度边界信息，SGA单元利用相似性计算来增7征拼接方式被整合为更大的跨尺度特征图(此处包括多尺度边界特征提取MBFE单元和相似性引导聚合SGA单元。多尺度相似性引导聚合模8元利用具有不同膨胀率的空洞卷积来探测多尺度边界信息，提取含有多尺度的边界特征[0035]相似性引导聚合SGA单元计算边界特征Bi和所述语义特征提取分支输出的语义特[0036]相似性引导聚合SGA单元对边界特征Bi和语义特征提取分支输出的语义特征Gi进例3中的方法步骤中详细介绍相似性计算和加[0037]MBFE单元不同膨胀率的空洞卷积是一种有效的方法来生成不同尺度的边界特征。[0039]本实施例提供一种跨尺度图相似引导聚合系统的应用，用于遥感图像语义分[0041]本实施例提供一种语义分割方法，使用如实施例1所述的跨尺度图相似引导聚合图卷积网络GCN中的消息传递机制来执行跨尺度推理来聚合信息，通过跨尺度图推理的作都对原始图像中的不同区域进行编码，n和d的值由多尺度语义特征的空间和通道大小决9利用相似性分析方法搜寻相关性较强的边缘区域，以强化和引导边缘特征与语义特征融合。本发明利用相似性引导聚合SGA单元计算边界特征Bi和语义特征提取分支输出的语义添加或连接来进行语义特征聚合更具说服力。因此设计出了相似性引导聚合SGA单元来解多尺度语义图特征和边界特征小写字母g,b分别表示相应先计算两者的相似度s-0-其中分别为两个非线性变换，和分别表示非线性变换的参数，上标T表示矩阵转置。尺度边界特征和相似矩阵之间进行矩阵乘法运算其中α是效确认进行推理；多尺度相似性引导聚合模块(MSA)由多尺度边界特征提取单元(MBF