CN115100552B 一种无人机遥感图像实时语义分割方法、介质以及设备 （电子科技大学）

及一种无人机遥感图像实时语义分割方法包括2基于轻量化特征提取主干网络提取无人机遥感图像的多尺度人机遥感图像的逐像素的语义类别；所述空间语义关联激活单元由卷积操作与softmax函数组成；计算流程包括特征矩阵所述通道语义关联激活单元由卷积操作与softmax函数组成；计算流程包括特征矩阵所述语义标签判别模块对判别特征图中的每个像素进行语义标签辨别的具体流程如将判别特征图输入语义标签辨别模块的全连接层获取判别特征图i为像素x属于第i类的后验概率；取后验概率最大的类别作为该像所述困难类别语义增强模块进行困难语义类别增强的具体步通过困难类别语义增强模块对语义分割标签进行统计，获取不同根据判别特征图对困难类别的周围部分像素计3avg将困难类别边缘处的像素的判别结果修正为得到优化后的语义分割判量化特征提取主干网络包括采用级联的方式相互连接的6个卷积组合，每个卷积组合均包于轻量化特征提取主干网络提取无人机遥感图像的多尺度输出特征图的具体步骤如下所将无人机遥感图像输入轻量化特征提取主干网络后，依次经过级联的6个卷积组合的基于无人机遥感图像语义分割训练数据集对语义分割模型进行预训练，预训练完成机执行权利要求1到4任意一项所述的方法所构建的语义分行权利要求1到4任意一项所述的方法所构建的语义分4[0004]无人机拍摄的遥感图像的应用具有重要意义。借助安装[0005]应用于无人机平台上的实时语义分割技术，是指在靠近数据源头的无人机平台[0010]步骤2：构建由图像到逐像素类别标签的语义分割模型的轻量化特征提取主干网困难类别语义增强模块；语义标签判别模块对判别特征图中的每个像素进行语义标签辨5该无人机遥感图像的逐像素的语义类别。[0015]优选的，所述轻量化特征提取主干网络包括采用级联的方式相互连接的6个卷积[0017]将无人机遥感图像输入轻量化特征提取主干网络后，依次经过级联的6个卷积组[0029]将困难类别边缘处的像素的判别结果修正为得到优化后的语义分6机遥感图像的实时语义分割。[0036]2.本发明中引入的空间语义关联激活模块可提取特征图中每个位置与其他位置[0038]4.本发明中引入的困难类别语义增强模块可统计并分析判别结果中稀少罕见的7例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施[0050]步骤2：构建由图像到逐像素类别标签的语义分割模型的轻量化特征提取主干网个卷积组合之后均连接有用于降低空间尺度的最[0052]所述基于轻量化特征提取主干网络提取无人机遥感图像的多尺度输出特征图的[0053]将无人机遥感图像输入轻量化特征提取主干网络后，依次经过级联的6个卷积组出特征图变形为再进行转置得到尺寸为的特征图；将尺寸的多尺度输出特征图和尺寸为xhxw的特征图进行矩阵相乘，经softmax函数后得到尺寸为(h×尺度输出特征图和尺寸为(h×w)×(h×w)的空间语义特征图相乘，进行空间语义关联增8[0058]将c×h×w尺寸的多尺度输出特征图转置为h×w×c尺寸的特征图，将c×h×w尺[0059]由于所述多重语义关联激活模块包括空间语义关联激活单元和通道语义关联激联激活模块输出的特征图(c×h×w尺寸的特征图)、通道语义关联激活模块输出的特征图(c×h×w尺寸的特征图)并联得到；即三组特征图并联后所得到的判别特征图的尺寸变为困难类别语义增强模块；语义标签判别模块对判别特征图中的每个像素进行语义标签辨[0061]所述语义标签判别模块对判别特征图中的每个像素进行语义标签辨别的具体流[0062]将尺寸为(3c)×h×w的判别特征图输入语义标签辨别模块的全连接层获取尺寸[0069]将困难类别边缘处的像素的判别结果修正为得到优化后的语义分9该无人机遥感图像的逐像素的语义类别；[0075]将步骤5中训练完成的语义分割模型部署在无人机载边缘计算设备