CN116109918B 轻量化多域联合蒸馏的高光谱地物分类方法 （西安电子科技大学）

轻量化多域联合蒸馏的高光谱地物分类方法本发明公开了一种轻量化多域联合蒸馏的网络模型，随机初始化N个教师模型和一个学生2S1)对N个高光谱图像依次进行归一化处理和光谱维度扩张，得到N个维度相等的高光其网络结构创建并随机初始化N个教师模型和一个学生模型，且保证教师模型和学生模型S3)利用N个训练集采用梯度下降算法对N个教师网络模型分别进行独立训练，在训练S4)利用训练好的N个教师模型对同一个S41)在N个训练集中分别随机采样相同数量的训练样本，并分别输入到训练好的对应S43)计算学生模型的输出特征与教师模S44)使用总损失Loss迭代更新学生模型，并将总S5)将N个测试集输入训练好的学生模型进S12)对归一化后的N个高光谱图像在通道维度进行全0填充，使得归一化后的N个高光3.根据权利要求1所述的方法，其特征在于，步S13)设置高光谱图像采样窗口，采样窗口为patch块S14)以patch块中心像素点的标签作为该patch块标签，将N个高光谱图像中所有带标签patch块分别随机划分为训练样本集sasaw……saw…sa和测试样本集4.根据权利要求1所述的方法，其特征在于，步骤S2)构3S32)设N个教师模型分别分类N个高光谱图像中的一个，并从N个高光谱图像中分别随别i,并计算其与真实地物类别Y的交叉熵损失：第i个高光谱图像的第k个训练样本类别为c的真其中是步长，和分别是第i个教师模型在第t代的模型权重和模型权S35)重复S34)20次，计算当前教师模型对所师模型的输出特征之间的相似度损失MLoss及利用交叉熵损失计算学生模型的预测概率与S431)将训练数据分别输入到N个教师模型，得到教师模型的S432)将训练数据输入学生模型，得到学生模型的输出特征计算学生模型输出特征与教师模型输出特征之间的相似度损失45[0004]在近期研究工作中，对网络进行轻量化处理成为改善模型效率的重要研究方lightweight3_D_CNNwithtransferlearning[J].IEEETransactionsonGeoscience[0007]论文“WangJ,HuangR,GuoS,etal.NAS_guidedlightweightmultiscaleattentionfusionnetworkforhyperspectralimageclassification[J].IEEE块和高效通道注意ECA模块来自适应调整不同通道的权重，实现了更少的参数和更低的计[0008]论文“CuiB,DongXM,ZhanQ,etal.LiteDepthwiseNet:Alightweightnetworkforhyperspectralimageclassification[J].IEEETransactionsonGeoscienceandRemoteSensing,2021,60:1_15.”中提出的精简深度网络6[0014]S1)对N个高光谱图像依次进行归一化处理和光谱维度扩张，得到N个维度相等的根据其网络结构创建并随机初始化N个教师模型和一个学生模型，且保证教师模型和学生[0016]S3)利用N个训练集采用梯度下降算法对N个教师网络模型分别进行独立训练，在[0018]S41)在N个训练集中分别随机采样相同数量的训练样本，并分别输入到训练好的度损失MLoss；利用交叉熵损失计算学生模型的预测概率与真实类别标签的分类损失7[0027]4)本发明由于采用基于特征知识蒸馏的相似度损失和学生模型分类的交叉熵损术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范[0036]1.1)从公开网站获取高光谱图像数[0037]1.2)对归一化后的N个高光谱图像8[0041]2.2)以patch块中心像素点的标签作为该p带标签patch块分别随机划分为训练样本集和测试样本集S,sa…sa…S,其中和S分别表示第i个高光谱图像的训练样本集和测试样本集。[0048]4.1)设N个教师模型分别分类N个高光谱预测类别i,并计算其与真实地物类别Y的交叉熵损失：型权重减去移动步长n与第i个教师模型在第t代的模型的权重梯度vu,CLossn的乘9[0067]其中和分别表示将第i个训练样本输入学生模型得到的输出特征和预测[0068]5.3)根据学生模型的输出特征与教师模型的输出特征计算学生模型输出特征与教师模型输出特征之间的相似度损失[0071]5.4)利用交叉熵损失计算学生模型的预测概率与真实类[0074]5.5)将学生模型输出特征和教师模型输出特征之间的相似度损失MLoss和学生模[0076]5.7)用每次迭代更新将学生模型权重减去移动步长ηω与学生模型权重的梯度▽ω[0093]由表1可见，本发明在PaviaUniversity数据的多种类别上的精度均高于现有的[0098]由表2可见，本发明在IndianPines数据的多种类别上的精度均高于现有的独立训练方法和联合训练方法的精度，且与独立训练和联合训练相比，本发明的OA分别高