CN116843970B 基于任务特定通道重构网络的细粒度小样本分类方法 （福州大学）

基于任务特定通道重构网络的细粒度小样本发明提供一种基于任务特定通道重构网集图像和N个类别的支持集图像。然后通过多维有支持集图像和查询集图像输入多维度动态特然后利用任务特定通道注意力权值重构支持集2步骤S2：通过多维度动态卷积构建多维度动态特征提询集图像输入多维度动态特征提取网络中，分别得到各个类别的支持集和查询集的特征，步骤S3：构建权值生成块，并输入第ch_i类的支持集特征步骤S4：利用距离度量进行相似度评分得到查询步骤S31：通过全局平均池化操作GAP汇聚查询集特征与支持集原型特征的空间信息，输入查询集特征FQ和第ch_i类的支持集特征分别得到初始的查询集权值wQ和第ch_i类支持集权值:sr'具体计算方式如下：输入权值生成块FCB(·)以生成第ch_i类的支持集注意力权值和第ch_i类的查询集注意力步骤S33：对步骤S32得到的通道注意力权值w'Q和进合，以最大程度地突出任务特定的关键语义，得到第ch_i类的任务特定通道注意力权值3型特征图和查询特征图FQ的特征通道，以此得到第ch_i类的通道重构特征图和具体计算如下：其中，表示在第dim_j维度上的值，和分别表示FQ和在2.根据权利要求1所述的基于任务特定通道重构网络的细粒度小样本分类方法，其特新类数据集Dnovel三个部分，分别表示为Dbase＝{(xbase_i,ybase_i),ybase_i∈Ybase}、Dval=数据集的标签空间，Ynovel表示新类数据集的标签空间；各个部分的类别互不相交，即基础数据集Dbase中的每个类别包含的标签样本多于验证数据集Dval和新类数据集Dnovel中包含的标签样步骤S13：构建N-wayK-shot细粒度小样本分类设置，元任以此得到查询集图像和N个类别的支持集图3.根据权利要求2所述的基于任务特定通道重构网络的细粒度小样本分类方法，其特步骤S21：构建多维度动态卷积方式：对于输入特征图fea_x，经过多维度动态卷积4通道赋予不同的权重以动态地提取输入特征图不同通道的特征，acER'in;cout表示输出通Rn,CONV_Wconv_n表示第conv_n个卷积核的参数，conv_n∈[1,cout]；步骤S22：利用步骤S21中的动态特征提取方式，采用多维度动态卷积ODConv分别对使用单卷积核的3×3大小的ODConv替换Conv4网络中的第二个、第三个和第四个3×3大小的二维卷积，使用单卷积核3×3大小的ODConv替换ResNet-12的BasicBlock中的3×3大小步骤S24：计算每个类别的支持集原型特征，第ch_i类的支持集类别原型特征表示为具体计算方式如下：ch_i表示第ch_i类的样本数量。4.根据权利要求3所述的基于任务特定通道重构网络的细粒度小样本分类方法，其特步骤S41：利用距离度量进行相似度评分得到查56从数量受限的细粒度标注样本中(例如仅使用1个或5个细粒度的标注样本)学习在视觉上7通道注意力权值重构支持集特征和查询集特征，以得到第ch_i类的支持集重构特征与第率不断保存最优模型，计算最优模型在元测试阶段所有随机采样的episode的平均分类准数据集的标签空间，Ynovel表示新类数据集的标签空间；各个部分的类别互不相交，即基础数据集Dbase中的每个类别包含的标签样本多于验证数据集标签图像样本；将每个episode中的支持集S和查询集Q分别定义为s=(s,xs).s.iE以此得到查询集图像和N个类别的支持集图f为卷积核输出通道的注意力权值，其对构成输出特征图通道数量的不同不同的通道赋予不同的权重以动态地提取输入特征图不同通道的特征，acERin:co赋予不同的注意力权重，as∈Rk×k，k表示卷积核的空间大小；CONV_W表示卷积核参数，8对Conv-4和ResNet-12两种特征提取网络结构进行改进，得到两种多维度动态特征提取网小的二维卷积，使用单卷积核3×3大小的ODConv替换ResNet-12的BasicBlock中的3×3大特征和查询集特征，将当前原任务的查询图像xQ和第ch_i个类别的第im_j张支持集图像息，输入查询集特征FQ和第ch_i类的支持集特征分别得到初始的查询集权值wQ和第"ss输入权值生成块FCB(·)以生成第ch_i类的支持集注意力权值和第ch_i类的查询集注意力权值，得到第ch_i类的查询注意力权值w/Q和第ch_i类的支持注意力权值具9[0034]步骤S33：对步骤S32得到的通道注意力权值w/Q和[0037]步骤S34：利用步骤S33得到的任务特定通道注意力权值twch_i以重构第ch_i类的支持原型特征图和查询特征图FQ的特征通道，以此得到第ch_i类的通道重构特征图和具体计算如下：[0040]其中，表示在第dim_j维度上的值，和分别表示FQ和于第ch_i个类别的概率p(y＝ch_i|x)[0059]如图1所示，本实施例提供了一种基于任务特定通道重构网络的细粒度小样本分通道注意力权值重构支持集特征和查询集特征，以得到第ch_i类的支持集重构特征与第率不断保存最优模型，计算最优模型在元测试阶段所有随机采样的episode的平均分类准而验证数据集Dval和新类数据集Dnovel中包以此得到查询集图像和N个予不同的注意力权重，as∈Rk×k，k表示卷积核的空间大小。CONV_W表示卷积核参数，[0072]步骤S22：利用步骤S21中的动态特征提取方式ODConv分别对小样本分类常用的使用单卷积核的3×3大小的ODConv替换了Conv4网络中的第二个、第三个和第四个3×3大小的二维卷积，使用单卷积核3×3大小的ODConv替换了ResNet-12的BasicBlock中的3×3特征和查询集特征，将当前原任务的查询图像xQ和第ch_i个类别的第im_j张支持集图像信息，输入查询集特征FQ和第ch_i类的支持集特征分别得到初始的查询集权值wQ和输入权值生成块FCB(·)来生成第ch_i类的支持集注意力权值和第ch_i类的查询集注意力权值，得到第ch_i类的查询注意力权值w/Q和第ch_i类的支持注意力权值具[0087]步骤S33：对步骤S32得到的通道注意力权值w/Q和[0090]步骤S34：利用步骤S33得到的任务特定通道注意力权值twch_i来重构第ch_i类的支持原型特征图和查询特征图FQ的特征通道，以此得到第ch_i类的通道重构特征图和具体计算如下[0093]其中，表示在第dim_j维度上的值，和分别表示FQ和u.在通道维度上的第ch_j个通道特征，C表示特征图的通道总数；于第ch_i个类别的概率p(y＝ch_i|x现在流程图一个流程或多个流程和/或方框图