CN119476410A 基于持续知识保护分解的小样本持续学习方法及系统 （哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)）

基于持续知识保护分解的小样本持续学习基于持续知识保护分解的小样本持续学习方法持续学习方法包括基于每个类别的回放样本数2获取每个类别的回放样本数据并提取回放样本特征，基在增量适配训练过程中，冻结知识敏感成分所对应的预训练线重新获取小样本回放数据，基于更新后的预训练线性权重矩,,cW'=W-BA3和W*=W'+B*A*w*表示更新后的预训练线性权重矩阵；表示知识敏感成分所对应的预训练前增量适配训练阶段的训练样本特征从当前增量适配训练阶段的训练样本数据中提取得到；所述当前增量适配训练阶段的训练样本数据由初始训练样本数据及回放样本数据构权重分解模块，其用于获取每个类别的回放样本数据并提取回放样本特征奇异值分解将相乘结果分为知识敏感成分和冗余容量成分这两部权重更新模块，其用于在增量适配训练过程中，冻结知识敏感成分所适配训练模块，其用于重新获取小样本回放数据，基再次进行奇异值分解及增量适配训练操作，直至持续学习模型达到设定要求时停止学习，行时实现如权利要求1_7中任一项所述的基于持续知识保护分解的小样本持续学习方法中45[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技可能增加模型复杂性和推理开销。类方法提高了模型对新任务的适配能力，却不可避免的增加了模型参数量和推理复杂度，本发明的第一个方面提供一种基于持续知识保护分解的小样本持获取每个类别的回放样本数据并提取回放样本特征，基于持续学习模型骨干网6征并传递至持续学习模型的下一层；经过有监督训练后得到更新后的预训练线性权重矩,,奇异值较小的后r个奇异向量作为冗余容量成分；其中R为表示预训练线性权重矩阵的秩，是非零奇异值的数量，Rsmin(dmdou)，din表示预训练线性权重矩阵的输入维度；dout[0011]作为一种实施方式，冗余容量成分用于构建两个可学习的低秩矩阵B和A作为适W'=W-BA7W*=W'+B*A*值的协方差矩阵；将当前预训练线性权重矩阵与当前线性层的激活值的协方差矩阵相乘，再经奇异值分解将相乘结果分为知识敏感成分和冗余容量成分这变换得到的输出特征并传递至持续学习模型的下一层，得到更新后的预训练线性权重矩如上述所述的基于持续知识保护分解的小样本持8的权重划分方法中无法关注模型对已学习类别的分类能力的缺陷，提高了模型的适应性，[0032]图1是本发明实施例的一种基于持续知识保护分解的小样本持续学习方法流程图2是本发明实施例的一种基于持续知识保护分解的小样本持续学习系统结构示9根据图1所示，本实施例提供了一种基于持续知识保护分解的小样本持续学习方干网络，计算得到回放样本特征在持续学习模型当前线性层所对应的激活值的协方差矩解将相乘结果分为知识敏感成分和冗余容量成分这两部步骤2：在增量适配训练过程中，冻结知识敏感成分所对应的预训练线性权重矩,[0040]其中，各个激活值的协方差矩阵与线性权重矩阵的乘积进行奇异值分解的过程,的奇异值c奇异值较小的后r个奇异向量作为冗余容量成分；其中R为表示预训练线性权重矩阵的秩，是非零奇异值的数量，Rsmin(dmdou)，din表示预训练线性权重矩阵的输入维度；doutW'=W-BA[0050]在第t个阶段的增量训练过程中，每个训练阶段会包含一组新的训练样本和对应模型的softmax层得到。本持续学习中不断演变的模型能力。回放数据集在第t+1个适配阶段中会被更新为包括之前所有所学习过的类别：。本发明所提出的持续分解适配方法的平均准确率为79.00%，也高于许多竞争方法，如KA_[0066]LIMIT：是一种通过学习多阶段增量任务（LearnIngMulti_phaseIncreme[0068]CABD：是一种基于类感知的双边蒸馏（Class_AwareBilateralDistillation,[0072]ALICE：是一种基于增强角损失分类（AugmentedAngularLossIncremental[0073]SAVC：是一种基于语义感知虚拟对比模型（Semantic_AwareVirtualContrastiveModel，SAVC通过向有监督对比学习中引入虚拟类来促进新类和基类之间[0074]NC_FSCIL：是一种受神经崩溃启发小样本类增量学习框架（NeuralCollapseinspiredFeature_classifierAlignmentforFew_ShotClassIncremental[0075]FeSSSS：是一种基于小样本自监督系统（FEw_shotSelf_SupervisedSyetem，督模型中出现的一系列特征上训练轻量级特征[0077]CPE_CLIP：是一种通过对CLIP模型（基于ContrastiveLanguage_ImagePre_shotClass_incrementalLearn[0081]FeSSSS：是一种基于小样本自监督系统（FEw_shotSelf_SupervisedSyetem，督模型中出现的一系列特征上训练轻量级特征[0084]ALICE：是一种基于增强角损失分类（AugmentedAngularLossIncremental[0085]LIMIT：是一种通过学习多阶段增量任务（LearnIngMulti_phaseIncreme[0086]NC_FSCIL：是一种受神经崩溃启发小样本类增量学习框架（NeuralCollapseinspiredFeature_classifierAlignmentforFew_ShotClassIncremental[0088]CPE_CLIP：是一种通过对CLIP模型（基于ContrastiveLanguage_ImagePre_活值的协方差矩阵；将当前预训练线性权重矩阵与当前线性层的激活值的协方差矩阵相[0