CN119397366A 基于自适应适配层选择的小样本持续学习方法及系统 （哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)）

基于自适应适配层选择的小样本持续学习基于自适应适配层选择的小样本持续学习方法冻结知识敏感成分所对应的预训练线性权重矩阵与当前增量适配训练阶段的训练样本特征相习，以利用训练好的持续学习模型执行分类任选择，保障了小样本持续学习模型的分类准确2基于回放样本数据及持续学习模型骨干网络，计算回放样本性层所对应的激活值的协方差矩阵；将预训练线性权重矩阵与激活值的协方差矩阵相乘，冻结知识敏感成分所对应的预训练线性权重矩阵，将其与将知识敏感特征与冗余容量特征叠加后，得到线性层变换得到的输重新获取小样本回放数据，基于更新后的预训练线性权重矩阵依次进行奇异值分解、3.如权利要求1或2所述的基于自适应适配层选择的小样本持续学习方法，其特征在零奇异值，即冗余容量成分中的第一个分量所对应的奇异值；o=oh对应中最小的,,3w*表示更新后的预训练线性权重矩阵；表示知识敏感成分所对应的预训练前增量适配训练阶段的训练样本特征从当前增量适配训练阶段的训练样本数据中提取得到；所述当前增量适配训练阶段的训练样本数据由初始训练样本数据及回放样本数据构权重分解模块，其用于基于回放样本数据及持续学习模型骨干网络，计适配层确定模块，其用于冻结知识敏感成分所对应的预训练线权重更新模块，其用于将知识敏感特征与冗余容量特征叠加后，得到线性层变换适配训练模块，其用于重新获取小样本回放数据，基行时实现如权利要求1_7中任一项所述的基于自适应适配层选择的小样本持续学习方法中自适应适配层选择的小样本持续学习方法中4[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技间取得最优平衡,从而影响小样本持续学习模型的性能，最终削弱了小样本持续学习模型本发明的第一个方面提供一种基于自适应适配层选择的小样本持[0007]作为一种实施方式，将所有线性层的适配器灵敏度比大小按从小到大的顺序排5l层奇异值对角矩阵的倒数第r小的非零奇异值，即冗余容量成分中的第一个分量所对应的奇异值；o=oh对应中最,,c表示协方差矩阵；w表示预训练线性权重矩阵；R表示预训练线性权重矩;w*表示更新后的预训练线性权重矩阵；表示知识敏感成分所对应的预6如上述所述的基于自适应适配层选择的小样本持法在冻结权重或完全微调时的适应性与稳定[0027]图1是本发明实施例的一种基于自适应适配层选择的小样本持续学习方法流程图2是本发明实施例的一种基于自适应适配层选择的小样本持续学习系统结构示7根据图1所示，本实施例提供了一种基于自适应适配层选择的小样本持续学习方8,[0034]其中，各个激活值的协方差矩阵与线性权重矩阵的乘积进行奇异值分解的过程,c表示协方差矩阵；w表示预训练线性权重矩阵；R表示预训练线性权重矩奇异值较小的后r个奇异向量作为冗余容量成分；其中R为表示预训练线性权重矩阵的秩，是非零奇异值的数量，Rsmin(dmdou)，din表示预训练线性权重矩阵的输入维度；dout9[0043]其中为N个ASR值中的最小ASR值所在的层的位置，为对应的最小的ASR[0045]其中K为人为设定的适配层数量，用于控制可学习参数的数量Lsoea为在第t个适配阶段开始前被本发明所提出的自适应层选择机制选择出来的对已[0046]冗余容量成分用于构建两个可学习的低秩矩阵B和A作为适配器：W'=W-BA模型的softmax层得到。W*=W'+B*A*本持续学习中不断演变的模型能力。回放数据集在第t+1个适配阶段中会被更新为包括之前所有所学习过的类别：[0061]而后，利用更新的回放数据重新对N个线性权重层进行知识保护权重分解。分解。[0062]其中为在第t+1个适配阶段开始前被本发明所提出的自适应层选择机制选择出来的对已有知识的保持影响最小的K个层的集合；为利用最新的回放数据集进行知识保护分解后计算出的ASR值最小的层的位置序号；为最新的回放数据集进行知识保护分解后计算出的ASR值倒数第二小的层的位置的序号；为最新的回放数据集进行知识保护分解后计算出的ASR值倒数第K小的层的位置的需法在冻结权重或完全微调时的适应性与稳定shotClass_incrementalLearn[0074]FeSSSS：是一种基于小样本自监督系统（FEw_shotSelf_SupervisedSyetem，督模型中出现的一系列特征上训练轻量级特[0076]LIMIT：是一种通过学习多阶段增量任务（LearnIngMulti_phaseIncreme[0079]ALICE：是一种基于增强角损失分类（AugmentedAngularLossIncremental[0080]CABD：是一种基于类感知的双边蒸馏（Class_AwareBilateralDistillation,[0081]NC_FSCIL：是一种受神经崩溃启发小样本类增量学习框架（NeuralCollapseinspiredfeature_classifieralignmentforFew_ShotClassIncremental[0085]CPE_CLIP：是一种通过对CLIP模型（基于ContrastiveLanguage_ImagePre_Few_shotClass_incrementalLearning该方法将视觉提示器与预训练的视觉[0087]PriViLege：是一种基于提示功能和知识蒸馏的预训练视觉和语言模型（Pre_trainedVisionandLanguagetransformerswithpromptingfunctionsandknowledgedistillation通过新的预训练知识调整以及两种损失函数有效的解决了大率。在CIFAR_100数据集上，本发明所提出的自适应适配层选择方法的平均准确率为[0090]本发明的自适应适配层选择方法在增量学习和小样本分类任务中表现出优越的