CN118657989B 一种零空间中提示微调的持续进化学习方法 （西北工业大学）

WO2024021246A1,2024.02.01一种零空间中提示微调的持续进化学习方法本发明提供了一种零空间中提示微调的持2]表示U1，t中的列向量，取出右奇异矩阵U1，t中的R1，t个右奇异向量i:3Ct个类别预测分数的向量r:然后获取训练样本集合中的类别标签yt，类别标签yt为独热编4先记录输入图像词符Xt依次经过归一化和线性转换后的图像查询词符Q其中xe和oxe分别表示Xt所有行向量的均值和标准差，α和β是层归一化(LayerNorm)然后记录softmax归一化的激活注意力图sewr为了获取首先计算提示键词符将任务中训练样本集合的样本数量表示为n，计算出所有图像的图像查询词符矩阵J1,t：：5程序被存储在所述存储器中，并被配置为由所述处理器执行权利要求1-4任一项所述的方6[0002]面对开放和动态的实际环境，基于封闭世界假设的静态学习范式遇到严峻的挑[0003]现有的基于提示微调的持续进化学习方法首先为样本实例查询和选择一组可学Prompt把基于一种注意力过程将从提示池中选择若干提示的过程转化为对所有提示进行[0004]另外还有一些方法不采用提示池，而是基于其他策略防止持续进化学习中的遗78[0028]其中和opr-rw分别作为固定的目标分布，es和oprs为通过梯度下降进代表Ct个类别预测分数的向量r:然后获取训练样本集合中的类别标签yt，类别标签yt为独9[0045]然后记录softmax归一化的激活注意力图sew为了获取[0050]将任务中训练样本集合的样本数量表示为n，计算出所有图像的图像查询词符[o-nerw…,orl组成C1，t的近似零空间的基ix:述存储器中并被配置为由所述处理器执行以实％～类别预测分数的向量然后获取训练样本集合中的类别标签yt，类别标签yt为独热编码之间的交叉熵损失L1作为分类损失：[0080]式(3)中和opr-rw分别作为固定的目标分布，和oprs为通过梯度下降Xt与步骤S106或S110中得到的提示词符Pt，N一起送入预训练ViT模型，进行网络的前向传[0092]式(6)中xe和oxe分别表示Xt所有行向量的均值和标准差，α和β是层归一化[0093]然后记录softmax归一化的激活注意力图sew为了获取se.w首先计算提示键词[0100]再使用式(7)和(8)计算出所有图像的注：i:[0113]式(15)和(16)中η1与η2分别为两个0.9到1之间的超参数，||·||F代表矩阵的[0114]更新的B1，t+1和B2，t+1用于后续在任务Tixr中使用式(5)对梯度Gt，s进行零空间映[0117]本发明实施实例在公开数据集10_splitImageNet_R上实施，使用在ImageNet_一个学习任务中用于对可学习提示参数进行映射；如此循环直至所有学习任务都学习完[0126]分布变化损失函数即公式(18)只在任务t＞1时使用，HR-r和opr-r分别作为固定C1和C2[0141]对于任务t中的所有样本获取的词符使用式(22)_(24)逐个计算[0146]VA1U=C1(29)V1代表左奇异向[0157]本发明在四个类增量持续学习任务10_splitCIFAR_100、20_splitCIFAR_100、split代表对应数据集被均匀地划分为n个连续学习任务。表中VPT_Seq和CLIP_Seq表示使准确率越高越好、遗忘率越低越好。从表中可见本发明能够显著提