CN114387486B 基于持续学习的图像分类方法以及装置 （中山大学）

本发明公开了一种基于持续学习的图像分标图像输入到预先构建的图像分类模型并得到分类特征向量；根据分类器和所述分类特征向权衡模型的稳定性和可塑性来缓解基于持续学2获取待分类的目标图像，所述待分类的目标图像包括一部分存储将待分类的目标图像输入到预先构建的图像分类模型并得到分类特根据图像分类模型和所述分类特征向量，对图像样本进行训练获取待分类的目标图像样本和上一阶段的旧图像分类模型；所述将所述待分类的目标图像首先通过数据增广CutMix技术生成混合样本得到新旧类均将所述新旧类均衡的目标图像输入所述旧图像分类模型，得到第根据所述第一样本特征向量及其所属的第一分类概率、所述第二样将所述新旧类均衡的目标图像输入所述旧图像分类模型，得到第计算不同层次的第一样本特征图通过自适应集成与每一个层次的第二样本特征图之计算所述第一样本特征向量与所述第二样本特征计算所述第二分类概率与所述均衡目标图像对应的真实分类结果之间的不确定性正根据所述的第一目标函数、第二目标函数以及第三目标函数对所述计算不同层次的第一样本特征图通过自适应集成与每一个层次的第二样本特征图之3将所述的旧图像分类模型中每个卷积块的输出第一样本特征图集通过特定的卷积层将所有转换后的第一样本特征图集分别通过下采样或上采样后与所述新图像分类模计算所述的下采样和上采样后的第一样本特征图被聚合后输入到卷积层中生成一组将所述的聚合后的第一样本特征图基于第一注意力图被逐块将所述的加权求和后的第一样本特征图被输入到最后一个卷积层，应用修改后的CutMix策略来特别增加已经训练过的旧类图像样本λ重置为1.0。计算所述第二分类概率与所述均衡目标图像对应的真实分类结果之间的不确定性正计算持续学习阶段所述新图像分类模型对所述旧类图像样本的c4所述数据获取单元，用于获取待分类的目标图像，所述待分类的目标图所述初始化单元，用于将待分类的目标图像输入到预先构建的图像分类所述数据训练单元，用于根据图像分类模型和所述分类特征向量，对所述数据处理单元，用于根据训练所得到的相关参数，对所述图像样所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-4中任现权利要求1-4任一项所述的基于持续学习5提取器和单个分类器头部在多轮连续的过程中不断更新学习。由于TIL假设用户知道在推续学习研究假设模型大小不会大幅增加。基于正则化的方法最初可以很好地保留旧知识，6包括将卷积神经网络中最后一层、特征提取器或每个卷积块的输出从旧模型提取到新模[0015]将所述样本图像首先通过数据增广CutMix技术生成混合样本得到新旧类均衡的7[0019]应用修改后的CutMix策略来特别增加所述已经训练过的旧类图像样本；具体来[0023]作为优选的技术方案，将所述新旧类均衡的目标图像输[0024]计算不同层次的所述第一样本特征图通过自适应集成与每一个层次的所述第二类模型与所述新图像分类模型输出结果之间的相[0026]计算所述第二分类概率与所述均衡目标图像对应的真实分类结果之间的不确定本图像对应真实分类结果的相似度的同时，权衡所述新图像分类模型的稳定性与可塑性，[0029]将所述的旧图像分类模型中每个卷积块的输出所述第一样本特征图集通过特定[0030]将所述的所有转换后的第一样本特征图集分别通过下采样或上采样后与所述新[0031]计算所述的下采样和上采样后的第一样本特征图被聚合后输入到卷积层中生成8[0035]计算持续学习阶段所述新图像分类模型对所述旧类图像样本的预测不确定性u[0036]同时考虑预测误差和不确定性的方式，通过最小化不确定性正则化的交叉熵损到分类特征向量；所述的图像分类模型是通过图像增广技术CutMix解决图像不均衡的问行正则化进行可塑性与稳定性的权衡而得到的神经网9旧类数据的数量，在端到端的训练中实现了缓解新旧类数据不均衡的问题。本发明在[0057]图3是本发明实施例提供的构建基于持续学习的图像分类模型的网络结构示意[0070]实验证明，保留一小部分旧数据已被证明在防止旧知识快速遗忘方面非常有[0071]参见图1，为本发明实施例提供的一种基于持续学习的图像分类方法的流程示意实施例不限制待识别的目标图像的类型，可以从CIFAR-100和ImageNet等图像分类数据集[0074]S102：将待分类的目标图像输入到预先构建的图像分类模型并得到分类特征向[0076]需要说明的是，目标图像的特征图和特征向量的具体格式可根据实际情况(如选基于目标图像样本中旧类图像训练得到的神前阶段模型未学习过的新类图像样本以及经过本实施例使用的修改后的CutMix策略后得后(即满足训练结束条件后，比如达到预设训练轮数或交叉熵损失变化量小于预设阈值干幅(如128幅)样本图像，结合数据增强策略生成固定大小(如224x224)的原始输入图像，[0087]步骤B：将所述样本图像首先通过数据增广CutMix技术生成混合样本得到新旧类[0088]在本实例中，通过步骤A获取目标图像后，为了缓解持续学习期间的类不平衡问和第一分类概率以及新图像分类模型所属的第二特征图、第二特征向量以及第二分类概征中所有块的原始特征图的集合，用Al(Ft-1(x))表示用于从旧特征提取器中提取知识的[0103]L,(x)=(f'-'(x),f'(x))…(2)[0104]其中ft-1(x)和ft(x)分别表示旧特征提取器和新特征提取器的输出，距离度量样本图像对应真实分类结果的相似度的同时，权衡所述新图像分类模型的稳定性与可塑入)与对应的logit的差异，合理定义新分类器i(ar)对于旧知识的预测不确定度u(x)部g(r))}…(4)像分类模型是基于目标图像样本中旧类图像训练[0128]应用修改后的CutMix策略来特别增加所述已经训练过的旧类图像样本。具体来所述旧图像分类模型与所述新图像分类模型输出结果之间的通过特定的卷积层转换为新的第一样本特征子设备600的移动硬盘。所述第一存储器602在另一些实施例中也可以是电子设备600的外器602还可以既包括电子设备600的内部存储单元也包括外部存储设备。所述第一存储器[0156]所述第一处理器601在一些实施例中可以由集成电路组成，例如可以由单个封装处理器及各种控制芯片的组合等。所述第一处理器601是所述电子设备的控制核心储在所述第一存储器602内的程序或者模块(例如联邦学习防御程序等)，以及调用存储在[0158]所述电子设备600中的所述第一存储器602存储的基于持续学习的图像分类程序(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM