CN116187400B 一种基于对抗训练增强的主动学习方法及系统 （福州大学）

AdversarialTrainingforAugmentation.IEEE.2023一种基于对抗训练增强的主动学习方法及本发明提出一种基于对抗训练增强的主动据具体任务的请求策略从判别模型的输出中标注，将标注得到新的有标签数据(xn.)注入更新的有标签图片数据集进行增量的训练更新明能够有效对无标签图像数据或者现有无标签池中图像数据进行标注，使得人工标注大大减2到的对抗样本以及已采样的有标签图片数据集和无标签图片数据集XO(X,X⃞,…,X),将这些数据作为VAE网络的输入来训练该网络；利用VAE网络有效的学习到各个不同数据的底层表征空间Z，将得到的底层表征空间Z作为步骤C：构造多层感知机的判别模型fD，与步骤B中构造的VAE网络组成生成对抗网络GAN；根据步骤B中所得到的底层表征空间Z作为判别模型fD的输入，利用对抗的思想训练此同时判别模型fD旨在尽可能正确区分有标签和无标步骤D：根据具体任务的请求策略Q从判别模型的输出中选择据集进行增量的训练更新目标模型fθ,使得模型在尽可能少的数据集中训练获得更高的收步骤A1：将已有的少量有标签图片数据集作为对抗样本生成器fG的度的下降，因此辅助批次标准化层被引入到步骤A3：为了更好的优化目标模型，使得模型既能具其中l(xL,y)和l(xadv,y)分别是在辅助批次标准化层设置下的原始样本和对抗样本的3步骤B1：VAE网络的编码器Encoder分别对对抗样本有标签的图片数据集X.(X,X⃞,…,X)和无标签的图片数据集进行编码，根据qφL步骤B3：由步骤B1和步骤B2所构成的编码器Encoder和编码对抗样本的表征空间进行融合得到有标签联合表征空间将和ZU输入到fD中执行预测D采用Adam作为优化器，能够从梯度均值及梯度平方两个角度实现自适应地调4D使用ReLU函数作为多层感第一部分是编码器Encoder和解码器Decoder的编码和重构的损失以:第二部分是由输入和λ2是作为超参数用于确定每一部分损失函数的影响；迭代优化中使得VAE网络和判别模型fD都训练到最佳，使得含有最大信息量的无标签样本被注入到有标签图片数据集中进行数据集的更新，得到步骤D3：更新后的有标签图片数据集对目标模型fθ进行重新训练的方式来提高模型的中所述的基于对抗训练增强的主动学习方法，其特征在于：包括目标模型对抗训练模块、所述目标模型对抗训练模块：用于图像识别模型的训练以及对抗样本5层表征作为二分类判别模块的输入，利用有标签的原始样本XL和Xadv的联合分布作为选择出最大信息量的无标签数据的指导方向；二分类判别模块和VAE网络模块组成对抗生成网二分类判别模块和VAE网络模块组成对抗生成网络，在多轮的目标函数优化过程中能够使67和无标签图片数据集将这些数据作为VAE网络的输层表征空间Z作为后续选择最大信息量的无标签图片样本xf,的指此同时判别模型fD旨在尽可能正确区分有标签和无标片数据集进行增量的训练更新目标模型fθ,使得模型在尽可能少的数据集中训练获得更高8[0022]其中l(xL,y)和l(xadv,y)分别是[0024]步骤B1：VAE网络的编码器Encoder分别对对抗样本XU.(X,X⃞…,X),有标签的图片数据集和无标签的图片数据集进行编码，advqφ[0025]步骤B2：VAE网络的解码器Decoder的作用就是将步骤B1所得到的底层表征空间Zadv[0030]步骤C1：构造多层感知机判别模型fD，根据步骤B1所得到的多个类型表征空间Zadv9adv)或者是无标签样本XU编码产生的隐层表征都会使得判别网络fD分类为有标签样其主要包含两部分，第一部分是编码器Encoder和解码器Decoder的编码和重构的损失以:第二部分是由输入到判别模型fD的隐层表征所产生的损失因此，VAE网络在对抗网络中的总体损失如下：和λ2是作为超参数用于确定每一部分损失函数的影响；被注入到有标签图片数据集中进行数据集的更新，得到到对抗样本生成子模块中，根据任务采用不同的对抗样本生成算法生成对抗样本Xadv；接表征作为二分类判别模块的输入；具体方法为：首先，利用编码器Encoder对抗样本Xo(x,x⃞,…,x3)进行编码得到各数据的隐层表征分布；接着，通过编码器Decoder对各层表征作为二分类判别模块的输入，利用有标签的原始样本XL和Xadv的联合分布作为选择出最大信息量的无标签数据的指导方向；二分类判别模块和VAE网络模块组成对抗生成网络中的隐层数据表征作为输入，通过多层感知机的计算得到有标签和无标签预测的概率；[0053]本发明可在物联网部署的图像识别模型上嵌入一种基于对抗训练增强的主动学[0054](1)本发明在主动学习中引入了对抗训练数据增强的方法，合理的扩充了有限的[0056](3)本发明还将对抗训练所产生的对抗样本引入到对抗生成网络框架中，利用对抗样本来弥补VAE网络中编码过程引起的信息丢失问题，并通过对抗样本和原始样本的联[0057](4)本发明系统相对于现有的方法引入了和原始数据集分布不同的数据样本—对X.(X,xi,…,X:)和无标签图片数据集XO(X,X⃞,…,X),将这些数据作为VAE网络的输层表征空间Z作为后续选择最大信息量的无标签图片样本的指导方向；此同时判别模型fD旨在尽可能正确区分有标签和无标片数据集进行增量的训练更新目标模型fθ,使得模型在尽可能少的数据集中训练获得更高[0076]其中l(xL,y)和l(xadv,y)分别是[0078]步骤B1：VAE网络的编码器Encoder分别对对抗样本XU.(X,X⃞…,X),有标签的图片数据集和无标签的图片数据集进行编码，advqφ[0079]步骤B2：VAE网络的解码器Decoder的作用就是将步骤B1所得到的底层表征空间Zadv[0084]步骤C1：构造多层感知机判别模型fD，根据步骤B1所得到的多个类型表征空间Zadvadv)或者是无标签样本XU编码产生的隐层表征都会使得判别网络fD分类为有标签样其主要包含两部分，第一部分是编码器Encoder和解码器Decoder的编码和重构的损失L以:第二部分是由输入到判别模型fD的隐层表征所产生和λ2是作为超参数用于确定每一部分损失函数的影响；被注入到有标签图片数据集中进行数据集的更新，得到到对抗样本生成子模块中，根据任务采用不同的对抗样本生成算法生成对抗样本Xadv；接表征作为二分类判别模块的输入；具体方法为：首先，利用编码器Encoder对抗样本X,(x,x(,…,x:)进行编码得到各数据的隐层表征分布；接着，