CN114386534B 一种基于变分自编码器和对抗生成网络的图像增广模型训练方法及图像分类方法 （安徽农业大学）

一种基于变分自编码器和对抗生成网络的本发明公开了一种基于变分自编码器和对抗生成网络的图像增广模型训练方法及图像分语义特征分别输入视觉模态和语义模态变分自编码器中对应生成第一伪视觉特征和伪语义特图像的伪视觉特征并结合类别标签训练分类器2S140：将第一伪视觉特征和伪语义特征输入预配置2.根据权利要求1所述的基于变分自编码器和对抗生成网络的图像增广模型训练方将所述视觉特征和所述第二伪视觉特征输入视觉特征判别器中获将所述语义特征和所述伪语义特征输入语义特征判别器中获根据第一判别信息和第二判别信息分别确定对抗损失函数，采用Ad所述损失函数还包括变分自编码器的总损失函数LVAE、视觉模态变分自编码器的重构3.根据权利要求1所述的基于变分自编码器和对抗生成网络的图像增广模型训练方是利用卷积神经网络和Transformer编将所述特征图分割成多维特征向量块，并通过线性映射将每个特征对所述特征向量进行位置编码并嵌入到所述Transformer编码器中，在编码器中重复堆叠编码器块L次，输出第二维特征向量，再将第二维特征向量重组为预定大小的视觉特4.根据权利要求3所述的基于变分自编码器和对抗生成网络的图像增广模型训练方见类图像语义特征向量，再通过维度变换网络将语义特征向量转换为预定大小的语义特5.根据权利要求1所述的基于变分自编码器和对抗生成网络的图像增广模型训练方3层次的特征；所述全卷积网络中最后一个卷积层的输出为均值向量和方差向量两个n维矢所述编码器网络E1将视觉特征映射到一个由概率分布N(μ,Σ)表示的区间向量上，进q6.根据权利要求1所述的一种基于变分自编码器和对抗生成网络的图像增广模型训练网络E2中得到隐变量Z2的概率分布，解码器网络D2根据隐变量Z2的概率分布还原为原始数据的近似概率分布，即生成与语义特征相似的伪语义特征a,并更新编码器网络E2和解码7.根据权利要求5所述的一种基于变分自编码器和对抗生成网络的图像增广模型训练VAE为图像视觉模态与语义模态变分自编码器损失之和，Lm表示视觉模态变分8.根据权利要求1所述的一种基于变分自编码器和对抗生成网络的图像增广模型训练49.根据权利要求3所述的一种基于变分自编码器和对抗生成网络的图像增广模型训练判别器，G,(i,a)表示输入第一伪视觉特征和伪语义特征a生成的第二伪视觉特征，表示输入第二伪视觉特征G:(,a)的视觉特征判别器。将未见类训练图像的视觉特征和语义特征输入如权利要求1-8任意一项所述的图像增利用生成的伪视觉特征训练图像分类器，将5(高维空间)到语义空间(低维空间)的映射和从语义空间(低维空间)到特征空间(高维空[0005]面向零样本学习的生成模型主要为基于生成对抗网络(GenerativeAdversarial6编码器和生成对抗网络的优势、将图像的视觉信息和语义信息充分融合生成更有效地样[0010]本发明第一方面提供一种基于变分自编码器和对抗生成网络的图像增广模型训[0018]将所述视觉特征和所述第二伪视觉特征输入视觉特征判别器中获得第一判别信[0021]所述损失函数还包括变分自编码器的总损失函数LVAE、视觉模态变分自编码器的模型是利用卷积神经网络和Transformer编码器作7[0026]对所述特征向量进行位置编码并嵌入到所述Transformer编码器中，在编码器中[0030]所述编码器网络E1将视觉特征映射到一个由概率分布N(μ,Σ)表示的区间向量[0034]作为一个示例，所述语义模态变分自编码器包括编码器网络编码器网络E2中得到隐变量Z2的概率分布，解码器网络D2根据隐变量Z2的概率分布还原为原始数据的近似概率分布，即生成与语义特征相似的伪语义特征a,并更新编码器网络E28[0044]作为一个示例所述步骤S140中生成器网络为含有两层全连接隐含层的多层感知[0046]其中，表示第一伪视觉特征和伪语义特征经过生成器G后生成的第二a))](10)x表示视觉特征x的期望，表示第一伪视觉特征和伪语义特征合成的视觉特征判别器，G(i,a)表示输入第一伪视觉特征和伪语义特征a生成的第二伪视觉特[0051]本发明第二方面提供一种基于变分自编码器和对抗生成网络的图像增广模型的9[0058](1)本发明示例针对零样本图像分类问题，结合变分自编码器和生成对抗网络的[0059](2)本发明示例通过变分自编码器对不同模态的特征进行编码和解码，编码器部[0060](3)本发明示例将视觉和语义模态变分自编码器的输出串联输入到生成器网络码器通过编码解码的步骤直接比较生成数据和原始数据的差异并且训练过程稳定的优势和对抗生成网络生成图片清晰的优势从而提升生成模型的稳定性与[0061](4)本发明示例构建了具有两种模态变分自编码器、一个生成对抗网络生成器和两个判别器网络的网络模型，有效地合成更趋近于真实数据分布的视觉特征与语义特征，[0062](5)本发明利用变分自编码器对抗生成网络模型生成未见类别的伪样本，有效地[0064]图1是本发明实施例的一种基于变分自编码器和对抗生成网络的图像增广模型训明的一种基于变分自编码器和对抗生成网络的图像增广模型训练方法及图像分类方法做取模型获取的，其中视觉特征提取模型是通过卷积神经网络和Transformer编码器训练得码并嵌入到Transformer编码器中，在Transformer编码器中重复堆叠编码器块L次，输出前获取一个在大规模文本语料库中经无监督训练得到的连续词袋模型(ContinuousBag-[0084]所述编码器网络E1将视觉特征映射到一个由概率分布N(μ,Σ)表示的区间向量网络D1生成和图像原视觉特征相似的第一伪视觉特征并更新编码器E1和解码器D1的参[0090]其中，视觉特征x是Transformer特征与语义特征进行卷积运算得到，即x＝t*表示视觉模态变分自编码器的重构损失，If表示L2范数平方。义特征相似的伪语义特征i,并更新编码器网络E2和解码器网络D2的参数e2、d2，计算重构d2)(5)[0099]具体的，本示例中生成器网络为含有两层全连接隐含层的多层感知机(Multi-[0101]其中，表示第一伪视觉特征和伪语义特征经过生成器G后生成的第二[0102]本示例中将分别包含视觉信息与语义信息的第一伪视觉特征和伪语义特征串联输入生成器网络中，充分融合图像视觉信息和语义信息后生成大小为16×16×512的第二[0105]在一种实施方式中，总损失函数LVAE由视觉模态自编码器和语义模态变分自[0112]首先构建视觉特征判别器D和语义特征判别器D*，将上述步骤中可见类图像的视Adam梯度下降算法更新判别器的参数，视觉特征判别器D与语义特征判别器D*的的对抗损D;(a)]+E,[log(1-D;(a)](11)x表示图像视觉特征x的期望，Eia表示第一伪视觉特征和伪语义特征a合成征x的视觉特征判别器，GZ(i,i)表示输入伪视觉特征和伪语义特征a生成的第二伪视觉[0121]S210：将未见类训练图像的视觉特征和语义特征输入如[0125]本示例中使用未见类伪视觉特征和类别标签训练一个Softmax分类器用于零样本器定义为s,(i):均选择最大概率所对应的k类别作为当前图片的分类结果，并将分类结果与标记的真实结[0131]其中，采用共轭算法求解min[J(p)]无约束