CN119418137A 一种基于去偏变分推断提示调优的图像识别方法 （电子科技大学）

一种基于去偏变分推断提示调优的图像识本发明公开了一种基于去偏变分推断提示缺或受限场景提供了一种通用的小样本图像识2步骤S6：将测试集图像数据输入步骤S5优化后参数所述基于风格扰动的图像编码器通过对基准框架图像分支的图像编码器的前层进行风格扰动操作得到。视觉子令牌，D表示每个视觉子令牌维度数，D=P2xd，d表示每个PXP图像块的通道;3为第1层类别词令牌，为训练图像数据第1层视觉令牌将辅助图像数步骤S34：对图像编码器的前个Transformer网络层每层输出的带有类别名的视觉令牌中的训练图像数据视觉令牌均实施风格扰动操作，得到训练图像数据扰动后的视觉令步骤S35：对图像编码器的j+1l到第k层Transformer网络层每层输出的训练图像带有类别名视觉令牌直接输入下一Transformer网络层，得到下一层训练图像数据带有类步骤S341：将图像编码器第i个Transformer网络层输出的训练图像数据第i层视觉令得风格扰动后混合均值和风格扰动后混合方差os；步骤S347：对训练图像数据第i层扰动后的视觉令牌与第i层类别词令牌组合，4步骤S348：将训练图像数据第层带有类别名的视觉令牌输入图像编码器的为训练图像数据第i+1层视觉令牌，为第i+1层的类别词令牌，va表示图像编码于去偏变分推断的文本编码器通过将去偏视觉特征输入元学习网络得到的去偏视觉提示步骤S43：基于去偏视觉提示令牌和概率分布令牌利用重参数化技巧生步骤S44：将步骤S41得到的第0层文本令牌%和步骤S43得到的隐变量n融合得到引入概率分布的文本令牌P,；文本表征；将文本表征中的最后一个子文本表征输入基准框架文本分支中的5预测结果的对数似然；表示步骤S42中以去偏视觉提示斯分布N(0,1)间的KL散度；步骤S53：从组配对的去偏视觉特征及去偏文本特中选取一组去偏视觉特征与配对步骤S54：从组配对的去偏视觉特征及去偏文本特中选取未被选中为正样本对的一其中，pcilEizwsswe)表示为给定去偏的视觉特征预测类别的概率，Cy表示类别总i表示第i个类别，t表示温度参数。6下游场景。其中，对比语言—图像预训练模型（ContrastiveLanguage_ImagePre_数据与预训练数据存在分布偏移现象，限制了VLPMs的泛化性能。提示调优（Prompt7像数据裁剪为M个尺寸为PXP的图像块，M=(HXW)/(PXP)，并将M个图像块输入图;的第1层Transformer网络层，输出训练图像数据第1层带有类别名的视觉令牌，表示为图像数据第0层视觉令牌输入图像编码器的第1层Transformer网络层，输出辅助图像8[0019]步骤S35：对图像编码器的j+1到第k层Transformer网络层每层输出的训练图像数据带有类别名视觉令牌直接输入下一Transformer网络层，得到下一层训练图像数据带[0022]步骤S341：将图像编码器第i个Transformer网络层输出的训练图像数据第i层视辅助图像数据均值和辅助图像数据方差进行随机凸权重组合;[0028]步骤S347：对训练图像数据第i层扰动后的视觉令牌与第i层类别词令牌e,[0029]步骤S348：将训练图像数据第层带有类别名的视觉令牌输入器的第i+1层Transformer网络层，输出训练图像数据第i+1层带有类别名视觉令牌像编码器的第i+1层Transformer网络层，得到辅助图像数据第i+1层视觉令牌，表示为。9[0034]步骤S43：基于去偏视觉提示令牌和概率分布令牌利用重参数化终的文本表征；将文本表征中的最后一个子文本表征输入基准框架文本分支中[0044]其中，表示在去偏视觉特征和隐变量给定情况下预测结果的对数似然；表示步骤S42中以去偏视觉提示令牌为均值、概率分布令牌为方差的高斯分布和标准高斯分布N(0,1)间的KL散度；[0045]步骤S53：从组配对的去偏视觉特征及去偏文本特中选取一组去偏[0046]步骤S54：从组配对的去偏视觉特征及去偏文本特中选取未被选的一组去偏视觉特征与配对的去偏文本特征作为正样本对；选取的去偏视觉特征与其余模型参数和每个类别去偏的文本特征得到参数最i表示第i个类别，t表示温度参数。[0053]图1为本发明实施例的基于去偏变分推断提示调优的图像识别方法的训练流程[0056]图4为本发明实施例的基于去偏变分推断提示调优的图像识别方法的测试流程[0060]步骤S2：将对比语言—图像预训练模型（ContrastiveLanguage_ImagePre_[0065]本发明实施例中一种基于去偏变分推断提示调优的图像识别方法的具体构建步个Transformer网络层构成，分别表示为和，表示图像编码器第个[0069]所述基于风格扰动的图像编码器对基准框架图像分支的图像编码器的前层进减少对比语言—图像预训练模型对图像特定上数；本实施例中H=224，W=224，P=16，M=196，d=3，D=P2xd=162X3=768；同理，的第1层Transformer网络层，输出训练图像数据第1层带有类别名的视觉令牌，表示为I,g助图像数据第0层视觉令牌输入图像编码器的第1层Transformer网络层，输出辅助图像数据第1层视觉令牌。令牌。Transformer网络层第层输出的带有类别名的视觉令牌表示为，觉令牌实施风格扰动的层数j可以根据需要合理设置，本实施例中j=3。[0076]步骤S341：将图像编码器第i个Transformer网络层输出的训练图像数据第i层视征包括训练图像数据均值和训练图像数据方差o(e")w.，通过如下方式计[0080]其中，表示训练图像数据第i层的每个视觉子令牌在d个通道分别作均值操作得到的矩阵；表示训练图像数据第i层的每个视觉子令牌在d个通道坐标为(h,w)对应的数值矩阵；h和w分别表示训练图像数据第i层的每个视觉子令牌d个通道对应的高度及宽度；表示训练图像数据第i层的每个视觉子令牌辅助图像数据均值和辅助图像数据方差进行随机凸权重组合[0086]步骤S345：利用风格变换公式获得扰动后的展平视觉令牌；其中，利用PyTorch广播机制扩展维度之后的训练图风格扰动后混合均值利用PyTorch广播机制扩展维度之后的风格扰动混合均值矩阵；表示风格扰动后混合方差ous利用PyTorch广播机制扩展维度之后的风格扰动混[0090]步骤S347：对训练图像数据第i层扰动后的视觉令牌与第i层类别词令牌c,[0091]步骤S348：将训练图像数据第层带有类别名的视觉令牌输入器的第i+1层Transformer网络层，输出训练图像数据第i+1层带有类别名视觉令牌为训练图像数据第i+1层视觉令牌，[0092]步骤S35：对图像编码器的j+1到第k层Transformer网络层每层输出的训练图像数据带有类别名视觉令牌直接输入下一Transformer网络层，得到下一层训练图像数据带,则经过第k+1层Transformer网络层，输出训练图像数据第k+1层[0096]本发明通过将去偏视觉特征输入元学习网络得到的去偏视觉提示令牌及概率分于去偏变分推断的文本编码器可以缓解对比语言—图像预训练模型对任务特定描述的过表示为，w表示第i个去偏视觉提示子令牌；概率分布令牌中元学习网络由两个全连接神经网络层组成，元学习网络的第一层神经网络维度为1024，元学习网络的第二层神经网络维度为512。[0100]步骤S43：基于去偏视觉提示令牌和概率分布令牌利用重参数化[0102]其中，e~N(0,)是标准正态分布随机采样得到的随机噪声；隐变量表示为r"leR，r'表示第i个子隐变量令牌。[0103]步骤S44：将步骤S41得到的第0层文本令牌和隐变量融合得到引入概率分布随后将文本表征中的最后一个子文本表征输入基准框架文本分支中的TextProj函FX=Texl与其余X-1个去偏文本特征作为负样本对；直至X组配对的去偏视觉特征及去偏文本特[0111]其中，表示在去偏视觉特征和隐变量给定情况下预测结果的对数似然；表示步骤S42中以去偏视觉提示令牌为均值、概率分布令牌为方差的高斯分布和标准高斯分布N(0,1)间的KL散度。[0112]在去偏视觉特征和隐变量n给定情况下预测结果y的对数似然[0114]其中，表示第个类别的文本标签，为给定去偏视觉特征i表示第i个类别，Fxe表示第i个类别的去偏文本特征，t表示温度参i个类别的去偏文本特征之间[0119]以去偏视觉提示令牌为均值、概率分布令牌为方差的高斯分布和标准高斯分布N(0,1)间的KL散度具体表达式为：[0121]步骤S53：从组配对的去偏视觉特征及去偏文本特中选取一组去偏[0122]步骤S54：从组配对的去偏视觉特征及去偏文本特中选取未被选的一组去偏视觉特征与配对的去偏文本特征作为正样本对；选取的去偏视觉特征与其余