CN119538179A 基于视觉语言预训练模型的细粒度多模态提示学习方法 (中国科学院空间应用工程与技术中心)_第1页
CN119538179A 基于视觉语言预训练模型的细粒度多模态提示学习方法 (中国科学院空间应用工程与技术中心)_第2页
CN119538179A 基于视觉语言预训练模型的细粒度多模态提示学习方法 (中国科学院空间应用工程与技术中心)_第3页
CN119538179A 基于视觉语言预训练模型的细粒度多模态提示学习方法 (中国科学院空间应用工程与技术中心)_第4页
CN119538179A 基于视觉语言预训练模型的细粒度多模态提示学习方法 (中国科学院空间应用工程与技术中心)_第5页
已阅读5页,还剩51页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

心基于视觉语言预训练模型的细粒度多模态本发明公开了一种基于视觉语言预训练模觉类别间的全局差异及细微区分视觉特征和类提示学习调优方法中双模态提示表示空间无法在多个主要的图像识别基准数据集上验证了其2S101、构建基于视觉语言预训练模型的细粒度多模态图像记为I∈RWXHXC,{uieRdv,1<i<b},{TieRA,1<i<b},K为类别标签的总数量,HS102、所述可学习的视觉提示Vi分别设计面向全局高层语义信息的全局视觉提示和面S104、在共享的潜在语义空间中生成所述全局视觉述多模态提示学习向量包括所述全局视觉提示、细粒度视觉提示和所述可学习的文本提LF…,F,⃞a…,,基于余弦相似度损失函数对所述可学习的视觉提示与所述可学习的文本提示进行优公式(3)计算第k个类别标签的概率p(y=KIX):其中,τ是固定超参数,sim(x,Zk2.根据权利要求1所述的一种基于视觉语言预训练模型的细粒度多模态提示学习方全局视觉提示分支通过公式(4)提取输入图像ii33.根据权利要求2所述的一种基于视觉语言预训练模型的细粒度多模态提示学习方iiii4.根据权利要求3所述的一种基于视觉语言预训练模型的细粒度多模态提示学习方5.根据权利要求4所述的一种基于视觉语言预训练模型的细粒度多模态提示学习方提出多模态提示生成模块,通过线性层将共享的语义空间中的全局和细4度相同,pear表示全局视觉提示的线性投影层,prear6.根据权利要求5所述的一种基于视觉语言预训练模型的细粒度多模态提示学习方设计多模态提示调优评估方法,使用全局与细粒度视觉提示分支的视觉嵌y)假设类别特定的视觉嵌入和文本嵌入分别为EG和ET,利用公式(13)计算类别特定的全局差异预测即全局差异损失LC-r,以使视觉嵌入与类别特定的文本嵌入对齐:G表示全局视觉嵌入,Br表示类别i对应的文本嵌入,τ是控制分布锐度的超参LP-r(15)7.一种实现如权利要求1至6任一项所述的一种基于视觉语言预训练模型的细粒度多所述双粒度视觉提示模块用于:面向全局高层语义信息的全局视觉所述视觉文本提示对齐生成模块用于:使视觉提示和文本提示进行跨所述视觉文本提示调优模块用于:基于不同维度的损失函数,优化59.一种计算机可读存储介质,其特征在于,所述6示学习向量是一个困难的任务,往往需要大量的领域专业知识和时间来手动调整提示词。在处理多模态任务时无法有效兼顾视觉模态和文本模态全局高层语义和细粒度特异性特7觉提示和文本提示进行学习,具体使用视觉语言预训练模型的图像编码器和文本编码器,图像记为IeR"⃞(,fvieR4v,1<i<b},{TieRd,1<i<b},K为类别标签的总数[0014]LF…,,⃞a…,[0020]基于余弦相似度损失函数对所述可学习的视觉提示与所述可学习的文本提示进公式(3)计算第k个类别标签的概率p(y=KIX):[0023]本发明提供的一种基于视觉语言预训练模型的细粒度多模态提示学习方法的有与全局和细粒度视觉融合特征之间的相似度,在语义上对齐视觉和文本提示并相互增强,8粒度视觉提示)与文本提示的结合,有效解决了现有提示学习调优方法中双模态提示表示9y)[0054]假设类别特定的视觉嵌入和文本嵌入分别为EG和ET,利用公式(1的全局差异预测即全局差异损失LC-,以使视觉嵌入与类别特定的文本嵌入对齐:差异损失Lr-,Lr-1的计算公式为:细微差异特征提取的细粒度视觉提示,全局视觉提示用于提取的输入图像的全局语义信使电子设备实现上述任一项基于视觉语言预训练模型的细粒度多式所取得的有益效果,可以参见上述对第一方面及其对应的可能的实现方式的技术效果,[0072]图1为本发明实施例的一种基于视觉语言预训练模型的细粒度多模态提示学习方[0076]下面以具体实施例对本发明的技术方案以及本发明的技术方案如何解决上述技[0078]1)CLIP是ContrastiveLanguage_ImagePretraining的缩写,表示对比语言_图[0083]如图1所示,本发明实施例的一种基于视觉语言预训练模型的细粒度多模态提示觉提示和文本提示进行学习,具体使用视觉语言预训练模型的图像编码器和文本编码器,图像记为IeR""(,{vieRdv,1<i<b},{TieRd,1<i<b},K为正整数,H表示输入最小化视觉特征和类别差异性文本特征之间的相似度差异来进行计算,通过公式(3)计算第k个类别标签的概率p(y=KIX):[0100]可选地,S102中,基于输入文本及图像的多模态信息进行全局视觉提示[Gi,Ci,[0130]L,=crossEntropy(,y)(12)[0131]假设类别特定的视觉嵌入和文本嵌入分别为EG和ET,利用公式(1的全局差异预测即全局差异损失LC-r,以使视觉嵌入与类别特定的文本嵌入对齐:参数,通过优化视觉分类损失LV和细粒度差异损失LC-r,可以显式地促进视觉语言预训练测细粒度差异损失Lr-r的细粒度区域预测函数来捕捉特定类别的更多信息特征。具体来优化LP-,可以整合多样化的类别相关提示,以便在类别特定视觉和文本提示中恢复公式[0143]本发明的目的是提供一种基于视觉语言预训练模型的细粒度多模态提示学习方法,具体提出一种细粒度多模态提示学习(FGMPL,Fine‑GrainedMulti‑modalPromptLearning)的视觉与文本联合学习框架,即基于视觉语言预训练模型的细粒度多模态提示fTieR4,1<i<bj。[0157]视觉提示和文本提示通过共享的潜在语义空间生成。视觉提示V器和视觉编码器)保持冻结,优化多模态提示学习向量。以使V(优化后的视觉提示Vi)和T[0167]类感知文本提示通过自动生成与视觉类特异性语义匹配的文本提示来适应不同[0171]类别特异的视觉文本对齐通过公式(13)进行全局差异预测,得到全局差异损失LC-ro通过优化LC-r,可以显式地强制模型找到细粒度的类别差异,从而增强模型的辨别能力。督LC-r,类别特定的全局视觉提示和类别感知文本提示将逐渐对齐,从而提升预训练CLIP指示在下游任务中这些部分的参数不会被更新。图2中文本编码器和视觉编码器都有雪花gggg掩码的使用促进模型从未被抑制的区域提取更加细[0186]11)抑制系数λ:λ用于在细粒度视觉[0187]图2中涉及到的公式符号主要用于描述提示生成过程中视觉和文本特征的提取、[0188]实施例2提出一种细粒度多模态提示学习的视觉与文本联合学习框架。该框架基特征与文本特征的联合表示。FGMPL框架包括双粒度视觉提示分支、类特异性文本提示生提示输入图像的图像特征和文本特征的联合表示为公式(1)和公式(2)。CLIP模型输出的最终图像特征和文本特征可以通过计算余弦相似度[0193]2)双粒度视觉提示:视觉提示模块包括全局视觉提示分支和细粒度视觉提示分本提示的对齐可以通过以下三种损失函数实现:视觉分类损失LV类特异性全局差异损失函数结合了视觉提示和文本提示的对齐损失及类特异性预测损失,总体损失函数为公式[0211]②跨数据集评估:基于视觉语言预训练模型的细粒度多模态提示学习模型在在ImageNet的1000个类别上以小样[0212]③领域泛化:本发明评估了所提出方法在分布外数据集上的鲁棒性。使用在上评估方法的性能,涵盖了广泛的识别任务。这些数据集包括两个常见图像识别数据集:ImageNet和Caltech101;五个细粒度图像分类数据集:StanfordCars、OxfordPets、[0220]Caltech101是一个包含101个对象类别的图像分类数据集,每个类别包含大约40[0223]StanfordCars是一个专注于车辆识别的细粒度图像分类数据集。数据集包含16,[0229]Flowers102是一个包含102种花卉品种的图像分类数据集,每个类别的图像数量[0237]UCF101是一个包含101种不同类型的动作视频数据集,涵盖了日常活动、体育动了3个轮次的训练,学习率为0.002。实验结果为3个随机种子的平均值。所有实验在单张确率提高了2.19并且在所有数据集的基础类别上比最新的ALIGN提高了1.09取得了[0263]在所有11个数据集中,本发明的FGMPL方法在新类别和H分数上均达到了最佳性发挥了关键作用。此外,对于类内方差较小的数据集(如Flowers102和FGVCAircraft),源数据集和目标数据集上都表现最佳,平均准确率为68.21分别比MaPLe和ALIGN高出λ0.050.10.30.71.072.3471.3270.4870.4571.8872.56[0284]为了评估所提出的多模态提示调优评估方法的性能,设计了约束条件组合实粒度多模态提示学习框架能够有效地提升预训练模型在下游任务中的适[0297]本发明实施例的一种实现上述任一项的一种基于视觉语言预训练模型的细粒度细微差异特征提取的细粒度视觉提示,全局视觉提示用于提取的输入图像的全局语义信[0308]6)多模态交互模块

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论