CN119399509A 预训练模型的高效微调方法、装置、服务器及存储介质 （宁波东方理工大学(暂名)）

本申请公开了一种预训练模型的高效微调是根据预设的实体类别文本信息和可学习文本一输入图像对应的实体类别图像分块和预设的提示特征进行掩码处理，生成第一掩码图像特2获取第一文本特征和图像提示特征，其中，所述第一文本特征是根据预应的实体类别图像分块和预设的可学习视觉提示参数进对所述图像提示特征进行掩码处理，生成第一掩码图像特征，并利模态掩码重建网络采用交叉注意力机制对利用自注意力机制处理后的单模态特征信息进计算所述第一输入图像与所述重构图像的损失值，并根据型的参数进行微调。2.根据权利要求1所述的方法，其特征在于，所述实体类别文本信息包括物体类别文将所述原始图像块和所述视觉提示图像块分别进行空间信息转图中分别检测类相关区域，并对检测出的目标空间特征图和目标提示空间特征图进行融3采用交叉注意力机制对所述第二掩码图像特征和所述第二文本特征将所述备选融合特征输入预设的Transformer视觉解码器进行解码，生成所述重构图一输入图像对应的实体类别图像分块和预设的可学习视觉提示参数进行编设的多模态掩码重建网络处理所述第一掩码图像特征和所述第一文本特征，生成重构图微调模块，用于计算所述第一输入图像与所述重构图像的损失值，并对所述预训练模型的参数进行微调。所述程序包括指令，所述指令在由所述处理器执行时使所述处理器算机指令用于使所述计算机执行根据权利要求1_7任一算机程序被处理器执行时实现权利要求1_7任一45对第一输入图像对应的实体类别图像分块和预设的可学习视觉提示参数进行编码所生成6[0024]应当理解，本公开的方法实施方式中记载的各个步骤可相互依存关系。[0027]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性[0028]在本实施例中提供了一种预训练模型的高效微调方法，图1示出了根据本申请实像对应的实体类别图像分块和预设的可学习视觉提示的文本提示可学习参数和可学习的视觉参数，也就是获取第一文本特征和图像提示特征；对应的目标为设定的实体类别的实体类别图像分图像块表明目标为大白熊犬)和所设定的可学习视觉提示参数(采用橙黄提示第一输入图像对应的目标为大白熊犬，用蓝色提示第一输入图像对应的目标为萨摩耶)；在本实施例7掩码重建网络采用交叉注意力机制对利用自注意力机制处理后的单模态特征信息进行融特征是对第一输入图像对应的实体类别图像分块和预设的可学习视觉提示参数进行编码确率低且在下游任务中的迁移能力弱的问题，实现了提高预训练视觉语言模型的微调效基于文本信息恢复掩码图像的交互，籍以可以隐式的从全局角度进行多模态提示的交互；息包括可学习文本提示，根据预设的实体类别文本信息和可学习文本提示信息进行编码，8表示的图像块1至图像块9)和视觉提示图像块(参考图3中的竖线条表示的图像块1至图像融合，生成图像提示特征，其中，图像提示特征表征一种视觉提示的物体类别标签。[0047]在其中一些可选实施方式中，视觉编码器为包括N层转换Transformer层的编码9和视觉提示图像块(参考图3中的竖线条表示的图像块申请优选实施例的视觉提示模块的示意图，图4示出了根据本申请优选实施例的视觉语言[0058]本申请实施例的预训练模型的高效微调方法从缩小解空间的角度出发设计了多种模态的信息进行交互。重复上述过程Nf此后将融合后的特征FC作为输入使用视觉解码器[0067]图5示出了根据本申请实施例的预训练模型的高效微调装置结构框图，如图5所输入图像对应的实体类别图像分块和预设的可学习视觉提示参数进行态掩码重建网络采用交叉注意力机制对利用自注意力机制处理后的单模态特征信息进行[0083]处理单元，用于利用自注意力机制分别处理第一掩码图[0087]本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介算机程序在被计算机的处理器执行时用于使所述计算机执行根据公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来全部可以经由ROM602和/或通信单元609而被载入和/或安装到服务器600上。在一些实施[0093]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络