CN119399327A 图像编辑方法、装置、存储介质及电子设备 （北京生数科技有限公司）

2从所述目标图像的词元中截取所述目标图像的基于交叉注意力机制，根据所述编辑指令对应的文本词元、所述视觉所述利用预训练的多模态大模型，基于所述待编辑图像和所述编辑指4.根据权利要求1_3任一所述的方法，其特征在于，所述获取待编辑图像和编辑指令获取训练样本集，所述训练样本集包括至少一组训练样本，每一针对每一组训练样本中的编辑前图像样本和编辑指令样本，利用第一3基于所述第一损失值以及所述第二损失值，指导所述第一待训练第一生成模块，用于利用预训练的多模态大模型，基于所9.一种计算机可读存储介质，所述存储介质存储有计所述处理器，用于从所述存储器中读取所述可执行指令，并执行45模型进行图像编辑时可将该目标图像的视觉词元和编辑指令对应的文本词元作为引导条[0011]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、6[0041]图1是本公开一示例性实施例提供的图像编辑方法的流程示意图。本实施例可以7[0047]本实施例中，训练好的多模态大模型可以基于用户输入的编辑指令和待编辑图[0051]具体实现时，可从步骤102得到的目标图像的词元中分别截取文本词元和视觉词令对应的文本词元与预训练的扩散模型的交叉注意力模块的图像的隐空间表示的交叉注[0057]本实施例中，待编辑图像的隐空间表示为使用图像编码器，如变分自编码器(Variationalauto_encoder，简称为VAE)对待编辑图像进行编码后得到的隐空间表达形8像的视觉词元；待编辑图像经过图像编码器进行编码处理得到隐空间表示后输入扩散模在生成编辑后的目标图像时能更好地符合用户的编辑指令和保留原始数据(待编辑图像)[0065]在一些可选的实现方式中，多模态大模型和扩散模型可通过训练得到，如图3所[0068]其中，该编辑结果描述样本可通过训练好的文本生成模型(GenerativePre_本为用户根据编辑指令样本对编辑前图像样本进行编辑后得到9图像剪裁成相同的尺寸，而通过标准化处理则可将像素值为0_255的图像像素标准化到_1图像的颜色通道数，H高度(Height)用于表示图像的垂直尺寸，即图像的高度，W宽度得到。后再通过VAE编码器将预测编辑后图像的隐空间表示进行解码得像时能更好地保留和再现第二图像样本的关键特征，从而提高生成图像的质量和相似度。[0085]本公开中，交叉注意力机制的引导条件可包括各编辑指令样本对应的文本词元、基于多模态大模型得到的第一视觉词元以及参参考图词元)，引导条件可共同引导扩散模型的图像编辑过程，使得图像编辑更加准确有第一损失函数确定真实编辑后图像样本的隐空间表示和预测编辑后图像的隐空间表示可[0089]基于上述第一损失函数确定的图像均方误差值和第二损失函数确定的噪声均方均方误差值的损失计算，可以使得训练后的扩散模型生成的图像更贴近用户的编辑指令，[0093]图5是本公开另一示例性实施例提供的图像编辑方法的流剪可以将不同尺寸的图像剪裁成相同的尺寸，而通过标准化处理则可将像素值为0_255的[0100]示例性地，模型查询指令如下：Conversation(system＝"Achatbetweenacurioususerandanartificialintelligenceassistant.Theassistantgiveshelpful,detailed,andpoliteanswerstotheuser'squestions.",roles＝('USER','ASSISTANT'),messages＝[['USER',"whatwillthisimagebelikeif/'removebananasandaddgrapes'(inashortparagraph)\n<im_start><im_patch>......<im_patch><im_end>"],['ASSISTANT',None]],offset＝0,sep_style＝<SeparatorStyle.TWO:2>,sep＝”,sep2＝'</s>',version＝'Unknown',skip_next=意的指令后，多模态大模型可输出“Removethebananasfromtheimageandaddgrapes.Edittheimagetoaddthegrapesandarrangethemonthefruit[0106]在一些实施例中，步骤505～步骤506的实现方式可参见图1所示实施例中的步骤方式，有助于通过多模态大模型生成的视觉词元对扩散模型生成目标图像的过程进行约像预处理操作之后，可将图像输入特征提取器，如视觉几何群网络(VisualGeometry这个表示可以与图像的VAE隐空间表示结合，从而得到一个同时考虑了图像和文本信息的模型进行图像编辑时可将该目标图像的视觉词元、参考图像的参考图词元作为引导条件，[0127]图10是本公开一示例性实施例提供的图像编辑装置的结构[0129]第一生成模块112，用于利用预训练的多模态大模型，基于待编辑图像和编辑指[0133]图11是本公开另一示例性实施例提供的图像编辑装置的结构示意图，如图11所装置示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效[0155]图12为本公开实施例提供的一种电子设备的结构图，包括至少一个处理器121和[0156]处理器121可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力[0157]存储器122可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可个实施例的车辆位姿的检测方法和/或其他期[0164]计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本描述的根据本公开各种实施例的图像编辑方法[0172]提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本