CN118967524B 图像目标修复方法、装置、设备、存储介质 （北京智象未来科技有限公司）

2获取包括修复区域的图像、文本提示和二进制遮掩码；所确定图像的遮罩图像x'=xo(1-m)；确定目标对象的修复后特征;适配器层的输出为所述交叉注意力层的输入；所述交叉注意力层的输出是下一个注意力3selfAttn(H,c,c)+H；H为所述自注意力层所在注意力block的输入，c为从所述文本t,""所述交叉注意力层的输出HX=crossAttn(H,,c,c)+H,。推断模块，用于根据所述获取模块获取的文本提示和所述确定模块确定的遮罩图像，生成模块，用于将所述推断模块得到的修复后特征作为视觉提其中，所述计算机程序存储在所述存储器中，并被配置为由处理器执行以实现如权利要求1_6任一项45(1-m));[0025]每个注意力block由一个自注意力层、一个参考适配器层和一个交叉注意力层构fi",述计算机程序被处理器执行以实现如上述第一个方6[0046]图3为本申请实施例提供的一种图像目标修复方法的效果与现有分割掩码方法的[0047]图4为本申请实施例提供的一种图像目标修复方法的效果与现有边界框掩码方法7(1)对于文本引导的图像修复而言，仅依赖单独的U_Net在所有去噪时间义对齐是不够的；(2)在没有额外语义指导的复杂采样空间中稳定生成高保真度对象是具[0058]为了缓解在整个去噪过程中仅依赖单独的U_Net对文本提示和视觉对象进行对齐[0067]例如，fB"=Imag在CLIP空间中的语义特征进而使得视觉_语义对齐自然地在扩散模型的整个去噪过8",确定目标对象的修复后特征。[0077]例如，确定目标对象的修复后特征[0079]通过步骤102和103可以以未遮盖的图像上下文和文本提示为条件来预测目标对构实现(如类似于CLIP的图像编码器结构)。通过步骤103可以得到一个修复后的特征[0081]语义修复器利用了多模态特征空间中一个有效的知识蒸馏目标来指导语义修复输出作为语义对齐的视觉提示，通过一个额外的参考适配器层输入到对象修补扩散模型器层为多头交叉注意力层。参考适配器层的被交替地插入到U_Net模型的原始自注意力层[0087]也就是说，U_Net模块包括多个注意力block。每个注意力block由一个自注意力是由扩散模型中的文本编码器提取的文本提示c的文本特[0091]其中，H为自注意力层所在注意力block的输入，C为从文本提示提取出的文本特9骤102和步骤103在多模态特征空间中推断目标对象的修复后特征；2)然后进行对象生成，即在步骤104中利用推断的语义特征作为视觉提示来引导扩散模型，从而实现高保真度的[0099]本实施例提供的图像目标修复方法的效果与现有的分割掩码方法的效果对比图如图4所示。本实施例提供的图像目标修复方法的效果与现有的边界框掩码方法的效果对样空间中进行低质量的对齐。扩散模型的参考适配的语义特征)很好地控制对象修复，本实施例提供的图像目标修复方法在文本引导的图像[0102]基于图像目标修复方法的同一发明构思，本实施例提供[0105]推断模块503，用于根据获取模块501获取的文本提示和确定模块502确定的遮罩f",重构语义特征",[0114]每个注意力block由一个自注意力层、一个参考适配器层和一个交叉注意力层构[0117]其中，自注意力层的输出Hs＝SelfAttn(H,C,C)+H。H为自注意力层所在注意力[0118]参考适配器层的输出其中，",[0142]每个注意力block由一个自注意力层、一个参考适配器层和一个交叉注意力层构[0146]参考适配器层的输出其中，te"为修复后特征，RefAdapter(·)为参考适配器层。[0149]基于图像目标修复方法的同一发明构思，本实施例提供一种计算机可读存储介[0169]每个注意力block由一个自注意力层、一个参考适配器层和一个交叉注意力层构[0173]参考适配器层的输出其中，计语言Java和直译式脚本语言JavaScr现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0178]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多