CN117197292B 用于生成图像的方法、装置、设备和存储介质 （北京字跳网络技术有限公司）

质允许用户对输入文本进行自由编辑以生成多样化的目标图像，满足用户多样化的图像生成需2基于所述材质图像以及与所述至少一个字符对应的字形图像，生成其中生成与所述至少一个字符对应的目标图像包括：基于所填充所述第一特征图，以获取与第二尺寸对应的第二特征图，以作基于所述第一特征图，确定在目标方向上与所述第一边缘位置对称的第二边缘位置；利用所述第二边缘位置的值，填充所述第一边缘像素在所述目标方向上的相邻位置，3提供基于所述目标图像和所述第二输入文本所生成的至文本获取模块，被配置为获取输入文本，所述输入文本指文本确定模块，被配置为利用第一模型处理所述输入文本，图像生成模块，被配置为基于所述材质图像以及与所述至少一个字符对应的字形图其中所述图像生成模块被进一步配置为：基于所述字形图像和至少一个存储器，所述至少一个存储器被耦合到所述至少一个45[0015]图7示出了根据本公开的某些实施例的用于生成图像的装置的示意性结构框图；6供相应输出，其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏[0029]电子设备110可以基于输入文本102生成与输入文本102对应的目标图像112。也即，电子设备110可以基于输入文本102执行图像生成任务以生成目标图像112。电子设备子设备110可以基于中文的输入文本102执行图像生成任务以生成其对应的目标图像112。[0030]电子设备110例如可以利用模型120来执行艺术字图像生成任务。模型120例如可[0031]电子设备110可以包括具有计算能力的任何计算系统，例如各种计算设备/系统、7CommunicationSystem，PCS)设备、个人导航设备、个人数字助理(PersonalDigital[0038]图2示出了根据本公开的一些实施例的生成图像的过程200的流程图。过程200可[0040]在一些实施例中，电子设备110可以获取用户输入的指示生成与至少一个字符对示屏，电子设备110可以响应于检测到用户对触控显示屏中的操作控件(例如输入框)的预8过与其他电子设备之间的通信连接将输入文本发送至其他电子设备以利用第一模型处理[0044]电子设备110可以基于输入文本生成第一模型的第一输入信息。第一输入信息例将一组材质图像-描述文本对中的一组描述文本作为一组参考[0045]电子设备110进而基于输入文本、预设约束信息和一组参考材质描述文本生成第设备110可以基于获取到的任意适当的输入文本来生成任意适当的[0046]图3示出了根据本公开的一些实施例的生成图像的示例架构300的示意图。架构[0047]电子设备110可以将获取到的输入文本102提供给文本问答模型310。在一些实施电子设备110可以基于预定的映射关系或者匹配规则从该材质图像库中获取与材质描述文9[0051]继续参考图3，如图3所示，架构300例如还可以包括文生图模型320(也即第二模置为生成与材质描述文本312相匹配的材质图像322。文生图模型320例如可以包括多个卷可以对这个7*7的第一特征图进行填充以获取到8*8的第[0053]图4示出了根据本公开的一些实施例的循环填充的示例的示意图400。图4中包括缘位置为第一特征图的左上角的位置，则第一边缘位置处的对应数值为数值401(例如5)。电子设备110可以基于第一特征图410，确定在目标方向上与第一边缘位置(也即左上角的竖直方向上与其对称的位于左下角的位置、在对角方向上与其对称的位于右下角的位置。对应的目标字形。电子设备110例如还可以向用户呈现字形(或字体)选择界面，字形选择界面可以包括一组预设字形库(或字体库)所包括的至少部分字形(或字体)。电子设备110进而响应于用户对110可以基于字符文本302从字形库304中获取字只有白色的区域被设置为可以被填充。电子设备110可以对字形图像306和材质图像322进的处理例如可以包括模糊处理。电子设备110进而基于经处理的字形图像306和材质图像的噪音的强度。图生图模型340可以基于第一控制参数所指示的噪音强度向引导图像添加加地，噪音还可以是电子设备110在将引导图像提供给第三模型之前由电子设备110添加电子设备110可以基于字形图像306和材质图像322，生成图像610，图像610可以是引导图强度最高级(例如加满)。图像620、图像630和图像640分别示出了添加噪音不同强度的图型340可以基于目标图像112和第二输入文本308输出图像。新输出的图像是基于目标图像[0067]图7示出了根据本公开的某些实施例的用于生成图像的装置700的示意性结构框块730，被配置为获取基于材质描述文本生成的材质图像。装置700还包括图像生成模块装置700中的部分或者全部单元和/或模块可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列[0083]图8示出了示出了其中可以实施本公开的一个或多个实施例的电子设备800的框[0086]电子设备800可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介设备800与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方令实现