CN119513345A 模型训练和图像生成方法、装置、终端设备及存储介质 （北京奇虎科技有限公司）

本发明公开了一种模型训练和图像生成方述待训练模型包括主干结构模型和旁支结构模2构建待训练模型，所述待训练模型包括主干结构模型和旁基于所述旁支结构模型的文本编码器获取训练将所述主干结构模型的训练输入置空，基于所述训练数据集对所基于所述主干结构模型和所述旁支结构模型构建将所述主干结构模型的训练输入置空，基于所述潜空间张量对所获取描述信息和图像生成模型，所述图像生成模型包括主干结构模型和旁支结构模将所述语义描述信息输入至所述旁支结构模型，将所述通用描述信息基于所述主干结构模型和所述旁支结构模型的输出结果生成所述描述信息对应的图模型构建模块，用于构建待训练模型，所述待训练模型包括主干结构模型模型训练模块，用于将所述主干结构模型的训练输入置空，基于所述3信息获取模块，用于获取描述信息和图像生成模型，所述图像与所述旁支结构模型的文本编码器不同，所述描述信息包括语义描述信息和通用描述信信息输入模块，用于将所述语义描述信息输入至所述或所述图像生成程序配置为实现如权利要求1至6中任一项所述的图像生成方法和/或模型程序，所述模型训练程序和/或所述图像生成程序被处理器执行时实现如权利要求1至6任4[0002]目前文本生成图像领域技术发展特别迅速，目前的图像生成模型支持的语言单[0003]上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技5[0028]基于所述主干结构模型和所述旁支结构模型的输出结果生成所述描述信息对应6处理器及存储在所述存储器上并可在所述处理器上运行的模型训练程序和/或图像生成程[0057]本发明通过构建待训练模型，所述待训练模型包括主干结构模型和旁支结构模所述旁支结构模型的文本编码器不同，所述描述信息包括语义描述信息和通用描述信息；7[0070]如图1所示，该终端设备可以包括：处理器1001，例如中央处理器(Central通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless_Fidelity，Wi_Fi)接口)。存储器1005可以是高速的随机存取存储器(Random[0072]如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模89[0110]可以理解的是，终端那设备通过编码器将输入数据转换为与潜在空间(latent[0137]步骤S30：基于所述主干结构模型和所述旁支结构模型的输出结果生成所述描述据经过旁支结构模型的编码阶段单元进行特征融合[0141]可以理解的是，本实施例终端设备通过确定用户输入的输入数据对应的语言类所述旁支结构模型的文本编码器不同，所述描述信息包括语义描述信息和通用描述信息；是包含有正向提示词(即Prompt)和反向提示词(即Negati[0174]基于所述切分粒度和所述切分路径对所述待切分语料进行分词，获得多个初始个输入数据的权重向量。描述词权重较高的部分可以被认为是输入数据的重点和描述信[0203]训练数据获取模块20，用于基于所述旁支结构模型的文本编码器获取训练数据干结构模型的结构信息和模型参数；基于所述结构信息和所述模型参数构建旁支结构模所述旁支结构模型的文本编码器不同，所述描述信息包括语义描述信息和通用描述信息；[0246]基于所述主干结构模型和所述旁支结构模型的输出结果生成所述描述信息对应所述存储器上并可在所述处理器上运行的模型训练程序和/或图像生成程序，所述模型训练程序和/或所述图像生成程序配置为实现如上文所述的图像生成方法和/或模型训练方出贡献的部分可以以软件产品的形式体