CN119494885A 文本生成模型的训练、图像生成方法、装置、设备和介质 （北京字跳网络技术有限公司）

本公开实施例提供一种文本生成模型的训2基于所述第一图像描述，通过文本生成模型，得到对应的预测正根据所述预测正向描述和所述预测反向描述，通过所述目标图像生成获取对所述第一生成图像的第一质量评分和对所述第二生成图像的第基于对所述第一质量评分和所述第二质量评分的比较，调整所述文本生成模型的参获取所述第一图像描述对应的第一正向描述标签和第一基于对所述第一质量评分和所述第二质量评分的比较，以及所基于所述第一输出和所述第一正向描述标签，以及所述第二分别基于所述预测正向描述和所述预测反向描述，通过所述目标所述预测正向描述和所述预测反向描述各自对应所述第二质量评分包括如下至少之一：所述第二生成图像的第二美学分生成图像的第二清晰度分值以及所述第二生成图像与所述第一图像描述之间的第二相关所述第一生成图像的第一清晰度分值，基于预设梯度算法针对所述所述第一生成图像与所述第一图像描述之间的第一相关性值，基于3获取所述第二图像描述及其对应第二正向描述标签和第二基于所述第二图像描述，通过待训练的文本生成模型，得到所述待基于所述第三输出和所述第二正向描述标签，以及所述第四分别基于所述目标正向描述和所述目标反向描述，通第二确定模块，配置为根据所述预测正向描述和所述预测反第二获取模块，配置为获取对所述第一生成图像的第一质量第一调整模块，配置为基于对所述第一质量评分和所述第二45[0010]获取对所述第一生成图像的第一质量评分和对所述第二生成图像的第二质量评67整文本生成模型的参数，以实现基于强化学习方8像描述，优化输出更高质量的更符合用户期望的图像描述和不符合用户期望的图像描述，9输入的一个prompt(即为用于引导图像生成的图像描述，可以称其为正常的prompt即正常[0058]该奖励模型用于对所输入图像的质量进行评估，确定所输入图像对应的质量评过如下角度但不限于如下角度对图像的质量进行评估：图像清晰度的高低(图像的清晰度本生成模型可以输出质量更好的符合用户期望的正向描述，和不符合用户期望的反向描评分相对于基于该图像描述所得到的图像的质一图像描述对应的预测正向描述和预测反向描述；之后根据预测正向描述和预测反向描基于对第一图像描述对应的第一生成图像和经文本反映出文本生成模型的当前的图像描述生成扩展能力)更好地提升文本生成模型的图像描[0063]图2示出了本公开一个实施例中文本生成模型的训练方法的流程示意图。该方法该第一图文数据集S可以是从任意指定的可以提供图文对(图像及其对应的图像描述)的公[0067]之后针对第一图文数据集S中任意的一个图文对M，基于图文对M中的图像描述[0072]在步骤S110，获取第二图像描述及其对应第二正向描述标签和第二反向描述标得所生成图像的质量更不好的图像描述，即物体型符合生物学常识等用于引导生成质量更好的描述的内容。该第二引导内容例如包量不好的描述使得基于其生成的图像质量不好，例如：图像画面不清晰和/或美学分值低述标签均可以包括预设词集合中的一个或多以包括，该位置出现该预设词集合中各词的[0088]在一种实现方式中，该待训练的文本生成模型可以是基于transformer的生成式第二图像描述，通过待训练的文本生成模型的第一文本编码器对第二图像描述进行编码，则可以是相关技术中任意的可以基于文本生成模型的输出确定出对应的描述对应的标签概率集合之间的差异(例如，可描述标签各位置涉及的词对应的标签概率为1，第二正向描述标签中各位置未涉及的词对反向描述标签各位置涉及的词对应的标签概率为1，第二反向描述标签各位置未涉及的词第二反向描述标签分别对应的标签概率集合可以以矩阵[0095]回顾一下前述文本生成模型的预训练过程即步骤S110_S140，上述实施例是以一组图像描述组(即一组第二图像描述及其对应的第二正向描述标签和第二反向描述标签)待训练的文本生成模型的参数，这样能够减少对该待训练的文本生成模型的参数调整次可以包括若干位置中各个位置对应的第三词概率集合；该各个位置对应的第三词概率集结合了预测正向描述对应的生成图像的特征和该预测反向描述对应的生成图像的特征而成图像与第一图像描述之间的第一相关性值(其可以成图像的第二清晰度分值以及第二生成图像与第一图像描述之间的第二相关性值。相应型FB、用于确定图像的清晰度分值的预设梯度算法FT以及用于确定图像与其对应的图像描括大量的图像及其对应的表征该图像的美观度的美学分值标签的数据[0112]一种情况中，第一生成图像(第二生成图像)的第一美学分值(第二美学分值)越为预先基于若干样本图文对(每对样本图文对包括一个图像及一个图像描述)及其对应的[0121]在目标程序获取到对第一生成图像的第一质量评分和对第二生成图像的第二质[0122]在一种实现方式中，目标程序可以基于对第一质量评分即计算的第二质量评分与第一质量评分之间的差异例如差值(即后续的图像优化奖励参B2)](3)2)表示第二生成图像与第一图像描述x2之间的第BGO2)表示第一生成图像与第一图像描述之间的第一相关性值，IP表示第二可以使得第一图像描述经该文本生成模型扩展后所得的预测正向描述和预测反向描述的其经该文本生成模型扩展后所得的预测正向描述和预测反向描述的语义仍为指示生成两[0125]可以理解的，第二质量评分与第一质量评分之间的差异(即当前的环境奖励)越[0133]在步骤S360，获取第一图像描述对应的第一正向描述标签和第一反向描述标成模型根据该各图像描述所生成的，具体的生成过程可以参见前述的图像描述i对应的正关的第一输出及与预测反向描述相关的第二输出、第一正向描述标签和第一反向描述标于第一图像描述所确定的前述预设词集合中各词出现在该位[0140]接着，目标程序可以基于第二输出中与第一正向描述标签各个位置相应的位置p2n2成模型具有输出质量较优的符合用户预期的正向描述和质量较优的不符合用户预期的反[0147]回顾一下前述步骤S310_S380的执行过程，上述实施例是以一个第一图像描述及其对应的第一正向描述标签和第一反向描述标签(后续称为描述组)为一个样本为例进行基于对第一图像描述对应的第一生成图像和经文本反映出文本生成模型的当前的图像描述生成扩展能力)更好地提升文本生成模型的图像描描述更不符合用不期望)更对齐，并使得训练完成的文本生成模型与目标图像生成模型更[0158]相应于上述方法实施例，本公开实施例，提供了一种文本生成模型的训练装置[0163]第二获取模块550，配置为获取对所述第一生成图像的第一质量评分和对所述第度分值以及所述第一生成图像与所述第一图像描述之间的第第二生成图像的第二清晰度分值以及所述第二生成图像与所述第一图像描述之间的第二型针对所述第一生成图像与所述第一图像描取所述第二图像描述及其对应第二正向描述标签和第二反向[0190]上述装置实施例与方法实施例相对应，具体说明可以参见方法实施例部分的描可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置述计算机程序在计算机中执行时，令计算机执行本公开所提供的如图2或图3或图4所示的质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以[0198]可以以一种或多种程序设计语言或其组合来编写用于执行本公开实施例的操作的计算机程序代