CN111860555B 图像处理方法、装置以及存储介质 （北京京东尚科信息技术有限公司）

像、样本图像描述文本的判别结果生成目标函数，使用基于目标函数调整后的生成器生成图2构建通过文本生成图像的生成式对抗网络模型；其生成包含有与样本草图和所述生成图像的联合图像；其特征与所述样本图像描述文本对应的图像特征相同；所述生成器在输出所述生成图像后，根据所述判别结果生成所述生成式对抗网络模型的目标函数，基于使用调整后的所述生成器基于图像描述文本获得用于表征所述生成图像与所述样本草图之间的相似度的第基于所述草图损失函数和所述语义损失函数构建基于所述生成器目标函数和所述判别器损失函数生4.如权利要求3所述的方法，所述根据所述第一判别结果构建所述生成器的草图损失使用图像掩码对所述联合图像进行过滤处理，获得与所述生计算所述生成图像简笔图与所述样本草图简笔图之基于所述距离构建用于确定所述生成图像简笔图与所述样本草图简笔图之间的相似5.如权利要求4所述的方法，所述根据所述第二判别结果构建所述生成器的语义损失获得判别所述生成图像为假的第一概率信息；其中，所述第一概率信息为6.如权利要求5所述的方法，所述基于所述草图损失函数和所述语义损失函数构建生确定与所述草图损失函数或所述语义损失函数基于所述草图损失函数、所述语义损失函数以及所述加权值生成所述生成器目标函3使用编码器将所述样本图像描述文本转换为用于表示图获得判别所述生成图像为真的第二概率信息；其中，所述第二概率信息为第二概率信息为生成器输出的所述生成图像为与所述样本图像描述文本相对应的真实图样本生成模块，用于将样本图像描述文本输入所述生成器，4模型调整模块，根据所述判别结果生成所述生成式对抗网络模型的目存储器；以及耦接至所述存储器的处理器，所述处理器被配置为5[0002]生成式对抗网络模型是一种生成模型，包含生成器网络(GeneratorNetwork)和判别器网络(DiscriminatorNetwork)，生成器网络和判别器网络相互竞争，直至达到平所述距离构建用于确定所述生成图像简笔图与所述样本草图简笔图之间的相似度的所述6KL为所述草图损失函数，D(G(z,φ(t为生成器输出的所述生成图像为与所述7简笔图与所述样本草图简笔图之间的相似度的所述草图8[0034]图2为根据本公开的图像处理方法的一个实施例中的生成目标函数的流程示意[0035]图3为根据本公开的图像处理方法的一个实施例中的生成式对抗网络模型的示意[0036]图4为根据本公开的图像处理方法的一个实施例中的生成草图损失函数的流程示[0038]图6为根据本公开的图像处理装置的一个实施例中的模型调整模块的模块示意通过生成器模型(GenerativeModel)和判别器模型(DiscriminativeModel)的互相博弈学习产生相当好的输出。生成式对抗网络通常使用深度神经网络作为生成器G和判别器D，9[0053]生成器G的目标是尽量生成真实的图片去欺骗判别器D，判别器D的目标是尽量把[0060]图2为根据本公开的图像处理方法的一个实施例中的生成目标函数的示意图，如的混合字符级卷积循环(hybridcharacter-levelconvolutional-recurrent)网络模型，[0069]将随机变量z和描述文本t通过编码器φ编码之后生成的向量相结合，生成新变[0071]图4为根据本公开的图像处理方法的一个实施例中的生成草图损失函数的流程示[0075]步骤403，基于距离构建用于确定生成图像简笔图与样本草图简笔图之间的相似[0076]根据第二判别结果构建生成器的语义损失函数可以有多种方法获得判别生成图KL为草(G(z,φ(t))为第二概率信息，第二概率信息为生成器输出的生成图像为与样本图像描述小化生成的图像G(z,φ(t))中的草图部分和联合图像AB中的样本草图B的相似度,使用KL[0090]样本生成模块52将样本图像描述文本输入生成器，获得生成器输出的生成图[0092]图像判别模块54获得用于表征生成图像与样本草图之间的相似度的第一判别结[0094]第一损失确定单元551使用图像掩码对联合图像进行过滤处理，获得与生成图像[0095]第一损失确定单元551获得判别生成图像为假的第一概率信息，第一概率信息为[0096]样本生成模块52使用编码器将样本图像描述文本转换为用于表示图像特征的输[0097]第二损失确定单元552获得判别生成图像为真的第二概率信息，第二概率信息为[0099]在一个实施例中，图7为根据本公开的图像处理装置的另一个实施例的模块示意卷。处理器72可以为中央处理器CPU，或专用集成电路ASIC(ApplicationSpecificIntegratedCircuit)，或者是被配置成实施本公开的图像处理方法的一个或多个集成电图像处理装置，图像处理装置将目标物品的三维中心位置信息以及姿态信息发送给机器解本公开从而设计适于特定用途的带有各种修