CN114037640B 图像生成方法及装置 （华为技术有限公司）

所述第一语义目标图像为所述源图像包含的至所述第一先验分布为第一背景图像和待生成语述待生成语义目标信息包括待生成语义目标图能够针对特定样本图片集中包含的多语义目标图像实现自动生成质量稳定并且多样性的目标2确定源图像的第一语义目标图像，所述第一语义目标图像为所根据所述第一语义目标图像确定第一背景图像，所述第一背景图根据所述第一背景图像和待生成语义目标信息生成第一先分布为根据所述第一背景图像和所述待生成语义目标信息得到的噪声的先验根据所述第一先验分布生成待生成语义目标图根据所述待生成语义目标图像的噪声和所述第一背景图像生成目标根据经过平滑处理的所述第一语义目标图像确定所从所述源图像中移除经过平滑处理的所述第一语将所述目标图像作为输入图像，利用待训练的图像判别器鉴别所述目标图像的真实根据所述待训练的图像判别器的输出结果以及所述输入图像将网络参数值调整后的图像生成器生成的目标图像作为输入图所述待训练的图像判别器结合所述待生成语义目标信息对所述不同区域在执行损失所述待训练的图像判别器对所述目标图像进行区域所述待训练的图像判别器对所述目标图像中包括的待生成语义目标图像进行平滑处所述待训练的图像判别器对包括经过平滑处理的所述待生成语义目标图像的所述目标图像进行真实性判别。根据所述待生成语义目标信息和所述第一语义目标图像的信息完成所述目标图像的3所述待训练的图像判别器包括图像检测器，所述图像检测器用于对检测单元，用于确定源图像的第一语义目标图像，所述第一语义目根据所述第一语义目标图像确定第一背景图像，所述第一背景图根据所述第一背景图像和待生成语义目标信息生成第一先分布为根据所述第一背景图像和所述待生成语义目标信息得到的噪声的先验根据所述第一先验分布生成待生成语义目标图根据所述待生成语义目标图像的噪声和所述第一背景图像生成目标根据经过平滑处理的所述第一语义目标图像确定所从所述源图像中移除经过平滑处理的所述第一语将所述目标图像作为输入图像，利用待训练的图像判别器鉴别所述目标图像的真实根据所述待训练的图像判别器的输出结果以及所述输入图像将网络参数值调整后的图像生成器生成的目标图像作为输入图所述待训练的图像判别器结合所述待生成语义目标信息对所述不同区域在执行损失述目标图像中包括的待生成语义目标图像进行所述待训练的图像判别器对包括经过平滑处理的所述待生成语义目标图像的所述目标图像进行真实性判别。4根据所述待生成语义目标信息和所述第一语义目标图像的信息完成所述目标图像的5[0005]如何针对少量样本图片集中包含的多语义目标图片实现自动生成质量稳定并且6[0010]根据上述技术方案，生成模块根据第一语义目标图像来确定第一背景图像的区[0023]该待训练的图像判别器结合所述待生成语义目标信息对所述不同区域在执行损7该包括经过平滑处理的待生成语义目标图像的目标图像进行真[0040]上述芯片具体可以是现场可编程门阵列(field-programmablegatearray，8[0045]图5为本申请实施例提供的一种共享特征提取的判别器结构与检测器结构示意有和本申请中用到的节点或装置具有相同或类似功能的名称都视作本申请的方法或等效施例可能涉及的神经网络的相关术语和概念[0051]神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运第2个神经元的线性系数定义为上标3代表系数W所在的层数，而下标对应的是输出的9[0060]卷积神经网络(convolutionalneuronnetwork，CNN)是一种带有卷积结构的深取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有化的于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过(youonlylookonceneuralnetwork，YOLO)、SSD检测器(singleshotmultibox含语义目标的概率；以基于快速区域的卷积神经网络(FasterRegionBasedConvolutionalNeuralNetworks，FasterRCNN)和基于掩模区域的卷积神经网络(MaskRegionBasedConvolutionalNeuralNetworks，MaskRCNN)为代表的两步法引入了候选[0075]为便于理解本申请实施例，首先结合图1简要说明本申请实施例的一种系统架构[0079]下面对训练设备121基于训练数据得到目标模型122进行描述，训练设备120对输成设备113自动生成的图片集输入该目标模型122，即可判断该图片集包括的图片的真伪。本申请实施例中的目标模型122具体可以为行设备，所述执行设备可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实[0085]由于CNN是一种非常常见的神经网络，下面结合图2重点对CNN的结构进行详细的不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络[0097]在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利卷积神经网络200的前向传播(如图3由210至240方向的传播为前向传播)完成，反向传播(如图3由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏[0103]图3示出了本申请的一种产品实现形态，该产品包括服务器310、硬件320和软件装置322用于生成用户要求的目标语义信息的多样性图像，并将生成的图片存储至主机内景中，本申请实施例以自动驾驶场景为例对本申请实施例的图像生成方法进行详细的介[0114]S430，生成模型根据所述第一背景图像和待生成语义目标信息生成第一先验分源图像进行处理得到第一背景图像，将第一背景图像输入编辑器得到第一背景图像特征，从先验分布提取噪声特征，将该噪声特征与第一背景图像特征输入编辑器进行编辑合并，进行真实性判别。基于原始图像标注的类别信息图进行嵌入，随后使用卷积网络得到二维的区域判别结果，替换为预期生成的语义目标，最后合成符合图片纹理信息并满足多样性的图片并自动标[0180]生成单元620用于根据所述第一语义目标图像确定第一背景图像；根据所述第一[0183]在一种可能的实施方式中，生成单元620用于从所述源图像中移除所述经过平滑[0184]具体的，生成单元620还用于根据所述语义目标信息完成所述目标图像的语义目训练的图像判别器对所述边界框区域内的图像[0193]应理解，本申请实施例中的处理器可以为中央处理单元(centralprocessingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(randomaccess机存取存储器(doubledatarateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器个可用介质集合的服务器、数据