CN115424013B 模型的训练方法、图像处理方法和设备、介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中WO2022105125A1,2022.05.27质出向量输入生成器中的多层感知器进行数据映的比较图像和目标图像输入初始网络模型的判2将所述特征向量输入初始网络模型的生成器中的编码器进行数据处理，得到输出向将所述输出向量输入所述初始网络模型的所述生成器中的多层感知器进行数据映射在所述初始网络模型的所述生成器中对所述目标图像块进将预设的比较图像和所述目标图像输入所述初始网络模型的判别器中进行判别处理，根据预设损失函数，更新所述初始网络模型中的所述生成器和所述判别器对应的参其中，所述编码器包括第一编码处理模块和第二编码处理模块述第一编码处理模块中的所述快速傅里叶变换模块用于对所述特征向量进行述第二编码处理模块中的所述快速傅里叶变换模块用于对所述第一向量进行所述将所述特征向量输入所述第一编码处理将所述特征向量输入所述第一编码处理模块的所述多头自注意力模块中进行特征处将所述特征向量输入所述第一编码处理模块的所述快速傅里叶变换模块中进行特征对所述特征向量、所述第二向量和所述第三向量进行残所述将所述第一向量输入所述第二编码处理将所述第一向量输入所述第二编码处理模块的所述全连接将所述第一向量输入所述第二编码处理模块的所述快速傅里叶变换模块中进行特征3对所述第一向量、所述第四向量和所述第五向量进行残所述将所述第一向量输入所述第二编码处理模块的所述快速傅里叶变换模块中进行将所述第一向量输入所述第一傅里叶变换单元中进行特征提取将所述第一向量特征数据依次经过所述第一卷积单元的卷积处将所述第一目标向量数据输入所述第二傅里叶变换单元中进行特征5.根据权利要求1至4任一项所述的训练方法对所述语义图像块进行位置编码处理，得到每一所述语义图像块对应的位置编码数将所述位置编码数据输入预设的线性层中进行线性处理，得到每一将所述原始语义分割图像输入生成式对抗网络模型中进行图像处理4[0007]将所述特征向量输入初始网络模型的生成器中的编码器进行数据处理，得到输[0008]将所述输出向量输入所述初始网络模型的所述生成器中的多层感知器进行数据[0009]在所述初始网络模型的所述生成器中对所述目标图像块进行图像重整处理，得[0010]将预设的比较图像和所述目标图像输入所述初始网络模型的判别器中进行判别第一编码处理模块和所述第二编码处理模块中均[0013]所述将所述特征向量输入初始网络模型的生成器中的编码器进行数据处理，得中，所述第一编码处理模块中的所述快速傅里叶变换模块用于对所述特征向量进行特征5中，所述第二编码处理模块中的所述快速傅里叶变换模块用于对所述第一向量进行特征[0017]所述将所述特征向量输入所述第一编码处理模块中进行特征编码，得到第一向[0018]将所述特征向量输入所述第一编码处理模块的所述多头自注意力模块中进行特[0019]将所述特征向量输入所述第一编码处理模块的所述快速傅里叶变换模块中进行[0020]对所述特征向量、所述第二向量和所述第三向量进行残差求和处理和归一化处[0022]所述将所述第一向量输入所述第二编码处理模块中进行特征编码，得到输出向[0023]将所述第一向量输入所述第二编码处理模块的所述全连接层中进行分类处理，[0024]将所述第一向量输入所述第二编码处理模块的所述快速傅里叶变换模块中进行[0025]对所述第一向量、所述第四向量和所述第五向量进行残差求和处理和归一化处[0026]在一些实施例，所述第二编码处理模块的所述快速傅里叶变换模块包括第一傅[0027]所述将所述第一向量输入所述第二编码处理模块的所述快速傅里叶变换模块中[0028]将所述第一向量输入所述第一傅里叶变换单元中进行特征提取，得到第一向量[0029]将所述第一向量特征数据依次经过所述第一卷积单元的卷积处理、所述第一激[0030]将所述第一目标向量数据输入所述第二傅里叶变换单元中进行特征提取，得到[0032]根据所述预设损失函数，更新所述初始网络模型中的所述生成器和所述判别器[0033]当更新后的所述图像判别值大于或者等于预设值，训练得到所述生成式对抗网6[0035]对所述语义图像块进行位置编码处理，得到每一所述语义图像块对应的位置编[0036]将所述位置编码数据输入预设的线性层中进行线性处理，得到每一所述语义图[0039]将所述原始语义分割图像输入生成式对抗网络模型中进行图像处理，得到目标[0040]本申请实施例的第三方面提出了一种计算机设备，所述计算机设备包括存储器于执行如本申请实施例第一方面实施例任一项所述的方法或如本申请实施例第二方面实[0041]本申请实施例的第四方面提出了一种存储介质，该存储介质为计算机可读存储如本申请实施例第一方面实施例任一项所述的方法或如本申请实施例第二方面实施例任快速傅里叶变换模块用于对特征向量进行特征提取；将输出向量输入初始网络模型的生图像来训练初始网络模型，以使得所训练得到的生成式对抗网络模型能够应用于有条件7[0059]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目[0062]附图中所示的流程图仅是8配式和段落理解式三种类型。简单匹配式辅导答疑系统主要通过简单的关键字匹配技术来实现对学生提出问题与答案库中相关应答条目的匹配，从而做到自动回答问题或进行即使学生所提问题中按原来的关键字在答案库中找不到直接匹配的答案，但是假若与该关键字同义或反义的词能够匹配则仍可在答案库中找到相关的应答条目。段落理解式辅(Generator)和判别器(Discriminator)的互相博弈学习产生相当好的输出，即生成器和判别器在同一时间训练并且在极小化极大算法中进行竞争。这种对抗方式避免了一些传统生成模型在实际应用中的一些困难，巧妙地通过对抗学习来近似一些不可解的损失函语言处理领域，还在计算机视觉领域做出了一些开创性的工作。与卷积神经网络9处理语义图像来训练初始网络模型，以使得所训练得到的生成式对抗网络模型能够应用智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环智能平台等基础云计算服务的云服务器；软件可以是实现模型系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质[0083]步骤S200，对语义图像块进行数据预处理，得到每一语义图像块对应的特征向[0085]步骤S400，将输出向量输入初始网络模型的生成器中的多层感知器进行数据映[0087]步骤S600，将预设的比较图像和目标图像输入初始网络模型的判别器中进行判的多个输出向量映射到输出的目标图像块上，通过多层感知器可以识别不可线性分离的设置的判别器的目的是，为了判别生成器所生成的目标图像与比较图像即设置的真实图而判别器的输出为一个值即图像判别值，图像判别值代表着目标图像与比较图像之间的别特征和BERT模型的类别特征类似，其作用是为了给生成的目标图像的真实程度进行打计，假设输入为一些随机向量(如高斯噪声)，本质上可以看成自然语言处理中的序列信[0101]由于经过分割处理得到的语义图像块还未能被初始网络模型识别，故需要对语义图像块进行数据预处理。具体地，对分割处理后的每一语义图像块均进行位置编码处设置的线性层为每个神经元均与上一层所有神经元相连，以实现对前一层的线性组合、且第一编码处理模块和第二编码处理模块中均设有快速傅里叶变换模块；步骤S300即将模块中的快速傅里叶变换模块对特征向量进行特征提取，第二编码处理模块中的快速傅里叶变换模块对第一向量进行特征提取，从而便于通过快速傅里叶变换模块来关注更多[0107]步骤S311，将特征向量输入第一编码处理模块的多头自注意力模块中进行特征[0108]步骤S312，将特征向量输入第一编码处理模块的快速傅里叶变换模块中进行特块中设有多头自注意力模块和快速傅里叶变换模块，通过将特征向量输入多头自注意力[0113]步骤S322，将第一向量输入第二编码处理模块的快速傅里叶变换模块中进行特[0115]具体地，本申请实施例的第二编码处理模块中设有全连接层和第二编码处理模S322即将第一向量输入第二编码处理模块的快速傅里叶变换模块中进行特征提取，得到[0120]本申请实施例在第二编码处理模块中设置快速傅里叶变换模块，是为了能够关[0121]在一些实施例的步骤S325中，将第一向量特征数据依次经过第一卷积单元的卷[0122]可以理解的是，第一编码处理模块的快速傅里叶变换模块与第二编码处理模块元；步骤S312即将特征向量输入第一编码处理模块的快速傅里叶变换模块中进行特征提[0124]本申请实施例在第一编码处理模块中设置快速傅里叶变换模块，是为了能够关信息，进而帮助模型来提取包含更加丰富的图像表征，以此提高生成的目标图像的清晰换单元)，从上往下的第一个1×1卷积对应本申请实施例的第一卷积单元(第三卷积单络模型进行训练处理，得到生成式对抗网络模型，具体包括但不限于步骤S710至步骤通过预设损失函数来对初始网络模型的生成器与判别器对应的参数进行更新，待预设损代表与训练的VGG_19(参数数量)的第i个[0136]本申请实施例通过利用比较图像(即真实图像)来计算Loss(损失值)，通过L1损失函数、交叉熵损失函数和感知损失函数等预设损失函数来约束其生成与比较图像尽可[0137]本申请实施例采用的L1损失函数和交叉熵损失函数是为了使生成的目标图像尽[0140]之后将所有的语义图像块进行数据预处理，得到每一语义图像块对应的特征向[0141]一些实施例中，本申请实施例可将类似于SwinTransformer的架构作为初始网图像块对应的特征向量；将特征向量输入初始网络模型的生成器中的编码器进行数据处特征向量进行特征提取；将输出向量输入初始网络模型的生成器中的多层感知器进行数以使得所训练得到的生成式对抗网络模型能够应用于有条件的生成任务中，有效提高模[0143]本申请实施例提供一种基于Transformer的有差傅里叶自注意力块，通过向传统的自注意力块中加入快速傅里叶变换模块以获得更多[0146]参照图11，本申请实施例还提出了一种图像处理方法，包括但不限于包括步骤该原始语义分割图像对应的目标语义图像。本申请实施例的生成式对抗网络模型为基于码器部分来设计生成式对抗网络模型，还对Transformer架构的自注意力模块进行了设[0150]本申请实施例是为了生成符合要求的目标语义图像。与相关技术中的ViTGAN模[0151]需要说明的是，通过如本申请实施例第一方面实施例任一项的训练方法训练得模块500用于在初始网络模型的生成器中对目标图像块进行图像重整处理，得到目标图像；判别处理模块600用于将预设的比较图像和目标图像输入初始网络模型的判别器中[0154]本申请实施例的模型的训练装置用于执行上述实施例中的模型的训练方法，其[0155]本申请实施例还提供一种图像处理装置，参照图13，可以实现上述图像处理方800用于获取原始语义分割图像；图像处理模块900用于将原始语义分割图像输入生成式[0156]本申请实施例的图像处理装置用于执行上述实施例中的图像处理方法，其具体时实现如本申请实施例第一方面实施例的训练方法或如本申请实施例第二方面实施例中或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行本申请实施例的模型的训练方法或者执行本申请[0169]存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及快速傅里叶变换模块用于对特征向量进行特征提取；将输出向量输入初始网络模型的生图像来训练初始网络模型，以使得所训练得到的生成式对抗网络模型能够应用