CN119515711A 图像增强方法、装置、设备、存储介质及程序产品 （腾讯科技（深圳）有限公司）

2获取待增强的脸部图像的隐变量，并对所述隐变量添加噪声，得结合所述脸部特征，对所述加噪隐变量进行去噪处理对所述脸部图像进行脸部关键点提取，得到所述脸部图像的脸部关键对所述脸部关键点信息和所述脸部轮廓线信息进行融合，得到所述调用所述M层第一编码层的第i层第一编码层，对第(i_1)层第一编码层输出的脸部特遍历所述i，得到所述M层第一编码层的每层第一编码层输出的所述脸部的脸部特征，所述去噪处理的过程通过第一图像去噪模型实现，所述第一图像去噪模型调用所述M层第一解码层的第i层第一解码层，对第(i+1)层第一解码层输出的解码隐第1层第一解码层输出的解码隐变量，作为对所述加噪隐变量进行去噪处理得到的所述去3基于所述编码隐变量的第一权重值、和所述第M层第一编码层输出的脸部特征的第二所述对第(i+1)层第一解码层输出的解码隐变量、和第i层第一编码基于所述第(i+1)层第一解码层输出的解码隐变量的第三权重值、和所对所述脸部关键点信息进行多个不同尺度的卷积处理，得到各尺度下的第一卷积特对所述脸部轮廓线信息进行多个不同尺度的卷积处理，得到各尺度下的第二卷积特对所述第一合并特征和所述第二合并特征进行拼接，得到第对所述脸部图像进行脸部关键点提取，得到所述脸部图像的脸部关键所述去噪处理的过程通过第二图像去噪模型实现，所述第二图像去噪模型4获取所述对象图像的对象增强图像，并确定所述对象增强图分别生成各所述图像边对应的、长方形的目标梯度图分别将各所述目标梯度图添加至目标图像，得到图像掩的像素值为0，所述图像掩码中各所述目标梯度图的中线与所述脸部增强图像中相应图像结合所述脸部特征，对所述加噪隐变量进行第1次去噪结合所述脸部特征，对第(t_1)次去噪处理输出的中间去噪隐变量进行第t次去噪处5所述计算机可执行指令或计算机程序被处理器执行时，实现权利要求1至13任一项所述的算机可执行指令或计算机程序被处理器执行时，实现权利要求1至13任一项所述的图像增67[0020]本申请实施例还提供一种计算机程序产品，包括计算机可执行指令或计算机程8它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。[0050]这里，终端400(例如运行有支持图像增强的客户端)响应于针对待增强的脸部图9[0053]在一些实施例中，本申请实施例提供的图像增强方法可以借助于云技术(Cloud[0054]在一些实施例中，本申请实施例提供的图像增强方法可以借助于区块链(Block器，也可包括易失性存储器和非易失性存储器两者。非易失性存储器可以是只读存储器设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线[0063]呈现模块553，用于经由一个或多个与用户接口530相关联的码器(Encoder)实现，该编码的过程是一个下采样的过程。当获取到脸部图像的隐变量之对第(i_1)层第一编码层输出的脸部特征进行编码，得到第i层第一编码层输出的脸部特[0080]需要说明的是，步骤1021中的脸部关键点信息的提取以及脸部轮廓线信息的提时，可以对第(i_1)层第一编码层输出的脸部特征先进行自注意力处理，得到自注意力结一解码层的第1层第一解码层输出的解码隐变量，并将第1层第一解码层输出的解码隐变加了脸部图像的脸部特征(即从脸部关键点信[0092]需要说明的是，脸部元素特征可以是通过第一编码器对码层中的每个第一编码层均加入该脸部元素特了增加了脸部图像的脸部特征(即从脸部型包括第二编码器和第二解码器，第二编码器包括级联的N层第二编码层，N为大于0的整编码层中的每个第二编码层均加入该脸部特征的控加了脸部图像的脸部特征(比如可以包括从脸[0099]在实际应用中，图像增强模型可以是基于图像生成扩散模型的，比如stablediffusion模型、deepfloy_if模型等；该图像去噪模型可以是基于Unet网络的Denoising强图像。该解码的过程可以通过解码器(Decoder)实现，该解码的过程是一个上采样的过像的各像素点的像素值为0，该图像掩码中各目标梯度图的中线与脸部增强图像中相应图形梯度图贴到中间图像的第一区域，如图8中(4)所示。5)对长方形梯度图进行180度的旋实施例1)在图像生成扩散模型的基础上增加包括脸部关键点和脸部轮廓线的脸部结构特扩散过程(ForwardDiffusionProcess)和反向扩散过程(ReverseDiffusionProcess)。神经网络(ConvolutionalNeuralNetwork，CNN)或变分自编码网络(Variational(Decoder)、加噪模块(DiffusionProcess)、以及图像图像去噪模型可以预测每个时间步需要去除的噪声项，并在每个时间步去除相应的噪声，[0116]接下来对本申请实施例提供的图像增强方法进行详细说明。(1)本申请实施例提供的图像增强方法可用于对脸部草图进行内容细化或增强。该脸部草图包含脸部结构特脸型。(3)脸部细化模型是基于图像生成扩散模型的，例如，该图像生成扩散模型可以是图x中提取脸部轮廓线信息。通过脸部信息融合模型对脸部关键点信息和脸部轮廓线信息的第一解码器能够结合脸部融合特征、以及Unet的第一编码器从加噪隐变量xt(通过对脸[0119](1)基于脸部关键点信息和脸部轮廓线信息的结构控制模块。脸部细化的基本要轮廓线可采用Canny等边缘检测算法进将key_value扩展为当前特征本身与脸部元素特征的拼接。脸部草图的加噪隐变量经过[0123]主干网络Unet(即图像去噪模型)主要由卷积网络和自注意力网络堆叠而成。其力允许的情况下，也可在Unet的每个自注意力网络中加入脸部元素特征的自注意力计算，注意网络的线性变换矩阵和也是需要训练确定的参数。脸部细化模型中图像生[0136](3)基于图像梯度的掩码缝合修复模块。脸部草图一般是完整角色的角色草图的[0137]具体地，首先生成图像掩码，然后基于图像掩码，通过stablediffusion的[0141]row_gradient.paste(gradient.resize((face.width,tile_height//2),[0142]row_gradient.paste(gradient.rotate(180).resize((face.width,tile_[0147]下面继续说明本申请实施例提供的图像增强装置555的实施为软件模块的示例性1)层第一解码层输出的解码隐变量的第三权重值、和所述第i层第一编码层输出的脸部特得到第j层第二编码层输出的编码结果；遍历所述j，得到第N层第二编码层输出的编码结像素值为0，所述图像掩码中各所述目标梯度图的中线与所述脸部增强图像中相应图像边到第T次去噪处理输出的中间去噪隐变量，并将所述第T次去噪处理输出的中间去噪隐变计算机可执行指令或计算机程序，当该计算机可执行指令或计算机程序被处理器执行时，存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HyperText