CN119417729A 图像处理方法、电子设备及存储介质 （荣耀终端股份有限公司）

街道东海社区红荔西路8089号深业中2检测到所述原始图像的清晰度小于预设清晰度阈值，裁剪所述原在所述第一离散向量集合中查找与所述第一在所述第二离散向量集合中查找与所述第二3在所述第三离散向量集合中查找与所述第三利用第四训练集对训练中的人脸增强模型进行训练，得到所述已训练的人脸增强模在训练人脸增强模型的过程中，根据预设损失函数计算目标根据所述目标损失值，对训练中的人脸增强模型以反向传播方式继续进行述指令在电子设备上运行时，使得所述电子设备执行如权利要求1至12中任一项所述的方45像的处理结果作为人脸先验信息，人脸增强模型能够有效利用人脸先验信息准确恢复人[0012]这种实现方式中，通过已训练的逆渲染模型对人脸图像中的人脸和环境进行拆6的先验信息，有助于后续人脸增强模型有效利用这些先验信息对人脸图像进行增强处理，第二网络能够从输入的人脸图像和人脸法向图像中提取出准确地的纹理信息和皮肤信息，为后续对人脸图像进行增强处理奠定了基础，即有助于后续对人脸图像进行增强处理时，7[0027]这种实现方式中，人脸增强模型能够从先验信息中获取到准确地的3D结构信息、模型基于补光后的环境图像对人脸图像进行精细调整。这样的处理不仅增强了人脸细节，8用于表示真实图像与人脸增强模型中的生成器生成的令以使得所述图像处理装置执行第一方面提供的技术方案中任意9而不能理解为指示或暗示相对重要性或者隐含[0050]为了便于理解本申请实施例中的技术方案，在介绍本申请实例中的技术方案之RGB颜色空间也可以称为RGB域，指的是一种与人的视觉系统结构相关的颜色模神经网络可以采用误差反向传播算法在训练过程中修正初始的神经网络模型中输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中的参数，提供的图像处理方法进行处理，可以先利用逆渲染模型对拍摄的视频中的图像进行拆分，频监控中的图像和/或视频进行增强处理的场景、对各类应用程序中预览图像进行增强处[0092]请参阅图3，图3是本申请一示例性实施例示出的一种图像处理方法流程示意[0103]在另一种可能的实现方式中，原始图像也可以是预先存储在电子设备中的图[0111]反照率特征指的是物体表面全部被照明的部分向各个方向散射的光流与入射该[0126]在再一个示例中，可以确定原始图像对应的归一化均方根相似度（Normalized[0134]请参阅图6，图6是本申请一示例性实施例示出的另一种图像处理方法流程示意在逆渲染模块中的应用可以改善人脸图像的重建和增强效果，确保生成的图像更加自然，[0144]请参阅图7，图7是本申请一示例性实施例示出的已训练的逆渲染模型结构示意[0162]第一向量码本模块还可以包括第一匹配模块（MatchingBlock通过MatchingBlock将第一潜在向量与第一离散向量集合中的各个向量比较，在第一离散向量集合中确算人脸表面各点的法线向量；将计算出的法线向量转换为RGB通道值，以便在图像中可视[0165]S2022、利用第二网络对人脸图像和人脸法向图像进行处理，得到人脸反照率图图像中的潜在向量。通过第二向量码本模块可以将第二编码器提取的连续的第二潜在向[0173]第二向量码本模块还可以包括第二匹配模块（MatchingBlock通过第二第二网络能够从输入的人脸图像和人脸法向图像中提取出准确地的纹理信息和皮肤信息，为后续对人脸图像进行增强处理奠定了基础，即有助于后续对人脸图像进行增强处理时，解码器输出的多通道特征图转换为最终的人脸[0182]人脸增强模型可以为VQVAE或U_Net，本申请实施例中以人脸增强模型为VQVAE为[0184]请参阅图12，图12是本申请一示例性实施例示出的人脸增强模型处理流程示意第三向量码本模块可以将第三编码器提取的连续的第三潜在向量，量化为离散的潜在向[0193]请参阅图13，图13是本申请一示例性实施例示出的人脸增强模型的结构示意[0194]第三向量码本模块还可以包括第三匹配模块（MatchingBlock通过第三[0195]这种实现方式中，人脸增强模型能够从先验信息中获取到准确地的3D结构信息、模型基于补光后的环境图像对人脸图像进行精细调整。这样的处理不仅增强了人脸细节，对本申请实施例提供的逆渲染模型的训练过程进行[0211]请参阅图14，图14是本申请一示例性实施例示出的训练逆渲染模型的流程示意[0215]值得说明的是，高清样本图像的数量会影响逆渲染模型向量码本模块学习到高清样本图像对应的先验信息，如高清人脸法向图像对应的潜在向[0229]由于训练中的逆渲染模型的向量码本模块中，保存的是高清样本图像的先验信附图对本申请实施例提供的人脸增强模型的的人脸增强模型的具体处理过程，可以参考前文已训练的人脸增强模型的具体处理过程，[0249]当训练中的人脸增强模型对应的目标损失值收敛时，得到已训练的人脸增强模用于表示真实图像与人脸增强模型中的生成器生成的I,表示经过人G.表示人脸增强网络的编码器，F表示人脸增强IIm设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线[0269]处理器110可以运行本申请实施例提供的图像处理方法的软件代码，通过逆渲染[0271]在本申请实施例中，电子设备100显示各个不同显示界面的能力，均依赖于上述[0273]本申请实施例中的显示屏194为触摸屏。该显示屏194中可以集成有触摸传感器[0274]充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池[0275]移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信子设备100启动1个后置摄像头进行拍摄时，可以使用本申请实施例提供的图像处理方法。该外置配件与电子设备100的显示屏194之间所形成的角度为0_360度之间的任意角度。比[0278]内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括[0279]当然，本申请实施例提供的图像处理方法的软件代码也可以存储在外部存储器本申请实施例中提供的图像处理方法，可以在具有上述硬件结构的电子设备100[0284]上面对本申请实施例涉及的电子设备100的结构进行了简单介绍，下面对本申请[0288]应用程序框架层220为应用程序层210的应用程序提供应用程序访问接口和编程[0291]应用程序框架层220中的相机设备用于提供不用相机设备以及相机管理之间的数[0300]应理解，图像处理装置300可以执行本申请提供的图像处理方法；图像处理装置现场可编程门阵列（fieldprogrammablegatearray，FPGA）、可编程逻辑器件不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片