CN114298942B 图像去模糊方法及装置、计算机可读介质和电子设备 （Oppo广东移动通信有限公司）

头关联的图像去模糊模型中，生成清晰原始图2将所述模糊原始图像输入到与所述目标真实镜头关联的图像去模糊获取第一清晰图像，并通过所述第一清晰图像以及预先设计的仿确定所述第一清晰图像对应的第一清晰原始图像，以及确根据所述第一清晰原始图像和所述第一模糊原始图像对预构建的仿真基本模型进行获取第二清晰图像，并通过所述第二清晰图像以及基于所述仿确定所述第二清晰图像对应的第二清晰原始图像，以及确根据所述第二清晰原始图像和所述第二模糊原始图像对所述仿真图像去模糊模型继扩散函数；所述通过所述第一清晰图像以及预先设计的仿真镜头数据确定第一模糊图像，基于所述点扩散函数对第一清晰图像进行卷积处理，得到基于所述真实镜头对所述第二清晰图像进行拍摄处理，得到所7.根据权利要求1或2所述的方法，其特3获取第一清晰图像，并通过所述第一清晰图像以及预先设计的仿确定所述第一清晰图像对应的第一清晰原始图像，以及确根据所述第一清晰原始图像和所述第一模糊原始图像对预构建的仿真基本模型进行获取第二清晰图像，并通过所述第二清晰图像以及基于所述仿确定所述第二清晰图像对应的第二清晰原始图像，以及确根据所述第二清晰原始图像和所述第二模糊原始图像对所述仿真图像去模糊模型继其中，所述处理器配置为经由执行所述可执行指令来执行权45图像去模糊模型对RAW域的模糊原始图像进行去模糊处理，能够有效提升输出的清晰图像像进行去模糊处理，可以避免相关技术方案中需要等待RAW域的模糊原始图像经过相关处理得到RGB域的图像的过程，有效提升图像的去模糊处理效率，提高清晰图像的输出实时不需要调整目标真实镜头的镜头结构或者不需要在目标真实镜头设置在终端设备时才训[0024]图5示意性示出本公开示例性实施例中一种通过图像模板进行图像转换的原理示构或特性可以以任何合适的方式结合在一个或更多实[0031]图1示出了可以应用本公开实施例的一种图像去模糊方法及装置的示例性应用环6服务器105可以是多个服务器组成的服务用于采集图像信息的图像传感器采集模糊原始图像，然后将模糊原始图像上传至服务器然后通过人工智能技术将其恢复成一张高图像质量的清晰图像。生成式对抗网络(GenerativeAdversarialNetworks，GAN)是近年来常用作图像恢复的深度学习模型之[0037]另一方面，在图像去模糊方面，相关技术中一般是在RGB域的图像进行去模糊处理，其中RGB域的图像可以是对RAW域的图像进行图像信号处理(ImageSignal[0038]而RAW域的图像数据是镜头模块获得的最原始的数据，还没有受到图像信号处理示例性实施方式的图像去模糊方法和图像去模[0040]图2示出了本示例性实施方式中一种图像去模糊方法的流程，包括以下步骤S2107图像。RAW图像就是CMOS图像传感器或者CCD图像传感器将捕捉到的光源信号转化为数字信[0046]在一示例性实施例中，图像去模糊模型是指用于对RAW域的图像数据进行去模糊[0047]清晰原始图像是指对RAW域的模糊原始图像进行去模糊处理后得到的RAW域图像括自动曝光控制(AutomaticExposureControl，AEC)、自动增益控制(AutomaticGain8头数据可以是基于设计的镜头模块结构构建的点扩散函数(PointSpreadFunction，[0062]第一模糊图像是指对第一清晰图像经过仿真镜头数据转换得到的、模糊的样本9板502铺满整个RGB域的第一清晰图像或者第一模糊图像501，取出每个像素对应的图像模[0070]通过指定的图像模板对图像进行抽点的方式，实现将RGB域图像转换为RAW域图[0072]仿真图像去模糊模型是指将第一清晰原始图像和第一模糊原始图像作为样本数设条件(如预设条件可以是仿真基本模型输出的清晰原始图像和第一清晰原始图像之间的据真实镜头的实际拍摄情况进一步优化仿真图[0078]第二模糊图像是指通过真实镜头对第二清晰图像拍摄得到的、模糊的样本RGB域条件(如预设条件可以是仿真基本模型输出的清晰原始图像和第二清晰原始图像之间的相仿真基本模型、仿真图像去模糊模型或者图像去模糊模型可以是由基于Unet网络结构的WGAN-GP模型600构建的，基于Unet网络结构的WGAN-GP模型600至少可以包括生成器VGG模型是一个从图像中提取特征的模型)和WGANLoss，而判别器602的损失函数可以是[0083]在计算感知误差前，可以将单通道的RAW域图像数据复制三遍并组合成三通道的各个损失函数的子组成部分(比如生成器601中提取图像特征的VGG可以包括特征图的ContentLoss和特征图在通道维度上求Gram矩阵的StyleLoss)的比例，以及通过调整超真图像去模糊模型中继续进行网络训练之前，对仿真图像去模糊模型进行优化剪枝处理，[0088]具体的优化剪枝的方法可以包括通用优化剪枝方法和高换为更小的float16甚至是整型int8的类型，分别将模型所占空间压缩到原来的50％和据增强处理后的第一清晰RAW图像以及第一模糊RAW图像输入到预构建的仿真基本模型中多个仿真镜头模块对应的仿真镜头数据；然后可以根据不同的仿真镜头数据按照图3中的后将模糊原始图像输入到与目标真实镜头关联的图像去模糊模型中，输出清晰原始图像，目标真实镜头采集的RAW域的模糊原始图像，并通过仿真训练过程预训练的图像去模糊模[0103]图像去模糊模块820用于将所述模糊原始图像输入到与所述目标真实镜头关联的[0104]图像输出模块830用于对所述清晰原始图像进行图像信号处理，输出去模糊后的实镜头可以是基于所述仿真训练过程中的目标仿真镜头数据构造的；图像去模糊模块820[0116]在一示例性实施例中，图像去模糊装置800还可以包括仿真图像去模糊模型剪枝[0120]通过所述图像模板对所述第一清晰图像进行抽点处理，得到[0122]在一示例性实施例中，图像去模糊模型可以是由基于Unet网络结构的WGAN-GP模[0126]下面以图9中的电子设备900为例，对本公开中的电子设备的构造进行示例性说[0129]存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元[0130]存储单元920还可以包括具有一组(至少一个)程序模块925的[0131]总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储适应性变化遵循本公开的一般性原理并包括本公开未