CN116071256B 生成扩散先验的统一图像修复与增强的方法 （上海人工智能创新中心）

ImageSynthesiswithSemanticDif生成扩散先验的统一图像修复与增强的方法本发明涉及一种生成扩散先验的统一图像述方法采用以受损图片作为引导图像的扩散模2生成服从N(0,I)分布的扩散先验图像xr；设置引导图像，并基于引导图像D(x)和受损图像y，计算去噪梯度损失v,D为退化模;因子s进行下采样操作IS；y=x⊙mo是Hadamard的乘积；所述图像着色的退化模型是将彩色图像xeRXXW保留为灰度图像yeRlxIV的灰y=fx+M3将受损的原始图像大小进行缩放，得到缩放的图像，从而得到通过插值将所述退化模型参数放大成所述原基于退化模型参数，采用基于图像块的生成方法生成固定大小对每个修复与增强的图像块，通过将各个图像块组合得到原始图像的修复与增强图9.一种计算机可读存储介质，其特征在于：4领域有着超越GAN的性能，本发明的目的在于提出了生成式扩散模型先验来解决统一的图像修复和增强问题，并对以及现有的DDPM的图像修复任务局限于线性退化的图片修复任[0006]通过对共含T步的扩散模型添加噪声和去除噪声的过程，对于扩散模型进行预训5比例因子s进行下采样操作IS；[0018]y=x⊙m[0020]所述图像着色的退化模型是将彩色图像xeRXW保留为灰度图像yeRlxIV[0022]y=fx+MM被随机初始化并同步优化，x为要退化处理的图像，y为退化处理得到:67[0054]图4、在一个具体实施方式中基于图像块的策略和分层引导的策略进行图像修复[0058]扩散过程是一个马尔可夫链，它逐渐破坏数据xo，直到它在T斯噪声platent。从pdata中采样损坏数据x1,",xr，其扩散过程定义为高斯分布:[0060]其中：表示扩散步骤，和为权都可以通过以下等式直接从xo中采样：T非常大的时候趋近于0,a(XIX0)趋近于高斯分布。[0068]反向去噪分布po(xr-1Ilxe)为：8控生成过程中，方差不参与每一步采样均值的偏移计算会获得更好的生成结果；扩散模型导的生成方法，在低分辨率的情况下估计得到退化模型，该退化模型通过插值还原其分辨为:9可以近似于无条件分布p,(-IX)。另一种叫GDP-XO。[0094]通过对共含T步的扩散模型添加噪声和去除噪声的过程，对于扩散模型进行预训观的感觉是，用常用的条件扩散模型和GDP-xr生成的图像在背景中仍然是模糊的。为[0107]通过对共含T步的扩散模型添加噪声和去除噪声的过程，对于扩散模型进行预训y计算去噪梯度；比例因子s进行下采样操作IS。率(HR)图像与高斯核函数或点扩散函数k进行卷积得到模糊图像，然后使用s进行制掩码相乘m其中0是Hadamard的乘积。[0130]图像着色的目的是将灰度图像yeRlxIV还原为具有xeRXXW的彩色图像。[0134]y=fx+Mf生成多张图片被多个盲图像恢复模型引导生成单张图像，比如使用3张LDR图像恢复一张[0150]在本实施方式的GDP中，损失函数可以分为重构损失和质量增强损失两个主要部Ltv，[0155]曝光控制损失Lexp用于独量局部与良好曝光水平区域的距离，u为非重叠局部区[0156]色彩一致性损失LO纠正增强图像并建立三者之间的关系调整后