基于生成式模型的图像修复研究综述

基于生成式模型的图像修复研究综述一、图像修复的核心问题与技术演进脉络图像修复的本质是对图像中缺失、损坏或冗余的区域进行合理内容填充，使其在视觉上与原始图像的语义、纹理、光照保持一致性。传统图像修复技术可追溯至2000年左右，主要分为基于扩散的方法和基于样本块匹配的方法：前者通过将周围像素的纹理与颜色信息向缺失区域扩散，仅适用于小面积划痕、噪点等简单修复场景，一旦缺失区域超过图像总面积的10%便会出现明显的模糊与伪影；后者通过在图像非缺失区域搜索与待修复块最相似的样本块进行复制拼接，在纹理一致性上优于扩散方法，但无法生成图像中不存在的全新语义内容，例如修复被遮挡的人脸时，若样本库中没有对应角度的五官特征，便会出现拼接错位、五官扭曲等问题。生成式模型的出现彻底打破了传统修复技术的语义生成瓶颈。2014年生成对抗网络（GAN）的提出为图像修复提供了全新的技术路径，其通过生成器与判别器的博弈训练，能够学习到真实图像的高维分布，从而生成符合逻辑的全新像素内容。2016年，ContextEncoder首次将GAN应用于图像修复任务，通过编码器提取缺失区域周围的上下文特征，解码器生成对应区域的填充内容，首次实现了大面积语义区域的合理修复，例如能够在缺失半张人脸的图像中生成符合人物特征的另一半五官，尽管当时生成结果仍存在细节模糊、边缘过渡不自然等问题，但首次证明了生成式模型在语义修复领域的可行性。2018年之后，生成式图像修复技术进入快速迭代期。一方面，注意力机制被广泛引入修复网络，例如PartialConvolution（部分卷积）通过掩码对卷积操作进行约束，仅利用有效像素计算待修复区域的特征，避免了缺失区域无效像素对特征提取的干扰；另一方面，渐进式修复思路逐渐成为主流，通过多阶段网络先生成待修复区域的低分辨率语义布局，再逐步优化纹理细节，大幅提升了高分辨率图像的修复质量。2022年扩散模型的爆发进一步推动修复技术实现质的飞跃，相比GAN存在的模式崩溃、训练不稳定等问题，扩散模型通过逐步降噪的生成过程，能够生成更具真实感、细节更丰富的修复结果，尤其在复杂场景的修复中表现出显著优势，目前已成为图像修复领域的主流技术框架。二、主流生成式图像修复模型的技术原理与特性2.1基于GAN的图像修复技术GAN类修复模型的核心架构由生成器、判别器和损失函数三部分构成。生成器通常采用编码器-解码器结构，输入包含掩码的受损图像，输出修复后的完整图像；判别器用于区分生成的修复区域与真实图像区域，通过对抗训练迫使生成器输出更接近真实分布的像素内容。为解决修复区域与周围区域的过渡问题，研究者通常会在对抗损失之外加入感知损失、风格损失和L1/L2重构损失：感知损失通过比较修复图像与真实图像在预训练分类网络不同层级的特征差异，保证修复内容的语义一致性；风格损失则约束特征的Gram矩阵差异，确保纹理风格与全局图像匹配；重构损失直接约束生成像素与真实像素的数值差异，提升基础像素精度。早期GAN修复模型存在的核心问题是掩码适应性差，仅能处理固定形状的缺失区域，例如正方形或矩形遮挡。2018年提出的PartialConvolution通过对卷积核进行掩码加权，仅使用掩码标记的有效像素参与卷积计算，同时在每层卷积后更新掩码，逐步将修复后的像素纳入后续计算，首次实现了任意形状掩码的图像修复。同年提出的GatedConvolution（门控卷积）进一步优化了这一思路，通过为每个空间位置的特征学习一个动态门控值，自动控制不同位置像素对修复结果的贡献度，相比部分卷积手动设计的掩码更新规则，门控卷积能够自适应学习不同场景下的特征融合策略，在不规则掩码、大面积缺失的场景下修复效果提升明显。为提升高分辨率图像的修复质量，2019年提出的DeepFillv2采用了两阶段架构：第一阶段为粗糙修复网络，输入低分辨率受损图像生成初步的修复结果，确保语义内容的合理性；第二阶段为精细修复网络，以粗糙结果和原始高分辨率受损图像为输入，通过上下文注意力模块在全局特征中搜索相似纹理，对修复区域的细节进行优化，最终能够输出1024×1024分辨率的高质量修复结果，且修复区域的边缘过渡自然，纹理细节与周围区域高度一致。此外，模型还引入了SN-PatchGAN判别器，通过对图像分块进行判别，提升了对局部纹理细节的判别能力，进一步减少了伪影和模糊问题。2.2基于扩散模型的图像修复技术扩散模型的核心原理是通过正向扩散过程逐步向真实图像添加高斯噪声，直至图像变为完全随机的噪声，再通过反向降噪过程学习从噪声中恢复真实图像的分布。在图像修复任务中，扩散模型的优势在于能够在生成过程中充分利用已知区域的信息约束生成结果，相比GAN更容易保证修复区域与全局的语义、光照一致性。目前主流的扩散修复模型主要分为两类：一类是基于微调的专用修复模型，另一类是基于预训练通用扩散模型的零样本修复方法。专用修复扩散模型的典型代表是2022年提出的RePaint，其核心创新是在反向降噪的每一步中，将已知区域的真实像素替换为生成的对应区域像素，仅对缺失区域的像素进行降噪更新，这种“重绘”机制能够保证已知区域的信息完全保留，同时引导缺失区域的生成过程与已知区域保持一致。实验结果表明，RePaint在512×512分辨率的图像修复任务中，相比当时最优的GAN模型在FID（FrechetInceptionDistance）指标上降低了40%以上，尤其在人脸、自然景观等复杂场景中，生成的细节更加真实，不存在GAN常见的模式崩溃问题，例如修复人脸时能够生成自然的皮肤纹理、毛发细节，且五官比例、表情与原始人脸高度匹配。零样本扩散修复方法则不需要针对修复任务进行微调，直接利用预训练的文本到图像扩散模型（如StableDiffusion）实现修复，典型方法是2022年提出的InpaintAnything。用户只需要提供受损图像和掩码，模型首先通过SAM（SegmentAnythingModel）获取待修复区域的语义类别，再生成对应的文本提示词引导扩散模型生成修复内容，甚至支持用户自定义文本提示，实现可控的图像修复。例如对于被遮挡的汽车图像，用户可以指定修复为“红色跑车”“复古越野车”等不同内容，大幅拓展了图像修复的应用场景。这类方法的优势是能够利用大规模预训练模型的海量知识，修复内容的语义多样性远超过传统专用修复模型，缺点是修复区域与原始图像的风格、光照一致性需要通过额外的后处理或控制模块进行约束。2.3基于Transformer的图像修复技术Transformer凭借其强大的长距离依赖建模能力，也在图像修复领域得到了广泛应用。2021年提出的TamingTransformers首次将Transformer与VQ-GAN结合，通过将图像编码为离散的视觉token序列，再利用Transformer建模token之间的依赖关系，在图像生成任务中取得了超越GAN的效果。基于这一思路，2022年提出的MAT（MaskedAutoencodersAreScalableVisionLearners）将掩码图像建模思路应用于图像修复，通过随机掩码图像中的部分token，再利用Transformer预测被掩码的token内容，能够实现任意比例掩码的图像修复，且在大面积缺失场景下的语义合理性优于传统CNN-based的GAN模型。Transformer修复模型的核心优势是能够建模全局的语义依赖关系，例如修复包含复杂场景的图像时，能够根据图像左上角的天空区域特征，合理推断右下角被遮挡的区域也应为天空，而不会生成不符合逻辑的地面或建筑内容。其缺点是计算复杂度较高，处理高分辨率图像时需要的计算资源远超过CNN和扩散模型，因此目前Transformer结构通常与其他模型结合使用，例如在扩散模型的UNet中引入Transformer注意力模块，提升模型的全局语义建模能力，同时控制整体计算量。三、生成式图像修复的关键技术挑战尽管生成式模型已经大幅提升了图像修复的效果，但目前技术仍存在多个尚未解决的核心挑战。首先是细粒度一致性保证问题：现有模型在修复大面积缺失区域时，往往能够保证整体语义的合理性，但在细粒度的光照、纹理、几何一致性上仍存在不足。例如修复包含强光源的场景时，修复区域的阴影方向、光照强度可能与周围区域存在细微差异，人眼很容易感知到不自然；修复带有重复纹理的场景（如砖墙、地板）时，修复区域的纹理周期、接缝处往往会出现错位，影响整体视觉效果。造成这一问题的核心原因是现有损失函数对细粒度特征的约束不足，感知损失主要关注高层语义特征，对底层的纹理、光照特征的差异敏感度较低。其次是可控性与多样性的平衡问题：图像修复任务本身存在一对多的特性，即同一个受损图像可能存在多个合理的修复结果。现有模型要么偏向确定性修复，仅能生成单一的修复结果，无法满足用户的个性化需求；要么偏向多样性生成，修复结果与原始图像的一致性难以保证。如何让用户能够灵活控制修复内容的语义、风格、细节，同时保证修复区域与全局的一致性，是目前亟待解决的问题。例如在修复老照片时，用户可能希望将被遮挡的衣服修复为特定颜色和款式，现有模型往往无法实现如此精细的可控性。第三个挑战是跨域修复的泛化性问题：现有修复模型大多在自然图像数据集上训练，在医学影像、遥感图像、工业缺陷检测等专业领域的表现往往不佳。一方面是因为专业领域的图像数据量较少，难以支撑大规模生成式模型的训练；另一方面是专业图像的特征分布与自然图像存在较大差异，例如医学CT图像的灰度分布、纹理特征与自然图像完全不同，预训练的自然图像修复模型无法直接迁移。如何在小样本条件下训练出泛化性强的跨域修复模型，是拓展生成式图像修复应用场景的关键。最后是评估体系的不完善问题：目前图像修复的主流评估指标分为客观指标和主观指标两类，客观指标包括FID、LPIPS（LearnedPerceptualImagePatchSimilarity）、PSNR（PeakSignal-to-NoiseRatio）、SSIM（StructuralSimilarity）等，但这些指标与人类主观视觉感受的相关性仍存在不足，例如部分模型在PSNR指标上表现优异，但人眼能够明显看出修复区域的不自然；主观评估需要大量人工参与，成本高且效率低，无法支撑模型快速迭代。如何设计更符合人类视觉感知的自动评估指标，是领域内的重要研究方向。四、典型应用场景与产业落地进展生成式图像修复技术已经在多个领域实现了商业化落地。在数字文娱领域，修复技术广泛应用于老照片、老电影的修复翻新，例如抖音、快手等平台推出的老照片修复功能，能够自动修复老照片中的划痕、褪色、模糊问题，甚至能够将黑白照片自动上色，生成高清彩色版本。2023年国内某影视公司利用扩散修复技术对4K分辨率的老电影进行修复，相比传统人工修复效率提升了10倍以上，修复后的电影画面清晰度、色彩还原度均达到了院线放映标准。此外，修复技术还广泛应用于影视制作中的特效处理，例如去除拍摄过程中的威亚、穿帮道具，或者对损坏的拍摄素材进行修复，大幅降低了影视后期的制作成本。在文物保护领域，生成式修复技术为破损文物的数字化修复提供了全新手段。例如敦煌研究院与国内高校合作，利用生成式模型修复壁画中的脱落、烟熏、病害区域，模型通过学习同时期、同风格的壁画特征，能够生成符合历史特征的修复内容，为文物修复专家提供参考，避免了人工修复可能造成的二次损伤。此外，对于残缺的青铜器、陶瓷器等文物，修复技术能够根据现有残片的特征，生成残缺部分的三维模型，辅助文物的物理修复工作。在工业检测领域，图像修复技术用于工业产品的缺陷检测。对于PCB板、汽车零部件等工业产品，首先利用修复模型对产品图像中的缺陷区域进行“理想修复”，再将修复后的图像与原始图像进行对比，即可自动定位缺陷的位置和大小，检测精度远超过传统的阈值分割方法。2024年国内某汽车零部件厂商引入基于扩散模型的缺陷检测系统，缺陷检出率达到99.8%，相比传统检测系统误检率降低了70%，每年可为企业节省数千万元的检测成本。在医疗影像领域，生成式修复技术用于去除医疗影像中的伪影和遮挡。例如CT、MRI影像中常常存在因患者移动、金属植入物产生的伪影，会影响医生的诊断准确性，利用修复模型能够自动去除这些伪影，生成清晰的影像。此外，对于因扫描参数限制导致的低分辨率影像，修复技术能够在不增加扫描时间的前提下，提升影像的分辨率，帮助医生发现更早期的微小病变。2023年发表在《自然·医学》的一项研究表明，经过扩散模型修复后的低分辨率肺部CT影像，肺癌结节的检出率提升了15%以上，相当于提升了低剂量CT的诊断价值。五、未来研究方向与发展趋势未来生成式图像修复技术的发展将围绕三个核心方向展开：第一是多模态引导的可控修复，结合文本、草图、语义分割图等多模态信息，实现对修复内容的细粒度控制。用户可以通过文本描述指定修复区域的内容、风格，甚至可以通过草图勾勒修复内容的大致布局，模型根据多模态引导信息生成符合用户需求的修复结果，同时保证与原始图像的一致性。例如在修复受损的风景照时，用户可以输入“在缺失区域添加一片盛开的油菜花，天空为蓝色带有少量白云”，模型能够精准生成对应的内容，且光照、透视与原始图像完全匹配。第二是端侧轻量级修复模型的研发，目前高性能的修复模型大多需要数十GB的显存，仅能在云端部署，限制了其在手机、消费级相机等端侧设备的应用。未来通过模型量化、蒸馏、结构轻量化设计等手段，将修复模型的参数量压缩到100MB以内，使其能够在普通手机GPU上实时运行，将推动修复技术成为消费级电子设备的标配功能，例如手机相机可以自动修复拍摄时误入画面