基于注意力机制的图像修复方法研究综述

基于注意力机制的图像修复方法研究综述一、图像修复任务的核心挑战与注意力机制的适配性图像修复的本质是对图像中缺失、受损或被遮挡区域的像素进行合理预测，使修复结果在视觉一致性、语义合理性和纹理细节真实性三个维度达到最优。传统图像修复方法如基于偏微分方程的方法、基于样本块匹配的方法仅能处理小范围缺失或规则结构破损，面对大面积不规则遮挡、复杂语义场景时往往出现结构扭曲、纹理模糊或语义冲突等问题。深度学习时代的生成式修复方法通过卷积神经网络捕捉图像的全局特征，但卷积操作的局部感受野特性导致模型难以建立远距离像素间的依赖关系，尤其在修复包含强语义关联的场景（如人脸五官对称关系、建筑结构连续性、自然场景物体空间逻辑）时，容易生成不符合常识的内容。注意力机制的核心价值在于打破了卷积操作的空间局部性限制，能够动态计算图像中任意位置像素与当前待修复区域的相关性，为每个像素分配自适应的权重，使模型在生成修复内容时能够精准调用全局范围内的有效特征。自2017年Transformer架构在自然语言处理领域取得突破后，视觉Transformer（ViT）和自注意力模块被逐步引入计算机视觉任务，其全局建模能力恰好匹配图像修复对长距离特征依赖的需求：一方面，注意力机制可以捕捉非局部的结构相似性，例如修复被遮挡的建筑物窗户时，能够自动参考图像其他区域的窗户形状、排列规律生成一致的结构；另一方面，通道注意力和空间注意力的组合可以实现多尺度特征的加权融合，既保证高层语义的合理性，又兼顾低层纹理的细腻度。二、基于注意力机制的图像修复方法分类（一）基于自注意力的全局建模修复方法自注意力模块是最早应用于图像修复的注意力结构，核心是计算特征图中所有位置两两之间的相似度，生成注意力权重矩阵并对特征进行加权求和。早期代表性工作是2018年提出的ContextualAttention模块，该模块将已知区域的特征作为“键”和“值”，待修复区域的特征作为“查询”，通过余弦相似度计算待修复点与所有已知点的相关性，再将相似度高的区域特征进行加权聚合，显著提升了纹理的一致性。但原始自注意力的时间复杂度与特征图尺寸的平方成正比，处理高分辨率图像时计算成本极高，因此后续研究围绕降低自注意力复杂度展开了大量优化：稀疏自注意力：仅计算待修复区域与周围一定范围内的已知区域的注意力，或通过滑动窗口限制注意力的计算范围，将复杂度从O(H²W²)降低到O(HWk²)（k为窗口尺寸），典型代表如SwinTransformer中的窗口自注意力，被广泛应用于高分辨率图像修复模型中。低秩分解自注意力：将注意力权重矩阵分解为两个低秩矩阵的乘积，减少参数数量和计算量，适合轻量级修复场景。轴向自注意力：将二维注意力拆解为水平方向和垂直方向两个一维注意力的组合，分别计算同一行和同一列像素间的相关性，在大幅降低计算量的同时保留了长距离依赖建模能力，在街景、遥感等大尺寸图像修复任务中表现优异。（二）基于交叉注意力的多模态引导修复方法单一图像信息往往不足以支撑复杂场景的高质量修复，例如当图像缺失区域占比超过50%时，仅依靠剩余可见区域的信息无法准确推断缺失内容的语义，因此引入文本、草图、语义分割图等额外模态信息作为引导成为重要研究方向，而交叉注意力机制是实现多模态信息融合的核心组件。文本引导的图像修复中，交叉注意力模块将文本特征作为查询，图像特征作为键和值，实现文本语义到图像内容的映射。例如2022年提出的StableInpainting模型基于扩散架构，通过交叉注意力层将文本提示的语义信息注入到图像修复的扩散过程中，用户可以通过文本描述控制修复区域的内容，例如将被遮挡的草坪修复为“开满郁金香的花坛”，或把破损的旧墙面修复为“带有复古涂鸦的工业风墙面”。语义分割图引导的修复场景中，交叉注意力则将语义类别特征与图像像素特征进行对齐，保证修复区域的语义类别与分割图一致，同时纹理细节与周围区域融合自然，这类方法在自动驾驶场景的激光点云与图像融合修复、医学影像中病灶区域的结构化修复中应用广泛。（三）基于注意力的生成对抗网络修复架构生成对抗网络（GAN）是图像修复的主流架构之一，注意力机制与GAN的结合主要从生成器和判别器两个维度优化修复性能。在生成器侧，注意力模块通常嵌入在编码器-解码器结构的瓶颈层或跳连接路径中：瓶颈层的全局注意力用于建模整幅图像的语义一致性，避免生成内容与整体场景冲突；跳连接中的局部注意力则用于对编码器提取的低层特征进行加权筛选，将有用的纹理细节传递到解码器，减少修复区域的边缘伪影。在判别器侧，注意力引导的判别器能够重点关注修复区域与周围区域的衔接处、语义敏感区域（如人脸的五官、文字区域）的真实性，而不是平等对待所有像素。例如提出的AttentionalDiscriminator，通过空间注意力模块生成权重图，对修复边界、语义关键区域分配更高的判别权重，引导生成器优化这些区域的修复质量，有效减少了传统GAN容易出现的修复区域边缘模糊、纹理不自然问题。同时，注意力机制还被用于构造感知损失函数，通过计算修复图像与真实图像在不同注意力层的特征距离，使损失函数更关注语义层面的一致性，而不仅仅是像素层面的均方误差。三、注意力机制在典型图像修复场景的应用（一）人脸图像修复人脸图像具有高度结构化的特征，五官之间存在固定的空间关系和对称属性，对修复的语义准确性要求极高。注意力机制在人脸修复中的应用主要集中在两个方面：一是局部语义注意力，针对人脸的五官区域构造专用的注意力掩码，在修复眼睛、嘴巴等关键区域时，优先参考对侧对称区域的特征，例如修复被遮挡的左眼时，自动对齐右眼的形状、颜色和纹理特征，保证五官的对称性；二是身份注意力，通过预训练的人脸识别模型提取身份特征，在修复过程中通过注意力机制将身份特征与生成的人脸特征进行对齐，确保修复后的人脸身份与原图像一致，避免出现“换脸”问题。目前基于注意力的人脸修复方法已经能够处理遮挡面积达60%的人脸图像，在光照、角度变化的复杂场景下依然能够保持较高的修复精度，广泛应用于老照片修复、监控图像人脸复原等场景。（二）文物图像修复文物图像通常存在大面积的褪色、剥落、缺损，且修复需要严格遵循文物的历史原貌，不能随意生成不符合史实的内容。注意力机制在文物修复中的优势在于能够精准匹配文物的风格特征和结构规律：对于壁画修复，注意力模块可以学习壁画中反复出现的纹样、色彩搭配规律，在修复剥落区域时自动调用同区域、同时代的相似纹样特征，保证修复风格与原壁画一致；对于古籍文档修复，通道注意力可以区分文字区域和背景区域，重点修复文字的笔画连续性，同时保留纸张的老化纹理，避免修复后文字失真或背景纹理被过度平滑。近年来出现的结合注意力机制的数字文物修复系统，已经在敦煌壁画、青铜器纹饰修复等项目中取得了优于传统人工修复的效率和精度。（三）遥感图像修复遥感图像通常存在云层遮挡、传感器故障导致的条带缺失等问题，且遥感图像覆盖范围广、地物类型复杂，对修复的结构连续性和地物分类准确性要求高。注意力机制在遥感图像修复中主要用于建模大尺度地物的空间关联性：例如修复被云层遮挡的道路时，自注意力模块可以捕捉道路的延伸方向，即使遮挡范围长达数公里，依然能够保证道路的连续性；修复农田区域时，通道注意力可以区分不同农作物的纹理特征，确保修复后的农田边界、作物类型与周围区域一致。针对遥感图像多波段的特性，跨通道注意力模块还可以利用红外、多光谱等其他波段的信息补充可见光波段的缺失内容，进一步提升修复的准确性。四、当前研究瓶颈与未来发展方向尽管基于注意力机制的图像修复方法已经取得了显著进展，但仍然存在三个核心瓶颈有待突破：首先是高分辨率图像修复的计算效率问题，虽然稀疏注意力、窗口注意力等优化方法降低了计算复杂度，但处理4K及以上分辨率的图像时，注意力模块的计算开销依然远高于卷积模块，难以满足实时修复需求；其次是复杂语义场景的推理准确性问题，当前注意力机制仅能捕捉统计层面的特征相关性，缺乏常识推理能力，例如修复被遮挡的“桌子上的猫”时，可能出现猫的身体穿过桌子的语义错误，无法理解物体之间的空间物理关系；最后是模型的泛化能力不足，当前大部分注意力修复模型在特定数据集上训练后，难以适配分布差异较大的域外场景，例如在自然场景数据集上训练的模型，直接用于医学影像修复时性能会大幅下降。未来研究方向主要围绕三个方向展开：一是高效注意力架构的设计，结合动态稀疏计算、硬件友好的注意力算子优化，实现高分辨率图像的实时修复；二是融合知识图谱与常识推理的注意力机制，将外部常识知识引入注意力权重的计算过程，使模型在修复时能够遵循物理规