基于深度学习的图像着色研究综述

基于深度学习的图像着色研究综述一、图像着色技术的发展脉络图像着色是指为单通道灰度图像赋予合理的三通道彩色信息的技术，其核心挑战在于灰度信息与彩色信息之间固有的一对多映射关系——同一灰度值可能对应现实中数十种不同的色彩，需要模型结合上下文语义、常识知识甚至主观审美做出合理推断。在深度学习技术普及之前，传统着色方法主要分为两类：一类是基于人工交互的着色方案，需要用户在图像特定区域标注色彩参考点，算法通过颜色扩散、邻域平滑等规则完成剩余区域的填充，这类方法对用户专业能力要求高，处理复杂图像时效率极低，难以适配大规模批量化处理需求；另一类是基于参考图像的迁移着色方案，通过匹配灰度图像与参考彩色图像的纹理、边缘特征，将参考图的色彩映射到目标灰度图上，这类方法高度依赖参考图像的相似度，当参考图与目标图语义差异较大时容易出现颜色溢出、语义错配等问题。2014年生成对抗网络（GAN）的提出为图像着色领域带来了革命性突破，同年斯坦福大学研究团队首次将卷积神经网络（CNN）应用于自动着色任务，通过在大规模ImageNet数据集上训练端到端模型，实现了无需人工干预的全自动着色，模型输出结果的自然度远超传统方法。此后十年间，深度学习技术逐步成为图像着色领域的主流技术路径，相关研究成果从实验室走向工业应用，在老照片修复、动漫制作、医疗影像可视化、卫星遥感图像处理等领域展现出极高的实用价值。二、基于深度学习的图像着色主流技术框架当前深度学习着色模型的技术框架可以按照监督方式、网络结构、色彩空间选择三个维度进行分类：（一）按监督方式划分的三类技术路径全监督着色模型全监督模型是早期深度学习着色的主流方案，核心思路是构建灰度图像到彩色图像的一对一映射，通过大量配对的灰度-彩色图像对训练网络。这类模型通常采用编码器-解码器结构：编码器负责提取灰度图像的语义特征、纹理特征和全局结构信息，解码器负责将高维特征映射回RGB或Lab色彩空间的彩色图像。损失函数一般采用逐像素的均方误差（MSE）或L1损失，部分模型会结合内容损失、风格损失提升输出质量。全监督模型的优势是训练逻辑简单、收敛速度快，在特定领域数据集（如人脸、风景）上能够取得非常稳定的着色效果。但这类模型存在固有的“平均化”缺陷：由于MSE损失会惩罚所有偏离真值的预测，模型倾向于输出多种合理颜色的平均值，导致最终图像色彩饱和度低、整体偏灰暗，例如容易将红色的花朵和黄色的花朵都预测为偏棕色的中间色调。自监督与弱监督着色模型为了缓解全监督模型对配对数据集的依赖，研究人员提出了自监督着色方案：利用现有彩色图像自动构造训练样本，将彩色图像转换为灰度图作为输入，原始彩色图像作为真值进行训练，无需额外的人工标注。这类方法大幅降低了数据获取成本，能够利用互联网上海量的无标注彩色图像进行训练。2016年加州大学伯克利分校提出的ColorfulImageColorization模型是自监督着色的里程碑工作，该模型将着色任务转化为分类问题，把ab色彩通道的取值范围划分为313个量化类别，通过预测每个像素属于不同颜色类别的概率分布，再通过退火重加权的方式生成高饱和度的彩色图像，有效解决了全监督模型颜色灰暗的问题。弱监督着色模型则进一步放宽了数据要求，仅需要图像级别的类别标签甚至少量文本描述即可完成训练。例如部分模型利用图像分类数据集，将类别信息作为辅助特征输入网络，能够让模型学习到“天空是蓝色的”“草地是绿色的”等常识性知识，提升语义一致性。基于生成模型的无监督着色近年来以扩散模型为代表的生成式AI技术为着色领域带来了新的突破。扩散模型通过逐步去除噪声的方式生成图像，能够学习到更丰富的色彩分布，生成的图像色彩多样性和真实感远超传统CNN模型。2022年之后出现的ControlNet、T2I-Adapter等技术，实现了对生成过程的精细控制，能够将灰度图像的边缘、结构信息作为控制条件，引导扩散模型生成符合原始结构的彩色图像。这类模型的优势是能够生成多样的着色结果，用户可以通过文本提示调整色彩风格，例如同一灰度老照片既可以生成写实风格的彩色效果，也可以生成复古胶片风格、水彩画风格的效果，极大提升了着色的灵活度。（二）典型网络结构的技术特点卷积神经网络（CNN）类模型CNN类着色模型以U-Net结构为基础变体，通过编码器下采样提取多尺度特征，解码器上采样恢复图像分辨率，同时引入跳跃连接将编码器的低层级纹理特征与解码器的高层级语义特征融合，避免着色过程中边缘信息丢失。为了扩大感受野捕捉全局上下文信息，部分模型引入了空洞卷积、自注意力模块，例如在处理风景图像时，模型需要感知天空、地面等大范围区域的语义关联，避免出现天空局部偏色、陆地与天空颜色混淆等问题。Transformer类模型视觉Transformer（ViT）的自注意力机制能够更好地建模长距离像素依赖关系，对于语义复杂的图像（如包含多类物体的街景图像、多人交互的场景图像），Transformer模型能够更好地理解不同物体之间的语义关联，保证色彩分配的合理性。例如当图像中同时存在人物和树木时，模型能够准确区分人物皮肤区域和植物区域，不会出现将皮肤着色为绿色的低级错误。目前主流的Transformer着色模型通常采用局部注意力与全局注意力结合的方式，在保证效果的同时降低计算复杂度。混合结构模型为了兼顾CNN的纹理提取优势和Transformer的语义建模优势，不少研究采用混合结构：底层采用CNN提取边缘、纹理等低层级特征，高层采用Transformer捕捉全局语义关联，结合两种结构的优势提升着色精度。这类模型在医疗影像、卫星遥感等专业领域应用广泛，因为这些领域的图像既需要保留精细的纹理细节，又需要保证全局语义的一致性。三、图像着色的关键技术难点与研究热点尽管深度学习着色技术已经取得了长足进步，但目前仍然存在多个尚未完全解决的技术难点，也是当前领域的研究热点：（一）语义一致性与细粒度着色语义一致性是指着色结果需要符合人类常识和物体的固有属性，例如“消防车是红色的”“大熊猫是黑白相间的”“海水是蓝色的”等。早期模型经常出现语义错配问题，例如将白色的雪着色为绿色、将猫的皮毛着色为蓝色。为了解决这一问题，研究人员引入了语义分割引导的着色方案：首先对灰度图像进行语义分割，识别出每个区域对应的物体类别，再根据类别信息引导不同区域的着色，保证颜色与物体属性匹配。细粒度着色则要求模型能够区分同一类物体的不同颜色特征，例如不同品种的花卉有不同的颜色、不同年代的汽车有不同的流行色调、不同民族的传统服饰有特定的色彩搭配。这需要模型学习更细粒度的知识，部分研究通过引入大规模多模态数据集（如LAION-5B），让模型学习文本与图像的关联，用户可以通过“红色的玫瑰花”“蓝色的复古汽车”等文本提示精确控制特定物体的颜色。（二）小样本与低质图像着色现实应用中很多需要着色的图像属于稀缺领域样本，例如历史老照片、特定行业的工业影像，很难收集到大规模的配对训练数据。小样本着色技术旨在利用少量参考样本完成特定领域的模型适配，目前主流的方案包括元学习、少样本微调、参考图像特征迁移等。例如仅需要提供几张同一时期的彩色老照片作为参考，模型就可以学习到该时期照片的色彩风格、胶片特性，为同批次的其他灰度老照片着色。低质图像着色是另一个难点，很多待着色的灰度图像存在噪声、模糊、划痕、分辨率低等问题，传统着色模型处理这类图像时容易放大缺陷，导致颜色溢出、边缘模糊。研究人员将图像修复与着色任务结合，构建端到端的联合模型，在着色的同时完成图像去噪、超分辨率、划痕修复等操作，实现低质灰度图像的一站式修复与着色。（三）可控性与交互性提升全自动着色模型的输出结果存在不确定性，很多时候无法满足用户的个性化需求，因此提升着色的可控性是重要的研究方向。目前的可控着色技术主要分为三类：第一类是基于点交互的控制，用户可以在图像上点击特定区域指定颜色，模型会在不破坏整体色彩协调性的前提下满足用户的局部颜色修改需求；第二类是基于区域的控制，用户可以框选特定物体区域，调整该区域的色调、饱和度、亮度，或者直接指定目标颜色；第三类是基于文本的全局控制，用户可以通过“复古暖色调”“冷色调科幻风格”“高饱和度卡通风格”等文本描述调整整体色彩风格。交互性方面，研究人员正在探索实时着色交互系统，用户修改颜色参数后能够实时预览着色效果，实现“所见即所得”的操作体验，降低专业设计人员的使用门槛。四、图像着色技术的产业应用场景深度学习着色技术已经逐步从学术研究走向产业落地，在多个领域展现出巨大的应用价值：（一）文化遗产保护领域老照片、老纪录片的着色修复是着色技术最广为人知的应用场景。传统的老照片人工着色需要专业人员花费数天甚至数周时间，而深度学习模型可以在几分钟内完成一张高清老照片的自动着色，结合人工微调后能够达到以假乱真的效果。近年来国内多家档案馆、博物馆利用着色技术修复了大量近代历史照片、抗战时期的影像资料，让黑白历史影像重新拥有了色彩，提升了历史资料的传播力和感染力。此外，古代书画、壁画的数字化修复中也会用到着色技术，通过分析同一时期其他文物的色彩特征，复原褪色文物的原始色彩。（二）泛娱乐内容生产领域在动漫、游戏行业，着色技术可以大幅提升内容生产效率。动画制作过程中，原画师只需要绘制线稿和灰度分镜，AI着色模型可以快速完成基础着色工作，原画师仅需要进行细节调整，能够将动画制作的着色环节效率提升30%以上。在游戏资产制作中，大量的场景道具、角色皮肤的灰度设计稿可以通过AI快速生成多种色彩方案供设计师选择，缩短开发周期。短视频创作领域，很多创作者利用着色技术将黑白老电影片段转换为彩色片段，制作历史科普类短视频，取得了很好的传播效果。部分修图软件已经内置了AI着色功能，用户可以一键将手机中的老照片转换为彩色，降低了普通用户的使用门槛。（三）专业领域可视化应用在医疗影像领域，灰度的CT、MRI影像通过着色技术可以转换为伪彩色图像，不同组织、不同病变区域用不同颜色标注，能够帮助医生更快速地识别病灶，提升诊断效率。研究表明，彩色医疗影像能够将医生对微小病变的识别准确率提升15%左右。在卫星遥感领域，多光谱遥感影像的部分波段缺失时，可以通过着色技术利用可见光灰度图像推断出缺失的红外波段信息，提升遥感影像的分析精度。此外，夜间灰度遥感影像通过着色可以转换为接近白天的彩色效果，提升夜间遥感监测的能力。在工业检测领域，灰度的工业探伤图像、X光检测图像经过着色后，能够更清晰地展示裂纹、气泡等缺陷，方便检测人员识别问题，降低漏检率。五、未来发展趋势与挑战展望未来，基于深度学习的图像着色技术将向三个方向发展：第一是多模态交互的高度可控着色，用户可以通过文本、语音、手绘等多种交互方式精确控制着色效果，实现“所想即所得”的创作体验；第二是端侧实时着色，随着模型轻量化技术的发展，未来着色模型可以直接部署在手机、相机等终端设备上，拍摄灰度照片后实时生成彩色效果；第三是跨领域通用着色模型，目前多数着色模型只能适配特定类型的图像，未来的通用模型可以同时处理照片、动漫、医