基于双编码器的图像描述生成研究综述

基于双编码器的图像描述生成研究综述图像描述生成（ImageCaptioning）是计算机视觉与自然语言处理交叉领域的核心任务，旨在让机器自动生成能够准确描述图像语义内容的自然语言语句。随着深度学习技术的发展，传统基于单视觉编码器-语言解码器的框架已逐渐突破性能瓶颈，而双编码器架构通过引入多维度视觉特征提取、跨模态信息对齐与交互机制，成为当前图像描述生成领域的主流技术路径。该架构通过对图像的全局语义、局部细节、空间关系、视觉常识等信息进行分路编码，有效弥补了单编码器对复杂场景信息表征不足的缺陷，为提升描述的准确性、丰富性与语义一致性提供了新的解决方案。一、双编码器架构的核心设计动机与技术演进传统图像描述生成框架以CNN-RNN结构为典型代表，通常采用单个卷积神经网络（如VGG、ResNet）提取图像全局特征，再输入循环神经网络（如LSTM、GRU）逐词生成描述文本。这类架构在简单场景下取得了初步成效，但面对包含多主体、复杂交互、隐含语义的图像时，存在三个明显缺陷：一是单编码器难以同时兼顾全局场景语义与局部对象细节，容易忽略小尺寸物体或细粒度属性；二是缺乏对视觉对象间空间关系、逻辑关联的建模，生成描述常出现主体错位、关系表述错误问题；三是跨模态信息交互仅发生在编码-解码衔接阶段，视觉特征无法根据语言生成过程中的语义需求动态调整，导致描述与图像语义偏差。双编码器架构的提出正是为了针对性解决上述问题，其技术演进大致可分为三个阶段。早期探索阶段（2017-2019年）的双编码器以“全局特征编码器+局部对象编码器”为核心结构，代表工作如Anderson等人提出的Bottom-UpandTop-Down模型，首次采用FasterR-CNN作为局部对象编码器提取图像中候选区域的视觉特征，同时搭配ResNet提取全局场景特征，两路特征共同输入解码器指导文本生成，该架构在MSCOCO数据集上将CIDEr指标从110提升至117.8，首次证明双编码器结构的有效性。中期发展阶段（2020-2022年）的双编码器开始引入跨模态预训练与注意力交互机制，研究者不再局限于纯视觉特征的分路编码，而是将视觉-文本对齐能力融入编码器设计，如ViLBERT、LXMERT等预训练模型采用“图像编码器+文本编码器”的双塔结构，通过大规模图文对数据预训练学习通用跨模态表征，在下游图像描述任务中微调后性能实现大幅跃升，CIDEr指标突破130大关。现阶段（2023年至今）的双编码器则向多模态知识融合与认知级编码方向发展，除视觉特征与文本特征外，进一步引入外部常识编码器、场景图编码器等辅助编码通路，实现对图像隐含语义、因果关系、背景知识的深度挖掘，生成描述的语义合理性与人类语言契合度得到显著提升。二、双编码器的典型结构分类与技术特点根据编码对象与功能的差异，当前主流双编码器架构可分为四大类，不同结构在适用场景、性能表现上各有侧重。（一）双视觉编码器架构这类架构的两路编码器均面向图像本身，分别负责不同维度的视觉信息提取，是应用最广泛的双编码器结构。其中最常见的是“全局场景编码器+局部对象编码器”组合：全局场景编码器通常采用卷积神经网络（如ResNet、ConvNeXt）或视觉Transformer（如ViT、SwinTransformer），负责提取图像的整体场景信息，包括环境类别、整体色调、场景氛围等高层语义；局部对象编码器则采用目标检测模型（如FasterR-CNN、YOLO系列）或实例分割模型，提取图像中每个独立对象的类别、属性、位置等细粒度特征。部分研究进一步将双视觉编码器扩展为“静态特征编码器+动态关系编码器”，前者提取对象本身的视觉属性，后者则通过图神经网络（GNN）建模对象间的空间位置关系、动作交互关系，有效减少了“男孩在踢足球”被误生成“男孩在看足球”这类关系表述错误。2024年提出的DualViT-Cap模型创新性地采用两个不同粒度的SwinTransformer作为双编码器，一个以16×16patch为单位提取粗粒度全局特征，另一个以4×4patch为单位提取细粒度局部特征，通过跨尺度注意力机制实现两路特征的交互融合，在MSCOCOKarpathy测试集上取得了CIDEr142.1、BLEU-442.7的性能，相比单ViT编码器架构提升了6.3%的CIDEr分数。（二）视觉-文本双编码器架构这类架构的两路编码器分别处理图像信息与文本语义信息，核心目标是实现跨模态特征的深度对齐，在预训练图像描述模型中应用最为广泛。其典型工作流程为：首先在大规模图文对预训练阶段，图像编码器（如CLIP-ViT）与文本编码器（如BERT）分别对图像和对应的描述文本进行编码，通过对比学习损失让匹配的图文对特征在隐空间中距离更近，不匹配的图文对距离更远，从而学习到通用的跨模态表征；在下游任务微调阶段，图像编码器提取的视觉特征与文本编码器生成的前缀文本特征共同输入解码器，指导后续文本生成。这类架构的优势在于能够充分利用大规模无标注图文数据，学习到丰富的视觉-语义关联知识，尤其擅长处理零样本、少样本场景下的图像描述任务。2023年谷歌提出的PaLM-E模型采用“ViT视觉编码器+PaLM文本编码器”的双结构，通过将图像特征与文本特征在同一隐空间中嵌入，实现了多模态统一表征，在无需针对图像描述任务专门微调的情况下，零样本生成性能就超过了多数传统监督训练的单编码器模型。不过这类架构也存在明显缺陷：预训练阶段文本编码器的输入是完整描述，而生成阶段文本编码器只能看到已生成的前缀文本，存在训练与推理的不一致问题，容易导致生成过程中出现重复、语义偏移等现象。（三）视觉-常识双编码器架构为了弥补纯视觉输入缺乏背景知识的缺陷，研究者提出在视觉编码器之外新增常识编码器，构建“视觉信息+外部知识”的双编码通路。这类架构的工作逻辑是：首先通过视觉编码器提取图像中的对象、场景等显性信息，随后常识编码器从外部知识库（如ConceptNet、WikiData）中检索与图像内容相关的常识知识，例如当图像中出现“猫”和“鱼缸”时，常识编码器会检索到“猫喜欢吃鱼”“鱼缸中通常饲养鱼”等隐含知识，将这些知识编码后与视觉特征融合，指导解码器生成更符合人类认知逻辑的描述。2022年提出的KnowCap模型是这类架构的代表，其常识编码器采用图卷积神经网络对检索到的常识三元组进行编码，通过常识注意力机制让解码器在生成过程中能够动态关联相关常识知识，在生成包含隐含语义的图像描述时，相关描述的准确率相比传统架构提升了21.3%。例如对于“厨房台面上放着一个空的猫碗”的图像，传统架构通常只会生成“台面上有一个碗”，而融入常识编码的模型则能够生成“厨房的台面上放着一个猫碗，看起来已经空了”，语义丰富度显著提升。不过这类架构也面临知识检索准确率不足、无关知识引入噪声的问题，如何实现知识与图像内容的精准匹配是当前研究的难点。（四）图像-场景图双编码器架构场景图是对图像内容的结构化表示，包含“对象-关系-对象”三元组信息，能够清晰呈现图像中的实体与关联。图像-场景图双编码器架构的核心思路是：一路采用常规视觉编码器提取图像的底层视觉特征，另一路则首先通过场景图生成模型得到图像对应的结构化场景图，再采用图编码器对场景图的节点特征与边特征进行编码，将结构化语义信息与底层视觉特征融合后输入解码器。这类架构的优势在于能够显式建模视觉元素间的逻辑关系，大幅提升描述中关系表述的准确性。2024年提出的SG-DualCap模型创新性地在编码阶段引入场景图对比学习机制，让场景图编码器输出的特征与视觉编码器提取的对应对象特征实现精准对齐，解决了场景图生成误差向描述任务传递的问题。实验结果显示，该架构在描述关系的准确率上比传统单编码器架构提升了37.2%，尤其在处理“人骑马”“狗追飞盘”这类包含动态交互的场景时，错误率下降超过40%。三、双编码器架构的核心关键技术双编码器性能的提升依赖于一系列关键技术的突破，其中特征交互融合机制、跨模态对齐技术、注意力机制设计是决定架构性能的核心要素。（一）双编码器特征交互融合机制如何实现两路编码器输出特征的有效融合，避免特征简单拼接带来的信息冗余与冲突，是双编码器架构需要解决的首要问题。当前主流的融合方式可分为三类：早期融合是在编码阶段就让两路特征进行交互，例如在编码器的每一层都设置跨路注意力模块，让全局特征在提取过程中就能参考局部对象信息，局部对象特征也能结合全局场景语义进行调整，这类融合方式的信息交互最充分，但计算复杂度也最高；中期融合是在两路编码器完成各自特征提取后，通过门控机制、注意力机制对特征进行加权融合，例如采用门控线性单元（GLU）自动学习两路特征的权重，将更重要的特征赋予更高权重，过滤无效信息，这类方式在计算效率与融合效果之间取得了较好平衡，是当前应用最广泛的融合方式；晚期融合则是在解码器的每一步生成过程中，根据当前生成的语义状态动态选择需要参考的编码特征，例如生成到名词时侧重参考局部对象编码器的特征，生成到场景描述时侧重参考全局编码器的特征，这类方式灵活性更高，但对解码器的语义感知能力要求也更高。2023年的一项对比研究显示，在同等计算资源条件下，中期门控融合方式的综合性能最优，相比早期融合计算量降低40%，相比晚期融合CIDEr分数高出2.1%。（二）跨模态对齐技术在包含文本编码器的双编码器架构中，跨模态对齐是实现视觉特征与文本特征语义匹配的核心技术。当前主流对齐方式分为两类：表征对齐是让图像与文本的编码特征在同一隐空间中满足语义一致性，通常采用对比学习损失实现，即让匹配的图文对特征相似度高于不匹配的图文对，CLIP、ALIGN等预训练模型均采用这类对齐方式，优势是训练简单、通用性强，能够学习到广泛的跨模态关联；任务对齐则是针对图像描述生成的任务特性，在预训练阶段引入文本生成相关损失，例如让文本编码器根据图像特征预测描述中的掩蔽词，或者让两路编码器的特征在细粒度语义单元上实现对齐，比如“狗”的视觉特征与“狗”的文本词嵌入特征距离更近，这类对齐方式更贴合图像描述任务需求，在微调阶段能够实现更快收敛与更高性能上限。2024年提出的AlignCap模型创新性地将表征对齐与任务对齐结合，在预训练阶段同时采用对比学习损失与掩蔽语言模型损失，在零样本图像描述任务上的性能超过了此前最好的预训练模型8.7个CIDEr分数。（三）自适应注意力机制设计双编码器带来了更多维度的输入特征，如何让解码器在生成过程中动态选择最相关的特征信息，依赖于自适应注意力机制的设计。传统单编码器架构通常采用普通的软注意力机制，对视觉特征进行加权求和，而双编码器架构的注意力机制需要同时处理两路甚至多路特征。当前主流的多源注意力机制主要包括：多头跨注意力机制，将不同编码器的特征作为注意力的键值对输入，让解码器的每一个注意力头可以分别关注不同编码器的特征，实现多维度信息的并行利用；动态路由注意力机制，在每一步生成时首先预测当前词的语义类型（如对象词、关系词、场景词），根据语义类型自动路由到对应的编码器特征中计算注意力权重，大幅降低注意力计算的冗余；可控注意力机制，引入可学习的门控参数，控制解码器对不同编码器特征的依赖程度，例如当生成描述的开头场景概括部分时，提高全局编码器特征的权重，当生成细节描述部分时，提高局部编码器或常识编码器的权重。2023年提出的RouterAttention机制在双编码器架构中实现了18%的推理速度提升，同时生成质量没有明显下降，有效解决了双编码器带来的计算复杂度上升问题。四、双编码器图像描述生成的应用场景与挑战双编码器架构的性能优势让其在多个实际场景中得到落地应用。在视障辅助领域，搭载双编码器的图像描述系统能够更精准地识别场景中的障碍物、行人、交通标识以及人物动作，为视障人士提供更详细的环境描述，提升出行安全性；在电商内容生成领域，双编码器模型可以根据商品图片自动生成包含商品属性、使用场景、风格特点的产品描述，大幅降低商家的文案生产成本，2024年京东的商品描述自动生成系统采用双视觉编码器架构，生成描述的用户接受度相比单编码器模型提升了32%；在安防监控领域，双编码器模型能够自动分析监控画面中的异常事件，生成结构化的事件描述，例如“穿红色上衣的男子在停车场入口处徘徊”，提升监控事件的检索与预警效率；在医疗影像分析领域，双编码器架构可以对X光、CT等医学影像进行编码，结合医学知识编码器生成辅助诊断报告，帮助医生提升诊断效率。尽管双编码器架构已经取得了显著进展，但当前研究仍面临诸多挑战：一是细粒度语义建模不足，对于“红色的杯子上印有猫咪图案”这类包含多层属性的描述，双编码器仍容易出现属性遗漏或错配问题，如何实现对对象多层级属性、细粒度特征的精准编码仍是难点；二是复杂场景推理能力不足，对于包含多个主体、多步交互、隐含逻辑的图像，例如“几个孩子在雪地里堆雪人，旁边放着铁锹和水桶”，模型仍难以准确识别所有对象及其关联，生成描述常出现主体遗漏或逻辑错误；三是计算复杂度较高，双编码器尤其是引入预训练大模型的双编码器架构参数量大、推理速度慢，难以部署在边缘设备上，如何实现模型的轻量化与高效推理是落地应用需要解决的关键问题；四是评估体系仍不完善，当前主流的自动评估指标（如BLEU、CIDEr）主要基于n-gram匹配，难以准确衡量描述的语义一致性、逻辑合理性，尤其是融入常识知识的描述，自动评估结果与人类评估结果的相关性仍较低。未来