基于对比学习的多语言预训练模型研究综述

基于对比学习的多语言预训练模型研究综述一、对比学习与多语言预训练的融合背景自然语言处理技术的全球化应用需求推动多语言预训练模型成为研究核心，传统多语言预训练依赖掩码语言建模（MLM）等自监督任务，普遍存在跨语言对齐能力不均衡、低资源语言语义表征退化、相似语义区分度不足等问题。对比学习作为一种通过拉近正样本距离、推远负样本距离学习表征的范式，其核心目标是让模型学习到具有一致性和区分度的语义空间，恰好能够弥补传统多语言预训练的短板。2020年以来，对比学习在单语言语义表征领域取得突破，SimCSE等模型通过简单的正样本构造方式将语义文本相似度任务的性能提升了30%以上，研究者开始尝试将对比学习框架迁移至多语言场景，解决跨语言语义对齐的核心痛点。多语言预训练的本质是学习一个共享的语义空间，让不同语言中语义相同的句子能够映射到空间中的相近位置，而对比学习的训练目标恰好与这一需求高度契合。传统MLM任务更关注词级别的局部语义信息，训练过程中模型倾向于学习语言特定的句法和词汇特征，难以建立跨语言的全局语义关联；对比学习则聚焦句子级别的语义一致性，通过正负样本的对比强制模型捕捉语义的核心本质，而非语言表面特征。这种特性使得对比学习成为突破多语言预训练性能瓶颈的关键技术路径，二者的融合也催生了一系列具有跨语言迁移能力的高性能模型，显著推动了机器翻译、跨语言文本分类、多语言问答等下游任务的发展。二、多语言场景下的对比学习样本构造策略样本构造是对比学习在多语言场景落地的核心环节，直接决定模型的跨语言对齐效果。目前主流的样本构造方法可以分为三类：基于数据增强的样本构造、基于平行语料的样本构造、基于跨语言语义关联的弱监督样本构造。基于数据增强的样本构造是单语言对比学习方法的直接延伸，其核心思路是对同一句子进行不同形式的变换生成正样本，将其他句子作为负样本。在多语言场景下，常用的增强方式包括：词级别的随机替换、删除、重排，句子级别的回译、句法结构变换，以及引入dropout等模型内部扰动生成虚拟正样本。代表性的多语言SimCSE模型就采用了这种策略：将同一句子输入模型两次，通过两次不同的dropout掩码生成两个表征作为正样本对，其他batch内的句子表征作为负样本，在100余种语言的语义相似度任务上平均性能超过传统MLM预训练模型15%。这种方法的优势是不需要额外的平行语料，能够充分利用海量单语言语料，但缺点是生成的正样本仅存在单语言内的语义关联，无法直接建立跨语言的语义映射，对低资源语言的对齐效果提升有限。基于平行语料的样本构造是多语言对比学习特有的样本生成方式，其核心是利用不同语言的平行句对作为天然正样本，将非平行的跨语言句对作为负样本。平行语料能够提供明确的跨语言语义等价信号，是实现跨语言语义对齐最直接的方式，Facebook提出的LASER模型最早采用这种思路，通过编码器将不同语言的句子映射到共享空间，使用对比损失让平行句对的表征尽可能接近。后续的XLM-RoBERTa-Contrastive模型进一步优化了这种策略，在预训练阶段混合使用单语言增强样本和平行句对样本，既保留了单语言语义的区分度，又强化了跨语言的语义关联。这类方法的性能高度依赖平行语料的规模和覆盖度，对于资源丰富的语言对（如英-中、英-法）对齐效果优异，但对于平行语料稀缺的低资源语言，性能会出现明显下降。基于跨语言语义关联的弱监督样本构造是针对低资源语言场景提出的解决方案，其核心是利用多语言预训练模型已有的跨语言能力，自动挖掘弱监督的跨语言正样本。常见的挖掘方式包括：基于词典的语义匹配，将不同语言中语义相同的词所在的句子作为候选正样本；基于语义相似度的检索，在单语言语料库中检索与源语言句子语义相近的目标语言句子作为正样本；基于跨语言知识图谱的实体对齐，将包含相同实体的跨语言句子作为正样本。百度提出的ERNIE-M模型就采用了这种策略，通过跨语言实体链接技术从海量单语言语料中挖掘了超过10亿个弱监督跨语言正样本对，在低资源语言的文本分类任务上性能比仅使用平行语料的模型提升了22%。这种方法极大降低了对比学习对平行语料的依赖，能够有效覆盖更多低资源语言，但弱监督样本中存在的噪声也会影响模型的表征质量，需要设计复杂的去噪机制。三、对比学习在多语言预训练中的目标函数设计针对多语言场景的特性，研究者对传统对比学习损失函数进行了一系列改进，核心目标是解决跨语言语义空间的一致性问题、低资源语言的公平性问题以及多粒度语义的对齐问题。传统的InfoNCE损失是对比学习的基础损失函数，其计算方式是对正样本对的相似度与所有正负样本对的相似度之和取对数损失，在多语言场景下直接使用InfoNCE损失会面临两个核心问题：一是负样本中可能存在隐式的语义正样本，比如不同语言中语义相同但未被标注的句子，会导致模型学习到错误的区分信号；二是资源丰富语言的样本数量远多于低资源语言，会使得损失函数被高资源语言主导，低资源语言的表征被边缘化。针对第一个问题，研究者提出了难负样本挖掘的改进策略，通过预训练的跨语言语义相似度模型筛选出与正样本语义最接近的负样本，在计算损失时赋予这些难负样本更高的权重，Google提出的mT5-Contrastive模型采用这种策略后，跨语言语义检索的准确率提升了18%。针对第二个问题，研究者提出了语言感知的加权InfoNCE损失，根据每种语言的语料规模动态调整样本的损失权重，低资源语言的样本权重更高，有效缓解了高资源语言的主导问题，让所有语言的表征质量更加均衡。除了改进基础对比损失，研究者还设计了多任务融合的损失函数，将对比学习损失与传统多语言预训练任务结合。最常见的融合方式是对比学习损失与MLM损失的加权组合，在预训练过程中同时优化两个目标：MLM任务帮助模型学习语言的词汇和句法知识，对比学习任务帮助模型学习跨语言的语义对齐。实验结果表明，这种混合损失训练的模型比仅使用MLM损失的模型在跨语言下游任务上平均性能提升10%-15%，同时比仅使用对比损失的模型在单语言理解任务上表现更好。进一步的研究还会引入跨语言句子排序损失、跨语言蕴含任务损失等，构建多任务的训练目标，让模型学习到更丰富的跨语言语义特征。针对多粒度语义对齐的需求，研究者提出了层级化的对比学习损失函数，分别在词、短语、句子三个层面设计对比目标。词级别的对比损失让不同语言中语义相同的词表征尽可能接近，短语级别的对比损失强化跨语言名词短语、动词短语的语义对齐，句子级别的对比损失保证全局语义的一致性。字节跳动提出的mRASP2模型就采用了这种层级化对比损失，在机器翻译任务上，无论是高资源语言对还是低资源语言对，翻译质量都比单一对比损失的模型提升了3-5个BLEU值。这种层级化的设计能够让模型从细粒度到粗粒度建立完整的跨语言语义关联，更适合需要多粒度语义理解的下游任务。四、主流多语言对比预训练模型的架构演进过去五年间，多语言对比预训练模型的架构经历了三代演进，从最初的基于Transformer编码器的简单架构，到引入适配器的模块化架构，再到最新的大一统多模态多语言架构，每一代架构都在跨语言对齐能力和模型效率上实现了突破。第一代多语言对比预训练模型以LASER和多语言SimCSE为代表，采用标准的Transformer编码器作为backbone，所有语言共享完整的编码器参数，通过对比损失训练跨语言语义表征。这类模型的架构简单，训练和推理效率高，能够处理100种以上的语言，但缺点是所有语言共享全部参数，难以兼顾不同语言的特性，尤其是对于与高资源语言差异较大的低资源语言，表征质量较差。LASER模型仅使用6层Transformer编码器，就实现了93种语言的跨语言语义对齐，在跨语言文本检索任务上的性能超过了之前的所有模型，至今仍是工业界常用的多语言语义表征baseline。第二代模型以XLM-R-Contrastive和ERNIE-M为代表，在共享编码器的基础上引入了语言特定的适配器模块。适配器是一种轻量级的参数模块，通常只有几百KB大小，插入在Transformer的每一层中，不同语言使用独立的适配器参数，模型的大部分参数仍然是共享的。这种架构既保留了共享参数带来的跨语言迁移能力，又能够通过适配器捕捉不同语言的独特特征，同时参数量仅比全共享模型增加5%左右。ERNIE-M模型在引入适配器后，低资源语言的文本分类准确率提升了17%，而推理速度仅下降了2%，很好地平衡了模型性能和效率。这类模型还普遍引入了跨语言注意力机制，在计算注意力权重时考虑语言的类型特征，进一步强化了跨语言的语义关联。第三代模型以GPT-4o和Gemini的多语言模块为代表，属于大一统的多模态多语言架构，对比学习不再是独立的预训练任务，而是融入到多模态对齐的整体框架中。这类模型不仅处理文本数据，还同时处理图像、音频等多模态数据，对比学习损失不仅用于跨语言文本的对齐，还用于文本与其他模态的跨语言对齐。比如在训练过程中，模型会学习让英文句子“一只猫”、中文句子“一只猫”和猫的图像的表征尽可能接近，通过多模态的信号进一步强化跨语言的语义对齐。实验结果表明，引入多模态对比信号后，模型的跨语言理解能力得到进一步提升，尤其是对于具象概念的语义对齐效果提升更为明显，在多语言图像描述生成任务上的性能比仅使用文本对比训练的模型提升了28%。这类模型的参数量通常超过100B，能够覆盖超过1000种语言，包括大量资源极度稀缺的小语种，是未来多语言预训练模型的重要发展方向。五、对比学习多语言预训练模型的下游应用与性能表现对比学习多语言预训练模型已经在大量下游任务中得到应用，显著提升了跨语言场景下的任务性能，目前的主要应用场景包括跨语言文本分类、机器翻译、多语言问答、跨语言信息检索等。在跨语言文本分类任务中，对比学习预训练模型的优势尤为明显。传统多语言预训练模型在零样本跨语言分类场景下，通常只能达到源语言性能的60%左右，而对比学习预训练模型能够将这一比例提升到85%以上。在XTREME基准的文本分类任务上，XLM-R-Contrastive模型在10种低资源语言的零样本分类准确率平均达到82.3%，比基础XLM-R模型提升了14.7个百分点。工业界已经广泛将这类模型应用于多语言电商评论分类、多语言社交媒体情感分析等场景，无需为每种语言单独标注训练数据，仅使用英文标注数据就能够实现对数十种语言的评论分类，准确率超过90%，大幅降低了多语言业务的落地成本。在机器翻译任务中，对比学习预训练作为机器翻译模型的前置训练阶段，能够显著提升翻译质量，尤其是低资源语言对的翻译效果。mRASP2模型通过层级化对比学习预训练后，在30种低资源语言对的翻译任务上，BLEU值平均提升了4.2个百分点，部分资源极度稀缺的语言对甚至提升了10个BLEU值以上。对比学习还被应用于机器翻译的解码阶段，通过对比不同候选翻译的语义表征，选择与源句子语义最接近的候选，能够进一步提升翻译结果的语义准确性。实验表明，在翻译解码阶段引入对比语义排序，能够让翻译结果的语义准确率提升5%-7%，有效减少了漏译和错译问题。在跨语言信息检索任务中，对比学习预训练模型能够直接生成跨语言可比的语义表征，无需额外的对齐步骤。在跨语言网页检索场景下，用户使用中文输入查询，模型能够直接检索出语义相关的英文、法文等其他语言的网页，检索准确率比传统基于翻译的检索方法提升了30%以上。Google的多语言检索系统已经全面采用对比学习预训练的语义表征，支持100余种语言的跨语言检索，召回率提升了25%。在多语言问答场景中，对比学习模型能够将问题和不同语言的知识库内容映射到同一语义空间，直接匹配最相关的答案，在多语言开放域问答基准MKQA上，采用对比学习预训练的模型准确率比传统模型提升了21%。六、现存挑战与未来研究方向尽管对比学习多语言预训练模型已经取得了显著进展，但仍然面临一系列亟待解决的挑战，未来的研究方向主要集中在低资源语言的对齐优化、语义空间的公平性、多模态融合的对比学习以及模型轻量化四个方面。低资源语言的对齐效果仍然是当前最突出的挑战。目前的对比学习方法即使采用弱监督样本构造策略，对于仅有少量单语言语料、没有任何平行语料的极低资源语言，跨语言对齐效果仍然较差，表征质量仅能达到高资源语言的50%左右。未来的研究需要探索更有效的无监督跨语言对比学习方法，仅依靠单语言语料和语言类型学知识实现跨语言语义对齐，进一步扩大模型的语言覆盖范围，支持更多濒临消失的小语种的数字处理。语义空间的公平性问题也受到越来越多的关注。当前的对比学习模型普遍存在高资源语言主导语义空间的问题，高资源语言的语义分布更加密集，低资源语言的语义分布更加稀疏，导致在跨语言语义匹配时，低资源语言的句子更容易被错误匹配到高资源语言的样本。未来的研究需要设计更公平的对比学习损失函数，保证不同语言的表征在语义空间中具有相同的分布密度和区分度，消除语言歧视问题。多模态多语言对比学习是未来的重要发展方向。现有的多语言对比学习主要聚焦文本模态，而人类的语言理解往往与