基于自监督预训练的图神经网络在分子性质预测中的下游任务迁移效率研究综述

基于自监督预训练的图神经网络在分子性质预测中的下游任务迁移效率研究综述分子性质预测是药物研发、材料科学、环境化学等领域的核心基础任务，传统的湿实验测定方法存在周期长、成本高、通量低等固有局限，无法满足高通量分子筛选的实际需求。近年来，图神经网络（GNN）凭借对分子拓扑结构的天然适配性，已经成为分子性质预测的主流建模工具，但标记数据稀缺始终是限制其在细分任务上性能提升的关键瓶颈。自监督预训练技术通过在大规模无标记分子数据上学习通用结构与化学特征，再迁移到下游少标签任务进行微调，为破解数据困境提供了可行路径，而迁移效率则是衡量预训练范式实际应用价值的核心指标，直接决定了预训练模型能否在低资源场景下实现性能增益。一、分子图自监督预训练的核心范式与迁移逻辑分子图的自监督预训练本质是通过设计pretext任务，让模型在无需人工标注的情况下学习分子的内在化学规律。当前主流的预训练范式可分为三大类：第一类是基于属性掩码的预训练，核心思路是随机遮蔽分子图中的部分节点或边属性，让模型预测被遮蔽的内容，典型代表包括原子类型预测、官能团识别、键级预测等任务，这类预训练能够让模型学习到原子成键规则、官能团的局部结构特征，迁移到官能团相关的性质预测任务时通常表现出较高的效率。第二类是基于结构对比的预训练，通过构造同一分子的不同视图（如移除部分边、替换局部结构、构象变化等），让模型学习到不同视图间的一致性表征，代表性方法有GraphCL、MolCLR等，这类预训练更侧重于捕获分子的全局结构相似性，在涉及分子骨架、三维构象相关的下游任务中迁移效率更优。第三类是基于化学规则约束的预训练，将量子化学计算得到的低成本属性（如HOMO-LUMO能级、偶极矩、原子电荷等）作为自监督标签，让模型学习结构与基础量子性质之间的映射关系，这类预训练引入了明确的物理化学先验，在量子性质、反应活性相关的下游任务中迁移效率显著高于纯数据驱动的预训练范式。预训练模型向不同下游任务迁移的核心逻辑在于预训练学到的表征与下游任务标签的相关性。当预训练任务与下游任务共享核心的化学特征时，迁移过程仅需要调整少量参数即可实现性能跃升，例如在有机光伏材料的光电转化效率预测任务中，基于量子属性预训练的模型仅需要下游任务10%的标记数据，就能达到从零训练模型使用全量数据的性能。而当预训练任务与下游任务的特征重叠度较低时，迁移过程需要调整更多的参数，甚至可能出现负迁移现象，例如针对小分子药物毒性预测预训练的模型，迁移到高分子材料的力学性质预测任务时，迁移效率通常不足30%，甚至可能低于随机初始化的模型训练效果。二、影响迁移效率的核心因素分析迁移效率的高低受到预训练数据集、预训练任务设计、模型架构、微调策略四个维度的共同影响，各因素间存在复杂的交互作用。首先是预训练数据集的规模与分布适配性。现有研究表明，在一定范围内预训练数据集规模与迁移效率呈正相关，当预训练分子数量从10万提升到1亿级别时，下游少样本任务的性能平均提升27%-42%，但规模增长带来的边际效益会逐渐递减，当数据集超过10亿分子后，多数下游任务的迁移效率不再明显提升。更关键的是预训练数据集与下游任务数据集的分布重叠度，当预训练数据集中包含与下游任务骨架相似的分子时，迁移效率会出现显著跃升：例如在抗肿瘤活性预测任务中，如果预训练数据集中包含30%以上的抗肿瘤化合物类似物，迁移效率会比使用通用分子库预训练的模型高1.8倍，即使预训练数据集规模只有后者的十分之一，迁移效果也更优。这一特性也催生了领域定制化预训练的思路，针对特定下游场景构建小规模领域专属预训练数据集，往往比使用超大规模通用分子库的迁移效率更高。其次是预训练任务与下游任务的对齐度。预训练任务的设计决定了模型学到的表征侧重点，针对不同类型的下游任务需要匹配不同的预训练策略。对于量子性质预测类任务，基于量子化学属性约束的预训练迁移效率最高，比属性掩码预训练高35%左右，因为这类预训练直接学习了与下游任务同源的结构-性质映射关系；对于药物ADMET性质预测类任务，多任务联合预训练（同时包含属性掩码、官能团识别、生物活性关联等多个pretext任务）的迁移效率最优，比单一预训练任务高20%-25%，因为ADMET性质同时受到局部官能团、全局骨架、物理化学属性等多维度特征的共同影响；对于反应产率预测类任务，基于子结构对比的预训练迁移效率最高，因为反应活性主要由反应位点的局部电子结构和相邻官能团的空间效应决定，预训练阶段学习到的子结构特征能够直接迁移到下游任务中。研究还发现，预训练任务的难度也会影响迁移效率，过难的预训练任务会让模型学到过多噪声，过易的预训练任务无法让模型学到深度特征，通常将预训练任务的准确率控制在70%-85%区间时，下游迁移效率最优。第三个影响因素是模型架构的适配性。不同GNN架构对分子特征的提取能力存在差异，进而影响迁移效率。GCN类模型更擅长提取局部拓扑特征，在涉及官能团、反应位点的下游任务中迁移效率更高；GAT类模型通过注意力机制能够捕获长程相互作用，在涉及分子全局骨架、跨空间结构相互作用的下游任务中迁移效率更优；而包含三维结构信息的GNN（如SchNet、DimeNet）在三维构象相关的性质预测任务中迁移效率远高于二维GNN，即使预训练阶段仅使用二维结构信息，三维GNN也能更好地隐式建模结构与性质之间的空间关联。此外，模型的参数量也与迁移效率存在非线性关系：对于简单的下游任务（如沸点、溶解度预测），中小规模模型（100万-500万参数）的迁移效率更高，大规模模型容易出现过拟合；对于复杂的下游任务（如蛋白质结合亲和力、多靶点活性预测），大规模模型（1000万参数以上）的迁移效率优势明显，因为其能够存储更多的通用化学知识，微调阶段仅需要调整顶层参数即可适配下游任务。第四个影响因素是微调策略的合理性。不同的微调方式会显著影响预训练知识的保留与迁移。全参数微调虽然能够充分适配下游任务，但在少标签场景下容易破坏预训练学到的通用特征，导致迁移效率下降；参数高效微调（PEFT）方法，如适配器（Adapter）、前缀调优、LoRA等，仅调整模型中少量参数，能够最大程度保留预训练学到的通用知识，在少样本场景下的迁移效率比全参数微调高15%-30%。此外，微调阶段的正则化策略也至关重要，引入预训练特征蒸馏、权重衰减约束、对比学习正则等方法，能够减少微调过程中的灾难性遗忘，进一步提升迁移效率。最新研究还提出了动态微调策略，根据下游任务的数据量自动调整可训练参数的规模：当数据量少于100个标记样本时，仅调整输出层和顶层注意力参数；当数据量超过1000个时，逐步放开更多层的参数训练，这种动态策略能够在不同数据规模下都保持较高的迁移效率。三、迁移效率的评估体系与量化方法当前领域内尚未形成统一的迁移效率评估标准，常用的量化指标包括少样本性能增益、数据效率提升比、参数效率提升比、跨任务泛化性四个维度。少样本性能增益是最常用的指标，指在相同下游标记数据量下（通常为10、50、100个样本），预训练微调模型的性能与从零训练模型的性能差值，差值越大说明迁移效率越高。以MoleculeNet基准数据集为例，在10样本的少样本场景下，优秀的预训练模型能够在多个任务上实现ROC-AUC提升0.2-0.4，部分任务甚至能提升0.5以上。数据效率提升比是指达到相同性能水平时，从零训练模型需要的标记数据量与预训练微调模型需要的标记数据量的比值，该指标直接反映了预训练能够节省的标记数据成本。当前最优的预训练范式在多数分子性质预测任务上的数据效率提升比在5-20之间，即预训练模型仅需要1/5到1/20的标记数据就能达到从零训练模型的全量数据性能，在部分与预训练任务高度对齐的任务上，数据效率提升比甚至可以达到100以上。例如在某罕见病药物的靶点活性预测任务中，领域定制预训练模型仅需要8个标记样本就能达到从零训练模型使用1000个样本的性能，数据效率提升比超过120。参数效率提升比用于衡量参数高效微调方法的迁移效率，指达到相同性能时，全参数微调需要训练的参数量与参数高效微调需要训练的参数量的比值。当前主流的Adapter、LoRA等方法能够将可训练参数量降低到全参数的0.1%-1%，同时保持90%以上的全参数微调性能，参数效率提升比通常在100-1000之间，极大降低了下游微调的计算成本和存储成本，使得大模型在边缘设备上的部署成为可能。跨任务泛化性是衡量预训练模型迁移能力的重要维度，通常使用跨多个不同下游任务的平均性能增益来评估。优秀的通用预训练模型需要在量子性质、物理化学性质、ADMET性质、生物活性等不同类型的任务上都实现稳定的性能提升，而不是仅在某一类任务上表现优异。当前最优的通用预训练模型能够在MoleculeNet的18个基准任务上实现平均18%的性能提升，同时在跨领域的分子数据集上也能保持10%以上的平均增益。四、当前研究的挑战与未来发展方向尽管自监督预训练在分子性质预测任务中已经展现出显著的迁移效率优势，但当前研究仍然面临诸多挑战。首先是分布偏移下的迁移效率衰减问题，当预训练数据集与下游任务数据集的分布差异较大时，迁移效率会出现断崖式下降，尤其是在新颖骨架分子、复杂大分子（如多肽、PROTAC）、特殊功能材料等场景下，通用预训练模型的迁移效率通常不足同分布场景下的30%，如何构建分布鲁棒的预训练范式，提升跨分布迁移效率是当前的研究热点。其次是三维结构信息的充分利用问题，多数现有预训练方法仅使用二维分子拓扑结构，而分子的性质很大程度上由三维构象决定，但高精度三维构象的获取成本较高，如何在预训练阶段有效利用低成本的构象信息、甚至隐式建模三维结构特征，进一步提升涉及空间效应的下游任务的迁移效率，是未来重要的突破方向。第三个挑战是预训练任务的自动适配问题，当前针对不同下游任务需要人工选择或设计对应的预训练策略，缺乏自动化的适配机制，如何根据下游任务的特性自动搜索最优的预训练任务组合、微调策略，实现端到端的迁移效率优化，是降低预训练技术应用门槛的关键。第四个挑战是可解释性不足问题，当前对于预训练模型迁移的内在机制、哪些特征被迁移、为什么在不同任务上迁移效率存在差异等问题的理解仍然不够深入，缺乏理论层面的指导，导致预训练范式的设计更多依赖经验试错。未来的研究方向主要集中在四个方面：一是领域自适应预训练框架的构建，针对药物研发、材料科学等不同垂直领域的特性，构建轻量化的领域专属预训练模型，进一步提升特定场景下的迁移效率；二是多模态预训练的融合，将分子结构数据、文本描述数据、实验光谱数据、模拟轨迹数据等多模态信息融入预训练过程，学习更全面的分子表征，提升跨模态下游任务的迁移效率；三是小样本甚至零样本迁移能力的突破，通过引入更丰富的化学先验知识、构建更大规模的多任务预训练数据集，实现模型在完全没有下游标记数据的情况下也能具备合理的性质预测能力；四是预训练模型的轻量化与部署优化，针对工业界高通量筛选的需求，优化预训练模型的推理速度，进一步降低下游微调的成本，让预训练技术能够真正落地到实际研发流程中。五、典型应用场景与产业价值高迁移效率的预训练模型已经在多个产业场景中展现出巨大的应用价值。在药物研发领域，预训练模型能够显著提升靶点活性预测、ADMET性质预测的少样本性能，缩短先导化合物优化周期，传统的先导化合物优化通常需要筛选数千个化合物、耗时数月，而基于高迁移效率预训练模型的虚拟筛选，仅需要几十个已知活性化合物就能构建高精度的预测模型，筛选周期可以缩短到几周，研发成本降低50%以上。某头部药企的实践数据显示，引入自监督预训练模型后，抗肿瘤药物先导化合物的命中率提升了3.2倍，临床前候选化合物的开发周期缩短了40%。在新材料研发领域，预训练模型能够解决功能材料标记数据极度稀缺的问题，在有机光伏材料、储能材料、催化材料等场景中，高迁移效率的预训练模型仅需要少量实验数据就能构建性能优异的预测模型，加速新材料的发现过程。例如在钙钛矿太阳能电池材料的稳定性预测任务中，基于预训练的模型仅需要87个实验样本就达到了传统模型需要2000个样本才能实现的预测精度，帮助研究团队在3个月内筛选出了稳定性提升2倍的新型钙钛矿组分。在环境化学领域，预