基于对抗训练的鲁棒深度学习模型研究综述

基于对抗训练的鲁棒深度学习模型研究综述深度学习模型在图像识别、自然语言处理、语音交互等领域已取得突破性进展，但这类模型普遍存在脆弱性问题：输入样本添加微小的、人类难以察觉的扰动，就可能导致模型输出错误结果，这类扰动被称为对抗样本。对抗样本的存在严重制约了深度学习在自动驾驶、医疗诊断、金融风控等安全敏感场景的落地，如何提升模型的鲁棒性成为近年来人工智能领域的研究热点。对抗训练作为当前最有效的防御对抗样本的方法之一，通过在训练过程中注入对抗样本，能够显著提升模型对扰动的抵抗能力，相关研究成果呈现爆发式增长，形成了较为完整的技术体系。对抗训练的基础理论框架对抗训练的核心思想是“以彼之道还施彼身”，通过构造对抗样本并将其纳入训练集，让模型在学习过程中逐步适应扰动的存在，从而提升鲁棒性。其基本数学表达可以转化为一个最小-最大优化问题：内层最大化损失函数生成对抗样本，外层最小化干净样本和对抗样本的联合损失更新模型参数。这种双层优化结构是对抗训练区别于普通深度学习训练的核心特征。早期对抗训练的经典范式由Goodfellow等人提出，即快速梯度符号法（FGSM）对抗训练。该方法通过单次梯度上升生成对抗样本，训练效率较高，但鲁棒性提升有限，难以抵御迭代攻击。后续Madry等人提出了投影梯度下降（PGD）对抗训练，通过多次迭代生成更强的对抗样本，显著提升了模型的鲁棒边界，被视为对抗训练的基准方法。不过PGD对抗训练的计算成本极高，训练一个CIFAR-10数据集上的ResNet-18模型，其时间成本是普通训练的5-10倍，这一缺陷限制了其在大规模数据集上的应用。对抗训练过程中存在一个核心矛盾：鲁棒性与自然准确率的权衡。大量研究表明，经过对抗训练的模型虽然对对抗样本的抵抗能力提升，但在干净样本上的预测准确率通常会出现不同程度的下降。这种权衡的本质来源可以从两个角度解释：从数据分布角度看，对抗样本的分布与干净样本存在差异，模型需要在两种分布上同时取得最优性能，本质是一个多目标优化问题，存在帕累托最优边界；从模型容量角度看，普通深度学习模型的容量可能不足以同时拟合干净样本的特征和对抗扰动的模式，当模型容量不足时，鲁棒性的提升必然以牺牲自然准确率为代价。近年来的研究尝试通过动态调整训练权重、引入自适应扰动强度等方式缓解这一权衡问题，取得了一定进展，但尚未实现两者的完全解耦。对抗训练的典型优化方向针对经典对抗训练存在的训练效率低、鲁棒泛化能力差、对复杂攻击防御效果有限等问题，学术界从多个维度开展了优化研究，形成了几类主流的改进方向。第一类方向是提升对抗训练的效率。这类研究的核心是降低对抗样本生成的计算成本，同时尽可能保留鲁棒性提升效果。代表性工作包括单步对抗训练方法，如FastAT、FreeAT等，这类方法通过简化对抗样本生成步骤，将训练速度提升至接近普通训练的水平。不过早期单步对抗训练普遍存在“标签泄漏”问题，即模型仅能抵御生成训练样本时使用的单步攻击，对迭代攻击的防御效果大幅下降。后续研究通过引入正则化项、多样化单步扰动生成方式等方法，有效缓解了标签泄漏问题，使得单步对抗训练的鲁棒性接近PGD对抗训练的水平。此外，还有研究通过梯度重用、样本缓存等技术降低迭代对抗训练的计算开销，使得PGD类对抗训练能够应用于ImageNet等大规模数据集。第二类方向是增强对抗训练的鲁棒泛化能力。鲁棒泛化指的是模型在训练阶段未见过的攻击类型、扰动强度、数据分布上的鲁棒性表现。传统对抗训练通常针对特定的L_p范数攻击进行优化，对其他类型的攻击（如空间变换攻击、语义扰动攻击）防御效果较差。为解决这一问题，研究者提出了多范式对抗训练，即在训练过程中同时注入多种类型的对抗样本，让模型学习到更通用的鲁棒特征。此外，还有研究引入元学习思想，将对抗训练过程建模为元学习任务，让模型能够快速适应新的攻击类型，进一步提升跨攻击的泛化能力。针对分布外数据的鲁棒性问题，相关研究通过结合域自适应技术，使得对抗训练模型在跨域场景下依然能够保持较好的鲁棒性表现。第三类方向是基于正则化的对抗训练改进。正则化技术在普通深度学习训练中被广泛用于防止过拟合，研究者将其引入对抗训练过程，缓解对抗训练中的过拟合问题，提升模型的鲁棒性。常用的正则化方法包括权重衰减、dropout、随机平滑等。其中随机平滑技术通过在输入样本上添加随机噪声，将模型的预测结果转化为概率输出，能够在理论上提供可证明的鲁棒性保障，与对抗训练结合后可以进一步提升模型的鲁棒边界。此外，还有研究提出了鲁棒特征正则化，通过约束模型提取的特征在干净样本和对抗样本上的一致性，减少扰动对特征空间的影响，从而提升模型的鲁棒性。近年来，基于对比学习的自监督正则化也被应用于对抗训练，通过在特征空间构造对比学习任务，让模型学习到更具区分度和鲁棒性的特征表示，有效缓解了鲁棒性与自然准确率的权衡问题。不同场景下的对抗训练技术适配对抗训练技术在不同应用场景下面临的挑战存在差异，需要结合场景特性进行针对性适配，目前在计算机视觉、自然语言处理、语音识别等领域都形成了场景化的对抗训练方案。在计算机视觉领域，对抗训练是图像分类、目标检测、语义分割等任务中防御对抗样本的主流方法。针对图像分类任务，现有研究已经形成了较为成熟的训练pipeline，包括对抗样本生成策略、数据增强组合、模型结构优化等整套技术方案。而针对目标检测这类密集预测任务，对抗样本的生成需要同时考虑分类和回归两个分支的损失，计算复杂度更高，研究者提出了局部区域对抗训练、多尺度对抗扰动等方法，在控制计算成本的同时提升了检测模型的鲁棒性。语义分割任务中，对抗扰动可能导致像素级预测结果出现大面积错误，相关研究通过引入上下文一致性约束、对抗训练与半监督学习结合等方式，缓解了像素级对抗样本的影响，目前已在自动驾驶场景的语义分割模型中得到初步应用。在自然语言处理领域，对抗训练面临的核心挑战是文本数据的离散性。传统对抗扰动是连续空间中的微小变化，而文本是离散的token序列，微小的连续扰动无法直接应用于文本输入。针对这一问题，研究者提出了两类文本对抗训练方案：一类是基于嵌入层扰动的方法，即在词嵌入空间中添加对抗扰动，不需要修改原始输入文本，这类方法实现简单，能够有效提升文本分类、关系抽取等任务的模型鲁棒性，代表性工作包括FGM、PGD文本对抗训练等；另一类是基于离散对抗样本的方法，通过同义词替换、语序调整等方式生成语义保持的离散对抗样本，将其纳入训练过程，这类方法能够抵御真实场景下的文本篡改攻击，但其生成成本较高，且需要保证对抗样本的语义一致性。近年来，大语言模型的崛起对文本对抗训练提出了新的挑战，如何提升大模型对提示词注入、jailbreak等攻击的鲁棒性，成为当前的研究热点，相关研究通过在微调阶段注入对抗性提示样本，显著提升了大语言模型的安全性。在语音识别领域，对抗样本通常表现为音频信号中添加人类难以察觉的噪声，导致语音识别系统输出错误的转录结果。语音信号的时序性和高采样率特性使得对抗样本的生成计算成本更高，且对抗扰动的可转移性更强。针对语音识别任务的对抗训练需要考虑时序建模的特性，研究者提出了时序对抗训练方法，针对音频的时序特征构造对抗扰动，同时结合CTC损失的特性优化对抗样本生成过程，有效提升了端到端语音识别模型的鲁棒性。此外，还有研究针对声纹识别场景的对抗攻击问题，提出了身份感知的对抗训练方法，在提升模型抵抗伪造语音攻击的同时，尽可能保留对真实用户的识别准确率，目前已在智能语音助手、身份认证系统中得到应用。对抗训练的前沿研究趋势随着深度学习技术的不断发展，对抗训练研究也在向更深入、更实用的方向演进，近年来涌现出多个值得关注的前沿方向。可证明鲁棒的对抗训练是当前的研究热点之一。传统对抗训练只能提升模型对经验攻击的防御能力，无法保证模型在面对未知更强攻击时的安全性。可证明鲁棒训练通过在训练过程中引入鲁棒性验证约束，能够给出模型在特定扰动范围内的鲁棒性理论保障。这类方法通常与线性松弛、区间传播等验证技术结合，在训练过程中最小化模型的最坏情况损失，从而得到具有可证明鲁棒边界的模型。不过目前可证明鲁棒训练的计算成本极高，且仅能应用于中小规模的模型和数据集，如何将其扩展到大模型和大规模场景下，是未来需要解决的核心问题。针对大语言模型的对抗训练研究正在快速发展。大语言模型参数规模庞大，传统对抗训练的计算开销难以承受，且大模型面临的攻击类型与传统小模型存在显著差异，包括jailbreak攻击、提示注入攻击、后门攻击等。目前相关研究主要集中在两个方向：一是高效的对抗样本生成方法，通过参数高效微调、梯度近似等技术，降低大模型对抗样本生成的成本；二是对齐导向的对抗训练，在提升模型鲁棒性的同时，保证模型的helpful、harmless、honest等对齐特性，避免对抗训练导致模型生成质量下降。此外，如何通过对抗训练提升大模型的事实准确性、减少幻觉，也是当前的探索方向之一。对抗训练与模型压缩、部署的结合研究受到工业界的广泛关注。深度学习模型在实际部署时通常需要进行量化、剪枝、蒸馏等压缩操作，而压缩过程往往会导致模型鲁棒性大幅下降。如何在压缩的同时保留模型的鲁棒性，是对抗训练落地的关键问题。研究者提出了鲁棒蒸馏、鲁棒量化、鲁棒剪枝等技术，将对抗训练与模型压缩过程融合，在控制模型体积和推理延迟的同时，尽可能保留鲁棒性。此外，针对边缘设备部署场景，还有研究探索轻量化的对抗训练方案，降低对抗训练的内存占用和计算开销，使得鲁棒模型能够在算力有限的边缘设备上运行。数据集和评估基准的完善也在推动对抗训练研究的规范化。早期对抗训练研究普遍存在评估不一致的问题，不同研究采用的攻击类型、扰动强度、评估指标存在差异，导致不同方法的鲁棒性难以直接对比。近年来，学术界陆续推出了多个标准化的鲁棒性评估基准，包括RobustBench、CIFAR-10-C、ImageNet-C等，统一了评估协议，使得不同研究的结果具有可比性。同时，大规模的鲁棒