TTAF 386-2026 预训练图像识别类AI模型攻击防御能力测试方法

电信终端产业协会发布版权声明传播、发行、合订和宣贯等，也不得未经允许采用其具体内容编制本团I 1 1 1 2 2 2 5 9本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件主要起草人：袁艳丽、王嘉、郭春颖、李颖萱、秦书锴、1预训练图像识别类AI模型攻击防御能力测试方法本文件规定了预训练图像识别类AI模型对抗攻击防御能力、数据投毒攻对抗样本adversarialex对抗性攻击adversariala阶段进行，攻击者通过添加特定的扰动来欺骗模型，让其在原本正对抗攻击防御能力adversarialdefensecapa数据投毒攻击datapoisonin数据投毒攻击防御能力datapoisoningdefenseca指模型在面对被篡改的训练数据时，能够维持其预测准确4缩略语AI：人工智能（ArtificialIntelligent）BIM：基本迭代法（BasicIterativeMethoCNN：卷积神经网络（ConvolutionalNeuralC&W攻击Carlini&WagnerAttack）FGSM：快速梯度符号法（FastGradientSignMet5概述预训练图像识别类AI模型的生命周期可分为三个阶段：预训练、微调在预训练阶段，攻击主要来自预训练数据，如数据投毒攻击，通过篡改预训练数据或标签，影响模型的预测准确性。在微调阶段，采用的微调数据同样面临数据投毒攻击的面对被恶意篡改的数据或标签时，能够有效识别和抵御攻击并维持模型预测准确性的3在一定比例的投毒数据存在时，模型性能的下降幅度。一般指数据集中投毒样本的比例。FP——假正例，被模型预测为正类的负样指所有实际为正类的样本中，被模型错误预测为负类的样本所 FN——假负例，被模型预测为负类的正样a)规模：测试数据集应包含足够数量的样本，建议10000张，以便进行可靠的性能评估。样本量b)代表性：测试集应包含多种不同类型的图像，以确保模型在各种场景下的鲁棒性。d)数据质量：应确保图像质量高，没有模糊或噪声，且应确保所有图像的标签准确无误。e)数据分布：测试集中各类的样本数量应尽可能均衡，以避免类别不平衡对评估结果的影响。测试集宜包含一些稀有类的样本，评估模型在处理少数类样本时f)数据污染：一部分测试集应该是干净的，没有任何投毒数据，以评估模型的基本性能。另外g)随机性：测试集中的样本应随机选择，避免偏见。h)重复性：同一测试集宜多次重复使用，确保测试结果的一致性和可靠性。3）数据注入：注入一些完全不相关的图像，并4）数据污染：在现有图像上加入噪声、遮挡、叠加其他图像等方式，改变图像的特征。的鲁棒性；更高比例投毒则用于模拟极端攻击条件。实际测试中，可根据模型结构、任务类型及攻击算法特5测试与评估样本修改幅度是指攻击者为误导或欺骗人工智能模型，使其产生错误预测或决策，而对原始数据样本实施修改的程度。该指标是评估人工智能模型对抗攻击防御能力的重要参考指标之一，可用于衡量模型在不同攻击强度下的鲁棒性。若攻击者仅需对样本进行较小幅度的修改即可使模型预测错误，说明模型对轻微扰动较为敏感，防御能力相对较弱；若攻击者需要进行较大幅度的修改才能实现攻击目标，则说明模型在相应攻击条件下具有较强的鲁棒性。7.1.4平均分类准确率差异值D指精确率和召回率的调和平均数，综合考虑了7其中：表示测试时，使用原始测试集得到的F1分数，表示进行对抗样本攻击后，根据模型攻击前后模型推理的置信度变化，衡量攻击对模型识别结果的误分类程a)测试集规模：建议测试集应不少于10b)测试集代表性：测试集应代表实际应用中可能遇到的各种情况和数据分布，以便准确评估模c)质量：测试集中的样本应具有高质量，即清晰、准确、无噪声，以便能够准确评估模型的性d)可重复性：测试集应允许其他研究人员或开发者重复使用，以验证模型的鲁棒性和评估结果a)针对性：对抗样本应基于原始测试集生成，确保攻击针对特定模型，体现实际攻击场景的特b)多样性：对抗样本应包括不同攻击强度、不同攻击算法生成的样本，以全面评估模型在多种c)可控性：对抗样本的生成过程应可控，能够调节样本修改幅度等参数，以便测试不同攻击强d)一致性：对抗样本应与原始测试集保持类别标签一致，确保测试结果的可比性。e)可复现性：对抗样本集应允许其他研究人员或开发者使用相同方法和参数进行复现，确保评对抗样本攻击评测流程如图2所示，具体测b）构建评估指标体系：确定模型鲁棒性评估指标，以全面评估预训练图像识别类AI模型的对抗F1分数差异值E及对抗性示例置信度变化等核心指标，通过量化对抗样本攻击下模型的误分类表现、性能波动幅度与预测置信度稳定性，构建覆盖攻击效果、模型性能损失及判别稳定性的完整评估维度，实现对模型对抗攻击防御能力的全方位衡量。d）设计对抗攻击：根据测试目标，选择合设计对抗攻击分析结果评估模型响应实施攻击生成对抗样本9forDeepLearningModelsonImageCla[3]李欣姣,吴国伟,姚琳,等.机器学习安全攻击与防御机制研究进展和未来挑战[J].软件学报,2021,32(02):406-423.DOI:10.13328/ki.jos.0classification[C]//