T-CITIF 010-2023 内容安全检测人工智能系统鲁棒性测评规范 第1部分：图像

RobustnessevaluationspecificationI II 1 1 1 2 2 4 4 4 4 5 6 7 8《内容安全检测人工智能系统鲁棒性测评规范》分为以下请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本标准起草单位：国家工业信息安全发展研究中心、国家语音及图像识别产品质量检验检测中心、中国科学院自动化所、中移互联网有限公司、蚂蚁科技集团股份有限公司、同方知网数字出版技术股份有限公司、北京信源电子信息技术有限公司吉安分公司、北京信源电子信息技术有限公司大同分公司、大同市数字政府服务中心、中国科学院信工所、北京瑞莱智慧科技有限公司、罗克佳华科技集团股份有限公司、京东科技控股股份有限公司、北京信工博特智能科技有限公司、触景无限科技（北京）本标准主要起草人：朱倩倩、刘永东、李美桃、倪邦杰、刘雨帆、王英潮、王冠麟、林冠辰、崔世文、鲍晟霖、韩文、乔思渊、苏进军、韩杰、马国斌、马多贺、唐志敏、胡嵩智、韦云霞、薛学琴、1内容安全检测人工智能系统鲁棒性测评规范第1部分：图像本文件规定了用于检测图像内容安全的人工智能本文件适用于第三方检验检测机构、技术生产方和技术应用方对内容安全检测人工智能系统鲁棒下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适GB/T41867-2022界定的以及下使用机器学习算法自动识别图像、视频、文本、语音中的违法信息和不良信息的人工智能系统在任何情况下都保持其性能水平的特性，攻击样本的检测准确率越高，表示原始无风险样本originalsamp2错误检测攻击样本数量占已检攻击样本数量OSAR：原始样本检测准确率（OriginalSampleAccurASFAR：攻击样本错误接受率（AttackSampleFalseAcceptanceRate）ASAR：攻击样本检测准确率（AttackSampleAccuracyRat击样本指在不能够获取系统的权重信息和推理结果，仅基于先验条件下生成的本指在不能够获取系统的权重信息，但能获取系统推理结果条件下生成的攻击注：考虑被测单位提供信息真实性对测试结果的边缘各裁剪图像高度的0～20%，左右边缘各裁剪图像宽度的0～20%。3cv2.等4等当OSAR≥95%，系统鲁棒性性能等级对应分级要求见表2。测试样本分为原始样本和攻击样本。L0级原始样本包括有风险图像内容安全检测人工智能系统鲁棒性测试方法分为原始样本测试和攻击样本测试，其测试流程见图1。当原始样本测试OSAR≥95%时，在正确检测的原始样本中选取对应数量的测试样本生5原始样本测试测试软件程序入口读取原始样本读取攻击样本原始样本检测攻击样本检测输出检测结果输出检测结果否是否完成读取否是是否完成读取是是计算OSAR计算ASFAR否OSAR是否大于等于95%否否是否完成所有攻击测试否是是测试结束攻击样本测试L0级原始样本依次输入被测系统，若被测系统正确给出L0级原始样本类型，则判定为正确检L1级攻击样本依次输入被测系统，若被测系统正确给出L1级攻击样本类型，则判定为正确检攻击样本错误接受率ASFARL1。计算公式为ASFARL1=×100%，其中ASFARL1为L1级攻击样本错L2级攻击样本依次输入被测系统，若被测系统正确给出L2级攻击样本类型，则判定为正确检攻击样本错误接受率ASFARL2。计算公式为ASFARL2=×100%，其中ASFL3级攻击样本依次输入被测系统，若被测系统正确给出L3级攻击样本类型，则判定为正确检攻击样本错误接受率ASFARL3。计算公式为ASFARL3=×100%，其中ASF6按照攻击的可能性，分别对L1级攻击样本错误接受率ASFARL1、L2级攻击样本错误接受率7(二)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家(四)歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的(