TTAF 384-2026 图像生成模型安全测评技术规范

2026-10-19实施版权声明I 1 1 1 2 5附录A(规范性)模型评测实施示例 起草。本文件主要起草人：袁艳丽、王嘉、宋子骏、雷典、郭春颖1图像生成模型ImageGenerationModel基于深度学习算法，通过模型推理生成图像内容的人工智能系统，包括文本生成图像 (Text-to-Image)、图像扩展(Outpainting)、图像编辑(ImageEditing)、图像风格迁移(Style安全测评securityassessment深度伪造Deepfake2AI:人工智能(ArtificialIntT2I:文本生成图像(Text-to-Image)DPI:深度伪造防护指标(DeepfakePreIref——参考图像(编辑前的图像、或未损坏的目标);3图像结构(即相关性)——0xy4BI越偏离1(如>1.3或<0.7)表示偏见越严重。5Nzogic_error—检测到的逻辑或物理错误数量(如三只手、漂浮物体);Nrelations——全部被分析的对象关系数量。 (ContrastiveLanguage-ImagePre-training)的图文一致性检测方法，通过计算图像与文本描述之6.1评测工具(可选)6.1.1工具形态说明——集成评测平台：整合多类评测功能、支持流程化操作的Web平台、本地部署平台(含云端SaaS平台、私有化部署系统);——硬件辅助系统：结合专用硬件模块(如高性能计算卡、专用检测芯片)的一体化评测设备(适用于高算力需求的评测场景);——定制化工具集：针对特定评测指标或场景开发的轻量化工具组合(如仅用于隐私泄露检测的专用脚本集合)。1)对抗输入构造能力：能够生成多类型扰动输入，包括语义扰动、噪声扰动和结构破坏扰动62)攻击模拟能力：能够模拟不同强度、不同方式的攻击，以评估模型在受攻击场景下的表现。2)逻辑一致性分析能力：能够识别生成图像中违背物理规律、常识逻辑或场景关系的异常。1)提示词管理与输入生成能力：统一管理评测所需的提示集合，支持批量输入生成。g)可扩展与可移植能力。工具应支持： 明确评测目标与范围评测计划制定输入生成与任务调度模型推理与结果采集质量与事实性测试安全测试与对抗测试结果分析阶段指标计算与统计分析风险分析与问题识别评测结论形成复审与归档阶段评测结果复审文档与记录归档评测结果发布评测数据准备评测环境准备2)每条输入应进行编号管理，并记录完整元数据，包括输入形式、关键参数、批次标识及生成时间等。4)批量任务应通过统一的调度机制执行，调度过程应记录任务分配、执行状态及资源占用信息。3)模型在各类攻击下的行为表现应完整记录，包括响应内容、触发机制、异常输出及对应1)图像质量测试应按要求计算相应指标，并记录指标值、计算方法及版本信息。3)形成各项指标的统计图、分布图或聚类分析结果明确评测目标为检测模型违法违规内容生成率(ICGR),选取某扩散模型V1.0版本作为评测对象；准备评测数据集，包含1000条常规文本提示、200条高风险文本提示(涉政、暴恐、色情等相关描述，已做脱敏处理);选用具备违规内容识别能力的评测工具。统计自动化检测标注的违规图像数量为8张，经人工复核确认其中6张为违规内容；根据由专业复审团队复核评测过程及计算结果，确认无误后形成评测报告；归档评测数据、环境Advancesinneuralinformationprocessingsystems,2014,27.[3]BarrenoM,NelsonB,Josephlearning,2010,81(2):121-148.[4]SzegedyC,ZarembaW,SutskeverI,etal.IntriguingproparXivpreprintarXiv:1312.6199,201detection[J].arXivpreprintarXiv:1812.08685,201[7]JiZ,LeeN,Frigeneration[J].ACMcomputingsurveys,2023,55(12):1-38.2023,23(24).[9]CarliniN,WagnerD.Towardsevaluatingtherobustnessofneuralnetwoieeesymposiumonsecurityandprivacy(sp).Ieee,2017:39-57.asaperceptualmetric[C]//Proceedingrecognition.2018:586-595.[11]曹玉东，刘海燕，贾旭，等.基于深度学习的图像质量评价方法综述[J].JournalofComputerEngineering&Applications,2021,57(23).tostructuralsimilarity[J].IEEEtransactionsonimageprocessing,2004,13(4):600-612.scenedeblurring[C]//ProceedingsoftheIEEEconferencerecognition.2017:3883-3891.56(10):2135-2150.learningmodels[C]//2017IEEEsymposiumonsecurityandprivacy(SP).IEEE,2017:3-18.models[C]//30thUSENIXinformationandbasiccountermeasures[C]//Proceedingsofthe22ndACMSIGSACcomputerandcommunicationssecurity.2015:1322-1333.[19]纪守领，杜天宇，李进锋，等.机器学习模型安全与隐私研究综述[J].软件学报，2021,32(1):41-67.[20]国家互联网信息办公室.生成式人工智能服务管理暂行办法[S].北京：国家互联网信息办arXiv:2410.21276,2024.commercialgenderclassification[C]//ConferenceonfairPMLR,2018:77-91.andeditingwithtext-guideddiffusionmodels[J].arXivpreprintarXiv:2112.10741,2021.[24]RadfordA,KimJW,HallacyC,etlanguagesupervision[C]//Internationalconferenceonmachinel[25]KuznetsovaP,OrdonezV,Berdescriptions[C]//Proceedingsofthe50thAnnualMeetingoftheAssociationforComputLinguistics(Volume1:LongPapers).2012:[26]中国信息通信研究院.人工智能生成内容(AIGC)白皮书(2022年)[R].北京：中国信息[27]刘泽垣，王鹏江，宋晓斌，张欣，江奔奔.大语言模型的幻觉问题研究综述[J].软件学报，2025,36(3):1152-1185.[28]HuangL,YuW,MaW,etal.APrinciples,taxonomy,challenges,andopenquestions[J].ACMTransactionsonSystems,2025,43(2):1-55.