工业和信息化领域人工智能安全评测框架（2026版）

工业和信息化领域人工智能安全评测框架(2026版)中国人工智能产业发展联盟2026年10月发布单位中国人工智能产业发展联盟联合发布单位工业和信息化部人工智能标准化技术委员会、中国互联网协会、中国通信学会网络和数据安全专业委员会、工业信息安全产业发展联盟数据安全专业委员会、中国计算机行业协会网络和数据安全专业委员会、工业互联网平台创新合作中心参编单位中国信息通信研究院、国家工业信息安全发展研究中心、中国软件评测中心（工业和信息化部软件与集成电路促进中中国移动通信集团有限公司、中国电信集团有限公司、中国联合网络通信有限公司、深圳市腾讯计算机系统有限公司、北京火山引擎科技有限公司、北京百度网讯科技有限公司、蚂蚁科技集团股份有限公司、上海稀宇科技有限公司（MiniMax）、上海阶跃星辰智能科技股份有限公司、北京零一万物科技有限公司、范式智能技术集团股份有限公司、北京三快科技有限公司、吉利汽车研究院（宁波）有限公司、三六零安全科技股份有限公司、杭州安恒信息技术股份有限公司、北京神州绿盟科科技有限公司人工智能作为引领新一轮科技革命和产业变革的战略性技术，正加速向工业和信息化领域渗透融合，成为赋能新型工业化的重要驱动力。随着基础模型能力持续提升，人工智能应用正从内容生成、辅助决策加快向任务规划、工具调用和自主执行扩展，智能体、具身智能等新技术新应用加快发展，与生产系统、业务系统及物理环境的交互日益深入。人工智能技术和应用加速演进，对安全保障能力提出新的更高要求。数据、模型、基础设施等方面的共性安全风险，与智能体、具身智能等应用形态以及工业、电信等业务场景中的特定风险相互交织，可能沿数据流转、工具调用和业务执行等环节传导，影响系统运行、业务连续性乃至生产和人身安全。亟须建立与人工智能技术发展和行业应用相适应的系统化、规范化安全评测体系，提升风险识别和安全防护能力。为深入贯彻落实党中央、国务院关于人工智能发展的决策部署，坚持统筹发展和安全，加快推进人工智能赋能新型工业化，在工业和信息化部网络安全管理局指导支持下，中国人工智能产业发展联盟会同有关单位，研究编制并发布《工业和信息化领域人工智能安全评测框架（2026版）》（以下简称“评测框架”）。评测框架坚持问题导向、应用牵引，围绕通用安全、应用安全和业务安全明确评测内容，规范测试实施和结果评定方法，提出评测实施要求，为识别安全风险、评估安全水平、检验安全防护成效提供参考。 （一）通用安全 （二）应用安全 （三）业务安全 1一、评测框架概述人工智能安全评测是识别安全风险、评估安全水平、检验安全防护成效的重要手段。评测框架立足工业和信息化领域人工智能技术发展和应用实际，面向人工智能安全治理需求，围绕人工智能技术研发和应用过程中的安全风险，统筹评测内容、评测方法和评测实施，为规范安全评测实施、提升安全评测能力提供支撑，护航人工智能产业高质量发展。评测对象包括人工智能模型、应用系统及其相关运行环境。开展评测时，应根据对象的功能特征、能力水平、部署方式、数据处理活动、操作权限和业务影响，选取适用的评评测内容包括通用安全、应用安全和业务安全三个维度。通用安全涵盖数据安全、模型安全和基础设施安全，主要涉及人工智能研发应用中的基础共性安全；应用安全涵盖智能体安全和具身智能安全，主要涉及新型人工智能应用形态的安全；业务安全涵盖工业场景安全和电信场景安全，主要涉及人工智能与重点行业业务融合应用中的安全。三个维度相互衔接，可根据评测对象组合使用。业务场景测试应在适用的通用安全和应用安全测试基础上，进一步验证业务约束及防护措施的有效性。评测方法包括测试实施方法和结果评定方法。测试实施综合采用基准测试、对抗测试、场景测试等方法；结果评定根据测试内容和结果特征，采用程序化规则判定、裁判模型判定、人工判定或专家研判等方式。评测实施方面，规范评2内容应用安全评测方法建立安全评测体系护航产业高质量发展工业场景安全研发设计中试验证生产制造营销服务运营管理智能体安全权限安全行为安全记忆安全工具调用安全电信场景安全网络规划建设智能运维网络运营安全防御网络运维云资源智能调度词元服务具身智能安全感知安全行为安全人机交互安全数据安全通信安全数据安全模型安全基础设施安全底线红线歧视偏见模型幻觉代码安全硬件平台安全软件平台安全违法违规数据泄露对抗鲁棒迎合谄媚智算中心安全测试实施方法结果评定方法二、评测内容(一)通用安全依据国家标准《网络安全技术生成式人工智能服务安(1)底线红线3安全底线场景下的拒答与合规能力，确保模型输出不危害国家安全和社会稳定。测试数据采用底线红线专项测试样本。测试指标为内容有害率。（2）歧视偏见测试模型生成内容是否包含针对特定群体的不合理区别对待、贬损、排斥、污名化或刻板印象等歧视偏见。测试数据采用歧视偏见专项测试样本。测试指标为歧视偏见内容（3）违法违规测试模型生成内容是否符合法律法规要求，重点检测模型是否生成违法有害信息或被诱导用于实施违法违规活动，涵盖商业违法违规、侵犯他人合法权益等。测试数据采用违法违规专项测试样本。测试指标为内容有害率。（4）数据泄露测试模型在数据处理与输出过程中是否存在个人隐私泄露、商业秘密及组织敏感信息泄露等风险。测试数据采用数据泄露专项测试样本。测试指标为数据泄露率。2.模型安全模型安全主要关注人工智能模型在输出内容、代码生成、对抗鲁棒性和交互应答表现等方面的安全性和可靠性，重点评估模型幻觉、代码安全、对抗鲁棒和迎合谄媚等方面的风险。具体测试内容如下：测试模型在响应用户请求时是否出现幻觉现象，包括两4类：事实性幻觉为输出内容与客观事实不符；忠实性幻觉为输出与给定上下文、参考信息不一致。测试数据采用事实性和忠实性幻觉专项测试样本。测试指标为事实性幻觉率、忠实性幻觉率和总幻觉率。（2）代码安全测试模型在代码生成、改写、解释和分析过程中是否引入安全漏洞、生成恶意代码、提供高风险操作指导，或未能识别代码中已有的安全风险。测试数据采用代码安全专项测试样本。测试指标为安全代码生成率、恶意请求拒答率。（3）对抗鲁棒测试模型在对抗场景下抵御恶意攻击、防止安全约束被绕过的能力。测试数据采用对抗专项测试样本，涵盖提示词注入、反向诱导、多轮诱导、转译攻击、角色扮演、场景设定、输入扰动、内容嵌入、模型反演、模型窃取、成员推理等攻击场景。测试指标为对抗攻击成功率。（4）迎合谄媚测试模型在交互中是否存在为迎合用户而违背客观事实与安全准则的风险，重点检验模型在用户施压、情绪裹挟等情形下，是否输出过度奉承、不当妥协或违背专业判断的内容。测试数据采用迎合谄媚专项测试样本。测试指标为迎3.基础设施安全人工智能基础设施安全关注支撑人工智能训练、部署、推理和运行的底层环境，主要包括硬件平台安全、软件平台5安全、智算中心安全等内容，为人工智能系统提供基础运行测试人工智能系统所依托的芯片、传感器、计算设备等硬件平台是否安全可信、稳定可靠，重点检测硬件设备在安全设计、物理防护、抗攻击能力、数据完整性和接口安全等方面是否存在风险。测试数据采用硬件平台安全专项测试样本，涵盖接口鉴权、固件完整性验证、故障注入和安全隔离验证等。测试指标包括硬件平台缺陷数和硬件平台安全风险（2）软件平台安全测试人工智能系统运行所依托的系统软件、开发框架、运行环境和软件供应链等软件平台是否具备安全防护能力，重点检测软件平台及依赖组件是否存在漏洞风险、配置不合规、开发框架不安全、供应链不可信、环境隔离与访问控制失效、权限管理不足、数据保护不充分或安全审计缺失等风险。测试数据采用软件平台安全专项测试样本，涵盖漏洞与配置检测和隔离与权限验证等。测试指标包括软件平台缺陷数和软件平台安全风险率。（3）智算中心安全测试面向人工智能的数据中心、智算中心和算力网络是否具备安全可靠的运行保障能力，重点检测其在访问控制、加密传输、安全防护、应急响应、资源调度和运行连续性等方面是否存在风险。测试数据采用智算中心安全专项测试样6本，涵盖隔离验证、防护测试、负载测试等。测试指标为智算中心安全风险率。（二）应用安全应用安全关注模型驱动的人工智能系统在实际运行、交互和任务执行过程中的安全性，重点评估系统在权限控制、记忆管理、工具调用、行为规划与执行、数据处理等方面的安全风险防控能力。1.智能体安全为确保智能体在实际应用中安全可控，智能体安全重点评估智能体在权限申请与使用、任务执行、记忆读写和工具调用等方面的安全性与可控性。测试智能体在任务分解与权限申请、调用过程中，是否存在越权访问、权限过度申请等不安全情况。测试数据采用智能体权限安全专项测试样本。测试指标为权限违规率。（2）行为安全测试智能体执行具体任务时，其行为是否产生有害或危险后果，重点关注任务执行过程中的行为风险，包括执行删除数据、篡改配置等高风险或不可逆操作，未经授权主动实施网络扫描、漏洞利用，发送恶意请求等危害网络安全的攻击性行为，以及多步任务中风险逐级累积放大，并产生偏离用户意图的连锁性危害。测试数据采用智能体行为安全专项测试样本。测试指标为行为风险率。（3）记忆安全7测试智能体在记忆的写入、存储与读取过程中是否存在敏感信息泄露、记忆被投毒篡改或跨会话越权留存等安全风险。测试数据采用智能体记忆安全专项测试样本，涵盖敏感信息留存、记忆注入攻击、跨会话信息泄露等场景。测试指标为记忆风险率。（4）工具调用安全接口等供应链环节时，能否安全可控地完成工具调用，包括是否做出安全的调用决策、是否构造安全的调用参数，以及能否识别并抵御工具侧嵌入的提示注入、安全漏洞与恶意指令，防止被诱导执行违规或危险操作。测试数据采用智能体工具调用安全专项测试样本，涵盖工具提示注入、代码审计、恶意指令诱导等场景。测试指标为工具调用风险率。2.具身智能安全具身智能安全聚焦以人工智能模型承担感知、规划或决策功能，集成本体硬件、多模态传感器、运动控制与环境交互模块的具身智能系统，覆盖从环境感知到物理执行的全链路安全，重点评估系统在感知、行为、人机交互、数据和通信等方面的安全性。测试具身智能系统面对遮挡、噪声、对抗干扰及复杂动态环境时，能否准确识别人员、物体、障碍物和环境状态，是否出现危险场景识别失效情况。测试数据采用具身智能感知安全专项测试样本，涵盖目标遮挡、极端环境及对抗干扰8等场景。测试指标包括危险目标漏检率和对抗攻击成功率。（2）行为安全测试具身智能系统在运动控制、路径规划和操作执行过程中，是否能够保持动作稳定性和边界可控性，避免碰撞、跌落等危险行为，并在软硬件故障或突发事件发生时及时进入安全状态。测试数据采用具身智能行为安全专项测试样本，涵盖动态障碍和任务中断等场景。测试指标包括危险行为发生率和安全停机成功率。（3）人机交互安全测试具身智能系统在与人员进行语言、动作及物理接触等交互时，能否正确理解用户意图、识别人员状态并保持安全距离和适当作用力，是否存在危险引导、非预期接触等情况。测试数据采用具身智能人机交互安全专项测试样本，涵盖恶意诱导、近距离协作等交互场景。测试指标包括危险指令执行率和安全距离违规率。（4）数据安全测试具身智能系统在环境采集、数据存储、模型训练、记忆管理和信息输出过程中，是否遵循最小必要原则，是否存在未经授权采集、敏感信息泄露、数据滥用等风险。测试数据采用具身智能数据安全专项测试样本，涵盖人脸、声纹、位置、家庭环境、身份信息等敏感数据的采集、存储、查询和删除等场景。测试指标包括敏感数据违规采集率、隐私信息泄露率和未授权访问成功率。（5）通信安全9测试具身智能系统与云端平台、边缘设备进行通信时，能否保障身份可信、数据完整和传输保密，评估其抵御非法接入、数据篡改和通信干扰等风险的能力。测试数据采用具身智能通信安全专项测试样本，涵盖异常接入、传输异常及通信中断等场景。测试指标包括非法接入成功率和通信异常（三）业务安全业务安全关注人工智能系统在具体行业与业务流程中实际运行时，是否存在数据、模型和应用的安全风险，是否会引入新的业务风险，放大既有业务隐患或对生产经营活动产生负面影响，重点关注人工智能对业务决策、流程执行和运营稳定性的影响。在应用场景上，评测框架以工业、电信场景作为代表性场景展开说明，同时可拓展至其他行业场景。1.工业场景安全工业场景安全关注人工智能在研发设计、中试验证、生产制造、营销服务、运营管理等关键环节中的全流程安全，强调其在复杂生产系统中是否具备可靠、可控、稳健的决策与支撑能力。包括以下典型场景：测试在研发设计环节处理敏感设计数据、生成设计方案和图纸文件时是否存在数据泄露、数据污染、错误生成及内容篡改等风险。测试数据采用研发设计专项测试样本，涵盖重要数据、错误设计样本、设计方案验证数据及工程图纸文件等。测试指标包括重要数据泄露率、模型输出偏离程度、设计方案错误率和对抗样本检测拦截率。（2）中试验证环节测试在中试验证过程中是否存在非授权访问、知识库投涵盖不同权限级别用户访问请求记录、工业知识库数据、人工干预触发条件库及仿真结果数据集等。测试指标包括越权访问请求拒绝准确率、投毒数据识别准确率、异常场景人工干预触发准确率和控制权安全移交成功率。（3）生产制造环节测试在生产制造过程中处理时间序列数据、视觉检测数据和调度指令时是否存在投毒攻击、非法操作和错误执行风险。测试数据采用生产制造专项测试样本，涵盖工业生产历史数据和实时数据、缺陷检测数据集、调度指令及人工确认触发条件库等。测试指标包括投毒样本查全率和查准率、缺陷识别准确率、非法指令拦截率、恶意调度指令检测率和人工确认触发准确率。（4）营销服务环节测试在响应用户请求时是否存在泄露个人隐私、输出违规内容，或因恶意提示词攻击导致异常输出等风险。测试数据采用营销服务专项测试样本，涵盖个人隐私信息、用户交互数据及风险问答样本等。测试指标包括敏感信息识别准确率、风险请求拒绝率和内容合规率。（5）运营管理环节测试在设备运行监测、供应链协同和运营管理过程中是否存在未授权访问、敏感数据泄露、数据篡改以及数据完整性破坏风险。测试数据采用运营管理专项测试样本，涵盖设备运行、供应链协同、运营管理及异常访问等场景。测试指标包括数据访问控制准确率和敏感数据保护有效率。2.电信场景安全电信场景安全关注人工智能在网络规划建设、网络运营优化、网络运维、云资源智能调度、云业务智能运维、云业务安全防御、信息服务和词元服务等电信业务场景的全链路安全，强调通信稳定、实时调度可信、通信内容合规、用户服务安全。包括以下典型场景：测试人工智能应用在基站选址、网络扩容等网络规划建设过程中是否存在地理信息泄露、规划结果偏差过大、资源分配不合理、模型受对抗攻击误导及规划方案不可解释等风险。测试数据采用网络规划建设场景专项测试样本，涵盖基站地理信息数据、网络拓扑数据、历史扩容记录、频谱规划数据、风险选址样本、边界条件异常数据及对抗测试样本等。测试指标包括网络规划建设场景下输出方案的准确率和误差偏离幅度，决策准确率和误判率。（2）网络运营优化场景测试人工智能应用在投诉处理、业务开通、营销内容生成、产品推荐、参数调优等网络运营优化过程中是否存在输出违法不良内容、推荐结果偏差、参数调优失控、用户隐私泄露及恶意提示词攻击等风险。测试数据采用网络运营优化场景专项测试样本，涵盖用户投诉记录、业务开通请求数据、营销内容样本、产品推荐数据集、基站参数历史数据、无线环境数据、用户感知数据、风险问答样本及对抗测试样本等。测试指标包括网络运营场景下输出内容的合规率、输出结果的准确率，网络优化场景下优化方案的准确率、降级回退成功率及回退时延和决策日志完整可追溯率。（3）网络运维场景测试人工智能应用在网络故障预测、根因分析、智能巡检等运维过程中是否存在故障漏报、根因定位偏差、巡检结果遗漏、告警数据被篡改及运维权限越权等风险。测试数据采用网络运维场景专项测试样本，涵盖设备告警数据、性能日志、巡检图像数据、历史故障案例、根因分析验证数据、边界故障样本、告警篡改样本及对抗测试样本等。测试指标包括故障漏报率、根因定位准确率、巡检遗漏率、告警数据篡改检测率、运维权限违规率和故障预测准确率。（4）云资源智能调度场景测试人工智能应用在云资源自动化部署、配置优化、弹性伸缩、容器调度等调度过程中是否存在策略生成错误、资源分配失衡、服务连续性中断、调度指令被注入恶意参数及资源越权分配等风险。测试数据采用云资源智能调度场景专项测试样本，涵盖算力资源分配需求数据、容器部署配置数恶意调度指令样本及边界负载测试数据等。测试指标包括调度策略准确率、资源有效利用率、业务连续性保障率、恶意调度指令检测率、配置漂移检测率和资源越权分配拒绝率。（5）云业务智能运维场景测试人工智能应用在云业务异常检测、故障预测、根因分析、修复建议等运维过程中是否存在故障漏报、根因定位偏差、修复建议错误、日志数据被篡改及异常检测阈值被绕过等风险。测试数据采用云业务智能运维场景专项测试样本，涵盖监控指标数据、日志数据、告警事件记录、历史故障案例、修复建议验证数据、边界异常样本、日志篡改样本及对抗测试样本等。测试指标包括异常检测准确率、故障预测准确率、根因定位准确率、修复建议错误率、日志篡改检测率和运维权限违规率。（6）云业务安全防御场景测试人工智能应用在威胁检测、恶意软件检测、入侵防御等防御过程中是否存在威胁漏报、正常流量误拦截、恶意软件逃逸、安全日志被篡改及威胁情报被投毒等风险。测试数据采用云业务安全防御场景专项测试样本，涵盖网络流量数据、安全日志、威胁情报数据、恶意软件样本、正常业务流量样本、投毒威胁情报样本、边界攻击样本及对抗测试样本等。测试指标包括威胁漏报率、正常流量误拦截率、恶意软件逃逸率、安全日志篡改检测率、投毒威胁情报识别率和防御策略绕过检测率。（7）信息服务场景测试人工智能应用在信息发布、内容生成、传播管控等服务过程中是否存在发布违法有害内容、生成过时或错误信息、传播虚假信息、侵犯知识产权及泄露用户隐私等风险。测试数据采用信息服务场景专项测试样本，涵盖用户交互数据、信息发布样本、内容生成请求、知识产权数据集、虚假信息样本、过时信息样本、风险问答样本、恶意提示词样本及对抗测试样本等。测试指标包括生成内容有害率、生成错误内容率、隐私泄露率、风险请求拒绝率和恶意提示词攻击（8）词元服务场景测试词元服务是否安全可信，包括模型真实性、服务可用性、计费透明度和数据安全等方面。测试数据采用词元服务场景专项测试样本，涵盖模型调用、并发请求、计量计费及数据安全等场景。测试指标包括模型调用一致率、接口请求成功率、计量计费准确率和数据安全测试通过率。三、评测方法开展工业和信息化领域人工智能安全评测，应当根据不同评测对象安全风险特点，围绕通用安全、应用安全和业务安全三大维度评测内容，合理选择测试实施方法和结果评定方法。评测应明确各项指标统计口径，可设定合理的误差范围。测试实施主要采用基准测试、对抗测试和场景测试，结果评定主要采用程序化规则判定、裁判模型判定、人工判定或专家研判。不同方法应当相互补充，必要时进行交叉验证。各测试项有特殊方法要求的，应结合具体情况进行调整。1.基准测试底线红线、歧视偏见、违法违规、数据泄露、模型幻觉和迎合谄媚等通用安全测试内容，主要采用基准测试方法，并根据需要开展对抗测试。通过构建具有明确测试目标和预期安全行为的测试数据集，向被评测模型或系统输入测试问题、任务或数据，观察并记录其输出和运行表现。测试数据应覆盖正常样本、风险样本、边界样本和必要的对照样本，并根据风险类型、应用场景、语言、模态和交互方式等进行合理分布。对于具有随机性的模型或系统，可在相同或等效条件下开展多次测试。2.对抗测试代码安全和对抗鲁棒等通用安全内容，主要采用对抗测试方法。通过构造恶意输入、异常条件、规避方式或攻击场景，检验被评测模型或系统在受到诱导、扰动或攻击时保持安全边界和正常运行的能力。对抗测试应根据评测对象合理选择提示词注入、多轮诱导、输入扰动、对抗样本、数据投毒、权限绕过和恶意指令注入等方法。涉及实际系统操作、工具调用或物理行为的，应在隔离、沙箱、仿真或经授权的封闭环境中开展。3.场景测试硬件平台安全、软件平台安全和智算中心安全等通用安全，智能体安全和具身智能安全等应用安全，以及工业、电信场景安全等业务安全测试内容，主要采用场景测试方法，并结合基准测试、对抗测试、漏洞检测、仿真测试、业务数据回放和业务结果校验等方式开展。通过构建与实际应用相近的任务、系统和业务环境，检验人工智能系统在真实或模拟运行条件下的安全表现。涉及权限访问、记忆读写、工具调用和外部接口的，应结合任务执行、调用轨迹、操作日志和环境状态变化开展测试；涉及具身智能或工业、电信等业务场景的，可结合仿真测试、故障注入、专业工具检测和业务结果校验等方式开展。（二）结果评定方法1.程序化规则判定对准确率、拒答率、泄露率、攻击成功率等可量化或具有明确判定规则的指标，主要采用程序化规则判定。依据预先设定的规则、标准答案、指标阈值或安全约束，通过关键词匹配、标准答案比对、专用工具检测、日志分析、行为轨迹核验和环境状态比对等方式，对测试结果进行自动判定。所采用的规则、程序和工具应与测试目标相适应，并记录其