大模型安全测评体系与实践报告2026

大模型安全测评体系与实践报告大模型安全测评·体系构建·实践验证2026年9月编制2编制机构联合编制专家赵鸣无锡学院网络空间安全学院周波无锡数据集团有限公司严星宇国联民生证券股份有限公司李少鹏北京数字世界咨询有限公司张向征三六零科技集团有限公司邹权臣三六零科技集团有限公司孙林三六零科技集团有限公司魏晓雷三六零科技集团有限公司管铭三六零科技集团有限公司刘超三六零科技集团有限公司2026年9月编制3第一章产业背景：大模型规模化应用的安全挑战与测评需求6 1.1大模型加快进入真实业务场景6 1.2大模型风险影响不断扩大6 1.3大模型安全治理进入制度化阶段7 1.4当前大模型测评存在的主要问题7 1.5行业需要建立的四个共识8 1.6大模型安全测评的产业价值8第二章概念界定：大模型安全测评的内涵、对象与边界9 2.1什么是大模型安全测评9 2.2能力评测、安全测评与合规评估的区别9 2.3大模型安全测评的主要对象9 2.4不同大模型应用形态的测评差异10第三章风险图景：贯穿全生命周期的大模型安全风险10 3.1核心观点10 3.2五阶段风险全景11 3.3对测评的含义12第四章风险聚焦：大模型安全的五类重点风险124.1可靠性风险：它可能“答错”124.2安全对抗风险：它可能“被带偏”124.3数据与隐私风险：它可能“说出不该说的”1244.4业务执行风险：它可能“做了不该做的”134.5治理与合规风险：出了问题，可能“说不清、追不回”13第五章测评维度：大模型安全测评的指标体系14第六章方法路径：大模型安全测评的实施方法论146.1测评起点：业务场景，而非模型参数146.2测试集设计：四层测试集156.3判定方式：自动化与人工复核结合156.4测评指标：可比较、可决策156.5分级分类：场景化测评与差异化合格线15第七章结果应用：测评结论的转化与持续治理15第八章实践验证：360大模型卫士的落地与成效16 8.1以模治模、以测促防的产品理念16 8.2五道防线：把风险地图变成可执行的防护16 8.3实践数据与典型案例17 8.4权威认可17结语18附录主要法律法规、标准及参考文献19免责声明195随之从“说错一句话”扩展到泄露敏感信息、越权调用工具乃至错误执行真实业务模型足够可靠？答案不是凭感觉使用，而是通过覆盖全生命周期的安全测评，标准和相关安全检测机制陆续落地，大模型安基于公开资料与自身测评实践编制，面向政府、行业组织和企业，重点回答三个问题判断一·风险认知：大模型的风险不只在“说错话”，更在“做错事”。AI正从回答问题的工具，转判断二·发展节奏：AI跑得越快，安全测评越不能缺席。应用扩张与安全事件同步上升，发展与安全判断三·测评方法：不能用同一套试卷和同一条合格线考所有模型。不同模型、不同场景和不同风险等级，需要分级分类、场景化的测评体系，一判断四·治理机制：安全测评不是一次性验收，而是持续治理机制。它应贯穿模型上线前、运行中和变更后的全过程，形成“事前评测防风险、事中多层强防护、判断五·结果应用：测评结果不能只回答“得了多少分”。更要回答“能不能用、可以用在哪里、需判断六·价值定调：安全测评不是给发展踩刹车，将成为人工智能规模化应用的重要基础设施。同步推进，能力越强、接入越深越要分级管控，安全测评必须持续贯穿全生命周期，6一章分析大模型规模化应用的安全挑战、治理制度与产业共识；第二章界定安全测评边界；第三章呈现贯穿全生命周期的五阶段风险图景；第四章归纳五类重点风险；第评维度；第六章给出测评实施方法；第七章说明测评结论如何转化为准入、整改、复对政府与行业组织，建议推动分级分类测评、行业风险库与测评基准建设，服务提供者，建议把安全测评嵌入研发、发布、升级和运营全流程；对模型使用求1.1大模型加快进入真实业务场景从通用问答进入专业业务。大模型不再只是聊天工具，开始承担客服、法务咨询、金助、代码生成等专业任务。专业场景对准确性、合规性和责任边界的要求远高于从信息辅助进入业务流程。大模型从“提供信息”走向“执行任务”：智能体可以调数据库、发送邮件、创建工单、操作系统。模型错误不再停留在“说错一句话从公开服务进入政企内部系统。大模型加速进入政务大厅、企业内部办公、金融风控键场景，接触大量敏感数据和核心系统。一旦被攻破或误用，影响范围从个体用户扩1.2大模型风险影响不断扩大数据、知识库和系统连接扩大风险范围。模型接入知识库、数据库、邮件和工具后，攻服务及相关组件中发现，约10%的样本存在安全漏洞、约6%的样本7键级”模型，在ExploitBench评1.3大模型安全治理进入制度化阶段算法备案。要求大模型服务“先测后用、先备案后上线”，测评成为合大模型备案与登记管理要求。我国逐步形成“模型备案＋产品登记”的分类管理或者社会动员能力的生成式人工智能服务，按照相关规定开展安全评估，并履行算用已备案模型提供服务的应用，按要求开展登记。相关主体还需同时遵守网络安全信息保护等法律法规。具体法律责任应根据违法行为及所适用的法律条款判定，不全测评要求》等标准，形成“备案＋登记＋常态化重点行业大模型应用安全要求。金融、能源、政务、医疗等关键行业陆续出行业数据安全管理、电力监控系统安全防护等规定，大模型应用须满足行业级安全基国际背景：全球大模型安全评估框架。欧盟《人工智能法案趋同于“能力越强，越需要独立的、对抗性的1.4当前大模型测评存在的主要问题重能力跑分，轻安全风险。市场高度关注榜单排名，但能力高分不等于安全重内容合规，轻系统与业务风险。大量测评停留在内容审核层面，忽视提示8重通用题库，轻行业场景。通用题库测不出行业特定风险；金融、政务、医重上线前测试，轻持续复测。多数组织“上线测一次”即结束，但模型版本持续变化，问题可能在数月后才暴露，缺乏持续测评意味着风险长期重综合得分，轻风险处置。单一综合分数掩盖了风险分布，无法回答“哪里什么控制措施”；测评报告停留在分数清单层面，不能支厂商自测结果缺乏统一尺度。各厂商自测的口径、题库、方1.5行业需要建立的四个共识如果说前面讨论的是“应用和风险在怎么变”，这里要回答“行业应该认同共识二：能力越强、接入越深，越要分级管控。模型能力等级与潜在危害直部工具与系统权限后，风险还会进一步放大。因此，应综合模型能力、数据敏感操作权限确定测评强度与准入要求，为高能力、高权限模型设置与其风险等级相共识三：安全测评必须持续贯穿全生命周期。上线只是起点，模型版本、知披露的案例。只有把测评嵌入上线前、运行中和变更后的全过程，才能及时发现问共识四：测评必须与业务场景匹配。榜单排名反映的是通用能力，不能说务、金融、医疗或企业办公等具体场景；同一模型在不同场景下的风险表现试集与合格线都应围绕业务场景构建，“一张卷子考1.6大模型安全测评的产业价值为政府监管提供技术依据。测评提供可量化、可追溯的技术证据，支撑备为行业建立共同安全尺度。统一测评方法、指标与基准，促进结果互认9为企业选型和上线提供决策依据。企业依据测评结果选模型、定场景、设2.1什么是大模型安全测评大模型安全测评是以风险为导向，围绕模型及其数据、系统与业务连接，采对模型在真实场景中的安全性、可靠性、隐私保护与合规水平进行系统检验，论。它区别于能力跑分：回答的不是“这个模型有多聪明”，而是“这个模型本报告由安全研究机构基于自身实践编制，定位是面向政府、行业与企业的测评建立备案评测与安全检测机制，本报告将其作为必须接受的合规基线；在此之上场景、可落地执行的分级分类测评方法，两者2.2能力评测、安全测评与合规评估的区别安全测评考察“守不守得住”，关注对抗攻击下的边界、拒答行为察“合不合规”，关注备案登记、内容标识、数据与个人信息保护、行业监管补充：能力是底座，安全是底线，合规是门槛。本报告聚焦安全测评，并将合规要求2.3大模型安全测评的主要对象训练数据与微调数据。测评数据来源合规性、敏感信息、有害内容占比、偏见与数基础模型与微调模型。测评基础模型的能力基线、安全对齐与对抗鲁棒性；测评微调模模型输入与生成内容。测评输入侧的越狱、提示词注入等攻击防护，输出侧的违禁内容知识库是模型“说得对不对”的重要来源，也是模型接口与部署环境。测评接口暴露面、鉴权与权限配置、供应链组件可信度、部署配置安全防护与运营管理机制。测评内容安全护栏、告警与处置流程、2.4不同大模型应用形态的测评差异基于开源模型微调的行业模型。重点测评微调数据质量与合规性、微调后安全边界是调用第三方模型接口的应用。重点测评接入层防护：提示词安全、上下文过滤、与日志；模型本身的风险由提供商负责，但私有化部署的大模型。重点测评部署环境安全、权限配置、数据隔离与供应链组件安全面向公众与内部使用的大模数据、知识库和系统连接扩大风险范围。**模型接入知识件和工具后，攻击面从”模型输出”扩展到”系统连接”，提示词注入、越权调用受提示词注入攻击。知识库与工具配置进行安全测试，在开发过程中及时上线前阶段。开展覆盖内容、隐私、对抗、业务与系统的全面测评，确认达运行阶段。通过线上监测、定期抽测、红队演练与用户反馈闭环，及时发现能力漂3.1核心观点大模型的风险不是上线后才突然出现的，而是在每个阶段积累、传递和放大型放大，训练中的幻觉会带到部署环境，部署时开错的权限会在运行时造成3.2五阶段风险全景我们把大模型的全生命周期划分为五个阶段，每个阶段都有其图1大模型安全风险贯穿全生命周期的五个图1大模型安全风险贯穿全生命周期的五个阶段数据准备→注：基于大模型全生命周期各阶段主要安全风险梳理应用与运行集成与部署训练与推理持续运营与演进→→→隐私信息混入、错误信息沉淀、偏见与有害表达遗留、恶意数据投毒。测训练与推理阶段。这一阶段通过预训练、微调和安全对齐，提升模型能力并约束其括事实幻觉、复杂推理失误、训练内容记忆、偏见输出、越狱后突破安全限制。测评集成与部署阶段。这一阶段将模型接入知识库、业务系统、接口、账号权限和外部工具。括模型来源不明、组件被篡改、权限配置过大、接口暴露、版本变更失控。测评关应用与运行阶段。这一阶段模型以客服、办公助手、代码助手或智能体的形式处理真要风险包括提示词注入、知识库误引用、敏感信息泄露、工具调用越权、错误持续运营与演进阶段。这一阶段模型、提示词、知识库、外部工具和用户行为持续变化括模型表现漂移、知识过期、新攻击手法出现、异常输出累积、用户过度依赖。3.3对测评的含义风险分布决定了测评的形态：不同阶段的风险不同，测评的时点、内容和方法解决“能不能上”的问题，运行中监测解决“有没有出事”的问题，变更后复测解入新风险”的问题。全生命周期视角，是设计一切第三章按生命周期回答了“风险在哪里”，本章按风险类别回答“重点防范命周期视角互为补充：前者帮助识别风险源头，后者4.1可靠性风险：它可能“答错”大模型善于生成自然、连贯的语言，但自然流畅并不自动等于真实准确。可实错误、编造不存在的来源和引用；长文本理解偏差、复杂推理遗漏关4.2安全对抗风险：它可能“被带偏”攻击者不直接攻击模型参数，而是攻击它的“语言接口”。典型形态包括：恶意用过安全限制；恶意指令隐藏在网页、邮件或文档中，诱导模型违利用模型的工具调用能力，间接实施越权操作。随着模型从“对话”走向“执行”，4.3数据与隐私风险：它可能“说出不该说的”模型在对话中可能不当引用或泄露用户输入、上下文资料和知识库内容；不同权限出自身范围的信息；对话、日志和调用记录中可能残留敏感数据。知识库4.4业务执行风险：它可能“做了不该做的”数据；错误判断被自动流程放大；关键业务操作缺少人工确认和可回退机制。业务4.5治理与合规风险：出了问题，可能“说不清、追不回”容安全、个人信息、知识产权等要求未被纳入日常管理。治理与合规风错”或“做错”，但它决定了问题发生后能否定位、能否追责、能否整改，是组收束：五类风险共同构成大模型应用的防范重点。测评资源应优先投向别：面向公众服务的组织重点防可靠性、安全对抗与内容合规风险；接入业务系统测评维度核心考察主要测评内容典型指标关联风险安全可靠性测评是否真正理解并完成任务通用理解、问答、摘要、推理、生成、长文本处理正确率、任务完成率、回答稳定性可靠性风险（幻觉、错误信息）安全对抗与内容测评是否守得住边界有害请求识别、越狱与提示词注入攻击、违禁输出、越权执行攻击成功率、正确拒答率、误拒率安全对抗风险（被带偏）隐私测评是否会泄露敏感信息用户输入、知识库引用、上下文与日志脱敏、权限边界敏感信息泄露率、越权访问率数据与隐私风险（说出不该说的）业务测评是否真正解决场景问题真实任务完成、工具调用正确性、业务规则遵守、误操作防范任务完成率、工具调用准确率、人工介入率业务执行风险（做了不该做的）运营测评变更后是否仍然可靠版本升级、知识库更新、提示词与策略变化后的能力与安全回归回归通过率、性能漂移、问题复发率治理与合规风险（说不清、追不风险类别决定测评维度。本报告聚焦安全测评，不替代通用模型能力跑分评”只考察与安全使用直接相关的准确性、稳定性和关键任务完成情况。一五个维度，分别回答“结果靠不靠谱、边界守不守得住、数据会不会泄露、6.1测评起点：业务场景，而非模型参数有效的测评从业务场景开始：明确面向谁、解决什么问题、接触哪些数据、是6.2测试集设计：四层测试集一套完整的测试集由四层构成：基础题测试通用理解、问答、摘要、推理和实或脱敏后的工作任务，测试实际可用性；边界题测试模糊提问、极端条件、信息冲攻击题模拟越狱、提示词注入、敏感信息套取和越权操作。四层测试集分别对应能力6.3判定方式：自动化与人工复核结合和复杂业务判断；真实用户试用可以发现实验室中未暴露的实际问题。对高风险结果本、判定依据和修复记录，确保测评结论可6.4测评指标：可比较、可决策测评结果需要用指标量化：正确率、任务完成率、引用准确率衡量能力与可靠性否过度保守）衡量拒答行为质量；稳定性、响应速度、人工介入率衡量运营表现。指6.5分级分类：场景化测评与差异化合格线分级分类测评。根据模型能力及潜在危害、应用行业与业务重要性、数据敏感程度范围、系统权限及操作影响等因素，确定测评强度与准入要求，形成基同测评要求。高能力、高风险场景从严，低风险场景从场景化测评。金融、医疗、政务、教育等行业应增加行业专项测试集，落实“不能一型”。场景化测评的产出不是单一分数，