AI安全治理技术白皮书（中文机翻）

-安全源于网络，用智慧驾驭人工智I皮书5G-A×AI开发计划项目人工智能安全治理技术框架研究源成员中国移动、HKT、YTL、北京百度网讯科技有限公司、北京奇虎科技有限公司、华为技术有限公司、新H3C科技有支持成员MediaTek、清华大学、TUVRheinland、青年AI保密性：本文件可能包含机密信息，仅限“保密级别”中列出的人员访问。未经GTI事先书面授权，不得全部或部分使用、披露或复制本文件；获得授权的人员仅可将本文件用于符合该授权范围的用途。GTI对本文件所载信息的准确性、完整性或及时性不承担任何责任。本文件所载信息可能随时变更，恕不另行通知。文档历史记录会议编号修订版目录2026-09-01版本1.0人工智能正迅速融入经济与社会运营体系，并驱动着各行业的数字化转型。随着人工智能系统的规模不断扩大，现代人工智能应用依赖于数据流水线、计算基础设施、软件生态系统、外部工具、数字身份以及相互关联的业务流程。因此，安全风险远不止于模型输出本身；基础设施中的漏洞、权限滥用、恶意数据操纵、自主智能体的行为以及供应链依赖性，均可能影响人工智能系统的可靠性与可信度。传统治理机制在很大程度上是为传统信息系统设计的，往往难全球范围内，各国政府、标准组织、企业及科研机构正在加速推进人工智能治理框架的构建。SafetyhisehisetionacctansuriarequrornaoureEfngytyventifeth"1irotencabncctat-9eitoilityreasiveAId'e,transparency,robustneinglyrecognizedasessgovernancemustbalanceremainscontrollabletrust“AIntstnNsup,-SecurityGovernancehroughoetworks',uttheentirelifehroughoetworks',portlargportlargwmwmi,privialrnnovorthyeworcleoithIentT,.CSCationforRiskialTedThsby，andlsumRMOSatfom‘与,.CSCationforRiskialTedThsby，andlsumRMOSatfom‘与valueesponsibleanagementocietyTointegratescusingonShift左右化.这些重大.fAIsystemntelligence'hispropos.发展趋势、治理挑战、战略方针、实施路径以及构建安全、可信且可持续的人工智能生态系统所必需的协作倡议。V文档历史记录 前言 V1人工智能发展趋势与全球治理格局 11.1发展趋势：加速技术演进，迈向系统性与代理型人工智能 11.2全球视野：治理规则正在逐步成型 11.3行业视角：多元利益相关方的协同探索 22风险与挑战：AI安全治理面临五大重大变革 32.1未知重于已知 32.2攻击频次超过防御力度 42.3技术演进速度超越治理进程 42.4分歧效应优于市场共识 52.5行为优先于内容 53人工智能安全治理总体方法 7 8 9 9 9 3.3.3全面协同治理方向 3.4治理能力评估：六大能力维度 4AI安全治理倡议 4.1平衡高质量发展与高水平安全防护 4.2构建robust且可靠的运营基础 4.3将内源性治理贯穿于整个生命周期 4.4培育开放、协作的安全生态系统 缩写词与首字母缩写词 参考文献 1人工智能正成为推动经济与社会变革的核心驱动力。技术进步、产业应用与治人工智能开发正从单模型性能优化转向构建集成了算法、计算能力、数据、工具链、智能体及工程实践的系统级能力。platforms.LLM,multi-raction,longcontex,planning,coordination,exexecution.Agentunderstandgoals,deco模态与复合运算：AI运算需执行特定操作ks,invoketools,inTST以及EeractPublisatool是一learnfromfeedbackoperations,deploymenprocessadaptationns.accesscontrol,andsecuns.oveAItowardtosystemsthat款涉及Envic服务治理的工具。ronments,andandnetwork,e,integration,1.2全球视野：治理规则正在逐步成型从全球治理的角度来看，主要国家、国际组织、标准机构及行业利益相关方正在加速制定人工智能治理规则与实践方法。当前的工作重点涵盖风险分类、可信度评估、数据治理、模型透明度、问责边界、内容溯源与标注、技术标准以AI安全治理正沿着两个紧密相关的方向发展。第一是AI赋能安全——人工智能正成为强化安全能力、支持漏洞发现、威胁分析、安全运维及风险评估的重要驱动因素，其应用依托于智能分析、自动化检测和决策支持技术。第二是AI安全——随着AI系统的功能范围和部署边界持续扩展，AI系统的自身安全性日益受到重视。与模型安全、数据安全、智能体行为、智能体间通信泄露以及供应链依赖性相关的风险，正成为安全治理中的重点优先事项。应对这些风险需要2通过风险评估、全生命周期管理及运行时控制机制，来提升AI系统的安全性与可信度。人工智能治理正从基于高层级原则和自愿性倡议的阶段，迈向一个更为成熟的阶段——这一阶段融合了制度安排、标准制定、技术评估以及监管实施等要素。尽管各国及各地区在治理方式上存在差异，但围绕安全性与可信度、风险控制、明确的问责机制、以人为本的发展理念以及开放协作等议题，已逐渐形人工智能治理需要政府、基础设施提供商、科技企业、安全供应商、标准组织、科研机构及终端用户之间的通力合作。没有任何单一利益相关方具备足够数字基础设施提供商发挥着尤为重要的作用，因为人工智能系统.与此同时，跨行业协作有助于促进知识共享、标准化、系统互操作性以及协同风险管人工智能治理的长期成功，取决于建立能够促进合作、同时为创新保留灵活性的机制。3人工智能的大规模部署正在从根本上改变安全风险的性质。治理挑战日益源于模型、数据、基础设施、权限及运营流程之间的相互作用。因此，治理方法必五大治理变革一览01未知重于已知突发性行为与复杂的系统交互作用使得在部署前难以准确预测相关风险。人工智能降低了漏洞发现、社会工程学攻击以及协同攻击行动的成本。新的架构与应用场景的演进速度超过了标准、规则及治理机制的更新速度。共享原则已然存在，但监管工具、风险边界及标准仍处于分散状态。05行为优先于内容风险从合规性输出转向可控操作、权限及执行链。现代人工智能系统呈现出往往难以预测的涌现性行为。诸如长上下文推理、内存管理、外部工具调用以及多智能体协作等能力，为实际运行环境引入了不确例如幻觉、即时注入攻击、客观目标偏差以及意外的行为结果。由于这些风险在开发阶段并不总能被识别，因此治理框架必须支持持续监控、运行时评估以因此，治理机制应从单纯的静态规则匹配模式演进为包含部署前风险评估、持续运行时监控、动态风险评估以及运行时校准在内的综合体系。当模型、数据、工具权限或应用场景4等关键要素发生变化时，应触发重新评估机制，从而确保治理措施始终与人工智能系统的2.2攻击频次超过防御力度人工智能正深度融入软件开发、安全测试及网络作战领域。漏洞发现方式正从依赖专家人工分析转向采用支持大规模扫描、自动化验证及持续运维的智能工作流。恶意攻击者可利用人工智能加速漏洞发现、漏洞利用验证及攻击链编排，从而降低攻防准备成本与实施门槛；而防御方则需在保障业务连续性、系统兼容性与运营稳定性之间寻求平衡，这不仅延长了应急响应链，也扩大了攻随着人工智能进一步融入云计算、移动网络及边缘计算领域，依赖固定边界防.e,securitycapabilities因此，该技术演变自分布式遥测技术；在通信网络中，用于人工智能系统的传输策略adjustmentrieaometerfuturndcoughomputinginfrastructure自主智能体间的交互作用正逐步模糊传统的网络边界。安全治理perational-statesensin.arddynamictrustenabledwillbefurtherembedded,formingadaptiveruntimeg,entityverification,and2.3技术演进速度超越治理进程技术创新的推进速度往往快于标准、法规及治理机制的演进。人工智能正从单纯的单模型调用模式，逐步发展为一个集成了多种能力、连接了多个系统，并嵌入到多个运营环节中的综合性技术体系。其功能范围正从文本生成扩展到多模态理解、代码生成、工具使用及任务规划；其应用场景也从助理式问答延伸随着技术形态、应用场景及运营模式持续演变，治理规则、评估方法、问责边界及审计机制均面临持续调整的压力。因此，治理机制需突破对固定规则的简单照搬，转向一种融合基于风险的管理、原则导向的治理以及动态适应能力的新型模式。治理要求也应从单纯的内容合规性扩展至数据流、权限使用、外部5连接、行为流程及问责链条等维度。为弥合治理差距，需实施全生命周期访问控制、动态行为校准、实时风险纠偏以及持续评估与审计等措施。全球各主体普遍认可诸如共同利益、以人为本的发展、安全、可靠性、透明度、问责制、公平性、包容性、人本监督以及风险治理等原则。然而，不同国家在发展阶段、产业基础和监管体系方面的差异，导致了在监管强度、政策工具、风险边界、责任分配及标准体系等方面存在不同的治理路径。欧盟更侧重于风险分类、合规义务和强制性监管；美国则更注重风险管理框架、技术指南、行业实践以及创新与治理之间的平衡；新加坡与英国正在探索更为灵活的.lsotakeomplianSO/IECnlsotakeomplianSO/IECnshapcetchleyligence,NISTAIRMFemphasizeefsIoframeworks与各项倡议侧重于风险分类、风险管理流程及管理体系；此外，还涉及人工智能伦理以及BIntacIleel。theestablishmentofA.UNESCORecommendati.,e.Thuirem,req42001申报人IaddreEUentsessestheI适用于ation,TUTUA展望未来，需加大力度推动构建互操作性标准框架、评估方法论、接口规范及协调机制。这将有助于不同利益相关方就风险识别、信息共享、事件响应及责随着人工智能逐步应用于运营、制造、自动驾驶及检测等领域，模型生成的判断与指令日益成为系统配置、设备操作及流程决策的组成部分。因此，风险从单纯的合规性要求转变为可控制的行为。错误代码、配置错误、感知异常、数6感知-决策-执行链可能导致数据泄露、系因此，组织必须确保人工智能所采取的行动始终处于授权范围内。治理机制应涵盖访问控制、审批流程、异常检测、回滚能力以及全面的审计机制。其目的为应对人工智能安全治理领域的五大重大变革，我们提出“1-3-9”人工智能安全治理框架。传统的基于单一维度的治理方法(侧重于模型安全、内容安全及应用保护)已不足以应对由系统性人工智能与智能体人工智能所引发的跨模型、跨数据、跨工具、跨计算及跨利益相关方风险；因此，人工智能安全治理正向一种更综合的治理模式转变，该模式涵盖基础设施支持、智能治理、应用该框架基于不断演变的全球人工智能治理格局以及大规模人工智能部署所对应智能治理”以及“左移协同治理”。该框架由一个共同愿景、三种战略方法和九条发展路径构成。通过将安全要求融入基础设施支持、智能能力治理及行业应用生态系统之中，该框架与NISTAIRMF、ISO/IEC42001等国际框架相协同，为将人工智能安全治理原则转化为实际实施方案提供了切实可行的参考依据。TellecommunicationComputing8赋能人工智能造福社会的驱动因素人工智能正迅速融入生产、日常生活及社会治理领域，成为驱动新生产力发展、构建数字社会以及推动治理体系现代化的重要力量。人工智能安全治理是确保人工智能在发展过程中始终保持安全、可信、包容、有益且高质量的关键支柱。在数字化与智能化生产、数字化与智能化生活以及数字化与智能化治理等关键应用场景中，所有行业利益相关方均需共同履行各自职责，提供基础性支持、安全保障以及场景赋能服务。他们应携手成为人工智能良性发展的基石当AI成为manufacapabilitiestransformaticapabilitiesmescturhaontop时ve供应体系成为关键架构层中的协调机制——这是充分发挥协同开发与实施优势、实现计算安全研发运营所必需的要.Itirom.nddesign,productionmanagement,security素。industrialintelligentg,data,andplatformcapabilitiesalongsideAIcapabilitiesalongside随着智能家居、智能终端及虚拟数字分身等应用的日益普及，人工智能服务亟需为个人及家庭提供更robust的安全保障措施。当前亟需加强面向公众的全方位安全防护体系；安全治理机制应贯穿于智能产品设计、服务运营及用户交互的整个流程之中，从而加强对用户数据、服务内容、身份认证及终端访问的保护。此举可确保为面向公众的AI应用程序维护清9随着政府服务、城市运营、公共安全及应急管理部门纷纷引入人工智能技术，跨行业、跨区域的协作变得至关重要。有必要推动人工智能能力与安全能力与各类行业应用场景深度融合，为治理现代化该框架通过为连接性、计算及智能服务构建安全可靠的基础，旨在支持构建一该框架基于三大战略原则构建：将安全性根植于网络、以智能治理人工智能，以及实施“左移协同治理”。这三项原则共同构成了一种全面的管理方法，用《基于网络的安全防护》强调将数字基础设施作为人工智能安全治理的基石。从大规模人.工智能部署的角度来看，人工智能依赖于连接性、计算能力、信任机制、数据、模型及应用等要素的协同支持。其中，连接性、计算能力与信任机制对于实现安全、可靠的人工智能运行至关重要，也是网络运营商能够提供基础性支持的关键领域。因此，安全要求应嵌入到连接链路、计算环境、交互入口点及业务工作流中。这使得安全能力能够与人工智能运营同步部署、监控和执行，从而在整个实际《用智能治理人工智能》强调利用人工智能技术能力来强化人工智能安全治理。随着各类模型能力的不断涌现、智能体的自主性日益增强、攻击手段日趋自动化，以及风险在各类系统链中广泛传播，治理能力必须与不断演变的风险所具有的速度和复杂性相匹配。面向安全的AI模型、智能感知、动态评估、行为分析、态势感知以及策略编排等技术，可用于持续识别、评估并干预与AI相关的风险的根源、行为及发展趋势。这些技术与持续、自动化的安全验证手段（包括红队渗透测试、攻击模拟及风险验证）相结合，有助于发现潜在风险、优化防护策略，并构建一个涵盖这使得治理模式能够从基于经验的人工监督，转向人机协作、智能判断与主动防御。Shift-Left协同治理强调将安全治理机制尽早融入AI开发与应用的整个流程中，通过源头预防与流程管控来减少风险累积。鉴于AI安全治征，该治理模式需要对核心要素、生命周期各阶段以及多元化的利益相关方进.icResponsibilitiesshouldotherrelevantactorsaccountabilitymechanibeclearlydefnedamongicResponsibilitiesshouldotherrelevantactorsaccountabilitymechani.Inhigh-risksenarios,humanoversight,ployeinteatArrIsveusntippleoin,and.smsshouldbestrengthenedtoensurethacations确保系统可控性与责任可追溯性；该方法有助于构建一种以明确的责任划分、3.3发展路径：三向九径保护、智能治理及生态系统协作。这些路径将战略原则转化为具体的实施机制。九条发展路径01可信连接性03基于智能的边界控制TrustedConnectivity作为第一道防御屏障，将可信连接作为安全AI操作的入口点。它为用户、终端设备、设备、代理及行业应用建立可信的身份与访问机制，并通过持续身份验证、动态授权及行为验证来强化访问控制，从而阻断未安全计算资源通过将安全计算能力作为训练、推理及执行的基础，从而强化了基于智能的边界控制通过价值与伦理约束构建内部防御机制，明确定义行为边界与交互规则，从而使人工智能系统始终保持协调性、可控性且具备内在安全性。这一战略方向涵盖三大支柱：利用人工智能治理资源、利用人工智能治理行为、以及利用人工智能治理趋势。本专栏聚焦于人工智能风险的根源问题，将训练数据、模型权重、知识图谱、目标函数以及外部组件依赖性等关键要素视为内生性风险源。通过实施可信数据源获取、模型验证、风险检测及数据溯源等措施，该专栏有助于在早期阶段识别潜在的价值偏见与安全隐患，从而在风险显现前进行智能化修正，并强化系统固有安全性。基于人工智能的治理行为——动态调节行为轨迹本模块聚焦于人工智能系统（尤其是人工智能智能体）的连续动作链，涵盖意图分解、任务规划、跨域权限使用、工具调用及结果传播等环节。这些动作链被视为用于安全管控的行为轨迹。通过持续监控并动态约束任务规划、权限使用、工具调用及结果执行过程，并在关键执行节点实施策略评估与授权检查，基于人工智能的治理趋势——构建全面的风险态势感知体系本专栏聚焦于人工智能相关风险的演变趋势。通过运用智能技术实现态势感知、风险评估及政策协同调度，并强化风险信息整合、威胁情报分析以及跨利a3ctivelyinterFullv-eneagainstemergingattacksGover,chainedrisks,与on系统性威胁。.这一战略方向涵盖三个核心方面：安全防护的“左移”、信任链构建以及生态系统协同防从时间维度来看，这一核心支柱将安全要求向上游整合至整个AI系统全生命周期——涵盖设计、开发、训练、评估、部署、运行及迭代等阶段。其目的在于使治理能力能够在风险显现之前及时介入，并随着系统演进持续优化安全措信任链构建——在完整信任链中建立持续信任关系从空间视角来看，该支柱扩展了治理范围，涵盖基础设施、数据、模型、应用程序及人工智能智能体等关键层面；它确保人工智能系统维持一条贯穿源码、身份、行为及问责制的持续信任链，从而避免从利益相关方视角来看，这一支柱旨在促进政府机构、基础设施运营商、模型提供商、应用服务提供商、安全企业、科研机构及行业客户之间的协同参与；其目标是构建一个以共同制定的规则、相互认可的能力、共享的风险防控机制3.4治理能力评估：六大能力维度为满足大规模人工智能应用在安全治理方面的需求，本文从实体、风险、流程、行为、价值及能力六个维度对治理要求进行了界定，由此提出了“六大能力维度”：可信、可衡量、可追溯、可控制、可协同及可演进。这些目标旨在推动人工智能系统实现以下目标：构建可信的实体、量化可测的.风险、可验证 system,trustedaccessauthentication,credentialverification,and-aendtoenatenitndyd可追溯性框架，该框架可确保参与实体的身份信息包括用户、终端设备、计算节点、模型服务、智能代理应用及工业系统在内的所有组件均具备真实性和可验证性，其行为可追溯至源头，且安全责任明确定可量化的风险：建立一套可量化、可视化且基于证据的安全评估体系。应围绕风险识别、风险评估、控制措施有效性及治理成效构建一个多维、可量化的评估机制。通过安全测试、风险分类、对抗性测试、隐私合规性验证、鲁棒性测试及运营场景分析等手段，可对人工智能系统安全性进行持续评估，确保风险可识别、风险等级可确定、治理成效可验证。这有助于推动安全治理模式从基可追溯流程：确保整个AI运营链路均被记录且责任可追溯。通过日志保留用链追踪、数据流记录、模型版本管理、工具调用凭证及审计证据保存等机制，系统可记录AI运营的关键环节——从输入、推理、调用、执行到输出——从而确保能够精准定位异常行为的根源、还原完整流程并明确相关责可控行为：对智能体在整个流程中执行的所有操作施加闭环约束。通过身份认证、访问控制、调用审计、行为监控、动态断路器以及跨域协同响应机制，确保所有活动——包括任务规划、数据访问、系统调用及命令执行——始终处于AlignedValues:EnsurescontinuousalignmentbetweentheobjectivesystemsandhumanvaluesThroughmech.anismssuchasvaluealigt,ethicalpreferencedetection,human-machinecollaborationcalibration,scenarioreviews,thisapproachensuresthatthedesignobjectives,de内脏与裂伤伴严重创伤性病灶——最大——高风险；且logic,andbehavioraloutcomesofAIsystemsremainconsistentwregulations,ethicalguidelines,industrystandards,andthepublic.guaranteesthatAIapplicationsdonotdeviatefromadevelopm优先保障安全、合规性及公共利益，从而降低因目标偏离、价值偏差及不当行为所引发的.动态能力演进：实现治理体系的动态适配与长期迭代。通过整合标准更新、常规平台运维、全面监控、策略编排、规则校准以及行业生态协作，治理体系能够适应模型能力升级、AI应用形式变化、攻击手段演变以及业务场景扩展等需求。这确保了治理能力与技术进步、风险变化及业务需求同步更新，持续降低今后，可借鉴行业实践，基于“六项能力”维度进一步探索人工智能安全治理的成熟度评估方法；不同的成熟度等级可根据治理体系构建、技术能力部署以以及生态系统协作。4AI安全治理倡议AI安全治理是一项系统性、长期性的事业，需要实现开发导向、安全基础、内生能力与生态系统协作之间的协同配合。我们特此提出此项AI安全治理倡议，旨在凝聚行业共识、汇聚集体力量，推动构建一个开放、包容、安全、可信且4.1平衡高质量发展与高水平安全防护大规模人工智能应用需要在创新与安全之间实现动态平衡。行业各方应将安全性和可信度视为技术创新、产品服务及场景应用的先决条件，并在人工智能全生命周期的开发过程中融入风险防控、合规要求及问责约束。强有力的治理机制有助于构建行业信任，而规范化的开发流程则能释放创新活力，使人工智能4.2构建强健且可靠的运营基础AI系统的部署依赖于可靠的基础设施和可信的运行环境。我们呼吁所有利益相关方加强涵盖网络、计算能力、数据、模型及应用等关键层面的协同配合，从而提升AI系统的可信访问能力、可靠支持水平及稳定运行能力。这将为创新型人工智能安全治理不能仅依赖外部约束或事后补救措施。我们呼吁所有利益相关方将安全要求融入到开发、部署、运营及迭代的整个流程中，推动安全能力与业务功能同步构建与运行。这将增强人工智能系统在长期运行过程中的可信4.4培育开放、协作的安全生态系统人工智能安全治理需要多方利益相关方的参与与协同努力。我们呼吁各利益相关方在规则制定、标准化、评估、风险通报、能力认可及应用示范等方面开展合作。开放性促进创新，协作性强化安全，而共享治理则引导人工智能赋能产人工智能正迅速演变为一个高度互联且日益自主的智能体生态系统人工智能正迅速演变为一个高度互联且日益自主的智能体生态系统，推动着全球数字与通信基础设施进入一个新的转型阶段。随着现代人工智能部署日益依赖于持续的数据流、分布式边缘计算以及跨互联环境中的实时执行，网络运营商在支持大规模人工智能应用方面发挥着基础性作用。作为全球网络连接基础设施的关键建设者与运营商，网络运营商及生态系统合作伙伴具备得天独厚的优势，能够将安全能力深度融入通信基础设施与运营系统之中，从而使安全性本白皮书提出的“1-3-9”人工智能安全治理框架，为行业各利益相关方协同推进人工智能安全治理工作提供了系统性的参考依据。展望未来，GTI将继续汇聚全球运营商、技术合作伙伴及行业各利益相关方，共同推动标准协调、能力共享及实际创新。我们携手构建一个开放、包容、安全、可信且实行协同治理缩写全名人工智能大型语言模型[1]OWASP基金会。《2026年智能代理应用OWASPTop10》。访问地址：/[2]中华人民共和国国务院《关于深入推进“AI+”行动计划的意见》。2025年8月。访问地址：/zhengce/content/