【观点】AI安全治理到落地实践分享-安言咨询 张锐

AI安全治理到落地实践分享从治理框架到落地闭环主讲人：上海安言信息技术有限公司张锐

能力侧驱动大模型能力的飞跃式增长智能体（Agent）

自主决策复杂化新兴攻击手段（越狱、投毒）频发

系统不可解释性带来的黑盒风险

监管侧合规全球AI监管立法进程显著加速合规性成为产品上线的基本准入门槛

数据保护与内容安全的强力约束问责制从“事后”转向“全生命周期”

业务侧信任信任是企业AI应用落地的前提品牌声誉与社会责任的深度捆绑作为市场准入与差异化竞争优势降低安全事件带来的高额违约成本

安全不是事后补丁

，

而是产品准入和业务竞争力。

——

AI安全治理核心观点

为什么现在必须谈AI安全治理检索增强(RAG)机制下

，低权限用户可能间接获取高权限文档内容。 Prompt与交互风险输出包含偏见、歧视、侵权或误导性内容

，导致品牌声誉受损。

智能体调用风险

企业AI安全应用典型风险模型生成虚假事实或错误建议

，在金融/医疗等关键场景放大业务风险。Agent调用API、数据库或RPA时权限边界不清，导致非预期数据破坏。训练数据、知识库及敏感PII信息被模型记忆并在推理中意外泄露。自动化工作流中

，错误的执行指令被AI放大

，造成大规模业务故障。员工私自使用未授权AI工具

，导致企业核心资产流向不可控环境。外部SaaS模型服务可能存在数据留存、跨境传输及合规性黑盒风险。恶意指令覆盖原始System

Prompt

，诱导模型执行非授权操作。开源模型、插件、

向量库及MCP工具链中潜伏的供应链安全漏洞。通过对抗性攻击绕过安全护栏

，输出被禁止的有害或违规内容。co

第三方与供应链风险

数据安全风险

模型输出风险提示词注入合规合伦理Jailbreak指令失控泄露风险幻觉错误数据出境越权操作权限穿透组件污染影子AI

欧盟：风险分级制以《欧盟AI法案》(EU

AI

Act)为核心

，采用基于风险的分类监管路径

，

明确禁止不可接受风

险

，并对高风险系统施加严格的合规义务与透明度要求。

美国：框架与标准侧重自愿性治理框架（如NI

ST

AI

RMF）

，通过行业标准、关键基础设施画像以及国际间合作，平衡安全风险管理与技术创新领先地位。

中国：

内容安全与准入管理以《生成式人工智能服务管理暂行办法》为基石

，强调内容安全红线、算法备案与安全评估机制

，实施包容审慎与分类分级监管。全球治理共同趋势尽管各法域监管逻辑不同

，但在“透明、可追溯、可评测、可问责”

四大核心原则上已达

成高度共识。全球AI监管格局总览对比全球三类治理模式

，揭示监管透明与可问责的共同趋势3

不可接受风险

(禁止行为) 有害操纵、潜意识影响人类行为 针对特定群体弱点的社会评分系统 公共场所大规模远程实时生物识别

高风险系统

(受监管) 关键基础设施运维、教育与职业培训 就业评估、基本公共/私人服务访问 执法、移民管理、司法与民主进程透明度义务与内容标识交互告知：聊天机器人必须明确告知用户正在与AI交互。生成标识：AI生成的文本、图像、音视频内容必须可被机器识别（水印/元数据）

，防止深度伪造滥用。不可接受风险

(Unacceptable)高风险场景(High

Risk)透明度风险(Transparency)最小/无风险

(Minimal

Risk)

欧盟AI法案核心要点：风险分级与义务 ISO/IEC42001:2023全球首个AI管理体系标准 AIMS管理体系要求组织建立、实施并持续改进AI管理体系

，确保治理的系统性。會可集成性可与

ISO9001

(质量)或

ISO27001

(安全)深度融合

，降低合规成本。會

责任归属通过结构化流程明确组织内部对AI风险的监测、评估与处置责任。 NI

ST

AI

RMF风险管理框架美国国家标准与技术研究院发布的自愿性框架，

旨在提高AI系统的可信赖性

，涵盖设计、开发、使用及评估全流程。

2023.01

AI

RMF

1.0发布确立“治理、

映射、测量、管理”

四大核心职能。生成式AI画像

(GenAI

Profile)针对大模型特性

，提供专门的风险识别与缓解指南。关键基础设施可信AI画像聚焦能源、交通等关键领域

，构建行业专有安全基线。

美国与国际AI治理框架2026规划2024自2023年8月

15

日起施行

，适用于向中国境内公众提供生成文本、图片、音频、视频等内容的生成式AI服务。

发展与安全并重统筹人工智能创新发展与安全治理

，鼓励算法、算力、数据等基础设施建设。

包容审慎监管采取与人工智能技术特点和发展相适应的监管方式

，支持行业组织制定自律规范。

分类分级监管根据服务类型、规模及应用场景的风险程度

，实施差异化监管措施。

特别监管要求对于具有舆论属性

或者社会动员能力

的生成式AI服务

，提供者应当按照

国家有关规定

服务提供者责任主体网络信息内容生产者责任：承担生成内容的安全管理义务

，对违法有害信息进行处置。个人信息处理者责任：依法履行个人信息保护义务

，包括收集、使用、存储及跨境传输等环节。

中国生成式AI监管要求《生成式人工智能服务管理暂行办法》

算法公平与反歧视防止在算法设计、训练数据及模型优化过程中产生任何形式的偏见。涵盖民族、信仰、国别、地域、性别、年龄及职业等多维度歧视防控。

内容红线与价值导向禁止生成危害国家安全、宣扬恐怖主义及暴力色情等法律禁止内容。严禁发布虚假有害信息

，尊重社会公德

，维护社会公序良俗。

权益保护与隐私安全严格尊重知识产权与商业秘密

，依法保护个人信息主体权益。对用户输入信息和使用记录承担保护义务

，不得非法收集或留存。

运营合规与标识义务对图片、视频等生成内容进行显著标识

，建立健全投诉举报机制。发现违法内容应立即停止传输、采取消除措施并向监管部门报告。

基于《生成式人工智能服务管理暂行办法》

，服务提供者需在内容生产、算法设计及运营环节履行全方位的安全与合规责任。

中国AI服务关键合规要点第一步：AI应用资产盘点梳理内部模型、插件及知识库资产

，

明确业务场景与数据边界

，建立动态台账。第二步：场景化风险评估针对具体场景识别提示词注入及数据泄露风险

，重点评估Agent的自动执行能力。第三步：建立准入审批机制实施上线前安全合规评估

，对敏感数据及关键业务场景启用高等级审批流程。第四步：技术控制手段落地部署大模型防火墙

，强化知识库权限隔离与API调用审计

，实现底层安全防护。第五步：持续监测与安全运营建立风险监控看板

，实施异常行为审计与定期安全性复测

，确保治理长效可持续。 核心目标：构建覆盖“能管、能防、能审、能运营”的AI安全全生命周期闭环体系。

企业AI安全治理的路线规划Q合规治理层（模型全生命周期）贯穿数据、

算法、

应用、

网络、

终端全链路

，

以AI相关法规为依据

，保障模型全生命周期安全合规、

数据使用合规及输出内容合规。数据层管控（RAG权限管控、分级分类、向量库）作为最核心资产

，对私有化AI大模型RAG知识库、

向量库等数据的权限管控及分级分类

，

守护数据资产安全。平台层管控（大模型、智能体）对私域AI模型进行安全检测与评分

，

内容安全测评。

通过身份认证、

权限收口及RAG检索过滤

，实现应用层面的安全管控。合规风险评估及策略制定、AI算法安全检测工具大模型应用防火墙、AgentIAM、

IAM大模型应用防火墙、AgentSPM、AI算法安全检测工具终端层防护（AI客户端软件）聚焦用户侧终端安全

，对私有化AI大模型相关终端软件、

设备准入及数据外溢进行管控

，筑牢端侧安全入口。网络层管控（公域大模型）通过上网行为管理和流量审计设备

，实现对公域AI服务的访问控制。上网行为管理、

NTA、防火墙、API网关EDR、桌面管理、

DLP管控对象：员工终端、网络访问行为、数据输入输出。管控范围：经公司网络可访问互联网的终端系统、服务器系统。防范对象：公域全部AI访问控制

，私域大模型、智能体、工具及数据。

系统化安全落地实践内部业务云端/三方服务数据中台

核心业务AI用户端

AI统一管理客户端APPWEBAPI短期记亿长期记忆

向量库AgentMCPServer调用组件管控核心数据DLP限制外部AI软件EDR\桌管MCPClient插件Skills\ToolsAgentSPMAPI网关模型FW/IAM外部搜索引擎公域AI大模型外网/不可信区内网/可信区私域AI大模型插件库智能体安

全防

护

能

力输入输出多Agent协同… AI安全技术应用案例技术能力建设基于风险评估的结果开展技术建设工作

，包括但不限于大模型防火墙建设、AI安全网关、AI

IAM、AIAgent管理并联动已有安全产品制度与准入建立AI应用上线评估流程完成核心场景专项风险评估建立第三方服务合规评估机制运营与改进建立AI安全运营看板与预警定期开展对抗性红队测试形成年度AI安全治理报告摸底与建账全面开展AI应用资产盘点

识别业务流中的高风险场景制定企业AI使用安全红线

分四阶段推进摸底、制度、技术建设与持续运营

，确保治理工作有序落地。

企业AI治理路线图

6个月以后

3-6个月

1-3个月Q

0-1个月

以场景为中心不做泛泛而谈的制度治理

，拒绝“为了合规而合规”。必须深入业务一线

，