AI智能体模型治理框架

AI智能体模型治理框架前言部分附带了我们专门为国内企业准备的合规与落地核心摘要 能体）”提出了结构化的治理指南。2.使人类承担有意义的问责：在模型开发者、平台方和部署者等价值链各环节清晰v1.5版的亮点在于引入了大量行业前沿的真实案例（包括腾讯C企业合规与落地指引（ComplianceGuidance）企业应当将智能体视作具有特定操作权限的“机器员工”。对于它所调用的工具动轨迹的越权请求一旦发生异常立刻将控制AI智能体治理框架1.1.3智能体设计如何影响每个智能体的边界和能力1.2.3系统性风险和多智能体风险2.1.1确定适合部署智能体的用例2.2.1在组织内外清晰分配责任2.3.1在设计和开发阶段使用技术控制2.4.3将智能体整合进工作流程的用户执行摘要况和工具使用等新的维度。评估智能体将需要新的测试本版本新增内容系统性风险和多智能体风险：新增系统性风险和多智能体 CyberSierra、Google、GovTech、专业技艺和业务连续性：新增关于专业技艺流失以及其如何影响业专业技艺和业务连续性：新增关于专业技艺流失以及其如何影响业节；新增来自AntInternatio1智能体简介1.1.1智能体的核心组成部分例如一个监督型智能体为某项任务调用另一个专门l协议：智能体与工具以及其他智能体通信的标准化方式。例如，ModelCo1.1.2多智能体设置1.1.3智能体设计如何影响每个智能体的边界和能力 行动空间的工具）。自主性大多数智能体实现都是将确定性规则与一定自主性结合起来的混1.2.1风险来源有风险（例如幻觉、偏见、数据泄露和对抗性提示注入）。l规划与推理：智能体可能由于幻觉或语义错位（对用户意图的不正确解1.2.2风险类型1.2.3系统性风险和多智能体风险智能体系统的速度和复杂性可能增加上述风险。会呈指数增长。这可能导致无法通过单独测试每个智能体来预测的涌现2智能体治理框架应持续监测智能体。以及记忆投毒风险。者可能被绕过或被“遗忘”。2.1.1确定适合部署智能体的用例读取与写入：只能从数据库读取的智能体不数据库。行动多与少：只能从少量预定义工具数据库。行动多与少：只能从少量预定义工具程度的暴露会使智能体更容易受到提示注入和网络程度的暴露会使智能体更容易受到提示注入和网络性可能导致组件以意外方式互动时产生更不可预性可能导致组件以意外方式互动时产生更不可预SecuringAgenticAI》。l人类监督可行性：让人类在每一步进行审查是否现实？项）：没有人类工程师在环路中。但进行双周审计：每项行动都没有人类工程师在环路中。但进行双周审计：每项行动都）：安全变更对自主执行而言风险过高。随着保障措施改进并）：2.1.2通过设计界定风险边界，明确智能体的限制和权限智能体限制用该工具。2.3.1“在设计和开发阶段使用技术控制”对此作了进一步阐述。在自主作出信贷、开户或风险决策；最终验证和批准仍由指定人类审l仅限任务级自主性：智能体执行范围狭窄的任l不自行发起行动：智能体只有在被预定义工作流触发时才运行。智能体身份评估残余风险会随着人类监督能力越来越强的智能体而成为更大的关2.2.1在组织内外清晰分配责任组织内部知识库或数据源相关适当控制提出建议。3.AIFactory——设计、开发、护栏和监测：设计、开发和维护该应用，包括以及与既定方法的一致性。培养适应性治理的内部能力组织外部终端用户2.2.2为有意义的人类监督而设计l定期审计人类监督的有效性。可采取的一些方式包括：人类审查智能体行动时的响应时间。较短时间可能表明自动化偏l确保人类具备评估智能体行动的领域专业知识，例如使用智能体进行“氛围编程”l对某些被记录事件实施告警（例如尝试未经授权访问，或多次调用工具失败）。无既定批准政策的新行动）。 白名单，例如<br>curl白名单，例如<br>curl/api-docs<br>如果后来使看起来可疑或实质上风险更高，例如<br>curl看起来可疑或实质上风险更高，例如<br>curl/api-docs&&e项只读操作。X0PA：在高影响招聘工作流中实现有效人工客户部署在以下工作流中：大影响的招聘决策仍由人类招聘人员和用人经理2.3.1在设计和开发阶段使用技术控制l结构性、基于规则的控制与基于模型或提示层的控制：之间传递意外指令；限制智能体之间的共享记忆访MCP作为治理层费用报销阈值、符合条件的类别和每日津贴上限体上下文中不存在可通过对抗性输入泄露或提取的敏感数据；风险通过设计在执行前被阻止并记录。所有敏感计算都只在该安全边界内制l供智能体审查自身输出的反思架构：该基于LLMJudge：一个LLM只使用最相关（基于地点、主题等）且当前有效的文件（基于版本、到期日等）。签发C2PA清单和来源元数据、嵌入知识产权许可3.智能体配置控制：实施明确护栏和定义清晰的人格协议2.3.2部署前测试智能体Reliability》。整体任务执行：智能体是否能够准确完成任务。工具调用：智能体是否以正确权限、正确输入和正确顺序体访问会影响现实世界工具的风险之间进行GooglexSingaporeGovernm）：于预发布环境这使审查者能够检查其在导航不2.3.3部署时持续监测和测试逐步部署智能体l低风险系统：不属于关键基础设施且数据访问水平较低的系统。持续测试和监测l如何有效监测日志：组织可以考虑实施以下实践：稳健的变更管理以及监管触发条件（合规要求变化）。2.4.1不同用户，不同需求2.4.2与智能体互动的用户l智能体行动和决策范围：告知用户智能体被授权执行和作出的行动及决策范围。2.4.3将智能体整合进工作流程的用户下应限制使用智能体（例如不要将智能体用于保密数据）。AIatWork》。施具体说明智能体可以做什么（例如根据职位要求审查候选人、总结人才画像、向面试试者发送提醒、收集面试后反馈以及智能体不能做什么（例解的文本（Markdown）逐步列明智能体应做2.终端用户可以与智能体构建器就良好智能体工作流应是什么3.智能体工作流内置验证：为防范级联错误，所有智能将被自动翻译成可以重复执行和验证的代码