「Agent 工程化」方向-Agent 时代的流量中枢 一个 AI 网关连接模型、Agent 与 MCP_第1页
「Agent 工程化」方向-Agent 时代的流量中枢 一个 AI 网关连接模型、Agent 与 MCP_第2页
「Agent 工程化」方向-Agent 时代的流量中枢 一个 AI 网关连接模型、Agent 与 MCP_第3页
「Agent 工程化」方向-Agent 时代的流量中枢 一个 AI 网关连接模型、Agent 与 MCP_第4页
「Agent 工程化」方向-Agent 时代的流量中枢 一个 AI 网关连接模型、Agent 与 MCP_第5页
已阅读5页,还剩7页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

一个AI网关连接模型、Agent与MCPMCP多次调用、多轮决策、持续反馈MCP多次调用、多轮决策、持续反馈AgentAgent“修复线上订单超时”对于传统服务多个请求之间是彼此独立的,但对Agent来说它们属于同一个持续演进的任务,前一步的结果会影响下一步选哪个模型、调用哪个工具,以及是否应该继续执行。因此,AI时代我们面对的不只是流量变多了,而是流量开始带有任务状态和决策含义,问题也随之而来,谁最适合承担动态决策的任务呢?MCPServerMCPServer模型服务模型服务其他Agent其他Agent1.Agent越自主,安全治理越需要前置:-':-'我们继续订单超时修复任务,研发Agent面对的第一个问题是每一步应该如何选择最优模型。效率与成本平衡EXECUTE·执行稳定与一致优先VERIFY·验证推理质量优先PLAN·规划复杂推理模型高效代码模型稳定/独立验证模型负载均衡智能路由效率与成本平衡EXECUTE·执行稳定与一致优先VERIFY·验证推理质量优先PLAN·规划复杂推理模型高效代码模型稳定/独立验证模型默认保持会话粘性默认保持会话粘性智能调度模型选对以后模型选对以后,还需要一个专业测试Agent来验证修复结果。第二个问题随之出现:Agent之间该如何安全协作?它是谁它能访问谁它能做什么当测试Agent与研发Agent安全协作后,它还需要读取日志、查询知识库、触发测试,这些能力都依赖工具调用,而工具调用的风险也更高、更直接LKTLKT到这里研发Agent任务已经完整串起了模型选择、Agent协作和MCP工具调用三个核心阶段,阿里云AI网关能够为Agent提供哪些重磅核心能力呢?AIFinOps智能路由Agent管理全新Serverless实例AIFinOps智能路由Agent管理一本账一本账让每一次请求都选对模型四档路由策略成本优先质量优先速度优先综合平衡候选模型池自定义模型系统内置模型自定义模型Agent成为网关一等公民并列纳管ModelAPIAgentMCPServer各类Agent·一键接入AgentCore百炼ClaudeCodeDeepSeekHarness自定义谁在用、花在哪、什么周期,全都看得见,算得清一本账01粒度:谁在花钱|消费者消费者分组02尺度:花在哪里|Token配额Credit配额03节奏:什么周期|自然日自然周自然月1~60天0元起步,用多少付多少标准版平台分配接入点平台默认域名·HTTPS共享插件体系企业版独立接入入口自定义域名·证书TLSPolicy·HTTP/2group/hirouteHiRoute项目地址:/higress-group/hiroute路由依据路由依据用户请求候选模型优先级清单用户请求候选模型优先级清单1.判断任务难度2.筛选可用模型3.选择合适模型模型能力与成本运行状态模型调用智能路由决策1.判断任务难度2.筛选可用模型3.选择合适模型模型能力与成本运行状态模型调用智能路由决策模型路由与Autofallback•面向企业•面向企业:结合Higress提供模型观测、评

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论