版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
PPT模版主标题微软雅黑
Bold76磅副标题
微软雅黑40磅
|
内容描述内容描述内容描述AI原生应用开发最佳实践从企业级生产痛点到解决方案探索2026/01/30阿里内部Agent实践OneDay阿里内部AI开放平台
IdeaLAB各行各业都在探索落地AI应用内部提效
AICoding:需求、产品设计、开发、测试全流程演进
AIOps:运维关注度高,期望能辅助资源管理、快速定位系统问题(Infraor业务)并给住自愈方案,甚至自动化自愈
内部工具:
BI助手、内外小密、会议助手
…业务场景
汽车出行:智驾训练、座舱推理(ASR、TTS、知识库)、市场营销(AIGC)、汽车设计(AIGC)
具身智能:大脑、小脑训练,部分云端推理(LLM、TTS等),AI玩具(类具身智能ASR+LLM+TTS+MCP)
互娱游戏:搜索推荐、情感陪聊、AIGC-生图/视频/音乐、视频剪辑、智能客服(Chat、语音)、AI网剧
教育:虚拟老师、作业批改、答题辅助、AI编程
互联网-工具:基模公司-通用Agent、机器人外呼
零售:智能选品、市场营销、AIGC-商品图合成/模特换装/辅助设计、智能客服
泛企业:丰富的垂类Agent,如智能眼镜、智能音响、合同审核、商标查询、建筑报告…
医疗健康、生物医药、法律咨询、物流
…CONTENT目录01
AI原生、Agent驱动了解现状,直面行业挑战,诞生AI原生应用架构和《AI原生应用白皮书》02
为AI而进化的基础设施AI
网关、AI原生应用开发框架、上下文工程、AI工具、AI应用运行时、AI可观测、AI评估、AI安全03
案例场景与最佳实践大规模生成使用的AI案例•
AI场景爆发:
Chat
,
Coding,智能驾驶,消费电子,智能玩具,
DeepResearch等•Google搜索指数,
AI
Agent过去16个月,
1088%增长。•
据Markets
and
Markets预测,全球AI
Agent市场规模将从2024年的51亿美元增至2030年的471亿美元,
年复
合增长率达44.8%;
Gartner预计,到2028年,
至少15%的日常工作决策将通过AI
Agent自主完成。•
《国务院关于深入实施“人工智能+”行动的意见》到2030年,智能体等应用普及率超90%。AI发展阶段AI原生应用白皮书背景模型性能突破Model
(Scaling
Law)大数据/大模型/多模态/空间智能改变世界机器人(PhysicalAI)具身智能/
自进化/脑机接口模型迈过拐点,AgenticAI爆发接管数字世界APP
(AgenticAl)私域数据/Tools/场景AIAgent趋势行业报告行业趋势AI原生应用架构模式单
应
用
多
应
用AI原生应用架构ToolsPerception
ActionsPromptResponseInstructionsPrompt单Agent高代码/零代码单任务Workflow
低代码/高代码多Agent高代码/零代码AI云原生应用架构定义基于模型,Agent驱动,以数据为中心,整合工具链具象(Code编排)泛化(LLM编排)PlanningReasoningMemoryAgentLLMRetrieveRAGStore大脑,既大语言模型(LLM)
作用:识别自然语言,然后进行推理并做出决策。
原则:选择最合适的大语言模型。(不同的大语言模型有自己擅长的领域和业务场景)记忆,知识库
记忆:让Agent记得目标、偏好,以及过往的交互信息,从而实现多步骤执行,自省等能力
知识库:存的是「知识片段」,能回答具体问题,但不是一个完整的操作流程指令,既系统提示词(System
Prompt),或上下文工程(Context
Engineering)
系统提示词:定义Agent的目标和行为,为获得最佳推理结果而编写和组织
LLM指令的方法
上下文:在
LLM推理过程中,动态规划和维护最优的输入token集合各类工具及能力(MCPServer、
Skills、沙箱Sandbox、观测、评估评测)
作用:为Agent提供外部接口能力,如各类业务服务,数据库服务,存储服务等
Skill是「操作手册」,告诉当前Agent遇到问题该按什么步骤来。Agent还是自己干活,只是有了指导。就像给新人一份SOP,他还是自己操作,但知道该怎么做了
沙箱SandBox:提供安全隔离、自动弹性伸缩的、独立的扩展环境,如
Code、
Browser、
Computer
Use、
Mobile
Use等沙箱环境AIAgent躯体,既运行环境(Agent
Runtime)
作用:结合Agent
Framework,使AIAgent主程运行起来
原则:运行环境需要隔离、弹性Memory记忆我记得之前发生了什么知识库我知道某个知识点SubAgent这活儿交给专人去干Skill我知道这类问题该怎么一步步处理AIAgent的核心组件运行时开发模式多样开发Agent时的挑战/痛点Agent依赖大模型和外部工具服务,但这些服务经常不稳定,缺乏统一的容错和治理机制不同层次的开发者需要无代码,低代码,高代码多种开发模式,同时期望能够持续演Agent需要安全隔离的执行环境来运行代码、操作系统、调用工具,但自建成本高、性能差、安全隔离困难构建稳定效果安全涉及知识库、用户数据、业务逻辑等敏感信息,数据安全和合规成为企业应用的最大顾虑Agent运行是黑盒,无法评估效果好坏,不知道如何优化,成本不透明企业数据安全和合规挑战效果评估和持续优化困难执行环境难构建难以持续演进服务稳定性差模型和工具高性能安全进,挑战高部署引入智能体应用让业务系统更智能与存量应用打通复用已有业务能力流量网关应用运行时BaaSInstructionsPrompt
PlanningActions应用发展与基础设施升级的双向驱动•
智能体开发:
全新的Agent开发技术栈,如何快速开发、部署与市场验证•
存量系统融合:
Agent如何与存量系统打通,利用已有资产,赋能企业核心业务AI应用架构落地难点•
稳定运行:
如何保障新构建的AI应用稳定、安全的运行PromptTemplateToolsMemoryLLMResponse
ReasoningAgentAI基础设施智能体应用云基础设施存量应用APIGatewayWeb单体应用云原生可观测云原生网关事件驱动应用多智能体编排Store/
RetrieveCodeAgentChatAgentFlowAgent微服务应用异步任务FC/SAE容器OSSMQRDSALBECSLLM从传统架构到
AI
原生架构
Agent
从
Serverless
架构到
AI
原生架构AI
NativeAPP安全隔离AI时代开发者关注业务创新而非基础设施VM/容器运行时AI时代需求
Serverless运行时状态持久化内置状态持久化或集成工作流,支持快照或会话管理,自带3AZ容灾事件驱动通过云产品事件驱动自动执行,架构原子化解耦,协作更容易API驱动依赖网关/MQ实现同步和异步调用或,微服务架构协作复杂度高运维负担沉重依赖专业运维团队配置集群、环境,自建监控日志代价高状态管理复杂依赖
Redis/DB管理,故障恢复复杂,跨节点迁移几乎不可行动态弹性按请求弹性,毫秒/秒级供给资源,支持低峰缩0弹性降本静态资源分配预留固定资源,利用率低,无弹性或分钟级弹性安全隔离的多语言运行环境,自带监控日志告警等配套设施流量不可预测易受注入攻击多租户数据敏感免运维弹性MobileAPPdeviceWebAPPUserRocketMQforAI同步异步流程式编码式AgentRun:Agentic
AI应用基础设施AI全栈统一监控基于
Prometheus构建AI全栈监控大盘,包括模型性能分析、Token成本分析、GPU资源异动分析等端到端链路追踪基于OpenTelemetryTrace实现用户终端、网关、模型应用、模型服
务、外部依赖工具等全链路追踪。日志存储与评估分析构建统一日志分析平台,对模型调用日志进行二次评估分析,实现质量、安全、意图提取等语义检测。新建
MCP
Server
函数计算
FC一键转化存量业务
MCP化AI网关存量业务多种部署方式的LLMDeepSeekGeminiAI网关PAI/百炼/FC
GPU从AI原生应用架构,演进到AIAgent构建平台Agentruntime函数计算
FC(CPU
+GPU)
云工作流AI
Studio
SAE/ACK/托管
DifyLangChain
……Agent运行时
与沙箱AI
工具凭证管理AI
网关上下文管理Agent
开发框架可观测评估WorkflowFunctionAI
网关(代理
Agent)构建部署AI
Agent节点
C节点A节点
B通义千问OpenAIAI应用统一入口MCP代理模型代理AgentScopeMCP
Server模型调用工具调用运行时SandBoxSDK为AI而进化的基础设施从AI原生应用架构到Agent构建平台AgentRun
AI
网关
Agent
Framework
AI应用运行时
AI工具
上下文工程
AI观测
AI评估
AI安全(应用、模型、数据、身份、基础设施安全) AI安全护栏会话保持消费者认证/鉴权自定义策略与插件……AI观测协议增强适配AI
网关SSL证书内容安全企业级
MCPServer市场Model多模型流量分发智能路由智能负载均衡模型fallbackMCPRESTTo
MCPTools动态组装Tools智能路由MCP
Server动态发现AgentAgent
DiscoveryA2A百炼/Dify协议转换REST
To
A2AAIAgentAgentScope、
LangChain
等开源框架第三方
MCPServer
市场Quo
rk
Google多模态模型ComfyUILLMs通义千问OpenAI每个企业都需要一个AI网关MSE
Nacos
MCP
RegistryWAF集成网络安全企业大模型市场企业Agent市场企业
MCP工具市场……自建大模型……ComfyUI/TTS生视频HTTP/WebSocketWebRTC(Q4)数据安全后端服务鉴权IP黑白名单消费者鉴权AI安全防护API-KEY管理KMS集成数据脱敏HiMarketAI开放平台通用功能deepseekTTSSpringAIAlibaba合入AgentScope•后续Java语言的Agent开发框架以AgentScope为主
品牌发展。•AgentScope-Java版本已追评
Python版本的能力。目前支持
Python和Java两个开发语言:
AgentScope-Python
AgentScope-Java国内依然有50-60%的Java开发者或Java系企业AgentScope-Java性能优化,启动速度提升60%Graalvm:原版3.087秒,
Native版本200毫秒Leyden:原版2.47秒,
Leyden版本0.818秒AgentScope——阿里云官方开源Agent开发框架AgentScope是阿里云官方的Agent框架AgentScope官方文档:https://doc.agentscope.io/zh_CN/index.html函数计算AgentRun
,
一站式AIAgent构建平台AgentRun
是以高代码为核心,开放生态、灵活组装的一站式Agentic
AI基础设施平台,为企业级Agentic
应用提供开发、部署与运维全生命周期管理。
基于Serverless
架构提供强隔离的运行时与沙箱环境,深度集成开源生态,为用户提供模型高可用和数据不出域能力。企业级Runtime与安全隔离AgentRun企业级Agent最佳运行底座灵活开放数据/框架无锁定彻底解放运维负担,成本和性能最优平衡提供生产级的执行环境和多租户安全保障用户掌握技术选择主动权,避免供应商锁定Agent不再是黑盒,每个环节都清晰可控高性能、高安全、开箱即用
高性能多语言
,多种类Sandbox
多维度隔离(会话亲和/隔离
,请求隔离)
统一模型代理、熔断降级、多模型Fallback
工具市场与MCP标准化治理看得清、管得住、优化快
端到端全链路
Trace,
问题秒级定位
细粒度成本归因,
每分钱都知道花在
哪
实时性能监控、智能异常诊断
多维度统计分析
,持续优化依据零运维、极致弹性、按量付费
自动应对从
0到百万级并发的流
量
毫秒级冷启动和弹性伸缩
真正的按量付费,
闲时成本归零
无需管理服务器、容器、GPU卡数据不出域,灵活集成,平滑演进
兼容主流框架(AgentScope等
top5框架)
Agent无代码一键转高代码
,支持持续演进
深度集成开源生态(RAGFlow、
mem0等)
支持绑定已有向量库和RAG(VPC/IDC)
模块化使用
,可散件集成到现有系统函数计算AgentRun的四大优势Serverless基础设施全链路可观测X
函数计算
FC
50+内置多语言运行环境,代码执行延迟
<100ms
会话亲和/隔离架构,满足Agent/Sandbox上下文保持需求
零运维、毫秒级弹性、按量付费的企业级安全沙箱,兼容
E2BX
函数计算
FC
零改造将开源
STDIO
MCP升级为
SSE/Streamable
HTTP
原子化解耦,
MCP
Server冷热分离,弹性伸缩
RT抖动少
MCP
SSE亲和调度,闲置计费,低峰自动缩
0成本最优
函数计算
FC
开箱即用,
DevPod二次开发,弹性交付GPU,低峰缩
0
内置vLLM/SGLang/Ollama/LMDeploy推理框架
最快30s将开源模型转化为生产级OpenAI兼容
APIServerless运行时已经成为阿里云AI原生应用的核心载体AI网关
+AgentRun运行时内部大规模实践案例助力Qwen3-Coder成为领先的的代码模型业界首个全生命周期
MCP服务市场2万+热门模型一键托管到云上环境Serverless智能体运行时Serverless模型运行时Serverless工具运行时Code
Interpreter高代码Agent大语言模型RL
Sandbox智能体MCP
Server领域模型模型工具AgentRun浏览器沙箱——舆情分析AgentRunCode沙箱——AICoding通用型
Agent——智谱
Z.AIAgentZ.AIVibeCodingSandbox详细落地架构模型服务享受PaaS自由度的同时获得SaaS便捷性,按调用量付费,模型部署成本降低90%ServerlessAPI函数计算模型服务——AI模型转化为ServerlessAPI开源模型一键部署,AI模型一键Serverless化,云端模型开发部署零门槛函数计算-Serverless
GPU自然语言处理
语音计算机视觉计算科学多模态模型市场模型类型模型框架免运维/低运维百万级实例规模*与ComfyUI/SDDify等生态一键联动按量付费,降低成本毫秒级弹性*Devpod模型在线开发/构建按量付费CPU+GPU集群6+模型框架一键托管
与Agent服务一键集成100+热门模型在线体验
200+模型一键部署大语言模型HuggingFaceTransformers/PyTorch垂类模型ModelscopevLLM/SGLang/Ollama*毫秒级弹性和百万规模集群紧针对部分模型的测试结果,并不代表全部模型都可以具备该能力FunModel——AI模型转化为ServerlessAPIFunModel支持
DevPod——云上大模型开发与微调环境
随着AI浪潮的发展,吉利汽车在今年推出新一代AI智能化服务,成为核心竞争
力之一,在吉利银河
M9车型深度搭载。
基于阿里云函数计算的ServerlessGPU算力集群为AI座舱的交互和娱乐功能提
供大模型推理服务,共同打造大规模、高可用、高性能的推理引擎。
场景涵盖意图解析、文生图、情感TTS等。尤其在语音交互方面,吉利自研超拟人TTS,采用大量微调和训练,打造吉利汽车专属的逼真、富有情感、自然生动
又稳定一致的语音交互体验。吉利汽车——AI让生活更美好AI工具——MCP/Skills灵活集成、平滑演进;用户掌握技术选择主动权,避免供应商锁定Tool
Hub生态•
海量工具一键集成
,覆盖数据处理、API调用、文件操作等全场景需求•
开放式工具市场,支持自定义工具发布和分享
,构建Agent工具生态闭环统一工具接口•
支持MCP和FunctionCall双协议
,兼容市面上99%的主流工具和服务•API统管工具调用,开发复杂度降低80%,集成时间从天缩短到分钟智能工具生成与发现•AI
自动生成工具代码
,无需手动开发即可满足基础业务需求•AI驱动的工具推荐引擎,根据Agent任务自动匹配最佳工具组合采用开源Mem0与Ragflow企业数据安全可控,不出域AgentRunMem0RagFlow百炼知识库…一键绑定VPC技能记忆对话记录存储记忆提取Python
3.6~3.11Node.js
17~22Java8~21
PHP/Go/.NET/…自定义运行时自定义镜像Knowledge上下文工程——企业知识库,记忆系统,上下文压缩与窗口管理TextJsonVectorGraph全文索引向量索引Json索引标量索引AgentRunSDKMemorySDKMemory系统快速集成存储系统一键部署Memory记忆存储参数形式记忆知识库存储语义记忆情景记忆SessionSAEIDCSummary模型服务层托管模型服务通义千问DeepSeek
OpenAI
…
…
.PythonAgent自建模型服务通义千问
DeepSeek
Llama3
…
…
.推理加速框架(SGLang/VLLM
等)PythonAgent模型应用层LLM应用
LLM
应用
LLM
应用LLM应用开发平台/编排集成框架
(Dify/Langchain/Llamalndex)PythonAgentKubernetes
SAE实例向量数据库
缓存对象存储AI网关(MSE/ALB等)Otel
SDK链路上下文AI
ProxyToken
限流敏感信息过滤一个典型的
AI
原生应用架构及可观测诉求AI网关(MSE/ALB等)Otel
SDK链路上下文API管理流量防护AI全栈统一监控模型调用端到端链路追踪模型日志存储与评估分析基于
Prometheus构建AI全栈监控大盘,包括模型性能分析、Token成本分析、
GPU资源异动分析等基于ARMS构建Trace系统,实现用户终端、网关、模型应用、模型服务、外部依赖工具等全链路追踪。基于SLS构建统一日志分析平台,对模型调用日志进行二次评估分析,实现质量、安全、意图提取等语义检测。用户业务层客户端Web小程序AndroidiOSHTML
5WAF防护服务发现Cache/RAG链路上下文链路上下文GPU集群RUM
SDKTools…….在线评估基于AgentRun运行时产生的端到端Trace数据和模型调用日志对Agent质量、
Rag效果、Tool调用效率等持续的做自动化评估。支持评估模型和代码两种方式。离线评估支持从AgentRun运行时的Trace和日志生成数据集,支持从数据集发起对Agent或者LLM的对比实验,清晰捕捉prompt模板变更、模型调整、tool使用等对于Agent的质量效果的影响,从而为Agent调优提供洞察评估评估器LLMAgent评估Tool评估
Rag评估Code
LLM指标Tool调用Token消耗评分Score
解释AI应用评估基于
Trace
或日志中记录的大模型应用输入输出内容,通过LLM/Code/人工等方式对智能体进行在线和离线评估,持续提升Agent
效果和质量可观测Agent链路模型日志数据集可观测数据集自定义数据集在线离线实验AgentLLM模型部署——FunModel•
支持Serverless
GPU算力•
支持微调后的模型进行私域一键部署模型微调——DevPod•
基于反馈的高质量数据集,对模型进行微调•
支持主流的强化学习框架运行•
预集成微调生态的插件AgenticAI应用的开发•
低代码白屏化脚手架•
高代码无框架绑定开发•
版本的无损平滑升级Agent数据收集•
无侵入式的全链路采点•
一键开启,默认集成•除基础监控外,提供全链路的tracingAgent数据飞轮——持续提升Agent使用效果•
全链路的数据标注•
反馈数据收集•
基于数据测试集的回放数据飞轮Agent反馈评估HiMarket——云原生开源AI开放平台,构建企业专属的AI市场AI驱动的下一代应用平台AI
网关
模型统一管理(Model
API)工具统一管理(MCP
Server)模型市场工具市场/API/数据源端侧应用智能助理售后服务理财助手业务办理CRM智能交付平台数字人平台基于AI原生应用架构打造——AI驱动的全新应用平台AI
网关
Agent
API
(南北向流量管理/策略管控)
Agent
市场
智能体
智能体智能体智能体…基于AgentRun构建方案Agent构建平台基于原子能力构建方案售后服务售前助理理财助手流程助理智能助理投研顾问业务办理…WebAppSalesMarketing
EngineeringAI原生应用架构展望——AGI通向ASI让AI扩展自己和组织边界Product
Engineering
Sales
·
ProductMarketingDesignDesign谢谢Thank
You函数计算AgentRun一站式构建企业级AI
Agent江昱阿里云产品经理2026/01/30江
昱阿里云产品经理AgentRun产品负责人,阿里云Serverless产品专家,云计算领域博士(主要研究方向为Serverless架构)畅销书《Serverless架构》《Serverless工程实践》《Serverless架构下的AI应用开发》《Serverless架构下的前端应用开发》作者;参编《基于服务器无感知架构的工具链技术能力要求》等标准CNCFSandbox项目Serverless
Devs发起人;阿里云
FunctionAI产品负责人个人简介CONTENT目录01
破局之前,先看清这些"坑"Agent开发痛点分析02函数计算AgentRun基础介绍什么是函数计算AgentRun03函数计算AgentRun特性探索AgentRun的特性是什么?有哪些优势?04
案例场景与最佳实践FunctionQ案例/A2A协议/
Devpod/
Model2API01破局之前,先看清这些"坑"Agent开发痛点分析什么是Agent?Agent是基于大语言模型构建的智能体,通过
Prompt理解任务、自主推理规划调用工具(MCP服务)、利用记忆,完成从简单到复杂的各类任务。Planning/ReasoningAgent执行官MCP服务AI
Agent基础架构PromptTemplatePromptResponse记忆
功能简单,灵活性低
Prompt直给Smarter
models
using
moretoolsto
accomplish
highervaluetasksModel
大脑LLMAI观测UniversalAgents
Multi-AgentsSiloed,Single-Purpose
AgentsPlatform-LevelAgents
功能复杂,
ReAct推理
快速构建,统一管理AI
Agent平台
AIAgent之间自行交互LevelOf
Intelligence多模态模型InstructionsUsefulness技能池进行中4自建降本却抢不到GPU资源想省API费用自己部署模型
,结果高峰期算力被占满用户排队,
临时扩容采购周期长预算也吓人6智能助手经常答错或瞎编客户问答、文档助手频繁出现幻觉瞎编答案
,用户投诉率居高不下
,试了各种方法还是没法根治1业务高峰期API突然限流封号流量上来就触发限流
,严重时账号直接被封,用户请求积压
,业务被迫中断3Agent出错不知道哪里要改客服助手回答质量不理想
,缺少评估工具和测试集
,不知道是prompt问题还是工具调用有bug5企业知识问答怕数据泄露调用外部API担心敏感数据出域泄露
,想基于自己知识库搭建专属问答
,但不知道怎么落地实施2批量生成内容效果全靠抽卡同样prompt生成十次九不同,
商品图、
营销视频质量飘忽不定
,必须人工筛选才能用行业“迷茫”大流行AI之路运行时开发模式多样开发Agent时的挑战/痛点Agent依赖大模型和外部工具服务,但这些服务经常不稳定,缺乏统一的容错和治理机制不同层次的开发者需要无代码,低代码,高代码多种开发模式,同时期望能够持续演进,Agent需要安全隔离的执行环境来运行代码、操作系统、调用工具,但自建成本高、性能差、安全隔离困难稳定效果安全构建Agent运行是黑盒,无法评估效果好坏,不知道如何优化,成本不透明涉及知识库、用户数据、业务逻辑等敏感信息,数据安全和合规成为企业应用的最大顾虑企业数据安全和合规挑战效果评估和持续优化困难执行环境难构建难以持续演进服务稳定性差模型和工具高性能安全部署挑战高02函数计算AgentRun基础介绍什么是函数计算AgentRun什么是函数计算AgentRun?Agent
Run
是以高代码为核心、生态开放、灵活组装的一站式Agentic
AI基础设施平台,为企业级Agent提供开发、调试、部署、运维的全生命周期管理。可观测全链路跟踪,根因定位,成本洞察可评估基于可观测数据的多种评估模式全栈Serverless极致弹性、按需付费、免运维运行时与沙箱开箱即用、安全隔离、高性能调用统一治理Model,工具,Agent调用治理生态开放拥抱主流
AI开发框架与应用灵活组装支持用户多样记忆或知识库AI组件统一管理Model、工具、Agent市场数据安全IDC/VPC互通,据不出域多种开发模式高低代码,一键转换运行时效果稳定构建安全部署便捷开发与企业级能力天然加持03函数计算AgentRun特性探索AgentRun的特性是什么?有哪些优势?Serverless基础设施AgentRun企业级Agent最佳运行底座开源开放数据/框架无锁定高性能、高安全、开箱即用
高性能多语言
,多种类Sandbox
多维度隔离(会话亲和/隔离
,请求隔离)
统一模型代理、熔断降级、多模型Fallback
工具市场与MCP标准化治理看得清、管得住、优化快
端到端全链路
Trace,
问题秒级定位
细粒度成本归因,
每分钱都知道花在
哪
实时性能监控、智能异常诊断
多维度统计分析
,持续优化依据零运维、极致弹性、按量付费
自动应对从
0到百万级并发的流
量
毫秒级冷启动和弹性伸缩
真正的按量付费
,不使用不计费
无需管理服务器、容器、
K8s数据不出域,灵活集成,平滑演进
兼容主流框架(AgentScope等
top5框架)
无代码一键转高代码
,支持持续演进
深度集成开源生态(RAGFlow、
mem0等)
支持一键托管或绑定已有部署(VPC/IDC)
模块化使用
,可散件集成到现有系统函数计算AgentRun的四大优势用户掌握技术选择主动权,避免供应商锁定Agent不再是黑盒,每个环节都清晰可控企业级Runtime与安全隔离彻底解放运维负担,成本和性能最优平衡提供生产级的执行环境和多租户安全保障全链路可观测优势1:Serverless基础设施零运维、极致弹性、按量付费;彻底解放运维负担,成本和性能最优平衡VM/容器运行时AI时代需求
Serverless运行时预测智能体Agent状态持久化内置状态持久化集成工作流,支持快照/会话管理,自带3AZ容灾
事件驱动通过云产品事件驱动自动执行,架构原子化解耦,协作更容易易受注入攻击安全多租户数据敏感隔离API驱动依赖网关/MQ实现同步和异步调用或,微服务架构复杂度高运维负担沉重依赖专业运维团队配置集群、环境,自建监控日志代价高动态弹性按请求弹性,毫秒/秒级供给资源,支持低峰缩0弹性降本状态管理复杂依赖
Redis/DB管理,故障恢复复杂,跨节点迁移不可行静态资源分配预留固定资源,利用率低,无弹性或分钟级弹性安全隔离的多语言运行环境,自带监控日志告警等配套设施从Serverless架构到AI原生架构从传统架构到AI原生架构免运维流量不可弹性Serverless平台底座优势2:企业级
Runtime与安全隔离高性能、高安全、开箱即用,提供生产级的执行环境和多租户安全保障异构算力
ServerlessAI运行时
生态集成Web函数5倍
规格粒度最小规格:
FC0.05C128MB,虚机
1C512MB,容器
0.
25C512MBQwen,
DeepSeek,etc.ComfyUI,
SD,etc.低代码编排、高代码编码MCP&SandboxPython
3.6~3.11Node.js
17~22Java
8~21PHP/Go/.NET/…自定义运行时自定义镜像Python/Node/Java/PHP/Go/.NET
等50+
内置运行时环境,支持自定义运行时和自定义镜像,便于灵活定制按请求调度,毫/秒计费,低峰自动缩
0虚机包月浪费多,容器为集群持续付费FC
无需为
3AZ
容灾额外付费,虚机/容器则需额外付费产品集成,事件驱动云产品
Serverless
化高密部署,主动调度第四代神龙架构 GPU算力(Tesla,Ada,
Hopper,etc.)快速交付,极致弹性资源池化
2.0安全隔离,自动容灾沙箱容器
2.00不使用不计费GPU
函数冷启动速度:
FC
毫秒~秒级虚机数分钟,容器
30+秒~数分钟100倍启动效率AI应用开箱即用内置多语言运行环境函数类型50+内置环境
CPU算力(x86)AI
工具模型服务图像生成智能体Agent XPU算力任务函数事件函数异构算力开箱即用Serverless运行时Serverless平台底座Agent内置多语言执行引擎GPU算力解耦&
1/N切分函数
&会话规模百万级Agent&Sandbox
Runtime轻量化的函数管理&Session亲和与安全隔离内置多语言执行引擎提供开箱即用的沙箱服务冷启动加速毫秒级Serverless弹性效率请求感知调度,无请求时自动休眠,有请求时毫秒唤醒毫秒级CPU实例&秒级GPU实例极速伸缩平均TCO60%Serverless降本提效缩容到0&
休眠时更低单价GPU/CPU/MEM算力解耦&
1/NGPU卡灵活切分Agent与Sandbox运行时高性能、高安全、开箱即用,提供生产级的执行环境和多租户安全保障GPU算力(Tesla,Ada,
Hopper,etc.)产品集成,事件驱动云产品Serverless
化安全隔离,自动容灾沙箱容器2.0快速交付,极致弹性资源池化2.0高密部署,主动调度第四代神龙架构 CPU算力(x86)LlamaIndex XPU算力AgentScopeLangChainCode
SandboxBrowserSandboxComputerSandboxAIO
Sandbox异构算力Sandbox细粒度资源运行时隔离轻量化函数毫秒级弹性会话亲和存储隔离模型部署可选择开源主流模型直接部署大语言模型2万+热门模型一键托管到云上环境Serverless
模型运行时API直连可选择主流模型厂商通义千问支持30
+模型服务提供商直连模型服务提供商插件管理模型请求治理单模|多模型负载代理Fallback机制并发控制响应缓存超时控制模型运行时高性能、高安全、开箱即用,提供生产级的执行环境和多租户安全保障•
开箱即用,
DevPod二次开发,弹性交付GPU,低峰缩0•
内置vLLM/SGLang/Ollama/LMDeploy推理框架•
最快30s将开源模型转化为生产级OpenAI兼容API•
统一管理认证凭证,防止关键信息泄露•
实时更新模型服务提供商连接插件,加载最新功能•
统一管理Token,以最低成本应对业务需求领域模型DeepSeek优势3:开源开放、无框架锁定–支持主流Agent开发框架灵活集成、平滑演进;用户掌握技术选择主动权,避免供应商锁定Infra拥抱开源一键托管,绑定VPC/IDC资源,
企业数据不出域AgentRun服务(拥抱开源)AgentRunSDK快速构建高可用,低时延,零运维的AI
AgentServerless
Devs
开发者工具(开源+拥抱开源)
AgentScopeLangChain
等5+框架RagFlowLitLLMMem0/serverless-devs采用开源Mem0与Ragflow企业数据安全可控,不出域AgentRunMem0RagFlow百炼知识库…一键绑定VPC存储系统TextJsonVectorGraphAgentRunSDKMemorySDKMemory系统上下文工程插拔式支持企业知识库,记忆系统记忆存储记忆提取MemorySessionKnowledge技能记忆情景记忆语义记忆SummaryNode.js
17~22
Java8~21自定义运行时自定义镜像PHP/Go/.NET/…快速集成Python
3.6~3.11一键部署标量索引全文索引向量索引参数形式记忆对话记录存储知识库存储Json索引SAEIDC工具/
MCP灵活集成、平滑演进;用户掌握技术选择主动权,避免供应商锁定Tool
Hub生态•
海量工具一键集成
,覆盖数据处理、API调用、文件操作等全场景需求•
开放式工具市场,支持自定义工具发布和分享
,构建Agent工具生态闭环统一工具接口•
支持MCP和FunctionCall双协议
,兼容市面上99%的主流工具和服务•API统管工具调用,开发复杂度降低80%,集成时间从天缩短到分钟智能工具生成与发现•AI
自动生成工具代码
,无需手动开发即可满足基础业务需求•AI驱动的工具推荐引擎,根据Agent任务自动匹配最佳工具组合AI
全栈统一监控基于
Prometheus构建AI全栈监控大盘,包括模型性能分析、Token成本分析、GPU资源异动分析等端到端链路追踪基于OpenTelemetryTrace实现用户终端、网关、模型应用、模型服务、外部依赖工具等全链路追踪。日志存储与评估分析构建统一日志分析平台,对模型调用日志进行二次评估分析,实现质量、安全、意图提取等语义检测。 AI应用观测:
OpenTelemetry可观测标准协议优势4:可观测与评估-全链路可观测看得清、管得住、优化快;Agent不再是黑盒,每个环节都清晰可控WorkflowFunction云工作流AI
Studio节点A节点
B
节点CSAE/ACK/托管
Dify编码式PAI/百炼/FCGPU新建
MCPServer函数计算
FC存量业务
MCP化存量业务云原生API网关
(南北向流量网关)RocketMQforAI模型代理AI网关MCP代理AI网关Mobile
APPdeviceWeb
APPUser构建部署AI
Agent流程式函数计算
FC(CPU
+GPU
)DeepSeekGemini多种部署方式的LLM通义千问OpenAIAI应用统一入口Agent
runtimeAgentScopeLang
ChainMCP
Server运行时SandBox一键转化异步同步SDK……在线评估基于AgentRun运行时产生的端到端Trace数据和模型调用日志对Agent质量、
Rag效果、Tool调用效率等持续的做自动化评估。支持评估模型和代码两种方式。离线评估支持从AgentRun运行时的Trace和日志生成数据集,支持从数据集发起对Agent或者LLM的对比实验,清晰捕捉prompt模板变更、模型调整、tool使用等对于Agent的质量效果的影响,从而为Agent调优提供洞察应用评估基于Trace或日志中记录的大模型应用输入输出内容借助LLM能力对智能体进行在线和离线评估解决幻觉,安全,回归等问题,持续提高Agent效果和质量CodeLLM指标Tool调用Token消耗评分Score解释可观测Agent链路模型日志数据集可观测数据集自定义数据集评估器LLM
Agent评估Tool评估
Rag评估实验AgentLLM在线离线评估案例场景与最佳实践60秒无代码快速创建业务人员无需编程,通过可视化界面选择模型、描述需求、配置工具,即可快速创建Agent并上线验证想法,大幅缩短从想法到落地的周期。一键转换高代码演进当业务需求变复杂时,可一键将无代码Agent转换为结构清晰的高质量Python代码,保留所有配置,实现从原型到生产的零成本平滑演进,无需推倒重来。深度定制与企业级能力转换为高代码后,可实现个性化策略、智能成本优化、复杂业务流程等深度定制,并深度集成平台提供的模型代理、熔断机制、异步调用等企业级
基础设施能力。功能案例:无代码到高代码,
一键转化,持续演进拥抱开源,数据不出域在支持以OTS/ADB-PG为基础构建的高性能、高可用知识库基础上,积极拥抱开源:
RagFlow,
Mem0等知识库和记忆能力,轻松应对多种场景和
业务需求,并可以通过几行代码与常见Agent框架集成。生态能力加持,让集成更简单知识库与记忆能力天然支持MCP能力,可以快速与多平台Agent进行集成;知识库支持跨平台知识检索,让零散的知识可以快速被使用起来。使用模式多样,业务效果更可靠记忆服务不仅仅是短期记忆和长期记忆,更包括全量会话记忆与会话缓存,让记忆可追溯,可定义,可优化,可恢复,可查询;知识库的使用可以同时支持上下文模式和工具模式,不同业务场景可以采用不同的使用模式;功能案例:上下文工程能力扩充案例:
QwenCoder•Agentic
Coding:面向开发者的
AI代码助手•将代码编辑器、开发环境和强大的大模型能力深度整合的一站式工作台•通过对话理解和生成代码或注释,并在云端沙箱环境自动调试、验证和部署函数计算:
ServerlessAI最佳运行时半数以上基模厂商选择函数计算作为企业级智能体和沙箱运行时,
峰值规模已达数十万核•Agentic
Coding:面向开发者的
AI全栈开发平台•通过对话生成代码,支持在云端沙箱调试和验证,
且支持将项目发布并分享•客户价值:项目被分享后,无法预估
QPS
,
FC的极致弹性完美解决资源和体验问题
用户案例:
z.ai
函数计算FC存储K8s
OSS推理服务1.
Planning2.SendTask
to
Sandbox3.Package
Project Code
InterpreterSandbox函数OpenWebUI云原生API网关
项目分享函数
打包函数
NASGLM4.5FunctionQ*即将开源全部技术栈,可快速构建私有化的
FunctionQ工具/资源运维诊断账单问题解惑架构设计FaaS代码生成通用问题咨询FunctionQ:函数计算智能助手AgentRunServerless化的Agent开发、部署与运维平台多智能体引擎函数计算FC阿里云百炼垂类领域专家Deepseek通用专家机器人Qwen3
Max规划与代码专家自定义模型私有化部署垂类工具集MCPAgentRun代码解释器知识库AgentRun浏览器A2A协议演示:希希咖啡厅A2A协议演示:希希咖啡厅浏览器沙箱:舆情管理助手AICoding案例谢谢Thank
You不只有高代码:高性能低代码AgentRun
Flow介绍封崇阿里云智能高级技术专家2025/1/30Agent是基于大语言模型构建的智能体通过
Prompt理解任务、自主推理规划、调用工具(MCP服务)、利用记忆完成从简单到复杂的各类任务。Planning/ReasoningAgent执行官MCP服务PromptResponse记忆
功能简单,灵活性低
Prompt直给Smarter
models
using
moretoolsto
accomplish
highervaluetasksModel
大脑LLMAI观测UniversalAgents
Multi-AgentsPlatform-LevelAgentsSiloed,Single-Purpose
AgentsPromptTemplateInstructions什么是Agent
功能复杂,
ReAct推理
快速构建,统一管理AI
Agent基础架构AI
Agent平台
AIAgent之间自行交互LevelOf
Intelligence多模态Usefulness技能池进行中condition
n6
endWorkflow:
LLM和Tool通过预定义代码路径协同Chat
Client:简单原始Agentic:
LLM动态在自主指导流程和工具AgenticAI平台演进GoogleADKSpringAILangGraphCozeLangchainDifyAgentScopen8nCustomAgentLoopAgentSequentialAgentParallelAgentReactAgentRetrievalMemoryToolsLLM
n3
Instart
Outendn2n1n5n4Hub生态MCP
HubFunctionCall
HubAgent
Hub托管AI
StudioDifyRAGFlowPandasWiki函数计算AgentRun:
为更好用的AI基础设施而进化Functioncompute:
EvolvingTowards
Moreuser-FriendlyAIInfrastructure零运维、极致弹性、按量付费、安全可靠的AIAgent基础设施平台文生图/声音/视频ComfyUICosyVoiceStableDiffusion模型服务Hugging
Face模型市场DevpodAPI&
SDKAgentScope
Langchain
LlamaIndexFlow模式AI
自动生成快速创建模式高代码低代码函数计算
FCSLS/ARMS/云监控网关阿里云百炼魔搭社区Qwen企业Agent平台存储记忆异步通信身份凭证LLM代理浏览器RocketMQ运行时网关可观测代码
解释器ModelScopeFastGPTLiteLLM基础编排环境变量/会话变量/全局变量意图识别知识检索Agent/自定义Agent自定义扩展代码执行(Python/Nodejs/Go)HTTP
集成函数计算可观测/可运维/可靠交付版本管理别名流量灰度日志/监控/链路追踪沙箱隔离/弹性扩缩高性能自研引擎专为企业级AI
应用开发设计,提供全托管、高并发、高可用的工作流服务,
IO
密集平均9
倍性能提升。多DSL适配&兼容支持自研DSL,
Dify
DSL
等多种工作流
DSL
适配。AI生态集成无缝对接多种大模型能力,支持结构化输出,
Agent
等多种AI
生态,
和AgentRun
深度集成。云服务生态集成无缝对接阿里云生态,包括OSS、函数计算、
APIGW
、
AI
网关、消息、提供完整的云原生解决方案。交互式开发AIStudio
(Agentic
AI
业务编排)
CloudStudio
(云服务API
编排)业务流程调试(单节点调试|流程调试)执行引擎快速模式
(Express)
对话Agent/在线请求标准模式
(Standard)长时离线任务AgentRun
Flow:企业级高性能低代码Agent运行时条件/并行/迭代/循环/
…LLM
模型AI
工具生态MemoryMCP
MarkplaceSandbox迭代节点真并发执行,迭代次数不限制支持分布式模式
100并发Agent节点支持并行工具调用静态解析MCPSchema支持Sandbox打通高代码Agent会话亲和性能不输高代码Agent/CustomAgentMCPToolsMCPSandboxMCP记忆自定义工具HTTP请求工作流节点拆分子Agent长时任务异步调用对话任务保持会话亲和函数计算节点自定义函数实现灵活扩展同步/异步调用应用中心丰富案例LLM知识检索问题分类/意图识别代码执行函数计算工作流工作流/对话流画布流式回复条件分支循环迭代并行参数提取器模版转换变量聚合列表操作文档提取器支持节点类型对比云上
Dify高性能托管版1.吞吐:提升6~10倍2.时延:降低83~90%,稳定
500ms3.成功率:
100%(40UV时Dify不可用)•
极速响应:毫秒级扩展,平均延迟仅
~506ms
,显著优于
Dify
(>2s)。•
高并发稳定:支持高吞吐,压测场景下可达78TPS
,成功率
100%。•
安全隔离:
MicroVM级租户隔离,保障多租户安全与性能稳定。•
可靠可托付:由专业服务团队持续维护,无需客户自行排查底层问题。•
底层采用Serverless架构,可以快速应对高并发的热调用,流程执行节点可以毫秒级水平扩展•
代码执行节点底层使用函数计算的沙箱环境,提供MicroVM级别的租户隔离能力•
在40个虚拟用户压测场景下,
Dify高性能版的成功率跌零,服务直接挂掉;AgentRun依旧保持
506ms平均延迟、
78TPS、
100%的成功率.•
性能问题:
Dify的代码执行节点性能不行,首包延迟超过了2s,业务侧无法接受。•
并发问题:
Dify开源托管版的吞吐能力很弱,
10TPS下成功率急剧退化,
RT退化了280%,需要不
断扩容计算以及数据库资源•隔离问题:
Dify的代码执行节点是在一个容器中跑多个子进程,不具备多租隔离的能力•
稳定性问题:遇到问题需要自行读代码排查,没有服务提供方来兜底。客户案例—
IOT场景高并发低延迟的运行时客户是IOT场景,流程分支的意图识别主要靠代码执行节点进行数据处理来驱动。
LLM节点采用流式输出,
业务侧关注的是answer节点的首次回复延迟,而非流程的整体执行耗时,因此对迭代前面都依赖的代码执行节点的延迟极其敏感。AgentRun
Flow竞争力客户挑战客户收益AgentRun
Flow可观测能力会话日志
模型指标监控Trace链路追踪事件集成•
定时触发•
Webhook触发•
消息队列触发•
日志服务触发•
支持重试、死信•基于阿里云事件总线,支持100+云产品事件集成集成协议CloudFlow原生OpenAI流式/非流式DifyWorkflow流式/非流式DifyChatFlow流式/非流式网关支持支持云原生网关与AI
网关集成支持AgentRun自建网关AgentRun
Flow业务集成方式SLA范围
》产品支持、加速问题排查专业版,企业
版客户,提供
专属
SLA;工作流数据库数据库K8sOSSK8sOSS服务器服务器费用情况
》资源用多少,
付多少;专业团队支持,提供24*7
服务;AgentRun
FlowAgentRun
控制台•
工作流费用•OSS费用自建DifyDify
控制台Dify实例•OSS费用•
云数据库费用•K8S商业产品费用•
服务器*3for
K8s•
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025-2026学年河南省开封市等2地高三上学期11月期中考试政治试题(解析版)
- 电视台节目编导招聘面试全解析
- 指向学生自主学习能力培养的高中文言文教学策略研究
- 外包公司服务管理经理的职责与招聘要点分析
- 汽车销售公司行政岗位工作手册与面试技巧解析
- 体育产业管理人才选拔:体育项目经理面试宝典
- 雨课堂学堂在线学堂云《管理基础与实务(日照职业技术学院)》单元测试考核答案
- 2026年电子政务中心下属事业单位选聘考试试题(附答案)
- 京东集团研发工程师团队管理策略
- 携程旅游业务面试全解析
- 近视防控能力建设课程知到智慧树章节测试课后答案2024年秋温州医科大学
- 人教版2024-2025学年四年级语文下册教学工作计划(及进度表)
- 《酬乐天》教学设计
- 医院卓越服务规范 (DB43 T 2925-2024)
- 河南省郑州市建筑职业技术学院2024年4月单招考试职测试题
- 《康复医学概论》课件-第三章 残疾学
- 跨境电商专题政策法规汇编 202501
- 超限运输培训课件
- 2021-2026年中国度假旅游行业市场深度分析及“十四五”规划战略分析报告
- 甲方业主项目管理手册
- 冶炼过程数值模拟技术-洞察分析
评论
0/150
提交评论