版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
PPT模版主标题微软雅黑
Bold76磅副标题
微软雅黑40磅
|
内容描述内容描述内容描述AI原生应用开发最佳实践从企业级生产痛点到解决方案探索2026/01/23阿里内部Agent实践OneDay阿里内部AI开放平台
IdeaLAB各行各业都在探索落地AI应用内部提效
AICoding:需求、产品设计、开发、测试全流程演进
AIOps:运维关注度高,期望能辅助资源管理、快速定位系统问题(Infraor业务)并给住自愈方案,甚至自动化自愈
内部工具:
BI助手、内外小密、会议助手
…业务场景
汽车出行:智驾训练、座舱推理(ASR、TTS、知识库)、市场营销(AIGC)、汽车设计(AIGC)
具身智能:大脑、小脑训练,部分云端推理(LLM、TTS等),AI玩具(类具身智能ASR+LLM+TTS+MCP)
互娱游戏:搜索推荐、情感陪聊、AIGC-生图/视频/音乐、视频剪辑、智能客服(Chat、语音)、AI网剧
教育:虚拟老师、作业批改、答题辅助、AI编程
互联网-工具:基模公司-通用Agent、机器人外呼
零售:智能选品、市场营销、AIGC-商品图合成/模特换装/辅助设计、智能客服
泛企业:丰富的垂类Agent,如智能眼镜、智能音响、合同审核、商标查询、建筑报告…
医疗健康、生物医药、法律咨询、物流
…CONTENT目录01
AI原生、Agent驱动了解现状,直面行业挑战,诞生AI原生应用架构和《AI原生应用白皮书》02
为AI而进化的基础设施AI
网关、AI原生应用开发框架、上下文工程、AI工具、AI应用运行时、AI可观测、AI评估、AI安全03
案例场景与最佳实践大规模生成使用的AI案例•
AI场景爆发:
Chat
,
Coding,智能驾驶,消费电子,智能玩具,
DeepResearch等•Google搜索指数,
AI
Agent过去16个月,
1088%增长。•
据Markets
and
Markets预测,全球AI
Agent市场规模将从2024年的51亿美元增至2030年的471亿美元,
年复
合增长率达44.8%;
Gartner预计,到2028年,
至少15%的日常工作决策将通过AI
Agent自主完成。•
《国务院关于深入实施“人工智能+”行动的意见》到2030年,智能体等应用普及率超90%。AI发展阶段AI原生应用白皮书背景模型性能突破Model
(Scaling
Law)大数据/大模型/多模态/空间智能改变世界机器人(PhysicalAI)具身智能/
自进化/脑机接口模型迈过拐点,AgenticAI爆发接管数字世界APP
(AgenticAl)私域数据/Tools/场景AIAgent趋势行业报告行业趋势AI原生应用架构模式单
应
用
多
应
用AI原生应用架构ToolsPerception
ActionsPromptResponseInstructionsPrompt单Agent高代码/零代码单任务Workflow
低代码/高代码多Agent高代码/零代码AI云原生应用架构定义基于模型,Agent驱动,以数据为中心,整合工具链具象(Code编排)泛化(LLM编排)PlanningReasoningMemoryAgentLLMRetrieveRAGStore大脑,既大语言模型(LLM)
作用:识别自然语言,然后进行推理并做出决策。
原则:选择最合适的大语言模型。(不同的大语言模型有自己擅长的领域和业务场景)记忆,知识库
记忆:让Agent记得目标、偏好,以及过往的交互信息,从而实现多步骤执行,自省等能力
知识库:存的是「知识片段」,能回答具体问题,但不是一个完整的操作流程指令,既系统提示词(System
Prompt),或上下文工程(Context
Engineering)
系统提示词:定义Agent的目标和行为,为获得最佳推理结果而编写和组织
LLM指令的方法
上下文:在
LLM推理过程中,动态规划和维护最优的输入token集合各类工具及能力(MCPServer、
Skills、沙箱Sandbox、观测、评估评测)
作用:为Agent提供外部接口能力,如各类业务服务,数据库服务,存储服务等
Skill是「操作手册」,告诉当前Agent遇到问题该按什么步骤来。Agent还是自己干活,只是有了指导。就像给新人一份SOP,他还是自己操作,但知道该怎么做了
沙箱SandBox:提供安全隔离、自动弹性伸缩的、独立的扩展环境,如
Code、
Browser、
Computer
Use、
Mobile
Use等沙箱环境AIAgent躯体,既运行环境(Agent
Runtime)
作用:结合Agent
Framework,使AIAgent主程运行起来
原则:运行环境需要隔离、弹性Memory记忆我记得之前发生了什么知识库我知道某个知识点SubAgent这活儿交给专人去干Skill我知道这类问题该怎么一步步处理AIAgent的核心组件运行时开发模式多样开发Agent时的挑战/痛点Agent依赖大模型和外部工具服务,但这些服务经常不稳定,缺乏统一的容错和治理机制不同层次的开发者需要无代码,低代码,高代码多种开发模式,同时期望能够持续演Agent需要安全隔离的执行环境来运行代码、操作系统、调用工具,但自建成本高、性能差、安全隔离困难构建稳定效果安全涉及知识库、用户数据、业务逻辑等敏感信息,数据安全和合规成为企业应用的最大顾虑Agent运行是黑盒,无法评估效果好坏,不知道如何优化,成本不透明企业数据安全和合规挑战效果评估和持续优化困难执行环境难构建难以持续演进服务稳定性差模型和工具高性能安全进,挑战高部署引入智能体应用让业务系统更智能与存量应用打通复用已有业务能力流量网关应用运行时BaaSInstructionsPrompt
PlanningActions应用发展与基础设施升级的双向驱动•
智能体开发:
全新的Agent开发技术栈,如何快速开发、部署与市场验证•
存量系统融合:
Agent如何与存量系统打通,利用已有资产,赋能企业核心业务AI应用架构落地难点•
稳定运行:
如何保障新构建的AI应用稳定、安全的运行PromptTemplateToolsMemoryLLMResponse
ReasoningAgentAI基础设施智能体应用云基础设施存量应用APIGatewayWeb单体应用云原生可观测云原生网关事件驱动应用多智能体编排Store/
RetrieveCodeAgentChatAgentFlowAgent微服务应用异步任务FC/SAE容器OSSMQRDSALBECSLLM从传统架构到
AI
原生架构
Agent
从
Serverless
架构到
AI
原生架构AI
NativeAPP安全隔离AI时代开发者关注业务创新而非基础设施VM/容器运行时AI时代需求
Serverless运行时状态持久化内置状态持久化或集成工作流,支持快照或会话管理,自带3AZ容灾事件驱动通过云产品事件驱动自动执行,架构原子化解耦,协作更容易API驱动依赖网关/MQ实现同步和异步调用或,微服务架构协作复杂度高运维负担沉重依赖专业运维团队配置集群、环境,自建监控日志代价高状态管理复杂依赖
Redis/DB管理,故障恢复复杂,跨节点迁移几乎不可行动态弹性按请求弹性,毫秒/秒级供给资源,支持低峰缩0弹性降本静态资源分配预留固定资源,利用率低,无弹性或分钟级弹性安全隔离的多语言运行环境,自带监控日志告警等配套设施流量不可预测易受注入攻击多租户数据敏感免运维弹性MobileAPPdeviceWebAPPUserRocketMQforAI同步异步流程式编码式AgentRun:Agentic
AI应用基础设施AI全栈统一监控基于
Prometheus构建AI全栈监控大盘,包括模型性能分析、Token成本分析、GPU资源异动分析等端到端链路追踪基于OpenTelemetryTrace实现用户终端、网关、模型应用、模型服
务、外部依赖工具等全链路追踪。日志存储与评估分析构建统一日志分析平台,对模型调用日志进行二次评估分析,实现质量、安全、意图提取等语义检测。新建
MCP
Server
函数计算
FC一键转化存量业务
MCP化AI网关存量业务多种部署方式的LLMDeepSeekGeminiAI网关PAI/百炼/FC
GPU从AI原生应用架构,演进到AIAgent构建平台Agentruntime函数计算
FC(CPU
+GPU)
云工作流AI
Studio
SAE/ACK/托管
DifyLangChain
……Agent运行时
与沙箱AI
工具凭证管理AI
网关上下文管理Agent
开发框架可观测评估WorkflowFunctionAI
网关(代理
Agent)构建部署AI
Agent节点
C节点A节点
B通义千问OpenAIAI应用统一入口MCP代理模型代理AgentScopeMCP
Server模型调用工具调用运行时SandBoxSDK为AI而进化的基础设施从AI原生应用架构到Agent构建平台AgentRun
AI
网关
Agent
Framework
AI应用运行时
AI工具
上下文工程
AI观测
AI评估
AI安全(应用、模型、数据、身份、基础设施安全) AI安全护栏会话保持消费者认证/鉴权自定义策略与插件……AI观测协议增强适配AI
网关SSL证书内容安全企业级
MCPServer市场Model多模型流量分发智能路由智能负载均衡模型fallbackMCPRESTTo
MCPTools动态组装Tools智能路由MCP
Server动态发现AgentAgent
DiscoveryA2A百炼/Dify协议转换REST
To
A2AAIAgentAgentScope、
LangChain
等开源框架第三方
MCPServer
市场Quo
rk
Google多模态模型ComfyUILLMs通义千问OpenAI每个企业都需要一个AI网关MSE
Nacos
MCP
RegistryWAF集成网络安全企业大模型市场企业Agent市场企业
MCP工具市场……自建大模型……ComfyUI/TTS生视频HTTP/WebSocketWebRTC(Q4)数据安全后端服务鉴权IP黑白名单消费者鉴权AI安全防护API-KEY管理KMS集成数据脱敏HiMarketAI开放平台通用功能deepseekTTSSpringAIAlibaba合入AgentScope•后续Java语言的Agent开发框架以AgentScope为主
品牌发展。•AgentScope-Java版本已追评
Python版本的能力。目前支持
Python和Java两个开发语言:
AgentScope-Python
AgentScope-Java国内依然有50-60%的Java开发者或Java系企业AgentScope-Java性能优化,启动速度提升60%Graalvm:原版3.087秒,
Native版本200毫秒Leyden:原版2.47秒,
Leyden版本0.818秒AgentScope——阿里云官方开源Agent开发框架AgentScope是阿里云官方的Agent框架AgentScope官方文档:https://doc.agentscope.io/zh_CN/index.html函数计算AgentRun
,
一站式AIAgent构建平台AgentRun
是以高代码为核心,开放生态、灵活组装的一站式Agentic
AI基础设施平台,为企业级Agentic
应用提供开发、部署与运维全生命周期管理。
基于Serverless
架构提供强隔离的运行时与沙箱环境,深度集成开源生态,为用户提供模型高可用和数据不出域能力。企业级Runtime与安全隔离AgentRun企业级Agent最佳运行底座灵活开放数据/框架无锁定彻底解放运维负担,成本和性能最优平衡提供生产级的执行环境和多租户安全保障用户掌握技术选择主动权,避免供应商锁定Agent不再是黑盒,每个环节都清晰可控高性能、高安全、开箱即用
高性能多语言
,多种类Sandbox
多维度隔离(会话亲和/隔离
,请求隔离)
统一模型代理、熔断降级、多模型Fallback
工具市场与MCP标准化治理看得清、管得住、优化快
端到端全链路
Trace,
问题秒级定位
细粒度成本归因,
每分钱都知道花在
哪
实时性能监控、智能异常诊断
多维度统计分析
,持续优化依据零运维、极致弹性、按量付费
自动应对从
0到百万级并发的流
量
毫秒级冷启动和弹性伸缩
真正的按量付费,
闲时成本归零
无需管理服务器、容器、GPU卡数据不出域,灵活集成,平滑演进
兼容主流框架(AgentScope等
top5框架)
Agent无代码一键转高代码
,支持持续演进
深度集成开源生态(RAGFlow、
mem0等)
支持绑定已有向量库和RAG(VPC/IDC)
模块化使用
,可散件集成到现有系统函数计算AgentRun的四大优势Serverless基础设施全链路可观测X
函数计算
FC
50+内置多语言运行环境,代码执行延迟
<100ms
会话亲和/隔离架构,满足Agent/Sandbox上下文保持需求
零运维、毫秒级弹性、按量付费的企业级安全沙箱,兼容
E2BX
函数计算
FC
零改造将开源
STDIO
MCP升级为
SSE/Streamable
HTTP
原子化解耦,
MCP
Server冷热分离,弹性伸缩
RT抖动少
MCP
SSE亲和调度,闲置计费,低峰自动缩
0成本最优
函数计算
FC
开箱即用,
DevPod二次开发,弹性交付GPU,低峰缩
0
内置vLLM/SGLang/Ollama/LMDeploy推理框架
最快30s将开源模型转化为生产级OpenAI兼容
APIServerless运行时已经成为阿里云AI原生应用的核心载体AI网关
+AgentRun运行时内部大规模实践案例助力Qwen3-Coder成为领先的的代码模型业界首个全生命周期
MCP服务市场2万+热门模型一键托管到云上环境Serverless智能体运行时Serverless模型运行时Serverless工具运行时Code
Interpreter高代码Agent大语言模型RL
Sandbox智能体MCP
Server领域模型模型工具AgentRun浏览器沙箱——舆情分析AgentRunCode沙箱——AICoding通用型
Agent——智谱
Z.AIAgentZ.AIVibeCodingSandbox详细落地架构模型服务享受PaaS自由度的同时获得SaaS便捷性,按调用量付费,模型部署成本降低90%ServerlessAPI函数计算模型服务——AI模型转化为ServerlessAPI开源模型一键部署,AI模型一键Serverless化,云端模型开发部署零门槛函数计算-Serverless
GPU自然语言处理
语音计算机视觉计算科学多模态模型市场模型类型模型框架免运维/低运维百万级实例规模*与ComfyUI/SDDify等生态一键联动按量付费,降低成本毫秒级弹性*Devpod模型在线开发/构建按量付费CPU+GPU集群6+模型框架一键托管
与Agent服务一键集成100+热门模型在线体验
200+模型一键部署大语言模型HuggingFaceTransformers/PyTorch垂类模型ModelscopevLLM/SGLang/Ollama*毫秒级弹性和百万规模集群紧针对部分模型的测试结果,并不代表全部模型都可以具备该能力FunModel——AI模型转化为ServerlessAPIFunModel支持
DevPod——云上大模型开发与微调环境
随着AI浪潮的发展,吉利汽车在今年推出新一代AI智能化服务,成为核心竞争
力之一,在吉利银河
M9车型深度搭载。
基于阿里云函数计算的ServerlessGPU算力集群为AI座舱的交互和娱乐功能提
供大模型推理服务,共同打造大规模、高可用、高性能的推理引擎。
场景涵盖意图解析、文生图、情感TTS等。尤其在语音交互方面,吉利自研超拟人TTS,采用大量微调和训练,打造吉利汽车专属的逼真、富有情感、自然生动
又稳定一致的语音交互体验。吉利汽车——AI让生活更美好AI工具——MCP/Skills灵活集成、平滑演进;用户掌握技术选择主动权,避免供应商锁定Tool
Hub生态•
海量工具一键集成
,覆盖数据处理、API调用、文件操作等全场景需求•
开放式工具市场,支持自定义工具发布和分享
,构建Agent工具生态闭环统一工具接口•
支持MCP和FunctionCall双协议
,兼容市面上99%的主流工具和服务•API统管工具调用,开发复杂度降低80%,集成时间从天缩短到分钟智能工具生成与发现•AI
自动生成工具代码
,无需手动开发即可满足基础业务需求•AI驱动的工具推荐引擎,根据Agent任务自动匹配最佳工具组合采用开源Mem0与Ragflow企业数据安全可控,不出域AgentRunMem0RagFlow百炼知识库…一键绑定VPC技能记忆对话记录存储记忆提取Python
3.6~3.11Node.js
17~22Java8~21
PHP/Go/.NET/…自定义运行时自定义镜像Knowledge上下文工程——企业知识库,记忆系统,上下文压缩与窗口管理TextJsonVectorGraph全文索引向量索引Json索引标量索引AgentRunSDKMemorySDKMemory系统快速集成存储系统一键部署Memory记忆存储参数形式记忆知识库存储语义记忆情景记忆SessionSAEIDCSummary模型服务层托管模型服务通义千问DeepSeek
OpenAI
…
…
.PythonAgent自建模型服务通义千问
DeepSeek
Llama3
…
…
.推理加速框架(SGLang/VLLM
等)PythonAgent模型应用层LLM应用
LLM
应用
LLM
应用LLM应用开发平台/编排集成框架
(Dify/Langchain/Llamalndex)PythonAgentKubernetes
SAE实例向量数据库
缓存对象存储AI网关(MSE/ALB等)Otel
SDK链路上下文AI
ProxyToken
限流敏感信息过滤一个典型的
AI
原生应用架构及可观测诉求AI网关(MSE/ALB等)Otel
SDK链路上下文API管理流量防护AI全栈统一监控模型调用端到端链路追踪模型日志存储与评估分析基于
Prometheus构建AI全栈监控大盘,包括模型性能分析、Token成本分析、
GPU资源异动分析等基于ARMS构建Trace系统,实现用户终端、网关、模型应用、模型服务、外部依赖工具等全链路追踪。基于SLS构建统一日志分析平台,对模型调用日志进行二次评估分析,实现质量、安全、意图提取等语义检测。用户业务层客户端Web小程序AndroidiOSHTML
5WAF防护服务发现Cache/RAG链路上下文链路上下文GPU集群RUM
SDKTools…….在线评估基于AgentRun运行时产生的端到端Trace数据和模型调用日志对Agent质量、
Rag效果、Tool调用效率等持续的做自动化评估。支持评估模型和代码两种方式。离线评估支持从AgentRun运行时的Trace和日志生成数据集,支持从数据集发起对Agent或者LLM的对比实验,清晰捕捉prompt模板变更、模型调整、tool使用等对于Agent的质量效果的影响,从而为Agent调优提供洞察评估评估器LLMAgent评估Tool评估
Rag评估Code
LLM指标Tool调用Token消耗评分Score
解释AI应用评估基于
Trace
或日志中记录的大模型应用输入输出内容,通过LLM/Code/人工等方式对智能体进行在线和离线评估,持续提升Agent
效果和质量可观测Agent链路模型日志数据集可观测数据集自定义数据集在线离线实验AgentLLM模型部署——FunModel•
支持Serverless
GPU算力•
支持微调后的模型进行私域一键部署模型微调——DevPod•
基于反馈的高质量数据集,对模型进行微调•
支持主流的强化学习框架运行•
预集成微调生态的插件AgenticAI应用的开发•
低代码白屏化脚手架•
高代码无框架绑定开发•
版本的无损平滑升级Agent数据收集•
无侵入式的全链路采点•
一键开启,默认集成•除基础监控外,提供全链路的tracingAgent数据飞轮——持续提升Agent使用效果•
全链路的数据标注•
反馈数据收集•
基于数据测试集的回放数据飞轮Agent反馈评估HiMarket——云原生开源AI开放平台,构建企业专属的AI市场AI驱动的下一代应用平台AI
网关
模型统一管理(Model
API)工具统一管理(MCP
Server)模型市场工具市场/API/数据源端侧应用智能助理售后服务理财助手业务办理CRM智能交付平台数字人平台基于AI原生应用架构打造——AI驱动的全新应用平台AI
网关
Agent
API
(南北向流量管理/策略管控)
Agent
市场
智能体
智能体智能体智能体…基于AgentRun构建方案Agent构建平台基于原子能力构建方案售后服务售前助理理财助手流程助理智能助理投研顾问业务办理…WebAppSalesMarketing
EngineeringAI原生应用架构展望——AGI通向ASI让AI扩展自己和组织边界Product
Engineering
Sales
·
ProductMarketingDesignDesign谢谢Thank
You函数计算AgentRun企业级一站式AI
Agent基础设施平台姚翔(弑
魔
)2026/01/23CONTENT目录01
Agent开发痛点分析Agent开发痛点02
AgentRun介绍AgentRun的架构与功能介绍03
AgentRunSDK开发实践AgentRun具体的案例实践开发04
未来规划未来AgentRun的规划方向01Agent开发痛点分析Agent是基于大语言模型构建的智能体通过
Prompt理解任务、自主推理规划、调用工具(MCP服务)、利用记忆完成从简单到复杂的各类任务。Planning/ReasoningAgent执行官MCP服务AI
Agent基础架构PromptTemplatePromptResponse记忆
功能简单,灵活性低
Prompt直给Smarter
models
using
moretoolsto
accomplish
highervaluetasksModel
大脑LLMAI观测UniversalAgents
Multi-AgentsSiloed,Single-Purpose
AgentsPlatform-LevelAgents
功能复杂,
ReAct推理
快速构建,统一管理AI
Agent平台
AIAgent之间自行交互LevelOf
Intelligence多模态模型InstructionsUsefulness技能池进行中规模化落地成本高、门槛高从
Demo到生产需要处理大量基础设施问题,成本高昂且不可控,小团队难以承受模型和工具服务稳定性差Agent依赖大模型和外部工具服务,但这些服务经常不稳定,缺乏统一的容错和治理机制。企业数据安全和合规挑战涉及知识库、用户数据、业务逻辑等敏感信息,数据安全和合规成为企业应用的最大顾虑。高性能安全执行环境难构建Agent需要安全隔离的执行环境来运行代码、操作系统、调用工具,但自建成本高、性能差、安全隔离困难。持续优化困难Agent运行是黑盒,无法评估效果好坏,不知道如何优化,成本不透明。开发
Agent
时的挑战/痛点效果评估和强大的基础设施支撑高效开发接入ContextAgent快速开发XPU资源管控存储管理权限管理环境管理回归评测模型评估监控告警Token数统计E2E压测全链路监控TracingCICD流程任务管理单点登录成本管理Memory支持AI
Coding并发控制Session亲和高速缓存无损上下线多协议支持FallbackSandbox凭证管理一键启动快速部署运行时模型部署负载均衡限流质
量评
估运维管控02AgentRun介绍函数计算AgentRun函数计算AgentRun:AgenticAI应用基础设施函数计算为AgenticAI应用提供开箱即用的开发、部署与运维服务开发部署运维高代码API网关RocketMQ异步调用AgentScopeA2A协议AgentScopeAgent/MCP/
Prompt注册AI应用治理模型代理
MCP代理Agent代理注册发现低代码
百炼
CloudFlow……AI可观测AI全栈监控
端到端链路追踪成本与质量评估高代码深度定制,低代码快速搭建,提升AI应用开发效率轻量灵活、安全隔离、极致弹性、精益成本的
ServerlessAI运行时服务治理与可观测,为AI应用保驾护航Agent运行时云沙箱凭证管理模型管理上下文管理消息AI
网关可观测MCPFunction
Call小参数大语言模型Agent运行时模型运行时工具运行时领域模型流量不可预测租户数据隔离易受注入攻击Sandbox毫秒级弹性执行任务与拓展功能会话亲和安全隔离思考与规划行动Infra拥抱开源一键托管,绑定VPC/IDC资源,
企业数据不出域AgentRun服务(拥抱开源)AgentRunSDK快速构建高可用,低时延,零运维的AI
AgentServerless
DevsCLOUD
NATIVE
LANDSCAPEAgent开发---开源开放、无框架锁定开发者工具(开源+拥抱开源)
/serverless-devsRagFlowLiteLLMMem0
AgentScopeLangChain等5+框架会话、请求、实例
多种隔离机制使用AgentAgent--脚手架创建Agent开发者全链路可观测监控、日志、链路追踪Serverless弹性、按量、免运维PromptTool高代码沉浸式编程效果评估Agent持续进化低代码脚手架做出雏形应用企业级能力加持转高代码AIAgent用户LLMServerless级Session
亲和/隔离架构负载感知调度,按会话弹性伸缩,支持会话亲和/会话隔离标杆客户
:··
Had
el5cope
步Q
wenRLSandboxSim
Sandbox沙箱即服务服务化API,支持十万函数百万实例级别的沙箱执行CPUGPU零运维,毫秒级启动,最大支持2w实例/分钟极速交付,
免费提供
3AZ
自动容灾企业级Runtime
与安全隔离
-Sandbox运行时高性能、高安全、开箱即用,提供生产级的执行环境和多租户安全保障业界首创Serverless级Session亲和/隔离架构智能体运行时开源开放:与AgentScope、
LangChain、
LlamaIndex等主流开发框架集成毫秒级启动与按需付费:强隔离、突破性上下文保持,启动效率领先传统容器方案
100倍,按需使用,按量付费,低峰缩
0成本最优业界领先的开箱即用、多语言代码安全执行引擎沙箱即服务服务化:提供Code
Interpreter
API、
Browser
API内置开发环境:
Python/Node.js/Java/PHP/
Shell/.NET等
50+多语言环境,支持
OCI标准镜像和自定义运行时灵活扩展Serverless异构算力智能体运行时Code
InterpreterBrowser
Use行业头部厂商会话亲和MCP场景强诉求。依赖连续会话状态,需确保同一用户请求始终路由至同一个实例,避免因实例切换导致SessionID丢失和工具调用失败,保障多轮交互连续性与可靠性。支持
MCPSSE/
MCPStreamable
HTTP/Header
Field/Cookie四种亲和类型。会话隔离AISandbox场景强诉求。一个用户会话(Session)独占并绑定一个函数实例。避免不同请求之间的数据残留和数据泄漏。会话管理—会话亲和&隔离x-custom-affinity-header:SessionID-1x-custom-affinity-header:SessionID-2x-custom-affinity-header:SessionID-3mount
/user-id-1/session-id-1Serverless
AI解决方案
引入会话粒度度存储粘性,将会话和一个持久化的,归属特定租户的存储子
目录进行强绑定。
平台基于POSIX标准多租存储安全实践框架,落地层次化纵深防御体系传统共享存储问题(虚机/容器/FaaS架构)Agent
Code
Sandbox多租户数据共享,有安全问题。无法满足同一个函数的每个实例路径不同的需求。挂载存储路径是变化不确定的。OpenWeb
UI会话-1会话-2会话-3Sandbox函数实例-1实例-2实例-3Sandbox实例动态挂载函数计算
FC
持久化存储NASOSSmount
/user-id-1/session-id-2mount
/user-id-1/session-id-3用户Tool
Hub生态•
海量工具一键集成
,覆盖数据处理、API调用、文件操作等全场景需求•
开放式工具市场,支持自定义工具发布和分享
,构建Agent工具生态闭环统一工具接口•
支持MCP和FunctionCall双协议
,兼容市面上99%的主流工具和服务•API统管工具调用,开发复杂度降低80%,集成时间从天缩短到分钟智能工具生成与发现•AI
自动生成工具代码
,无需手动开发即可满足基础业务需求•AI驱动的工具推荐引擎,根据Agent任务自动匹配最佳工具组合工具/MCP采用开源
Mem0与
Ragflow企业数据安全可控,不出域AgentRun…一键部署一键绑定上下文工程--开源开放、无框架锁定Memory
SDK
SessionMemoryKnowledgeSAEJsonVectorGraph全文索引向量索引Json索引标量索引RagflowMem0Memory系统存储系统IDCVPC技能记忆参数形式记忆情景记忆对话记录存储语义记忆知识库存储AgentRunSDKPHP/Go/.NET/…自定义运行时记忆提取记忆存储自定义镜像3.6~3.11快速集成Node.jsPython17~22Summary8~21TextJava…AI全栈统一监控基于
Prometheus构建AI全栈监控大盘,包括模型性能分析、Token成本分析、GPU资源异动分析等端到端链路追踪基于OpenTelemetryTrace实现用户终端、网关、模型应用、模型服务、外部依赖工具等全链路追踪。日志存储与评估分析构建统一日志分析平台,对模型调用日志进行二次评估分析,实现质量、安全、意图提取等语义检测。构建部署AI
Agent流程式WorkflowFunction云工作流AIStudio节点A节点
B节点CSAE/ACK/托管
Dify编码式SDK
Agent
LangScopeChain
……运行时
MCP
Server
runtime
SandBox函数计算
FC(CPU
+GPU) AI应用观测:
Open
Telemetry可观测标准协议新建
MCP
Server函数计算
FC一键转化存量业务
MCP化存量业务云原生API网关
(南北向流量网关)RocketMQforAI全链路可观测MCP代理AI网关AI网关PAI/百炼/FC
GPU模型代理
多种部署方式的LLMMobile
APPdeviceWeb
APPUser同步异步AI应用统一入口DeepSeekGemini通义千问OpenAIAgent阶段二:按请求计费传统
FaaS计费模式问题:为代码运行时刻付费,无请求时
0成本。
但长连接保活场景(如
MCPServer/WebSocket)
因低负载存活仍计
费,成本高。阶段三:按实际资源消耗计费Serverless
AI计费模式价值:按实际资源消耗,精准区分忙闲时计费。消除长会话/低负载保活冗余成本,无缝支持AI强交互场景。阶段一:按资源租用计费虚机/容器计费模式问题:
为实例的持续运行付费。
无请求时不能缩0仍计费
,
资源空转成本高。MCP
Server基于Serverless
AI的计费方案
,
长连接闲置计费最高降低
87%低成本03AgentRunSDK开发实践转换为高代码后,可实现个性化策略、智能成本优化、复杂业务流程等深度定制,并深度集成平台提供的模型代理、熔断机制、异步调用等企业级基础设施能力。当业务需求变复杂时,可一键将无代码Agent转换为结构清晰的高质量Python代码,保留所有配置,实现从原型到生产的零成本平滑演进,无需推倒重来。业务人员无需编程,通过可视化界面选择模型、描述需求、配置工具,即可快速创建Agent并上线验证想法,大幅缩短从想法到落地的周期。无代码向高代码SDK转化深度定制与企业级能力60秒无代码快速创建一键转换高代码演进提供
LangChain、
LangGraph、AgentScope、
PydanticAI等主流框架的原生集成SDK
,通过egration.*统一命名空间调用,每个框架都有专门优化的适配层。SDK自动处理不同框架的类型差异,提供.to_langgraph()、
.to_agentscope()、.to_pydantic_ai()等转换方法,确保模型对象和工具集合无缝适配目标框架的类型要求。SDK:AgentRun与框架集成最短路径只需替换模型和工具的初始化方式(model()和tools()),返回的对象完全兼容原框架接口,Agent创建、调用等业务逻辑代码无需任何改动。多框架原生SDK支持极简API设计,两行代码完成集成智能类型转换,开箱即用SDK实践:通过
A2A构建多
Agent协作系统https://docs.agent.run/docs/tutorial/best-practices-a2a-by-me-a-coffee04未来规划–数据飞轮高性能高安全开箱即用,轻量灵活极致弹性,最小成本享受AI时代红利数据飞轮模型微调•
基于反馈的高质量数据集,对模型进行微调•
支持主流的强化学习框架运行•
预集成微调生态的插件Agent数据收集•
无侵入式的全链路采点•
一键开启,默认集成•除基础监控外,提供全链路的tracingAgenticAI应用的开发•
低代码白屏化脚手架•
高代码无框架绑定开发•
版本的无损平滑升级模型部署•
支持Serverless
GPU算力•
支持微调后的模型进行私域一键部署•
全链路的数据标注•
反馈数据收集•
基于数据测试集的回放AgentRun
研发全链路Agent反馈评估THANKS“函数计算AgentRun客户群”群的钉钉群号:
134570017218Function
AI生成式AI的落地实践与案例分享设计、营销在AIGC浪潮下的新范式赵世振
(寰奕)阿里云
AI原生
高级产品解决方案架构师CONTENT目录01
AIGC在设计领域的渗透曲线AIGC如何逐渐重塑设计领域下的效率与创造力?02FunctionAI:
FunArtServerless助力成本低、高效率、高性能的可控图片视频生成03
设计、营销新范式下的案例AIGC技术呈现出前所未有的创新和想象力,提高企业内容生产的效率和质量01AIGC在设计领域的渗透曲线AIGC如何逐渐重塑设计领域下的效率与创造力?第四阶段多类技术大融合•保
ID技术快速迭代,多视角、多动
作序列帧一致性问题解决•3D重建与渲染技术逐步突破•环境融合等技术渐趋成熟•3D生成技术效果向实际应用靠拢•可控视频生成第三阶段行业可控、行业充分应用•Controlnet面世,补齐可控生成的版图•ComfyUI一年更新节点3000+•抽卡机制,行业自主可控的训
练•工作流程搭建、相关技术逐渐
成熟第二阶段技术快速发展•Stable
Diffusion
开源•Web
UI上线
,普世化插件层出不穷•Lora、
Dreambooth,支持灵活的训练方式•ComfyUI上线,插件灵活组装第一阶段萌芽•
生成式技术萌芽•OpenAI和Google分别输出自研方案,
Midjourney上线技术萌芽到开源生态的繁荣行业自主可控的生成技术能力多技术大融合,极大降低素材成本AIGC在设计行业的渗透曲线阶段特征阶段核心能力AIGC
BASICDESIGNABILITYAIGC
SCENARIO-BASEDINDUSTRYAPPLICATIONAIGC设计技术能力AIGC场景化行业应用AIGC席卷了设计领域AIGC辅助平面设计
AIGC辅助空间设计AIGC辅助电商设计AIGC插画绘制AIGC空间外观设计AIGC虚拟模特AIGC产品外观设计AIGC辅助商品设计AIGC建筑效果绘制AIGC
品牌IP设计AIGC包装设计AIGC服装设计AIGC海报生成行业LORA模型AIGC环境艺术AIGC场景替换算法能力编排AIGC试衣算法能力大模型XX客户影视行业的AIGC最佳实践02
FunctionAI:
FunArtServerless助力成本低、高效率、高性能的可控图片视频生成基模可控
自研大模型-通义万相50+开源大模型算法可控
4000+生图可控算法能力行业模型可控
定制化行业模型训练整理标注数字资产DIGITAL
ASSET</>数字内容GENERATION</>模型资产LORA数据集DATASET/AIGC席卷了设计领域微调训练推理生成/
产品工具建设设计驱动产品工具建设,基于客户共建设计领域开箱即用的saas工具形态。也可以提供api能力,供客户封装
算法流程编排
行业设计的可控的算法研发:客户ai场景调研、AIgc场景提效洞察、算法流程编排。企业级算力共享、算力调度、推理加速、快速扩容、弹性伸缩
AI平台
云资源的方式配套IT设施,部署模型、安装绿网、支持模型与算法的上传,提供AI算法编排能力、行业模型训练能力。 大模型内置了170插件,4000+AIGC生图可控算法。包含了自研的算法与主流的开源算法。
行业模型支持行业模型的训练,提供训练服务阿里云可控AIGC分层矩阵虚拟模特
AI试衣风格转绘风格迁移口型视频自定义场景
大模型
万相、flux、可图、
sd等,
50+主流大模型
算力背景图生成业务场景电商设计产品能力核心功能
文件管理实例登陆基础功能
异步调用
访问管理基础设施阿里云百炼
网关开源模型生态ComfyUI生态Stable
Diffusion生态Modelscope
AIGC生态Midjourney生态FunArt:
Serverless多模态AI创作平台基于
ModelScopeAIGC
的
LoRA训练Stable
Diffusion托管工作流广场ServerlessAPIRocketMQ辅助设计营销物料游戏渲染教育培训模型广场CPU
GPU解耦应用监控弹性配置SLS/ARMS/云监控Midjourney合作ComfyUI
托管函数计算
FC企业级ServerlessAPI与资源管理内置
nunchaku、
deepgpu推理加速,支持一键将ComfyUI工作流发布为API。实现免GPU运维与自动扩容,内置队列,支持异步调用,并提供产研专业SupportLoRA模型训练深度支持开源模型
LoRA微调,提供
Muse
LoRA,Kohya
LoRA等多种
LoRA训练器,解决从数据集打标到模型训练的全过程,满足个性化、垂直领域的专业创
作需求。ComfyUI图生图/文生视频提供开箱即用的云端ComfyUI工具,解决部署安装复杂,及本地环境显存限制问题。工作流中支持直接调用百炼Wan模型API,实现顶级视觉生成。FunArt:
多模态内容生成引擎,AI创作零门槛。开箱即用一键拉起图像生成项目,分钟级完成端到端环境搭建灵活开放支持上传自定义模型、插件、适配个性化需求一键发布项目开发阶段调试通过的流程可直接发布为APIServerless算例与定价计算资源独享,轻松应对突发流量,按实际使用算力计费模型加载加速FunctionAI底层算例在网络层、容器层、模型层做了优化,模型加载速度提升约30%应用推理加速使用
Int4、
DeepGPU等加速方案对推理进行加速,出图效率提升3-4倍FunctionAI图像生成,简化从灵感到
API
调用的每一步FunArt:使用流程API
调用阶段API
发布阶段调试阶段调用百炼模型API/下载开源模型弹性生图发布API结果转存调试提示词工作流/插件配置资源规格启动工作空间关闭工作空间生成图片/视频转存至OSS转存至NAS一站式的
LoRA模型训练平台FunArt联合
ModelScope推出一站式
LoRA模型训练平台。支持租户隔离及私有化部署,完成从数据集打标-模型训练的全流程。通过微调LoRA模型训练,得到一个风格化垂类的小模型,从而实现高度定制化的图像生成效果。FunArt
+
ModelScope:模型训练03设计、营销新范式下的案例AIGC技术呈现出前所未有的创新和想象力,提高企业内容生产的效率和质量杭州亚运会:长卷设计AIGC风格化海报:产品艺术海报AIGC风格化海报:产品艺术海报超级符号|大疆的视觉海报可以控制符号与环境的自然融合,保持符号的稳定可见呈现场景营销,在风景如画的氛围中,强化品牌符号AIGC风格化海报:视觉海报AIGC风格化海报:海报重绘AIGC风格化海报:电商头图排版AIGC试衣:平铺图试穿文本拓写-AI撰写提示词视频框架制定文本拓写-AI撰写提示词AI分镜图片制作AI分镜视频生成消费者用手机扫描可口可乐瓶身二维码,上传心愿和照片,便能定制新年愿望,不同的是,可口可乐引入了视频,用户不仅可以生成个人数字形象,还能选择个性化语音,生成动画视频,说出新年祝福。集齐全家人的心愿,就能连成一条完整的
“心愿龙”。通过AI赋能,可口可乐得以成为家人心愿的载体,并且让连接不局限于单个家庭内部。当万千家庭的新年愿望组成长龙,意味着身处世界不同角落,素不相识的家庭因可口可乐而产生连接,“年在一起”也被赋予了更深的意义。天猫利用AIGC这一特点,联动20多位明星与多个热门IP
,发起AI共创年画的活动。用户可以通过AIGC互动,在明星或者IP制作的年画添上自己的一笔,创作出带有个人烙印的年画。在轻松的互动中,带来新鲜感与成就感,这种「明星联动+个性定制」的互动模式,吸引了不少粉丝的参与。春节康师傅邀请AI写春联,用户进入小程序后,引导用户说出「新年你想写一副什么主题的春联」,随即通过故宫宫廷文化数据库,检索古往今来的祈福春联,为你创作一副独家春联。并通过LBS定位技术,精准定位用户家乡,实现与所在地地标性建筑的同框合影。在新年期间转发给亲朋好友,线上拜年,大大提升了社交价值。上传20张照片,支付9.9元,便可生成个人专属的数字分身。并AI生成多款人像写真。迅速火爆朋友圈,月活用户:198万。妙鸭相机的快速走红,得益于其在微信小程序上的便捷操作和社交裂变机制。用户通过上传20张照片并支付9.9元后,
即可生成个性化的数字分身,并在社交媒体上分享。这种“傻瓜化”的操作流程和社交裂变的传播方式,极大地降低了用户的使用门槛,同时也加速了产品的市场渗透。人脸迁移原
图换脸效果换脸效果谢谢Thank
YouAI时代的“智能流量中枢”,AI网关搭建与落地实践修省阿里云
云原生
高级产品解决方案架构师2026/01/23CONTENT目录
01
AI
应用落地的核心挑战02
AI网关产品核心能力与落地实践03
AI网关应用场景及案例一、AI应用落地的核心挑战高可用保障l
模型服务中断l
RT和成功率波动影响用户体验l
监控告警缺失,无可观测能力成本失控l
重复问答浪费l
无限流机制安全与合规风险l
API-KEY泄漏风险l
敏感数据泄露l
生成内容不可控集成复杂度l
统一多模型代理l
MCP服务、
agent集成l
权限管理复杂AI应用落地过程中遇到的核心挑战AI网关成本优化l
AI缓存l
AI观测安全鉴权管理l
API-KEY托管、二次分发l消费者鉴权l
AI安全防护统一接入代理l多模型统一代理l
MCP协议适配l
AgentAPI封装高可用保障l
Fallback机制l
AI限流l联网搜索优化模型幻觉AI安全防护自建大模型服务(FC、
PAI等)MaaS(百炼、
OpenAI、豆包等)存量HTTP服务Dify
on
SAE百炼应用等MCPServer
on
FCAI网关产品核心能力的统一入口
,
提供全方位的治理和优化能力
,
构建企业级AI智能流量中枢Redis/VectorDB消费者鉴权API-KEY管理AI缓存AI限流AI观测搜索增强AI安全护栏企业访问大模型、
MCP工具和AgentSLS/LLM观测夸克LLMAPIMCPAPIAgentAPIAI应用开发者proxyTools动态组装工具代理智能感知http转mcpAgent代理模型代理AI网关落地实践--解决用户管理失控问题核心问题:我以什么样的方式将LLM服务暴露给大家呢?如何进行权限管控?解法:
OpenAIAPI的协议基本已经是标准协议,目前市场面上大部分LLM都支持OpenAIAPI协议。所以提供遵循OpenAIAPI协议的HTTP接口就可以让企业员工通过各种方式使用LLM服务和能力。通过创建消费者,对模型侧的API-Key进行保护,防止泄露导致的盗刷。核心问题:企业内部部署DeepSeek
R1满血版,公司好几千人,但GPU资源有限,如何限制用户?解法:AI接口一旦暴露出去,基本上不可能只让一小部分人知道,所以需要对访问LLM服务的用户做以限制,只让能访问的人访问,不能访问的人即便知道了接口也无法访问。创建消费者
一个消费者可以对应一个个人,也
可以对应一个团队、
一个组织等。
每个消费者会有对应的API
Key。建议
可以通过AI网关的OpenAPI,将申
请消费者的流程接入企业的审批流
API
Key的分发也可以通过审批流
分发消费者授权
给消费者分配可以访问哪些LLM服务接口。建议
可以将一个消费者对应到一个团队或一个项目组,根据具体业务分配不同的LLM服务接口权限。API
Key管理
一个消费者可以生成多个API
Key。
根据不同的情况管理API
Key,比如新增或重置。建议
定期重置API
Key,并通知到使用方,避免API
Key泄漏后造成损失。321AI网关落地实践--解决安全合规的问题核心问题:模型托管平台自带好几层内容安全审核机制,但是我们在IDC部署或者在FC部署的,如何能方便的接入内容安全审核服务?解法:AI网关中的AIAPI集成了阿里云的内容安全防护和AI安全护栏服务,可以一键开启。安全防护的规则还是要在内容安全服务侧配置。
支持请求内容检测。
支持响应内容检测。
支持防护等级配置。
支持消费者级别拦截。AI网关落地实践—联网搜索降低模型幻觉问题核心问题:公司部署了DeepSeek
R1671B的模型,但推理的结果和DS官网推理的结果有差距,似乎不满血?解法:推理的结果和DS官网推理的结果有差距大概率是因为DS官网开启了联网搜索。
DeepSeek
R1671B的模型推理能力是很强,但训练的数据也是有限的,所以要解决幻觉还需是要在推理前先搜索
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 如何成为一名的产品策划师-基于真实案例的
- 酒店预订与销售专员面试指导
- 酒店管理售后管理与服务质量培训
- 三年(2023-2025)湖南中考语文真题分类汇编:专题04 古诗文默写(原卷版)
- 建筑企业项目经理面试常见问题
- 节俭演讲稿粮食安全
- 河南大学教授开学演讲稿
- 2025年AI角色扮演提升马耳他语沟通
- 2026年教育信息化设备与技术发展现状试题
- 2025年AI艺术生成工程师的系统分析与设计能力
- 2026国网吉林省电力有限公司招聘129人(第二批)考试参考题库及答案解析
- 25188442第1课《个性与从众交响》课件【北师大版】《心理健康》六年级下册
- 公司工会经费收支管理实施细则
- 2026年招兵心理测试题库及答案(夺冠系列)
- 基本公共卫生服务项目工作制度
- 2025年70周岁以上老年人换长久驾照三力测试题库(含答案)
- GB/T 9239.11-2025机械振动转子平衡第11部分:刚性转子的平衡方法和允差
- 2025年《三级老年人能力评估师》考试练习题及答案
- GB/T 19352-2025热喷涂热喷涂涂层制造商质量要求
- 人教版(2024)五年级全一册信息科技全册教案
- 组织学与胚胎学:软骨与骨
评论
0/150
提交评论