2025阿里云AI原生应用实践沙龙 Serverless+AI专场

企业级AI

应用开发：从技术选型到生产落地墨飏（洪晓龙）阿里云Serverless

AI

团队Contents目录01

企业级

AI应用开发的真实面貌02

模型、工具和智能体生产实践03

总结企业级

AI应用开发的真实面貌New

FutureonCloud

New

FutureonCloud

New

Future

on

Cloud01单体架构

垂直架构

SOA架构

微服务架构

云原生架构

AI

原生架构实现快维护成本高模块化负载均衡服务管理RPC技术高密度部署原子、自治按量使用极致弹性应用架构演进Serverless是应用架构演进的必然趋势，也是当前最有可能演进为

AI

Native

Infra

的技术架构?Kubernetes容器虚拟机ServerlessxAI？Serverless物理机企业

AI应用开发的真实面貌智能体正成为企业应用开发新范式，生产级

AI系统远不止表面的智能对话，

90%工作在于底层的软件工程与基础设施开发者看到的

企业看到的AIAgentMemory负责管理大模型对话时的记忆Planning负责规划大模型的行动负责管理大模型行动的基本流程负责让大模型连接外部工具ActionTools企业

AI应用开发的真实需求企业的生产实践发现，除弹性外，模型选型关注效率

&可靠；工具选型关注简单

&经济；智能体选型关注安全

&可扩展。选型痛点：FunctionCall、

MCP？工具类型Code/RL/Browser

Use/SimSandbox？选型痛点：零代码、低代码、高代码？开发范式LLMAgent/FlowAgent/CodeAgent?选型痛点：大模型、领域模型？参数规模0.6/1.7B/4B/8B/14B/32B/235B？智能体躯干模型大脑工具四肢模型、工具和智能体生产实践New

FutureonCloud

New

FutureonCloud

New

Future

on

Cloud02维度SaaS（模型服务商）PaaS（Serverless

自建）IaaS（VM/容器自建）安全×数据风险高：•数据在第三方，合规不可控✅

数据风险低：•数据在客户私网，厂商基础安全保障✅

数据风险低：•数据在客户私网，厂商基础安全保障效率✅

开发效率最高：•开箱即用，零配置×几乎不可定制：•无法修改底层框架，可选模型少✅

开发效率高：•开箱即用，无需管服务器及其环境依赖

✅

定制效率高：•框架/模型自由，开源选择多×开发效率低：•需手动配置集群、网络、依赖

×定制效率低：•小规模效率高，大规模效率低可靠✅

可靠性最高：•服务商提供SLA，自动容灾

×完全黑盒：•故障依赖服务商修复✅

可靠性高：•3AZ高可用，自动容灾

✅

黑盒+白盒：•

自带监控日志链路追踪等工具×可靠性低：•

自主实现高可用架构

✅

完全白盒

：•需要自建监控日志，代价高弹性✅

有限弹性：•按请求弹性，配额受限则不可再弹

×成本不可控：•按请求单价高，突发流量费用激增✅

极致弹性：•按请求弹性，毫秒/秒级供给资源

✅

成本可控：•按资源单价低，利用率高浪费少×普通弹性：•手动/自动扩展VM或Pod，分钟级

×成本可控：•按资源单价低，利用率低浪费多模型服务

–技术选型模型服务有2种技术选型：模型服务商（如OpenAI、百炼等）、开源自建（Qwen、

DeepSeek等）巨型企业业务成熟，有专业团队，

PaaS/IaaS自建是追求自主可控的必然选择。规模扩大生产上量，核心业务自建&创新，

PaaS是

ROI最高的选择。初创公司PoC阶段，快速验证，

SaaS/PaaS的开箱即用是最简单的选择。冷启动速度：

FC

毫秒~秒级，虚机数分钟，容器

30+秒~数分钟最小规格：

FC

0.05C128MB，虚机

1C512MB，容器

0.

25C512MB按请求调度，毫/秒计费，低峰自动缩

0虚机包月浪费多，容器为集群持续付费不使用不计费FC

不为

3AZ

容灾额外付费，虚机/容器则需额外付费！Python/Node/Java/PHP/Go/.NET

等50+

内置运行时环境，支持自定义运行时和自定义镜像，方便开发者灵活定制函数计算FC–ServerlessAI运行时函数计算FC提供PaaS（Serverless

自建）方案，云上最快弹性、最小规格、最细计费粒度、自动3AZ高可用，

ROI最高Serverless平台底座异构算力

ServerlessxAI运行时

生态集成事件函数Web函数任务函数GPU

函数Python3.6~3.11Node.js

17~22Java

8~21PHP/Go/.NET/

…自定义运行时自定义镜像产品集成，事件驱动云产品

Serverless

化高密部署，主动调度第四代神龙架构 GPU算力（Tesla,Ada,

Hopper,etc.)快速交付，极致弹性资源池化

2.0安全隔离，自动容灾沙箱容器

2.0MCPSSE&

企业专属市场Qwen,

DeepSeek,etc.ComfyUI,SD,

etc.Serverless

Dify，流程编排100倍启动效率5倍

规格粒度AI应用运行环境50+内置环境函数智能体AgentAI

工具 XPU

算力CPU算力（x86)模型服务图像生成异构算力0模型服务

–开箱即用魔搭社区、

HuggingFace

热门模型一键部署，内置

vLLM/SGLang/Ollama/Transformers

推理框架，

OpenAIAPI兼容模型服务

–开发提效图像生成ComfyUI、

Stable

Diffusion原生开发体验，专属开发空间，一键发布为企业级ServerlessAPI

，易集成、易定制，TCO最高初创公司智能家居领域的潮流引领客户原声场景:某睿科技是一家聚焦于一站式智能家居视频解决方案的高新技术企业,通过

Al

的增强大大扩宽场景、

提升体验。痛点视频业务有明显的峰谷特性,深受

saas

限流、昂贵且无法定制的困扰Qwen/DeepSeek降本40%弹性不限流灵活定制0

运维设计师定制个人工作助手客户原声场景:某4A景区设计师蒋鹏,希望用Al绘画平台为游客照进行风格化助力,增加趣味性和景区收入痛点:

不会编程,希望开箱即用,无需操

心软硬件维护,费用可控。ComfyUI降本78%出图速度1图/10分钟

->1分钟/12图大型企业灵活可定制，加速业务AI创新客户原声场景:服装企业森马,希望借助

Al技术实现服装行业从产品设计、

生产制造、

营销推广的多场景提效。痛点适配多种开源大模型,定制化要

求高、开发周期长、

GPU

持有浪费多Stable

Diffusion降本33%迭代效率3天

->30分开发者少儿阅读App创新功能客户原声场景:某朵科技是一家儿童阅读解决方案提者,引入2.5w+绘本童书,1.5w+音频内容,其利用生成式语音大模型开发的Al

互动阅读解锁阅读新方式。痛点ll

idea"要快速验证,开发效率要

高,特别是要避免繁琐的环境和资源维护CosyVoice开发提效客户端开发

-

>

全栈开发模型服务

–生产实践ServerlessxAI，函数计算FC帮助企业跨越技术鸿沟，让模型服务兼具SaaS体验

和自建优势降本1万/年

->0.5万/年发送请求+toolsscheme大模型决策是否使用工具发送上下文和工具结果拼装内容，返回响应MCP工具

–技术选型MCP是

AI领域的USB-C接口，它统一了大模型和外部工具的交互规范，

MCP

已成为

Agent工具生态的主流协议本地文件①本地访问STDIO协议Local

MCPServer本地数据外部依赖远程调用RemoteAPIsRemoteAPIsRemoteAPIsRemoteAPIs关键技术决策点：1.

STDIO

MCP升级为SSE

MCP

，统一开发和部署标准；2.

MCP冷热不均，

RemoteAPIs建议Serverless弹性升级；3.

构建企业专属MCP

MarketPlace，统一管理工具资产；Agent（Host

+

MCP

Client）调用工具返回结果SSE/Streamable

HTTP协议调用工具

返回结果MCP

ServerMCP

Server大模型远程调用HTTP②SSEMCP工具

–

MCP

Runtime函数计算FC提供MCP

Runtime和弹性算力，支持STDIO零改造升级SSE、会话亲和、闲置计费、隐私变量、流量鉴权等能力快速开发和部署MCP服务MCP工具-生产实践函数计算FC联合魔搭社区发布最大MCP

中文社区，联合百炼发布业界首个全生命周期MCP服务市场，将MCP沉淀为平台资产魔搭社区MCP市场函数计算

FC

已为数百万开发者的海量访问提供大规模

MCP

Runtime服务百炼全周期MCP服务函数计算

FC

已为数万企业的海量访问提供大规模

MCP

Runtime服务STDIO零改造升级为MCPSandbox

工具

-技术选型Agent痛点：行为不可预测、易受注入攻击、权限边界模糊，Agent需求：

Runtime、

Sandbox、

Memory、

Gateway、

…执行代码生成代码、运行代码、分析数据、生成

UI等调用工具浏览网页、控制电脑、调用

MCP访问外部API等执行命令执行任务、依赖管理、文件操作、分析诊断等强化学习动态决策、环境交互、多实体协作等WorkflowAgentCodeAgentLLMAgentCodeSandboxon

FC优势1.全栈语言支持

&通用性：✅

内置主流开发语言运行环境✅

安全隔离地执行LLM/用户生成代码

2.互联互通✅

提供HTTPstream/代码仓库传入代码✅提供免费URL，请求直接调度到沙箱3.高并发隔离与资源保障✅

实例完全独立，无资源争抢

✅

支持多线程/子任务并发4.超低时延场景优化能力✅

行业经验：超低时延大规模RTA方

案Sandbox工具

–技术选型CodeSandbox：通过安全隔离的运行环境，执行大模型动态生成的代码，使得

Agent具备灵活扩展的能力CodeServerEvaluateCode

Function通过请求传入代码片段。通过请求传入获取代码地址（

OSSURL

），函数下载代码RenderCode

Function问题分类器节点

LLM节点函数计算节点

执行代码节点推理

行动观察自省AIAgentSelfRuntimeon

函数计算✅

冷启动优化：毫秒级/秒级实时弹性FunFlow编码式AIAgent流程式用户Sandbox工具

–技术选型Browser

Use：辅助大模型实现数据采集和联网搜索，使得

Agent具备低成本获取实时信息的渠道AIAgentBrowser

UseSandboxon

FC优势1.会话亲和性（SessionAffinity）✅

状态维持：保持浏览器连接✅

登录态持久化：匹配浏览器行为

2.智能弹性伸缩✅

按会话扩容：每个会话安全隔离

✅

按内存扩容：满足浏览器内存需求

3.全生命周期管理✅

优雅下线：通过PreStop钩子函数执行后处理（如数据持久化、资源回收）✅

实例销毁可控：确保Browser

Use操作的数据完整性Browser

UseServerChromeServer

FunctionFetch

FunctionBrowser

Use

Function流程式问题分类器节点

LLM节点函数计算节点

采集数据节点推理

行动观察自省AIAgentSelfRuntimeon

函数计算FunFLow编码式用户RLSandboxSandbox工具

–生产实践函数计算FC为Qwen3-Coder提供弹性RLSandbox服务，助力其成为迄今为止最具代理能力的代码模型Qwen3-Coder函数计算

FC为Qwen3-Coder提供超大规模弹性Code

RL训练百炼智能体、工作流应用函数计算

FC为百炼智能体/工作流提供官方Code

Interpreter、脚本转换等服务CodeSandbox

AI网关（

MCP管理）

函数计算

User-2-Session-2实例-1函数实例一旦被某个Session

占据，会拒绝其他的请求。

Session不连续且有较长时间没有请求，实例才会销毁

SessionId和InstanceId对应。

函数实例可以设置Session并发度（

SessionNum设置为1，即为禁止Session复用）

可设置Session超时时间（

Session

Idle

Time）

使用函数快照保障启动速度。恢复快照，还是新Session判断逻辑：基于SessionId去查OSS

（或者是客户自己的数据表）

如果有数据走恢复逻辑（下载文件，

恢复目录）

如果差不多，就是新的会话，从零开始即可要解决三个核心问题：环境依赖包不确定性问题；文件信息路径不确定性问题；解决会话（

Session）请求亲和

&隔离的问题ChatAgent–生产实践Session亲和，保证一个SessionId只在一个实例处理OSS函数实例存储任务执行过程

中产生的文件

存储在临时云

盘不再需要复杂的与K8s

Pod交互的逻辑只需要返回函数计算中函数的访问URL，在请求Header中传入SessionId即可

AI网关（

LLMAPI）Browser

UseSession不活跃备份数据，释放计算资源download&&

untarAIAgent管控服务资源管理服务实例-3实例-2★★

用户User-1-Session-1

User-3-Session-3天气服务LLMEmbeddingRerank地图服务搜索服务多模态…Step-3Step-2Step-1下载数据并恢复目录获取可用资源Session恢复tar&&

upload终端用户——浏览器/APP/小程序拖拽式编排快速构建网关（云原生

API

网关

|ALB）Dify-ServiceDify-可用区BDify

ProxyDify-web

Dify-APIDify-sandboxDify-workerServerless应用平台(SAE)数据库调用云RDS

PostgreSQL版本业务应用MCP

Server云数据库RedisAnalyticDB

PostgreSQLFlowAgent–生产实践SAE提供Dify社区版/商业版托管服务，开箱即用，简单经济，通过灰度发布即可实现Dify版本升级Dify-可用区ADify

ProxyDify-web

Dify-APIDify-sandboxDify-workerDify-可用区CDify

ProxyDify-web

Dify-APIDify-sandboxDify-worker•

Dify版本更新快，SAE默认具备灰度发布能力•AI应用监控提供Trace能力，结合日志查询，问题定位更加迅速•默认支持智能化可用区，支持指定三

AZ•默认支持负载均衡与健康检查联动，提供无损上下线•按需按量付费•支持多种规格资源，并提供闲时计量模式，夜间成本更低云RDS

PostgreSQL版本云数据库RedisAnalyticDB

PostgreSQL•

3分钟创建Dify应用•默认集监控日志能力•底层资源按需弹缩简单易用持续迭代高可用成本经济Serverless

应用平台Standby业务接口调用Master兼容

Dify

兼容业内流行Agent平台

Dify的

UI体验

兼容

Dify

DSL标准，存量迁移无负担自研引擎

对比

Dify托管版，性能和吞吐提升

10+倍

灵活定制，

LLM/工具/节点均支持使用云上自建服务如

FC生态集成

无缝打通阿里云

100+云产品，支持VPC互联互通

支持事件驱动，可由云产品事件触发工作流执行FlowAgent–生产实践函数计算FC提供兼容Dify

的可视化工作流开发体验，采用自研工作流执行引擎，

10倍提升

Agent运行效率

函数计算优势和特点

函数计算

FC触发器机制，实现AIAgent

可灵活被调度。

函数计算

FC按请求扩缩，提升AIAgent

资源利用率，降低资源成本。

函数计算

FC动态挂载存储机制，提升AI

Agent业务逻辑灵活性。

函数计算

FC函数实例动态安装依赖包，提

升AIAgent业务形态多样性。

函数计算

FC和多个云上产品做好了集成，

降低运维成本。两种类型运行在函数计算

FC上的AIAgent有两类：

用户自行编写的，自研的AIAgent。或者如使用SpringAIAlibaba、

LangChain、

LlamaIndex等开发Agent的综合框架。

在

FunctionAI平台上，已经托管了一些现成的AIAgent组件，比如OpenManus

，

Jmanus，

ComfyUI，

SDWebUI等。FunctionAICodeAgent–生产实践函数计算FC作为计算资源提供细粒度、高弹性、强安全的

AIAgent运行环境运行用户自行编写的

AIAgent代码运行时GPU实例（秒级弹性）CPU实例(百毫秒弹性)托管OpenManus托管JManus托管ComfyUI托管SDWebUI基础设施资源调度OSS存储神龙服务器网络通信安全容器LangChainLlamaIndex实例类型自定义镜像SpringAI多租户隔离跨集群容灾安全负载均衡高可用部署流量控制弹性伸缩GoNode.jsPHPJavaMCP运行时Python.NetCore消息缓存各类

AIAgent总结New

FutureonCloud

New

Future

on

Cloud03New

Futureon

Cloud阿里云ServerlessAI全景图函数计算FC联动阿里云ServerlessxAI产品生态，提供简单、经济、弹性的企业级

AI应用基础设施FunctionAI全链路弹性原子化可编程、可编排流程式编程，可视化编排，将原子能力抽象为公共模块SAESAE人工智能FC魔搭社区

百炼FunArt（文生图/视频）FunModel（模型自建）DataWorks

通义万象原子化设计，易于集成和被集成，VPC互联互通更安全Serverless=

FaaS+

BaaS，免运维、高弹性、高可用SLSNAS微服务MSEFunAgent（智能体开发）MNS

RocketMQ

EventBridge应用集成数据库大数据MaxComputeCloudFlow存储Hologres通义灵码通义千问CloudFlowPolarDBARMS夸克KafkaAPIGADBOSSOTSRDSDTSPTSServerless

x

AI让应用开发更简单Gartner魔力象限领导者，

Forrester全球领导者象限（亚太唯一，

3次蝉联），AI应用开发能力获满分厂商AI应用开发能力AWS3.00Microsoft5.00Alibaba5.00Google5.00Tencent1.00Huawei3.00THANKS基于FunctionAI

分钟级构建生产级AI

应用——

Serverless

+

AI

让应用开发更简单肯梦(陈涛）云原生-

产品经理Contents目录01

AI应用开发的挑战02

FunctionAI

开发平台介绍03

FunctionAI应用开发场景应用抽象发生变化传统应用开发AI应用开发服务知识库大语言模型智能体记忆/工具中间件数据库研发的关注点发生变化传统应用开发：

如何确保业务逻辑正确稳定运行

AI

应用开发：

如何最大可靠的发挥LLM价值基础设施基础设施业务逻辑Data

+

LLM研发AI应用基本要素门槛高、迭代快，效果好，低成本

1

大模型

2

领域模型

开箱即用、一键托管、可观测完备、低成本开箱即用、快速迭代、灵活可扩展，低成本

3业务逻辑基本要素

4

领域抽象领域适配、业界标准、活跃生态

AI

应用性能、成本、稳定、安全、体验

5

BaaS

服务

6

流程编排

流程引擎，工具生态，广泛集成Serverless极简运维按需付费•

平台及体验能力升级：云服务集成，事件驱动，

函数编排，应用模版，计费优化，观测能力集成•通过不断的优化资源供给能力：降低用户保有资源的成本，提高资源利用率，降低资源使用成本；•通过不断的加强和云产品及周边生态的集成，降低用户业务构建的门槛，减少业务发布和扩容运维时间，

提升业务效率；效率目标•简单，易用，减少发布/扩容时间，提升发布/扩容的效率成本目标•按需付费，降低用户成本，提供产品竞争力目标和策略Serverless在解决什么问题？Contents目录01

AI应用开发的挑战02

FunctionAI

开发平台介绍03

FunctionAI应用开发场景灵活组装便于二次开发丰富的云服务集成，自定义插件扩展快速组装，沉淀业务资产一键极速创建AI应用快速落地一键快速拉起，解决AI应用开发者无从下手的困境业务开发

先进工具针对AI场景的Studio开发能力，效率提升90%DevPod能力快速构建镜像按需模型托管服务极低成本ServerlessGPU算力模型服务平均成本降低60%FunctionAI：

Serverless+AI让应用开发更简单•

包含感知、决策、行动•

行动：碎片化代码，需要灵活、快速、轻量的运行时，函数是最合适的形态（MCP

，functioncalling

，codeinterpreter，

……

)

Hosting

Services

MCP/Function

Calling

Serverless

GPUFunctionAI：聚焦AI应用运行时AI领域应用的主体智能体

应用集成及应用运维价值Serverless是Agent的最佳运行时承载ServerlessGPU支撑自定义领域模型托管托管生态及Serverless算力，扩展及运维价值LLM

和现实世界的结合模型服务工具FunctionAI：

为AI应用开发提效Function

AI

一键创建应用海量Serverless

AI应用模板，开箱即用，支持二次开发魔搭社区、百炼官方集成，

开源模型/智能体应用增强AI

运行时内置vLLM,SGLang,Ollama,

HuggingFace

推理框架MCP

运行时内置MCP

开发框架，

STDIO

零改造升级SSE无缝升级AI

应用开发范式图像生成Agent服务MCP/Tools服务模型托管应用开发

应用市场组装式开发，弹性开放，按需选择工作流引擎标准工作流（Standard）

快速工作流（Express）画布&视图AIStudio

CloudStudio交互式开发（AIStudio）可观测/可运维/可靠交付定时触发消息队列日志HTTP…AgentFlow：

高性能的Agent流程开发平台基础组件自定义工具拓展知识检索条件分支/并行/迭代LLM/Agent更多

…版本管理/草稿沙箱隔离/弹性扩缩日志/监控/链路追踪流量灰度触发器代码执行函数计算MCP

MarkplaceFunctionCall

MarkplaceTrigger基础设施AIGC

图像生成业务场景电商场景广告场景教育场景游戏场景辅助设计场景

文件存储

函数计算

FC

对象存储OSS图像生成：企业级AIGC平台LoRA

训练应用监控Stable

Diffusion弹性API工作流广场实例登陆模型广场ComfyUI异步调用文件管理应用运维基础功能场景功能产品价值价格低极速模式无冷启动模型来源应用场景模型托管服务提供GPU资源的按需和极速模式，在保留用户原有长持预留GPU的使用形态下，通过区分GPU实例的忙闲时刻，闲时定价大幅低于忙时定价，帮助客户大幅降低AI落地成本，同时保证模型冷启动推理耗时。传统的在线推理场景延时高度变化，负载高度不确定，偏C端的应用形态，日均资源利用率普遍较低；例如：传统的CV类模型（OCR）、

NLP模型（机器翻译）新兴的大模型推理场景AIGC浪潮下的新兴推理应用，

LLM文生文、

Stable

Diffusion文生图、FunASR文生音频等模型托管：ServerlessGPU让模型服务更普惠•低延时：

规避GPU按量场景下的冷启动•降成本：

对比K8S自建，大幅降低AI落地成本•保交付：

GPU紧张背景，确定资源交付，

保证业务永续对象存储OSS人工智能

PAI自定义模型镜像ModelScopeHugging

Face文件存储

NAS价格高预留模式无冷启动价格低弹性模式冷启动长MCP为LLM连接数据源和工具提供了标准化的方法•内置MCP

Proxy，存量STDIO无改造直接生成

SSE/Streamable

HTTP

服务，且具备单实例多并发能力•

发布MCP会话亲和性调度，保证相同sessionID会话绑定到相同实例，具备会话配额控制保证单实例会话公平、

MCP会话优雅升级•

发布长连接闲置计费，最高降低87%成本•

提供模板一键部署、

自定义MCP服务，满足开源托管以及二次开发需求•

提供隐私变量管理、服务鉴权、内网访问能力，本地STDIO协议无需改造即可提供安全的企业级服务插件广场：加速智能体应用集成Contents目录01

AI应用开发的挑战02

FunctionAI

开发平台介绍03

FunctionAI应用开发场景客户Z

作为中国最大的问答社区之一，每天面临海量内容审核需求，传统人工审核方式效率低下，难以应对突发流量。解决方案基于AIstudio工作流引擎构建LLM

内容审查系统，

采用多级审核流程：•第一级：基于规则的快速过滤•

第二级：

LLM语义理解和上下文分析•第三级：人工确认和反馈学习技术亮点•

利用AIstudio高吞吐特性，

支持1000QPS的内容审核需求•

沙箱环境确保敏感内容处理安全性•

弹性伸缩应对突发流量，降低资源成本AgentFlow行业案例：社区内容审查挑战AIGC生图中台（首次调试）1.启动ComfyUI工作空间2.调试工作流、添加插件、模型,实现人

像抠脸+风格化处理。（人像抠脸如用

工作流实现不够精细，可结合阿里云人

脸检测与五官定位模型进行前序处理）3.API发布客户端生图1.用户拍照或上传头像2.客户端调用API进行图片风格化处理赛博朋克古风美人职场丽人校园女神机器人端机器人端接收图像，通过与亚毫米精度工业机械臂等设备的协作，xbot机器人能够实现像素级还原，打印出咖啡图案。

图像生成行业案例：

AIGC风格生产化MCP行业案例：社区

MCP服务市场STDIO零改造升级为MCP快速开发和部署MCP服务百炼全周期MCP服务魔搭社区MCP

市场联合魔搭社区发布最大MCP

中文社区，联合百炼发布业界首个全生命周期MCP

服务市场，将MCP

沉淀为平台资产•Agent

Sandbox

Runtime：

如CodeSandbox、

Browser

Use

Sandbox、仿真训练Sandbox、

RL

Sandbox•成本最优：

按请求扩缩，提升AI

Agent资源利用率，降低资使用源成本•多租强隔离：

安全容器+动态存储挂载，为每个启动的Agent提供干净独占的运行环境•启动速度快：CPU百毫秒弹性伸缩•内置完善的监控日志能力：

OpenTelemetryTrace支持•会话亲和调度：

保持业务运行时及业务上下文•业务隔离：

运行时支持按请求隔离，

会话隔离AIServerless：为客户提供安全高效的Sandbox运行环境THANKSServerless应用引擎SAE：

从传统应用到AI应用的一站式托管赋能企业安全高效构建部署

AI智能体应用卢令Serverless

应用引擎（Serverless

AI|App

Engine）技术负责人Contents目录01

传统应用运维的9简、稳、省9

优化之道02

加速AI创新：从快速探索到高效落地传统应用运维的9简、稳、省9优化之道01平台提供的

K8s集群

+微服务引擎

+ARMS应用监控

+SLS

LogtailIaaS资源层

（神龙+ECI+VPC+

…)单体Web应用屏蔽

K8s系统复杂性•产品化支持多种灰度策略：蓝绿发布，滚动升级，全链路灰度，标签路由等。•

以应用维度暴露给业务使用方，以优化的界面暴露给业务研发。•免费提供全链路的无侵入式监控，和微服务治理能力•企业级特性的加强：符合企业习惯的权限管理，优化的批量操作，巡检等。兼容容器生态•

无缝容器镜像部署模式，解决无厂商绑定•支持

K8sAPI接口，无缝支持ArgoCD，

Rancher等CICD平台•

支持Sidecar模式，可以自定义安装Agent能力•

支持

KubectlYaml部署，保留容器黑屏操作能力全套微服务治理运维配套自动构建镜像权限隔离/审批生命周期管理 简：一站式容器托管平台，让运维更简单应用管理SpringCloud/

Dubbo无缝迁移Serverless应用引擎（SAE）一键启停环境限流降级日志

&链路监控CICD集成事件中心分批/金丝雀发布微服务流量灰度端云联调日志管理服务鉴权无损上下线自动弹性伸缩Java冷启动加速移动APP后台阿里云沙箱容器2.0zip源码包

/Docker镜像等多种方式部署微服务应用小程序后台通过

war/jar/phpSaaS类服务定时/xxl-Job业务应用...跨可用区容灾（Multi-AZ）•

应用实例自动分发至多可用区（AZ），单区故障秒级流量切换，可用性达99.95%+。•

秒级自动切换，

RTO≈0，

RPO≈0智能流量调度•

同可用区优先路由：优先访问同AZ

实例，跨区延迟降低80%（1ms→0.2ms）。•

全局负载均衡（

SLB）：故障时自动

切换至健康AZ

，业务零中断。移动应用Web应用合作伙伴内部系统

AI应用云原生网关

服务统一出口微服务治理云原生可观测安全防护t

多可用区容灾SAE默认应用实例分散部署在多个可用区，实现跨机房容灾。单个可用区故障时，流量自动切换至其他可用区，保障业务连续性。 稳：从架构到防护，全程保障线上稳定运行全托管运维•

无需维护资源，

自动维护多AZ资源池，无需手动配置，运维成本降低70%。•

按需跨

AZ弹性伸缩，资源利用率提升50%SAE应用可用区C多可用区优势多可用区容灾对于SAE是默认的能力：一键开启SAE内部架构示意图可用区B可用区A

OSS存储

安全防护

NAS存储注册配置中心•当流量突发超过预设阈值时，SAE秒级扩展资源至

集群规模100%上限，单应用支持万级实例瞬间拉起，承载百万级

QPS

冲

瞬时响应击，保障业务零降级、零中断。•

扩容过程不断开现有连接、不变更

零感知切换服务IP

，业务流量无感知切换至新实例，服务连续性100%保障。秒级计费粒度•突发时按秒计费扩容，流量回落后自动缩容至基线实例数，闲时成本直降50%。极速扩容（秒级拉起实例）、高并发承载能力•无需人工干预，系统实时监控流量（如QPS、CPU）并触发扩容。•通过资源超分配（

Over-Subscription）技术，在不增加实例数的条件下提升单实例处理能力，避免传统横向扩容

的复杂度。•基线+弹性组合都Serverless

付费

省：极致资源利用率：按需付费

+零冗余

+超卖让利核心竞争力灵活应对资源变化混合计费模式非横向扩容全自动触发。加速AI创新：从快速探索到高效落地02企业真正需要的是：开箱即用的开发体验

+生产级的性能、稳定性及安全保障运维复杂度高•

本地部署复杂且维护成本高，需

要频繁升级版本•

需要自己管理应用的版本发布•

周边配套不完善：没有配套的治理、可观测体系，事前事后无法及时发现并定位问题安全合规风险•

流量防护弱，很容易被穿透•

数据隐私与合规性管理困难开源平台性能差•

各组件（如：Worker、

Plugin、数据库等）参数非最优配置•

管控面与数据链路耦合，高并发无法保证稳定性•

数据源存储格式单一，推理服务需要大量的计算资源，资源分配不均会导致性能瓶颈成本不可控•

资源错配，要么业务低峰期闲置烧钱，要么业务高峰期瞬间被打满，影响业务•

人力维护投入大规模化落地AI应用的痛点+SAE算力支持SAE在AI原生应用领域的定位不做开发平台的替代者，

而是做它们的“护航舰”SAE致力于托管主流开源AI智能体应用开发平台（深度适配+全局赋能）AI原生应用架构云原生

应用架构向量数据库MySQL/Redis/OSSServerlessK8s大模型（通义…）大数据（Blink+ES）CPUGPU微服务1微服务3微服务2ToolsDifyMemory手机APPPCPC生态IOT手机APPAPI

GatewayAPI管理流量防护WAF防护服务发现端

&生态手机手表PCPAD生态AI

GatewayAI

ProxyToken限流绿网/敏感信息过滤Cache/

RAGTools/MCPServerServerless（AI）应用引擎托管AIAgents方案优势简单易用•

一分钟创建AI应用，无需任

何额外配置•

默认集成全链路监控，保证系

统稳定性•

无需关系底层资源，按需弹缩

资源持续迭代•

SAE默认具备灰度发布，分

批发布，镜像加速，

Pod粒

度监控，保证

Dify进行安全

二次开发•Dify版本更新快，通过SAE

可安全兼容升级。安全保障•

全链路提供防护策略：

Ddos

防护，Web防护墙，流量防

护，云安全中心。•

VPC

内独立部署，数据不出安全域，保证数据绝对安全低成本•

按需按量付费，潮汐流量弹性使用，无需冗余保证资源•

支持多种规格资源，并提供闲时计量资源类型，提供更低成本的算力稳定高可用•

配置化，支持三AZ部署，默认支持智能化可用区，实

例粒度的自动化迁移•

默认支持负载均衡与健康检查联动保证无损上下线模型通义LlamaSAE全托管AI

智能体解决方案Serverless

App（AI）

EngineAI智能体（Agents)Jmanus/Dify/workflow

….工具集MCP

ServerRAGDocument

ReaderDocumentTransformerEmbedding

ModelVector

StoreMemoryLocal

Memory

Chat

MemoryRedis

Memory…PromptPromptTemplate

Dynamic

PromptModelChat

Model

Image

Model低成本•

推出

Besteffort，轻量版算力，让业

务享受到云算力的让利。•

无需扩缩，就可以用闲置能力支持业务的低峰，成本降低80%。•

专业版免费提供全链路的无侵入式监

控和微服务治理能力。灵活+性能•

一键部署及版本升级：

Dify

，Jmanus，

OpenManus

，Airflow等成熟框架•

支持

K8syaml，

kubectl快速部署任

何的开源AI框架•

性能优化：参数调优、控制面与数据

面分离•

无厂商绑定降本增效-低成本托管AI应用套件Agent启动加速

-默认具备镜像加速普通容器启动慢根因：

1.容器启动之前，

OCIV1标准的镜像下载和解压耗时大2.应用启动仅依赖6.4%的镜像数据DADI镜像加速方案：转化镜像格式、

OnDemand

read

（按需加载启动容器）加速原理3.混合弹性（定时弹性

&指标弹性混用）适用于固定时段内有突发流量、典型脉冲，常稳时段内流量波动不均的应用场景，多用于媒体报社

/在线教育

/语音识别合成等行业。应用实例常规默认值(基于CPU弹）eg：最大10，最小2特殊时间段1eg：最大30，最小15特殊时间段Neg：

最大50，最小40优势：比开源K8s

HPA指标丰富，且可以自定义指标。1.指标弹性（CPU、

Mem、QPS、

RT等）适用于有突发流量、典型脉冲的应用场景，

多用于互娱/游戏

/社交平台

/

电商等行业。应用实例优势：比开源K8s

HPA指标丰富，且可以自定义指标。2.定时弹性适用于资源画像存在周期性的应用场景，多用于餐饮/

出行

/证券

/

医疗政府等行业

。应用实例优势：操作简单，易用。作为SAE的核心竞争力，相对传统

ECS的弹性，

SAE更精准更降本；相对

K8s弹性，

SAE

的指标和策略更丰富，上手门槛更低。应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例运维配套-

自定义弹性伸缩应用实例应用实例应用实例应用实例应用实例……………生产环境命名空间一键开启所有应用所有应用的实例均缩容到0，不产生计费。但系统会保留应用配置信息，便于需要时一键秒级拉起。……白天

夜晚定时启停中大型企业多套环境，内部环境长期资源浪费，使用SAE一键启停，可以节省一部分资源成本。一键起停开发测试环境测试环境命名空间测试环境命名空间生产环境命名空间应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例一键停止所有应用一键开启所有应用一键开启所有应用…………AI应用全栈统一监控•支持单批、分批、金丝雀等发布策略。支持按流量灰度、按内容灰度。批次间自动/手动任选•发布过程可监控，白屏化实时查看发布日志和结果，及时定位，•允许人工介入控制发布流程，手动确认通过、异常中止、

一键回滚将阿里巴巴沉淀多年的安全生产实践产品化

，应用生命周期管理纯白屏化操作，

应用发布可灰度、可观测、可回滚。运维配套-可灰度、可观测、可回滚SAEAI场景模板市场SAEAI场景模板市场

-

Dify创建SAEAI场景模板市场

-

Dify创建THANKS传统架构

Serverless容器化迁移实践SAE赋能企业高效、稳定、无缝实现全托管容器化杨跃山阿里云云原生高级架构师成本•

成本压力大•

历史包袱大，需要考虑遗留系

统，系统考虑迁移路径•

系统集成复杂度高•

如何快速、低成本融合先进的云原生技术：容器化

+微服务

+可观测

+

Serverless技术•

部署在IDC或运营商云IaaS•

技术架构滞后•

缺少体系化的PaaS服务构建•

稳定性与高可用性保障•

安全性面向挑战大•

架构转型难度•

toC及新业务建设和舆情压力大管理•

运维管理复杂度高•

多级组织•

研发依赖外包、缺少统一的技术规范、技术栈多样•

运维管理复杂度高、风险大•

建设周期长

企业云原生上云的挑战Serverless容器化架构的演讲趋势01Serverless

应用引擎SAE面向应用的全托管、简化运维、高可用K8s平台BAAS服务联动Serverless应用中心Serverless

Devs

+AI

Studio AllOnServerless让应用开发更简单Job/批任务极简批量任务运行平台，支持定时、XXL-Job等开源调度框架WEB应用面向单体应用的全托管平台，集成流量网关，支持实例缩0、闲置计费等微服务微服务架构和容器平台的深度融合，集成微服务治理、应用监控等All

OnServerless解决方案函数计算FC事件驱动型无服务器计算服务，丰富的云产品集成触发

PONsemi

r游戏制造/文旅

SKGREST

APIRestful风格

极简编程媒体处理音视频转码/直播录制/图片加工消息/微服务中间件EventBridge、

RocketMQ、

Kafka、

MNS、

MSEEDA架构云产品深度集成

,构建事件驱动ETL数据加工Kafka、

MQ等上下游联动计算AI推理GPU虚拟化+AIGC游戏/汽车等战斗结算/游戏打包/移动车联等千行百业百万开发者存储服务OSS、

NAS、

OTS、

SLS数据库服务RDS、

PolarDB、

MongoDB网络服务APIGW、

CLB、ALBServerless工具链传媒/医疗汽车出行新零售/电商互娱/教育Serverless计算资源

Serverless完全按需弹性伸缩时间Serverless先进生产力，让「应用开发运维」更简单Serverless会极大促进企业技术架构升级，提升效率：资源效率、运维效率、研发效率资源浪费，高峰时需排队时间到Serverless免运维到Serverless

100%资源利用率到Serverless根据业务策略适配资源管理革命资源利用率革命资源成本革命从人工运维从预算采购低利用率从固定成本支出到云平台工具运维到有限弹性高利用率到根据资源策略伸缩资源免维护业务高弹性平台低成本资源主机包年包月资源主机+容器基于云主机方案：资源使用模型基于K8S方案：资源使用模型 基于Serverless部署业务:资源使用模型依赖调度组件，用好有上手门槛时间 基于Serverless架构的分布式应用数据库

PolarDB云消息队列

MQ注册配置中心Serverless

BAAS微服务治理云原生可观测安全防护Serverless

BAAS云原生网关服务统一出口微服务应用

微服务应用函数计算

FCServerless

应用引擎

SAE容器计算服务ASKServerless计算微服务应用编写业务逻辑代码构建交付物JAR/WAR、ZIP、镜像配置负载均衡网关Serverless应用引擎SAE内置

K8S调度层、微服务、可观测组件神龙裸金属+安全容器编写业务逻辑代码构建交付物ZIP、JAR、镜像函数计算FC内置负载均衡网关内置削峰填谷队列自研调度层按请求粒度调度神龙裸金属+安全容器编写业务逻辑代码构建镜像搭建负载均衡网关配置集群网络、网段管理集群、管理应用管理应用周边组件Serverless

K8SASKECI

阿里云Serverless计算形态差异Serverless容器Serverless应用Serverless函数研发与运维效率管理灵活度SAE适用的软件架构：微服务，单体，

Job（任务）兼容的部署平台：容器、

K8s、

ECS1.

升级

ECS上部署的微服务：•平滑迁移，多种灰度策略•可提升资源利用率

+弹性效率，简

化维护2.

升级

ECS部署的单体应用：•

SAE

=

ECS

+

LB

+

NAT网关

+应用监控

+应用管理

+不停机灰度策略

+秒级弹性3.

升级自建

K8s

+微服务：•平滑迁移，简化运维•屏蔽

K8s复杂度1.

公共云

EDAS

新用户会推荐升级

到SAE，存量

EDAS

客户会引导

迁移到

SAE2.

升级

EDAS

到SAE：•

SAE

=

EDAS

+

ECS/K8s•运维更简单，更易用3.

迁移方案：•平滑迁移，支持不停服•迁移工具辅助迁移1.

对标虚拟机迁移上云：•可免资源购买、维护•可具备自动弹性•微服务免改造•单体需存算分离2.

对标容器化迁移上云：•镜像平滑迁移，

CD对接•简化

K8s管理维护•提升系统弹性能力•提升系统容灾能力•全套微服务治理、应用可观测

SAE适用场景：

IDC上云/云上架构升级/EDAS升级方案阿里云架构升级降本/弹性/简化运维阿里公共云

EDAS升级降本/弹性/简化运维IDC转公有云平滑迁移，快速上云从传统架构到SAE

的平滑路径02云主机

自

建资源准备阶段研发&部署阶段运维阶段使用SAE免购买免创建集群免运维

微服务/单体应用代码平滑迁移代码平滑迁移Jar/ZIP/镜像Tomcat、WordPress等SpringCloudDubbo代码包/镜像

镜像仓库

部署部署件业务代码到

ECS部署监控日志组件到

ECS.NET

，

Go

，Nodejs等运维监控日志组件多语言需要制作镜像运维

ECS（高可用，弹性）创建集群单体/WEB应用集群初始化购买ECS微服务应用Java

Jar/WarPHP

ZIP

包镜像仓库代码部署方式资源使用方式配置管理优雅下线负载均衡一键启停优雅上线应用种类灰度发布弹性伸缩限流降级应用监控日志管理注册发现全生命周期SAE使用问题：1.原单体服务运维复杂：a.

弹性扩缩复杂b.灰度发布复杂c.

缺少应用级监控2.存在资源浪费迁移价值：1.

简化运维：a.扩缩容简单，秒级弹性b.支持跨可用区容灾c.

支持精细化的版本发布d.支持请求级别的监控能力2.成本优化：a.仅在有请求时分配

CPUb.

降本幅度高达

30%（有波峰波谷）Web应用防火墙InternetServerless应用引擎SAEVPC网络VPC网络

场景一：单体应用（已经存算分离）架构迁移ECSECS

ECSRDS

OSS

MQ

SLSRDS

OSS

MQ

SLSWeb应用防火墙InternetNAT网关+

EIP平滑迁移APP/H5APP/H5SLBNginxEIPVPC网络Serverless应用引擎SAEVPC网络1.Nginx

可以直接省掉，如果配置过于复杂，可把Nginx

也部署到SAE

上2.NAT网关+EIP模式可以直接用SAE的默认出公网能力，如果需要固定公网出口IP，可以保留NAT网关+EIP3.大单体需要拆分成存算分离架构，SAE代替其中业务逻辑部分：易扩展、稳定性好部署方式一Nginx

+已经存算分离部署方式二大单体EIPNginx业务逻辑自建数据库本地磁盘ECSECS场景二：单体应用迁移到SAERDS

OSS

SLSECSRDS

OSSInternetInternet

Internet

APP/H5APP/H5APP/H5DDOS

Web应用防火墙SLB注册中心ECS平滑迁移注册中心：

Serverless应用引擎SAEECSECSECSECSECS 微服务架构“0”改造上云/升级到SAE只用把代码从IDC/ECS

虚拟机以代码包或者镜像的方式部署到SAE，中间件、数据库等可复用，支持存量业务混部、互访RDS

Redis

MQ

ElasticSearch

SLSRDS

Redis

MQ

ElasticSearch

SLSVPC网络NAT网关+

EIP云原生API网关InternetDDOS

Web应用防火墙NAT网关+

EIP使用SAE内置、自建或使用MSEVPC网络APP/H5APP/H5Internet方案说明：1.统一注册中心：

SAE上部署的应用和

ECS上部署的应用统一都注册到自建注册中心（ZK/Nacos/Eureka）或者商业版

MSE提供的注册中心。2.应用间网络通信：需要保证

SAE上的应用和

ECS、注册中心都在一个VPC

内部。3.

云原生API网关：关联证书和域名，