「Agent 工程化」方向-RocketMQ for AI Agent 异步通信架构演进与 Qoder 生产落地实践 LiteTopic 新特性发布 阿里云百炼网关 Qoder Cloud Agents

RocketMQforAI：Agent异步通信架构演进与Qoder生产落地实践LiteTopic

新特性发布

×

阿里云百炼网关

×

Qoder

Cloud

Agents1趋势与方案3生产与落地2发布与生态目录

Agent走向复杂任务，挑战转向等待、

恢复与资源分配提交执行等待

恢复完成01

“阻塞与等待”成为系统常态03

有限GPU资源的分配02

任务的连续性AGENT任务状态01架构解耦02持久化执行将执行状态与进度Checkpoint持久化，全面转向事件驱动架构(Event-Driven)。优雅处理异步回调、长时幂等等待与断点续

传。03互操作性以

MCP

(ModelContext

Protocol)统一数据与工具接入，以A2A

(Agent-to-Agent)实现跨框架的Agent互联。通过AgentSkills将复杂工作流高度封装，实现上下文的按需动态加载

(Lazy

Loading)。Agent

Harness演进：构建高可靠的“执行控制面(Control

Plane)”主要解决的问题执行控制升级04技术趋势关键做法一个Agent任务

=一条“全生命周期可控”的消息流02资源释放

(ResourceYielding)打破传统

RPC阻塞等待的浪费。在长达数分钟的“等待期”内，GPU和CPU算力被完全释放

，去服务其他并发请求。03原生断点续传

(Resumability)遭遇宕机或网络抖动？没关系。新节点拉起后

，直接从消息队列的断点Offset继续执行，实现真正的Durable

Execution。01彻底的状态外置

(StatelessApp)Agent推理应用本身保持绝对无状态

，

随时可以扩缩容、重启

，不怕丢进度04

·

RESUME结果回写后恢复05

·COMPLETE消费结果并清理01

·CREATE创建会话队列02

·

DISPATCH触发任务执行03

·SUSPEND监听状态事件LITETOPIC生命周期AGENT任务状态提交执行等待恢复完成02.

自动创建Auto-Create拒绝预置，用时即建03.TTL清理队列Auto-Expire阅后即焚，自动回收八大底层能力支撑：打造Agent会话队列的“极致掌控力”04.暂停消费

Suspend队列级的“暂停键”01.

轻量资源

Lightweight百万级Topic

自由创建05.全量订阅Wildcard

Subscribe全局视角的上帝模式06.差异化订阅

Differential

Subscribe灵活的算力路由07.

排它订阅

Exclusive

Subscribe绝对的独占消费语义08.

Peek消息拉取

Read-Only

Peek安全的状态探查

RocketMQFlinkConnector

OpenClaw

RocketMQChannelApache

RocketMQ协议和插件的实现：

/apache/rocketmq-ai通过标准协议与插件

，

异步通信嵌入现有架构SpringCloudGateway

RocketMQRate

Limiter核心目标：少改业务代码，用标准协议与插件接入异步Agent通信。MCPAgentic

Messaging

PrimitivesA2ATransportMCP

Roadmap

：Agentic

messaging

primitives现代Agent工作负载已经超出一次

request/response的表达能力；

MCP需要把任务、事件、进度与控制组合成一套可持续协作的协议语义。WHY

NOW超出请求响应的消息模式Server-initiatedevents

·Triggers&

EventsWG02

Event

subscription03

Execution

visibility本轮

Roadmap周期Durableunit

ofwork跨工作组合性审查Tasks成熟化01MCP定义协作语义

，

RocketMQ提供可持久的事件平面02.异步执行并回写

Progress

RUN03.途中追加控制事件STEER1.

客户端访问任意副本；处理程序仅进行入队操作4.

Worker发布结果

，键（key）为taskId2.

仅在持久化入队后才返回句柄——重启或扩缩容绝不会丢失任务5.

结果被持久保留——延迟订阅者可读取当前状态3.

一个Task对应一个LiteTopic

，

LiteTopic以TaskID命名6.

共享消费者组形成工作队列；失败的尝试会被重新投递Apache

RocketMQTopic:mcp-tasks2

enqueu3

competeServer

Replica

Pool

·statelessWorker

SEMANTIC

BINDINGRocketMQLiteTopicevent

planeLiteTopic:

task:

taskIdtask:A

task:B

task:CTasksListen/

EventsProgressSteer/Control任务粒度Topic事件日志消费位点Suspend/TTLMCPClient16WorkerWorkerMCPAgenticsemantics01.创建Task与

LiteTopicTaskas

LiteTopic04.断连后回放并继续publishsubscribeRESUMESUBMIT45长耗时

×长连接

×不稳定网络

，

长会话状态丢失难Agent/

LLM流式接口依赖SSE/WebSocket长连接；一次推理跨越数秒到数分钟、多轮工具调用，连接中断后必须同时解决上下文、续传与成本问题。传统

Redis方案的三类隐患Trade-offs03Token与GPU成本被浪费01LLM推理长耗时、多轮次01Stream

Key管理成本高02

不支持*通配订阅03可靠性与性能两难02长连接天然不稳定三大核心挑战Corechallenges整体架构多会话接入→无状态应用集群→

LiteTopic会话队列→大模型任务调度1.多会话接入2.无状态应用服务集群3.

RocketMQLiteTopic会话队列4.大模型任务调度01

每会话一条独立队列02

通配订阅

+无状态应用03

断连接管

·Offset

续推LiteTopic会话连续性：断连不丢、续连不重、

体验无感Web端

1Web端

2Session2（重连会话)Web端

3大模型任务调度组件生成TokenLLM应用节点

1xSession2

旧连接已断开应用节点

2接管Session

2Session连接断开后取消订阅chat/Session

2Session1.携带Session2

自动重连到节点22.订阅同一会话父Topic:CHAT_STREAM每个Session一条独立队列1

会话2会话按SessionID写入对应

LiteTopic从上次的位点继续消费应用节点

3Session

3会话原连接（已断开）x02普通客户不能被付费客户挤掉FAIR

FLOOR03突发流量不能引发雪崩ANTI-SPIKEGPU是

MaaS平台较为稀缺、

单位成本较高的核心资源VIP/普通/长尾/突发四类租户共用同一GPU池；任何一次尖刺流量击穿水位线

，都可能导致集群雪崩与全量SLA失守。01付费客户不能被普通客户拖累SLA

FIRST04

集群水位告警不能「一刀切」

NO

BLANKET

CUTRegularARegular

B

(long-tail)80x围绕「算力公平分配

+长连接稳定性」

，平台同时面临以下四类典型场景痛点。AI

platformGPUisolation

pain

points

Precise

per-tenantthrottle算力公平分配

·隔离限流示意

QuotaguaranteeVIP/

Paid

No

blanketcutwatermar

kthresholdClusterAvalancheSLABurstTenant父Topic:AI_TASK统一的逻辑订阅入口订阅全部

LiteTopicA/

B持续正常消费国

--

---

-

--

---

-

--

---

-

--Suspend(LiteTopic

C)消费后调用大模型A阿里云百炼

LiteTopic业务流程：路由

·隔离

·订阅

·限流02

消费者以

*

通配订阅父

Topic

--T,I

03

限流组件

Suspend

精准挂起

01

生产者按

userId

+

modelId路由1.生产与路由2.

RocketMQ消息隔离3.通配订阅与消费4.大模型任务LiteTopicC•TPS达到阈值LiteTopic

B•正常消费LiteTopicA•正常消费LiteTopic生命周期自动管理发送时不存在→

自动创TTL到期