MTSC2025 第十四届中国互联网测试开发大会（上海站）：MobiusAI效能平台全链路造数-诊断智能化实践

MobiusAI效能平台全链路造数/诊断智能化实践淘天集团查斌01

背景与挑战

02

实现方案与架构

,04

优化路径分享

,05应用场景案例03

平台设计与实践,06

总结与展望

,Contents

目录PART01背景与挑战平台分散各域工具专注域内数据构造工具能力孤岛效应搭建繁琐开发工具需要搭建前端无统一设计规范链路复杂各域间业务形态差异大跨域协作有门槛效率低下现有人工模式数据构造效率低下落后数据构造痛点日志路径纵深日志文本量庞大经验传承成本高场景繁多重复路繁多问题收敛重复

日志获取面临了多应用多领域、多平台的复杂性挑战线上应急响应，经验积累在个人存在人员流动风险问题排查痛点电商场景购前购后结算等链TXET

QUERY日志量级庞大依赖人工排查成本高落地受限业务链路长

日志打印杂

原子能力多

质量定制

诉求难响应业务聚合后

模型幻觉严重工具的出入参

均不相同交易核心链路工具200+工具维护在

不同平台交易核心业务链路复杂不同开发日志风格不同应用众多日志存储分散端侧日志耦合

人工排查困难集团基础平台

承载困难质量资产

平台化受限业务场景无平台化承接面临的问题和挑战PART02实现方案与架构交互层

Web端、钉钉、API

、iFrame能力层

原子能力、日志检索、流程编排数据层

业务知识、测试用例、排查经验基础层

LLM

、RAG

、MCP、AgentSDK

执行监

控

数据分析实现思路监测层MobiusAI平台流程MobiusAI平台架构

业务层提供业务团队使用Agent能力

平台能力平台层通过数据中心和工具中心方便业务快速搭建Agent

平台底座AIStudio提供大模型能力集团中间件提供稳定的技术底座PART03平台设计与实践Data业务知识/测试用例知识库Tools原子能力/日志规则管理Agents快速便捷搭建AI应用Flows业务流程编排搭建API数据监控外调开放组件能力

标准化原子能力将HTTP、HSF、MTOP等类型接口工具标准化结构：工具描述、工具介绍、入参信息，

接入工具只需要填写工具表单

入参可见性控制控制原子能力的入参可见性，针对部分与业务无关的常量入参，关闭可见性后会让大模型减少参数填写的错误概率原子能力工具标准化

汇聚承接原子能力不同业务线的同学通过在平台接入原子能力将原本分散在各个平台的工具聚合在一起打破了工具的孤岛效应

分类汇总业务工具通过分类汇总工具，形成工具组织树提升测试平台的工具查找使用体验工程侧利用原子能力

单点问题数据特征单应用、日志连贯、上下文简单的场景，例

如业务准入、业务异常、业务校验规则等

SLSLog数据获取从阿里云SLS日志库中获取日志可以抽象为一个执行SQL的工具i

LLM

引入大模型识别用户提问意图，拼接关键日志查询参数调用工具获取日志记录，最终结合RAG背景知识理解日志反馈结果给用户单点问题排查

端侧TLOG数据获取客户端日志是一个超大文本文件，里面聚合了所有的日志信息。可以将关键词所在日志

行聚合形成关键日志段

LLM

引入大模型识别用户提问意图，拼接关键日志查询参数调用TLOG解析工具获取日志记录，利用大模型的文本总结能力进行问题的分析端侧问题排查

复杂问题场景特征多应用、上下文复杂、业务复杂的场景，例如横跨多系统的送礼下单诊断，日志复杂需要预

处理日志信息

BSPRule数据脚本通过BSP日志平台自定义脚本规则，加载用户自定义规则脚本来处理日志信息，通过编码将多系统的日志关联到一起并进行部分场景的日志粗分析来完成日志预处理复杂问题排查Agent工具使用一站式的工具智能化使用体验更新数据保鲜机制

OpenSearchEmbedding向量库原始文档工具信息|日志规则业务知识|PRD文档测试用例|Xmind测试数据|订单商品文档切片工具信息不切片根据标题切片根据章节切片测试数据组装文档预处理提取标题清除无效信息用例结构化数据结构化知识库构建新增短期记忆中期记忆长期记忆对话和检索中主题关键信息，状态的追踪等用户设置的自定义提示词以及偏好信息会话上下文，

10轮对话内容记忆能力

Prompt编写编写提示词，规范约束Agent能力

Tools选取业务工具、问题排查规则、都是广义上的工具，他们共同组成了AIAgent和外界交互的能力

RAG召回按需设置三种类型知识库，利用RAG检索生成技术可以提高回答准确性、专业性搭建AIAgentPART04优化路径分享

层次化结构提示词要有清晰的章节划分、宏观到微观逐层展开，各部分之间逻辑连贯

专业化设计获取Agent所有可触达的能力，进行简单介绍，说明具体应用场景。运行时遵循高效决策最小交互原则

结构化输出输出要强调关键性内容，多用表格、分段、超链接等输出提高回答效率Prompt

Engineering

Few-ShotPrompt注册工具的同时要求添加少量精准工具使用场景描述提示词，可以提高模型工具调用准确性

One-ShotPrompt针对复杂业务场景，设置的输出规范为模型提供了清晰的任务方向，可以提高输出质量。适用于需要特定输出格式的场景Prompt优化经典的提示词示例写入上下文-通过Flow构建执行上下文内容选择上下文-通过RAG召回工具减少工具数量压缩上下文-移除工具调用记录，历史消息出栈隔离上下文-利用Multi-Agent系统拆分复杂任务知识-事实、RAG知识库等工具-

工具调用结果Context

Engineering指令-提示词、记忆、少样本示例、工具描述等文档知识库——业务知识文档导入召回三种知识库类型用例知识库——测试用例解析导入召回三种知识库类型工具知识库——原子工具向量化召回调用三种知识库类型

工具向量化降低幻觉工具增多易超LLM上限并致幻觉，全部关联LLM影响准确率。将工具向量化，按需召回原子能力，可提升智能体准确性ObservationActionObservationThoughtTool

Selection工具能力向量化VectorchainstoolslogsLLM……Vector基于语义向量的查询基于关键字的查询OpenSearch向量搜索和关键词搜索相结合，提升检索精度双路检索召回FinalResultsQuerychunkchunkchunkchunkchunkchunkRank挑战传统RAGGraphRAG可解释性向量黑箱，难以溯源显式实体关系，支持路径推导复杂查询处理依赖片段匹配支持跨实体推理（如“订单

→账单

→还款”）冗余信息文本片段重复实体属性唯一，避免冗余全局信息整合孤立片段全局图谱支持路径遍历用AI抽取出文档中的实体并建立关系，推理产出知识图谱、分析出文档中的业务逻辑。实测基于GraphRAG的Agent对话结果会更加精准和富有逻辑性GraphRAG探索

GraphRAG知识图谱

Chain业务流程交易核心链路场景复杂且有较多的前置流程。通过梳理业务链路，固化业务流程Chain，沉

淀测试资产

Node流程节点总结抽象了原子能力工具、日志获取、决策、定时器、大模型、注释等节点。通过拖拽、连接各个节点即可搭建业务流程

Flow数据流动针对有明确数据关系的上下文节点，支持配置节点间的出入参，让数据流动起来业务流程编排

AI-Pilot一站式造数Mobius平台工具共享的正反馈机制引入了大量的造数原子能力，AI-Pilot通过聚合工具编

排Chain业务流程，打造一站式造数平台

AI-Chain智能对话在AI-Pilot造数平台中，每一个业务流程都提供了AI的能力，通过预制AI提示词和工具信息，突破了测试造数的业务壁垒，通过对话就能完整的构造测试数据业务流程使用-Agent模式

Functions分步执行业务流程的搭建不仅仅是为了Agent，更多的是沉淀业务流程、固化测试场景。在日常测试过程中，还有很多需要一步一步执行的场景。平台支持平铺工具手动执行，记录呈现每一步出入参

Tool-Center工具中心根据工具分类组织工具树目录，打造交易营销域测试工具中心，服务业务测试业务流程使用-手动模式

Tool-Flow工具编排对有明确出入参关系的链路，采用Flow编排可驱动服务端执行。相比LLM直接驱动，

Flow作为工具屏蔽中间逻辑，速度更快，稳定性更高

Open-API能力开发平台搭建好的Flow可以通过OpenAPI能力开放给外部平台，可以通过搭建业务流程来做端侧自动化、预演自动化等场景业务流程使用-接口模式业务流程使用-AI模式不依赖顶级大模型，

Tokens友好依赖顶级大模型，费Tokens链路AI调度30秒纯AI调度60秒通过设置默认/联想指令，

规范固化提问场景和AI对话的输入也是一门学问提问范式让AI根据对话上下文以及Agent能力提供追问引导，提高对话的连贯性追问引导单视角的缺陷

效率低下对LongContextWindow要求高鲁棒性和容错性

灵活性和可拓展性更好的效果、更低的成本-GraphofThoughts(GOT)-ReasoningandActing(ReAct)-ChainofThoughts（

COT）-TreeofThoughts(TOT)Single-Agent如何处理复杂任务Multi-Agent如何处理复杂任务MAS的必要性Multi-Agent架构

Supervisor监督者监督者Agent节点承担着理解用户意图、规划拆解分发任务的作用，他的提示词以及对应的模型能力至关重要

Sub-Agents执行者每一个子Agent都是一个领域的专家简单任务：管理者分配到特定一个Agent执行复杂任务：管理者来规划分配多个Agent共同完成复杂任务Multi-Agent搭建此页为视频演示首帧，视频不对外披露Multi-Agent实践-

自动化此页为视频演示首帧，视频不对外披露Multi-Agent实践-用例生成PART05应用场景案例交易全链路造数能力打造淘小智AICopilot旗舰品牌钉钉端使用外部业务通过iFrame嵌入Agent实现无缝接入造数赋能横向业务舆情检测&排查能力业务接入维护问题排查规则钉钉群接入快速排查通过搭建Agent，串联Chain赋能业务测试赋能业务测试优秀实践分享营销会场搭建评分结算资金单校验淘宝送礼项目优秀实践分享端侧自动化结果校验鸿蒙登录诊断微信支付诊断优秀实践分享预演客户端AI驱动预演用例生成测试数据查找优秀实践分享Playwright

Web自动化闪购项目账号构造国补单据校验PART06总结