2025QECon全球软件质量效能大会：Agent驱动测试效能革命-全链路造数-排查智能化实践

2025全球软件质量&效能大会·深圳站Agent驱动测试效能革命全链路造数/排查智能化实践查斌(良徽)阿里巴巴淘天集团高级测试开发工程师，负责淘天集团交易域质量背景与挑战实现方案和技术架构03探索实践与优化路径应用场景分享总结和展望全球软件质量&效能大会数据构造痛点全球软件质量&效能大会效率低下落后全球软件质量&效能大会问题排查痛点全球软件质量&效能大会场景繁多重复日志路径纵深日志量级庞大全球软件质量&效能大会全球软件质量&效能大会工具150+无平台化承接难响应全球软件质量&效能大会全球软件质量&效能大会实现思路全球软件质量&效能大会交互层交互层监监测层执行监控数据分析全球软件质量&效能大会全球软件质量&效能大会智能智能体交付务平台能力平台底座智能体智能体研发产品PRD产品PRD内部ATA全球软件质量&效能大会全球软件质量&效能大会提问多轮对话服务调用流式返回向量构建多路召回向量构建多路召回全球软件质量&效能大会全球软件质量&效能大会全球软件质量&效能大会业务流程编排搭建快速便捷搭建AI应用全球软件质量&效能大会全球软件质量&效能大会标准化标准化原子能力入参可见性控制对二时一一一一趁释文(中文)一一-一认值(选墙)c“”:·“"OOO四甲全球软件质量&效能大会全球软件质量&效能大会只馆-5站---一燥rT0加放概DN,达：UNDA.后染+TKY人参rarh,自义：5单明必性入贵zrdts,食业酷cp-0-汇聚承接原子能力不同业务线的同学通过在平台接入原子能力，就将原本分散在各个平台的工具聚合在一起了，打破了工具的孤岛效应通过分类汇总工具，形成工具组织树，提升测试平台的工具查找使用体验全球软件质量&效能大会全球软件质量&效能大会凸规则定义单应用、日志连贯、上下文简单的场景，例如业务准入、业务异常、业务校验规则等wbuyIIdsablaYpXchOptionjabNotHitV"disableYpxcMOpti从阿里云SLS日志库中获取日志均可以抽Agent引入曰通过识别用户提问意图，拼接关键日志查询参数调用工具获取日志记录，最终结合RAG曰*重务域*重务域□会员盘录描倒排鸿蒙关键词AccountiOS关键词AIUnversalAccount查询关键词Account/AUniversaiAccoAgent引入复杂问题排查全球软件EQ\*jc3\*hps59\o\al(\s\up3(o),效能)EQ\*jc3\*hps59\o\al(\s\up3(n),大会)期成阿造择场素选择空闯：交雅籍甲出Stringmont-eath.evalaatef'//Darlenc'2cpuLuesitarlebeultnobu¹dSploglesut(LIstetaesString,Strinysaieryesut¹th复杂问题场景特征Agent工具使用"deseripton":"物流公司",能力开发能力注册能力投放知识库构建全球软件质量&效能大会文档切片文档切片工具信息旧志规则更新记忆能力全球软件质量&效能大会回话上下文，10轮对话内容回话上下文，10轮对话内容对话和检索中主题相关的关键信息，状态的追踪等用户设置的自定义提示词以及偏好信息EQ\*jc3\*hps59\o\al(\s\up4(o),效能)EQ\*jc3\*hps59\o\al(\s\up4(n),大会)绍算A胜年真示河4由e真示河4由emoG建结阳AT顶手，任多品解地算度自贴里人金务间籍·畅桥红皮去，并该政究成忆算年超妒山重it,动e,在期天参的量用和值，并逻免里响，在调AF12开要和可上职“服好的5诗体8,在科明明共APIF,用要作琴单平，erkdmu记以清晰的请表进位用产，忽肃需翻调郸池工Rfunctin_cal1,请恰数首画用科运购服车需面妈有调1值至，一次反排供趋多的世E。算他垂圆陋基榴围惠曾外影调用平台顶结当阳血油反的网这情路段功木服为的算天，澳霞，地树加，世面产临天量上每达续一她4平n8自世算羊试工具HTTP世算羊试工具HTTP业离建行编ChainsjPrompt自动生成全球软件EQ\*jc3\*hps59\o\al(\s\up3(o),效能)EQ\*jc3\*hps59\o\al(\s\up3(n),大会)层次化结构专业化设计查卖工具订单结真业务标宜询|直询订单的业务修妍1错认订单类型(如超链订举结算着凤断户信恐查谢HTTP|查地贴户资金幅息了解医户余量和资金改分“查询陈户2888开头的资金信取填Prompt提示词优化全球软件至愿---上森Pib--+A-Pilot业秀组订单薄约第e,易科目日各鸭，教附，卖监43601通上注册工具的同时要求添加少量精准工具使用场景描述提示词，可以提高模型工具调用准确性针对复杂业务场景，通过设置输出规范，为模型提供了清晰的任务方向，提高输出质量。适用于需要特定输出格式的场景工具能力向量化全球软件质量&效能大会Vector随着工具数量的增多，相似使用场景的工具数量也会增多。如果全部关联给LLM,会存在工具超过上限和严重的幻觉问题，导致回答不符预期。通过将工具信息向量化，提问时召回对应能力，可以提高大模型回答准确度全球软件质量&效能大会双路检索召回全球软件质量&效能大会Vector向量搜索和关键词搜索相结合，提升检索精度提升20%+全球软件质量&效能大会搭建知识图谱全球软件质量&效能大会当前基于文本和向量的知识库缺少事物之间关系的理解和整体的视角。理论上通过结构化Graph知识库可以实现精准的问答用AI抽取出文档中的实体并建立关系，推理产出知识图谱、分析出文档中的隐藏业务逻辑随着知识图谱完备性的提升，RAG的召回结果会更加具有精准性和逻辑性全球软件质量&效能大会全球软件质量&效能大会化业务流程Chain,沉淀测试资产业务流程使用-Agent模式全球软件⑧5质相关4横阳血苏国怡保江单构选；下业师们析放折一品竹想右利以进行然后，单e行抽不作的购理。Al-Pilot一站式造数AI平台工具共享的正反馈机制引入了大量的造业务流程，打造一站式造数平台在AI-Pilot造数平台中，每一个业务流供了AI的能力，通过预制Al提示词和工具信息，突破了测试造数的业务壁垒，通过对话就能完整的构造测试数据业务流程使用-手动模式全球软件EQ\*jc3\*hps59\o\al(\s\up4(o),效能)EQ\*jc3\*hps59\o\al(\s\up4(n),大会)22全球软件质量&效能大会业务流程使用-接口模式全球软件质量&效能大会针对有明确出入参关系的链路，通过Flow编排串联出入参关系，可以驱动服务端执行平台搭建好的Flow可以通过OpenAPI能力开业务流程使用-Al模式全球软件EQ\*jc3\*hps59\o\al(\s\up4(o),效能)EQ\*jc3\*hps59\o\al(\s\up4(n),大会)依赖顶级大模型，费Tokens依赖顶级大模型，费TokensE剪来付性剪来付a81a情磁育3◎开画平1链路AI调度30秒链路AI调度30秒提问范式全球软件质量&效能大会提问范式提问范式0RAG质量模型能力以下是培住着生测汀单和端住代相试订单的执行结果下单环填订单号预发环魂磷住代测匠订单已确以收理△a1图一毫交普流功T单△此届自一主多子交基段功T单阳悟算攀摇解析必通用西忆补监教试订单怀注心收鼓座号控验b肚量执竹造粒季请醋住代销查忆补测试订制追问引导全球软件EQ\*jc3\*hps59\o\al(\s\up3(o),效能)EQ\*jc3\*hps59\o\al(\s\up3(n),大会)让AI根据对话上下文以及Agent在世磨休四后，积感Plompi提但多5磨周户提问速议1.与历史对话的上下文相关2.利用到Agent的能力和可用工具3.是用户可能愿兴趣的后续问题4.问题应该具体，明确且多样化5.问题应该是中文的，简洁明了6.每一个问题尽量控制字数在15个字以内7.每句话只包含一个问题，但也可以不是问句而是一句指令8.问题不要与上文已经提问或著回答过的内容重复9.推荐你有能力回答的问路保存配罗MAS的必要性全球软件质量&效能大会Single-Agent如何处理复杂任务-ChainofThoughts(COT)-GraphofThoughts(GOT)Multi-Agent如何处理复杂任务Multi-Agent架构全球软件质量&效能大会工具中心SupervisorAgentAgent+指输流输流输入式出问题问题分词分词知识库EQ\*jc3\*hps59\o\al(\s\up2(o),效能)EQ\*jc3\*hps59\o\al(\s\up2(n),大会)青是态智航理一个起]曲患相指用户南水决#会进的专业Age此理清就，督的任理津mP洪择馆临的5gem,#抽保用逆向造单AL手逆向造单AL手德订单物鸡AI君[会别培量构造牲是步门负网里巴四会庞-置理更付宝.5气绩、积分特作鹰处理督助平，鹰处理督助平，品志作上下架、打标法、兜理主要能力最进合处埋并通88VP.气单直词修汉。支Multi-Agent实践全球软件质量&效能大会会员健录居侧宜助手◎对话记录[由临果汇总】什么是半托管商品EQ\*jc3\*hps58\o\al(\s\up3(o),效能)EQ\*jc3\*hps58\o\al(\s\up3(n),大会)什么是半托管商品一21始.全球软件质量&效能大会交易全链路造数能力全球软件EQ\*jc3\*hps59\o\al(\s\up4(o),效能)EQ\*jc3\*hps59\o\al(\s\up4(n),大会)6900日《☆打造淘小智AICopilot旗舰品牌钉钉端使用造数赋能横向业务全球软件aa-全球软件质量&效能大会舆情检测&排查能力全球软件质量&效能大会天猫围际售支付诊断工具业务接入维护问题排查规则于海天团@淘小智确认收货手国全工国金!@淘小智确认收货交易AI诊断助手1.时间：2025-04-22130:44○订单号2.时间：2025-04-221130:41钉钉群接入快速排查赋能业务测试全球软件质量&效能大会7回回甜4优秀实践分享全球软件--收礼单收礼单B二维码-营销会场搭建评分-营销会场搭建评分结算资金单校验淘宝送礼项目结算资金单校验全球软件质量&效能大会-A-Ag在五天内空少锅91次信人下单m,以下船视记果g下E橙-下-12--.-T2-.--一全球软件质量&效能大会--预演用例生成-.随计发货时效：2023032966098230(预列时两发街良-2025520172759t测试数据查找全球软件质量&效能大会全球软件质量&效能大会全球软件质量&效能大会2全球软件质量&效能大会全球软件质量&效能大会对外分享对外分享《拜托7!极客工具箱》《拜托7!极客工具箱》△MobiusAI效能平台-全链路造数排查智塑化实践非算法人从神经网络到Transformer捣秘A超能力：RAG,Agomt与MCP如何打造智能助手。实战案例让你炼叹!面向互联网2C业务的分布式类ManusAgent框架ai-langengine-diow发布Nacos发布MCPRagsty:实现存量应用度口：0改动升级到MCP协议全球软件质量&效能大会落地数据全球软件质量&效能大会提问总数调用工具近一月调用概览工具调用成功率提问场景统计近一月调用概览工具调用成功率Top智能体使用概览TopTop智能体使用概览Top部门使用概宽竞对性分折助手竞对性分折助手落地数据全球软件质量&效能大会750+原子能力100+排查规则150+业务流程执行20w+次80%+业务场景服务1600+30+团队平台展望全球软件质量&效能大会全球软件质量&效能大会全球软件质量&效能大会PromptPrompt优化遇到问题遇到问题提问的规范化回答准确性平台实现今天讲了什么?平台实现今天讲了什么?业务流程编排业务流程编排业务效果链路覆盖80%,提效70%业务效果Multi-Agent协作Multi-Agent协作全球软件质量&效能大会为企业人才培养需求提供多方位的讲师课程推荐，在线学习质量把关，资料学习推荐及直播课堂服务。5大服务在线持续运维课程技术在线持续运维课程技术数据库数据库作为企业第三方专业人力提升培训服务供应商，秉承互联共成长的理念，恪守客户实际业务需求为第一优先级的本职。我们公司定位于专业、专注、全方位服务于IT研发中心，产品、技术、工具、团队管理方向的培训课程；有公开课，定制内训，在线课，T技术蜂会一站式采购等产品；更多的从客户需求角度出发，匹配更适合团队学习的资讯和课程推荐；更好的为客户服务，有专业的培训顾问，对整个IT行业峰会，讲师情况，课程方向都有比较深的了解。软件研发效能权威指南软件研发效能权威指南已发布10篇，抢先订阅编写进行中20+篇案例汇聚行业已发布10篇，抢先订阅编写进行中20+篇案例回复“工具指南”回复“工具指南”获取书籍链接回复“DORA2024”一书籍推荐一测试和研发领域的“百科全书”软件研发效能权威指南术GuEy