2025QECon全球软件质量效能大会：基于业务理解的缺陷检测

GLOBALSOFTWAREQUALITY&EFFICIENCYCONFERENC基于业务理解的缺陷检测高安凝哲|字节跳动质量技术团队，大模型算法专家全局视角产品应用层编排调度层核心Agent基建层产品形态意图理解分析方案思考制定工具调度编排业务需求理解研发自测Agent陷自主测试Agent智能用例生成评论生成UI自主测试API自主测试上下文Context业务知识库自学习体底层模型质效基建底层模型质效基建全球软件质量&效能大会算法设计与评测或者流量回放来模拟用户使用过程作发现内在的代码缺陷。测试用例成、灰度、线上等多个阶段被召回高质量的产品交付更依赖于高质量的产品、技术方案，也更加依赖于高质量的编码。2024.11~2024.12期间某业务的数据情况显示，在自这些工作通过对编码数据的理解和检测，向开发人员和评审人员透出可采纳的修复和修改建议。千，其中功能缺陷占比超过60%尽管如此，仍有大量的编码问题直到QA测试阶段，甚至发布到线上后才发现，这些缺陷呈现的特点有：较强的业务语义属性、跨端或者跨服务、功能实现不完整、功能实现错误等等。这些问题区别于传统的代码问题，呈现较高的业务语义属性和跨服构建基于LLM的业务理解容器，基于数据中心实现可自主演进的知识闭环机制，持续吸收、消化业务知识，实现从宏观产品到微观代码的完整、精准理解。90%以上的线下缺陷。QELLM驱动的缺陷检测技术特点用例测试有互补性主动性用例测试有互补性前置性逻辑验证，在测试人员介入前进行代码校验前置性白盒性了解其中的缺陷逻辑白盒性解决问题基于业务文档和代码实现，分析当前代码是否正确，完整问题代码标识行级别问题检测问题代码标识功能点缺失问题功能透出问题功能透出风险点位透出风险点位透出不兼容变更代码能力矩阵Review)、静态代码分析(StaticAnalysis)等方式，漏洞·产品理解从用户、业务和市场需求的角度出发，去深入了解一个软件的功能、价值和预期行为·理解业务需求、用户故事用户体验(UX/UI)设计·基于产品理解，可以判断一个现象是“缺陷(Bug)”还是“设计如此(AsDesigned)”业务产品理解业务产品理解分析前端页面的层级信息，辅助进行产品理解分析前端页面的层级信息，辅助进行产品理解回结构体调用模型召回结构体调用模型召回产品功能(upstream')或下游被调用者查看一个函数内部引用了哪些其他的当不确定实体全名时，根据关键词或像和功能树能力会给出业务的清晰逻辑，间的联系。Searcher:对于仓库代码，组内建立了描述文档。及改动代码的上下游调用链，独立分析当输出，给出最终的缺陷分析结果。缺陷筛选实体对齐跨仓跨服务规划缺陷筛选实体对齐缺陷分类分级关键字缺陷分类分级并行开发代码语义理解依赖业务知识依赖业务知识有代码索引高质量缺陷筛选无代码索引检测流程模型先拆解功能点，分析从前端到后端分别实现了功能点的哪些逻辑，并给出完整，精确地链路刻画，对后续的模型检测提供详实的材料工具调用1.调用工具获取"变更函数"的源码实现，分析代码逻辑、入参及出参。2.调用工具查询上游caller函数，明确"变更函数"是在什么场景下被调用的，上游caller调用"变更函的，如有必要可以一直往上追溯caller。13456789"base_commit":"<from_commit{"problem_statement":{{}]}]检测流程AgentAgent分步骤思考、调用工具获取信。识别触发问题的主要入口点。跟踪函数调用、类交互和事件。识别触发问题的主要入口点。跟踪函数调用、类交互和事件·定位需要更改或包含解决关键信息的特定文件、函数或代码行。1file:service/order关键问题函数缺陷描述修复建议动化标注缺陷真伪。同时可commit_1comm产品理解代码变更分析判断估估1.缺陷理解能力不足，特别是对于不同缺陷的召回能力有很大差异2.不能正确感知整体代码架构，过3.缺少业务知识力2.通过LLM理解完整代码架构，抽3.对于业务规范，业务兜底逻辑，效果效的修复手段在真实场景可以达到40%的召回能力和50%的准确能力通过对现有质量保障模式的深入分析，我们发现了其被动、后置、黑盒的局限性，并提出了基于LLM的主动、前置、白盒的缺陷检测方案。通过对PRD理解和代码链路的深入研究，我们构建了多智能体架构，并通过实体对齐，实现了对功能点和代码的更细致划通过对大模型的初步尝试，我们发现其对于局部代码的逻辑错误有较好的召回能力，但对于业务属性理解不足，需要补充业务知识和代码链路相关数据。最终，我们构建了完整的缺陷检测链路，并通过人工评估验证了其有效性。全球软件质量&效能大会为企业人才培养需求提供多方位的讲师课程推荐，在线学习质量把关，资料学习推荐及直播课堂服务。技术内训在线公开课微咨询数据库持续运维前端开发质量管理前端开发课程作为企业第三方专业人力提升培训服务供应商，秉承互联共成长的理念，恪守客户实际业务需求为第一优先级的本职。我们公司定位于专业、专注、全方位服务于IT研发中心，产好的为客户服务，有专业的培训顾问，对整个IT行业峰会，讲师情况，课程方向都有比较深的了解。2026全球软件质量&效能大会2026GLOBALSOFTWAREQUALITY详情查看官网详情查看官网60%大模型赋能提质增效专场LLM驱动的智能化测试质效领域Agent实践AI驱动需求工程质效人如何掌握大模型核心能力模型在研发提效中的深度实践30%质量效能基要能力专场自动化到智能化测试多终端质量保障测试左移&右移专项测试业务敏捷与价值流实践10%深度闭门交流专场(2025组织过深受好评的主题)2小时闭门会使用大模型实现质效提升必须跨过的几座大山AI编码时代的研发效能度量体系重构破解大模型软件测试难题演讲申报|参会购票ThePowerof能力，这一现象印证了产品力驱动的商业韧性机制。PMxAl大会以“重塑产品力-从用户心智到生态势能“为核心命题，解码产品力的底层逻辑与实践范式。PMxAI产品力领航者大会，专注于探讨并推动AI时代下产品创新者的关键能力提升。大会旨在汇聚业界精英，共同探索智能时代下提升产品能力、引领行业发展新趋势的路径。拆解Al产品从Demo到商业化验证的完整链路，并借Al之力构建业务增长飞轮。来PM×Al大会，与产品大咖深度对话，沉淀人脉资源，提升个人职业价值，洞察行业发展趋势。本次峰会将带领参会者开启一场从宏观到微观的认知探索之旅：我们将层层深入穿越四个认知圈层—从洞见时代趋势切入，到精准锁定黄金赛道，再到熟练掌握产品方法，最终实现个人与组织的协同进化，以此系统性构建AI时代产品创新的完整能力版图。大会通过主题演讲与实战工作坊相结合的分享形式：前者助力与会者获取最新行业洞察与创新案例，后者则通过方法论与实战指导提升关键技能。这种“认知+实践”的全面学习体验，将为产品人在AIGC时代的职业发展提供强有力的支撑与推动。AI战略与产品经营(定方向)AI出海与全球化(看世界)AI赋能一切：VIP闭门会AI重塑ToB产业应用(赋能百业)AINative引爆C端(场景洞察)AI产品从0到1构建(产品新范式)AI运营：数据驱动业务增长(规模化)人机协同与组织提效(AI组织)AI时代的产品经理(生产力跃迁)AI时代持续成长产品人AI时代教育新趋势：亲子工作坊转型中产品经理AIAgent设计与商业化(核心技术应用)AI赋能用户研究与需求分析(第一性原理)金融+Al创新实践(垂直深耕)具身与智能空间(未来交互)详情查看官网详情查看官网55%AI模型应用核心能力提升专场Agent开发框架应用与实践AlInfra和加速推理多模态与生成式AI应用Data+Agent开发框架应用与实践金融场景Agent应用实践