2025QECon全球软件质量效能大会：基于大模型的客诉故障探测方案实践与思考

基于大模型的客诉故障探测方案实践与思考王旭峰｜饿了么高级测试开发专家王旭峰饿了么高级测试开发专家饿了么高级测试开发专家，目前就职于饿了么技术中心质量效能团队，主要负责研发测试环节质量工具的建设以及效能优化工作，近两年主要专注于AI+领域,包括基于AI的前端自动化工具能力建设、基于AI的客诉故障预警能力建设,在利用大模型解决互联网相关领域的一些问题积累了一些经验。CONTENTS客诉探测产生的背景及对质量保障的意义常规监控布防存在的问题常规监控布防成本高部分非主链路低危场景业务监控布防常规监控布防成本高部分非主链路低危场景业务监控布防ROI低，研发侧资源紧张的情况下，投入积极性不高监控缺失的风险无法完全避免从业务技术团队的视角来看，无论前后端，始终有少量业务场景存在监控遗漏、监控难以配置、配置错误、保鲜困难等问题生产回滚部分变更引起的问题未在小流量环境通过常规监控发现，流程推进到生产发布，但实际在小流量验证过程中已有零星客诉，x%的生产应用回滚问题来源于客诉客诉检测的价值感知感知定位恢复•客诉中存在潜在的技术问题•零星客诉未及时感知处理，影响范围扩大，会升级成故障•增强线上问题事中发现能力，保障线上质量和用户体验从Chatgpt3.5于2022年底发布以来，以大模型为代表的人工智能领域基于大模型实现客诉故障探测的工程实践处理流程之后，之后，研发测试直接感知用户在产品、技术、配置、体验存在的潜在问题之前，研发测试是最后一个知道的人登记工单故障拉铃技术支持指派研发结束(问题可能遗漏)用户进线数据(准实时)指派产品运营研发用户进线客服答疑生成工单、预排查、告警研发&测试接手工单通知产品\运营\客服排查定位反馈排查定位反馈检测召回问题路由核心模块：客诉问题检测召回页面白屏、显示异常页面白屏、显示异常点击无反应、功能入口异常问题分级后置过滤是不是潜在语义检测语义粗判断语义关键字匹配高危问题判断视觉模型异常识别核心模块:问题检测-语义检测•排除掉一些常见问题客诉•如果所有问题都正向噪音•排除手段:大模型判断•如果近期出现多例,则提升•利用大模型识别研发/如页面白屏、页面打不开、页面报错，在粗判断的基础上提高问题风险级别•利用大模型初步分析客诉，判断是否是一个潜在的技术问题核心：模型+模型参数+提示词模型：Qwen(需考虑、合规、信息安全、发展前景)模型参数:top_k、temperature（推理及调优稳定性）提示词:按业务、角色分别设置、分别调优，直接关乎效果，优化方式:角色扮演、结构化描述、COT、尽量单轮对话异常关键字匹配：系统出错、异常关键字匹配：系统出错、系统开小差、Undefined...继续使用视觉模型(VL)检测:白(黑)屏、报错(Java异常、Javascript异常)、数据加载异常结束返回异常结束返回异常核心模块:问题检测-图片检测结束OCR图片文本核心模块:问题聚类一阶段语义TopN一阶段语义TopN+图片TopN二阶段大模型依次循环精细比对语义聚类语义向量库图片向量库待聚类客诉循环比对或新类别异常图片聚类图片向量库图片向量库Top1图片异常关键字异常关键字相似度阈值新类别相似度阈值新类别核心模块:问题聚类-向量库的构建大模型逐一比对客诉问题摘要大模型逐一比对客诉问题摘要存在同类l计算向量值存在同类l计算向量值计算向量值存在同类存在同类返回聚类ID新图片类别插入向量库返回返回聚类ID新图片类别插入向量库返回聚类ID新类别插入向量库相似度阈值过滤+关键字配置后取TOP相似度阈值过滤+关键字配置后取TOP1语义向量库相似度阈值过滤后语义向量库相似度阈值过滤后索引算法距离函数索引算法距离函数COSINE(余弦相似度)维度xxxx•FLAT（暴力搜索）+余弦相似度保证较好的准确率•采用支持分片的向量库，进一步提高搜索效率•定期自动清理孤立类别数据,防止类别膨胀索引算法距离函数COSINE(余弦相似度)维度xxxx核心模块:问题信息补充及排查原始数据:B/C/D用户ID+客诉对话数据提取(NER):订单号、运单号、兑换码、截图时间(时间推断)数据补充:用户、商家、骑手相关信息补充提取案例1电话提取案例1电话进线,通话内容转化为文本用户:我说下订单号用户:xxxx用户:xx68899…提取案例2用户:帮我查下今天的5号单…排查问题排查方案+FunctionCalling业务方域内系统排查(AI、规则)提取关键信息时间推断调用工具查询8062xxxxxxxxxxx直接提取8062xxxxxx68899核心模块：工单分发难点难点原则原则•发给功能、页面入口所属业务域，由入口接手人判断应该发送给链路上的哪个人•利用大模型，分别对客诉，进行领域拆分，确定规属业务域•利用大模型，分别对客诉，进行领域拆分，确定规属业务域•基于业务领域图片知识库，直接根据客诉图片确定归属业务域方法核心模块：工单分发供给商家供给商家商家交易消费者核心模块：工单分发供给商家供给商家商家交易消费者用户增长利用大模型，根据客诉语义分类System提示词核心是业务域定义User提示词：客诉问题摘要业务域骑手作业骑手调度平台共40+业务域工单给谁？•根据业务实际情况，采用语义策略、图片策略、混合策略根据客诉图片进行分类骑手作业骑手调度平台共40+业务域工单给谁？•根据业务实际情况，采用语义策略、图片策略、混合策略根据客诉图片进行分类客诉图片类别ID(可能多个)图片关联反查业务域用户增长:图片1(类别ID:700001)图片2(类别ID:700002)图片3(类别ID:700003,业务关键字:预计收其他子域...商家:供给商家:图片1(类别ID:700001)图片2(类别ID:700002)其他子域...骑手:图片1(类别ID:700001)图片2(类别ID:700002)其他子域...业务域效果、成本的平衡•Token越多，效果越好，推理越慢，成本也越高•优化点:•减少输入:最开始只采用用户的前5句话作为输入->用户和客服的前10句话->准完整对话•减少输出：限制COT、限制聚类候选比对数量•前置过滤减少客诉处理量整体结构预警工单预警工单预警报表语义分析语义分析图片分析图片分析语义聚类语义聚类图片聚类图片聚类知识库管理检测干预业务域业务域配置业务路由业务路由问题排查问题排查问题分级问题分级自动关自动关接口开放接口开放数据库数据库AgentAgentOCROCRImageImageConverter向量向量DBQwenQwenLLMQwenVLQwenVLTextTextEmbeddingImageImageEm