2025QECon全球软件质量效能大会：面向行业智能体评测的高质量数据合成技术

面向行业智能体评测的高质量数据合成技术范雨欣|蚂蚁集团行业技术团队算法工程师全球软件质量&效能大会蚂蚁集团行业技术团队算法工程师，负责行业智能体评测工作。主要研究方向为合成数据与数据质量，致力于为智能体构造全流程提供海量多样化高质量数据支撑。全球软件质量&效能大会增长增长>100%GrowthinDevelopeAlPerformance=ISurpassedHumanLevelsofAccuracy&Realism,perChadtGPTAIUSser+Subscriber+RevenueGrowthRa+21%AnnualGrowthOverTe可量化地跟踪领域进展BrowuingEQ\*jc3\*hps9\o\al(\s\up2(D),C)EQ\*jc3\*hps9\o\al(\s\up2(i),r)EQ\*jc3\*hps9\o\al(\s\up2(ta),d)多个模型之间的对比Kaoyan行业作为支付宝的业务先锋，积极与外部机构深度合作，在政务民生、出行酒旅、物流行业为用户提供智能化的服务。Al访谈、智能简历…评测方法演进路径1.业务初期：关注问题解决和快速迭代问题导向2.业务成熟期：需要系统化评估和横向对比系统化评估标准化标准化量化指标成熟期优势问题导向深度分析初期阶段优势高质量语料数据质量决定信度!模型训练评测流程行业评测集推理任务标注归因评测报告考题数据质量评估标注归因自动化指标计算评测能力合成算子数据质量评估模型标注归因人工标注归因指标算子考纲考纲标注标准、评测标准行业benchmark高质量数据为何重要评测机制评测机制核心逻辑高质量数据准确评估能力可信评测结果产品成功落地▽▽若数据低质量的后果链条：低质量数据→误判模型能力→评测结果失真→产品上线失败评测数据面临的挑战×两种传统路1.人工编写→效率2.线上回流→数据构建"像真的一样"的合成数据合成数据=算法生成+真实感模拟+可控构造不是“假数据”,而是"高仿真的虚拟数据”●就业Al:合成"精通Python+有教师经验+兼职"等罕见复合求职需求获取成本高低(自动化)隐私合规风险高极低受限更新速度慢快不稳定高(可控)·Gartner预测：到2028年，合成数据预计将占人工智能数据的80%,相比2024年的20%有显著提升·槽位填充(如城市、时间)“订{城市的酒店”“查询{日期的航班”·生成更自然的表达·尝试构建用户模拟器·生成质量不稳定·缺乏上下文理解特点：统计学习+模式识别LLMLLM驱动时代·语义自然、多样性强·支持多轮对话与复杂意图·可控生成+自动校验机制·支持风格、角色、场景定制优势：无版本控制与追溯无版本控制与追溯·无法关联"数据版本⇔模型版本"·数据回溯困难，影响归因分析×挑战三·生成数据冗余高、逻辑错误·生成数据冗余高、逻辑错误而是一个可工程落地的合成数据框架：Python/YAML初始数据集Pipeline调度器最终数据集生成模型生成模型标注器(标注器(Labeller)支持自定义复杂支持自定义复杂Pipeline灵活组合/自定义Step组件提供个性化能力推荐简单模板流程开箱即用，快速上手内置最佳实践模板支持团队协作与规模化生产自动化质量评估体系组件化Step设计可追溯全链路版本与血缘管理缓存机制+错误恢复+中间结果保存+断点续传挑战：通用框架≠个性化输出血政务助手·政务热点驱动·政策覆盖全面出行助手旅游诉求多样时间逻辑复杂多轮对话表达用户常分步表达需求(如先问航班再订酒店)1.如何设计Step,让它适应复杂场景?2.如何定义高质量，并自动保障它?step模板库设计：个性化合成三阶闭环r关键能力：关键能力：关键能力：从无到有能力沉淀为可复用组件(每个step的数据结构统一)支持用户开发自定义Step,接入私有模型或业务逻辑数据生成场景1:评测数据您想找一个什么样的工作呢?Role1:你是一个18岁刚毕业的大专生，你期望找一个餐厅服务员的工作……Role2:你是一个46岁的宝妈，你打算重返服务员职场……场景：多模态交互(Multi-model)就业助手电话语音即时沟通我想找餐饮服务员工作。您比较擅长什么工作呢?我擅长点单和收银，很勤快……turn_1”{我的就业意向是我决定报名!……·输入：基础特征+提示词●输入：枚举维度+枚举值为就业Al生成高质量评测Query提供真实、可信的用户画像输入，避免逻辑冲突(如"54岁应届生”、“高中学历要求CEO职位"等不合理组合)O景点推荐rrquery→理解→规划→抽参→执行→label怎么样，推荐适合去的景点”③执行调用④参数抽取输出成果输出成果生成Query-Label配对的训练数据，支持智能体学习多步推理和工具使用能力词频去重词频去重字面匹配·高效精准·核心思想：“词都一样，就是重复”“词都一样，就是重复”·适用场景：··技术原理：-中英文分词(双语支持)-MinHash+LSH近似去重-支持大规模数据高效处理语义去重语义理解·深层去重·核心思想：“意思差不多，也算重复”·适用场景：··技术原理：-调用embedding模型生成向量-使用近邻搜索(ANN)快速检索-支持跨表达形式的语义匹配避免全量比对带来的计算爆炸支持万级样本秒级处理完整性综合评估：从单一指标到总体得分标准化准确性机密性一致性综合质量易用性时效性无偏性使用两大核心度量指标进行验证使用两大核心度量指标进行验证通过BenchBuilder管道的七大维度进行筛选1.模型区分能力好的基准应能将强弱模型的分数显著拉开。大计算所有模型对胜率差值的平均值，值越大，区分度越高。Separation=Avg(IWinRate(A)-WinRate(2.与人类偏好一致性计算LLM排名与人类排名的斯皮尔曼相关系数，Alignment=SpearmanCorr(Rank_LLM,Rank_Human数据合成技术展望：面向行业智能体评测路径一：基于知识的主动合成路径二：基于数据的闭环增强行业知识库/知识图谱行业知识库/知识图谱全球软件质量&效能大会关注公众号关注公众号为企业人才培养需求提供多方位的讲师课程推荐，在线学习质量把关，资料学习推荐及直播课堂服务。技术峰会内训定制技术峰会内训定制在线课程数据库质量管理前端开发作为企业第三方专业人力提升培训服务供应商，秉承互联共成长的理念，恪守客户实际业务需求为第一优先级的本职。我咨询电话：010-657980492025全球软件质量&效能大会2025GLOBALSOFTWAREQUALITY&EFFICIENCY◎北京希尔顿逸林酒店(3层宴会厅)查看更多会议详情专场规划专场规划数据治理和知识工程AI原生应用的质量评测两场3小时深度工作坊两场2小时闭门会2025智能时代软件工程技术大会专场规划专场规划软件工程的“暗”软件工程的“暗”知识工程