2025QECon全球软件质量效能大会：LLM赋能消费金融风控质量保障体系

方佳璐｜杭银消费金融有限公司风控数据质量负责人担任杭银消费金融有限公司风控数据质量负责人

，主要负责信贷产品风控领域的质量保障工作

，并主导测试技术创新的研究与应用。毕业于浙江大学计算机学院

，曾在华为和阿里巴巴负责质量保障相关工作，在电商和金融领域积累了丰富的业务质量保障和提效工具研发经验。方佳璐杭银消费金融有限公司风控数据质量负责人目录CONTENTS04

与LLM建立积极的关系03

LLM赋能质量保障体系01

消费金融风控简介02

背景与挑战PART

01消费金融风控简介流量方资金方引流式平台互联网银行助贷式平台商业银行消费金融中心机构私域流量

数据小贷公司行为

征

信

l

-

-

-

行

业

信托

消费金融风控简介用户筛选用户提供资金对适合的用户进行放款场景、

风控、

技术核心:

数据、资金PART

02背景与挑战借贷记录/设备信息三方/运营商/政企/大数据局/学历法务/监管/经济人行/百行/朴道度模型

特征

营销获客

贷前审核

贷中监控

贷后管理用户潜在风险识别

'风险审核：反欺诈模型

风险预警：逾期行为

'

风险处置：逾期案件分配

风控精准营销信用评估：收入核实动态监控：还款行为风险评级：还款状态混合在线近线St

&

batcbatchream离线Stream特征计算：

y

fi

+

Ci技术复杂度数据源多样化

：结构化

、

非结构数据计算架构多元：

离线

、近线

、实时计算特征血缘复杂

：全链路回归场景复杂多样性能要求高

：特征时效性持续优化

风控xi

为数据源线上授信x

1

x

2API/

DB

Flink

Hiv特征计算特征管理x

3e/Sparkh渠道联营授信支用

催收渠道支用渠道授信线上催收线下催收线上自营线下自营线下授信x4……PART

03LLM赋能质量保障体系建设•

功能保障

•

性能保障•

特征分类分级•

需求交付效率

•

稳定性保障持续加固的城墙准入/准出标准：核心指标知识库

：需求分析、用例生成、数据生成、缺陷管理与改进闭环

API自动化

，

全链路自动化

完整闭环

风控数据质量保障体系建设

业务/技术指标最终的护城河首道防线存量特征治理期

故障机器人平台建设期敏捷迭代期缺陷分析

测试报告【显性信息】需求文档

【隐含信息】会议/单点沟通•

文本提取和总结•

语义理解和澄清1L.MI辅助实现验证•

风险点识别•

测试用例/测试数据/测试代码生成•

缺陷分析/指标度量

日常高效测试体系建设：

全生命周期质量管理n

要求n

讨论n

期望理解n

代码n

基建n

数据•

错误日志分析

•

自动生成测试报告•

自动定位根因

•

测试覆盖率•

缺陷统计•

风险分析•

LLM自动生成测

•

生成合成测试试用例

数据•

用例优先级排序•

数据格式转换•

数据增强需求理解实现•

LLM生成测试脚本•

自动执行相关测试工具•

自动识别回归用例•

文本提取和总结•

语义理解和澄清•

功能点提取测试数据

测试执行需求分析测试用例实

现需求•

行业知识•

存量特征信息•

业务知识•多轮对话式交互：promote知识库LLM

文档结构标准化需求文档系统重构：

代码迁移&性能优化•

历史缺失需求文档补全•需求理解（新/老代码）

日常高效测试体系建设：

LLM辅助测需求分析变量中文名

类型

业务口径计算逻辑数据来源•功能点提取•规则提取•

规则筛选/补充人工输入原始代码融合的提示词需求文件需求规则/功能点测试用例范围：•

正向用例•

负向用例•

边界值用例•

测试知识库业务知识库•

项目知识库•

历史缺陷库LLM测试用例特征变量：客户近三个月逾期金额总和用例编号1客户无任何逾期记录（测试目的：验证无逾期时的计算结果）用例编号2客户有部分产品逾期（测试目的：验证部分产品逾期时的计算结果）用例编号3客户存在边界时间点逾期（测试目的：验证边界时间点的计算准确性）……

日常高效测试体系建设：

LLM辅助测试用例生成测试用例智能生成平台需求上传

用例详情用例列表知识库数据批量扩展数据校验JSON日常高效测试体系建设：

LLM辅助测试数据生成结构正确内容真实匿名安全易于控制INSERTINTO(,,,,,,,)VALUES

-

-

借据1的12期逾期('P1','LN001',12,'2024

-01-01',1000.00,200.00,NULL,30),

-

-

借据2的第6期逾期('P2','LN002',

6,'2023-12-01',500.00,100.00,'2023-12-15',14);NSERTINTO(,,,,,status)VALUES('LN001','A',12000.00,'2023-01

-01','2024-01-01','未结清'),('LN002','A',6000.00,'2023

-06-01','2023-12-01','未结清')还款计划表loan_idJSON/XML格式数据SQL--多表关联数据日志

→

接口请求参数CSV

→

SQL

插入语句借据表http/rpcXML

JSONSQL

日常高效测试体系建设：

LLM辅助缺陷分析修复建议根因假设特征平台信贷系统根因假设&修复建议知识沉淀资产系统决策引擎问题定位缺陷信息原始错误日志非结构化缺陷traceidLLM日志日志日志日志任务：用例生成子任务拆解子任务

1：根据需求生成风险点子任务

2：根据风险点生成测试用例M优化策略提示词工程:子任务拆解AI智能体:

工作流编排多轮对话:基于反馈优化日常高效测试体系建设：

LLM辅助自动化测试•

缺失用例：

覆盖率•

错误用例：

执行结果结果分析需求理解用例生成执行测试用例修复知识库管理•

知识库沉淀•

知识库系统架构：检索增强生成(RAG)•

将生产环境的知识不断沉淀并反哺业务流程标准化•

质量交付建模板•

差异化流程准入标准（提测前）•

LLM代码变更影响分析•

智能回归用例召回准出标准（发布前）•

LLM测试结果决策•

自动化门禁规则生成测试回归资产维护•

测试用例自愈核心质量指标•

测试覆盖率•

缺陷逃逸率•

用例执行效率根因分析智能化•

多维度缺陷聚类•

改进建议生成 LLM赋能过程效能建设

质量门禁

过程效能建设：

LLM辅助质量门禁&质量度量业务规则库历史数据规则LLM语义解析数据生成引擎覆盖率报告LLM差异分析未覆盖场景识别代码提交准入检查回归用例召回准出检查回归用例执行LLM代码变更影响分析LLM测试结果决策w........优化数据组合新增边界用例代码合并到主干补充异常流正常场景数据异常流数据边界场景数据

过程效能建设：

知识沉淀

测试方法论、测试交付件模版、行业测试规范、通用用例集等测试领域知识。

业务流程规则、领域术语字典、业务关键性等级定义等业务知识。系知识库

数据库表DDL信息、内部RPC文档

，外部接口文档。

当前项目的历史需求文档、技术方案、历史测试报告STEP

1

：数据源选择

STEP

2

：文本分段与清洗 测试缺陷、线上问题等vSTEP

3

：知识库召回测试异常检测

根因定位指标监控

生产质量保障体系建设：

从被动响应到主动防御自动化运维闭环智能决策与修复某流量方 风控质量保障体系建设成果日常高效测试体系过程效能用例设计效率：

自动化测试用例脚本（/个）：代码覆盖度：

需求场景覆盖率：

生产质量保障体系测试数据构造：

故障恢复时间（MTTR）：缺陷分析效率：测试效能

=（用例覆盖率

×数据多样性）/（缺陷逃逸率

×平均修复时间）PART

04