金融AI的模型风险：训练数据、漂移、公平性、可解释的评估框架、监测与治理

金融AI的模型风险：训练数据、漂移、公平性、可解释的评估框架、监测与治理本文档提供：四支柱三环节评估矩阵（表1）；评估报告骨架清单（表2）；训练数据五维体检表（表3）；数据监测三列看板（表4）；漂移基线选取表（表5）；漂移频率与告警路由表（表6）；公平性审查三步卡（表7）；可解释性三层交付表（表8）；模型分级与决策权限矩阵（表9）；治理报告线清单（表10）；监测空转排查表（表11）；含四轮转折的完整交接示例与变量表（表12）；决策规则与矛盾四段式；三套场景检查项增减表（表13）；来源时效表（表14）。2026-11-05这一节的标题读完你能拿到什么这一节在全文中的功能一、四根支柱、三个环节：评估报告按这张矩阵填完才算交付四支柱三环节评估矩阵（表1）、评估报告骨架清单（表2）把一次评估拆成可勾选的格子，防止只评数据不评治理二、训练数据：评估看五个数，监测盯三列，治理卡一个签字训练数据五维体检表（表3）、数据监测三列看板（表4）在数据进场、上线、运行三段各设一道可核查的关卡三、漂移：基线取哪段，频率走哪档，谁有权按停漂移基线选取表（表5）、频率与告警路由表（表6）把漂移从一张PSI截图变成有基线、有频率、有路由的监测项四、公平性：同一个阈值切两个群体，比值出来之后三步走公平性审查三步卡（表7）在群体结果出现差异时给出暂停、调阈值、重训的先后顺序五、可解释性：三层解释各自管到哪一步可解释性三层交付表（表8）区分全局解释、局部解释、反事实解释的交付标准与失效判定六、模型分级、决策权限、报告线：治理落地只认这三张纸模型分级与决策权限矩阵（表9）、报告线清单（表10）把“发现了问题”接到“谁必须签字、谁必须收到报告”七、监测日志连续三个月写“正常”，先打开这六个文件监测空转排查表（表11），第一检查点可直接打开定位监测流程在哪一步空转，不先怀疑模型八、一个信贷评分模型从评估到退役，中间卡了四次完整交接示例：起点、四轮试错转折、终点、变量表（表12）给出可逐行复制的处置轨迹与判断转折九、决策规则与核心矛盾5条“如果—则—退路”规则，含矛盾四段式覆盖关键判断分叉点与两个正确动作冲突时的取舍十、三套执行序列：完整版、精简版、极简版三套场景检查项与计算量增减表（表13）按交付场景选择不可让步的底线按第一列在正文找对应那节，按第二列判断这节有没有目标读者要的东西，按第三列判断这节是否对应其当前卡住的位置。一、四根支柱、三个环节：评估报告按这张矩阵填完才算交付评估报告的常见形态是一份三十页PDF，前半本讲数据质量，后半本讲模型性能，公平性和可解释性各占一页半。接手方看完不知道下一步动哪里。把一次评估拆成四根支柱乘三个环节，共十二个格子，每个格子写清评估结论、监测安排、治理落点，报告才算填完。四根支柱是训练数据、漂移、公平性、可解释性。三个环节是评估（上线前或定期重验时做什么）、监测（上线后按什么频率看什么数）、治理（出结论后谁签字、谁收报告、谁有权停）。十二个格子中任一格写“待补充”或“见相关文件”，该次评估按未完成处理，不进入审批会。表1四支柱三环节评估矩阵支柱评估环节产出什么监测环节盯什么治理环节谁签字不合格退回哪一步训练数据五维体检结论（表3）缺失率、标注复核、群体占比三列（表4）第二防线数据治理岗退回采集或剔除后重过表3漂移基线窗口与阈值设定（表5）分数PSI月度、特征CSI月度、告警路由（表6）第二防线负责人降为参考级并启动重验公平性比值结论与差异来源说明（表7）季度比值、人工复核队列通过率第二防线与合规暂停该群体自动不利决定可解释性三层解释文本（表8）SHAP前五位重算、KendallW模型owner与第二防线重出解释文本并停用旧话术示例行：以零售信贷评分v3.2为例，训练数据评估结论填“关键字段缺失率1.4%，标注κ=0.91，群体占比最大差4.1个百分点，通过”；监测列填“表4月度看板，责任人数据治理岗”；治理列填“第二防线签字日期2026-10-15”；不合格退回列填“不适用，五维全部通过”。评估报告的骨架按表2排列。报告第一页放矩阵结论，第二页起按支柱展开，每支柱不超过四页。结论页先写“十二格填满情况”，再写“未通过的格子及处置”，最后写“下次评估日期”。表2评估报告骨架清单报告页码位置写什么完成判定示例行（R-017报告）第1页十二格矩阵结论：每格填“通过/受限/未通过”十二格无空格训练数据通过；漂移受限（CSI单特征越线）；公平性通过；可解释性通过第2页未通过或受限格子的处置动作、责任人、日期每格有责任人和日期漂移格：责任人模型owner，2026-11-20前提交特征稳定性分析第3至6页训练数据与漂移展开各含一张带示例行的表表3五维数值、表6告警记录第7至10页公平性与可解释性展开各含比值行和解释版本记录表7比值0.81，表8局部解释已更新末页下次评估日期与重验触发条件日期具体到日2027-02-15，或PSI>0.25提前触发评估环节的完成判定是十二格填满且末页有日期。监测与治理两列的完成判定是每格对应到表4、表6、表9、表10中的具体行。二、训练数据：评估看五个数，监测盯三列，治理卡一个签字数据交接时最先量的是缺失率，不是先跑模型。关键字段（身份证号、交易时间、授信金额）缺失率超过2%、非关键字段超过10%，整批数据退回采集环节。标注一致性用Cohenκ或Fleissκ衡量：κ低于0.70重写标注规则；0.70至0.85之间允许训练，但验证报告标注“标注质量受限”；0.85以上作为正常训练集。群体代表性看各受保护群体在训练集中的占比与目标总体占比之差，绝对差超过5个百分点时做过采样或分层抽样后重检。表3训练数据五维体检表维度看哪列或算什么合格线不合格怎么改示例行（R-017训练集）关键字段完整性身份证号、交易时间、授信金额缺失率≤2%回溯数据源补采，补不到的整行剔除并记比例缺失率1.4%，通过非关键字段完整性职业信息、教育程度缺失率≤10%标记为不可用字段，不进入特征工程缺失率7.2%，通过标注一致性双人标注子集Cohenκ≥0.85正常，0.70至0.85受限重写标注规则后重标争议样本κ=0.91，通过时间连续性时间序列最长连续缺失天数≤7天隔离缺失区段，拼接窗口打标最长缺失3天，通过群体代表性各群体训练占比与总体占比之差绝对差≤5个百分点过采样后重检，仍不达标则限制该群体输出最大差4.1个百分点，通过表3每行给出具体数值，读者能判断填到什么程度算填完。五维全部有数值结果才算完成，写“已检查”不算。上线后数据监测看三列，不重复跑五维。三列是：关键字段缺失率月度值、标注抽样复核一致率、受保护群体样本占比月度变化。三列中任一列连续两个月越过合格线，触发一次表3对应维度的重检。表4数据监测三列看板监测列数据源频率什么算合格越过线转哪一步示例行（2026-10月）关键字段缺失率生产数据入湖日志的“关键字段完整率”列月缺失率≤2%转表3关键字段行重检1.8%，合格标注抽样复核一致率每月抽200条生产样本双人复核月一致率≥90%转表3标注一致性行重检93%，合格受保护群体样本占比变化生产样本按群体分组计数月与训练集占比差≤5个百分点转表3群体代表性行重检差4.6个百分点，接近线，记录治理环节在数据板块只卡一个签字：表4三列月度看板的复核人签字。签字栏空白且当月有越过线记录，数据治理岗在三个工作日内补签或说明；逾期未处理，下一次模型调用计入“治理未闭合”清单，报第二防线例会。三、漂移：基线取哪段，频率走哪档，谁有权按停漂移监测的起点是基线，不是阈值。基线窗口选错，PSI算出来没有比较意义。基线取训练集最后六个完整月，或上线前六个完整月，两者取时间较近的一段。基线窗口内发生过重大政策调整（利率调整、授信规则变更）的，向前推到调整前最后一个完整月，窗口长度不足六个月的，用上线后前三个月加训练集后三个月拼接，拼接处在监测日志标注。表5漂移基线选取表基线情形窗口取法何时适用日志需记录什么示例行（R-017）标准情形训练集最后六个完整月无重大政策调整窗口起止日期、样本量2024-10至2025-03，样本21万上线前更近上线前六个完整月上线距训练集末端超过三个月同上加“上线前窗口”标注适用，取2025-04至2025-09政策调整后调整前最后一个完整月至调整前六个月窗口内有政策变更政策变更日期、变更内容一句话不适用拼接情形训练集后三个月加上线后前三个月基线窗口不足六个月拼接点日期、两段样本量不适用基线锁定后，PSI分三档处置。低于0.10保持原频率；0.10至0.25监测频率从月度提到周度并打开特征级CSI；超过0.25触发重验，重验结论出来前模型输出降为参考级。特征级CSI超过0.25的特征进入输入不稳定清单；三个以上关键特征CSI同时超过0.25且持续14天，即使分数PSI未越线也按显著漂移处置。表6漂移频率与告警路由表触发条件频率变化输出状态谁在几个工作日内做什么升级给谁示例行分数PSI<0.10保持月度正常使用无动作，记录归档不升级2026-09PSI=0.07，归档分数PSI0.10至0.25月度转周度正常使用模型owner5个工作日内提交CSI定位说明第二防线负责人2026-08PSI=0.17，8月12日提交说明分数PSI>0.25周度加持续跟踪降为参考级第二防线10个工作日内启动重验，业务启人工兜底模型风险委员会不适用单特征CSI>0.25总频率不变正常使用重验报告单独出具该特征稳定性分析第二防线“近6月查询次数”CSI=0.27三特征CSI>0.25持续14天周度降为参考级不等分数PSI，直接启动重验模型风险委员会不适用按停权限写在表9，不写在监测表里。模型owner有权把输出降为参考级并启人工兜底；第二防线负责人有权启动重验并冻结新增调用；模型风险委员会有权批准退役。三级权限不交叉，降级不需要委员会审批，退役不能由owner单独决定。四、公平性：同一个阈值切两个群体，比值出来之后三步走公平性审查的动作顺序固定。第一步选受保护群体和参照群体，第二步取同一个决策阈值分别算通过率，第三步算比值并按四分之五规则判定。比值是两群体通过率的较小值除以较大值，低于0.80标记差异化影响待处置；0.80至0.90之间要求填写差异来源说明，说明写不出具体来源的按低于0.80处理。表7公平性审查三步卡步骤输入从哪取动作输出判定与下一步示例行第一步：选群体台账“受保护群体定义”列与样本分组字段确认群体定义、样本量是否够算比值群体清单与样本量单群体样本<500条，比值不计算，改人工逐案复核年龄≥60岁，样本1840条，可算第二步：同阈值算通过率同一决策阈值（如分数≥620）分别算两群体通过率两个通过率数值通过率写入审查表对应行0.64与0.79第三步：算比值并判定两个通过率小值除以大值比值与判定结论<0.80暂停该群体自动不利决定；0.80至0.90填差异来源；≥0.90归档0.81，进入差异来源说明差异来源说明特征分布对比、标签历史、阈值附近样本密度写清差异来自哪一类一页说明加数据支撑写不出具体来源按<0.80处置阈值附近样本密度差异，附密度对比表比值低于0.80的处置顺序：先暂停该群体上的自动不利决定（自动拒绝、自动降额），转人工复核；人工复核一个季度后比值仍低于0.80且差异无法归因于数据分布之外的业务合理性，启动重训或退役评估。调阈值排在这两步之后，先调阈值会掩盖差异来源。审查频率与模型分级挂钩：高风险模型每季度一次，中风险每半年一次，低风险每年一次。数据窗口取最近一个完整季度，不跨窗口拼接。治理环节的落点是表9中的公平性签字行和人工复核队列的签字列。比值低于0.80当月，合规负责人在审查表签字；人工复核队列中该群体待处理记录超过两个工作日处理量，临时提高该群体自动通过阈值并记录调整依据，调整记录随审查表归档。五、可解释性：三层解释各自管到哪一步可解释性交付分三层，每层回答不同问题，混在一起写会让业务方和客户方都拿不到能用的文本。全局解释回答“模型整体依赖哪些特征”，用SHAP特征重要性排序；局部解释回答“这一笔为什么是这个结果”，用单样本SHAP值或LIME；反事实解释回答“改哪个输入能改变结果”，用最近邻反事实样本。表8可解释性三层交付表解释层交付物谁使用更新触发失效判定示例行（R-017）全局解释前五位特征排序图加一段文字说明模型风险、业务管理漂移进入调查档或重验档时重算前五位特征任一被替换v2中“近6月查询次数”替换“负债收入比”进入前五局部解释单笔前三位驱动特征及方向客服、复核人员全局解释更新后同步重出同分数段前三位驱动特征一致率<70%一致率84%，沿用反事实解释最近邻反事实样本及改动字段客户沟通、投诉处理全局解释更新后同步重出反事实样本落在训练分布外反事实样本在分布内，可用全局解释的失效判定还看两个数：首位特征平均绝对SHAP值变化超过±20%，或排序KendallW系数低于0.85。两者任一出现，解释文本标记“已衰减”，重出业务版和客户版。衰减与漂移调查档同时发生时，解释重出排在重验报告之前完成。治理环节卡两个签字：模型owner签全局解释版本记录，第二防线签局部解释一致性抽检记录。版本记录里写清版本号、重算日期、前五位特征名单。旧版解释文本在版本记录签字当日停用，客户沟通团队按停用日期切换话术。六、模型分级、决策权限、报告线：治理落地只认这三张纸治理板块不写原则，写三张可查的表。第一张是模型分级与决策权限矩阵，第二张是报告线清单，第三张是退役触发与审批节点表。三张表都落到具体角色名，不写“相关部门”。模型分级按两个维度打分：决策对客户或合约的直接影响、模型复杂度与不可解释程度。两维各分高、中、低三档，组合后定高、中、低风险等级。高风险模型走完整评估、季度监测、委员会审批；中风险走精简评估、半年监测、第二防线负责人审批；低风险走极简评估、年度监测、模型owner自评加抽查。表9模型分级与决策权限矩阵风险等级判定条件评估深度监测频率谁能降为参考级谁能启动重验谁能批准退役高风险直接影响客户合约或资金交易，或用于授信、定价、理赔十二格全填季度模型owner第二防线负责人模型风险委员会中风险间接影响，或复杂度高但不直接决定合约评估格子填八格半年模型owner第二防线负责人第二防线负责人加合规会签低风险辅助决策，输出不直接进入合约或定价四格核心填满年度模型owner模型owner报备模型owner自评加内审抽查示例行：R-017零售信贷评分v3.2，两维均为高，判高风险；评估十二格全填；监测季度；降级权在模型owner；重验启动权在第二防线负责人；退役权在模型风险委员会。报告线清单写明每个交付物报给谁、什么频率、报什么内容、漏报怎么发现。漏报的发现方式写具体动作，不写“加强监督”。表10治理报告线清单报告内容报送对象频率报什么漏报怎么发现示例行十二格矩阵结论模型风险委员会每次评估矩阵结论页加未通过格子处置委员会秘书核对评估日历，缺报列入下次议程2026-10评估会已报送漂移处置记录第二防线负责人月度表6触发记录与责任人监测日志与报告比对，缺一行退回2026-08至10三期已报公平性审查结论合规负责人季度表7比值与处置动作季度合规检查抽查审查表签字栏2026-Q3已报，比值0.81解释版本记录客户沟通团队负责人每次更新版本号、停用日期、新话术话术使用记录与版本记录比对v2已于2026-09-30切换退役触发检查模型风险委员会半年触发条件满足情况内审抽查退役决定记录2026-H2检查无触发退役触发条件写四条：连续3期监测落入重验档且重验未通过；公平性比值连续两季度低于0.80且调整后无改善；监管口径变化导致模型用途不再合规；重大安全事件。四条任一满足，模型owner在10个工作日内发起退役申请，委员会在下次例会表决。关闭时第二防线归档全生命周期文档，内审保留审计轨迹。七、监测日志连续三个月写“正常”，先打开这六个文件监测日志翻到第三页，常见连续三个月PSI都写“正常”、后面没有CSI记录。这种情况先查监测流程是否空转。表11按打开文件或记录的顺序排列，第一行是分数PSI记录完整性。表11监测空转排查表检查点打开哪个文件或记录看什么或数什么什么算正常异常转哪节示例行1.分数PSI记录完整性模型监测日志的“PSI月度值”列过去12个月有几行只写“正常”无数值每月有数值和计算日期第三节表62025-08至10三行只写“正常”，转表6重取2.特征CSI清单监测日志附带的CSI特征清单清单是否为空或只列特征名不列数值关键特征逐月有CSI数值第三节表6清单只有特征名，无数值，owner未签字3.漂移处置记录监测日志“处置动作”列PSI进入调查档后是否记频率升级日期有升级日期和责任人第三节表60.17那期写“已关注”无日期，补记4.公平性审查窗口季度审查记录表最近一次审查窗口是否跨季度拼接窗口为最近一个完整季度第四节表7窗口写成“2025年全年”，重取单季度5.解释版本记录解释文档版本记录表漂移调查档后是否重算SHAP有重算日期和排序对比第五节表8漂移后3个月无重算，补做6.签字列表9对应交付物签字栏每交付物是否有唯一审批人和签字日期审批人明确且日期可查第六节表9、表10表6处置行审批人空白，补签表11第一行的完成标准是：数出过去12个月PSI无数值的月数并填入排查表；月数大于0，转第三节表6重取。排查完成的标志是异常行带责任人和日期回到原表，只写“已整改”不算。八、一个信贷评分模型从评估到退役，中间卡了四次[示例案例，细节为合理设定]某风险经理接手一个零售信贷评分模型，台账状态“已上线，上次验证18个月前”。起点材料：模型台账一行、训练数据字典一份、月度PSI截图一张（0.11）、SHAP特征排序图一份（首页标注“负债收入比最重要”）。第一轮：按表3跑数据体检。关键字段缺失率0.9%、非关键字段6.3%、标注κ=0.88，五维数字全部合格。当时以为问题在漂移，数据侧可以放过。查CSI后发现“近6月查询次数”CSI=0.27，单特征越线。这一结果推翻了“数据没问题就能解释漂移”的假设：训练集标注合格，但该特征在生产环境中的分布已经移动。换到表6按单特征CSI处置，要求重验报告单独出具该特征稳定性分析。第二轮：重验中重算SHAP。原以为特征分布移动不会改变排序，结果“近6月查询次数”从第五位升到第二位，“负债收入比”平均绝对SHAP值降幅31%。表8判定全局解释已衰减。新信息是漂移改变了模型依赖的特征结构，不只改变输入分布。换路：旧解释文本当天停用，重出业务版和客户版，客户沟通团队按版本记录切换话术。第三轮：按表7跑公平性审查。阈值620，某区域集中群体通过率比值0.71，低于0.80。当时以为差异来自模型分数本身，拆开看发现该群体在阈值620附近的样本密度显著低于参照群体，差异集中在阈值附近。换路：不重训整个模型，先把该群体阈值附近的自动拒绝转人工复核，观察一个季度，调阈值排在这一步之后。第四轮：一个季度后公平性比值回升到0.79，仍在0.80以下；PSI回到0.09，“近6月查询次数”CSI维持在0.26以上。表6持续条件满足：单特征CSI超过0.25且未见回落。结合公平性比值未恢复，启动退役评估。终点产出是一份退役决定记录：触发条件栏填“单特征CSI持续>0.25超过一个季度，且公平性比值连续两季度<0.80且人工复核未改善”；审批人栏签模型风险委员会；关闭时归档表3体检表、四轮处置记录、SHAP重算结果、人工复核队列统计。表12变量与处置变化表变量案例中情形如果变量不同处置变化关键字段缺失率0.9%，通过2.5%，超过2%退回补采，不进入训练标注κ0.88，通过0.65重写标注规则后重标，不进入下一环节分数PSI峰值0.11，调查档0.28直接降参考级，10个工作日内启动重验单特征CSI0.27，越线0.09不单独出具特征分析，回常规监测公平性比值0.71至0.79，未达0.800.85不暂停自动拒绝，记录归档首位特征SHAP变化-31%，衰减-8%沿用旧解释，不重出文本基线窗口上线前六个月窗口内发生利率调整基线前推到调整前最后一个完整月表12中权重较高的变量是单特征CSI的持续性和公平性比值的恢复情况，两者共同决定退役启动，单看任何一个都不会走到退役。九、决策规则与核心矛盾决策规则规则1：如果表9判定为高风险且台账无独立验证记录，则冻结新增调用量，已有输出标记人工复核前置；如果冻结导致业务无法在T+1完成合约审批，则启用经风险委员会预授权的替代模型并记录替代原因；如果替代模型也处于治理未闭合状态，则暂停该业务线的新增申请并书面告知业务负责人。规则2：如果分数PSI连续两期上行且未到0.25，则提前按重验档处置；如果重验资源排期超过10个工作日，则先降为参考级并启用人工作业兜底；如果人工兜底队列积压超过两个工作日处理量，则临时收紧新申请受理上限并报第二防线。规则3：如果公平性比值低于0.80，则暂停该群体自动不利决定并转人工复核；如果人工复核一个季度后比值仍低于0.80且差异无法归因于业务合理性，则启动重训或退役评估；如果人工复核队列积压，则临时提高该群体自动通过阈值并记录调整依据，调整记录随审查表归档。规则4：如果SHAP前五位特征集合发生替换或首位特征平均绝对SHAP值变化超过±20%，则解释文本标记已衰减并重出业务版和客户版；如果重出所需数据在5个工作日内无法补齐，则暂停使用旧解释话术，客户沟通改人工逐案说明；如果衰减与漂移调查档同时发生，解释重出排在重验报告之前完成。规则5：如果训练数据三列监测看板任一列连续两个月越线，则重跑表3对应维度；如果重跑仍不合格且该维度影响特征超过三个，则限制模型在受影响群体上的输出并报第二防线；如果限制后业务指标下降超过预设阈值，则由业务负责人书面提出临时放开申请，委员会表决。矛盾四段矛盾陈述：漂移监测要求模型对数据变化保持敏感，及时降级或触发重验；公平性审查要求决策规则在观察期内保持稳定，频繁降级或阈值调整会让群体通过率本身产生波动，公平性结论无法归因。实质分析：两个要求争的是同一个观察窗口的长度。缩短窗口，漂移更早被发现，但公平性比值受小样本波动影响变大；拉长窗口，公平性结论更稳，漂移可能在窗口内持续累积。单特征CSI越线但分数PSI未越线时矛盾最突出：漂移侧要求动作，公平性侧要一个完整季度才能判断比值变化是否真实。权衡规则：单特征CSI>0.25持续不足14天且公平性窗口未闭合时，优先完成公平性观察窗口，期间用人工复核前置控制漂移侧风险，不直接降级模型输出。单特征CSI>0.25持续14天以上，优先按漂移侧处置，公平性比值以人工复核队列实时统计替代完整窗口，但不据此做退役终局判定。退路：两条规则都指向动作时执行“降级不退役”：模型输出降为参考级，自动不利决定转人工，公平性观察在人工复核队列上继续，漂移重验并行启动。退役决定等两个信号都完成一个可归因的观察期后再做。十、三套执行序列：完整版、精简版、极简版选择判定：对外交付或监管报送选完整版；内部决策且时间受限选精简版；个人学习或非风险管理岗位选极简版。表13三套场景检查项与计算量增减表版本跑哪些表或公式序列不能妥协的底线不做什么完整版表1至表10全