金融AI模型风险:训练数据、漂移、公平性、可解释的评估、监测与治理操作手册_第1页
金融AI模型风险:训练数据、漂移、公平性、可解释的评估、监测与治理操作手册_第2页
金融AI模型风险:训练数据、漂移、公平性、可解释的评估、监测与治理操作手册_第3页
金融AI模型风险:训练数据、漂移、公平性、可解释的评估、监测与治理操作手册_第4页
金融AI模型风险:训练数据、漂移、公平性、可解释的评估、监测与治理操作手册_第5页
已阅读5页,还剩12页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

金融AI模型风险:训练数据、漂移、公平性、可解释的评估、监测与治理操作手册本文档提供:表1“训练数据四项检查操作表”;表2“PSI漂移三档判定与处置表”;表3“公平性指标计算与判定表”;表4“可解释性拒绝理由填写对照表”;表5“模型风险三道防线职责与交付物表”;表6“季度模型风险监测操作序列表”;表7“监测异常排查表”;表8“交付前完整性检查清单”;完整示例含四次试错与判断转折;表9“变量情形对照表”;决策规则六条与矛盾四段式两处;表10“三套场景操作序列对照表”;表11“数据来源与时效说明表”。2026-11-04这一节的标题读完你能拿到什么这一节在全文中的功能一、先把模型清单和分级定下来,后面的监测才有锚点表5“模型风险三道防线职责与交付物表”、模型分级三档判定规则锁定治理架构和分级标准,使监测频率和审批层级有据可依二、训练数据进模型之前,查这四项表1“训练数据四项检查操作表”在模型上线或重训前拦截数据层面的结构性缺陷三、PSI过线了,先查哪一列、换哪条路表2“PSI漂移三档判定与处置表”、式(1)PSI计算与校验方法把漂移监测从“看一个数”变成“定位到具体特征并触发对应动作”四、公平性不能只写在原则里,要算出一个比值表3“公平性指标计算与判定表”、式(2)公平性比率给出可复核的公平性触发线和处置路径五、拒绝理由怎么写才经得起复核表4“可解释性拒绝理由填写对照表”把模型解释输出转化为合规可用的拒绝理由文本六、季度监测按这个顺序走,卡住时查表7表6“季度模型风险监测操作序列表”、表7“监测异常排查表”给出从数据拉取到报告交付的完整操作路径和故障排查入口七、交付前拿这张单子对一遍表8“交付前完整性检查清单”拦截缺项、缺判定依据、缺处置动作的监测报告八、一条信贷评分卡从漂移告警到关闭的完整示例含起点材料、四次试错与判断转折、终点产出、表9用可复制案例演示前三至五节规则在真实监测中的运用九、什么时候跑全量、什么时候只跑前三行表10“三套场景操作序列对照表”按模型分级和交付对象选择执行深度,明确各版本不可让步的底线十、决策规则与矛盾处理决策规则六条、矛盾四段式两处给出判断分叉点的执行规则和核心张力的处理路径按第一列在正文找对应那节,按第二列判断这节有没有你要的东西,按第三列判断这节是否对应你当前卡住的位置。一、先把模型清单和分级定下来,后面的监测才有锚点金融AI模型风险的监测频率和审批层级不按“所有模型一视同仁”来定,按模型清单里的分级来定。打开模型清单表,第4行起逐行填。清单至少含六列:模型编号、模型名称、业务场景、分级、第一道防线责任人、第二道防线验证人。分级按三个参数判定,三个参数中任一项取“高”,该模型归入T1;全部取“低”,归入T4;其余归入T2或T3,由第二道防线在准入审查时裁定并在清单备注列写明裁定理由。三个参数是:模型输出是否直接决定客户-facing的拒绝或定价;模型是否属于监管报送或资本计量链条;模型是否使用机器学习或深度学习结构而非规则或简单评分卡。表5模型风险三道防线职责与交付物表防线谁在AI模型风险上做什么产出什么可交文件什么时候交不合格怎么退回第一道防线业务部门、科技部门场景落地、日常风险自查、训练数据质量初检、漂移监测执行表1填写结果、PSI月度计算表、公平性季度计算表每月第5个工作日前交上月监测;季度末后10个工作日内交季度公平性和可解释性复核缺表1任一项或PSI未按月计算,退回重做,不进入第二道防线复核第二道防线风控部门AI分类分级裁定、准入审查、独立验证、监测结果复核、压力测试分级裁定记录、独立验证报告、季度模型风险监测报告分级在模型上线前出;验证报告在准入前出;监测报告在季度结束后15个工作日内出独立验证未覆盖漂移或公平性任一项,退回补验,监测报告不得提交第三道防线内审部门专项审计、穿透检查、整改跟踪审计发现清单、整改验证记录按年度审计计划整改未验证关闭的,列入下一期审计跟踪高风险场景(信贷审批、反欺诈决策、直接拒绝或定价的模型)实行风控委员会审批、人工终审,且上线前必须完成漂移、公平性、可解释性三项专项测试。清单里分级为T1的模型,监测频率按每日或每周执行;T2按每日;T3按每周;T4按每月。二、训练数据进模型之前,查这四项数据质量问题在上线后暴露,修复成本通常是上线前的数倍。第一道防线在模型开发或重训启动时打开训练数据集,按表1逐项检查。四项全部通过才能进入模型训练;任一项不通过,在表1“不通过处置”列写明动作和完成日期,不进入下一步。表1训练数据四项检查操作表检查项打开什么、看哪一列什么算通过不通过时动哪一行示例行(信贷评分卡训练集,第4行)关键字段缺失率训练集字段清单,逐字段算缺失记录数÷总记录数关键字段(身份证号、交易时间、违约标签)缺失率≤2%;非关键字段≤1%缺失率超过阈值的字段,从特征清单删除或补采,不进入训练收入字段缺失率1.8%,通过;职业字段缺失率3.2%,删除该特征标签时间窗一致性标签表“观察期起”“观察期止”两列,与特征表“数据日期”列对照特征数据日期全部落在标签观察期结束之前,无未来信息渗入存在特征日期晚于标签观察期止的记录,整行从训练集剔除共120万条,剔除日期晚于观察期止的340条,剩余119.966万条群体覆盖度训练集按保护群体(性别、年龄段)分组计数每个保护群体样本量不低于总样本的10%,且违约标签在每个群体内均有非零分布某群体样本不足或标签全为零,补充该群体历史样本或降级为观察群体(该群体不进入公平性计算,但须在报告中注明)女性样本占38%,男性62%,各群体违约标签非零,通过分布漂移基线训练集各特征分箱后的占比,与上一版本训练集同特征分箱占比对照PSI(式1)≤0.10为通过;0.10至0.25进入排查;超过0.25该特征不直接进入训练,先查原因超过0.25的特征,追溯数据源变更或客群变化,确认原因后在表1备注列写明,再决定保留或替换年龄分布PSI=0.04,通过;收入分箱PSI=0.13,备注“新客群收入结构变化,已确认非数据管道错误,保留”表1四项全部通过后,第一道防线在数据集版本记录中签字,第二道防线抽查不低于20%的字段做复核。复核发现缺失率或标签时间窗有误的,退回第一道防线重做,不进入训练。三、PSI过线了,先查哪一列、换哪条路漂移监测的核心问题是:模型上线后输入数据的分布,与训练时相比是否已经明显偏移。PSI是金融风控中最常用的漂移度量,但PSI数值本身不告诉人“哪个特征漂了、该重训还是只加监控”。本节把PSI计算和处置动作绑在一起。式(1)PSIPSI=Σ(实际占比−预期占比)×ln(实际占比÷预期占比)变量说明:预期占比取自训练集(或上一版基准集)中某特征各分箱的记录数占比;实际占比取自监测窗口(当月/当周)同一特征各分箱的记录数占比;求和遍历该特征的全部分箱。分箱规则在模型文档中固定,监测时不重新分箱。计算结果为该特征的PSI值。若平台不支持自然对数计算,用常用对数替代只改变数值尺度,不改变排序和分档方向,但阈值须同步换算并在模型文档中注明。常见错误一:对连续特征每次监测重新分箱,导致PSI不可比。常见错误二:用全量历史数据作为“预期”而非训练集或固定基准集,漂移信号被稀释。校验方法:打开漂移监测表,取任一特征当月PSI值,用同一分箱规则手工重算至少两个分箱的贡献项,加总应与表内值一致;不一致则回查分箱边界是否与模型文档一致。表2PSI漂移三档判定与处置表PSI范围判定先打开什么处置动作谁执行示例行(收入特征,第4行)≤0.10无显著漂移漂移监测表该特征行继续监测,不调整频率第一道防线不适用0.10至0.25中度漂移该特征分箱占比对照表,逐箱看哪几箱移动超过5个百分点查数据源是否变更、客群是否变化;监测频率从月度提高到周度;不触发重训第一道防线执行,第二道防线复核PSI=0.13,第3箱(高收入段)占比从12%降至6%,备注“新渠道客群收入偏低,非管道错误,提高至周度监测”>0.25显著漂移该特征全部分箱占比对照表,加数据管道变更记录触发再验证评估;评估后决定重训、替换特征或降级使用;再验证未完成前,该模型输出加注“漂移告警中”第一道防线发起,第二道防线出具再验证结论不适用本行中度漂移的处置动作写“提高监测频率”而非“重训”,原因是0.10至0.25的PSI在样本量较小时可能由抽样噪声产生,直接重训会浪费资源;但固定阈值本身不感知样本量,样本量差异大时须以分箱占比的实际移动幅度作为辅助判断。显著漂移的再验证至少覆盖三项:漂移特征的业务含义是否已变化、模型在漂移后窗口的排序能力(AUC或KS)是否下降超过10%、是否存在替代特征可用。四、公平性不能只写在原则里,要算出一个比值公平性审查常用的两个指标是人口平等(demographicparity)和机会平等(equalopportunity)。人口平等看不同保护群体的通过率差距,机会平等看在“实际应通过”的样本中不同群体的通过率差距。本节用人口平等比率作为季度触发线,因为它的计算只需审批结果和群体标签,不依赖违约标签的可得性。式(2)公平性比率公平性比率=低通过率群体通过率÷高通过率群体通过率变量说明:通过率=该群体中模型输出为“通过”的记录数÷该群体总记录数。低通过率群体和高通过率群体由季度监测窗口内各保护群体的通过率排序确定,不预先指定。计算结果填入公平性监测表。比率低于0.80时触发复核;比率高于或等于0.80时记为通过,但须在报告中记录两个群体的通过率绝对值。常见错误一:用全量历史累计通过率而非本季度监测窗口通过率。常见错误二:群体样本量过小时直接比较通过率,未附置信区间。校验方法:打开公平性监测表,取比率低于0.80的任一行,核对该行两个群体的分子分母与审批结果表按群体分组的计数一致;不一致则回查群体标签匹配逻辑。0.80阈值来自“四分之五规则”,即两组通过率差距不超过20%。该阈值是一个预警指标,不是科学上唯一正确的分界线;在通过率极低或极高、群体样本量差异大时,机械套用可能产生误导。因此比率在0.75至0.80之间时,处置动作写“出具书面分析,说明差距是否由样本结构或业务合理性导致”,不直接要求模型调整;比率低于0.75时,触发公平性专项复核。表3公平性指标计算与判定表触发条件计算什么数据从哪取什么算通过不通过时动哪一步示例行(信贷评分卡,第4行)季度监测窗口内各保护群体通过率式(2)公平性比率审批结果表“决策结果”列,按群体标签分组计数比率≥0.80,且两群体通过率绝对值均在5%至95%之间比率0.75至0.80:出具书面分析;<0.75:公平性专项复核女性通过率52%,男性61%,比率0.852,通过;绝对值均在5%至95%之间季度内发生模型阈值调整调整前后两群体通过率变化阈值调整记录表、调整前后两周审批结果调整未使任一群体通过率变化超过10个百分点超过10个百分点:回滚阈值调整,或提交公平性影响说明不适用本行新增保护群体标签或客群结构显著变化新群体与基准群体的通过率比率群体标签变更记录、变更后首个完整月审批结果新群体样本量≥500且比率≥0.80样本不足500:标注“观察中”,不计入季度公平性结论不适用本行公平性复核的处置顺序是:先排除样本结构原因(群体样本量、业务准入规则差异),再检查特征中是否含有与保护群体高度相关的代理变量,最后才考虑阈值调整或重训。直接调整阈值而不排除代理变量的做法,在下一季度可能以另一形式复发。五、拒绝理由怎么写才经得起复核模型可解释性在金融场景中最直接的落地位置是拒绝理由。监管和实务的共同要求是:客户能理解被拒绝的原因,且该原因与模型实际使用的信息一致。SHAP值用于定位单条预测中哪些特征把分数推高或拉低,但SHAP输出不能直接作为客户文本。表4可解释性拒绝理由填写对照表要素填什么什么算合格数据从哪取示例行(某申请人拒绝理由)主因特征SHAP绝对值最大的特征,转成业务可读名称特征名称不含技术字段名;客户能理解该名称的业务含义单条预测的SHAP值表,按绝对值降序取第一行近6个月信用卡逾期次数客户实际取值与阈值该特征的实际取值,以及模型决策阈值阈值须是模型文档中固定的数,不随单条解释动态调整特征取值表、模型阈值配置表逾期2次,阈值不超过1次方向与影响该特征是把分数推向拒绝还是通过写“主要原因”或“加重因素”,不写“SHAP值−0.32”SHAP值符号方向主要原因:逾期次数超过阈值,推高拒绝倾向次因特征(可选)SHAP绝对值第二的特征,转业务名称不与主因重复;不写三个以上原因SHAP值表第二行月收入稳定性当前评分B,有一定影响复核留痕解释生成时间、解释所用模型版本号与生产模型版本一致模型部署记录2026-10-08,版本v3.2拒绝理由文本控制在200字以内,主因一条、次因至多一条,不堆叠全部特征。第二道防线每季度抽取不低于30条拒绝理由做一致性复核:打开拒绝理由文本、对应SHAP值表和模型阈值配置表,确认文本中的主因特征与SHAP绝对值第一的特征一致,阈值数字与配置表一致,方向与SHAP符号方向一致。三项中任一项不一致,该条解释退回第一道防线重写,并检查解释生成脚本是否存在版本错配。可解释性监测的另一个动作是全局特征重要性漂移:每季度比较当前SHAP全局重要性排序与训练完成时的排序,若前五位特征的集合变化超过两个,在监测报告中注明“模型依赖结构已变化”,并提交第二道防线判断是否需要再验证。六、季度监测按这个顺序走,卡住时查表7季度监测不是把所有表填一遍就结束。按表6的顺序走,每一步产出可交给下一环节的文件或结论。表6季度模型风险监测操作序列表步骤打开什么、动哪一列做什么、比什么标准值或参照物产出交给谁1模型清单表,筛选T1和T2模型确认本季度纳入监测的模型范围清单分级与上季度一致;不一致的附分级变更记录自检后进入步骤22训练数据检查表(表1)若本季度有重训,确认四项检查已通过;无重训则注明“本季度无重训”四项全部通过第一道防线留存,第二道防线抽查3漂移监测表,逐特征看PSI列按表2分档,对0.10以上特征写处置动作处置动作可打开、可执行填入监测报告“漂移”板块4公平性监测表,看式(2)比率按表3判定通过或触发复核比率≥0.80或已出具书面分析填入监测报告“公平性”板块5拒绝理由抽样表,抽≥30条按表4三项一致性复核三项全部一致不一致项退回第一道防线,复核结果填入报告6监测报告模板按步骤3至5结果填漂移、公平性、可解释性三节,写结论和处置动作每节至少一条判定和一条处置交第二道防线复核7表8交付前检查清单逐项打勾全部通过交评审主持人或归档表7监测异常排查表第一检查点(打开什么)观察什么什么算正常不正常时换哪条路漂移监测表,取PSI>0.25的特征行该特征分箱占比逐箱移动幅度移动集中在1至2个相邻分箱,且对应客群可解释全部分箱均匀移动:先查数据管道(字段映射、单位、空值填充逻辑),不先改模型公平性监测表,取比率<0.80的行两群体样本量和通过率绝对值样本量均≥500,通过率均在5%至95%样本不足或通过率极端:标注“观察中”,不直接触发阈值调整,下季度样本积累后重算拒绝理由抽样不一致的记录主因特征是否在SHAP表前三位主因在SHAP表第一位主因不在前三位:检查解释生成脚本的模型版本号是否与生产版本一致训练数据检查表,标签时间窗项特征日期最大值是否晚于观察期止无晚于存在晚于:该特征整列从训练集剔除,并追溯数据管道中日期字段的来源表模型清单表,分级与审批记录T1模型是否有风控委员会审批记录和上线前三项测试记录两项齐备缺任一项:该模型暂停使用,补审批或补测试后方可恢复漂移处置动作列中度漂移是否写了“提高监测频率至周度”是写了“继续月度监测”或空白:退回第一道防线补写,第二道防线不接收该季度报告七、交付前拿这张单子对一遍表8用于季度监测报告提交第二道防线或归档前逐项核验。每项给出检查动作和合格标准,不合格项写明回哪一节重做。表8交付前完整性检查清单检查项检查动作什么算合格不合格回哪一节模型范围对照模型清单表T1、T2行数,与报告覆盖的模型数比对覆盖全部T1和T2模型,无遗漏第一节表5训练数据检查有重训的模型逐条看表1四项四项全部通过或已注明“本季度无重训”第二节表1漂移分档与处置逐特征看PSI值和处置列PSI≤0.10写“继续监测”;0.10至0.25写“提高频率+原因”;>0.25写“再验证+完成日期”第三节表2漂移再验证完成度对PSI>0.25的特征,看再验证结论列已有结论(重训/替换/降级),或已注明“再验证进行中+预计完成日”第三节表2公平性比率计算抽查任一行比率,回算分子分母比率与审批结果表分组计数一致第四节式(2)公平性处置比率<0.80的行看处置列0.75至0.80有书面分析;<0.75有专项复核记录第四节表3拒绝理由一致性抽查≥10条,对照SHAP表和阈值配置表主因、阈值、方向三项一致第五节表4全局特征重要性本季度与训练完成时前五位特征集合比对变化≤2个特征,或已注明变化并提交判断第五节处置动作可执行逐条读处置列,找“加强监测”“持续关注”类空话每条含动作、责任人、完成日期对应节表格示例行每张表至少一行含具体数值、文件名或列名示例行可回答“填到什么程度算填完”对应节表格八、一条信贷评分卡从漂移告警到关闭的完整示例以下为示例案例,细节为合理设定。某风险经理负责一条T1级信贷评分卡,模型清单编号MR-2026-012,业务场景为个人消费贷审批,第一道防线为零售信贷部模型管理岗,第二道防线为模型风险管理岗。起点材料:9月漂移监测表显示收入特征PSI=0.31,年龄特征PSI=0.08,逾期次数特征PSI=0.12;9月审批通过率女性51%、男性58%;拒绝理由抽样20条。季度监测报告初稿中漂移板块写“收入特征PSI偏高,建议关注”。第一步:按表2重新分档。收入PSI=0.31落入“>0.25显著漂移”,不是“建议关注”。改填“触发再验证评估,预计完成日2026-11-15”,处置动作写“查收入分箱占比移动位置+查数据管道变更记录”。第二步:打开收入特征分箱占比对照表。第3箱(月收入15000至25000元)占比从训练时的18%降至9%,第1箱(5000元以下)从22%升至31%。初步判断为新渠道客群收入结构下沉,不是管道错误。同时打开数据管道变更记录,9月无非计划变更。第三步:按式(2)算公平性。女性通过率51%、男性58%,比率0.879,高于0.80,记为通过。但注意到收入结构下沉与通过率差距同时出现,在报告中注明“两者可能相关,建议下季度同时观察”。第四步:拒绝理由抽样20条,复核发现1条不一致:理由文本写主因为“多头借贷”,但SHAP表第一位是“近3个月查询次数”。打开解释生成脚本版本记录,发现该条解释由v3.1脚本生成,而生产模型为v3.2。将该条退回重写,并将脚本版本号加入表4复核留痕列的必填项。第五步:再验证评估。用10月数据重算收入特征PSI=0.29,仍高于0.25。评估三项:收入特征在漂移后窗口的AUC下降从0.78降至0.71(降幅8.9%,未超10%);分箱占比移动集中在低收入段,与业务上报的新渠道客群一致;替代特征“月可支配收入”在同一窗口AUC为0.74,可作为候选。再验证结论:不立即重训,将收入特征的分箱边界在下一版模型中按新客群分布重新校准,同时将“月可支配收入”纳入下一版特征候选;监测频率在再验证关闭前保持周度。不顺利环节第一次试错:看到收入PSI=0.31,第一反应是“数据管道出错了”。打开数据管道日志逐段检查字段映射、单位、空值填充逻辑,未发现异常。试了回滚最近一次管道配置,重算PSI仍为0.30。试完发现新信息:管道变更记录显示9月无计划变更,且低收入段占比上升与业务上报的新渠道客群时间吻合。推翻“管道错误”假设,转向客群结构原因。第二次试错:确认不是管道错误后,试了直接重训模型。用9月数据重训后,新模型在9月测试集上AUC为0.79,但回测8月数据AUC降至0.72,且训练数据检查表“分布漂移基线”项显示年龄特征PSI=0.11(中度),说明重训引入了不稳定的分布依赖。试完发现新信息:重训不是“漂移>0.25”的唯一正确动作,再验证评估才能判断重训是否必要。推翻“PSI过线即重训”的假设,回到表2按“再验证评估”路径执行。第三次试错:公平性比率0.879,初看“通过”。但注意到男性通过率58%、女性51%,差值7个百分点在T1模型上需要确认是否由收入结构下沉放大。试了按收入分箱分层重算性别通过率比率,发现低收入段内女性通过率46%、男性49%,比率0.939;中高收入段内比率0.952。分层后差距缩小,说明总比率差距主要由客群收入结构差异驱动,不是模型在相同收入水平下区别对待。试完发现新信息:总比率通过不等于“没有任何需要记录的结构性差异”。推翻“比率≥0.80就无需进一步动作”的假设,在报告中增加分层公平性附表,并注明下季度监测同等分层。第四次试错:拒绝理由不一致的1条退回后,第一道防线重写了文本,但只把主因改为“近3个月查询次数”,阈值和方向未更新。第二道防线复核时发现阈值仍写“不超过6次”,而v3.2阈值配置为“不超过4次”。试了再次退回并要求附阈值配置表截图。试完发现新信息:解释生成脚本升级时,文本模板中的阈值变量未同步从配置表读取,而是硬编码在脚本中。推翻“只修文本”的假设,将解释生成脚本改为从阈值配置表动态取数,并在表4“复核留痕”列增加“阈值来源”字段。终点:季度监测报告漂移板块收入特征处置动作写“再验证完成,结论为下一版重校准分箱边界,候选特征月可支配收入,监测频率周度至再验证关闭”;公平性板块比率0.879通过,附分层附表;可解释性板块20条抽样中1条不一致已关闭,脚本已改为动态取阈值。表8十项检查全部通过,报告提交第二道防线。表9变量情形对照表变量案例中情形如果变量不同处置变化收入特征PSI0.31取0.18落入中度漂移,处置从“再验证”降为“提高频率至周度+查原因”,不触发再验证漂移后AUC降幅8.9%取12%再验证结论从“重校准分箱”改为“重训或替换特征”,模型输出在完成前加注漂移告警公平性比率0.879取0.72触发公平性专项复核,须排除代理变量后才能继续使用,复核期间模型输出加注“公平性复核中”拒绝理由主因一致性1条不一致取5条不一致解释生成脚本全量回查,该季度全部拒绝理由重新生成,报告可解释性板块记为“不通过”模型分级T1取T3漂移监测频率从每日/每周降为每周,公平性从季度降为半年度,但仍须完成基线检查表9中权重较高的变量是漂移后AUC降幅:该变量决定再验证的结论方向,且直接影响模型是否继续以全量授权使用。九、什么时候跑全量、什么时候只跑前三行对外交付或T1模型季度报告走完整版;T3/T4模型内部监测走精简版;单一模型临时排查走极简版。表10三套场景操作序列对照表场景适用条件执行序列用哪些表和公式不能妥协的底线完整版T1模型季度报告、对外交付、监管报送表6步骤1至7全跑→表7六项排查→表8十项检查表1、表2、表3、表4、表5全量;式(1)、式(2)全量训练数据四项无缺项;PSI>0.25有再验证结论;公平性<0.75有专项复核;拒绝理由三项一致性精简版T3/T4模型内部监测、时间受限表6步骤1、3、4、6→表7前两项排查→表8第1、3、5、9项表2、表3、表5使用;式(1)必用,式(2)可用总通过率替代比率但须记录两群体绝对值模型范围无遗漏;PSI分档与处置动作可执行;公平性记录两群体通过率极简版单一模型临时排查、非模型风险管理岗位打开漂移监测表看该模型PSI最高特征→按表2分档→写一条处置动作和责任日期只用表2PSI分档结论有对应动作,不写“关注”或“留意”极简版不要求输出完整监测报告,但表2“处置动作”列不能为空,且中度以上漂移须写明“谁在什么日期前做什么”。没有处置动作的漂移告警,无论哪个版本都不算完成。十、决策规则与矛盾处理决策规则规则一:如果模型清单分级为T1且输出直接决定客户-facing拒绝或定价,则上线前必须完成训练数据四项检查、漂移基线检查、公平性基线计算、拒绝理由可解释性复核四项;如果任一项未完成,该模型不得进入生产,不设“先上线后补”例外。规则二:如果某特征PSI>0.25且再验证评估中漂移后AUC降幅≤10%,则处置动作为“下一版重校准或替换特征+提高监测频率”,不立即停用模型;如果AUC降幅>10%或公平性比率同时<0.75,则模型输出加注告警,第二道防线在5个工作日内决定是否暂停使用。规则三:如果公平性比率<0.80但分层后各层内比率≥0.80,则报告记为“通过,附分层分析”,不触发模型调整;如果分层后至少一层内比率仍<0.80,则按总比率<0.80的处置路径执行,不得以分层结果消解总比率的触发信号。规则四:如果拒绝理由抽样一致性复核发现不一致,则该条解释退回重写,并追溯解释生成脚本版本与生产模型版本是否匹配;如果同一版本脚本下不一致率超过10%,该季度全部拒绝理由重新生成,报告可解释性板块记为“不通过”。规则五:如果训练数据检查表“分布漂移基线”项某特征PSI>0.25,则该特征不直接进入训练;如果追溯确认PSI升高来自目标客群的合理变化而非数据缺陷,经第二道防线书面同意后可保留,并在模型文档中记录保留理由。规则六:如果季度监测报告提交后,第二道防线在复核中发现任一T1模型漂移处置动作写“加强监测”“持续关注”而未含具体动作和日期,则该报告退回第一道防线,退回次数计入第一道防线季度考核;连续两次退回,该模型下一季度监测频率自动升级一档。矛盾四段式一:漂移告警的及时性与再验证的严谨性矛盾陈述:PSI>0.25要求触发再验证,但再验证需要时间(案例中预计15个工作日),而漂移告警意味着模型可能已经在变化的环境中运行。立即停用模型会中断业务,继续全量使用则可能在再验证完成前积累错误决策。实质分析:PSI度量的是输入分布的变化,不等于模型输出已经错误。PSI>0.25时模型排序能力可能仍然可用,也可能已经显著下降。矛盾的实际位置在于:在不知道AUC是否下降的情况下,需要在“业务连续性”和“决策质量”之间做选择。固定阈值本身不提供这个判断,需要再验证中的AUC降幅作为中间信号。权衡规则:PSI>0.25时,再验证完成前模型继续使用,但监测频率从常规频率提高到每日或每周;再验证首项检查漂移后窗口AUC降幅,降幅>10%则触发“加注告警+第二道防线5个工作日内裁定”,降幅≤10%则维持使用至再验证结论。裁定暂停使用时,业务侧启用人工终审或备用规则模型,不停滞客户申请。退路:如果第二道防线在5个工作日内无法完成裁定,默认将模型输出权限从“自动决策”降为“建议+人工终审”,直至裁定完成;裁定恢复自动决策须

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论