AI系统的模型验证：独立性、方法、记录

AI系统的模型验证：独立性、方法、记录本文档提供：验证范围判定表；独立性等级判定表；验证方法选择表；验证记录字段表；验证覆盖度公式；记录完整率公式；验证结论判定表；七处排查表；完整示例；三套场景操作序列；来源说明表。

2026-11-09表1目录与定位表这一节的标题读完能拿到什么这一节在全文中的功能一、十五秒判断模型是否进入验证范围：先看模型清单三列验证范围判定表；范围结论锁定应验证模型清单二、独立性落在签字和回避记录上：三类角色怎么分独立性等级判定表；回避记录分配验证角色与签字三、验证方法按风险档位配：低中高三档的动作和证据验证方法选择表；证据文件编号匹配风险档位与方法证据四、记录表一页放哪几列：追溯字段与示例行验证记录字段表；示例格式固定记录字段与填写格式五、从空白记录到验证结论：覆盖度与完整率两个数先算式(1)；式(2)；结论判定表计算两个数并出结论六、表填完，拿这张单子对一遍核对单；改法列逐项核对记录与签字七、验证推不动，先查这七处七处排查表；换哪条路定位卡点并给出改法八、范围、独立性、记录撞在一起时按哪条规则裁决策规则表；矛盾四段裁决范围与独立性冲突九、对外报送、内部决策、个人学习三套做法怎么裁剪三套场景表；检查项增减按交付场景裁剪检查项十、完整示例：一份信贷评分模型验证记录从缺项到归档转折记录表；变量表复现从缺项到归档全过程十一、来源层级与核对状态登记在哪张表来源说明表；核对路径登记来源层级与核对状态按第一列在正文找对应那节，按第二列判断该节有没有所需内容，按第三列判断该节是否对应当前卡住的位置。一、十五秒判断模型是否进入验证范围：先看模型清单三列模型清单文件打开后，第2列到第5列决定一个模型是否进入本轮验证。风险等级列填“高”且上线状态列填“已上线”的模型，验证范围结论列填“全量验证”。表2验证范围判定表模型类型风险等级上线状态验证范围结论触发动作示例信贷评分高已上线全量验证进入季度排期模型A-信贷评分；风险经理甲生成式问答高未上线范围验证加上线前复核上线前补复核签字模型B-问答；复核人乙反欺诈中已上线场景验证抽3个场景测试模型C-反欺诈；验证人丙推荐排序低已上线记录复核季度抽查记录模型D-推荐；记录员丁语音转写中已下线归档复核归档目录补版本号模型E-语音；档案号E-01文本分类高已下线归档复核冻结重新上线入口模型F-分类；档案号F-02输入：打开模型清单文件，取“模型类型”“风险等级”“上线状态”三列。动作：按表2第2列至第4列匹配行。输出：在“验证范围结论”列填表2第4列的词。判定：“验证范围结论”列有具体词且“触发动作”列有责任人和日期。二、独立性落在签字和回避记录上：三类角色怎么分表2的“触发动作”列进入表3的角色分配。验证人姓名与开发人姓名不同，复核日期晚于开发签字日期，回避记录列有勾选，这三项同时出现在验证记录表同一行。表3独立性等级判定表角色允许做禁止做签字位置回避记录示例开发人提供训练数据说明签验证结论开发人说明栏勾选回避结论签字开发人甲；模型A验证人跑指标复算与测试修改训练数据验证人签字栏勾选未参与开发验证人乙；2026-01-20复核人复核证据文件兼任开发人复核人签字栏勾选独立复核复核人丙；2026-01-22模型所有者确认业务范围代签验证人范围确认栏勾选不代签所有者丁；模型A数据管理员提供数据版本号签验证结论数据版本栏勾选数据交接管理员戊；v3.2输入：取表3角色行和模型清单“开发人”列。动作：核对验证人姓名、开发人姓名、复核日期。输出：在验证记录表“独立复核人”列填姓名和日期。判定：验证人姓名与开发人姓名不同且签字日期有记录。三、验证方法按风险档位配：低中高三档的动作和证据表2的“验证范围结论”列进入表4的方法选择。高风险行对应全量指标复算加对抗测试，证据文件编号写进验证报告第3节。表4验证方法选择表风险档位验证方法最小样本或测试次数证据文件什么算合格示例高全量指标复算加对抗测试样本300或全量验证报告A-v3.2差异≤0.5%且有测试日期模型A；样本300；差异0.2%中场景测试加抽样复算样本50场景测试表C-023个场景有记录模型C；场景3个低记录复核加关键指标抽查样本10抽查表D-0110条记录有复核人模型D；抽查10条高上线前范围验证加复核全量范围清单范围清单B-01范围清单有复核签字模型B；复核人乙中归档复核归档目录全量归档目录E-01版本号与模型编号对应模型E；档案号E-01输入：取表2“验证范围结论”列和表4“风险档位”列。动作：按风险档位匹配表4第2列至第4列。输出：在验证记录表“验证方法”列和“证据文件”列填名称与编号。判定：证据文件有编号且测试次数达到表4第3列数值。四、记录表一页放哪几列：追溯字段与示例行表4的证据文件编号回填到表5“证据文件”字段。验证记录表一页保留7个必填字段，字段名逐字照表5填写。表5验证记录字段表字段名填什么示例谁填什么算合格不合格形态模型编号模型清单编号模型A-信贷评分验证人与模型清单第2列一致模型编号列空白版本号本次验证版本v3.2数据管理员与数据版本栏一致版本号填“当前版”验证范围结论表2第4列词全量验证验证人词与表2对应行一致结论列填“待定”验证方法表4第2列名称全量指标复算加对抗测试验证人方法与风险档位对应方法列空白独立复核人表3验证人姓名验证人乙复核人姓名与开发人不同开发人姓名出现在此列复核日期签字日期2026-01-20复核人日期晚于开发签字日期列空白记录完整率式(2)结果96%复核人数值≥95%填“较高”输入：打开表5逐行取“字段名”列。动作：在验证记录表对应列填示例格式的值。输出：验证记录表A-v3.2。判定：7个必填字段有具体值且格式与表5示例列一致。五、从空白记录到验证结论：覆盖度与完整率两个数先算表5填完后先算两个数。式(1)算验证覆盖度，式(2)算记录完整率，两个数进入表6结论判定。式(1)验证覆盖度=已纳入验证模型数÷应纳入验证模型数×100%变量说明：已纳入验证模型数取表2“验证范围结论”列填全量验证、场景验证、记录复核的模型行数；应纳入验证模型数取模型清单“风险等级”列填高、中且“上线状态”列填已上线的模型行数。常见错误一：把已下线模型计入应纳入数。常见错误二：把范围结论空白行计入已纳入数。校验方法：打开模型清单数高风险和中风险已上线行数，打开表2数结论非空行数，算出的验证覆盖度与表6阈值90%对照。式(2)记录完整率=必填字段已填数÷必填字段总数×100%变量说明：必填字段取表5“字段名”列7个字段；已填数取验证记录表每行非空且符合表5示例格式的字段数。常见错误一：把“无”计入已填数。常见错误二：把复核意见空白但签字有名字段计入已填数。校验方法：打开表5数必填字段7个，打开验证记录表逐行数符合示例格式的字段，算出的记录完整率与表6阈值95%对照。表6验证结论判定表判定项计算或观察通过阈值结论词不合格形态怎么改验证覆盖度式(1)结果≥90%通过75%且高风险模型缺2个补高风险模型验证记录完整率式(2)结果≥95%通过68%且复核日期空白补录7个字段独立签字状态表3姓名与日期姓名不同且日期有记录通过开发人甲出现在复核人列换复核人重签方法证据表4证据文件有编号且次数达标通过证据文件列空白补测试记录结论归档归档目录版本号版本号与模型编号对应通过归档目录填“旧版”补版本号并重归档输入：取表2结论列、表5字段列、表4证据文件列。动作：算式(1)、式(2)，查表6第2列至第4列。输出：验证记录表“结论词”列填通过、有条件通过或退回补录。判定：覆盖度≥90%且记录完整率≥95%且独立签字状态合格。六、表填完，拿这张单子对一遍表6结论词填完后，用表7逐项核对。每行“打开文件”列写文件或记录名称，“看哪列”列写列名，“怎么改”列写可执行动作。表7核对单检查项打开文件看哪列什么算合格不合格形态怎么改范围结论模型清单验证范围结论有全量验证或场景验证词结论列空白按表2补结论独立签字验证记录表独立复核人姓名与开发人不同开发人甲在复核人列换复核人丙重签方法证据验证报告A-v3.2证据文件有编号A-v3.2证据文件列空白补第3节测试记录记录完整率验证记录表记录完整率数值≥95%填“较高”按式(2)重算复核日期验证记录表复核日期有日期且晚于开发签字日期列空白补2026-01-20归档版本归档目录版本号v3.2与模型编号对应版本号填“旧版”补v3.2重归档输入：打开表7逐行取“检查项”列。动作：按“打开文件”列和“看哪列”列逐项核对。输出：核对单签字和日期。判定：6行“什么算合格”列均有对应观察值且“怎么改”列有动作。七、验证推不动，先查这七处表7核对出现卡点时，从表8第一检查点开始。第一检查点打开模型清单文件，看“验证责任人”列。表8七处排查表检查点打开什么看什么什么算合格不合格形态换哪条路模型清单模型清单文件验证责任人列每个模型有责任人姓名责任人列空白新增列并补人名范围判定表2验证范围结论列高风险行填全量验证结论列填“待定”按表2重判独立签字验证记录表独立复核人列姓名与开发人不同同一姓名出现两列换复核人重签方法选择表4风险档位列方法与档位对应高风险行填记录复核改全量复算记录字段表5必填字段列7个字段有值复核日期空白补录日期复核意见验证报告A-v3.2复核意见栏有意见和日期意见栏空白补意见并签字归档目录归档目录版本号列v3.2与模型编号对应版本号填“旧版”补版本号重归档输入：从表8第一检查点“模型清单文件”开始。动作：按“打开什么”列和“看什么”列逐项检查。输出：排查记录一行一个检查点。判定：第一检查点有文件名且“换哪条路”列有可执行动作。八、范围、独立性、记录撞在一起时按哪条规则裁表8排查出冲突时，按表9决策规则匹配。规则编号写进决策记录，退路列写可执行动作。表9决策规则表编号如果可观察条件则执行动作如果判定失效条件则退路R1高风险且已上线模型数超排期优先排全量验证排期仍不足冻结新增上线并登记未验证清单R2开发人掌握训练数据说明开发人提供材料并回避签字材料未到验证人先做指标复算并记录待补项R3验证人与开发人姓名相同换复核人重签无替代复核人模型所有者指定外部复核并登记R4记录完整率低于95%退回补录7个字段补录后仍低于95%结论词填退回补录并重排复核R5覆盖度低于90%补高风险模型验证季度资源不足登记未覆盖模型并冻结上线入口R6证据文件无编号补测试记录编号测试记录缺失方法降为记录复核并重判范围矛盾陈述：模型清单在2026年二季度新增12个高风险已上线模型，季度验证排期只容纳8个；独立签字要求验证人与开发人分离，开发人甲掌握训练数据说明，验证人乙在材料未到前无法签字。实质分析：范围要求覆盖12个高风险模型，排期容量8个；独立性要求开发人甲回避签字，记录要求甲提供训练数据说明。两项要求在同一时点争用验证人乙的签字时间。权衡规则：按R1先排8个高风险已上线模型全量验证，按R2让开发人甲提供材料并回避签字，验证人乙先做指标复算，材料到后补签字。退路：剩余4个模型登记未验证清单并冻结新增上线入口；材料在2026-02-01未到，模型所有者指定外部复核人并登记回避记录。输入：取表9规则编号和表8排查记录。动作：按“如果可观察条件”列匹配规则。输出：决策记录填规则编号、执行动作、退路。判定：规则编号有对应条件和退路且决策记录有日期。九、对外报送、内部决策、个人学习三套做法怎么裁剪对外交付或监管报送选完整版；内部决策且时间受限选精简版；个人学习或非风险管理岗位选极简版。三套场景的检查项和公式增减写进表10。表10三套场景操作序列表场景适用条件保留的检查项与公式删掉的检查项与公式操作序列不能妥协的底线完整版对外交付或监管报送表2至表8全量；式(1)(2)无跑全量检查；按表8定位；修复重跑高风险全量验证；独立签字精简版内部决策且时间受限表2、表3、表4、表6；式(1)低风险记录复核；归档版本号；式(2)跑精简清单；用表8前3行定位；只重跑失败项高风险全量验证；复核人不同极简版个人学习或非风险管理岗位表2高风险行、表3签字行；式(1)简化中低风险；对抗测试；表7全表；式(2)落地式(1)简化；跑关键校验；按表8第3行排查验证人姓名与开发人不同输入：取表10“场景”列和“适用条件”列。动作：按场景保留列和删除列裁剪检查包。输出：检查包清单和公式清单。判定：保留项和删除项均有名称且底线列有具体项。十、完整示例：一份信贷评分模型验证记录从缺项到归档某风险经理接到信贷评分模型A-v3.2验证任务[示例案例，细节为合理设定]。起点材料起点材料为模型清单文件、验证记录表空白版和上一版验证报告A-v3.1。分步操作步骤1：打开模型清单，筛选“风险等级”列填高且“上线状态”列填已上线，模型A-信贷评分进入表2全量验证行。步骤2：在表3分配开发人甲、验证人乙、复核人丙，开发人甲在回避记录列勾选回避结论签字。步骤3：按表4高风险行选全量指标复算加对抗测试，样本300，证据文件编号A-v3.2。步骤4：按表5填7个字段，算得式(1)验证覆盖度=6÷8×100%=75%，式(2)记录完整率=17÷25×100%=68%。步骤5：用表7核对，表8第一检查点发现模型清单“验证责任人”列空白；补人名后重算覆盖度到100%、完整率到96%。不顺利环节表11转折记录表转折信号假设试了什么新信息换哪条路第一轮覆盖度75%模型清单漏2个高风险模型数模型清单高风险行清单新增2个已上线模型补入表2全量验证行第二轮完整率68%记录表缺复核日期逐字段核对表5复核日期和证据文件空白补录日期与A-v3.2编号第三轮开发人甲在复核人列角色分配表填错查表3签字位置验证人乙未签结论换复核人丙重签第四轮归档目录填“旧版”版本号未回填查归档目录版本列v3.2未登记