模型验证报告:结论、限制与建议的编制规范_第1页
模型验证报告:结论、限制与建议的编制规范_第2页
模型验证报告:结论、限制与建议的编制规范_第3页
模型验证报告:结论、限制与建议的编制规范_第4页
模型验证报告:结论、限制与建议的编制规范_第5页
已阅读5页,还剩12页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

模型验证报告:结论、限制与建议的编制规范本文档提供:模型验证报告七项结构与各节内容要求表1张;验证结论的判定依据与结论表述表1张;模型限制的分类记录与影响评估表1张;建议事项的分级与整改要求表1张;报告评审与签批配置表1张;报告执行跟踪与结论复核表1张;执行要点6条;结论确定性与模型固有不确定性的平衡四段式1处;完整版精简版极简版三套操作序列;完整案例1个含四次转折五件事;来源说明表1张。2026-11-10这一节的标题读完你能拿到什么这一节在全文中的功能一、验证报告的结构与各节内容要求模型验证报告七项结构与各节内容要求表(表1)与每节须写内容、篇幅要求、编制责任规定验证报告的整体结构,使报告具备可评审、可追溯、可执行的属性二、验证结论:判定依据与结论表述方法验证结论的判定依据与结论表述表(表2)与四类结论、判定条件、结论措辞规定验证结论的判定标准和表述方式,使结论有依据、可复核三、模型限制:分类记录与影响评估模型限制的分类记录与影响评估表(表3)与限制类型、影响范围、缓释措施把模型固有局限和验证中发现的使用边界完整记录,说明限制对结论的影响四、验证建议:分级、责任与整改要求建议事项的分级与整改要求表(表4)与建议分级、责任角色、完成时限、验证方式把验证发现转为可执行的整改建议,明确责任与时限五、报告评审与签批配置报告评审与签批配置表(表5)与评审角色、评审内容、签批层级规定报告在出具前的评审环节和签批权限,保证结论的独立性和权威性六、报告执行跟踪与结论复核报告执行跟踪与结论复核表(表6)与建议跟踪节点、结论复核触发条件、复核方法跟踪建议的执行情况,在模型或环境变化时复核结论的适用性七、执行要点、平衡裁决与操作流程执行要点6条、平衡四段式、三套操作序列与各步骤产出物平衡结论确定性与模型固有不确定性,给出从验证执行到报告关闭的动作顺序八、验证报告质量的复盘方法验证报告质量复盘排查表(表7)与六个复盘点的改进动作针对结论依据不足、限制遗漏、建议不可执行的情况做复盘并修正报告机制按第一列在正文找对应那节,按第二列判断这节有没有你要的东西,按第三列判断这节是否对应你当前卡住的位置。一、验证报告的结构与各节内容要求模型验证报告的功能是向模型使用者和审批者说明三件事:模型在当前使用场景下是否可靠、可靠到什么程度、在什么条件下会失效。报告写到这个程度需要七项结构:验证范围与依据、模型描述与使用场景、验证方法与测试结果、验证结论、模型限制、验证建议、附件与证据索引。验证范围与依据写本次验证覆盖的模型版本、使用场景、验证标准和依据的监管要求或内部制度。模型描述与使用场景写模型的方法论、输入输出、假设条件、实际使用方式,写清模型在业务决策中的角色。验证方法与测试结果写验证采用的测试类型、测试样本、测试结果数据,测试结果以数值呈现。验证结论按第二节的四类结论判定。模型限制按第三节的分类记录。验证建议按第四节的分级列出。附件与证据索引写测试底稿、数据样本、代码审查记录的编号,索引与验证档案对应。报告篇幅按模型复杂度和验证范围确定,单一模型的报告控制在15页以内,模型群的报告按模型逐个分节。报告的编制责任为验证项目组长,复核责任为验证部门负责人,签批责任按第五节确定。表1模型验证报告七项结构与各节内容要求表报告节须写内容填写样例篇幅要求编制责任验证范围与依据模型版本、使用场景、验证标准、依据文件信用评分模型V3.2,用于零售信贷审批,依据内部模型风险管理规程第X条1页以内项目组长模型描述与使用场景方法论、输入输出、假设条件、业务角色逻辑回归模型,输入18个变量,输出违约概率,用于审批阈值设定2页以内项目组长验证方法与测试结果测试类型、样本、结果数据区分度测试、稳定性测试、回溯测试,样本2024至2026年,AUC0.785页以内项目组长验证结论四类结论之一及判定依据结论为“有条件通过”,条件为补充季度回溯测试1页以内项目组长模型限制限制类型、影响范围、缓释措施样本期间未覆盖利率上行周期,影响违约概率估计,缓释为压力测试补充2页以内项目组长验证建议分级建议、责任角色、完成时限一级建议1项、二级建议2项,责任角色和时限逐项列明2页以内项目组长附件与证据索引底稿编号、数据样本编号、代码审查记录编号底稿CG-2026-088,样本SM-2026-012,代码审查CR-2026-031不限项目组长报告结构表完成标志:表1七项结构在实际报告中有对应内容,测试结果以数值呈现,结论和限制分节写清,建议逐项列明责任和时限。合格形态:七项结构齐备,测试结果写有具体数值,结论写有四类结论之一。待改进形态:报告只有结论和建议两节,测试结果写“表现良好”,限制栏留空。二、验证结论:判定依据与结论表述方法验证结论分四类:通过、有条件通过、不通过、无法验证。四类结论的判定条件不同,结论措辞须与判定条件对应。通过的判定条件为:全部测试项达到验证标准,模型限制在可接受范围内,无一级建议。结论措辞为“模型在当前使用场景下通过验证,可用于[具体用途]”。有条件通过的判定条件为:主要测试项达到验证标准,存在需要整改的限制或建议,整改完成前模型可在限定条件下使用。结论措辞为“模型有条件通过验证,在[具体条件]满足前,限于[具体用途]使用”。条件的写法须可核查,写“补充季度回溯测试并通过”而非“进一步完善”。不通过的判定条件为:主要测试项未达到验证标准,或模型限制超出可接受范围,或存在影响结论可靠性的重大缺陷。结论措辞为“模型未通过验证,建议停止用于[具体用途],整改后重新验证”。无法验证的判定条件为:验证所需的数据、文档或系统访问条件不具备,无法形成有效结论。结论措辞为“因[具体原因]无法完成验证,建议在条件具备后重新验证”。结论的判定依据须在报告中列明:每个测试项的验证标准、实测值、是否达标三项。结论与判定依据方向不一致的,以判定依据为准。结论的措辞由验证项目组长起草,验证部门负责人复核,复核重点为结论措辞与判定条件的一致性。表2验证结论的判定依据与结论表述表结论类型判定条件结论措辞后续要求使用限制通过全部测试项达标,限制可接受,无一级建议模型通过验证,可用于具体用途按常规周期复验按模型文档载明的范围使用有条件通过主要测试项达标,存在需整改的限制或建议模型有条件通过,条件满足前限于具体用途使用条件在约定期限内完成并验证限定用途使用,条件完成前不扩大使用范围不通过主要测试项未达标,或限制超出可接受范围模型未通过验证,建议停止用于具体用途整改后重新验证停止用于原用途无法验证数据、文档或系统条件不具备因具体原因无法完成验证,条件具备后重新验证补齐条件后重新验证按未验证模型管理,限制使用示例行(有条件通过)区分度AUC0.78达标,稳定性PSI0.12略高于0.10标准,回溯测试覆盖2024至2026年模型有条件通过,在补充2026年第四季度回溯测试并通过前,限于现有审批阈值使用2027年1月31日前完成补充测试不扩大阈值调整范围示例行(不通过)区分度AUC0.62低于0.70标准,变量显著性检验3项不显著模型未通过验证,建议停止用于新增审批,存量业务按过渡方案处理重新开发后验证停止用于新增审批结论表完成标志:表2每个结论类型的“判定条件”“结论措辞”“后续要求”“使用限制”四列均有具体内容,实际报告的结论与判定依据逐项对应。合格形态:结论措辞写有具体用途和条件,判定依据列明测试项达标情况。待改进形态:结论写“基本可用”,判定依据栏只写“测试完成”。三、模型限制:分类记录与影响评估模型限制分四类:数据限制、方法限制、假设限制、使用限制。四类限制的记录内容和影响评估方法分别设定。数据限制指验证所依据的数据在覆盖范围、质量或时效上的局限。记录内容含数据期间、样本量、缺失值比例、未覆盖的业务场景四项。影响评估写该限制对结论的影响方向,写“可能高估”“可能低估”“影响方向不确定”三类之一。方法限制指模型方法论本身的局限。记录内容含模型类型、该方法在特定场景下的已知局限、替代方法的比较结果三项。影响评估写该局限在压力情景下的表现,用测试数据说明。假设限制指模型依赖的假设条件在验证期间成立的程度。记录内容含假设条件、验证期间的检验结果、假设被打破的触发条件三项。影响评估写假设被打破时对输出的影响幅度。使用限制指模型在实际使用中须遵守的边界。记录内容含使用范围、禁止用途、使用前提条件三项。使用限制写入模型文档,作为使用者的操作约束。四类限制的记录须附缓释措施。缓释措施写具体动作,含补充数据、增加压力测试、设定使用阈值、定期复验四类。限制的影响评估结论为“影响重大”的,须在验证结论中体现,结论不得为“通过”。表3模型限制的分类记录与影响评估表限制类型记录内容填写样例影响评估缓释措施数据限制数据期间、样本量、缺失值比例、未覆盖场景样本2024至2026年,样本量1.2万条,缺失值比例3.2%,未覆盖利率上行周期可能低估上行周期违约率补充压力测试,2027年6月前完成方法限制模型类型、已知局限、替代方法比较逻辑回归,对非线性关系捕捉有限,与梯度提升模型比较AUC低0.04在变量交互复杂场景下区分度下降季度监控AUC变化,下降超过0.05触发重验假设限制假设条件、检验结果、打破触发条件假设变量间线性独立,检验显示2组变量相关系数0.35,打破触发为相关系数超过0.5相关系数上升时输出稳定性下降月度监控相关系数,超过0.4时提示复核使用限制使用范围、禁止用途、使用前提限于零售信贷审批,禁止用于小微企业评分,前提为输入变量完整超范围使用输出不可靠系统设置用途校验,超范围调用拦截示例行(数据限制)未覆盖利率上行周期2024至2026年样本期间利率平稳可能低估上行周期违约率,压力测试显示低估幅度约15%2027年6月前完成补充压力测试并纳入复验示例行(使用限制)限于零售信贷审批系统设置用途校验超范围调用被拦截2026年11月已上线校验限制表完成标志:表3每类限制的“记录内容”“影响评估”“缓释措施”三列均有具体内容,影响评估写有影响方向和幅度。合格形态:记录内容写有具体数据和场景,影响评估写有方向和量化幅度。待改进形态:记录内容写“样本有限”,影响评估写“有一定影响”,缓释措施栏留空。四、验证建议:分级、责任与整改要求验证建议按整改紧迫性分三级。一级建议指影响结论可靠性或涉及监管合规的整改事项,须在30日内完成。二级建议指影响模型表现但结论仍成立的事项,须在90日内完成。三级建议指优化类事项,纳入年度改进计划。建议事项的写法含四项:建议内容、对应的问题或限制、责任角色、完成时限。建议内容写具体动作,写“补充2026年第四季度回溯测试”而非“加强回溯测试”。对应的问题或限制写报告中的限制编号或测试项编号。责任角色写岗位名。完成时限按建议级别设定。建议的整改验证方式按建议类型确定。涉及数据补充的,验证补充数据的覆盖范围和测试结果。涉及方法调整的,验证调整后的测试结果。涉及使用限制的,验证系统控制是否生效。涉及文档更新的,验证文档版本是否发布。一级建议在完成时限届满后由验证部门验证,验证未通过的,模型结论调整为“不通过”或维持“有条件通过”并延长条件期限。二级和三级建议的验证由模型使用部门执行,验证结果报验证部门备案。表4建议事项的分级与整改要求表建议级别判定标准完成时限责任角色验证方式未完成处理一级影响结论可靠性或涉及监管合规30日模型开发负责人验证部门验证补充数据或调整结果结论调整为不通过或延长条件期限二级影响模型表现但结论仍成立90日模型使用部门负责人使用部门验证并报验证部门备案纳入季度跟踪,逾期升级至一级三级优化类事项纳入年度改进计划模型管理岗年度改进计划验收纳入下一年度计划示例行(一级)补充2026年第四季度回溯测试2027-01-31模型开发负责人验证部门验证补充测试结果逾期则结论调整为不通过示例行(二级)季度监控AUC变化并设置触发阈值2027-02-28模型使用部门负责人使用部门提交监控记录,验证部门备案逾期升级为一级建议表完成标志:表4每个建议的“建议级别”“完成时限”“责任角色”“验证方式”四列均有具体内容,建议内容写有具体动作。合格形态:建议写有具体动作和时限,验证方式写有验证主体和验证对象。待改进形态:建议写“完善模型监控”,责任角色写“相关部门”,时限栏留空。五、报告评审与签批配置报告在出具前经两级评审:技术评审和管理评审。技术评审由未参与验证的模型专家执行,评审内容含测试方法的适当性、测试结果的可靠性、结论与证据的一致性、限制记录的完整性四项。管理评审由验证部门负责人执行,评审内容含结论措辞与判定条件的一致性、建议的可行性、报告结构的完整性三项。签批层级按结论类型确定。结论为“通过”的报告由验证部门负责人签批。结论为“有条件通过”的报告由验证部门负责人和模型风险管理委员会指定的委员双签。结论为“不通过”或“无法验证”的报告由模型风险管理委员会审议后签批。评审记录含评审人角色、评审意见、修改情况三项。技术评审意见中涉及测试方法或结论的,验证项目组长在修改后回复处理情况。评审未通过的报告退回修改,修改后重新评审。表5报告评审与签批配置表评审或签批环节执行角色评审内容记录形式未通过处理技术评审未参与验证的模型专家测试方法适当性、结果可靠性、结论与证据一致性、限制完整性评审意见表,含意见和修改情况退回修改后重新评审管理评审验证部门负责人结论措辞与判定条件一致性、建议可行性、结构完整性评审意见表同上签批(通过)验证部门负责人报告全文签批页退回修改签批(有条件通过)验证部门负责人加委员会委员报告全文及条件可核查性双签页退回修改签批(不通过或无法验证)模型风险管理委员会报告全文及后续安排会议纪要和签批页退回修改示例行(技术评审)模型专家2名测试方法适当,AUC计算口径需说明,结论与证据一致意见3条,修改2处修改后通过示例行(双签)验证部门负责人加委员条件“补充季度回溯测试”可核查2026-12-15双签通过评审签批表完成标志:表5每个环节的“执行角色”“评审内容”“记录形式”“未通过处理”四列均有具体内容,签批层级与结论类型对应。合格形态:评审意见写有具体条数和修改情况,签批层级与结论类型匹配。待改进形态:评审意见写“同意”,签批页只有一人签字而结论为“有条件通过”。六、报告执行跟踪与结论复核报告出具后进入执行跟踪。跟踪对象为建议事项的完成情况,跟踪频率按建议级别确定:一级建议每周跟踪,二级建议每月跟踪,三级建议每季度跟踪。跟踪记录含建议编号、计划完成日期、实际完成日期、验证状态四项。结论复核的触发条件有四类:模型版本更新、使用场景变化、建议事项全部完成、监管要求变化。触发任一类条件的,在30日内完成结论复核。复核方法为核对原结论的判定依据是否仍然成立,成立则维持原结论,不成立则按第二节重新判定结论。结论复核记录含复核触发条件、原结论、复核依据、复核结论四项。复核结论为变更的,报告重新出具修订版,修订版按第五节的签批层级重新签批。原版标注“已废止”,废止日期写入报告版本记录。表6报告执行跟踪与结论复核表跟踪或复核事项触发条件频率或时限记录要素责任角色一级建议跟踪报告签批每周建议编号、计划日期、实际日期、验证状态验证项目组长二级建议跟踪同上每月同上模型使用部门负责人三级建议跟踪同上每季度同上模型管理岗结论复核模型版本更新、场景变化、建议完成、监管变化触发后30日触发条件、原结论、复核依据、复核结论验证部门负责人示例行(一级跟踪)补充回溯测试每周跟踪建议B-01,计划2027-01-31,实际2027-01-20,验证通过项目组长示例行(结论复核)模型V3.3版本更新2027-03-15完成复核原结论有条件通过,复核依据为新版本测试结果,结论维持验证部门负责人执行跟踪表完成标志:表6每个跟踪或复核事项的“触发条件”“频率或时限”“记录要素”“责任角色”四列均有具体内容,复核结论写有维持或变更。合格形态:跟踪记录写有实际完成日期和验证状态,复核记录写有复核依据和结论。待改进形态:跟踪记录写“持续推进”,复核记录写“情况正常”。七、执行要点、平衡裁决与操作流程模型验证报告的编制与运行按下列六条要点落实。执行要点要点1:报告七项结构齐备,测试结果以数值呈现,结论按四类结论判定并写明判定依据,限制按四类记录并附影响评估。要点2:结论措辞与判定条件对应,“有条件通过”的条件写可核查的动作和期限,“不通过”写明停止使用的用途和过渡安排。要点3:建议按三级分级,每项建议写具体动作、责任角色、完成时限和验证方式,一级建议30日内完成,二级90日内完成。要点4:报告经技术评审和管理评审两级评审,技术评审由未参与验证的模型专家执行,评审意见写具体条数和修改情况。要点5:签批层级与结论类型对应,通过由验证部门负责人签批,有条件通过双签,不通过或无法验证由模型风险管理委员会审议签批。要点6:报告出具后按建议级别跟踪,结论复核在触发后30日内完成,复核结论变更的报告重新出具修订版并按原签批层级重新签批。平衡四段式两种合理诉求的陈述:验证部门从结论确定性出发,主张结论写到明确判断、限制写到可接受范围的边界、建议写到具体动作和期限,理由是报告的使用者需要明确的判断依据,模糊结论会使模型在未验证的状态下继续使用;模型开发部门从模型固有不确定性出发,主张结论保留条件空间、限制按场景分别说明、建议按优先级排序而非全部限期,理由是模型是对现实的简化,任何结论都带有不确定性,过度确定的结论在环境变化后会成为新的风险。两种诉求在同一份报告上指向不同的结论表述方式。实质分析:结论确定性的评估单位是报告使用者的决策需要,固有不确定性的评估单位是模型作为简化工具的本质属性。两种评估各有依据,适用于报告的不同部分。验证结论需要明确判断,使用者据此决定模型是否可用、在什么条件下可用;模型限制需要完整呈现不确定性,使用者据此了解结论的适用边界。差异根源在于结论和限制承担不同的功能,结论给出判断,限制给出判断的边界,两者分节写清即可同时满足。平衡规则:结论按四类明确判定,不设中间模糊档;限制按四类完整记录,每类附影响评估和缓释措施;结论与限制通过“条件”和“使用限制”两栏衔接,结论中的条件对应限制中的缓释措施,结论中的使用限制对应限制中的使用边界。三者的对应关系在报告评审时逐项核对。退路:两个部门对某模型结论的确定性程度仍有分歧的,把该模型的测试结果、限制的影响评估、同类模型的历史结论三项并排提交模型风险管理委员会,由委员会做书面裁定。裁定结论写入报告评审记录,同类模型在下一个验证周期内沿用。操作流程第一个动作:验证执行完成后5个工作日内,项目组长按表1编制报告,七项结构逐项填写。产出:验证报告初稿1份。第二个动作:按表2判定结论类型,判定依据逐测试项列明,结论措辞与判定条件对应。产出:结论判定记录1份。第三个动作:按表3记录模型限制,四类限制逐类填写,影响评估写方向和幅度。产出:限制记录1份。第四个动作:按表4列出建议事项,按三级分级,每项写责任角色和完成时限。产出:建议清单1份。第五个动作:按表5执行技术评审和管理评审,评审意见逐条回复,修改后签批。产出:评审意见表1份,签批页1份。第六个动作:报告出具后按表6跟踪建议执行,触发条件出现时执行结论复核。产出:跟踪记录1份,复核记录1份。完整版按上述六个动作全量执行。精简版保留第一个、第二个、第四个、第五个动作,跳过第三个和第六个动作;精简版删掉的检查项为:模型限制的完整记录、执行跟踪与结论复核。极简版只保留第二个动作中的结论判定和第四个动作中的一级建议列示;极简版删掉的检查项为:报告完整编制、限制记录、评审、跟踪复核。三套版本共同坚守的底线:结论在三个版本中均按四类判定并写明判定依据;一级建议在三个版本中均有责任角色和完成时限;报告在三个版本中均经未参与验证的人员评审后签批。八、验证报告质量的复盘方法报告出具后出现结论依据不足、限制遗漏、建议不可执行或结论复核滞后的情况,按六个复盘点逐项检查并确定改进动作。复盘每年执行一次,复盘记录与验证报告档案一并归档。表7验证报告质量复盘排查表复盘点打开什么看什么改进动作1.结论依据的完整性结论判定记录与测试结果每个测试项的验证标准、实测值、是否达标是否逐项列明结论判定记录设为报告的必附页,未附的不进入评审2.结论措辞与判定条件的一致性结论措辞与表2的判定条件结论类型与判定条件是否对应,条件是否可核查评审清单增加“结论与判定条件一致性”项,逐项打勾3.限制记录的覆盖度限制记录与实际使用中的边界四类限制是否逐类记录,影响评估是否有方向和幅度限制记录模板按四类设必填栏,影响评估设“方向”和“幅度”两个字段4.建议的可执行性建议清单与完成情况建议是否写具体动作,责任角色和时限是否明确建议清单增加“动作可核查性”检查,写“完善”“加强”类表述的退回重写5.评审意见的处理评审意见表与修改记录评审意见是否逐条回复,修改是否留痕评审意见表与修改记录绑定,未回复的意见不计为评审完成6.结论复核的及时性复核触发记录与复核完成日期触发后30日内是否完成复核,滞后的触发类型复核触发写入系统提醒,提醒对象为验证部门负责人复盘完成判定:六个复盘点逐项打开看过,“看什么”列填有具体记录或字段名称,“改进动作”列填有可执行动作且动作中含字段名、必附页或提醒机制。合格形态:改进动作写有具体字段或流程节点。待改进形态:“什么”列写“已复查”,“改进动作”列写“加强报告质量管理”。第1、2项属于结论环节,改进动作落在必附页和评审清单;第3项属于限制环节,改进动作落在模板必填栏;第4项属于建议环节,改进动作落在可核查性检查;第5、6项属于评审与复核环节,改进动作落在意见绑定和系统提醒。改进完成后在表7末尾追加“改进验证”行,写验证日期和验证人角色名。完整案例:一次信用评分模型验证报告的结论判定与限制记录示例案例,细节为合理设定。某商业银行对零售信贷信用评分模型V3.2执行定期验证,验证项目组在2026年11月完成测试,编制验证报告。模型用于零售信贷审批阈值设定,验证标准为区分度AUC不低于0.70、稳定性PSI不高于0.10、回溯测试覆盖最近12个月。起点测试结果:AUC0.78,PSI0.12,回溯测试覆盖2024年1月至2026年9月。模型限制记录中数据限制写“样本期间未覆盖利率上行周期”,方法限制写“逻辑回归对非线性关系捕捉有限”,使用限制写“限于零售信贷审批”。建议清单初稿列5项,其中3项写“完善模型监控”“加强数据治理”“优化变量选择”。分步操作第一步,按表1编制报告,七项结构中测试结果写有AUC和PSI数值。第二步,按表2判定结论,AUC达标、PSI略高于标准,初判为“有条件通过”。第三步,按表3记录四类限制,数据限制和方法限制各1项,使用限制1项,假设限制初稿未记录。第四步,按表4列建议,5项建议中3项表述笼统。不顺利环节第一次转折。信号:技术评审时模型专家指出,PSI0.12略高于0.10标准,报告初稿的结论写“有条件通过”,条件写“补充季度回溯测试”,但未说明PSI超标与回溯测试之间的关联。初步判断为条件表述不够具体。核对测试结果后发现,PSI超标集中在2026年第三季度的两个变量上,回溯测试覆盖至2026年9月,补充第四季度回溯测试可以检验这两个变量的稳定性是否恢复。由此确认条件与问题之间存在关联,但报告未写明关联关系。调整动作:结论的条件栏增加“对应问题”字段,条件须写明对应哪个测试项或限制编号,条件与问题的关联关系写入判定记录。第二次转折。信号:管理评审时验证部门负责人指出,限制记录中缺假设限制。初步判断为记录遗漏。核对模型文档后发现,模型假设变量间线性独立,验证期间未对该假设做检验。补做相关系数检验后,2组变量相关系数为0.35,低于0.5的打破阈值,假设在验证期间基本成立。由此确认假设限制需要记录,记录内容含假设条件、检验结果、打破触发条件三项。调整动作:限制记录模板按四类设必填栏,假设限制栏填写假设条件、验证期间的检验结果、打破触发条件三项,未填的不进入评审。第三次转折。信号:建议清单中3项写“完善模型监控”“加强数据治理”“优化变量选择”,责任角色写“相关部门”,时限栏留空。初步判断为建议表述不够具体。与模型开发部门沟通后确认,三项建议分别对应监控频率不足、数据缺失值处理、变量共线性三个具体问题,可以写为“监控频率从季度改为月度”“缺失值比例超过5%的变量纳入补充采集清单”“对相关系数超过0.35的变量组合做共线性处理”。由此确认建议的笼统表述源于问题描述未细化到动作层面。调整动作:建议清单模板增加“对应问题”和“具体动作”两个字段,动作写动词开头的短句,写“完善”“加强”类表述的退回重写。第四次转折。信号:报告签批后进入执行跟踪,一级建议“补充2026年第四季度回溯测试”计划2027年1月31日完成。2027年2月跟踪时发现建议未完成,模型开发部门回复“第四季度数据在2027年1月中旬才齐备,测试需要三周”。初步判断为建议时限设定未考虑数据可用时间。核对数据可用时间表后发现,第四季度数据在次年1月15日左右齐备,测试周期三周,完成时间最早为2月上旬,1月31日的时限不可行。由此确认建议时限的设定须结合数据可用时间和测试周期。调整动作:建议时限的设定增加“前置条件核对”步骤,涉及数据补充的建议,时限从数据可用日起算并加上测试周期,前置条件写入建议清单的备注栏。终点结论的条件栏增加对应问题字段,限制记录模板按四类设必填栏,建议清单增加对应问题和具体动作字段,建议时限增加前置条件核对。报告修订后重新评审签批,结论为“有条件通过”,条件为“补充2026年第四季度回溯测试并通过,对应PSI超标问题”,时限调整为2027年2月28日。建议清单5项均写有具体动作和时限,其中一级建议1项、二级建议2项、三级建议2项。2027年2月20日补充测试完成,PSI回落至0.08,条件满足,结论维持“有条件通过”并在复验后转为“通过”。变量表变量案例中情形如果变量不同处置变化结论条件的关联性条件写“补充回溯测试”,未写对应PSI超标问题条件含对应问题字段,写明对应测试

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论