AI风险的年度复盘:模型、数据、治理-三条线逐项核验、评级与整改跟踪_第1页
AI风险的年度复盘:模型、数据、治理-三条线逐项核验、评级与整改跟踪_第2页
AI风险的年度复盘:模型、数据、治理-三条线逐项核验、评级与整改跟踪_第3页
AI风险的年度复盘:模型、数据、治理-三条线逐项核验、评级与整改跟踪_第4页
AI风险的年度复盘:模型、数据、治理-三条线逐项核验、评级与整改跟踪_第5页
已阅读5页,还剩11页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

AI风险的年度复盘:模型、数据、治理——三条线逐项核验、评级与整改跟踪本文档提供:表1年度复盘证据调用清单;表2模型健康度评级规则与5%回归阈值;表3可重构性审计五要求检查表;表4治理成熟度四级评定表与KRI基线;表5复盘发现分级与整改跟踪表;表6复盘失效排查表;四条决策规则与一处矛盾权衡;一个年度复盘案例对照(三轮转折与判断连锁);三套场景操作序列;输出前逐项打勾的自查表。2026-11-09这一节的标题读完读者能拿到什么这一节在全文中的功能一、复盘前先打开四份记录,打不开的系统不进入评级表1证据调用清单,含文件名、列名和缺失标记规则锁定第一个动作:逐系统核验记录可调用性二、模型退化5%进警告、15%进紧急,退役看PSI和AUC表2模型健康度评级规则与退役触发条件把模型复盘转成可计算的退化幅度判定三、数据复盘查五件事:沿革、标注日志、变更记录、文档标记、版本标识表3可重构性审计五要求检查表为数据复盘给出可逐项打勾的审计入口四、治理评级按KPI打分,级别2到3之间是首年常态表4治理成熟度四级评定表与KRI基线把治理复盘从会议罗列转为可比较的等级五、复盘发现分三级,整改绑岗位名和完成条件表5发现分级与整改跟踪表、表6复盘失效排查表为复盘结论给出可跟踪的闭环结构六、复盘案例对照:三轮转折里哪些判断动作可以搬到自己的机构三轮转折的判断连锁、每轮五件事、变量表展示模型、数据、治理三条线在复盘中的联动七、提交委员会前逐项打勾三套场景操作序列与输出前自查表收口:确认每个复盘结论有输入、判定和整改责任人按第一列在正文找对应那节,按第二列判断这节有没有读者要的东西,按第三列判断这节是否对应读者当前卡住的位置。一、复盘前先打开四份记录,打不开的系统不进入评级年度复盘会上出现“总体可控、局部需关注”的总结,通常是因为证据在会前没有核验过。第一步是逐项确认:哪些记录在复盘时能被打开、能追溯到具体版本和时间戳。打不开的记录在清单上标记“缺失”,排入整改。ISO/IEC42001第9.3条要求管理评审的输入覆盖政策充分性、目标达成情况、不符合项状态、改进机会以及内外部变化。NISTAIRMF的Govern、Map、Measure、Manage四个功能提供了复盘的组织框架:Govern要求定期评审风险管理过程和结果,Map要求资产登记完整、数据沿革可查,Measure要求模型卡和测试结果有记录,Manage要求已识别风险有处置记录和责任人。年度复盘的动作是把这些要求映射到本机构实际存在的记录上,逐项确认可调用性。成品块:输入取“AI系统清单.xlsx”的在册系统与风险等级列、“模型变更记录表.xlsx”过去12个月的变更行、“训练数据批次台账.xlsx”的批次编号与授权文件列、“AI治理委员会会议纪要.docx”的决议与跟踪段;动作是逐系统确认四类记录是否存在且可打开,在表1中标注“可调用”或“缺失”;输出为复盘证据调用清单;判定条件是每个在册系统在模型、数据、治理三条线上各至少有一类记录可调用,任一条线缺失的系统标记“证据不足”,不进入评级。表1年度复盘证据调用清单(示例行为某金融机构3个在役系统)系统编号风险等级模型线可调用记录数据线可调用记录治理线可调用记录复盘状态SYS-01(客服应答)高模型变更记录:2026年4月、9月两次版本升级训练数据批次台账:批次FT-2026-03至FT-2026-11,授权文件可查委员会决议AIGC-2026-004,附条件批准,跟踪表有更新可复盘SYS-02(信贷辅助)高模型变更记录:外部供应商底层升级1次,无内部回归测试记录微调数据集批次3个,其中批次FT-2026-07授权文件列空白委员会批件RC-2026-11-03,季度跟踪表连续两季未更新模型线证据不足SYS-03(内部摘要)中模型变更记录:无变更RAG知识库批次索引记录完整备案记录可查,中风险无委员会批件可复盘表1的“复盘状态”列决定哪些系统进入评级,哪些先补证据。SYS-02的模型线缺内部回归测试记录、治理线跟踪表断更,该系统的复盘结论标注“证据不足,评级顺延”,补记录的动作排入表5整改跟踪。二、模型退化5%进警告、15%进紧急,退役看PSI和AUC模型复盘的计算对象是与基线相比的退化幅度。模型变更后的回归测试以固定基准用例集为参照,任一关键指标较基线退化超过5%的,触发调查或阻断发布。观察、警告、紧急三级分档把退化幅度映射到响应动作:观察级记录并带入下次复盘讨论;警告级通知负责人当日查看;紧急级触发暂停自动化或回滚。退化来源按是否与已知变更相关分成两类。与部署、数据更新、配置调整相关的退化按预期漂移处理,走修复或基线更新;与任何已知变更都不相关的突变,按未解释漂移处理,触发安全调查。第三方模型的冻结版本也会发生静默行为偏移,内部没有变更时,外部行为测试仍然需要执行。成品块:输入取“模型评估基线记录.xlsx”的基线指标、“回归测试结果.xlsx”的本次指标、“模型变更记录表.xlsx”的变更时间线;动作是按表2逐系统逐指标计算退化幅度,对照5%阈值和三级分档,标注退化是否与已知变更相关;输出为模型健康度评级(观察/警告/紧急/退役评估);判定条件是每个在役系统至少有一项关键指标的退化幅度被计算并对照阈值,无基线记录的系统先补基线,评级标记“基线缺失”。表2模型健康度评级规则与退役触发退化幅度(相对基线)评级响应动作退役评估触发条件示例行任一关键指标退化≤5%观察记录,下次复盘讨论不触发SYS-01准确率退化2.1%,观察关键指标退化>5%且≤15%警告通知模型运营负责人当日查看,48小时内给出修复或接受理由同一指标连续两轮警告且修复未生效SYS-02外部模型底层升级后JSON合规率退化8%,警告关键指标退化>15%,或AUC/关键指标低于原始验证阈值紧急暂停该用例自动输出,回滚或人工替代直接进入退役评估—群体稳定性指数(PSI)持续超过0.25且验证职能无法补救;或AUC低于原始验证阈值并持续退役评估启动退役评估,备用方式就位后执行退役评估本身即为触发条件—表2的退役触发条件写成可观察判定:PSI持续超过0.25且验证职能无法补救,AUC低于原始验证阈值,或者持续假阳性/假阴性率超出容忍范围且修复无效,进入正式退役审查。退役评估的前置条件是备用方式已就位(人工全检、规则模型、保守参数中的至少一项),且备用方式经一个完整业务周期试运行确认。退役决定在治理委员会留档,系统清单同步更新退役日期和数据处置证据。常见错误一:只看当次指标不看基线。没有基线记录的模型,5%阈值无法计算,退化幅度不可知。常见错误二:把供应商升级后的行为变化归因为正常波动。冻结版本的外部模型存在静默偏移,小版本日期变更即可导致预期输出概率变化48%。校验方法:从已判定“观察”的系统中随机抽1个,由第二人用同一基线和同一测试集独立复算退化幅度;两人计算差异超过2个百分点的,该系统的基线记录需重新核对。三、数据复盘查五件事:沿革、标注日志、变更记录、文档标记、版本标识数据复盘的问题落在可重构性上:给定一个在役模型,审计人员能否回答“哪些数据集、变换、标注和代码产生了这个确切版本,谁在什么时候改了什么,如何回滚到已知良好状态”。2024—2026年最具破坏性的AI事件共享同一个根因:从原始数据到部署模型的链条不可审计,投毒、篡改和静默退化直到损害发生后才被发现。数据复盘的可重构性审计按五项要求逐项打勾,缺一项即该数据线的复盘结论为“不可审计”。表3可重构性审计五要求检查表要求检查什么打开哪份记录合格条件(肯定式)不合格形态与整改动作示例行数据沿革数据集及其组件的来源、变换、增强、合并记录训练数据批次台账的沿革字段沿革图将每个训练产物链接回源数据集、变换步骤和代码/参数不合格形态:台账只有批次编号无源数据集链接;整改:补沿革图,该批次标记“沿革缺失”FT-2026-03沿革图链接至源数据集DS-2026-01及清洗脚本v2.1标注日志标注规则、标注人、标注时间、一致性检查记录标注管理系统的日志表每批标注有规则版本、标注人角色名和时间戳不合格形态:日志只有标注结果无规则版本;整改:补规则版本并重标受影响样本标注批次LB-2026-05附规则v3和双人一致性92%不可变模型变更记录模型版本、变更内容、审批人、回滚点模型变更记录表的不可变日志每次变更生成不可篡改记录,含回滚目标版本不合格形态:变更记录可被覆盖修改;整改:迁移至不可变日志存储,补历史变更2026年4月升级附回滚目标v2.3及审批人角色名写入时文档标记RAG/知识库文档的入库时间、来源、权限标签RAG知识库的文档元数据表每份入库文档有写入时间戳、来源标识和访问权限标签不合格形态:文档无来源标签,检索时可被任意上下文引用;整改:补标签并重新索引知识库文档KB-2026-11-07附来源“产品手册v5”和权限“内部”唯一标识的版本化数据集每个数据集有唯一版本标识,可区分训练/验证/测试划分数据集注册表的版本列每个批次有唯一版本号,划分方式记录在案不合格形态:多个批次共用同一标识;整改:重新分配版本号并补划分记录FT-2026-11版本号v1.2,训练/验证/测试按70/15/15划分数据复盘的第二项动作落在授权链上。混合抓取数据和采购许可数据而不做分段标签,在2026年的审计中构成直接失败。每批数据在沿革记录中标注来源类别(授权/公开/采购/内部),授权类有可追溯文件编号,公开类有机器可读权利保留状态记录。来源类别与授权文件不匹配的批次,该批次复盘结论记为“授权链断裂”。常见错误一:用“数据质量可接受”替代沿革检查。质量与沿革是两个维度,高质量数据可以没有沿革,投毒数据也可以在质量指标上表现正常。常见错误二:只检查当前在役批次,不检查已合并进模型的旧批次。沿革图需要覆盖模型参数中实际包含的全部数据来源,合并后删除源记录等同于该段数据进入模型的证据链断开。校验方法:从沿革图中随机选一个在役模型,尝试用记录的信息复现一个训练样本的输入;复现失败且差异无法归因于记录中的变换步骤的,该模型的沿革记录判定为“不可复现”。四、治理评级按KPI打分,级别2到3之间是首年常态治理复盘回答的问题:委员会是否在风险偏好范围内运行,控制是否嵌入流程,证据是否经得起外部审查。治理成熟度五级模型提供了一个可比较的标尺:级别1临时(影子AI普遍),级别2已定义(政策存在但执行不一致),级别3已运营(控制嵌入流程),级别4已衡量(治理可以证明控制有效),级别5自适应(治理随AI使用演进)。多数完成首年治理建设的机构落在级别2至3之间。复盘的动作是给出本机构当前等级的证据,并标注下一等级所需的缺失证据。NISTAIRMFGovern功能的参考KPI提供了评级的具体输入:有明确所有者和风险等级记录的AI用途比例;高风险AI系统在过去6个月内经AI风险委员会审查的比例;有第三方风险评估的AI供应商数量;已识别AI风险中有处置记录和明确责任人的比例;有正式化经验教训的AI事件数量。这些KPI按表4逐项取数,作为评级证据。成品块:输入取“AI系统清单.xlsx”的所有者与风险等级列、“委员会会议纪要”的审查记录、“供应商风险评估台账”、“风险登记册”的处置状态列、“事件台账”的经验教训字段;动作是逐KPI计算当前值,对照表4的等级证据要求,给出本机构治理成熟度等级和下一等级缺口;输出为治理成熟度评级表;判定条件是每个KPI有当前值和取数位置,等级评定有至少两项KPI作为支撑证据,无KPI数据的治理复盘结论标记“评级依据不足”。表4治理成熟度四级评定表与KRI基线成熟度等级证据要求(肯定式)NISTAIRMFGovernKPI对照本机构KRI基线(示例)下一等级缺口动作级别1临时有AI系统清单,但所有者或风险等级记录不完整有所有者和风险等级记录的AI用途比例<50%系统清单覆盖率62%,所有者字段完整率48%补全清单字段,指定所有者级别2已定义政策已发布,高风险系统有审查记录但不连续高风险系统6个月内经委员会审查比例<100%;政策确认完成率按角色可查高风险审查覆盖率75%,政策确认完成率68%排定审查日历,未审查系统限期补审级别3已运营控制嵌入流程,高风险系统审查连续,事件有经验教训记录高风险审查覆盖率100%;有处置记录的风险比例≥90%;事件经验教训正式化数量≥1/期高风险审查覆盖率100%,风险处置记录率86%,经验教训记录3条/年将处置记录率提至90%以上,经验教训接入整改跟踪级别4已衡量治理可证明控制有效,KRI趋势可比较,供应商风险评估活跃所有KPI有趋势数据;供应商风险评估覆盖率≥90%;控制有效性有独立复核记录待评级,需先完成级别3稳定运行两个季度建立KRI趋势看板和独立复核机制表4的评级规则:本机构证据满足某一等级的全部“证据要求”,才评定为该等级;满足部分要求的,评定为上一等级,缺口动作写入整改跟踪表。级别4及以上的评定需要至少两个季度的KRI趋势数据和独立复核记录,首次年度复盘通常落在级别2至3之间,这一结果本身是可接受的复盘产出,前提是缺口动作有责任人和完成时点。治理复盘的第二项动作落在决议闭环上。ISO/IEC42001管理评审模板要求输入包含“以往管理评审措施的状态”。年度复盘时,打开上一次复盘(或上一次管理评审)的整改跟踪表,逐条确认完成状态。未完成项顺延进入本次整改跟踪,并标注顺延次数。顺延两次以上的整改项,在本次复盘中升级为“治理失效信号”,由委员会在复盘中单独讨论。五、复盘发现分三级,整改绑岗位名和完成条件年度复盘最常见的产出是一份发现清单,列了二十条“待改进”,没有分级,没有责任人,没有完成判定。到第二年复盘时,二十条中完成三条,其余顺延。复盘发现需要按后果和可控性分级,整改跟踪表把每条发现绑定到具体角色和可观察的完成条件。复盘发现的来源覆盖三条线:模型线的退化评级和退役触发,数据线的沿革缺失和授权链断裂,治理线的成熟度缺口和决议顺延。每条发现按表5分级:一级(已产生可观察后果)进入当月整改,二级(控制缺口有明确证据且尚未产生后果)进入季度整改,三级(改进机会,证据不充分或后果不确定)进入观察清单,下次复盘重新评估。成品块:输入取表2的模型评级结果、表3的数据审计结果、表4的治理评级缺口、上次复盘整改跟踪表;动作是把每条发现归入一级/二级/三级,在表5中填发现描述、证据位置、责任人角色、完成判定和截止时点;输出为分级整改跟踪表;判定条件是每条发现有一级/二级/三级中的一级,有责任人角色名,有肯定式完成判定(如“沿革图补齐且可复现一个样本”)。任一项缺失,该条发现不进入跟踪表,退回补全。表5复盘发现分级与整改跟踪表(示例行为首次年度复盘产出)发现编号来源线发现描述分级证据位置责任人角色完成判定(肯定式)截止时点顺延次数F-2026-01模型SYS-02外部模型底层升级后无内部回归测试记录,JSON合规率退化8%二级表2SYS-02行;回归测试结果缺失模型运营负责人补建回归测试基线并完成一次复测,退化幅度重新计算2027-Q10F-2026-02数据SYS-02批次FT-2026-07授权文件编号空白,来源类别填“采购”一级表3沿革记录;批次台账第7行数据保护负责人补授权文件编号并在沿革图中链接;未补齐前该批次不进入后续训练2026-12-310F-2026-03治理SYS-02委员会跟踪表连续两季未更新二级表4KPI“风险处置记录率”;跟踪表断更记录委员会秘书跟踪表恢复季度更新且连续两季有更新记录2027-Q20F-2026-04数据RAG知识库KB-2026-11-07文档无来源标签,检索时可被任意上下文引用二级表3“写入时文档标记”行数据工程角色该文档补来源和权限标签,重新索引后检索测试不再跨权限引用2027-Q10F-2026-05治理政策确认完成率68%,未达级别3所需90%三级表4KRI基线培训负责人下一季度政策确认完成率≥90%2027-Q20表5的“顺延次数”列是治理失效的早期信号。同一发现编号在连续两次复盘中顺延且责任人角色不变的,第三次复盘时该发现升级为一级,无论其原始分级如何。升级动作写入表5的分级列,并在复盘报告中单列。表6复盘失效排查表检查点打开什么看哪列合格条件(肯定式)换哪条路第一检查点复盘报告.docx“证据调用”段每个在役系统在模型、数据、治理三线各有一类记录被引用无引用的系统标记“证据不足”,补记录后再复盘第二检查点表2模型健康度评级“退化幅度”列每项关键指标有数值和基线对照无基线的系统先补基线第三检查点表3可重构性审计五个要求的“合格条件”列五项均有“合格”或“不合格+整改动作”的判定未判定的要求补做审计第四检查点表4治理评级“证据要求”列评级等级有至少两项KPI当前值支撑无KPI的等级标记“评级依据不足”第五检查点表5整改跟踪“顺延次数”列顺延两次以上的发现已升级或附升级理由未升级的顺延项在本次复盘中升级表6第一检查点在30秒内可执行:打开复盘报告,看“证据调用”段,任一系统三线中有一条无记录引用的,该系统的复盘结论按“证据不足”处理。五处全部合格而复盘结论仍停留在“总体可控”的,查表5中分级为一级的发现是否被写入了复盘报告正文;一级发现只出现在跟踪表而未进入报告正文的,复盘报告退回重写该段。六、复盘案例对照:三轮转折里哪些判断动作可以搬到自己的机构示例案例,细节为合理设定。某金融机构AI治理负责人负责首次年度复盘,在册系统12个,其中高风险4个。上一年度有委员会会议纪要、模型变更记录和部分数据批次台账,没有做过系统性复盘。起点:一份空白复盘模板、12个系统的清单、散落在三个部门的记录。第一轮。信号是表1证据调用时,4个高风险系统中有2个在模型线无内部回归测试记录,数据线有1个批次授权文件编号空白。假设是“记录缺失,补上就行”。试了让模型运营负责人补回归测试,对方回复“外部供应商的底层升级我们控制不了,以前没测过”。新信息是缺失的根源在变更管理流程没有把外部模型升级纳入内部回归测试触发条件。这推翻了“补记录”的假设。换路为在表2中把供应商底层模型升级列为独立的回归测试触发事件,要求每次升级后在固定基准用例上跑一遍,退化幅度按5%阈值判定。F-2026-01按二级发现进入整改跟踪。第二轮。信号是表3可重构性审计中,RAG知识库的文档元数据表显示大量文档无来源标签。假设是“文档入库时忘了打标签,补打即可”。试了让数据工程角色补标签,发现部分文档是从多个来源合并的,无法追溯原始来源。新信息是沿革记录的问题不在标签层面,在入库流程缺少“写入时标记”的强制字段。这推翻了“补标签”的假设。换路为在RAG入库流程中增加“来源标识+权限标签”为必填字段,未填的文档不进入索引;已入库的无标签文档按表5F-2026-04整改,重新索引后做跨权限检索测试。第三轮。信号是表4治理成熟度评级时,级别3的“风险处置记录率≥90%”一项,当前值为86%。假设是“接近达标,可以按级别3评定”。试了逐条核对未处置的14%风险记录,发现其中多数是低风险系统中的风险项,但SYS-02的委员会跟踪表连续两季未更新,属于高风险系统的治理断档。新信息是86%这个总数掩盖了高风险系统跟踪表的断更,而高风险断更的后果远高于低风险记录的缺失。换路为将“高风险系统跟踪表连续更新”作为级别3的否决项,SYS-02的断更按二级发现进入整改(F-2026-03),治理评级定为级别2(已定义),缺口动作写入表4下一等级行。终点:表1中12个系统有9个“可复盘”,3个“证据不足”并已排入整改;表2模型健康度评级中,SYS-02JSON合规率退化8%为警告级,其余在役系统均在观察级,无紧急或退役触发;表3可重构性审计中,数据沿革和写入时标记两项存在不合格批次,均已附整改动作;表4治理成熟度评定为级别2,缺口为高风险审查覆盖率和风险处置记录率,级别3所需的两项KPI有基线可跟踪;表5整改跟踪表共7条发现(一级1条、二级4条、三级2条),均有责任人和肯定式完成判定,顺延次数均为0。表7案例变量表变量案例中情形如果变量不同处置变化外部模型底层升级是否纳入回归测试触发初始未纳入,后补入已纳入第一轮直接进入退化幅度计算,节省一轮流程改造RAG文档入库是否有强制标记字段初始无,后补为必填已有必填字段第二轮直接检查标签完整性,不出现“补标签”弯路治理成熟度评级时是否设置否决项初始无否决项,总数86%掩盖高风险断档已设高风险否决项第三轮直接评级别2,不需要从“接近达标”折返复盘发现的顺延处理首次复盘,顺延次数均为0有历史顺延项顺延两次以上的发现直接升级,复盘议程优先讨论表中权重较高的变量是“治理成熟度评级时是否设置否决项”。它决定治理评级是停留在总数层面还是落到高风险系统的实质控制上,并连锁影响整改跟踪表中二级发现的优先级排序。七、提交委员会前逐项打勾表8三套场景操作序列场景适用条件保留的检查项删掉的检查项操作序列不能妥协的底线完整版多法人、高风险AI系统在册、需向董事会或监管提供复盘证据表1至表6逐表执行,三条线全量复盘无跑表1证据调用→表2模型评级→表3数据审计→表4治理评级→表5整改分级→表6失效排查每个在役系统三线有证据;一级发现进入报告正文;高风险系统评级有否决项精简版单一业务线、AI系统数量有限表1证据调用、表2模型评级、表3数据沿革与授权链两项、表4级别2至3评定、表5整改跟踪表3的“不可变变更记录”和“版本化数据集”两项(系统无内部训练时)、表6第四至第五检查点跑精简清单→按表2和表3保留项评级→按表5分级整改高风险系统有模型评级和授权链检查;一级发现有人有完成判定极简版个人学习、非治理岗位了解复盘结构表1证据调用清单结构、表5发现分级逻辑表2全量评级、表3全量审计、表4成熟度评定、表6排查表查表1确认复盘范围→按表5理解发现分级和整改跟踪复盘结论指向具体记录位置,停在“总体可控”的结论退回重写精简版删掉的检查项逐项列出:表3“不可变模型变更记录”和“唯一标识的版本化数据集”(当系统仅使用外部API且无内部训练数据时)、表6第四检查点“治理评级KPI支撑”和第五检查点“顺延升级”(当首次复盘无历史顺延时)。极简版删掉的检查项逐项列出:表2模型健康度全量评级、表3可重构性审计全表、表4治理成熟度评定、表6全部排查表。三套场景保留的检查项与完整版同名同口径,判定标准不因场景简化而改变。表9年度复盘输出前自查表检查位置检查什么合格条件(肯定式)不合格形态与退回动作表1每个在役系统是否三线有证据模型线、数据线、治理线各至少一类记录可调用不合格形态:某线填“见相关文件”;退回写文件名和列名表2模型评级是否有基线对照每项关键指标有基线和本次值,退化幅度已计算不合格形态:只写“表现稳定”;退回补数值表2退役触发条件是否可观察触发条件写有PSI阈值、AUC阈值或持续退化条件不合格形态:填“性能严重下降”;退回写数值表3可重构性五要求是否各有判定每项要求有“合格”或“不合格+整改动作”不合格形态:某项填“待补”;退回写明补什么、谁补表4治理评级是否有KPI支撑评级等级有至少两项当前值可查不合格形态:评级无数据支撑;退回标“评级依据不足”表5每条发现是否分级并绑定责任人分级为一级/二级/三级之一,责任人填角色名,完成判定为肯定式不合格形态:责任人填部门名;退回改填岗位名表5顺延两次以上的发现是否升级顺延次数≥2的行在分级列已升级或附升级理由不合格形态:顺延项原级保留且无理由;退回升级决策规则四条规则是否含执行与退路每条有可观察条件和退路动作不合格形态:出现“视情况调整”;整条重写案例转折是否有判断连锁每轮“以为问题在哪”由上一轮结果推出不合格形态:转折之间无因果引用;退回补连锁句四条决策规则决策规则一:如果表2中任一高风险系统的关键指标退化超过5%且与已知变更不相关,则该系统的输出进入人工复核,同时触发未解释漂移调查;如果调查在5个工作日内未定位原因,则退路为该用例降级为“仅生成草稿、不进入决策或对客环节”,直至原因定位或退役评估完成。决策规则二:如果表3中任一在役模型的数据沿革无法复现一个训练样本的输入,且差异无法归因于记录中的变换步骤,则该模型的复盘结论记为“不可审计”,不进入治理评级中的“已运营”证据;如果该模型属于高风险系统,则退路为在补全沿革记录前,对该模型的输出增加独立复核标记。决策规则三:如果表4治理评级中“高风险系统跟踪表连续更新”一项不满足,则无论其他KPI是否达标,治理成熟度最高评定为级别2;如果该缺口在下一个季度仍未闭合,则退路为委员会将该系统列入专项跟踪议程,每月更新直至连续两季完整。决策规则四:如果表5中同一发现编号连续两次复盘顺延且责任人角色不变,则第三次复盘时该发现强制升级为一级,占用当月整改资源;如果责任人提出顺延理由为“依赖外部供应商”,则退路为在整改跟踪表中增加“替代方案评估”子项,评估在供应商配合前可执行的临时控制。矛盾:表2要求对高风险系统的全部关键指标计算退化幅度并对照5%阈值,表3要求对在役模型的可重构性五要求逐项审计。两项动作落在同一组模型验证人员和数据工程人员身上,年度复盘窗口内无法同时按各自的完整覆盖面执行。实质分析:两项动作争用的是同一批具备模型评估和数据审计能力的工时,风险的时间结构不同。模型退化处理的是在役系统的即时输出质量,退化超过阈值的系统每天在产生可能不合格的输出;数据可重构性处理的是审计追溯能力,缺失的沿革不会立即改变模

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论