AI模型事件应急处置专项预案-000426

PAGE1AI模型事件应急处置专项预案摘要本文对AI模型事件应急处置专项预案涉及的立项风险分级管理目的、立项风险分级适用范围、自动化决策告知操作流程、高风险双人确认检查考核、漂移监控窗口记录要求等事项作出规定，明确了相应的适用范围、职责分工、处理要求与记录口径。目次一、目的二、适用范围三、职责分工四、流程步骤五、风险提示六、检查与考核七、记录与表单一、目的（一）立项风险分级管理目的。一、模型使用需求在排期落定前先定风险档位，档位决定后续评审做到多深、由哪一层批准；本规程把定档动作挡在开发启动之前，防止先做出来再补一份评估。二、定档只看三类后果：会不会牵动人员与财物安全，要不要直接处置资金或额度，是否替人作出影响个人权益的判断；占上一项就不得按最低档登记，受理岗逐项打勾并留名。三、自研、外购、接口接入取得的用途都要定档，交付形态不同不构成豁免；只动界面文字且判定逻辑未变的零星修改可走简化通道，简化是少填几栏，绝不等于免评。四、档位结论由算法评审组写入需求台账并标注日期，事后争议以台账所载为准；台账查不到档位的任务排期环节应当拦下，补登须写明漏登原因与办理时段，走简化通道的理由也在台账里留一句。（二）算法变更评估管理目的。一、模型上线之后的改动比上线之前更要紧，因为下游已经在用，本条把涉及判定规则、输入特征、阈值设定与外部通道的每处改动都变成有对照、有批准、有观察的请求。二、评估看行为差而不是改动幅度，只动一处而判定翻面的按高风险处理，改动很大输出却完全一致的走简化登记，两条路径的选择理由随变更单留档备查并写明判定人。三、简化登记不等于免观察，登记件仍要在本单位自设窗口内回看线上表现，回看发现行为偏移即升回完整评估，升级时点由评审席书面确认而不口头通知，通知抄送下游岗位。四、本条同时堵住未经申请的线上变化，供应商侧版本更换由接入方代为发起，事后一律倒查当初的放行环节，倒查结论写入变更台账并同步受影响的下游岗位。（三）模型下线替代管理目的。下线要做成有计划的动作：替代留好、依赖安顿完、追溯保得住，三者齐备才允许停服，缺一即回到准备阶段，不允许先停再补。防的是悄悄停服让下游悬空，报表与流程还在引用一个已经不存在的服务，等到出数异常才发现，届时解释成本远高于事前一次通知。下线信息向各依赖方同步的时限与方式一并固定，不搞临时口头通知，同步记录里写明发送对象与发送时间，回执缺失的由经办岗补催一次并记下结果。本条与变更评估的分工为：单版本替换走变更流程，整体退出走下线流程，判定依据是服务是否继续存在；拿不准的按下线从严办理，避免留下无主服务，两套流程不并行发起，误发起的一方自行撤单并写明原因，撤单记录保留到下一次同类申请受理时，作为分流判断的参考。（四）灰度与回滚管理目的。本条把新版本的影响面先切成小块试水，异常即退回，避免一次全量投放酿成大面积事故，退回的时点与依据同场记录，便于事后回看切块是否够小。放量节奏与观察项挂钩，没有观察项支撑的流量不放，观察项不足的批次不升档，挂钩关系在发布方案里逐批列明，执行与方案不一致时以方案为准并回查当批值班记录。回滚触发条件事先写死，处置动作不靠现场讨价还价，也不留给个人临场裁量，条件一经发布不得在执行中口头放宽。放量批次与观察项的对应关系事先写入发布方案；方案缺少对照表的，发布岗有权拒绝执行并上报归口部门处理，补表期间的等待不计入发布时限，补表后重新排期并知会使用方；等待期内已放的批次停在原档不升，出现异常照常回滚，回滚本身不计入批次考核。（五）治理委员会议事管理目的。本条要让委员会会议真能解决问题：议程怎么排、多少人到场才算数、结论有什么效力、执行由谁盯，都事先立好规矩，靠现场临时商定只会让结论打上个人色彩。议事口径不得被个人偏好随意解释，会议记录经与会人确认后即为可依据的正式版本，事后对文字有异议的走修订程序而不私下改。各归口部门由此得到可预期的裁决窗口，积压事项知道大致何时能上会，排队顺序与议题登记时间挂钩，插队须由委员会当场同意并记进纪要。议事规矩本身也接受监督：执行中的理解分歧由秘书处逐条登记，累计达到一定数量后作为议题提交表决修订，修订前的分歧按秘书处给出的临时口径执行，临时口径有效至新版议事规则生效。登记分歧时把提出场合与对应议题编号写全，凑不满数量的先并题而不单独成题。二、适用范围（一）可解释性说明适用范围。一、对个人或客户作出准入、拦截、排序以及差别对待的模型输出在约束之列；算不算这类输出，看它落到某个人身上会不会改变其处境，由说明出具岗在受理时标注，标注随工单留档。二、纯内部统计报表不受本条约束；报表口径一旦被拿来评价个体，其引用方式就转由本条管，引用要注明报表版本与统计时段，断章取用的按违规引用登记并退回。三、结论出自第三方模型时，说明义务通过合同要求接口方提供要素，我方不能以技术不透明为由拒绝转述；接口方不配合的由接入岗书面记录，并提报归口部门处理后续接入。四、场景落不落在本条之内，以输出对个人造成的实际影响为准，系统自称只是辅助决策不构成豁免；影响难以判定时按从严一边解释，解释结论写进受理记录并注明日期。（二）生成内容标识适用范围。模型生成或大幅改写后对外发布的文本、图像与音视频材料都要带标识，判定看发布动作而不看起草方式，内部辅助写作草稿不在本条之内。内部稿件一旦转向对外发布，标识必须在发布前补上，补标时间由承办人写进送审单，漏补而已外发的按漏标处置并回写台账。接口方产出的内容同样适用，标识能力已列为准入条件，准入材料里要能查到这一项的核验结果，未通过的接口不得承载对外内容。内容形态新增时标识方案先评估后上线，评估期内发生的漏标不追责经办个人，归口部门须限期拿出适配方案，期限按本单位自设的评估时限执行并在方案单上注明。形态判定细则由归口部门维护，边缘案例按仲裁结论补充进附录，附录更新后旧判定不追溯，交替期以送审当日生效的版本为准。（三）立项风险分级适用范围。一、业务部门与技术部门提出的模型使用需求全部纳入分级，首次立项和用途变更后重新立项都在列；算不算变更，由受理岗看决策行为有无变动来判定，拿不准的先定档再复核。二、只改界面文字、修补缺陷而决策行为没有变动的改造不必分级，但要在需求台账留下登记，并由立项评审组给出书面确认；缺这份确认的按未定档处理，排期不予放行。三、给内部效率工具做的试验性需求一样要参与分级；试验环境接上真实业务数据之后，一律按不低于中风险的档位对待，接入时点由环境管理岗记录在案并通知评审组。四、是否属于只改文字，以台账所载说明与验收记录共同判定，说明写不清的按应分级处理，不由提出方自行认定；简化通道每季度回看一次，看有没有被泛用成免评。三、职责分工岗位或事项职责与要求立项风险分级职责分工一、需求提出部门负责如实描述业务动作、影响对象与数据来源，不得以模糊表述压低档位。二、算法团队负责给出模型能力边界判断与既有同类场景的对照材料，供评审组定档参考。三、合规与运营部门组成立项评审组，按分级表核准档位并指定后续复核深度；对争议场景，提交治理委员会裁决，裁决结论当日回填台账。四、评审组对档位结论负终审责任，因需求方或算法方提供的材料不实导致误判的，按材料责任另行认定并当场补正档位。数据集版本冻结职责分工一、数据平台执行冻结、计算并登记摘要值，保障副本只读。二、评审组核对报告中引用的集合版本与线上件是否一致，不一致即停评。三、申请方对解冻事由作书面说明；未经批准的原地改写由使用方担责。四、平台对副本只读性负责，评审组对引用一致性负责；两方都覆盖不到的中间环节问题，由季度盘点补位追查，盘点发现问题按环节归属登记，不笼统归咎数据平台。治理委员会议事职责分工一、召集人审定议程并确认材料齐备，材料不齐的议题顺延。二、秘书处记录纪要、跟踪决议销号，并维护历史口径对照。三、成员须会前提交书面意见；缺席成员可委托本部门人员列席，但表决权不随之转移。四、秘书处对纪要准确性负专责；纪要定稿前给成员一次核对窗口，核对意见与定稿文本之间的差异同样留档保存，核对窗口以两个工作日为限，逾期意见并入下次会议。供应商算法备案核验职责分工一、采购岗收集备案信息与算法类型描述，核对材料有效期。二、合规岗判断备案覆盖范围与本项目实际用途是否吻合，出具相符或存疑意见。三、业务方说明实际调用方式与输出用途，供两岗比对；隐瞒用法的，责任由业务方承担。四、三岗意见不一致时以合规岗的存疑意见优先处理，付款流程随即挂起；业务方补正用法说明、存疑关闭后方可重启。对抗与越狱测试职责分工一、安全测试岗负责出题与执行，每月从事件记录与规则变化中补充新题。二、算法团队负责修复被打通的路径，并就加固手法提交说明。三、业务方提供本场景不受控输出样例，协助划定高危边界；边界争议由评审组裁定。四、高危边界有分歧时先按业务方的从严主张执行并留痕，随后提请评审组终裁；分歧讨论期间测试工作照常推进，不允许停摆等待。四、流程步骤标注培训与抽检操作流程一、新成员先把规则学完再跟标，由老成员带着做一小批试标，试标只用来校准理解，不进产量统计；带教人在试标单上写一句判断，说明理解偏差落在哪几类。二、标准答案摆在手边，考核员按题逐条讲评，讲评记录归档之后才可以申请上岗资格；记录里缺讲评人姓名或者归档日期的，上岗申请不予受理，补齐材料再排时段。三、生产抽检暴露的问题逐人归集，同一错误出现两次的安排回炉培训；回炉期间只承接低风险档任务，复训合格再排回原档，归集名单每周由组长与质检岗各出一份相互核对。四、排产权限与回炉培训记录联动，没完成回炉的人拿不到原档位任务；试标与考核期间的数据不进任何产量报表，报表口径与归集名单对不上时以名单为准，差异由组长书面说明。↓自动化决策告知操作流程告知节点与展示位置在业务场景立项时同步设计，不留到上线前补做，立项单上注明谁负责文案、谁负责页面，两项缺一不得进入开发。上线前测试送达与页面呈现，并抽样验证可读性，样本按人群与入口分取，抽中的原文页面留档，改版后调不出旧页的算测试未做。申诉到达后转入复核队列，复核结论回告并记入台账，回告时点与送达方式逐条填写，台账缺行的事项在月度归集中列为漏项。案例按月归集，反复出现同一疑问的修订文案，同步更新客服话术，避免页面已改而解释仍按旧文案，话术版本号附在当月案例归集报表之后备查。话术与文案的对应关系由客服主管按月核对一次，错位的当场指定修订责任人，连续两月未改正的转入客服质量问题清单处理。↓治理委员会议事操作流程一、秘书处提前把议题与材料发给成员，凑不齐材料的议题押到下次会，成员会前提交书面意见，意见归集情况在会前一日反馈给议题申报方，反馈之后仍未补齐的议题自动押会一次。二、会上先议高风险放行事项，表决时合规与算法两方须到场，两方缺一即改期表决而不以书面意见代替到场，改期后优先排入下一次议程，改期次数记入议程台账并随纪要公开。三、结论与异议一并写进纪要，涉高风险放行的决议要附反对理由全文而非只留一句结论，纪要由记录岗成文后经召集人签发，签发前不改写发言原话，原话校读由提出反对的成员本人确认。四、决议按时限销号，秘书处跟踪办结情况，连续两次未结的自动列入下次议程的首位，临时动议由召集人当场宣布是否成立并记入纪要，事后不以口头改变其资格，资格争议由召集人裁明。↓漂移监控窗口操作流程一、每天把线上输入特征聚合一次，算出与基准快照之间的统计距离，距离值连同取数时段落在监控表上；聚合缺日的当个窗口不算有效观测，缺几天在台账上如实标注，不由事后补数顶替。二、连着两个窗口越过提示线就把算法团队拉进研判，形成加固或者缩量的建议；建议要写明由谁执行、多久回看一次，回看时段到了由监控岗核对有没有落地，没落地的续登一期。三、判为数据侧原因，例如上游采集格式变更的，转去源头修复，同时重设快照；快照重设要留新旧两版对照，对照缺失时下一轮距离数字失去参照，研判只能重来一次。四、一旦越过强制线，就按灰度与回滚条款执行，执行结果回写监控台账；研判结论分数据、模型、混合三类，混合类同时派给两个责任岗，只派一岗的按未完成登记并退回补充。↓人工复核岗操作流程一、模型输出打上标记进入待复核队列，队列长度与等待时长同时可见；标记缺失的输出由接入岗补标后入队，补标时段记入台账，长期漏标的按接口缺陷提报，不靠复核员事后追补。二、复核员对照展示要素在维持、修正、退回重跑三种结论里选一种；要素不全时不做强行判定，先退回补齐要素再复核，退回与补齐都留下时间戳，时间戳供时长统计回读。三、修正结论要附理由回传，线上生效以复核之后的结论为准；理由写得含糊的由模型负责人退回重写，重写次数计入月度记录，避免同一处反复修正却无人跟进根因。四、退回重跑的案件由算法侧排查原因，同一特征在两日之内又入队的升级给复核组长处理；同类修正累计到专项阈值就转漂移监控研判，免得各团队零碎修补而问题留在原处。五、风险提示（一）第三方模型接口风险提示。把内部敏感字段原样送出接口是最直接的泄露路径，脱敏口径要在联调前由双方书面确认并各留一份，确认件与联调记录同卷保存，事后任一方改口径都要重新签认，未重签造成的字段外流由提出改动的一方担责。外部接口悄悄改版时，输出风格与限制条件一起变化而无人察觉，下游内容跟着劣化，责任却记在我方账上，版本变化的通知义务应写进条款并落到接收岗，收到通知即做一轮对照。服务中断而备援方案缺位，业务会临时找替代品，风险叠加两层。限额形同虚设时接口被批量任务挤占，正常请求反而超时，限额调整须走变更评估，不得以临时扩容名义长期维持现状，扩容到期的回收由平台岗在评估单上回填确认，未回填的按超期占用登记。（二）训练数据合法性风险提示。一、把网络公开语料当作默认可用是最常见的误区，权利人对训练用途提出异议时，用到该语料的模型版本都可能停用，处置代价远高于当初的采集开销，风险其实在入库那一刻就已形成。二、二次混合出来的数据集最难追溯，来源混洗之后按批剔除做不到，所以分装前的批次快照必须留住；快照缺失时一处瑕疵会连累整库，责任记在没留快照的那个环节。三、用户在协议改版前后留下的交互记录，容易混用适用的版本，归因要靠写入时间戳，采集侧不得丢掉这个字段；字段缺失的记录由归口岗单独隔离，等版本判明之后再定去留。四、上面三处风险每季度回看一次，看观察清单与隔离区有无积压；积压超出本单位自设时限的，由归口岗提报处理方案，方案定下之前不再分配新的存储配额。（三）灰度与回滚风险提示。一、各批流量构成不同而指标算法相同时，批间波动容易被误读成版本问题，错滚正确版本既占窗口又消耗排查人力，放量请求提出时由发布岗先核对各批人群构成能否比较。二、回滚对象不止模型本体，配套配置、阈值与映射关系要一并退回上一登记版本，只退模型留下新旧混搭，故障比原版本更难定位，排查耗时成倍上升，切换由值班岗点验。三、长期停在灰度档不上不下，观察责任会逐渐散佚，最终变成无人认领的半截工程，超过本单位自设的停留时限仍未收口的批次，须重新提交放量方案，写明继续推进还是退回起点。四、观察指标与放量决策一旦脱节，回滚条件就形同虚设，指标选取须与业务方书面确认并在放量台账留有确认页，事后各方解释不一时以该页口径定案，缺确认页的批次只作参考。（四）治理委员会议事风险提示。材料会前才发，与会者当场消化，讨论只能浮在表面，决议质量最差，提前量由秘书处在发材料时记下日期，未达提前量的议题先退回补件而不排进本次议程。多数通过而异议被忽略时，执行层面表面上接受、背后搁置，同一事项半年后又重新上会，附在纪要后的反对理由全文就是防这一手，缺全文的纪要不生效。纪要简到看不出结论边界，各部门各自解释，口径分裂往往从文字省略处开始，结论要写到谁在什么时限内办什么，读者不必再问一遍。材料提前量连续两次不足的会议，秘书处应申请延期而非硬开，延期理由与两次不足的记录一并写明；仓促通过的决定往往成为下一轮会议的返工议题，返工时把上次纪要与延期记录同时调出，避免同样情节重演。六、检查与考核检查项检查与考核要求高风险双人确认检查考核一、按月统计名单内操作的签署完整率，缺第二签却已经执行的逐笔询问并登记。二、抽查确认界面能否还原请求原文，快照与版本对不上的记管理缺陷。三、核对两签人是否分属不同序列，同岗互签的要追溯当月全部相关操作。四、追认通道使用次数逼近上限时提出预警，频繁使用的重新审视名单是否漏了场景。五、账号互斥检查的结论随当月名单存档，异常项限期消缺并回报闭合情况，逾期未闭的列入下次首查。数据集版本冻结检查考核一、季度盘点在册冻结集，把登记校验码与现件比对，对不上的追溯改动发生在哪一时段。二、抽查报告所引版本能否在登记里查到，查不到的按材料缺失处理并要求限期补登。三、统计年内解冻次数与理由类型，以修补缺陷为由批量解冻的列入专项复核。四、检查子集截取有没有写明来自哪一版源集、按什么条件筛过，缺项的子集不得继续出现在报告里。离线验证口径检查考核一、季度抽查归档报告，随机复算其中一份，复算差值超出容忍范围的追究口径管理责任。二、核对验证副本校验码与冻结登记是否一致，被改动而未走重新冻结流程的记流程违规。三、对比达标目标与线上实际表现：指标连续达标而事件频发的项目，回看其指标定义是否选偏。四、复算差值超出容忍范围，除追究口径管理责任外，还须回看该报告对应模型的上线评审结论是否受影响，必要时召开专题复核。标注培训与抽检检查考核一、月度检查比对培训签到、上岗考核与抽检结论三张表，缺环即记管理缺陷。二、按人统计误标率并绘趋势线，连续两月居前两位的暂停高风险任务资格。三、用抽检数据回看培训有效性：宣贯后同类错误未降的，视为培训无效项，重新