AI模型事件应急处置专项预案-000616

PAGE1AI模型事件应急处置专项预案摘要本文对AI模型事件应急处置专项预案涉及的高风险双人确认管理目的、数据集版本冻结适用范围、对抗与越狱测试操作流程、自动化决策告知检查考核、生成内容标识记录要求等事项作出规定，明确了相应的适用范围、职责分工、处理要求与记录口径。目次一、目的二、适用范围三、职责分工四、流程步骤五、风险提示六、检查与考核七、记录与表单一、目的（一）高风险双人确认管理目的。高影响操作必须经过两个相互独立的判断才能落地，本条要防的是单人误操作，也防经办人在现场压力下被带着走完流程，事后找不到第二双眼睛。覆盖的业务名单与触发条件由本条固定，哪类业务必触发、哪类不触发都事先列明，任何业务不得自设免检通道绕过，确有新增的走条款修订，修订前后各留一版记录。确认留痕既是事后追责的依据，也是对经办人的保护，留痕都能对上批次档案的人不受无端猜疑，缺一名确认人或时间对不上的操作视同未经确认，由责任岗位补交说明。确认与留痕两道动作由系统强制，凡可在表单上手填对方姓名的通道一经发现即下线整改，杜绝同一人分饰两角，整改完成前该通道已发生的操作全部回看一次并登记结果。（二）可解释性说明管理目的。一、这条要办的事，是让受模型决策影响的个人或部门拿到一份读得懂的因果说明，而不是只收到一个分数；分数之外没有理由，申诉与复核都无从谈起，返工会反复涌进同一个环节。二、说明要同实际决策依据保持一致，可解释性在这里与正确性捆在一起管，两边对不上就按缺陷处理；缺陷案件由说明出具岗与算法侧同查，查出的成因写进缺陷记录并限期回改，回改之后复验。三、出具说明的能力同时服务内部回顾与对外沟通，省下事后各自猜因的消耗；两种用途共用一套要素口径，内部版可以附技术细节，对外版按业务口径叙述，不得各写一套结论。四、说明的可读性本身算管理对象，要素齐全而普通读者读不懂的视同未出具；改版拿试读通过当验收标准，试读名单由归口岗随机抽取，试读意见随版本一起留档备查。（三）自动化决策告知管理目的。模型对个人作出有影响的决定之前，要把逻辑要点、可能后果与救济通道讲明白，本条要防的是决定已经生效而当事人仍不知为何如此，事后的追加解释只会再叠一层不信任。告知与申诉互为表里：只告知而不给申诉入口等于单方面通知，本条把两者捆绑落实，两处入口在页面上前后相邻，缺一即视为告知未完成而不能上线。防止告知流于形式同样要紧，长文无人读等于没有告知，要素齐全且读得懂才算完成，可读性按季度抽样验证，抽出的疑问回写进文案修订记录。告知不是免责声明：把后果讲清楚的同时保留个人提出异议的出口，两者齐备才构成本条所称的有效告知，对外表述由归口岗把关，改版后首月的申诉量变化作为一次效果回看，异常上升即重查文案表述。（四）灰度与回滚管理目的。本条把新版本的影响面先切成小块试水，异常即退回，避免一次全量投放酿成大面积事故，退回的时点与依据同场记录，便于事后回看切块是否够小。放量节奏与观察项挂钩，没有观察项支撑的流量不放，观察项不足的批次不升档，挂钩关系在发布方案里逐批列明，执行与方案不一致时以方案为准并回查当批值班记录。回滚触发条件事先写死，处置动作不靠现场讨价还价，也不留给个人临场裁量，条件一经发布不得在执行中口头放宽。放量批次与观察项的对应关系事先写入发布方案；方案缺少对照表的，发布岗有权拒绝执行并上报归口部门处理，补表期间的等待不计入发布时限，补表后重新排期并知会使用方；等待期内已放的批次停在原档不升，出现异常照常回滚，回滚本身不计入批次考核。（五）日志与追溯管理目的。一、模型给出一个结论，事后要能回答当初输入是什么、中间走了哪几步、谁介入改过，本条把这三段固定成可拼接的记录链，缺任一段即视为链条不完整，不完整段由该环节补交说明。二、追溯键是全链主线，同一请求从头到尾沿用同一标识，各环节不得自造字段，自造字段造成的对不上由该环节责任岗改正，改正期间不并入趋势，改正后重走一次拼接核验。三、断了一段的链条按证据不足处理，处理结论限于该次追溯而不扩到别件，补链后重新起算可比性，补不上的按存疑归档并写明缺口所在环节，环节说明随存疑档案一同保存。四、留存与删除同样要紧，本条一并按后果轻重约定保管期限与到期动作，防止该留的被清掉、该清的长期堆积，到期动作执行与否由保管岗按季度点验并登点验结果。二、适用范围（一）标注规则仲裁适用范围。规则文本理解不一致、类别边界重叠、新旧规则交替期这三类分歧场景适用本条，判定看分歧出在规则本身还是出在某人的操作上，两者走的通道不同。客户定制项目中甲方口径与内部通则冲突的，先按合同执行，同时将冲突点提交仲裁留档，供续约时修订通则，留档时注明涉及的项目与合同版本，免得同类冲突在下一个项目里重演。单纯执行走样，也就是未按既定规则标注的情形，属质检处理范围，不进入仲裁程序，误提交的由受理岗转回质检并记下转办时间。提交仲裁的分歧须已经过组内讨论仍无共识，未走完内部确认直接上会的退回补齐，补齐材料含讨论记录与两种理解各自的理由。紧急批次可并行处理，但事后须补录讨论记录，补录期限按本单位自设的回补时限执行，逾期不补的该案回到待议状态，已发出的临时口径同时作废。（二）外部生成工具使用适用范围。日常办公中调用外部生成式服务的行为都适用本条，含个人设备与个人账号上的使用，不因载体在单位之外而豁免，登记时写明工具名称与使用场合即可。已按机构接口准入的外部服务按第三方接口条款管理，不在本条之内，两套条款的分界以准入记录为凭，查不到准入记录的仍回到本条处理。纯资料检索类工具不在限制之列，但复制其结果进入交付物时适用署名与核对要求，核对由内容负责人完成并在稿件上留痕。外部工具的免费额度或试用行为同样受本条约束，试用不改变数据投向；以个人邮箱注册工具处理公务数据的，按清单外使用情形登记处理，登记后由安全岗在一个处理周期内给出答复，答复仍维持清单外的，把该次公务数据按外流排查一遍并出说明，排查结论与登记件同卷存放。（三）数据集版本冻结适用范围。支撑上线评审与结论复现的数据集合适用本条，训练、验证与对照三类都在内，判定看这份集是否被结论引用，不看它规模大小或打算留多久。探索性实验用集可不冻结，一旦其结论进入正式报告就必须先补冻再引用，补冻时点写在报告附注里，未补冻而已经引用的按引用无效处理并在下期更正。外部接口回传样本进入正式集之前纳入冻结管理，回传原始段短期保留，保留时长按本单位自设的留存窗口执行，窗口届满的原始段由平台岗清理并留一份清理清单。冻结义务不豁免日常备份，备份件与冻结件分开管理，两处存放位置在登记时分别注明；备份回滚不得覆盖冻结版本，误覆盖的只能以解冻重冻方式修复，修复说明里写清由谁发现、何时发现。三、职责分工岗位或事项职责与要求自动化决策告知职责分工一、业务方设计告知文案并留存历次版本。二、法务合规审查表述边界，重点核对后果描述与申诉途径。三、客服承接申诉并按归因流程转办；转办时限纳入服务指标考核。四、三方时限责任分别考核：文案版本滞后归业务方，表述越界归法务合规，转办超时归客服；三条线互不顶替，转办超时判定以工单时间戳为准，客服不得事后补录时间。投诉错误归因职责分工一、客服一线按渠道初分并挂上追溯键。二、算法岗核对复现结果，判定是否为模型错误。三、数据岗排查输入质量；三方结论汇总到归口部门定案，定案分歧上委员会。四、定案会议每月一次，三方到齐方可定案；未定案案件在台账保持挂起状态，期间不计入任何一方的差错统计，定案所需日志由归口部门统一调取，调取情况登记于案号之下。对抗与越狱测试职责分工一、安全测试岗负责出题与执行，每月从事件记录与规则变化中补充新题。二、算法团队负责修复被打通的路径，并就加固手法提交说明。三、业务方提供本场景不受控输出样例，协助划定高危边界；边界争议由评审组裁定。四、高危边界有分歧时先按业务方的从严主张执行并留痕，随后提请评审组终裁；分歧讨论期间测试工作照常推进，不允许停摆等待。人工复核岗职责分工一、复核员归质量管理序列，其绩效不与处理量挂钩，防止赶量弃质。二、系统权限由安全岗配置；复核意见覆盖线上结论的通道仅复核员账号可用，操作全程留痕。三、算法团队负责呈现复核所需的依据要素，但不介入具体判断，也不得私下打听复核结论。四、复核员与算法团队意见分歧按记录上报而不当场调和，复核结论先行生效；算法侧不服的走复议通道，不得私下施压。第三方模型接口职责分工一、接入方提交拟传数据类型、字段范围与调用量预估。二、安全岗完成接口防护测试，重点验证异常输入下的行为边界。三、采购岗落实合同条款；合规岗核对对方的内容标识能力与算法备案情况，两项缺一不出具准入结论。四、安全岗的防护测试与合规岗的材料核验并行开展、分别出具结论；两结论冲突时暂停接入流程，提请归口部门裁定后再走。四、流程步骤立项风险分级操作流程一、需求方填立项申请时先写三项要素，用途、影响对象与数据来源，系统按这三项给出初始档位；要素缺项的申请不产生初始档位，退回补全后重新计算，不由经办人口头估一档。二、初始档位由算法负责人对照能力边界材料复核，认定偏低的要书面说明理由并附同类事件记录；只写结论不附记录的视作复核未做，退回重走一遍，材料版本与复核日期一并留下。三、评审组在五个工作日内出定档结论；判为高档的需求还要追加可解释性说明与人工复核岗两道前置件，两项齐备且结论进了台账才允许排期开发，缺一即留在队列之外。四、定档结论落款写明档位、复核深度与追溯要求三项，需求方签收之后才排进开发队列；签收逾期按退回重新说明处理，重新说明另起一行留档，台账里的首次申请日期不得覆盖。↓对抗与越狱测试操作流程一、出题人按业务场景列出攻击手法分类，每类至少备一道，出现空档当次记入题库预警，预警由出题人在本单位自设窗口内补齐，逾期不补的当轮测试结论降级为参考。二、执行时同一道题再跑若干近似改写，命中与拒答分别登记，判分结果要人工看过样例之后定档，未看样例的在复核时退回重判，沿用原轮次号，重判结果与原判分并列。三、被打通的按后果分派修复责任人，修复说明与复测记录配对着归档，只有结论而无记录的一律不受理，受理与否由归档岗在入档时点判定并回执给执行人，回执缺失的按未归档退回补件。四、题库按月盘点一次，新增与下线题目形成差分说明，旧题结论继续留档但不单独充当放行材料，差分说明随当月测试排期一并送到执行岗留存，年末按差分汇总一次并送评审。↓数据集版本冻结操作流程一、申请方提交数据清单与参数文件，平台按整体内容算出校验码并留计算环境说明，说明与校验码同批入档，缺说明的视同未冻结而不排评审，评审前补全说明的按原请求时刻受理。二、校验码与版本号写入登记，副本转只读并交付评审使用，写入权限只保留在平台一侧，保留范围每次复核时点验一次并记录点验结果，结果异常的平台侧暂停写入并回查上一批次。三、需要修补的走解冻重冻，出新版本号而旧版保留不覆盖，两版并存供追溯，解冻与重冻两个时点由平台岗登记，中间时段不接受报告引用，引用落在该时段的退回补注时点。四、评审报告引用的版本号与校验码逐一回查，查不到的退回补登，补登未完成前不进入放行环节，试验阶段自取的子集不占正式版本号，未补登记就写进报告的引用不作放行材料。↓灰度与回滚操作流程一、发布之前核对模型卡编号是否对应，并确认回滚路径可用；核对由发布执行人与复核岗各做一次，两次结论都写进发布单，只有一人签署的不予发布，退回补齐之后再排时段。二、首批放量之后逐项观察预设指标，把与预期的差异记录下来；观察期没满就申请下一档的，申请退回原档继续观察，退回时段记入放量台账，防止靠缩短窗口赶进度。三、推进按档走，任何一个档触发条件就立即执行回滚并冻结新增申请；冻结由发布岗落地并在台账标注解冻条件，解冻要等归因结论与复测记录同时齐备，缺一即维持冻结。四、回滚之后保留异常现场数据供归因，归因结论没出来之前不能再升档；每批观察结束出一张小结单，写明指标走势与异常样例编号，小结单没归档的批次，下一批放量申请不予受理。↓算法变更评估操作流程变更单先把意图、范围与预估影响面写清，缺任一项由受理岗退回，不允许在评估过程中边做边补。对照运行固定用冻结验证集，产出的分歧清单按影响大小分档，分档标准与验证集版本号写在同一页，事后换集重跑的结论只作参考而不作依据。涉高影响的补做专项测试，测试结论并卷归档，并卷时注明由谁判定为高影响，理由不充分的退回重议。批准后按灰度节奏生效，生效后开窗观察一个完整周期再宣告完成，观察期内出现与该变更相关的新告警时执行回滚并重新评估。宣告完成之前小结单必须先入台账归档，小结单须引用具体告警编号，笼统描述的不算完成，台账里查不到编号的变更在月度盘点中列为未结事项。回滚后的重新评估自该告警编号起算，评估沿引用原变更编号，避免同一变更两处立项占用发布窗口。五、风险提示（一）人工复核岗风险提示。一、复核盖空章的风险最大，人均处理时长短到反常就是首要信号，说明复核员没有真看依据要素；时长数据每周单独列一次，连续偏离的那一周由组长抽样回看判定过程，回看结论留行。二、复核权限被挪去直接改动模型配置属于越权，审计告警要配起来并在盘点里单列一栏；盘点没覆盖这一栏的视同告警未配置，补做由安全岗限期完成并留下完成日期，逾期点名。三、队列积压之后临时放宽通过标准，会跟既定监控口径冲突；要不要放宽只能由治理委员会裁定，组长没有自行松口的权限，未经裁定的松口按无效判定处理，涉及案件全部退回重做复核。四、要素展示不全是空章的温床，复核员看不到关键依据就只能凭直觉落笔；系统升级时先验收要素是否齐全完整，再谈处理时长考核，顺序颠倒会让考核逼着人签空章。（二）日志与追溯风险提示。日志类风险多在事发当天才暴露，字段缺哪一项平时无人追，事故一发生只剩半截记录，归因只能凭猜测落笔，责任也就回不到具体环节。关键字段的取舍要在接入阶段由日志归口岗与业务岗共同确认，确认结果随批次写入字段清单，改动人与改动日都可回读，清单与实采内容对不上时以清单为准，缺口由归口岗限期补齐。留存期不宜一刀切，一律拉长会让存储开销无声上涨，一律缩短又会把还该留的证据提前删掉，事后自证合规缺少凭据，档位要按场景影响面分设，每半年由运维与业务共同重数一次并留盘点记录。各节点时钟不同步会让追溯键串不起因果链，时间源校正方法与可容忍偏差值须写进运维口径并定期检查执行情况，缺一次检查就把该窗口的告警按不可信处理。（三）外部生成工具使用风险提示。顺手粘贴一段内部资料求润色是最常见的泄露路径，动作小、频次高、难以全量拦截，只能在事前把可投与不可投写成具体字段，靠经办人当场判断并不可靠。工具输出看着通顺，事实与数字未经核对就进入对外文件，出错后署名方无从解释来源，署名前要把每处数字回到内部依据上，这一步由复核人完成而不是起草人顺带做。清单更新滞后于工具流行度，员工已在用新工具而规则没跟上，管理真空期由此产生，遇到主动询问的未列工具，安全岗应在当季评估里先给一个临时说法。清单调整节奏固定为季度一次，紧急下架除外，变动过频会造成执行混乱；紧急调整当日须同步更新培训要点，并把要点送达到使用集中的岗位，发送记录留档备查。（四）灰度与回滚风险提示。一、各批流量构成不同而指标算法相同时，批间波动容易被误读成版本问题，错滚正确版本既占窗口又消耗排查人力，放量请求提出时由发布岗先核对各批人群构成能否比较。二、回滚对象不止模型本体，配套配置、阈值与映射关系要一并退回上一登记版本，只退模型留下新旧混搭，故障比原版本更难定位，排查耗时成倍上升，切换由值班岗点验。三、长期停在灰度档不上不下，观察责任会逐渐散佚，最终变成无人认领的半截工程，超过本单位自设的停留时限仍未收口的批次，须重新提交放量方案，写明继续推进还是退回起点。四、观察指标与放量决策一旦脱节，回滚条件就形同虚设，指标选取须与业务方书面确认并在放量台账留有确认页，事后各方解释不一时以该页口径定案，缺确认页的批次只作参考。六、检查与考核检查项检查与考核要求自动化决策告知检查考核一、季度抽检查询送达记录与文案版本一致性，旧版仍在生效的限期切换。二、统计申诉改判率：改判偏多说明当初告知误导，文案须回炉。三、核对文案更新后的线上生效情况，防止改了库没改了页面。四、送达抽核对新上线场景首月全量覆盖，之后改抽样；集中抽核发现的问题由归口部门当月通报，责任岗限期整改，整改复查由归口部门在次月抽核中优先覆盖。可解释性说明检查考核一、季度抽核对外说明与实际决策依据的一致率，不一致样例逐一回看。二、申诉案件中统计因说明含糊引发的二次申诉，占比偏高的项目限期改版文案。三、检查模板版本：旧版停用之后仍批量生成旧版说明的，追责发布岗。四、一致率抽核每年至少覆盖全部高影响场景一次；覆盖面未达标的归口部门，须在年度考核中书面说明原因，抽核名单以上线台账随机抽取确定，避免固定样本掩盖问题。漂移监控窗口检查考核一、季度检查各在运行模型是否具备基准快照与窗口配置，缺项按上线材料不全追补。二、抽查告警之后的处置记录：无下文告警逐条询问责任人并登记。三、年度回顾误报与漏报情况，据此调整窗长与告警线，调整须经评审组确认。四、窗口配置年度回顾同时排查漏报：线上事故回看时偏移早已越线却未告警的，检查当初告警线设定是否依据不足。数据去标识化检查考核一、季度抽验已入语料库的批次，随机选若干字段做组合识别测试，仍能对应到个人的整批退回重做。二、核对处理记录与验收结论是否逐字段对应得上，记录缺项的视同未验收。三、对