AI模型开发流程-000428

PAGE1AI模型开发流程摘要本文对AI模型开发流程涉及的自动化决策告知管理目的、密钥访问控制职责分工、训练数据跨境检查考核、训练数据跨境记录要求、灰度与回滚衔接条款等事项作出规定，明确了相应的适用范围、职责分工、处理要求与记录口径。目次一、目的二、职责分工三、流程步骤四、检查与考核五、记录与表单六、附则一、目的（一）自动化决策告知管理目的。模型对个人作出有影响的决定之前，要把逻辑要点、可能后果与救济通道讲明白，本条要防的是决定已经生效而当事人仍不知为何如此，事后的追加解释只会再叠一层不信任。告知与申诉互为表里：只告知而不给申诉入口等于单方面通知，本条把两者捆绑落实，两处入口在页面上前后相邻，缺一即视为告知未完成而不能上线。防止告知流于形式同样要紧，长文无人读等于没有告知，要素齐全且读得懂才算完成，可读性按季度抽样验证，抽出的疑问回写进文案修订记录。告知不是免责声明：把后果讲清楚的同时保留个人提出异议的出口，两者齐备才构成本条所称的有效告知，对外表述由归口岗把关，改版后首月的申诉量变化作为一次效果回看，异常上升即重查文案表述。（二）数据去标识化管理目的。一、带个人身份要素的信息在进入训练语料之前必须先行处理，处理深度与验收办法由本条统一，免得各团队按各自理解掌握尺度，同一批数据出现深浅不一的结果。二、处理不是删掉几个字段就算完，复原路径要一并评估清楚，本条要求把处理结果与所用复原手段分开登记，两份记录交由不同岗位保管，便于事后对照复核。三、经批准保留的少量可复原样例只能用于专项验证，不得转作其他训练用途，用毕由保管岗回收并登记用途、时段与经手人；超出批准范围使用的按违规使用认定，验证结束即销毁并留销毁行。四、除上述批准样例之外，一切训练用途都以不能直接对应到个人为底线，此处即该底线的正式出处；验收发现仍能对应到个人的，整批退回重做，不允许经办人自行修补后再报。（三）外部生成工具使用管理目的。本条给员工使用公网生成工具划出可执行的边界，既防内部信息外流，也防未经核对的生成内容直接流入正式交付物，两个方向缺一不可，只堵外流会把使用行为推向更隐蔽的通道。边界以清单方式表达，能用什么、不能投什么都写到具体工具与字段，一目了然，不以泛泛禁止代替操作指引，指引读不通的由使用人反馈后修订。违规处理兼顾告知与救济，首次以纠正为先，纠正记录与培训签到对应，屡犯再进问责，问责时把前次纠正记录作为依据，避免同样情节给出两样处理。划边界之外还有示范：归口部门定期公布合规用法案例，让员工知道怎样用是安全的，而不只知道怎样用会受罚，案例引用前先隐去可识别的项目信息并经内容负责人核一遍。（四）可解释性说明管理目的。一、这条要办的事，是让受模型决策影响的个人或部门拿到一份读得懂的因果说明，而不是只收到一个分数；分数之外没有理由，申诉与复核都无从谈起，返工会反复涌进同一个环节。二、说明要同实际决策依据保持一致，可解释性在这里与正确性捆在一起管，两边对不上就按缺陷处理；缺陷案件由说明出具岗与算法侧同查，查出的成因写进缺陷记录并限期回改，回改之后复验。三、出具说明的能力同时服务内部回顾与对外沟通，省下事后各自猜因的消耗；两种用途共用一套要素口径，内部版可以附技术细节，对外版按业务口径叙述，不得各写一套结论。四、说明的可读性本身算管理对象，要素齐全而普通读者读不懂的视同未出具；改版拿试读通过当验收标准，试读名单由归口岗随机抽取，试读意见随版本一起留档备查。（五）上线公平性测试管理目的。一、上线之前要用公平性测试发现模型对某些人群子组表现失衡，把算法偏见挡在服务入口之内；失衡一旦随服务放出去，收回来的代价比整改大得多，还牵连已经受理的个人申诉。二、测试子组按业务敏感属性来划分，划分口径由本条固定下来，免得临到上线各说各话；口径写进测试方案首页，中途换口径的须把分档结果重跑一遍并升版本号。三、测试结果与整改、记录三项要求一体规定，测试不能只停在报告层面而没有后续动作；报告交上来却查不到整改行的，评审席按未完成处理，退回补齐再排时段。四、测试页与整改记录一并归入卷宗，评审时按卷提问；卷宗里查不到的视为测试没做，而不是做了没报，两种认定的差别写进评审结论，供事后区分经办责任落在哪一环。二、职责分工岗位或事项职责与要求标注培训与抽检职责分工一、标注组长负责课目讲授与规则答疑，把每周新出现的歧义案例补进培训材料。二、考核员独立于生产排班，负责出题、判卷与上岗资格登记，不参与当日产量统计。三、任务发起方按批次报送人员清单；名单外人员进入标注平台的账号由平台管理员当日冻结，事后核对补录。四、考核员出题范围以现行规则文本为准，不考已废止口径；组长对宣贯到位负责，两者职责边界写入岗位说明书并随规则改版复审。投诉错误归因职责分工一、客服一线按渠道初分并挂上追溯键。二、算法岗核对复现结果，判定是否为模型错误。三、数据岗排查输入质量；三方结论汇总到归口部门定案，定案分歧上委员会。四、定案会议每月一次，三方到齐方可定案；未定案案件在台账保持挂起状态，期间不计入任何一方的差错统计，定案所需日志由归口部门统一调取，调取情况登记于案号之下。模型卡登记职责分工一、算法负责人填报数据来源与指标口径，对真实性负责。二、登记岗核对卡片与部署件的版本一致性，不一致即停发上线许可并回退给发起人。三、运营岗在使用禁区变化时发起卡片修订；修订经归口部门确认后生效。四、三岗对卡片内容各司其责，卡面错误按填报、核对、发起修订三个环节分段认定，追溯以登记时间戳为准，不设连坐。密钥访问控制职责分工一、平台管理员生成与发放密钥，登记用途与责任岗，不保管使用方副本。二、安全岗配置权限范围并监测越权调用，异常即冻结并溯源。三、使用方妥善保管，不得外传、不得硬编码进分发包体、不得转借他人。四、安全岗实施冻结当日通知责任岗，责任岗申辩期为三个工作日；逾期不辩的按现有记录维持冻结，恢复须重新申请，申辩期内的新证据由安全岗并入原记录存档，不另开案卷。三、流程步骤密钥访问控制操作流程申请按需求提交，写明使用场景、预计调用量与期限三项，写得含糊的由发放岗退回补正，退回不限次数但每次记在原单上。发放时绑定调用来源与限额，超源调用默认拒绝，确需放开来源的走一次变更而不当场放行，变更单与密钥编号对应。到期前强制轮换并把轮换结果回写台账；遇应急事件立即作废旧串并排查调用记录，排查范围从上一次正常读数追到首次异常，范围之外的另立核查单。作废流水保存备查，供事后核对责任窗口，两套时间对不齐时以流水为准。轮换通知提前一周送达使用方并注明旧串失效时点，因通知缺位导致业务中断的，责任在发放环节而非使用方，通知送达回执与发放台账每月互相核对一次，缺一即补。↓对抗与越狱测试操作流程一、出题人按业务场景列出攻击手法分类，每类至少备一道，出现空档当次记入题库预警，预警由出题人在本单位自设窗口内补齐，逾期不补的当轮测试结论降级为参考。二、执行时同一道题再跑若干近似改写，命中与拒答分别登记，判分结果要人工看过样例之后定档，未看样例的在复核时退回重判，沿用原轮次号，重判结果与原判分并列。三、被打通的按后果分派修复责任人，修复说明与复测记录配对着归档，只有结论而无记录的一律不受理，受理与否由归档岗在入档时点判定并回执给执行人，回执缺失的按未归档退回补件。四、题库按月盘点一次，新增与下线题目形成差分说明，旧题结论继续留档但不单独充当放行材料，差分说明随当月测试排期一并送到执行岗留存，年末按差分汇总一次并送评审。↓可解释性说明操作流程一、判定生效的同时生成说明草稿，列出主要因素及其促成或抑制方向，草稿版本随判定单编号，两个编号缺一不进入对外出具流程，流程内的编号对应关系由出具岗核对一次再归档。二、按对外口径改写时剔除原始特征名与内部代号，保留提出异议的入口与联系路径，改写另留一版对照稿，对照稿只在内部回看时调阅而不外发，外发请求须经项目负责人书面同意。三、模板版本与实际决策依据做一次比对，比对不上的转缺陷处理流程并暂缓发出，缺陷关闭前该项目所有说明停发，不接受单件先行出具，停发期间的申诉按暂缓答复并说明理由。四、发出后登记送达渠道与时刻，申诉到达时按当时那一版还原当事人所见，只留发送记录而不留版本的，回查时无法自证，自证不能的按未送达重发，重发件加注重发标记并沿用原时刻。↓模型卡登记操作流程一、申请人在部署之前生成卡片草稿，逐项填来源类别、指标口径、已知局限与不许触碰的场景，四项有填不全的草稿不送登记岗，送审时刻以四项齐备为准，齐备与否由登记岗一次点清。二、登记岗拿部署件的实际版本与草稿核对，版本不符即退回，同时停发上线许可，退回原因要写明对不上的栏位与版本标识，补齐后重走核对而不直接改卡号。三、卡片经评审通过后入卡库并分配编号，服务入口要把这个编号一并摆出来，入口所示与卡库不一致的当日整改并复核复核结果，整改回执随巡检记录留档，未回执的入口展示当日下线。四、每季度按卡面对三项内容复核一次，过期的列入待修名单，卡面修订留下改了哪几栏、为何改与谁批准，历史版本保持只读，待修名单未清前不受理新增接入，清单清除次日恢复受理。↓高风险双人确认操作流程一、发起人列出本次操作会动到什么、影响哪些对象，系统按名单判定是否落入双人确认范围，名单变化即时更新，更新滞后造成的漏判补走确认，补走的记录写明漏判成因与发现岗位。二、第二确认人独立阅件并签署，只看材料而不听转述，认为依据不足的有权直接退回，退回时写明不足落在哪一项依据上而不必给出替代方案，替代方案由发起人在下一单自行体现。三、两签齐备方可执行，缺一不放行，确需先行处置的走追认并在时限内补说明，说明逾期的该次操作记为未确认并倒查发起岗与当班岗，倒查结论在下次名单评审时一并提报。四、请求快照、双方账号与时刻落台账，台账按月导出留备份，抽查时以导出件为核对基准，在线页面只作日常查看而不充当抽查凭据，导出件缺失的当月按记录不完整上报归口部门。四、检查与考核检查项检查与考核要求标注规则仲裁检查考核一、季度统计仲裁案件的重复歧义率，同一歧义点两次以上上会的，追查示例库是否落实更新。二、抽查生效意见在标注结果中的体现：按实例对照检索，未执行的批次退回组长说明原因。三、仲裁及时率纳入小组考核；超期未出意见的案件逐单列明原因，供治理委员会季度会议过目。四、重复歧义率与平均裁断时长同表呈现；两项一起恶化说明仲裁容量不足，应当扩充小组排班，而不是压缩案件讨论环节。训练数据跨境检查考核一、季度核对出境登记与实际传输记录的一致性，超出清单字段的按违规传输登记。二、抽查删除证明的可核验程度，证明形式存疑的重开核查。三、统计出境任务数量趋势，异常增长时回看准入判断是否松动。四、季度核查结果同时评估替代路径：多数出境本可用去标识化样本完成的，收紧准入判断，把替代方案设为前置选项，收紧结论回写登记簿备注，供下次申请评审直接引用。立项风险分级检查考核一、季度核查立项台账，比对每张申请单的最终档位与上线后实际影响面，档位偏低且已引发事件的记为定档失误。二、抽查需求描述质量，凡出现用途描述与实际动作不符的，按提报部门汇总，纳入评审扣分项。三、连续两次定档失误的评审成员，由委员会暂停其定档资格并安排重新培训，恢复资格须经复核。四、检查结果与被查部门的季度评价挂钩，定档准确性与描述真实性分列两条记分线，两条线之间不允许互相抵充。密钥访问控制检查考核一、季度盘点在册密钥，比对登记用途与实际调用特征，名实不符的限期回收。二、抽查轮换执行情况，逾期未换的标红并要求说明。三、异常调用告警的处置率与时效纳入安全条线考核。四、盘点结果分名实相符、用途漂移、来源不明三档；第三档直接进入事件处理程序，处置结论并入下季度考核通报，用途漂移的串限期纠正，纠正后回看调用来源是否同步更新。自动化决策告知检查考核一、季度抽检查询送达记录与文案版本一致性，旧版仍在生效的限期切换。二、统计申诉改判率：改判偏多说明当初告知误导，文案须回炉。三、核对文案更新后的线上生效情况，防止改了库没改了页面。四、送达抽核对新上线场景首月全量覆盖，之后改抽样；集中抽核发现的问题由归口部门当月通报，责任岗限期整改，整改复查由归口部门在次月抽核中优先覆盖。可解释性说明检查考核一、季度抽核对外说明与实际决策依据的一致率，不一致样例逐一回看。二、申诉案件中统计因说明含糊引发的二次申诉，占比偏高的项目限期改版文案。三、检查模板版本：旧版停用之后仍批量生成旧版说明的，追责发布岗。四、一致率抽核每年至少覆盖全部高影响场景一次；覆盖面未达标的归口部门，须在年度考核中书面说明原因，抽核名单以上线台账随机抽取确定，避免固定样本掩盖问题。五、记录与表单表单或记录填写与使用要求可解释性说明记录要求一、说明出具登记案号、模板版本与申领方。二、改版记录保留新旧文案对照与改版理由。三、抽核结论单入卷，附不一致样例编号与处理去向。四、卷宗按季度装订归档，抽查时一案一抽；只有台账汇总数而无单案记录的，该次检查按未开展认定，涉及对外送达的说明件同时登记送达渠道与送达时间，保证申诉处理时能还原当事人当时看到的版本。类别不均衡治理记录要求一、类别分布表随数据集版本存档，字段含样本数、占比与统计日期。二、采样与调权参数逐项记录，含倍率、随机种子与代码版本。三、分档评估结论保留处理前后对照，供漂移监控阶段复核基线是否选错；对照缺失的批次按报告不合格处理。四、记录与评估报告互相索引；采样倍率或随机种子变更而未登记的，复现时找不到参数，报告结论的效力随之打折。训练数据跨境记录要求一、出境登记簿逐笔记录任务、字段清单、接收方与驻留期。二、删除证明按编号归档，与登记簿互相索引。三、评审结论附反对意见原文，供后续争议时还原当初考量。四、评审反对意见与后续执行结果一并保存；年度回顾时评估当初判断质量，为清单与驻留期的设定提供参照样本，保存参照样本时一并登记当次清单版本，便于回顾时对齐口径。模型卡登记记录要求一、卡库按版本立户，历史版本只读不改。二、修订记录注明改动字段、理由与批准人。三、对外引用卡片的材料留存引用范围与用途说明，引用口径与卡面冲突时以卡库为准。四、卡库导出件在每次评审前生成并加时间戳，评审卷宗引用导出件版本；防止事后拿新版卡面去质疑旧评审结论，卡库导出件按季度校验一次索引完整性，发现错挂立即纠正。灰度与回滚记录要求一、发布方案逐档写明放量比例、观察项与判定线，档位与观察项对不上的方案不得执行。二、每档看完出一份小结单，写清指标怎么走、异常样例的编号、是否继续推进的判断。三、回滚操作登记触发时刻、恢复时刻、退回版本号与配套配置范围，四项缺一按处置未闭环处理。四、演练记录与方案档案同行，从触发到恢复的耗时逐次可比，配置与版本的对应关系在同库维护。人工复核岗记录要求一、复核流水按案登记队列来源、处理时长、结论与理由摘要。二、改判决案件附原始输出与依据展示的快照。三、值班交接记录单列，注明未结队列与次日注意项，交接双方签字确认。四、快照文件按案号存放并与流水表互相索引，留存期与日志条款一致；快照不可读的按记录缺失处理并追查存储责任岗，快照存储位置变更须在登记簿注明，避免编号在而文件失联。六、附则（一）训练数据合法性衔接条款。核验口径自修订发文之日起适用于新申请批次，存量批次按申请当时口径作出的结论继续有效，不因口径收紧而回头重判，两批之间以收件日期划界，日期不清的以登记簿录入时间为准。涉及境外来源语料的核验事项与训练数据出境管理规定衔接执行，两套要求不一致时从严处理，并把分歧提请治理委员会确认，确认前先按更严的一方执行而不搁置申请。核验中形成的疑难问答由合规审查岗汇总，每季度随登记簿填表说明一并发至各采集团队，团队的疑问在下一轮汇总里逐条回应，两轮之间的对应关系留档备查。本条修订后新增的核验项只适用于修订后申请的批次；批次快照与登记簿的具体保管口径，按记录要求条款另行执行，本条不重复设定保管期限。（二）密钥访问控制衔接条款。本条与日志条款衔接：每次调用都与追溯键对应，凭密钥流水即可回看行为链，流水与日志两套编号要互相查得通，缺一环时由平台岗在核查单上写明断在哪一段。密钥格式更换时新旧两版并行一个月，并行期内两套都在用，期满旧串集体作废，作废名单由发放岗逐条勾对并留一份作废记录。本条解释权归安全管理部门，限额档位调整随盘点结果发布，档位变化不单独通知到个人，以发布件为准，发布件与旧档不一致时按最新发布执行并回收旧档。旧串集体作废后保留三十日追溯查询窗口，窗口内行为链可回看，窗口内申请同样落登记簿；窗口届满后只凭流水编号提供统计性核对，窗口外仅留编号，编号缺失的查询不予受理并注明缺在哪个环节。（三）日志与追溯衔接条款。一、日志字段要扩展得走算法变更评估，评估没过就不动线上结构，先改后报的按违规变更处理，回滚由平台运维执行，并留下回滚时段与原因记录，供下轮评估对照。二、与投诉归因条款衔接，涉投诉案件的调阅时限可以放宽，登记却不能免；从宽幅度按本单位自设窗口掌握，超窗仍未登记的在季度核对里单列点名并限期补录，补录行注明迟登天数。三、口径解释归平台运维归口部门，字段清单对外每半年发布一次；发布版只保留业务含义、隐去实现细节，方便各归口部门对照，内部完整版交给平台运维保管，