AI治理人工复核岗作业指导书

PAGE1AI治理人工复核岗作业指导书摘要本文对AI治理人工复核岗作业指导书涉及的生成内容标识管理目的、训练数据跨境术语界定、治理委员会议事操作流程、模型下线替代风险提示、离线验证口径衔接条款等事项作出规定，明确了相应的适用范围、职责分工、处理要求与记录口径。目次一、目的二、适用范围三、术语定义四、职责分工五、流程步骤六、管理要求七、风险提示八、检查与考核九、附则一、目的（一）生成内容标识管理目的一、模型产出或大幅改写的内容对外发布时，要让受众看得出来源，本条把标注位置、呈现形式与元数据写入统一起来，避免各渠道各标各的。二、标识同时服务事后核查与公众知情，两道标记互为备份，一处被裁去仍可回查生成环节与规则版本。三、本条不区分自制还是委托，也不区分接口产出还是本地产出，只要面向公众发布即适用；标注能力已列入准入条件，事后补标不构成免责。（二）数据集版本冻结管理目的一、评审用数据集合一旦写进报告就不能再动，本条把冻结做成引用之前的固定动作，防止同一模型在不同卷宗里对着两版数据各自得出达标结论。二、冻结的意义在于复现：后来人凭版本号与校验码能取回当初那份内容、算出当初那个数字，取不回的按材料缺失处理。三、冻结不排斥后续补充，但要走升版重冻，旧版留档不覆盖；本条同时划清试验用集与正式用集的界限，试验结果进了报告就得补冻后再引用。（三）训练数据跨境管理目的一、本条把训练数据出境做成有评估、有范围、有痕迹的例外动作，而不是常规通道。二、默认不出境；确需出境时执行最小裁剪与用途限定，先想境内替代方案。三、为事后核查保留完整链条，传输、驻留、删除三段都要有对应记录。四、本条只管出境动作本身；出境之后的训练用途限定与到期删除执行，按合同与记录要求逐段核对，责任延伸到接收方。（四）高风险双人确认管理目的一、本条让高影响操作必须经两个相互独立的判断才能落地，防单人误操作或在压力下被带着走完流程。二、双人确认覆盖的业务名单与触发条件由本条固定，任何业务不得自设免检通道绕过。三、确认留痕既是事后追责的依据，也是对经办人的保护：有据可查者不受无端猜疑。四、确认与留痕两道动作由系统强制；凡可在表单上手填对方姓名的通道，一经发现即下线整改，杜绝一人分饰两角。二、适用范围（一）自动化决策告知适用范围一、适用于对个人产生限制、拒绝、差别对待效果的自动化决定。二、纯人工作出的决定不适用本条；人工借助模型出具依据时，转由可解释性条款约束说明质量。三、面向群体的常规信息推送不在本条范围，一旦按个人画像分流则重新纳入。四、批量场景的告知可在服务入口集中展示，但个案决定的送达不得以集中展示替代；两条通道各自接受季度抽检查核。（二）可解释性说明适用范围一、适用于对个人或客户作出准入、拦截、排序与差别对待的模型输出。二、纯内部统计报表不适用；报表口径若被用于个体评价，转由本条约束其引用方式。三、第三方模型给出的结论，说明义务经合同要求接口方提供要素，我方不得以技术不透明为由拒绝转述。四、场景是否落入本条，以输出对个人的实际影响为准，不因系统自称为辅助决策而豁免；影响存疑时按从严解释执行。（三）算法变更评估适用范围一、适用于已上线模型的规则、特征、阈值与接口四类变更，含参数微调与提示词结构调整。二、纯缺陷修复且行为不变的走简化登记，不启动完整评估，但简化通道按月接受抽审。三、供应商侧版本更新同样触发本条，由接入方代为发起评估单。四、回滚后的旧版本再次发布须按新的变更重新评估；沿用上一次评估结论直接发布的，按静默变更处理，即使发布单写着修复。三、术语定义术语释义训练数据合法性术语界定一、授权链条指从原始权利人到我方训练使用之间的全部许可环节，任一环节缺失即视为链条中断，须补签或剔除。二、可公开访问不等于可训练使用：语料能够被公众浏览，不代表允许用于模型训练，仍须以许可条款或权利人书面确认为准。三、来源标签是每条语料的必填属性，记录取得路径、协议版本与核验日期，供追溯与纠纷应对时回查。离线验证口径术语界定一、验证集指与训练数据隔离、专用于打分的那部分样本，版本冻结后不得增删。二、精确率与召回率在不同业务口径下各有算法分支，分母定义须在报告首页写明并全程一致。三、误报率指正常输入被判为异常的比例，与漏报率互为对照；报告只呈现其一即视为口径违规。四、容忍差值指复算与归档结果之间允许的偏差，超出即触发口径检查；该值由评审组与算法团队共同确认并登记在评测说明中。训练数据跨境术语界定一、出境指把本机构存储的数据传输至境外处理或存放，含远程调用境外服务时传出原始样本的情形。二、最小范围指按训练任务实际需要裁剪后的字段集合，裁剪清单评审留档。三、驻留期指数据在境外环境允许保留的时间上限，到期以删除证明收口；无证明即视为未删除。四、删除证明的出具方须为实际处理环境的管理主体；仅有转述承诺而不出具证明的，驻留期届满仍按未删除认定。外部生成工具使用术语界定一、内部信息分级沿用公司数据分级表，本条所称受限输入指其中中敏感级以上内容。二、允许清单指经评估可处理低敏事务的工具名录，名录季度更新。三、禁用输入指客户资料、未公开经营数据、代码资产与含个人信息的原始记录四类，一律不得键入外部工具。四、四类禁用输入的具体形态随公司数据分级表联动；分级表修订后本条自动跟随调整，无需另行发文重述清单口径。四、职责分工岗位或事项职责与要求数据集版本冻结职责分工一、数据平台执行冻结、计算并登记摘要值，保障副本只读。二、评审组核对报告中引用的集合版本与线上件是否一致，不一致即停评。三、申请方对解冻事由作书面说明；未经批准的原地改写由使用方担责。四、平台对副本只读性负责，评审组对引用一致性负责；两方都覆盖不到的中间环节问题，由季度盘点补位追查，盘点发现问题按环节归属登记，不笼统归咎数据平台。自动化决策告知职责分工一、业务方设计告知文案并留存历次版本。二、法务合规审查表述边界，重点核对后果描述与申诉途径。三、客服承接申诉并按归因流程转办；转办时限纳入服务指标考核。四、三方时限责任分别考核：文案版本滞后归业务方，表述越界归法务合规，转办超时归客服；三条线互不顶替，转办超时判定以工单时间戳为准，客服不得事后补录时间。密钥访问控制职责分工一、平台管理员生成与发放密钥，登记用途与责任岗，不保管使用方副本。二、安全岗配置权限范围并监测越权调用，异常即冻结并溯源。三、使用方妥善保管，不得外传、不得硬编码进分发包体、不得转借他人。四、安全岗实施冻结当日通知责任岗，责任岗申辩期为三个工作日；逾期不辩的按现有记录维持冻结，恢复须重新申请，申辩期内的新证据由安全岗并入原记录存档，不另开案卷。离线验证口径职责分工一、算法团队负责按冻结口径运行验证并提交完整报告，不得只交汇总页。二、测试岗负责从冻结数据集生成验证副本并校验一致性，杜绝临时替换样本。三、评审组核对指标口径与结论的对应关系，口径错配的报告当场退回并登记退回原因。四、三方对同一报告结论负各自环节责任：运行结果错归算法，样本被换归测试，口径未核对归评审；责任划分以归档痕迹为准。五、流程步骤日志与追溯操作流程一、请求进入即分配追溯键，各环节完成前写回一行。二、人工复核与双人确认动作同步落日志，动作与键绑定。三、到期数据先按追溯键做完整性比对，再执行删除并留处置记录，两步之间不得跳步。四、写入失败告警当日处理，积压重放须核对顺序与键一致性；重放造成的乱序在报表中单列，避免被误判为业务异常，重放完成后由平台运维复核键序，确认无残留乱序再关闭告警。↓立项风险分级操作流程一、需求方在立项申请中先填写途、影响对象、数据来源三项要素，系统据此给出初始档位。二、算法负责人对照能力边界材料复核初始档位，认为偏低的须书面说明理由，并附同类事件记录。三、评审组在五个工作日内出具定档结论；高档需求追加可解释性说明与人工复核岗两道前置件，结论进入台账后方可排期开发。四、定档结论落款须写明档位、复核深度与追溯要求三项，需求方签收后排入开发队列，逾期未签收的申请按退回重新说明处理。↓模型卡登记操作流程一、申请人生成卡片草稿，逐项填写来源、指标、局限与禁区。二、登记岗比对部署系统校验版本，作受理或退回处理。三、评审通过的卡片编号入卡库，线上服务入口展示卡号。四、巡检按卡号核对，发现卡实不符的当场登记异常并限期整改。五、被退回的草稿修改后重新排队，受理顺序按首次提交时间计；两次退回又未说明原因的，通报至其归口部门。↓治理委员会议事操作流程一、秘书处提前把议题与材料发给成员，凑不齐材料的议题押到下次会。二、成员会前提交书面意见，会上先议高风险放行事项，表决时合规与算法两方须到场。三、结论与异议一并写进纪要，涉高风险放行的决议附反对理由全文而非只留结论。四、决议按时限销号，秘书处跟踪办结情况，连续两次未结的自动列到下次议程首位。五、当场提出的临时动议由召集人宣布是否成立并记入纪要，事后不以口头形式改变其资格。↓模型卡登记操作流程一、申请人在部署之前生成卡片草稿，逐项填来源类别、指标口径、已知局限与不许触碰的场景。二、登记岗拿部署件的实际版本与草稿核对，版本不符即退回，上线许可同时停发。三、卡片经评审通过后入卡库并分配编号，服务入口同时把这个编号摆出来。四、每季度按卡面复核三项内容，过期的列入待修名单。五、卡面修订要留下改了哪几栏、为何改与谁批准，历史版本保持只读。↓供应商算法备案核验操作流程一、采购归集备案信息与服务范围描述，核对材料有效期后写入台账。二、合规岗比对登记用途与本项目实际调用方式，给出相符还是存疑的判断。三、业务方补充实际用法与输出去向，两岗据此复核；仍不一致的挂起付款流程。四、存疑关闭后归档材料进入付款，年度复核时重看用途有没有漂移，漂移的重新触发核验而不延用旧结论。五、底层能力由别处提供的，两方材料都要到位，只有我方直接对手那一份不算齐备。六、管理要求（一）上线公平性测试管理要求一、评审材料里没有测试页的项目不受理，缺页比指标难看更要紧，先补页再排评审。二、切分口径须与业务真实人群一致，属性名单要业务和合规两方都点头，任一方单独增删所得结论不作数。三、差异越档的先整改后评审，整改复测沿用同一冻结集；连续两轮无进展的提请高风险裁决。四、豁免须写明差异源于数据固有分布还是模型放大，经委员会书面认可后每季度重看。（二）训练数据合法性管理要求一、每批语料入库时登记来源、协议版本、权利人、核验人与核验结论五项信息，缺项不予分配存储配额。二、公开网页类语料仅可纳入允许机器读取范围内的内容，对附有排除声明的站点一律不予获取，过滤名单每周由采集岗更新一次。三、授权临近到期的语料列入观察清单，到期未续签的，新训练任务停用其旧副本；已交付模型的后续处置按算法变更评估另行判定。（三）模型卡登记管理要求一、登记须在上线评审之前完成，评审席上按卡片内容提问。二、卡片每季度复核一次，来源、指标与禁区三项过期即列入待修名单。三、涉第三方接口的模型须在卡上注明接口来源与调用限制；接口变更时同步更新，不同步的暂停该卡对应的新增流量。四、复核发现卡面与线上实际不符而申请人未自报的，记诚信瑕疵一次；累计两次的，其后续登记改为人工逐项核验。（四）可解释性说明管理要求一、高影响场景的说明须与结果同步可提供，暂不具备说明能力的项目放缓上线。二、说明模板要素含依据、数据时点与申诉入口三项，缺一不可。三、说明内容与实际决策不一致的按事件上报，期间该项目暂停对外出具说明，补正后经复核恢复。四、模板调整须先做抽核比对，改动波及存量场景的按变更评估办理；临时沿用旧版出说明的逐单登记，限三日内补正。（五）类别不均衡治理管理要求一、立项时须给出类别分布表，最高档与最低档之比达到十倍以上的，评审组确认专项处理方案后方可排期。二、重采样与调权择一为主，申请叠加使用的须由算法负责人书面说明理由并经评审组同意。三、评估报告必须分档列示指标，整体平均值不得单独作为放行依据。四、专项处理方案须在立项材料中写明预期指标的分档目标，只给总体指标的方案视为未给方案，评审组应当场退回要求补写。七、风险提示（一）算法变更评估风险提示一、只比对均值不看分档，特定人群或类别的表现被换掉而无人察觉，等投诉集中才发现。二、多个变更并行上线时行为差互相掩盖，归因混乱，回滚决策失去依据。三、静默变更查处最难：对方版本更新不通知，评估单永远缺页，责任却落在我方运维头上。四、评估用集与实际流量分布脱节时，行为差对照整体失真，批准后线上仍出意外；对照集的代表性由测试岗每季度复核一次。（二）模型下线替代风险提示一、只停推理入口而不通知报表口径，下游数据悄悄断供，出错要等月度对账才暴露。二、替代模型行为差异过大且未做对照，用户把正常差异误解为故障，投诉量瞬间冲高。三、归档粒度过粗，事后申诉查不到当初依据，机构反而陷入举证困难。四、公告口径含糊（例如只写系统升级）会让外部误判为故障；公告文案由归口部门审定，并与替代方案的表述保持一致。（三）训练数据合法性风险提示一、把网络公开语料默认可用是最常见误区，一旦权利人对训练用途提出异议，涉该语料的模型版本都可能停用，处置代价远高于采集成本。二、二次混合的数据集最难追溯，来源混洗后无法按批剔除，因此必须保留分装前的批次快照，否则一处瑕疵连累整库。三、用户协议改版前后采集的交互记录容易混用适用版本，归因依赖写入时间戳，采集侧不得丢弃该字段。（四）标注规则仲裁风险提示一、最糟的情形是仲裁意见只活在聊天记录里，新人无从检索，同类分歧半年内反复上会。二、小组构成偏生产侧时，口径容易向产量倾斜，边界判定越裁越宽，规则维护人与算法负责人的票数必须保留。三、新旧规则交替期若不声明空档处理原则，同一批数据会被两套口径分段标注，损失要到离线验证才显形，届时难以归因。四、意见归档但示例未同步是半截工程：案例库与规则文本脱节之后，新人照着旧例子判定，等于在制造新的歧义来源。八、检查与考核检查项检查与考核要求训练数据跨境检查考核一、季度核对出境登记与实际传输记录的一致性，超出清单字段的按违规传输登记。二、抽查删除证明的可核验程度，证明形式存疑的重开核查。三、统计出境任务数量趋势，异常增长时回看准入判断是否松动。四、季度核查结果同时评估替代路径：多数出境本可用去标识化样本完成的，收紧准入判断，把替代方案设为前置选项，收紧结论回写登记簿备注，供下次申请评审直接引用。高风险双人确认检查考核一、按月统计名单内操作的签署完整率，缺第二签却已经执行的逐笔询问并登记。二、抽查确认界面能否还原请求原文，快照与版本对不上的记管理缺陷。三、核对两签人是否分属不同序列，同岗互签的要追溯当月全部相关操作。四、追认通道使用次数逼近上限时提出预警，频繁使用的重新审视名单是否漏了场景。五、账号互斥检查的结论随当月名单存档，异常项限期消缺并回报闭合情况，逾期未闭的列入下次首查。密钥访问控制检查考核一、季度盘点在册密钥，比对登记用途与实际调用特征，名实不符的限期回收。二、抽查轮换执行情况，逾期未换的标红并要求说明。三、异常调用告警的处置率与时效纳入安全条线考核。四、盘点结果分名实相符、用途漂移、来源不明三档；第三档直接进入事件处理程序，处置结论并入下季度考核通报，用途漂移的串限期纠正，纠正后回看调用来源是否同步更新。离线验证口径检查考核一、季度抽查归档报告，随机复算其中一份，复算差值超出容忍范围的追究口径管理责任。二、核对验证副本校验码与冻结登记是否一致，被改动而未走重新冻结流程的记流程违规。