AI数据管理手册-090141

AI数据管理手册摘要本文对AI数据管理手册涉及的数据去标识化管理目的、算法变更评估术语界定、上线公平性测试管理要求、密钥访问控制检查考核、训练数据合法性衔接条款等事项作出规定，明确了相应的适用范围、职责分工、处理要求与记录口径。目次一、目的二、适用范围三、术语定义四、职责分工五、管理要求六、流程步骤七、检查与考核八、记录与表单九、附则一、目的（一）数据去标识化管理目的一、含个人身份要素的信息在进入训练语料前必须先行处理，本条统一处理深度与验收办法，避免各团队自行其是。二、去标识化不是删掉几个字段就了事，还要把复原路径一并评估清楚，本条要求处理结果与复原手段分开登记。三、经批准保留少量可复原样例仅用于专项验证，其余一切训练用途都以不能直接对应到个人为底线，此条即底线的出处。（二）训练数据合法性管理目的一、训练数据进入语料库之前必须核验来源与授权链条，本条把合法性核验置于清洗加工之前，防止先入库、后补证。二、核验对象既包括外采语料，也包括用户授权协议生效之前的历史交互记录；后者常被误当作自有资产而跳过审查。三、对无法补全授权材料的语料，处理口径是整体剔除而非脱敏后留用，本条即是该口径的正式出处。四、本条与语料登记、剔除执行、纠纷应对三处规定互为引用，核验结论的效力以登记簿所载内容为准，口头放行不作依据。（三）人工复核岗管理目的一、本条目的在于把人工复核位真正立起来：有人审、有权改、改得动，而不是在流程上盖个章。二、复核位权限与运营操作权限分立，杜绝同岗自审自改。三、复核覆盖比例与时限按场景风险分档设定，本条给出分档框架，各场景对号入座。四、本条与高风险双人确认相互衔接而互不替代：复核处理判断质量，确认处理操作授权，两道功能不得合并成一道。（四）可解释性说明管理目的一、本条意在让受模型决策影响的个人或部门拿到读得懂的因果说明，而不是只收到一个分数。二、说明必须与实际决策依据一致，可解释性在这里与正确性捆绑管理，两者对不上即按缺陷处理。三、说明出具能力同时服务内部回顾与对外沟通，减少事后各自猜因的消耗。四、说明的可读性本身是管理对象：要素齐全但普通读者读不懂的，视同未出具；改版以试读通过为验收标准。（五）上线公平性测试管理目的一、公平性测试旨在上线前发现模型对特定人群子组表现失衡，防止算法偏见经服务入口外溢。二、测试子组按业务敏感属性划分，本条固定划分口径，避免临到上线各执一词。三、测试结果与整改、记录要求一体规定，不允许测试停留在报告层面而无后续动作。四、测试页与整改记录一并入卷，评审席上按卷提问；无卷可查的，视为测试未做，而不是测试做了未报。二、适用范围（一）外部生成工具使用适用范围一、适用于日常办公中调用外部生成式服务的行为，含个人设备与个人账号上的使用。二、已按机构接口准入的外部服务按第三方接口条款管理，不在本条之内。三、纯资料检索类工具不在限制之列，但复制其结果进入交付物时适用署名与核对要求。四、外部工具的免费额度或试用行为同样受本条约束；以个人邮箱注册工具处理公务数据的，按清单外使用情形登记处理。（二）数据集版本冻结适用范围一、适用于支撑上线评审与结论复现的数据集合，含训练、验证与对照三类。二、探索性实验用集可不冻结，但其结论一旦进入正式报告，须先补冻再引用。三、外部接口回传样本进入正式集之前纳入冻结管理，回传原始段另行短期保留。四、冻结义务不豁免日常备份，备份件与冻结件分开管理；备份回滚不得覆盖冻结版本，误覆盖的只能以解冻重冻方式修复。（三）日志与追溯适用范围一、适用于模型接收请求、形成中间结果、给出对外结论的全链路日志，以及人工介入动作的操作记录。二、第三方接口回传内容纳入采集范围；接口缺段时由接入方书面说明原因并备案。三、开发调试日志与线上日志分开存储，调试记录不得充当追溯证据。四、日志采集范围变化属结构变更，按算法变更评估流程办理；临时停采须双人批准，并在登记簿记明起止时段。三、术语定义术语释义投诉错误归因术语界定一、模型错误指输出与事实或规则不符，且源于算法判定本身的情形。二、上游数据错误指输入材料已被污染、模型照实处理的情形，责任随输入方认定。三、规则歧义错误指标注口径分歧引起的偏差，归仲裁条款处理，不计入模型差错率。四、三类归因之外的第四类为混合成因；混合件占比超过既定档位时单列专项分析，不得粗略并入模型错误或数据错误充数。算法变更评估术语界定一、影响面指变更可能触及的业务环节、报表口径与人群范围。二、行为差指新旧版本对同一输入集输出的分歧，分歧样例须原样保留。三、静默变更指未经申请而发生的线上变化，事后一律按流程违规处理并倒查放行环节。四、分歧清单按影响分三档：仅措辞变化、判定结果变化、下游动作变化；后两档必须逐条给出解释，方可进入批准环节。离线验证口径术语界定一、验证集指与训练数据隔离、专用于打分的那部分样本，版本冻结后不得增删。二、精确率与召回率在不同业务口径下各有算法分支，分母定义须在报告首页写明并全程一致。三、误报率指正常输入被判为异常的比例，与漏报率互为对照；报告只呈现其一即视为口径违规。四、容忍差值指复算与归档结果之间允许的偏差，超出即触发口径检查；该值由评审组与算法团队共同确认并登记在评测说明中。数据去标识化术语界定一、去标识化指通过替换、泛化、抑制或扰动等手段，使记录在不借助额外信息的情况下无法直接对应到特定个人。二、准标识符指单独看不指向个人、组合后可能锁定个人的字段，如职业、区县与年龄段叠加；判定须放在数据集整体字段组合下进行。三、复原路径指借助留存对照表或辅助信息重新关联个人的可能渠道，登记时逐条写明持有岗位与启用条件。四、职责分工岗位或事项职责与要求标注培训与抽检职责分工一、标注组长负责课目讲授与规则答疑，把每周新出现的歧义案例补进培训材料。二、考核员独立于生产排班，负责出题、判卷与上岗资格登记，不参与当日产量统计。三、任务发起方按批次报送人员清单；名单外人员进入标注平台的账号由平台管理员当日冻结，事后核对补录。四、考核员出题范围以现行规则文本为准，不考已废止口径；组长对宣贯到位负责，两者职责边界写入岗位说明书并随规则改版复审。密钥访问控制职责分工一、平台管理员生成与发放密钥，登记用途与责任岗，不保管使用方副本。二、安全岗配置权限范围并监测越权调用，异常即冻结并溯源。三、使用方妥善保管，不得外传、不得硬编码进分发包体、不得转借他人。四、安全岗实施冻结当日通知责任岗，责任岗申辩期为三个工作日；逾期不辩的按现有记录维持冻结，恢复须重新申请，申辩期内的新证据由安全岗并入原记录存档，不另开案卷。对抗与越狱测试职责分工一、安全测试岗负责出题与执行，每月从事件记录与规则变化中补充新题。二、算法团队负责修复被打通的路径，并就加固手法提交说明。三、业务方提供本场景不受控输出样例，协助划定高危边界；边界争议由评审组裁定。四、高危边界有分歧时先按业务方的从严主张执行并留痕，随后提请评审组终裁；分歧讨论期间测试工作照常推进，不允许停摆等待。日志与追溯职责分工一、平台运维维护采集通道与存储配额，保障写入不丢不重。二、安全岗管理查询权限与调阅登记，季度出具权限盘点。三、业务归口部门界定哪些字段必须保留原值才能支撑结论说明，界定清单随场景变更更新。四、配额调整申请须附近三个月写入曲线，无曲线的不予受理；安全岗的权限盘点结果同时抄送业务归口部门备查，写入曲线口径与月报保持一致，防止两套数字各说各话。五、管理要求（一）高风险双人确认管理要求一、名单内操作未集齐两人签署不得执行；紧急场景可先执行、后追认，但须在四小时内补交书面说明。二、两把确认账号不得归属同一自然人，身份源冲突由安全岗直接上报治理委员会。三、确认界面保留原始请求快照，防止改单后再签造成所见非所得。四、事后追认通道的每月使用次数设有上限；超限后仍频繁追认的，说明名单设计有误，应提交季度评审调整名单而非继续放行。（二）漂移监控窗口管理要求一、上线前必须设定基准分布快照，无快照不得开窗监控。二、窗口数据取用遵循最小权限，敏感字段仅保留统计量，不留原值。三、告警响应时限按档位写明：提示档一个工作日内有研判结论，强制档当小时响应，超时自动升级至部门负责人。四、值班响应超时升级链每半年演练一次，演练记录进档案；升级链条打不通的视同监控未配置，直接影响该模型的放行结论。（三）上线公平性测试管理要求一、上线评审材料必须含公平性测试页，缺页不受理。二、差异度量超过既定档位的，先整改再评审，不接受带瑕疵放行的口头承诺。三、整改后复测须用同一份冻结验证集；中途更换集样本的，先前测试结论作废重做。四、整改后复测仍超档的，回到采样与特征层重找原因；连续两轮无进展的提交高风险裁决，而不是自行发起第三轮整改。（四）生成内容标识管理要求一、两类标识同时具备的内容才允许发布，缺一自动拦截。二、拦截规则按季度评估，呈现形式变化时同步调整，避免规则滞后造成批量退回。三、委托外部制作的交付件无标识的退回重做，不进入结算流程。四、拦截规则调整前先在历史样本上验证误伤情况，误伤明显的新规则不得直接替换旧版；两版规则并行观察一周后择优定版，并行观察期的比对结论写入规则变更单并归档。（五）灰度与回滚管理要求一、分批顺序固定为内部试点、小流量、扩量、全量，每批停留不少于一个完整业务周期。二、关键指标偏离基线达到预设档并复核确认的，立即回滚到上一登记版本。三、每半年做一次回滚演练，演练从触发到恢复的耗时写入档案并评估可接受性。四、配置项与模型版本的对应关系同库登记；回滚脚本每季度验证一次可用性，验证不通过的版本通道立即停用整改。（六）外部生成工具使用管理要求一、允许清单由安全岗汇总变更、每季度发布一次；清单外工具处理公务数据的，视同违规输入。二、借助外部工具形成的交付物须经复核才能署名上报，复核人对内容正确性负责。三、机构账号统一归口登记；个人账号用于公务时不得投喂任何受限输入。四、署名前的复核以内容负责人为主体，工具只是起草手段之一；复核人须确认文中事实与数字有内部来源支撑后方可署名。六、流程步骤第三方模型接口操作流程一、申请材料齐备后召开评估会，形成书面疑虑清单。二、沙箱环境试跑，禁用真实业务数据，逐项关闭疑虑。三、试用通过后小流量接入观察一个周期。四、正式登记进入接口清单，注明责任岗、限额与应急下线通道。四五小流量接入期内实行双人盯盘，观察项含输出分布、错误形态与内容质量三类；期满评估未通过的退回沙箱阶段重跑。↓自动化决策告知操作流程一、业务场景立项时同步设计告知节点与展示位置。二、上线前测试送达与页面呈现，抽样验证可读性。三、申诉到达后转入复核队列，复核结论回告并记入台账。四、案例按月归集，反复出现同一疑问的修订文案。四五修订文案时同步更新客服话术，避免页面已改而解释仍按旧文案；话术版本号附在当月案例归集报表之后备查，话术与文案的对应关系由客服主管按月核对一次。↓类别不均衡治理操作流程一、统计各类样本数并排序，确认长尾名单与占比。二、按类别特性选择手段：可安全增补的走欠采样或权重，不宜复制的走采集补量计划。三、用同一验证集分别跑出基线与处理后两版结果，分档对比写入评估报告。四、报告未覆盖长尾类别的退回补充，补齐前不得进入上线评审。四五分档对比须列出每个长尾类别处理前后的召回变化；个别类别改善而多数恶化的，整体判不通过，回到手段选择一步重来。↓日志与追溯操作流程一、请求进入即分配追溯键，各环节完成前写回一行。二、人工复核与双人确认动作同步落日志，动作与键绑定。三、到期数据先按追溯键做完整性比对，再执行删除并留处置记录，两步之间不得跳步。四、写入失败告警当日处理，积压重放须核对顺序与键一致性；重放造成的乱序在报表中单列，避免被误判为业务异常，重放完成后由平台运维复核键序，确认无残留乱序再关闭告警。七、检查与考核检查项检查与考核要求漂移监控窗口检查考核一、季度检查各在运行模型是否具备基准快照与窗口配置，缺项按上线材料不全追补。二、抽查告警之后的处置记录：无下文告警逐条询问责任人并登记。三、年度回顾误报与漏报情况，据此调整窗长与告警线，调整须经评审组确认。四、窗口配置年度回顾同时排查漏报：线上事故回看时偏移早已越线却未告警的，检查当初告警线设定是否依据不足。密钥访问控制检查考核一、季度盘点在册密钥，比对登记用途与实际调用特征，名实不符的限期回收。二、抽查轮换执行情况，逾期未换的标红并要求说明。三、异常调用告警的处置率与时效纳入安全条线考核。四、盘点结果分名实相符、用途漂移、来源不明三档；第三档直接进入事件处理程序，处置结论并入下季度考核通报，用途漂移的串限期纠正，纠正后回看调用来源是否同步更新。标注培训与抽检检查考核一、月度检查比对培训签到、上岗考核与抽检结论三张表，缺环即记管理缺陷。二、按人统计误标率并绘趋势线，连续两月居前两位的暂停高风险任务资格。三、用抽检数据回看培训有效性：宣贯后同类错误未降的，视为培训无效项，重新设计课目并计入组长考核。四、检查结论按月归档并向标注团队公开，公开版以编号代替个人姓名，保证改进对照可查，同时不暴露人员隐私。可解释性说明检查考核一、季度抽核对外说明与实际决策依据的一致率，不一致样例逐一回看。二、申诉案件中统计因说明含糊引发的二次申诉，占比偏高的项目限期改版文案。三、检查模板版本：旧版停用之后仍批量生成旧版说明的，追责发布岗。四、一致率抽核每年至少覆盖全部高影响场景一次；覆盖面未达标的归口部门，须在年度考核中书面说明原因，抽核名单以上线台账随机抽取确定，避免固定样本掩盖问题。八、记录与表单表单或记录填写与使用要求人工复核岗记录要求一、复核流水按案登记队列来源、处理时长、结论与理由摘要。二、改判决案件附原始输出与依据展示的快照。三、值班交接记录单列，注明未结队列与次日注意项，交接双方签字确认。四、快照文件按案号存放并与流水表互相索引，留存期与日志条款一致；快照不可读的按记录缺失处理并追查存储责任岗，快照存储位置变更须在登记簿注明，避免编号在而文件失联。模型卡登记记录要求一、卡库按版本立户，历史版本只读不改。二、修订记录注明改动字段、理由与批准人。三、对外引用卡片的材料留存引用范围与用途说明，引用口径与卡面冲突时以卡库为准。四、卡库导出件在每次评审前生成并加时间戳，评审卷宗引用导出件版本；防止事后拿新版卡面去质疑旧评审结论，卡库导出件按季度校验一次索引完整性，发现错挂立即纠正。数据去标识化记录要求一、每批出具处理记录，含字段清单、手段选择、参数、执行人与复核人五栏。二、组合评估结论单列，记录尝试过的辅助信息类型与被排除的关联路径。三、对照表使用登记逐次填写申请人、用途、批准人与回收时间，由隐私保护岗按季度汇总核对一次，缺口项限期补登。四、三类记录按批次关联编号，抽查时可由任一张倒查另两张；关联断号的批次视同未验收，退回重走处理与评估两个环节。类别不均衡治理记录要求一、类别分布表随数据集版本存档，字段含样本数、占比与统计日期。二、采样与调权参数逐项记录，含倍率、随机种子与代码版本。三、分档评估结论保留处理前后对照，供漂移监控阶段复核基线是否选错；对照缺失的批次