AI模型开发流程V1.1_第1页
AI模型开发流程V1.1_第2页
AI模型开发流程V1.1_第3页
AI模型开发流程V1.1_第4页
AI模型开发流程V1.1_第5页
已阅读5页,还剩7页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

PAGE1AI模型开发流程摘要本文对AI模型开发流程涉及的算法变更评估管理目的、生成内容标识职责分工、生成内容标识检查考核、数据集版本冻结记录要求、可解释性说明衔接条款等事项作出规定,明确了相应的适用范围、职责分工、处理要求与记录口径。目次一、目的二、职责分工三、流程步骤四、检查与考核五、记录与表单六、附则一、目的(一)算法变更评估管理目的。一、模型上线之后的改动比上线之前更要紧,因为下游已经在用,本条把涉及判定规则、输入特征、阈值设定与外部通道的每处改动都变成有对照、有批准、有观察的请求。二、评估看行为差而不是改动幅度,只动一处而判定翻面的按高风险处理,改动很大输出却完全一致的走简化登记,两条路径的选择理由随变更单留档备查并写明判定人。三、简化登记不等于免观察,登记件仍要在本单位自设窗口内回看线上表现,回看发现行为偏移即升回完整评估,升级时点由评审席书面确认而不口头通知,通知抄送下游岗位。四、本条同时堵住未经申请的线上变化,供应商侧版本更换由接入方代为发起,事后一律倒查当初的放行环节,倒查结论写入变更台账并同步受影响的下游岗位。(二)漂移监控窗口管理目的。线上输入与训练基准的分布一旦拉开差距,早期只表现为零星偏移,等指标明显劣化再动手就来不及,本条用一个统一观察窗把苗头接住,让应对发生在劣化之前。窗口长度与检查频率按场景风险设档,高风险场景窗短频密,低风险场景窗长稀疏,档位与调整依据写在监控配置单上,改档要过一次登记而不随手改数。监控结果与灰度缩量、回滚决策联动,只报数不处置的监控等于空转,报数与处置之间的去向和时点由值班岗填在告警单上。同一窗口还服务数据侧与模型侧的归因切分,分布距离异常时先分清是输入变化还是判定变化,之后再定责任岗,避免混案,季度盘点把混案数量单列一次并回看档位是否合身,改档自次月起生效,改档前已报出的偏移结论仍按旧档判读,不回头追改。(三)模型下线替代管理目的。下线要做成有计划的动作:替代留好、依赖安顿完、追溯保得住,三者齐备才允许停服,缺一即回到准备阶段,不允许先停再补。防的是悄悄停服让下游悬空,报表与流程还在引用一个已经不存在的服务,等到出数异常才发现,届时解释成本远高于事前一次通知。下线信息向各依赖方同步的时限与方式一并固定,不搞临时口头通知,同步记录里写明发送对象与发送时间,回执缺失的由经办岗补催一次并记下结果。本条与变更评估的分工为:单版本替换走变更流程,整体退出走下线流程,判定依据是服务是否继续存在;拿不准的按下线从严办理,避免留下无主服务,两套流程不并行发起,误发起的一方自行撤单并写明原因,撤单记录保留到下一次同类申请受理时,作为分流判断的参考。(四)密钥访问控制管理目的。一、接口凭证决定谁能调用模型与数据通道,本条把发放、绑定、轮换、作废四段串成可核对的链条,避免一串密钥长期无人认领,认领状态随凭证台账显示,显示为空的由发放岗回收。二、控制重点不在凭证本身而在用途,一密一用、来源绑定、限额随任务核定,共用与转借都会让责任落不到具体人,落不到人的按发放岗与使用岗两段分别追查。三、本条与记录条款互相支撑,凭调用流水即可回看行为链,作废与追回的痕迹留在案上,事发后不必靠猜,猜出来的说法不作为定责材料,定责以流水与作废痕迹相互印证。四、每串凭证都要有在岗责任人,责任人离岗时随交接单一并移交,未移交的旧串在期满时强制作废,作废后确需重发的按新申请走限额与用途核定,核定记录与原串档案同存。(五)第三方模型接口管理目的。本条把外部模型接口当作供应商来管,准入之前先把风险问清楚,而不是接进来之后再补手续,事后补签的条款往往约束不到已经发生的行为。评估覆盖数据流出、内容责任与服务连续性三摊,任何一摊说不清就不进正式接入,判定以书面材料为准,口头承诺不计入评估结论。接口变动的通知义务要在准入阶段写进条款,写明通知对象、时限与改版后的复核方式,事后追认的成本远高于事前约束,缺此项的准入按不完整处理。评估会形成的疑虑清单逐条关闭后仍保留原件,作为续约与纠纷应对时的事实材料,不得在接入完成后销毁,关闭记录上写明依据与经手人。原件与接口清单编号一一对应,年度复核按编号倒查一次,抽不到原件的视同记录缺失,由当年经办岗位补交书面说明。二、职责分工岗位或事项职责与要求日志与追溯职责分工一、平台运维维护采集通道与存储配额,保障写入不丢不重。二、安全岗管理查询权限与调阅登记,季度出具权限盘点。三、业务归口部门界定哪些字段必须保留原值才能支撑结论说明,界定清单随场景变更更新。四、配额调整申请须附近三个月写入曲线,无曲线的不予受理;安全岗的权限盘点结果同时抄送业务归口部门备查,写入曲线口径与月报保持一致,防止两套数字各说各话。立项风险分级职责分工一、需求提出部门负责如实描述业务动作、影响对象与数据来源,不得以模糊表述压低档位。二、算法团队负责给出模型能力边界判断与既有同类场景的对照材料,供评审组定档参考。三、合规与运营部门组成立项评审组,按分级表核准档位并指定后续复核深度;对争议场景,提交治理委员会裁决,裁决结论当日回填台账。四、评审组对档位结论负终审责任,因需求方或算法方提供的材料不实导致误判的,按材料责任另行认定并当场补正档位。数据去标识化职责分工一、数据工程岗按字段清单执行替换与泛化,处理手段不得凭个人理解增减。二、隐私保护岗抽样评估组合识别风险,决定准标识符是否需要再压一档粒度。三、业务需求方说明处理之后可接受的信息损失边界;超出边界时回到需求侧重新讨论,任何岗位不得私自留存未处理副本。四、三个岗位的处理结论互签确认,任一岗对留存复原路径有异议的,该批次暂缓入语料库并提交归口部门裁决后再生效。生成内容标识职责分工一、发布岗核对显式标注齐备后方可提交发布。二、平台维护隐式标记通道,监控掉标情况并按日通报。三、内容归口部门制定标注文案与呈现细则,个人不得自创样式;细则变化时同步更新拦截规则。四、掉标通报按日发布;同一渠道连续三天漏标的,该渠道发布权限暂停,由平台与归口部门共同确认恢复方案后再放开,恢复方案确认过程在通报中逐日留痕。三、流程步骤模型下线替代操作流程依赖方排查先形成一份名单,逐一发出影响确认函并在函上写明答复期限,逾期未回的由经办岗追一次,答复与逾期情况都记进名单备注。处置方案要过一轮评审,切流计划与回退预案缺一不可,评审意见逐条回应后归档,回退预案没落到具体操作岗的视为方案不全。灰度停服按先停旁路调用、再停主路入口的顺序推进,两步之间的观察时长由值班记录连续记载,中途回退要注明退回哪一步以及由谁下令。切流计划须在灰度窗口先行验证,未经验证直接全量切换的按流程违规登记,造成实际影响的转入事件处理程序追责,验证结果与所依据的切流计划版本一并写入小结单。收尾时归档模型卡与日志,登记追溯通道并公告查询方式,公告写不清查询路径的视同未公告,由归口岗补发一次并留下补发时点。↓外部生成工具使用操作流程一、员工先查允许清单,清单之外的工具提交归口部门评估,评估期内不得用于公务数据,评估窗口按本单位自设时限执行,逾期未回的该工具继续停在清单之外不得试用。二、使用时按输入分级自判,受限内容一律不键入,需要起草的改写成去掉身份要素的要点,要点是否去干净由使用人自行比对留痕,痕迹随该件交付物归档,与使用记录同日核对。三、产出进入交付物之前由负责人复核其中的事实与数字,署名跟着复核记录走,记录要写明核回的凭据名称与核对时刻,缺记录的该件不署也不排入交付,补核之后才能回到交付队列。四、使用来源要如实申报,发现未申报而内容已对外发布的,按管理缺陷登记并回溯该件,回溯到发布渠道与经手岗位,缺陷登记随季度清单发布情况一并列出,列出后由安全岗回看一次。↓数据去标识化操作流程一、流程从字段盘点起步,把直接标识符与准标识符分成两份清单列出;盘点由数据处理岗完成并注明日期,后面处理按清单逐项销号,清单之外新出现的字段先补列再动手。二、逐字段处理时在替换、泛化、抑制、扰动四类手段里挑一种,挑定的理由写进处理记录;理由空着的字段视同未处理,交接时由接收方退回,不允许事后补写理由充数。三、处理收尾由隐私保护岗做组合测试,模拟外部可得的辅助信息去尝试重新关联到个人;通过才放行进语料库,未通过的退回第一步补充处理,并把粒度往上提一档。四、各环节都以处理记录作为交接凭据,记录不齐即认定那一步没做完,责任停在交出方而非接收方;组合测试怎么算过,标准由隐私保护岗提前把样例形态公布出来,供各岗对照执行。↓标注规则仲裁操作流程提交人描述分歧时要把两种判定各自的理由都附上,只写结论不写理由的由平台退回,补全后系统才生成案件编号,编号是后续所有动作的引用起点。小组先核对规则原文与既有意见再合议,形成统一口径与适用边界,边界外的情形不在本案里扩张,必要时先给出临时保守做法,保守做法有效至意见正式生效。意见归档、示例库更新、变更宣贯三个环节须在三个工作日内全部完成,缺一不得销案,销案由规则维护人执行,执行人与提交人不得为同一人。合议采回避制,与提交人同组的成员不参与该案判定,回避事由记进会议记录。结论由规则维护人起草,组长与算法负责人两轮校对后方归档生效,校对意见留在草稿页边而不另存一处,便于回看口径是怎么定下来的。↓自动化决策告知操作流程告知节点与展示位置在业务场景立项时同步设计,不留到上线前补做,立项单上注明谁负责文案、谁负责页面,两项缺一不得进入开发。上线前测试送达与页面呈现,并抽样验证可读性,样本按人群与入口分取,抽中的原文页面留档,改版后调不出旧页的算测试未做。申诉到达后转入复核队列,复核结论回告并记入台账,回告时点与送达方式逐条填写,台账缺行的事项在月度归集中列为漏项。案例按月归集,反复出现同一疑问的修订文案,同步更新客服话术,避免页面已改而解释仍按旧文案,话术版本号附在当月案例归集报表之后备查。话术与文案的对应关系由客服主管按月核对一次,错位的当场指定修订责任人,连续两月未改正的转入客服质量问题清单处理。四、检查与考核检查项检查与考核要求外部生成工具使用检查考核一、按制度抽查办公网络出口记录中的外部工具访问情况,命中清单外域名的逐起询问。二、比对对外发现内容与员工申报来源,未申报即使用的记管理缺陷。三、把清单执行率与违规事件数合并通报,纳入部门季度评价。四、抽查发现的首次违规建立纠正记录,三个月内复发的进入问责序列;纠正记录只向本人提示,不进入公开通报,通报只列渠道与类型,不列具体经办人姓名。生成内容标识检查考核一、抽查已发布内容的标识完整度,漏标逐件登记为事件并倒查环节。二、统计被外部工具裁剪的比例,作为技术加固的优先级依据。三、核对标识文案与内容实际来源的一致性,张冠李戴的按差错考核责任岗。四、发现外部发布渠道把标识裁去而我方未察觉的,与自身漏标同等登记;相关渠道协议中的标识保留条款须同步补签,补签落实情况在下次检查中优先核对。灰度与回滚检查考核一、回看每批放量是否配得上观察项与小结单,没有小结就推进下一批的记流程缺项。二、统计从触发到恢复的耗时并与半年演练记录比对,明显劣化的要求补做一次演练。三、抽查配置与版本的对应关系,出现只退模型不退配置的按处置不彻底登记。四、长期停在半档的项目单列,问明是观察未完还是无人认领,后者提请归口部门接管。投诉错误归因检查考核一、按月看归因类别分布,模型类占比骤降而投诉总量没变的,回看是否把责任推给了数据或规则。二、抽验整改责任单的闭环情况,结案时没写验证方式的退回重办。三、统计复现失败率,失败件集中在同一渠道的与该渠道核对留存时限。四、类别口径调整须经确认并在台账标出生效批次,跨期比较时同时给出前后两段各自的口径表述。人工复核岗检查考核一、月度分析维持率与理由完整度,两项异常触发回看培训记录。二、复核改判决案件的抽检覆盖不低于三成,重点看修正理由是否站得住。三、把处理时长分布与操作日志对照,识别批量空点式操作,发现即冻结账号并倒查。四、回看培训记录时同步检查教材是否覆盖近期错误类型;培训与错误对不上的,问题在教材而不是复核员个人。数据去标识化检查考核一、季度抽验已入语料库的批次,随机选若干字段做组合识别测试,仍能对应到个人的整批退回重做。二、核对处理记录与验收结论是否逐字段对应得上,记录缺项的视同未验收。三、对照表使用登记按次查用途与回收时刻,超期未回的追查持有岗位并限期销项。四、抽验结果与批次档案挂钩:问题批次所在团队当月加密复测,无问题的下一季度减少复测次数,增减都要留理由。五、记录与表单表单或记录填写与使用要求漂移监控窗口记录要求一、监控配置台账按模型记快照版本、窗长、告警线与距离算法说明,配置改动留前后对照。二、告警处置逐条登记研判结论与责任岗,没有下文的告警单列并在下次检查中首查。三、重设快照时写明缘由,例如上游采集格式变化,并登记受影响的时段范围。四、升级响应演练记录入档,演练时间与耗时逐次可比,走不通的当次直接标记为配置缺位。第三方模型接口记录要求一、接口登记簿载明来源、版本、数据范围、防护结论与责任岗。二、沙箱测试记录保留疑虑清单关闭情况与结论摘要。三、改版通知归档并与对应评估补记关联,补记缺失的通知按未送达处理。四、登记簿与接口清单同步更新,两处不一致时以登记簿较新记录为准并当日回改另一处;连续两次不一致记入管理缺陷,登记簿每季度与合同台账交叉核对一次,核对差异限期归零。数据集版本冻结记录要求一、冻结登记逐版记清单范围、参数文件、校验码与只读状态的起止时间。二、解冻申请须附近改动样例与影响说明,批准人、改动条目与重冻后的新版本号一并入册。三、子集截取单独成表,写明出自哪一版源集、筛过哪些条件、供什么用途,横向比较时据此核对同源。四、报告引用版本与登记表逐条对得上,对不上的以登记为准并当日回改报告草稿。五、只读状态的起止时刻与授权对象一并入册,抽查时由任一条记录能倒查出其余各条。训练数据合法性记录要求一、语料登记簿逐批记清来源路径、所依协议的版次、权利人是谁、谁来核验、结论如何,缺项的不分配存储配额。二、公开类语料另附读取范围与排除声明的比对结果,比对截图随登记一并留存。三、剔除与删除动作单独成册,写明批次快照所在位置,防止一处瑕疵牵连整库时无从切分。四、登记簿要与合同台账、存储清单对得上号,对不上的限期补挂并倒查经办环节。算法变更评估记录要求一、变更台账逐单记录范围、对照结论、批准人与生效批次。二、分歧清单与专项测试结论保留原始件,不接受只有汇总数的报告。三、观察窗内告警与变更的关联判断逐条登记,为下次评估提供参照。四、台账按季汇总变更数量与类型占比,呈报漂移监控与治理委员会,作为告警线调整和观察窗设置的输入材料,占比异常变化须附归因说明,说明与台账同报。高风险双人确认记录要求一、确认台账逐笔留双方账号、时间戳、依据快照编号与意见。二、事后追认案件单列,注明原因与补签耗时。三、账号互斥检查结论附当月名单存档,异常项限两周内消缺并回报。四、台账按季导出备份并附校验码;抽查以导出件为准核对当月记录完整性,防止在线库被事后无痕改动,导出件与在线库校验码一致的方可作为核对基准,不一致时双版本并报责任岗。六、附则(一)类别不均衡治理衔接条款。一、这里的口径变更与离线验证口径条款联动评审,验证集扩容之后必须重新出具类别分布表;表没重出就引用的旧分布数字不进评审席,由执行人补齐后再排时段,扩容日期与表版本一并登记。二、历史模型重训时,类别结构与立项表差异过半的按新立项处理,重新定风险档位;算不算过半由算法评审组按分布表读数判定,判定结论随重训申请留档,事后争议按档认定。三、术语与其他AI治理文件不一致时,提请治理委员会确认后作统一修订,确认之前先按更严的一边执行;修订落地后同步回写术语表,避免下一轮又各写各的说法。四、执行中形成的倍数档位由算法评审组评估后调整,调整只对新立项生效,存量项目照立项时的原档位要求执行;两套档位并行期间,台账要标明每一笔适用的是哪一版要求。(二)对抗与越狱测试衔接条款。一、题库属受限资料,解释权归安全测试归口岗位,题目增删依据随月度盘点说明一并发布,发布之外不单方向外部提供样本,样本需求一律转归口处理,处理结果记入索取台账。二、本条生效时仍在修复窗口内的历史路径,按当初判定的档位继续跟进而不重新定档,档位依据随修复记录留存到窗口关闭,关闭时刻与依据同页归档,归档件由安全测试岗按季点验。三、测试暴露问题的移交按内容分线,涉及内容标注的转生成标识要求,涉及外部服务行为的转接口要求,责任岗随之调整,调整当日以书面交接单为凭而不口头转派。四、外部合作方索取题目样本一律经归口部门同意,不得以交流名义外发,引用我方结论时不得改写判定档位,同意的样本范围与外发时刻均记入受限资料台账。(三)模型下线替代衔接条款。一、这里接日志与追溯条款,追溯通道变更时要同步告知存查方,告知以书面为准并留送达时段;漏告知导致线索查不到的,责任停在没告知的一方,不记在调阅方,补告知要限期完成。二、下线的理由与影响回顾纳入治理委员会的年度总结材料,材料由归口部门汇总;只写结论不写影响的退回经办岗补充,补齐后才进年度文本,退回次数照登。三、口径解释归算法归口部门,特别通道什么情况下能用,由委员会单独审定;审定意见与解释文本

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论