AI在法务的风险:合同、预测、保密-登记册、控制动作与执业监测_第1页
AI在法务的风险:合同、预测、保密-登记册、控制动作与执业监测_第2页
AI在法务的风险:合同、预测、保密-登记册、控制动作与执业监测_第3页
AI在法务的风险:合同、预测、保密-登记册、控制动作与执业监测_第4页
AI在法务的风险:合同、预测、保密-登记册、控制动作与执业监测_第5页
已阅读5页,还剩12页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

AI在法务的风险:合同、预测、保密——登记册、控制动作与执业监测本文档提供:一份三风险项法务登记册(表1),含可观察后果与案卷系统信号入口;合同审查AI引用核验表与引用幻觉残留率公式(表2、式(1));预测工具分组公平性核验表与假阳性率公式(表3、式(2));客户数据隔离等级表与输出泄露检测表(表4-a、表4-b);治理责任矩阵与退出触发条件(表5);三套场景操作序列(表6);四条决策规则与一处矛盾权衡;一个法务总监从空白登记册到首次季度复核的完整案例(含三轮转折与判断连锁);输出前逐项打勾的自查表(表7)。2026-11-09这一节的标题读完你能拿到什么这一节在全文中的功能一、法务AI工具上会之前,合同、预测、保密三条风险行先填进登记册表1三风险项登记册,含可观察后果列与案卷系统信号入口锁定第一个执行动作:先建行,再谈工具选型二、合同审查AI的风险提示,引用先逐条检索,要旨再逐句核对表2引用核验表、式(1)引用幻觉残留率、退回与放行规则把“合同审查不准”转成可逐条核验的判定三、预测工具的组间假阳性率差超过0.10,该组个体决策就得停用表3分组公平性核验表、式(2)假阳性率、阈值与用途限制规则为预测性编码与风险评估工具给出可审计的公平性入口四、客户数据进AI前定L1/L2/L3,出AI后过泄露检测表4-a入库隔离等级表、表4-b输出泄露检测表把保密义务拆成两道可打勾的拦截点五、法务AI工具谁签字、谁复核、什么条件下停用或退出表5治理责任矩阵与退出触发条件、四条决策规则把控制动作绑定到法务角色与审批节点六、某法务总监从空白登记册到首次季度复核走了三轮含信号、假设、试探、新信息、换路五件事的完整案例与变量表展示登记册在真实判断链条中的用法七、三张控制表填完了,拿这张单子对一遍表7成品块完整性自查表、表6三套场景操作序列收口:确认每项控制有输入、有动作、有判定按第一列在正文找对应那节,按第二列判断这节有没有你要的东西,按第三列判断这节是否对应你当前卡住的位置。一、法务AI工具上会之前,合同、预测、保密三条风险行先填进登记册法务场景的AI风险后果落在执业责任上:引用不存在的判例提交法庭、预测工具的假阳性率在受保护群体之间拉开差距、客户保密信息进入公共模型后无法撤回。登记册的第一项动作,是把三条风险行建起来,每行填到“可观察后果”能在某张表或某个案卷系统字段里被计数。三行固定为合同、预测、保密,每行的“AI工具及用途”和“可观察后果”按机构实际填写。必填字段:风险ID(R-YYYYMM-NN)、AI工具及用途(写成“某工具用于某具体法务动作”)、可观察后果(一句话,读者能从中判断“什么事件发生时该翻这一行”)、责任人角色名、固有评分(可能性/影响各一档)、案卷或系统信号入口(填表名加列名,或案卷管理系统/文档管理系统的字段名)。可观察后果列承担本节判定。写完后自问:这句话描述的负面事件,能在哪张控制表的哪一列或哪个系统字段里找到一条具体记录。找不到的退回重写。“AI生成的判例引用经检索不存在”对应表2“核验结论”列计“不存在”;“预测工具对某群体的假阳性率显著高于另一群体”对应表3“假阳性率差异”列超出阈值;“客户合同草稿被输入公共AI模型且模型启用了训练留存”对应表4-a“隔离等级”列计“公共模型未关闭训练”或表4-b“检测结论”列计“泄露”。三行中任何一行找不到表名加列名或系统字段名的,该行的后续控制动作无法落地,不允许进入第二节。表1法务三风险项登记册(示例行为某企业法务部与合规部共用)风险IDAI工具及用途可观察后果责任人角色固有评分案卷/系统信号入口R-202611-01某生成式模型用于合同条款风险提示与修订建议生成风险提示中引用的判例、法条或内部先例经检索不存在,律师未核验即用于对客意见法务总监高×高表2“核验结论”列计“不存在”的引用条数R-202611-02某风险评估工具用于诉讼结果预测与和解金额区间建议工具对某一受保护群体的假阳性率(将低风险预测为高风险)显著高于另一群体合规负责人高×高表3“假阳性率差异”列超出阈值的分组对数R-202611-03某AI摘要工具用于客户合同与内部法律备忘录的处理客户合同中的保密条款、交易结构或当事人身份信息经AI输出泄露至非授权接收方或公共渠道数据保护/信息安全负责人高×中表4-b“检测结论”列计“泄露”的输出条数三行填完后按评分排序:任一维度为“高”的行进入当月优先队列,两项均为“中”的进入观察队列。优先队列的风险项先完成第二、三、四节中对应的控制动作。表1示例中三行均进入优先队列,首月均无历史事件记录,按固有评分从高到低排序:R-202611-01与R-202611-02并列最高,R-202611-03次之。登记册建行动作的完成标准:三行各自的可观察后果能在表2、表3、表4-b中找到一处列名落点。任一行落点缺失,该行状态记为“未锁定”,不进入优先队列排序。落点锁定后,该行的“固有评分”才用于排序。二、合同审查AI的风险提示,引用先逐条检索,要旨再逐句核对合同审查AI的输出包含两类断言:对合同文本本身的描述(“第5.2条未约定通知期限”),以及对法律依据的引用(“依据某判例,该条款可能被认定为……”)。第一类断言可以通过打开合同原文逐句核对。第二类断言的风险落在引用核验上:模型可能生成不存在的判例、错误描述裁判要旨、引用已被推翻的先例。已发表的研究记录到,企业级AI法律研究工具的引用失败呈现系统性模式,包括虚构案例引用和对裁判要旨的错误描述。另一些测试报告的法律事实幻觉率分布在17%至33%之间。直接使用LLM进行合同审查还面临规则匹配不稳定和可追溯性弱的限制。控制动作从逐条核验开始。对每一份由AI辅助生成的合同审查意见,在输出交付之前,把其中全部“引用类断言”拆成独立行:每一条判例引用、每一条法条引用、每一条内部先例引用各占一行。核验动作分三步。第一步,在可检索的判例数据库或内部先例库中按案号或引用编号查找该引用是否存在。第二步,存在则打开原文,核对AI描述的要旨是否与原文一致。第三步,检查该先例是否仍为有效法律(未被后续裁判推翻或立法废止)。三步中任一步不通过,该行“核验结论”列记为对应状态。表2合同审查AI引用核验表引用原文(截取)引用类型检索存在性(存在/不存在/无法检索)要旨一致性(一致/不一致/未核对)效力状态(有效/已被推翻/无法判断)核验结论退回与放行规则“依据某买卖合同纠纷案,第5.2条的通知期限条款可能被认定为格式条款”判例不存在:按案号与当事人名称检索均无结果未核对无法判断不存在退回该条风险提示,不得进入对客意见;在“错误主题”列填“通知期限—格式条款认定”“依据现行合同法规范,违约金上限以实际损失的30%为参照”法条/规范存在一致有效通过放行,附引用出处编号“依据某内部先例(编号IP-2026-031),排他性管辖条款在跨境交易中通常被保留”内部先例存在,编号可查不一致:原文讨论的是非排他管辖,AI将结论扩大为“通常保留”有效不一致退回重生成该句;该内部先例不得以“通常”句式引用式(1)把逐条核验结果聚合为一份审查意见的引用幻觉残留率。式(1)引用幻觉残留率=(不存在引用条数+不一致引用条数)÷引用类断言总条数不存在引用条数取自表2“核验结论”列计“不存在”的行数;不一致引用条数取计“不一致”的行数;引用类断言总条数为同一份审查意见拆出的全部引用行数。“无法检索”不计入分子,单列为来源可及性缺口,由法务总监在月度复核时决定是否补充检索渠道。计算在电子表格中完成:=(COUNTIF(核验结论列,"不存在")+COUNTIF(核验结论列,"不一致"))/COUNTA(引用类断言列)。验收阈值:对客交付的审查意见,引用幻觉残留率必须为0。残留率大于0的,该份意见不得交付,退回核验并重新生成全部“不存在”和“不一致”行。内部参考用的初稿,残留率不得超过0.05;超过0.05的,初稿标记“未经核验”,不得作为任何对外文件或客户沟通的依据。常见错误一:只核验“是否存在”,不核验“要旨是否一致”。一个真实存在的判例被错误描述其裁判要旨,在引用核验中会被判为“存在”,但实际使用后果与引用不存在的判例相同。常见错误二:把“无法检索”计为通过。检索渠道不覆盖的引用在提交法庭或对客交付时同样无法证明其真实性,按单列来源缺口处理,不进入放行。校验方法:从已判定“通过”的引用行中随机回抽10条,由第二人独立检索并核验要旨;回抽中发现任一“通过”行实际为“不一致”的,该份审查意见的全部“通过”行重核。最高法相关意见对诉讼参与人提交AI生成材料的要求是:提交前认真核实法律、司法解释、案例的真实性与准确性,提交时对使用AI辅助情况作出说明,并对真实性、准确性依法承担责任。美国法院已出现双方律师提交AI幻觉判例、四名律师被取消代理资格并罚款的制裁记录。合同审查意见的法律依据核验,其标准与诉讼提交材料在同一方向上:签字或交付的人承担核验义务。排查路径的第一检查点写在这里:打开案卷管理系统,在“审查意见引用核验”记录中按意见编号检索,查看“核验结论”列是否存在“不存在”或“不一致”行,同时查看该列是否附有检索时间戳和检索人角色名。两项中任一项缺失,该份意见按未完成核验处理,不得进入交付队列。三、预测工具的组间假阳性率差超过0.10,该组个体决策就得停用诉讼结果预测、和解金额建议、累犯风险评估等工具的输出落在两类错误上:把低风险预测为高风险(假阳性),把高风险预测为低风险(假阴性)。整体准确率掩盖这两类错误在受保护群体之间的分布差异。COMPAS累犯预测工具的公开争议记录了这一点:该工具大致满足预测Parity,但在黑人被告中的假阳性率显著更高。同一工具的研究还显示其预测偏向羁押而非释放,偏见可通过校正降低,但校正会同时改变假阴性与假阳性的交换关系。控制动作从分组核验开始。对预测工具的验证样本,按工具输出所涉及的保护属性分组(在可合法收集的范围内),至少分为两组。对每一组分别计算假阳性率和假阴性率。判定不看两组准确率是否接近,看假阳性率差异和假阴性率差异是否落在可接受区间内。表3预测工具分组公平性核验表核验分组样本量实际低风险数被预测为高风险数(假阳性数)假阳性率实际高风险数被预测为低风险数(假阴性数)假阴性率假阳性率差异(相对参照组)参照组(样本量最大或历史基准组)12008001200.150400600.150—对比组A9006001500.250300450.150+0.100对比组B450300480.160150300.200+0.010(假阳性);+0.050(假阴性)假阳性率按“实际低风险中被预测为高风险的件数÷实际低风险总数”计算。假阴性率按“实际高风险中被预测为低风险的件数÷实际高风险总数”计算。差异为对比组比率减去参照组比率。式(2)给出单一分组的假阳性率表达式,用于逐组计算后比较。式(2)假阳性率=实际低风险中被预测为高风险的件数÷实际低风险总件数实际低风险中被预测为高风险的件数取自表3“被预测为高风险数(假阳性数)”列;实际低风险总件数取自“实际低风险数”列。式(2)对每一组分别计算,不合并分组。电子表格中按组使用=假阳性数/实际低风险数。假阴性率的计算方式相同,分子取“被预测为低风险数(假阴性数)”,分母取“实际高风险数”。验收阈值:参照组与对比组之间的假阳性率差异绝对值不得超过0.10。任一对比组的假阳性率差异超过0.10的,该预测工具不得用于涉及该对比组的个体决策(如保释建议、和解金额个体推荐、诉讼策略个体建议),只能用于群体层面的资源分配或趋势参考。假阴性率差异超过0.15的,同等处理。阈值写入表3的退回与放行列,判定人角色填合规负责人。常见错误一:用整体准确率或AUC替代分组假阳性率比较。一个整体AUC为0.78的模型可以在两组之间保持0.12的假阳性率差。常见错误二:把“预测Parity”(两组的高风险预测比例相近)当作公平性已满足。预测Parity与假阳性率的组间均衡可以同时成立或不成立,二者回答不同问题;个体决策场景以假阳性率差异为准。校验方法:从参照组和对比组各随机抽取30件“实际低风险但被预测为高风险”的案例,由第二人盲评其实际风险等级;两组盲评结果与工具判定的一致率差异超过20个百分点的,该轮核验的分组数据需重新标注后再计算。假阳性率差异的阈值设定本身是一项规范性选择,涉及“错误羁押无辜者”与“错误释放高风险者”之间的交换。工具输出不替代这一选择。控制动作要求的是:工具使用方在表3中写明阈值来源(监管要求、内部政策或行业惯例),阈值变更记录留档,变更决策人角色填合规负责人或法务总监。四、客户数据进AI前定L1/L2/L3,出AI后过泄露检测保密义务在AI工具场景中的第一个缺口发生在入库环节。多数广泛使用的云端AI工具在远程服务器上处理数据,保留并利用聊天记录、文档和其他输入进行持续模型训练,且告知不充分、例外条款不透明。ABAFormalOpinion512重申了律师对非律师和第三方供应商的监督义务,并指出将客户事实、法律策略或专有数据输入标准公共接口会触发保密风险。CCBE的指引同样建议对将客户数据输入公共或不安全生成式AI模型保持极高警惕,该行为可能构成对保密特权的违反。国内行业层面,上海市律师协会2025年指引明确“AI工具仅作为法律服务辅助工具的定位”,并严禁将涉及国家秘密、商业秘密及个人隐私的客户信息输入公共AI平台。控制动作按隔离等级分档。每一类拟输入AI工具的客户数据或内部文件,先确定其隔离等级,再决定可用的工具类型和前置条件。表4-a客户数据AI入库隔离等级表隔离等级数据类别示例可用工具类型前置条件(肯定式)入库判定不合格形态与退回动作L1(可进入公共模型)已公开的裁判文书、公开法律法规文本、无客户标识的通用模板公共生成式模型输入前移除全部当事人名称、案号中的可识别信息、交易金额放行不合格形态:输入文本保留当事人全称且未做替换;退回做脱敏替换后重新输入L2(仅限私有部署或合同约束的专用实例)客户合同草稿(含商业条款但不含个人数据)、内部法律备忘录(不含客户身份)本地部署模型、私有云实例、已签署数据处理协议的供应商专用实例供应商合同中有“不将输入用于模型训练”的书面条款;或模型完全在机构控制的服务器上运行放行至L2工具;不得进入公共模型不合格形态:使用公共模型处理L2数据,或供应商合同缺失“不用于训练”条款;退回,已输入内容按泄露事件处置L3(仅限本地隔离环境,原则上不进入任何外部AI)客户身份信息、交易对手未公开身份、诉讼策略核心文件、涉及个人数据且无单独同意的材料完全本地部署且无外部网络连接的环境;或经数据保护负责人逐案批准的封闭实例本地环境通过安全评估;或逐案批准记录中有数据保护负责人签字和时间戳默认禁止进入外部AI;本地环境放行需附安全评估编号不合格形态:L3数据进入任何有外部网络连接的AI工具;退回并触发表4-b泄露检测入库判定的动作写成逐项核对:打开数据分类记录,确认该批次或该文件的隔离等级;打开供应商合同或部署架构说明,确认所用工具类型与隔离等级匹配;两项匹配的放行,任一项不匹配的按“不合格形态”退回。已输入公共模型且不符合L1条件的,按泄露事件进入表4-b。输出端的检测针对AI工具生成或引用的内容中是否带出了不应出现的保密信息。检测对象包括:AI生成的摘要、修订建议、风险提示中嵌入的客户身份信息、交易结构细节、未公开的诉讼策略表述。表4-b保密信息输出泄露检测表输出编号输出用途检测对象(生成文本/引用片段)命中类别检测结论(放行/拦截)拦截后处置示例行OUT-11-A合同审查意见(对客交付前)引用片段:AI引用的某历史合同条款客户B的交易金额与折扣结构拦截从审查意见中移除该引用;回溯AI输入记录,确认该信息来自哪一批L2数据;该批次改入L3处理命中客户B折扣结构,拦截,引用移除后重生成OUT-11-B内部备忘录摘要(不对外)生成文本:无客户标识的策略讨论无命中放行——检测结论为“拦截”的输出,不得交付或用于任何对外文件。拦截后处置包含两项回溯:回溯该输出对应的AI输入记录,定位泄露信息的来源批次;回溯该来源批次在表4-a中的隔离等级判定,确认是等级判定错误还是工具使用错误。两项回溯结果写入表4-b的“拦截后处置”列。五、法务AI工具谁签字、谁复核、什么条件下停用或退出治理的落点是把前三节的控制动作绑定到法务角色、合规角色和审批节点上。法务场景的执业责任结构要求:签字或交付法律意见的人承担核验义务,该义务不因使用AI工具而转移。ABAFormalOpinion512的立场是律师对AI辅助生成的工作成果的准确性、可靠性和法律充分性承担责任,监督义务延伸至非律师和第三方供应商。国内法院在制裁AI幻觉判例相关行为时同样指出,律师可以将检索和初稿整理交给AI,但判例是否真实、引用是否准确、规则是否适用始终是律师本人不可转让的责任。表5治理责任矩阵与退出触发条件治理节点承办/业务(第一道)合规/独立复核(第二道)管理层/审计(第三道)退出触发条件(可观察)合同引用核验(表2、式(1))承办律师执行逐条检索与要旨核对,签字确认残留率为0独立复核律师回抽10条“通过”行重核审计抽查对客交付意见的核验记录与回抽重合率同一份对客意见出现不存在或不一致引用≥1条且已交付;或连续两份初稿残留率>0.10预测工具公平性(表3、式(2))工具使用方按组计算假阳性率与差异,填入核验表合规负责人核验分组口径与阈值来源审计抽查阈值变更记录与退出决定留档假阳性率差异绝对值>0.10且工具仍用于个体决策;或假阴性率差异>0.15且未做用途限制保密入库与输出(表4-a、表4-b)数据输入人员按隔离等级判定;输出检测执行数据保护/信息安全负责人核验L2供应商条款与L3批准记录审计抽查拦截输出的回溯完成情况L3数据进入外部AI≥1次;或L2数据进入无“不用于训练”条款的公共模型≥1次工具停用/退出承办方提出停用评估触发信号合规/独立复核确认触发条件成立管理层批准停用或退出,备用流程在批准前已就位上述任一退出触发条件成立,且备用流程(人工核验、规则审查、原有流程)经一个完整业务周期试运行确认退出决定的执行前置条件写成肯定式:备用方式已就位(人工逐条核验、不使用该工具的规则审查、退回原有流程中的至少一项),且备用方式在一个完整业务周期内未出现对客交付延迟或核验遗漏。退出决定在管理层留档,承办方按批准后的切换指令执行。四条决策规则按顺序执行,前一条给出结果的不进入后一条。决策规则一:如果表2中同一份对客审查意见的引用幻觉残留率大于0,则该意见不得交付,退回核验并重新生成全部“不存在”和“不一致”行;如果重新生成后仍残留大于0,则退路为该意见全部引用改为由承办律师手写并逐条附检索记录,AI输出仅作为条款描述部分的草稿。决策规则二:如果表3中任一对比组的假阳性率差异绝对值超过0.10,则该预测工具的输出不得用于该对比组个体的保释、和解、诉讼策略建议;如果该工具已在运行且无法立即停用,则退路为对涉及该对比组个体的输出全部加注“工具分组差异超标,仅供群体参考”,并由合规负责人在30日内完成用途限制或工具更换评估。决策规则三:如果表4-a判定L3数据进入任何有外部网络连接的AI工具,或L2数据进入无“不用于训练”条款的公共模型,则该批次按泄露事件进入表4-b回溯,同时冻结该工具对同类数据的输入权限;如果泄露涉及可识别客户身份或未公开交易信息,则退路为按机构数据事件响应流程通知数据保护负责人,并在回溯完成前暂停该工具的全部L2及以上数据输入。决策规则四:如果表2复核、表3分组重算和表4-b泄露回溯在同一周内争用同一组具备法律与数据判定能力的人员,则按“已产生对外交付后果>仅有内部记录”的顺序选择先动项;表4-b的泄露回溯涉及已输出信息,优先于表2的复核和表3的重算;排序结果写入登记册当月备注,未处理项标注“顺延,监测保持开启”。矛盾:表2的引用核验要求对每一份对客意见的全部引用逐条检索并核对要旨,而表4-b的输出泄露检测要求在每次AI输出交付前扫描生成文本和引用片段中的保密信息。两项动作落在同一组承办律师和复核律师身上,同一交付窗口内无法同时按各自的完整覆盖面执行。实质分析:两项动作争用的是同一批具备法律判断与数据识别能力的工时,风险的时间结构不同。引用核验处理的是法律依据的真实性,错误在交付时即固定,无法在事后补正而不撤回意见;泄露检测处理的是信息边界,拦截可以在输出前最后一道关口执行,但一旦放行,信息离开机构控制。把两项排成串行,延迟的是其中一项的处置时点;把两项合并为一次复核,牺牲的是引用核验的法律判断口径与泄露检测的数据分类口径。权衡规则:看当前交付窗口内是否存在表4-b已产生“拦截”记录的输出。有拦截记录的,先保泄露检测的逐条扫描,引用核验的逐条核对范围不缩但回抽复核从10条降至5条,下一交付窗口补足;无拦截记录的,先保引用核验,泄露检测维持扫描但人工复核队列排在其后。判断依据写入登记册备注,写“表4-b拦截X条,引用核验回抽降至5条顺延至下窗口”,不写“综合权衡”。退路:两项都无法按调整后的量完成的,对优先队列中评分最高的那一项启用“承办律师全量人工复核+输出前双人签字”作为临时控制;临时控制持续不超过两个交付窗口,第三个窗口恢复原覆盖并补做未完成的核验或检测。六、某法务总监从空白登记册到首次季度复核走了三轮示例案例,细节为合理设定。起点:某企业法务总监接手一份空白AI风险登记册,手头有一套已试用两个月的生成式合同审查工具、一套外部供应商提供的诉讼结果预测工具,以及一套用于客户合同摘要的AI文档处理工具。三套工具都没有正式的风险行,也没有使用规范。第一轮。她在表1建了三行,把合同风险的可观察后果写成“AI生成的风险提示引用不存在的判例”。填“案卷/系统信号入口”时,她最初写“表2”,但表2的“核验结论”列计“不存在”需要先有引用类断言的拆分规则。她调取了试用期生成的12份审查意见,发现工具输出中判例引用和条款描述混在同一段里,没有区分。新信息:信号入口写不出来,根因在审查意见的输出结构缺少“引用类断言”的标识。换路:在审查意见模板中增加“引用依据”独立栏,要求AI输出把判例、法条、内部先例引用从条款描述中拆出;再回到表1把信号入口精确到“表2‘核验结论’列计‘不存在’的引用条数”。第二轮。她按表2对试用期的12份意见跑了引用核验。其中4份出现“不存在”引用,合计7条;另3份出现“不一致”(真实存在但要旨被扩大)。按式(1)计算,对客初稿的引用幻觉残留率在0.08至0.15之间。她准备直接停用该工具。停用前按表2的退回规则检查,发现7条“不存在”引用中有6条集中在“格式条款认定”和“违约金调整”两个主题,且工具在提示词中未被要求限定在可检索的判例库范围内。新信息:残留率的主要驱动因素是检索范围未约束,模型在开放生成状态下补全引用,工具本身在条款描述部分(第一类断言)的准确率并不差。这推翻了“工具整体不可用”的假设。换路:不停用工具,改为在合同审查工作流中增加“引用检索前置”步骤——工具只对已导入判例库和内部先例库中的材料做引用匹配,不允许在引用栏生成库外内容;重新跑12份意见,对客初稿残留率降至0.02,其中“不存在”引用为0,“不一致”引用1条(已退回重生成)。表1R-202611-01行的控制动作从“停用评估”改为“引用检索前置+库外引用禁止”。第三轮。诉讼预测工具在表3的首次分组核验中,参照组假阳性率为0.14,对比组A为0.26,差异+0.12,超过0.10阈值。她按规则二限制该工具对对比组A个体的使用,但在检查分组数据时发现对比组A的样本量只有参照组的不到一半,且“实际低风险”的标注部分来自三年前的旧案卷。新信息:差异的一部分可能来自标注时间跨度导致的分布偏移,不完全是工具本身的公平性问题;但样本量不足和标注过期使得差异的统计稳定性无法确认。换路:不撤销限制(因为差异方向明确且后果严重),同时将表3的核验样本限制在最近两年内标注的案卷,并要求供应商提供分组样本量扩充方案;在补充样本重算之前,对比组A的限制维持,参照组与对比组B的差异(+0.01)在阈值内,不限制。表3的“核验分组”列增加“标注时间窗口”字段。终点:登记册三行均有风险ID、可观察后果、责任人角色、信号入口、当月控制有效性记录。表2对客初稿的“不存在”引用为0,残留率0.02;表3对比组A的假阳性率差异+0.12,限制已执行,补充样本核验待完成;表4-a的L2数据全部通过私有实例处理,供应商“不用于训练”条款已归档,表4-b当月拦截1条引用片段中的客户折扣结构,引用移除后重生成。表6案例变量表变量案例中情形如果变量不同处置变化合同审查输出是否区分引用类断言初始混在条款描述中,后增加独立引用栏已有独立引用栏第一轮直接进入引用核验,节省一轮输出结构改造引用幻觉的集中主题格式条款与违约金调整,检索范围未约束引用分散且库内已有匹配残留率可能通过单条退回解决,不需要前置检索约束预测工具对比组样本量与标注时间样本量不足,标注跨三年样本量充足且标注在近两年内差异可直接判定,不需要补充样本;限制或放行按原阈值执行表4-b输出泄露的类别引用片段中的客户折扣结构生成文本中的客户身份信息拦截后回溯指向L3数据入库违规,触发更严格的工具输入冻结表中权重较高的变量是“合同审查输出是否区分引用类断言”:它决定表2的核验能否逐条执行,并连锁影响式(1)的分子统计和决策规则一的触发时点。七、三张控制表填完了,拿这张单子对一遍表7成品块完整性自查表检查位置检查什么合格条件(肯定式)不合格形态与退回动作表1三行是否各有案卷或系统信号入口信号入口列填有表名加列名,或案卷/文档管理系统字段名不合格形态:信号入口填“法务系统”或“AI输出”;退回重填该行表2及式(1)引用类断言是否与条款描述分开核验表2每行引用类型为判例/法条/内部先例,核验结论有检索存在性、要旨一致性、效力状态三项中至少两项的判定不合格形态:核验结论只填“通过/不通过”而无分项判定;退回补分项式(1)对客意见的阈值是否为0阈值列写有“对客交付引用幻觉残留率=0”,并写明大于0时的退回动作不合格形态:阈值填“尽可能低”;退回补数值阈值和处置表3及式(2)是否按组分别计算假阳性率每组有独立行,“假阳性率”列有数值,“差异”列相对于参照组计算不合格形态:只有整体假阳性率而无分组;退回补分组行表3阈值是否写明来源和变更决策人假阳性率差异阈值(0.10)和假阴性率差异阈值(0.15)旁注来源,变更决策人填角色名不合格形态:阈值列空白或只写“合理范围”;退回补数值和来源表4-a/b隔离等级与输出检测是否各有关口a表每类数据有隔离等级和入库判定;b表每次输出有检测结论和拦截后处置不合格形态:a表等级填“按需确定”;退回补L1/L2/L3中的一项决策规则四条规则是否含执行与退路每条写有“如果[可观察条件],则[动作];如果[失效条件],则[退路]”不

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论