AI系统审计：模型、数据、治理三个维度的审计项与结论判定

AI系统审计：模型、数据、治理三个维度的审计项与结论判定本文档提供：三个审计维度与审计项配置表1张；模型维度审计项与判定标准表1张；数据维度审计项与判定标准表1张；治理维度审计项与判定标准表1张；审计抽样方法与证据配置表1张；审计结论判定与表述表1张；执行要点6条；三个维度的权重平衡四段式1处；完整版精简版极简版三套操作序列；完整案例1个含四次转折五件事；来源说明表1张。2026-11-10这一节的标题读完你能拿到什么这一节在全文中的功能一、三个审计维度与审计项配置三个审计维度与审计项配置表（表1）与模型、数据、治理三个维度各自覆盖的审计项范围建立AI系统审计的整体框架，明确三个维度各自检验什么、对应哪些审计项二、模型维度：性能、可解释性与稳健性的审计模型维度审计项与判定标准表（表2）与八项模型审计项的判定标准、审计方法、证据要求规定模型性能、可解释性、稳健性、公平性四类审计项的判定线三、数据维度：质量、来源与隐私的审计数据维度审计项与判定标准表（表3）与七项数据审计项的判定标准、审计方法、证据要求规定数据质量、来源合法性、隐私保护三类审计项的判定线四、治理维度：制度、责任与监督的审计治理维度审计项与判定标准表（表4）与六项治理审计项的判定标准、审计方法、证据来源规定AI治理制度、责任分配、审批流程、监控机制四类审计项的判定线五、审计抽样方法与证据配置审计抽样方法与证据配置表（表5）与三类审计项的抽样方法、样本选择、证据要求规定AI系统审计的抽样比例、样本选择方法和证据留存要求六、审计结论判定与表述审计结论判定与表述表（表6）与四类结论的判定条件、结论措辞、后续要求规定审计结论的判定标准和表述方式，使结论可复核、可追溯七、执行要点、平衡裁决与操作流程执行要点6条、平衡四段式、三套操作序列与各步骤产出物平衡三个维度的审计权重，给出从审计计划到结论出具的动作顺序八、审计结论的复盘与改进审计结论复盘排查表（表7）与六个复盘点的改进动作针对同类问题反复出现、结论依据不足的情况做复盘并修正审计机制按第一列在正文找对应那节，按第二列判断这节有没有你要的东西，按第三列判断这节是否对应你当前卡住的位置。一、三个审计维度与审计项配置AI系统审计的功能是检验AI系统在投入使用和持续运行过程中的可靠性、合规性与可治理性。AI系统的风险来源集中在三个环节：模型本身的性能与行为、训练和运行所依赖的数据、支撑系统全生命周期的治理安排。三个维度分别对应这三个环节：模型维度检验模型在设定场景下的性能表现和行为特征，数据维度检验数据的质量、来源合法性和隐私保护，治理维度检验制度框架、责任分配和监控机制。模型维度设八项审计项：性能指标达标情况、模型验证独立性、可解释性方法的适用性、稳健性测试覆盖、公平性评估执行、模型版本管理、模型变更审批、模型退役安排。数据维度设七项审计项：数据质量指标、数据来源合法性、数据标注质量、数据隐私保护措施、数据访问控制、数据版本管理、训练数据与生产数据一致性。治理维度设六项审计项：AI治理制度完备性、责任角色明确性、审批流程执行、监控机制运行、事件响应机制、供应商管理。三个维度合计二十一项审计项，每次审计按AI系统的风险等级和业务影响选取适用项。审计项的判定采用逐项打勾的方式，每项写判定标准、审计方法、证据要求三项。表1三个审计维度与审计项配置表审计维度审计项审计对象适用系统类型判定方式模型性能指标达标情况模型评估报告全部指标与验收标准比对模型模型验证独立性验证记录全部验证人与开发人角色比对模型可解释性方法适用性可解释性报告影响客户权益的方法与场景匹配度评估模型稳健性测试覆盖测试报告全部测试场景与风险清单比对模型公平性评估执行公平性报告涉及人群分类的群体指标差异比对模型模型版本管理版本记录全部版本号与部署记录比对模型模型变更审批变更记录全部变更审批与变更内容比对模型模型退役安排退役方案全部方案与系统生命周期比对数据数据质量指标质量报告全部指标与阈值比对数据数据来源合法性授权文件全部授权范围与使用范围比对数据数据标注质量标注记录有监督学习标注一致性抽检数据数据隐私保护措施隐私评估报告含个人信息的措施与法规要求比对数据数据访问控制访问日志全部权限设置与实际访问比对数据数据版本管理版本记录全部版本与模型训练记录比对数据训练数据与生产数据一致性数据比对报告全部分布差异指标比对治理AI治理制度完备性制度文本全部制度要素与监管要求比对治理责任角色明确性岗位职责文件全部角色清单与职责矩阵比对治理审批流程执行审批记录全部审批节点与制度要求比对治理监控机制运行监控记录全部监控指标与运行记录比对治理事件响应机制响应记录全部响应时限与制度要求比对治理供应商管理供应商合同与评估记录使用外部模型的合同条款与评估记录比对示例行（模型）性能指标达标情况信用评分模型V3.2评估报告信贷审批AUC0.78，验收标准0.70，达标配置表完成标志：表1每个审计项的“审计对象”“适用系统类型”“判定方式”三列均有具体内容，示例行填有实际指标和验收标准。合格形态：审计项与判定方式一一对应，示例行写有具体数值。待改进形态：判定方式写“检查”，示例行写“已核对”。二、模型维度：性能、可解释性与稳健性的审计模型维度检验AI模型在设定场景下的性能表现和行为特征。八项审计项的判定标准分别设定。性能指标达标情况的判定标准为：模型在验证数据集上的性能指标达到验收标准，指标含准确率、召回率、F1值或业务特定指标。审计方法为评估报告与验收标准比对。证据要求为评估报告和验收标准文件。模型验证独立性的判定标准为：模型验证由独立于开发团队的人员执行，验证报告有验证人签字，验证人与开发人角色分离。审计方法为验证记录中的角色比对。证据要求为验证报告和人员角色清单。可解释性方法适用性的判定标准为：影响客户权益的模型采用与场景匹配的可解释性方法，方法含特征重要性、决策路径、局部解释三类之一，解释结果可被业务人员理解。审计方法为可解释性报告与场景需求比对。证据要求为可解释性报告和业务人员确认记录。稳健性测试覆盖的判定标准为：稳健性测试覆盖数据漂移、对抗样本、极端输入三类场景，测试结果记录在案，测试发现的问题有处置记录。审计方法为测试报告与风险清单比对。证据要求为测试报告和处置记录。公平性评估执行的判定标准为：涉及人群分类的模型完成公平性评估，评估含不同群体的性能指标差异，差异在可接受范围内或有缓释措施。审计方法为公平性报告与评估标准比对。证据要求为公平性报告。模型版本管理的判定标准为：模型有唯一版本号，版本号与部署记录一致，历史版本可追溯。审计方法为版本记录与部署记录比对。证据要求为版本记录和部署记录。模型变更审批的判定标准为：模型变更经审批后执行，变更记录含变更内容、审批人、生效日期三项。审计方法为变更记录与审批记录比对。证据要求为变更记录和审批记录。模型退役安排的判定标准为：模型退役有方案，方案含退役触发条件、过渡安排、数据归档三项。审计方法为退役方案与系统生命周期比对。证据要求为退役方案。表2模型维度审计项与判定标准表审计项合格条件审计方法证据要求不合格形态性能指标达标情况验证集指标达到验收标准评估报告与标准比对评估报告、验收标准指标低于验收标准模型验证独立性验证人与开发人角色分离角色比对验证报告、角色清单验证报告由开发人签署可解释性方法适用性方法与场景匹配，结果可被理解报告与需求比对可解释性报告、确认记录影响客户权益的模型无解释报告稳健性测试覆盖覆盖三类场景，问题有处置报告与风险清单比对测试报告、处置记录测试场景缺数据漂移公平性评估执行完成评估，差异在可接受范围或有缓释报告与标准比对公平性报告涉及人群分类的模型未评估模型版本管理版本号唯一，与部署记录一致版本与部署比对版本记录、部署记录部署版本与记录不一致模型变更审批变更经审批，记录含三项变更与审批比对变更记录、审批记录变更无审批记录模型退役安排方案含三项要素方案与生命周期比对退役方案退役无方案示例行（性能指标）AUC0.78，验收标准0.70报告与标准比对评估报告第X号达标示例行（验证独立性）验证人为模型验证岗，开发人为数据科学岗角色比对验证报告签字页角色分离，合格模型维度表完成标志：表2每个审计项的“合格条件”“审计方法”“不合格形态”三列均有具体内容，示例行填有实际指标或角色。合格形态：合格条件写有可计数标准，不合格形态写有具体情形。待改进形态：合格条件写“性能良好”，审计方法写“检查报告”。三、数据维度：质量、来源与隐私的审计数据维度检验AI系统所依赖数据的质量、来源合法性和隐私保护。七项审计项的判定标准分别设定。数据质量指标的判定标准为：数据完整性、准确性、一致性三项指标达到设定阈值，完整性指标为缺失值比例低于5%，准确性指标为抽检错误率低于2%，一致性指标为跨表比对差异率低于1%。审计方法为质量报告与阈值比对。证据要求为质量报告和抽检记录。数据来源合法性的判定标准为：训练数据的使用获得合法授权，授权文件覆盖数据使用范围和期限，授权范围与模型用途一致。审计方法为授权文件与使用范围比对。证据要求为授权文件和数据使用记录。数据标注质量的判定标准为：有监督学习的训练数据完成标注质量抽检，标注一致性不低于90%，抽检样本覆盖不同标注人员和不同数据类别。审计方法为标注记录抽检。证据要求为标注一致性报告和抽检记录。数据隐私保护措施的判定标准为：含个人信息的训练数据完成隐私影响评估，采取脱敏、去标识化或差分隐私措施，措施与法规要求一致。审计方法为隐私评估报告与法规要求比对。证据要求为隐私影响评估报告和措施实施记录。数据访问控制的判定标准为：数据访问权限按最小必要原则设置，访问日志完整记录访问人和访问时间，权限定期复核。审计方法为权限设置与访问日志比对。证据要求为权限清单、访问日志和复核记录。数据版本管理的判定标准为：训练数据有唯一版本号，版本号与模型训练记录对应，历史版本可追溯。审计方法为版本记录与训练记录比对。证据要求为版本记录和训练记录。训练数据与生产数据一致性的判定标准为：训练数据与生产数据的分布差异指标在设定阈值内，差异指标含均值偏移、方差比、类别分布差异，超出阈值的完成分布分析并有处置措施。审计方法为比对报告与阈值比对。证据要求为分布比对报告。表3数据维度审计项与判定标准表审计项合格条件审计方法证据要求不合格形态数据质量指标缺失值低于5%，错误率低于2%，差异率低于1%报告与阈值比对质量报告、抽检记录缺失值比例12%数据来源合法性授权覆盖使用范围和期限授权与使用比对授权文件、使用记录训练数据无授权文件数据标注质量一致性不低于90%，覆盖不同人员和类别标注记录抽检一致性报告、抽检记录一致性82%数据隐私保护措施完成评估，措施与法规一致评估与法规比对隐私评估报告、实施记录含个人信息的数据无脱敏数据访问控制最小必要原则，日志完整，定期复核权限与日志比对权限清单、访问日志、复核记录访问日志缺访问人字段数据版本管理版本号与训练记录对应，可追溯版本与训练比对版本记录、训练记录训练记录无数据版本号训练数据与生产数据一致性分布差异在阈值内或完成处置报告与阈值比对分布比对报告差异超阈值且无处置记录示例行（数据质量）缺失值3.2%，错误率1.1%，差异率0.6%报告与阈值比对质量报告第X号三项均达标示例行（数据标注）一致性93%，抽检覆盖3名标注人员抽检一致性报告第X号合格数据维度表完成标志：表3每个审计项的“合格条件”“审计方法”“不合格形态”三列均有具体内容，示例行填有实际指标值。合格形态：合格条件写有具体阈值，不合格形态写有具体情形。待改进形态：合格条件写“数据质量良好”，审计方法写“查阅报告”。四、治理维度：制度、责任与监督的审计治理维度检验AI系统的制度框架、责任分配和监控机制。六项审计项的判定标准分别设定。AI治理制度完备性的判定标准为：制度文本覆盖模型开发、验证、部署、监控、退役五个阶段，每个阶段有对应的管理要求，阶段覆盖数为五。审计方法为制度文本与监管要求比对。证据要求为制度文本和覆盖对照表。责任角色明确性的判定标准为：模型所有者、模型验证者、模型使用者、风险管理者四类角色在岗位职责文件中有明确职责，职责矩阵覆盖四类角色。审计方法为角色清单与职责矩阵比对。证据要求为岗位职责文件和职责矩阵。审批流程执行的判定标准为：模型上线、重大变更、退役三类事项按制度要求完成审批，审批记录含审批人、审批日期、审批意见三项。审计方法为审批记录与制度要求比对。证据要求为审批记录和制度条款。监控机制运行的判定标准为：模型上线后按制度要求执行持续监控，监控指标含性能指标、数据分布、异常预警三类，监控记录完整。审计方法为监控记录与制度要求比对。证据要求为监控记录和预警处置记录。事件响应机制的判定标准为：模型异常事件按制度要求响应，响应记录含事件描述、响应时间、处置措施三项，响应时限符合制度要求。审计方法为响应记录与制度要求比对。证据要求为响应记录。供应商管理的判定标准为：使用外部模型的，合同约定性能标准、审计权、数据保护三项条款，供应商评估记录含评估日期和评估结论。审计方法为合同条款与评估记录比对。证据要求为合同条款和评估记录。表4治理维度审计项与判定标准表审计项合格条件审计方法证据要求不合格形态AI治理制度完备性覆盖五个阶段，每阶段有管理要求制度与监管要求比对制度文本、覆盖对照表制度缺退役阶段要求责任角色明确性四类角色职责明确，职责矩阵覆盖角色与矩阵比对岗位职责文件、职责矩阵缺模型验证者职责审批流程执行三类事项按制度审批，记录含三项审批与制度比对审批记录、制度条款模型上线无审批记录监控机制运行三类指标监控，记录完整监控与制度比对监控记录、预警处置记录无数据分布监控事件响应机制响应记录含三项，时限符合制度响应与制度比对响应记录异常事件无响应记录供应商管理合同含三项条款，有评估记录合同与评估比对合同条款、评估记录合同缺审计权条款示例行（制度完备性）覆盖开发、验证、部署、监控、退役五个阶段与监管要求比对制度第X章五阶段全覆盖，合格示例行（责任角色）四类角色职责在职责矩阵中明确角色与矩阵比对职责矩阵第X号合格治理维度表完成标志：表4每个审计项的“合格条件”“审计方法”“不合格形态”三列均有具体内容，示例行填有实际覆盖项数。合格形态：合格条件写有具体阶段数或角色数，不合格形态写有具体情形。待改进形态：合格条件写“治理完善”，审计方法写“查阅制度”。五、审计抽样方法与证据配置AI系统审计的抽样按审计项性质确定。性能和数据类审计项采用抽样比对，记录和制度类审计项采用全量核对。模型维度的性能指标、稳健性测试、公平性评估采用抽样比对，评估样本按测试数据集规模确定，样本量在1000条以内的全量核对，1000至10000条的抽取不低于10%，超过10000条的抽取不低于5%。模型验证独立性、版本管理、变更审批、退役安排采用全量核对。数据维度的质量指标、标注质量、分布一致性采用抽样比对，质量抽检样本不低于总数据量的1%，标注一致性抽检样本不低于标注总量的5%。数据来源合法性、隐私保护、访问控制、版本管理采用全量核对。治理维度的六项审计项采用全量核对，制度文本、职责矩阵、审批记录、监控记录、响应记录、供应商评估记录均全量核对。使用外部模型的，每个供应商至少核对一份评估记录。证据配置按审计项确定。模型维度的证据为评估报告、验证报告、可解释性报告、测试报告、公平性报告、版本记录、变更记录、退役方案。数据维度的证据为质量报告、授权文件、标注一致性报告、隐私评估报告、访问日志、版本记录、分布比对报告。治理维度的证据为制度文本、职责矩阵、审批记录、监控记录、响应记录、供应商合同与评估记录。审计证据在审计报告出具后5个工作日内归档，归档件含审计方案、抽样记录、证据材料、审计报告四项。保管责任为审计项目组长。表5审计抽样方法与证据配置表审计维度抽样方法抽样比例样本选择证据配置模型抽样比对加全量核对评估样本1000条以内全量，1000至10000条不低于10%，超过10000条不低于5%随机加重点评估报告、验证报告、可解释性报告、测试报告、公平性报告、版本记录、变更记录、退役方案数据抽样比对加全量核对质量抽检不低于总数据量1%，标注一致性抽检不低于标注总量5%覆盖不同类别和标注人员质量报告、授权文件、一致性报告、隐私评估报告、访问日志、版本记录、分布比对报告治理全量核对100%全部记录制度文本、职责矩阵、审批记录、监控记录、响应记录、供应商合同与评估记录示例行（模型评估）测试集8000条，抽取800条10%随机600条加重点200条评估记录800份示例行（数据标注）标注总量12000条，抽取600条5%覆盖3名标注人员一致性抽检记录600份抽样表完成标志：表5每类审计项的“抽样方法”“抽样比例”“样本选择”“证据配置”四列均有具体内容，示例行填有实际样本数。合格形态：抽样比例写有具体百分比，样本选择写有覆盖范围。待改进形态：抽样比例写“适量”，样本选择写“根据需要”。六、审计结论判定与表述AI系统审计结论分四类：合格、基本合格、需整改、无法审计。四类结论的判定条件按三个维度的审计结果组合确定。合格的判定条件为：模型维度八项中七项及以上合格，数据维度七项中六项及以上合格，治理维度六项中五项及以上合格，且三个维度均无影响业务安全或客户权益的不合格项。结论措辞为“AI系统在模型、数据、治理三个维度上达到合格标准”。基本合格的判定条件为：模型维度八项中六项及以上合格，数据维度七项中五项及以上合格，治理维度六项中四项及以上合格，且无影响业务安全或客户权益的不合格项。结论措辞为“AI系统基本合格，[具体维度]存在需关注的项，已列明”。需整改的判定条件为：任一维度合格项数低于基本合格的下限，或存在影响业务安全或客户权益的不合格项（如性能指标低于验收标准、训练数据无授权、模型上线无审批）。结论措辞为“AI系统需整改，[具体维度]未达到标准，整改要求见建议清单”。无法审计的判定条件为：审计所需的评估报告、数据记录、治理文件不具备，无法形成有效结论。结论措辞为“因[具体原因]无法完成审计，建议在条件具备后重新审计”。结论的判定依据在审计报告中逐项列明：每个审计项的合格条件、实测结果、是否合格三项。存在影响业务安全或客户权益的不合格项的，不论其他审计项结果如何，结论判定为“需整改”。结论由审计项目组长起草，审计部门负责人复核，复核重点为结论措辞与判定条件的一致性。表6审计结论判定与表述表结论类型判定条件结论措辞后续要求合格模型七项及以上，数据六项及以上，治理五项及以上，无影响安全或权益的不合格项三个维度达到合格标准按常规周期复审基本合格模型六项及以上，数据五项及以上，治理四项及以上，无影响安全或权益的不合格项基本合格，具体维度存在需关注项需关注项在下一期审计中跟踪需整改任一维度低于基本合格下限，或存在影响安全或权益的不合格项需整改，具体维度未达标整改后重新审计无法审计评估报告、数据记录、治理文件不具备因具体原因无法完成，条件具备后重新审计补齐条件后重新审计示例行（基本合格）模型七项合格、一项不合格，数据六项合格、一项不合格，治理五项合格、一项不合格基本合格，模型维度可解释性方法待完善，数据维度标注一致性偏低，治理维度供应商评估记录缺失三项在下一期审计中跟踪示例行（需整改）模型六项合格、两项不合格，数据五项合格、两项不合格，治理四项合格、两项不合格需整改，模型性能指标未达标，训练数据无授权文件建议清单含八项整改，90日内完成结论表完成标志：表6每个结论类型的“判定条件”“结论措辞”“后续要求”三列均有具体内容，实际报告的结论与判定依据逐项对应。合格形态：结论措辞写有具体维度和项数，判定条件写有可计数标准。待改进形态：结论写“总体可用”，判定条件栏只写“审计完成”。七、执行要点、平衡裁决与操作流程AI系统审计按下列六条要点落实。执行要点要点1：三个维度二十一项审计项按AI系统风险等级和业务影响选取适用项，全部适用的为完整审计，部分适用的在审计报告中注明适用项和理由。要点2：模型维度八项中性能、稳健性、公平性采用抽样比对，验证独立性、版本管理、变更审批、退役安排采用全量核对。要点3：数据维度七项中质量、标注、分布一致性采用抽样比对，来源合法性、隐私保护、访问控制、版本管理采用全量核对。要点4：治理维度六项采用全量核对，使用外部模型的，每个供应商至少核对一份评估记录。要点5：审计结论按四类判定，存在影响业务安全或客户权益的不合格项的，不论其他审计项结果如何，结论判定为“需整改”。要点6：审计证据在报告出具后5个工作日内归档，归档件含审计方案、抽样记录、证据材料、审计报告四项。平衡四段式两种合理诉求的陈述：审计部门从AI系统风险的整体性出发，主张三个维度二十一项审计项全部覆盖、每个AI系统都按完整审计执行，理由是模型性能达标可能掩盖数据来源缺陷或治理缺失，单维度审计容易得出偏乐观的结论；AI开发部门从审计资源效率出发，主张按系统风险等级分层审计、低风险系统简化审计项，理由是AI系统数量增长快、单个系统的审计工作量相近，全部完整审计使年度审计周期延长，高风险系统的审计深度被摊薄。两种诉求在同一个审计周期内指向不同的审计覆盖面。实质分析：整体性的评估单位是结论的可靠性，资源效率的评估单位是审计资源的分配。两种评估各有依据，适用的系统类型不同。高风险AI系统（影响客户权益、涉及个人信息、用于信贷审批或医疗诊断）的三个维度均需完整审计；中低风险AI系统可以模型维度为主、数据维度和治理维度按年度轮换审计。差异根源在于审计覆盖面按统一标准设定，未按系统风险等级分档。平衡规则：审计覆盖面按AI系统风险等级分三档。高风险系统三个维度二十一项全量审计；中风险系统模型维度全量审计，数据维度和治理维度按年度轮换，每年覆盖一个维度的全部审计项；低风险系统模型维度全量审计，数据维度和治理维度每两年覆盖一次。三档标准写入年度审计计划，分档结论在计划审批时确认。退路：两个部门对某AI系统的审计覆盖面仍有分歧的，把该系统的风险评级、历史审计结果、审计工作量测算三项并排提交审计部门负责人，由负责人做书面裁定。裁定结论写入年度审计计划，同一系统在下一个审计年度内沿用。操作流程第一个动作：审计计划阶段按表1选取适用审计项，按AI系统风险等级确定审计覆盖面。产出：审计方案1份。第二个动作：按表2执行模型维度核对，抽样比对性能、稳健性、公平性，全量核对验证独立性、版本、变更、退役。产出：模型维度核对记录1份。第三个动作：按表3执行数据维度核对，抽样比对质量、标注、分布一致性，全量核对来源、隐私、访问、版本。产出：数据维度核对记录1份。第四个动作：按表4执行治理维度核对，全量核对制度、职责、审批、监控、响应、供应商记录。产出：治理维度核对记录1份。第五个动作：按表6判定审计结论，判定依据逐项列明，结论措辞与判定条件对应。产出：审计报告1份。第六个动作：报告出具后5个工作日内归档，归档件含审计方案、抽样记录、证据材料、审计报告。产出：归档记录1份。完整版按上述六个动作全量执行。精简版保留第一个、第二个、第五个、第六个动作，跳过第三个和第四个动作；精简版删掉的检查项为：数据维度核对、治理维度核对。极简版只保留第二个动作中的性能指标核对和第五个动作中的结论判定；极简版删掉的检查项为：数据维度、治理维度、抽样、归档。三套版本共同坚守的底线：性能指标与验收标准的比对在三个版本中均须执行；审计结论在三个版本中均按四类判定并写明判定依据；存在影响业务安全或客户权益的不合格项的，三个版本均判定为“需整改”。八、审计结论的复盘与改进审计结论出具后出现同类问题反复出现、结论依据不足、整改后同类问题再次出现的情况，按六个复盘点逐项检查并确定改进动作。复盘每半年执行一次，复盘记录与审计报告档案一并归档。表7审计结论复盘排查表复盘点打开什么看什么改进动作1.审计项的适用性审计方案与AI系统风险等级选取的审计项是否覆盖该系统的主要风险，适用项的理由是否写明审计方案增加“系统风险等级与审计项对应表”，逐类列明必审项2.模型性能比对的口径评估报告与验收标准指标计算口径是否一致，验收标准是否明确比对记录增加“口径核对”栏，逐项写明指标定义和数据来源3.数据抽样的代表性抽样记录与数据分布样本是否覆盖不同类别、不同时间、不同标注人员抽样记录增加“覆盖类别”和“覆盖期间”两栏，标注覆盖情况4.治理记录的完整性治理维度核对记录与证据材料制度、职责、审批、监控、响应、供应商记录是否全量核对治理维度核对表按六项逐项设证据清单，缺项的注明原因5.结论措辞与判定条件的一致性审计报告结论与判定依据结论类型与判定条件是否对应，影响安全或权益的不合格项是否触发需整改审计报告模板增加“结论与判定条件对照页”，逐项打勾6.整改后同类问题是否再次出现前后两次审计报告的结论清单同一系统的同一审计项在两次审计中是否重复出现不合格重复出现的不合格项升为下一审计周期的重点审计项，审计方案中标注复盘完成判定：六个复盘点逐项打开看过，“看什么”列填有具体记录或字段名称，“改进动作”列填有可执行动作且动作中含字段名、对照表或标注要求。合格形态：改进动作写有具体表格或流程节点。待改进形态：“什么”列写“已复查”，“改进动作”列写“加强AI系统审计管理”。第1、2项属于审计项与性能口径环节，改进动作落在对应表和口径核对栏；第3项属于数据抽样环节，改进动作落在覆盖类别标注；第4项属于治理记录环节，改进动作落在证据清单；第5、6项属于结论与整改环节，改进动作落在对照页和重点审计项。改进完成后在表7末尾追加“改进验证”行，写验证日期和验证人角色名。完整案例：一次信贷审批AI系统审计的结论判定与改进跟踪示例案例，细节为合理设定。某银行审计部门对信贷审批AI系统执行年度审计，系统用于零售信贷的自动审批决策，涉及客户权益，风险等级为高。审计覆盖模型、数据、治理三个维度二十一项审计项。上期审计结论为“基本合格”，本期按高风险系统全量审计。起点模型维度八项：AUC0.78达标；验证人为模型验证岗，与开发人角色分离；可解释性报告采用特征重要性方法，业务人员确认可理解；稳健性测试覆盖数据漂移和极端输入，未覆盖对抗样本；公平性评估完成，群体差异在可接受范围；版本号与部署记录一致；变更审批记录齐全；退役方案已编制。数据维度七项：缺失值3.2%、错误率1.1%、差异率0.6%均达标；授权文件覆盖训练数据；标注一致性93%；隐私评估完成，脱敏措施到位；访问日志完整；数据版本号与训练记录对应；分布差异指标在阈值内。治理维度六项：制度覆盖五个阶段；四类角色职责明确；审批记录齐全；监控指标含性能和数据分布，缺异常预警专项指标；响应记录含三项要素；供应商管理无外部模型。分步操作第一步，按表1选取二十一项审计项，高风险系统全量审计。第二步，按表2核对模型维度，稳健性测试缺对抗样本一项不合格，其余七项合格。第三步，按表3核对数据维度，七项全部合格。第四步，按表4核对治理维度，监控指标缺异常预警专项指标一项不合格，其余五项合格。不顺利环节第一次转折。信号：模型维度稳健性测试覆盖数据漂移和极端输入两类场景，对抗样本场景未测试。初步判断为测试遗漏。与模型开发部门沟通后了解到，开发部门认为信贷审批模型的输入为结构化数据，对抗样本攻击的场景适用性低。核对风险清单后确认，风险清单中列有“恶意构造申请信息绕过审批规则”一项，属于对抗样本范畴。由此确认测试遗漏源于开发部门对风险场景的理解与风险清单不一致。调整动作：稳健性测试核对表增加“风险清单对应”栏，测试场景逐项对应风险清单条目，未对应的场景须写明不适用的理由并经风险负责人确认。第二次转折。信号：治理维度监控指标含性能指标和数据分布指标，缺异常预警专项指标。初步判断为监控不完整。核对监控记录后发现，系统有异常交易拦截功能，拦截记录在业务系统中，未纳入模型监控报告。与风险部门沟通后确认，拦截记录反映模型决策的异常模式，属于模型监控的组成部分。由此确认监控指标的定义范围偏窄，业务系统的相关记录未纳入。调整动作：监控指标核对表增加“关联系统记录”栏，模型监控指标须列明关联业务系统的对应记录，拦截、拒绝、人工复核三类记录纳入监控范围。第三次转折。信号：审计结论初稿判定为“基本合格”，判定依据写“模型七项合格、一项不合格，数据七项合格，治理五项合格、一项不合格”。复核时核对表6的判定条件，基本合格的条件为模型六项及以上、数据五项及以上、治理四项及以上，初稿符合基本合格条件。复核人注意到模型稳健性测试缺对抗样本场景，风险清单中明确列有该风险，属于影响客户权益的不合格项（恶意构造申请信息可能绕过审批规则，影响信贷公平）。初步判断为需整改项识别不足。核对后确认，该不合格项涉及客户权益，按表6规则应判定为“需整改”。调整动作：审计报告模板的“结论与判定条件对照页”增加“影响客户权益不合格项”栏，逐项列明并自动锁定结论为“需整改”。第四次转折。信号：结论调整为“需整改”后，整改建议中“补充对抗样本测试”一项的责任角色写“模型开发部门”，完成时限写30日。模型开发部门反馈，对抗样本测试需要采购外部测试工具，采购周期约45日，30日时限不可行。初步判断为时限设定未考虑前置条件。核对整改建议模板后发现，模板只有“完成时限”一栏，未要求写明前置条件。由此确认时限设定须结合前置条件的可用时间。调整动作：整改建议模板增加“前置条件”栏，涉及外部采购、数据补充、系统改造的建议，时限从前置条件满足日起算，前置条件写入建议清单备注栏。终点稳健性测试核对表增加风险清单对应栏，监控指标核对表增加关联系统记录栏，审计报告模板增加影响客户权益不合格项栏，整改建议模板增加前置条件栏。审计结论判定为“需整改”，整改建议五项：补充对抗样本测试（一级，前置条件为测试工具采购，时限采购完成后30日）