AI可解释性：黑箱模型的监管接受边界

AI可解释性：黑箱模型的监管接受边界本文档提供：监管解释义务分层表一张，分清AIAct第13条（提供者向部署者）、第86条（部署者向受影响人）和GDPR第22条解释权各自触发什么；黑箱模型接受条件判定表一张，把“可解释性工具箱”中的模型替换、后设解释、操作限制三条路径映射到具体证据；解释请求应答记录模板一份，含请求人、决策依据要素、输入数据摘要、人工复核结论和答复时限；后设解释方法选用与记录表一张，按SHAP、LIME、Grad-CAM的适用场景、输出形态和已知局限列明记录要求；食品视觉检测黑箱模型监管沟通案例一个，含三次判断转折；决策规则六条，覆盖义务层级误判、解释内容空洞、方法误用、记录缺失、操作限制未落地和跨期失效六个分叉点；三套场景操作对照表一张，逐项列出检查项和证据增减。2026-11-08表1目录与定位这一节的标题读完你能拿到什么这一节在功能中的位置一、先分清谁向谁解释：三层义务监管解释义务分层表，AIAct第13条、第86条和GDPR第22条各自的触发条件和义务主体在准备解释材料之前，先锁定当前场景触发的是哪一层义务二、黑箱模型在什么条件下能被接受黑箱模型接受条件判定表，模型替换、后设解释、操作限制三条路径和对应证据判断一个黑箱模型是“可以带着限制使用”还是“必须换掉”三、解释里必须有什么：要素、数据和人工复核解释请求应答记录模板，含五字段和时限让一次解释请求的答复经得起“个体化、可理解”的检验四、方法：SHAP、LIME、Grad-CAM各记录什么后设解释方法选用与记录表，含适用场景、输出形态和已知局限把解释方法的输出整理成可归档、可审计的证据五、六条决策规则：什么条件走哪条路六条“如果—则—如果—则”格式的决策规则覆盖义务层级误判、解释空洞、方法误用、记录缺失、限制未落地和跨期失效六、三次判断转折：食品视觉检测黑箱模型的监管沟通完整案例，含起点、三次转折和终点看三层义务、接受条件和记录模板在一个真实场景里如何联动七、完整版、精简版、极简版各查什么三套场景对照表，逐项列出检查项和证据增减按场景选版本按第一列在正文找对应那节，按第二列判断这节有没有你要的东西，按第三列判断这节是否对应你当前卡住的位置。一、先分清谁向谁解释：三层义务可解释性的监管义务分三层，义务主体和触发条件不同。混在一起准备材料，会导致向错误的对象提供错误深度的解释。第一层，提供者向部署者。AIAct第13条要求高风险AI系统附有使用说明，包含系统的预期用途、准确度水平、已知局限、人类监督措施等信息，使部署者能够理解并正确使用系统。这一层的接收方是部署者（使用系统的企业），内容侧重“系统能做什么、不能做什么、什么条件下可能出错”。提供者通过技术文档和使用说明履行这一层义务。第二层，部署者向受影响人。AIAct第86条赋予受影响人一项权利：当部署者基于高风险AI系统的输出做出产生法律效力或类似重大影响的决定时，受影响人有权要求部署者提供关于AI系统在决策过程中作用的“清晰且有意义的解释”，包括决策的主要参数和相关输入数据。解释的内容从早期版本的“参数”（parameters）改为“要素”（elements），覆盖范围从技术参数扩展到决策所依据的主要因素，但最终文本删除了“相关输入数据”的明确提及，解释中是否包含输入数据存在解释空间。第86条的义务主体是部署者，触发条件是“基于系统输出做出对个人产生重大影响的决定”。第三层，GDPR第22条的解释权。当自动化决策（包括前置的风险评分）对个人产生法律效力或类似重大影响时，个人有权获得关于所涉及逻辑的“有意义的信息”。SCHUFA案（C-634/21）确认第22条原则上构成禁止，前置评分如果实际影响决策，可以纳入“决策”范围。VGWiesbaden2025年的后续判决进一步明确：解释需要个体化的、可理解的说明，涵盖具体应用的过程和输入数据，标准文本可被挑战；披露评分公式或算法通常不在最低要求之内，但实质性的个案可解释性义务不因此消失。三层义务的关系：第13条是第86条的前置条件，部署者只有在系统足够透明、能够理解其输出的条件下，才能向受影响人提供有意义的解释。GDPR第22条与AIAct第86条在触发条件上重叠，但法律基础和救济路径不同，同一决策可能同时触发两层解释义务。表2监管解释义务分层表义务层级法律依据义务主体接收方触发条件解释内容要求第一层AIAct第13条提供者部署者高风险系统投放市场或投入使用预期用途、准确度水平、已知局限、人类监督措施、使用条件第二层AIAct第86条部署者受影响人基于高风险系统输出做出产生法律效力或类似重大影响的决定系统在决策中的作用、决策的主要要素（factors/elements）、相关输入数据（存在解释空间）第三层GDPR第22条控制者数据主体自动化决策（含前置评分）对个人产生法律效力或类似重大影响所涉及逻辑的有意义信息，个体化、可理解，涵盖输入数据及其意义；标准文本可被挑战交叉点第13条与第86条的衔接提供者→部署者→受影响人链条传递系统不透明时，部署者无法履行第86条第13条的使用说明需要为第86条的解释提供可用的信息基础二、黑箱模型在什么条件下能被接受黑箱模型在监管框架下的接受边界，取决于三条路径的证据是否齐备。ISO42001条款7的文档化要求提供了一个可操作的框架：标准要求组织维护文档和面向用户的解释，以最大化可解释性和信任；标准不要求所有AI都必须可解释，但要求组织能解释（或不解释）的决策有据可查。黑箱模型可以带着操作限制使用，前提是限制被设计进流程、被记录、被审计。路径一，模型替换。当高度复杂的模型不可解释时，优先考虑使用更可解释的模型（如广义线性模型、决策树、规则集）替代黑箱模型。这条路径的证据形态是“模型选型记录”，写明为什么可解释模型不可行或性能不足，以及替代方案的性能差距。食品视觉检测中，如果缺陷类型允许规则化描述，规则模型或浅层模型可以替代深度网络；如果缺陷的视觉特征高度非线性，替换路径关闭，进入路径二或三。路径二，后设解释。用SHAP、LIME、Grad-CAM等方法对黑箱模型的输出提供局部或全局解释。这条路径的证据形态是“解释报告”，包含方法名称、版本、适用样本、输出图或数值、已知局限。后设解释的监管价值在于它提供了“模型为什么做出这个判断”的可审查线索，但它不改变模型本身的黑箱性质，解释的忠实度需要单独评估。路径三，操作限制。如果模型必须保持黑箱，且后设解释不足以消除风险，则施加操作限制——例如“仅在人类双重检查某些高影响决策时才允许使用黑箱模型”。这条路径的证据形态是“操作限制记录”，写明限制条件、人类复核节点、复核权限（否决/修改）、复核记录位置。操作限制不是绕过规则，而是在规则框架内做出有据可查的决定。三条路径的选择顺序：先评估模型替换是否可行；不可行时，用后设解释提供可审查线索；后设解释仍不足以支撑高风险决策时，叠加操作限制。三条路径的证据在《黑箱模型接受条件记录》中合并呈现，记录结论是“接受并施加限制”“有条件接受”“不接受”。表3黑箱模型接受条件判定表路径适用条件证据形态判定标准不满足时的动作模型替换可解释模型能在可接受的性能差距内替代黑箱模型《模型选型记录》：替代方案、性能对比、选型理由可解释模型的性能下降在业务容忍范围内进入后设解释路径后设解释模型替换不可行，但决策需要可审查的解释线索《解释报告》：方法、版本、样本、输出、忠实度评估、已知局限解释能定位影响决策的主要特征，且忠实度经过评估进入操作限制路径操作限制模型保持黑箱，后设解释不足以消除风险《操作限制记录》：限制条件、人类复核节点、复核权限、复核记录位置高影响决策有人类复核节点，复核权限包含否决或修改模型不进入高影响决策场景三、解释里必须有什么：要素、数据和人工复核第86条和第22条的解释要求指向同一个操作问题：一次解释请求的答复，需要包含哪些内容才算“清晰且有意义的解释”或“个体化的、可理解的说明”。解释的核心要素是决策所依据的主要因素（factors/elements）。第86条的文本从“参数”改为“要素”，覆盖范围扩展到决策所依据的标准、特征和前置决定（如目标群体分割）。解释需要以可访问的、不过度技术化的方式呈现这些因素，说明哪些特征对本次决策起了作用、作用的方向（推高还是压低结果）、相对权重。标准文本不够：VGWiesbaden的判决明确，个体化的解释需要涵盖具体应用的过程，标准文本可被挑战。输入数据是否需要披露。第86条的最终文本删除了“相关输入数据”的明确提及，但学术分析指出，输入数据的信息对受影响人理解“我的哪些数据影响了决定”是关键的，完全排除会与解释权的目的相悖。GDPR第22条的解释义务则明确涵盖输入数据及其意义。操作上的稳妥做法：在解释答复中提供输入数据的摘要和关键字段，不要求披露完整原始数据或算法公式。披露评分公式或算法通常不在最低要求之内，但实质性的个案可解释性义务不因公式未披露而消失。人工复核。解释权的功能不限于“知道为什么”，还包括“有机会质疑和改变结果”。解释答复中需要写明人工复核的路径：受影响人可以对解释提出异议，异议由具备权限的自然人复核，复核结论可以是维持、修改或推翻系统输出。复核记录与解释答复一并归档。解释请求应答记录模板字段填写内容取数位置请求人信息请求人标识（脱敏）、请求日期、请求方式《解释请求登记表》的“请求人ID”“请求日期”“请求渠道”字段触发义务本次请求触发的是AIAct第86条、GDPR第22条或两者同时《解释请求登记表》的“触发义务”字段决策描述系统输出在决策中的作用、决策结果《决策日志》的“系统输出”“最终决策”“决策人”字段主要因素影响本次决策的前3—5个因素、方向、相对权重（以可理解方式呈现）《解释报告》的“主要因素”“方向”“权重”字段输入数据摘要关键输入字段及其取值，不披露完整原始数据《决策日志》的“输入数据摘要”字段已知局限本次解释未能覆盖的内容（如模型内部交互效应、未测特征）《解释报告》的“已知局限”字段人工复核路径复核人角色、复核权限、异议提交方式、复核时限《操作限制记录》的“复核节点”“复核权限”字段答复日期与答复人解释答复的发出日期和负责人《解释请求登记表》的“答复日期”“答复人”字段四、方法：SHAP、LIME、Grad-CAM各记录什么后设解释方法的选用取决于模型类型、数据类型和解释的受众。三种常用方法在食品和一般高风险场景中的定位如下。SHAP（SHapleyAdditiveexPlanations）基于合作博弈论的Shapley值，为每个特征分配对本次预测的贡献值，输出可以是单次预测的特征贡献排序，也可以是全局的特征重要性。适用场景：表格数据和图像特征均可，需要给出“哪些特征把结果推向这个方向、各贡献多少”的定量归因。记录要求：SHAP版本、背景数据集（用于计算基线）、本次样本的特征贡献值、方向（正/负）、基线与输出的关系。已知局限：SHAP值对特征间的交互效应处理有限，特征相关性高时归因可能分散或不稳定；背景数据集的选择影响结果，需在报告中注明。LIME（LocalInterpretableModel-agnosticExplanations）通过在预测点附近扰动样本、拟合一个可解释的代理模型（如线性模型）来近似黑箱的局部行为。适用场景：需要快速给出“哪些特征支持这个类别、哪些反对”的局部解释，模型无关。记录要求：扰动方法、代理模型类型、局部拟合优度、采样数量、随机种子。已知局限：LIME的稳定性受采样随机性影响，同一输入多次运行可能得到不同的解释；局部代理不保证全局忠实度，不能将LIME解释外推为“模型整体逻辑”。Grad-CAM（Gradient-weightedClassActivationMapping）利用梯度信息生成类激活热力图，显示图像中哪些区域对本次分类决策贡献最大。适用场景：食品视觉检测（异物、缺陷、新鲜度分类），监管者和操作员需要“看到模型在看哪里”。记录要求：目标层名称、梯度计算方法、热力图叠加原图的输出、热力图与人工标注区域的对照结果（如IoU或目视一致性评估）。已知局限：热力图分辨率受目标层特征图尺寸限制，小目标或密集排列的缺陷可能定位不精确；热力图的“注意力”不直接等同于因果贡献。三种方法的输出都需要附带“忠实度评估”记录：解释方法给出的归因与模型实际行为之间的一致性程度。忠实度评估可以是通过删除重要特征后观察输出变化（删除曲线），或通过人工对照样本检查解释是否落在合理的特征区域。没有忠实度评估的解释报告，只是一组可视化输出，不构成可审计的证据。表4后设解释方法选用与记录表方法适用场景输出形态记录字段已知局限SHAP表格或图像特征；需要定量归因（方向＋权重）特征贡献值排序；单次预测的瀑布图或力图方法版本、背景数据集、特征贡献值、方向、基线值交互效应处理有限；特征相关时归因不稳定；背景数据集影响结果LIME需要快速局部解释；模型无关局部代理模型系数；支持/反对特征列表扰动方法、代理模型类型、局部拟合优度、采样数、随机种子稳定性受随机性影响；局部代理不保证全局忠实度Grad-CAM图像分类/检测；需要空间定位“模型在看哪里”类激活热力图叠加原图目标层、梯度方法、热力图输出、与人工标注的对照结果分辨率受限；小目标定位不精确；注意力不等同于因果贡献忠实度评估任一方法使用后删除曲线；或人工对照记录评估方法、样本量、一致性指标（如IoU、删除后输出变化率）忠实度评估本身有方法选择空间，需记录评估设计五、六条决策规则：什么条件走哪条路规则一：如果当前场景是向部署者提供系统信息，义务落在AIAct第13条，材料以使用说明和技术文档为主体，不按第86条或GDPR第22条的解释格式准备；如果当前场景是受影响人提出解释请求，义务落在第86条或第22条，按表3的应答模板逐字段填写，不将第13条的使用说明直接当作解释答复。规则二：如果解释答复中“主要因素”字段只写“系统综合评估了您的信息”或“模型根据多项因素做出判断”，该答复判定为空洞，退回重写；主要因素需要写出具体特征名称、方向和相对权重，标准文本不作为个案解释的替代。规则三：如果模型替换路径可行（可解释模型在业务容忍范围内达到可比性能），优先采用替换路径，后设解释和操作限制作为补充；如果替换路径不可行，在《黑箱模型接受条件记录》中写明不可行的依据（性能差距、特征非线性程度），不直接跳到操作限制而不记录替换评估的结果。规则四：如果使用了SHAP或LIME生成解释，但《解释报告》中缺少忠实度评估记录，该解释不进入解释答复的证据链；忠实度评估可以是用删除曲线或人工对照，评估设计和方法写入报告，不将可视化输出本身当作忠实度的证明。规则五：如果操作限制路径被采用，复核节点的权限必须包含“否决”或“修改”，仅有“建议”权限的节点不计入操作限制的有效落地；复核记录按月汇总，记录中注明复核人、复核结论、是否推翻了系统输出。规则六：如果解释方法或模型版本发生变更（SHAP版本更新、模型重训、特征集调整），已归档的解释报告在变更生效后标注“方法/模型已变更”，新产生的解释请求按新版本的方法和模型处理；跨期比较解释结果时，注明版本差异，不直接比较不同方法或不同模型版本下的归因数值。六、三次判断转折：食品视觉检测黑箱模型的监管沟通以下案例为示例案例，细节为合理设定。人物用“某食品企业质量与AI治理负责人”。该案例的关键判断分叉集中在三层义务的区分、黑箱模型接受路径的证据组织、以及解释答复中“要素”和“输入数据”的边界三处，第四次转折未发生。起点：企业在一款坚果炒货产线上使用基于深度学习的视觉检测系统识别异物（金属、石头、塑料）。系统是黑箱模型，供应商只提供API和置信度分数，不披露模型架构和权重。企业作为部署者使用该系统。监管机构在一次食品安全检查中询问：“如果系统判定一袋产品合格，但消费者投诉里面有异物，你们怎么向消费者解释系统为什么放行了？”企业此前没有准备过可解释性材料。第一次转折。质量部第一反应是把供应商的模型卡和API文档整理成解释材料提交。治理负责人核对后发现，模型卡和API文档属于AIAct第13条框架下提供者向部署者提供的信息，接收方是企业，不是消费者。监管机构的问题是“如何向消费者解释”，触发的是第86条框架下部署者向受影响人的解释义务。两层义务的材料不能互换。换哪条路：区分两层材料。第13条材料用于企业内部理解系统能力和局限，保留在部署者的合规档案中；第86条材料按“解释请求应答记录模板”重新组织，聚焦“系统在决策中的作用、主要因素、输入数据摘要、人工复核路径”。供应商的模型卡作为背景材料引用，不作为解释答复的主体。第二次转折。治理负责人尝试用SHAP对视觉检测系统的输出生成解释。系统是图像分类模型，SHAP可以输出像素级或区域级的贡献热力图。生成的解释显示，对于一袋被判定“合格”的产品，模型的主要注意力集中在包装袋的封口区域，而消费者投诉的异物位于袋底角落。这个解释揭示了一个系统局限：模型的决策依据集中在封口区域，袋底角落的覆盖不足。第一反应是把SHAP热力图直接作为给消费者的解释。试了之后发现，热力图对消费者不可理解，而且“模型没有看袋底”这个信息如果直接披露，会引发对系统整体可靠性的质疑。新信息：第86条要求的是“可理解的”解释，热力图是技术输出，需要转化为可理解的语言。同时，SHAP热力图揭示了模型的覆盖盲区，这个盲区本身需要在操作限制或系统改进中处理。换哪条路：解释答复中不使用原始热力图，改用文字表述“系统对封口区域的关注度较高，对袋底区域的覆盖存在已知局限”；热力图和忠实度评估记录归档在《解释报告》中，供监管检查时调阅。同时，将“袋底角落覆盖不足”写入《黑箱模型接受条件记录》的“已知局限”字段，并触发操作限制评估：是否需要在袋底区域增加人工抽检或第二模型复核。第三次转折。操作限制评估的结论是，在系统改进之前，袋底区域增加人工抽检，抽检比例按批次风险设定。治理负责人将这一限制写入《操作限制记录》，复核节点为质检员，权限为“否决放行”。但监管机构在后续沟通中追问：“如果消费者要求解释，你们怎么说明人工抽检和系统判断之间的关系？”这个问题指向第86条解释中“系统在决策中的作用”——当系统输出和人工复核共同构成最终决策时，解释需要说明两者的角色和权重。此前的解释模板只覆盖了“系统输出”单一环节，没有覆盖“系统输出＋人工复核”的组合决策。换哪条路：在解释请求应答模板中增加“决策组合”字段，写明系统输出的角色（建议/初筛/最终）、人工复核的角色（确认/否决/修改）、以及最终决策由谁做出。对于经过人工抽检否决的批次，解释答复中写明“系统初判合格，人工抽检发现异常并否决”，不将系统输出呈现为最终结论。终点：最终产出四份记录——分层解释材料（第13条档案和第86条答复模板分开）、SHAP解释报告（含忠实度评估和热力图，用于内部和监管调阅，不直接作为消费者答复）、黑箱模型接受条件记录（模型替换评估结论为不可行，后设解释路径采用，操作限制叠加）、解释请求应答记录（含“决策组合”字段和人工复核路径）。袋底区域的人工抽检在系统改进前持续执行，抽检记录按月汇总，与解释请求登记表一并归档。表5案例变量表变量案例中的情形变量变化时的处置调整触发义务的层级监管问询指向消费者解释，触发第86条如果监管问询指向系统本身的技术文档，按第13条准备材料，不触发第86条模板后设解释的可理解性SHAP热力图对消费者不可理解，不直接用于答复如果监管检查明确要求技术输出作为附件，热力图可随解释报告提供，答复主体仍用文字表述操作限制的叠加袋底覆盖不足触发人工抽检否决权如果系统改进后覆盖盲区消除，操作限制评估重新执行，限制可能解除决策组合的复杂性系统初判＋人工抽检共同构成决策如果系统输出为最终决策且无人工复核，