AI系统的公平性：指标、测试、缓解

AI系统的公平性：指标、测试、缓解本文档提供：公平性指标定义与计算表一张，含人口统计均等差异、均等机会差异、disparateimpactratio的公式、阈值和取数位置；三层公平性测试表一张，按数据层、模型层、行为层列出测试动作和证据物；缓解措施分层表一张，按预处理、处理中、后处理列出具体技术、适用条件和副作用；公平性测试报告模板一份，含指标结果、分群统计、阈值判定和未测项记录；食品AI公平性处置案例一个，含招聘筛选和视觉检测两次判断转折；决策规则六条，覆盖指标选择冲突、阈值设定、测试样本不足、缓解副作用、记录缺失和跨期失效六个分叉点；三套场景操作对照表一张，逐项列出检查项和证据增减。2026-11-08表1目录与定位这一节的标题读完你能拿到什么这一节在全文中的功能一、先选指标：三个可计算的数公平性指标定义与计算表，含DPD、EOD、DIR的公式和阈值在测试之前锁定用哪几个数来判定公平与否二、测试分三层：数据、模型、行为三层公平性测试表，含每层的测试动作和证据物搭出从训练数据到上线行为的完整测试链条三、缓解：在哪个环节打断偏见传导缓解措施分层表，按预处理、处理中、后处理列出技术和副作用按测试暴露的问题位置选择缓解手段四、记录：测试报告里必须有什么公平性测试报告模板，含指标结果、分群统计和未测项让测试结果经得起审计和跨期比较五、六条决策规则：什么条件走哪条路六条“如果—则—如果—则”格式的决策规则覆盖指标冲突、阈值、样本不足、缓解副作用、记录缺失和跨期失效六、两次判断转折：食品企业的招聘筛选与视觉检测完整案例，含起点、转折和终点看指标、测试和缓解在一个真实场景里如何联动七、完整版、精简版、极简版各查什么三套场景对照表，逐项列出检查项和证据增减按场景选版本按第一列在正文找对应那节，按第二列判断这节有没有你要的东西，按第三列判断这节是否对应你当前卡住的位置。一、先选指标：三个可计算的数公平性无法用一个“总分”衡量。不同的指标对应不同的公平定义，选错了指标，测试结果会给出“公平”的假象。食品企业最常用的三个可计算指标是人口统计均等差异（DemographicParityDifference,DPD）、均等机会差异（EqualizedOddsDifference,EOD）和disparateimpactratio（DIR）。DPD衡量的是不同群体获得有利结果的比率之差。公式是：DPD=|P(有利结果|群体A)−P(有利结果|群体B)|。对于招聘筛选，“有利结果”是进入面试；对于信贷审批，是批准贷款。DPD的常用阈值是0.10：两个群体的有利结果率相差超过10个百分点，判定存在人口统计均等层面的差异。一个实际的审计案例中，性别维度的DPD为0.1779，男性被预测为高收入（>50K）的比率比女性高约18个百分点，超过了0.10的阈值，被标记为FAIL。EOD比DPD更严格，它同时要求真阳性率和假阳性率在两个群体间接近。公式是：EOD=½(|TPR_A−TPR_B|+|FPR_A−FPR_B|)。TPR是“实际合格的人中被正确选中的比率”，FPR是“实际不合格的人中被错误选中的比率”。EOD关注的是错误率的分摊是否公平：一个合格的女性被错误拒绝的概率，和一个合格的男性被错误拒绝的概率，应该接近。同一个审计案例中，性别维度的EOD为0.2748，意味着错误率相差约27个百分点，一个合格的女性被误判为低收入的概率显著高于同等条件的男性。DIR是两组有利结果率的比值（无利群体÷有利群体），而不是差值。DIR低于0.80（即四分之五规则）通常被视为存在不利影响的信号。DIR的优势是直观，劣势是对样本量敏感，小样本下波动大。三个指标的关系：DPD和DIR看“结果分布是否接近”，EOD看“错误率是否公平”。一个系统可能DPD很小但EOD很大——两个群体获得有利结果的总比率接近，但被错误拒绝的人集中在某一个群体里。测试时需要至少报告DPD和EOD两个数，只报一个会漏掉另一类不公平。表2公平性指标定义与计算表指标公式衡量什么常用阈值取数位置DPD（人口统计均等差异）|P(有利|A)−P(有利|B)|两组有利结果率的绝对差>0.10判定存在差异《公平性指标计算表》的“DPD”字段，按“敏感属性”分组EOD（均等机会差异）½(|TPR_A−TPR_B|+|FPR_A−FPR_B|)两组错误率（TPR和FPR）的公平程度>0.10判定存在差异；>0.20判定显著《公平性指标计算表》的“EOD”字段DIR（不利影响比率）P(有利|无利群体)÷P(有利|有利群体)两组有利结果率的比值<0.80判定存在不利影响《公平性指标计算表》的“DIR”字段分群准确率各群体内模型准确率模型在每个群体上的绝对表现群体间差值>0.05进入审查《分群性能表》的“accuracy_by_group”字段二、测试分三层：数据、模型、行为公平性测试按“离训练数据到上线行为”的距离分三层。数据层看训练和测试数据的构成，模型层看预测在不同群体上的表现，行为层看系统在实际运行中的输出是否对群体产生差异化影响。三层测试的证据物不同，任何一层缺失，公平性结论的支撑就不完整。数据层测试的动作是分群统计。打开训练集和测试集，按敏感属性（性别、年龄、地域等可用且合规的字段）统计样本量、正样本比例和关键特征的分布。食品企业的招聘筛选工具，如果训练集中的女性简历占比低于行业基准，模型学到的“合格候选人”模式可能系统性偏向男性特征，DPD和EOD的差异在训练数据层面就已经埋下。视觉检测系统的训练集如果“新鲜样本”大多拍在白色盘子上、“变质样本”拍在金属盘子上，模型可能把盘子颜色学成判断新鲜度的线索，而不是食品本身的特征。数据层的证据物是《数据分群统计表》，字段包括群体名称、样本量、正样本比例、关键特征均值。模型层测试的动作是分群性能评估。在独立的测试集（未参与训练）上，按群体计算DPD、EOD、DIR和分群准确率。模型层测试的关键是测试集本身要覆盖各个群体，且每个群体的样本量足以支撑统计判断。样本量不足的群体，指标结果标注“小样本，置信区间宽”，不作为单独判定依据，但记录在案。证据物是《公平性指标计算表》，每个敏感属性一行，列出DPD、EOD、DIR和分群准确率。行为层测试的动作是上线后监测。模型通过模型层测试不等于上线后公平。系统在实际运行中接收到的输入分布可能不同于测试集，群体构成也可能变化。行为层测试按月或按季度抽取实际输出，重新计算DPD和EOD，与模型层测试的基线对比。行为层还检查“决策组合”的公平性：如果系统输出只是建议，最终决定由人做出，需要检查人工复核环节是否引入或放大了群体差异。证据物是《上线公平性监测表》，字段包括监测周期、群体构成、DPD、EOD、人工复核干预率（按群体分列）。表3三层公平性测试表层级测试动作证据物判定标准取数位置数据层按敏感属性统计样本量、正样本比例、关键特征分布《数据分群统计表》任一群体的样本量低于总样本的10%时，标注“小样本群体”；群体间正样本比例差超过15个百分点进入审查训练集和测试集的“敏感属性”字段和“标签”字段模型层在独立测试集上计算DPD、EOD、DIR和分群准确率《公平性指标计算表》DPD>0.10或EOD>0.10或DIR<0.80判定存在差异；分群准确率差值>0.05进入审查测试集预测结果，按“敏感属性”分组行为层按月/季度抽取实际输出，重新计算指标；检查人工复核的群体差异《上线公平性监测表》行为层DPD或EOD较模型层基线恶化超过0.05，触发调查；人工复核干预率群体差>10个百分点进入审查《决策日志》的“系统输出”“最终决策”“复核人”字段，按群体分组三、缓解：在哪个环节打断偏见传导缓解措施按干预位置分三层：预处理（改数据）、处理中（改训练过程）、后处理（改输出）。选择哪一层，取决于测试暴露的问题在哪一层最突出。数据层分群统计显示某个群体样本严重不足，预处理是直接对应的手段；模型层EOD超标而DPD尚可，问题可能在训练过程对错误率的优化方式，处理中或后处理更适用。预处理的核心动作是重采样和重加权。对样本不足的群体，可以过采样（复制少数群体样本）或合成新样本（SMOTE及其变体）；对样本充足但特征分布偏斜的群体，可以对训练样本加权，让模型在损失函数中对少数群体的错误给予更高惩罚。预处理的效果通常比较直接，副作用是过采样可能导致过拟合，合成样本可能引入不真实的特征组合。食品视觉检测中，如果某种包装形态的样本在训练集中占比过低，预处理阶段的过采样可以让模型学到该形态的特征，但过采样的复制样本不会增加新的视觉信息，模型对该形态的泛化能力仍然有限。处理中的核心动作是公平性约束训练和领域对抗训练。公平性约束训练在损失函数中加入公平性惩罚项，例如对DPD的平方偏差施加惩罚，通过调整惩罚强度在准确率和公平性之间取舍。惩罚强度越大，公平性指标改善越明显，整体准确率可能下降。领域对抗训练用于消除模型对“与任务无关但可能与群体相关的特征”的依赖。食品新鲜度模型的盘子颜色偏见，可以通过领域对抗训练让模型对背景颜色不变，强制它关注食品本身的视觉特征。处理中的副作用是训练复杂度上升，公平性惩罚的强度需要调参，对抗训练可能降低模型在主要任务上的收敛速度。后处理的核心动作是分群阈值调整。模型输出一个分数后，为不同群体设置不同的判定阈值，使各群体的有利结果率或错误率达到接近的水平。后处理不需要重新训练模型，实施成本低，适合已经上线的系统做快速修正。副作用是分群阈值在个体层面可能难以解释（“为什么我的分数和他一样，他通过了而我没有”），在需要个体化解释的场景中，后处理的使用需要配合解释记录。后处理还有一个风险：如果阈值调整只针对已观测的群体，新出现的群体或交叉群体可能被遗漏。无论选择哪一层缓解，记录要求是一样的：写明缓解前后的指标数值、缓解方法、参数设置、以及缓解对整体准确率的影响。只写“采用了重采样”不写重采样比例和前后指标变化，缓解记录不构成可审计的证据。表4缓解措施分层表干预层具体技术适用条件副作用记录要求预处理过采样、SMOTE、样本加权数据层分群显示样本不足或分布偏斜过拟合风险；合成样本可能不真实采样比例、合成方法、前后分群统计处理中公平性约束训练（DPD惩罚项）、领域对抗训练模型层EOD/DPD超标，且数据层问题不突出；模型对无关特征敏感训练复杂度上升；准确率可能下降；需调参惩罚强度、对抗训练的目标特征、前后指标和准确率变化后处理分群阈值调整已上线系统需要快速修正；DPD/EOD超标但重新训练成本高个体层面解释难度上升；新群体可能遗漏各群体阈值、调整前后的DPD/EOD、对整体准确率的影响四、记录：测试报告里必须有什么公平性测试报告的功能是让审计员在没有参与测试的情况下，能够判断“测了什么、结果是什么、没测什么”。报告的结构按四块组织。第一块，测试范围。写明被测系统、测试时间、敏感属性列表、测试数据集名称和版本。敏感属性的选择依据也需要记录：为什么选性别而不是年龄，或者两者都选。数据层分群统计的结果放在这一块，作为后续指标解读的背景。第二块，指标结果。按敏感属性逐行列出DPD、EOD、DIR和分群准确率。每一个指标标注计算所用的有利结果定义（例如“进入面试”=1，“未进入”=0）。小样本群体的指标标注置信区间或“样本不足，仅供参考”。阈值判定结果写在指标旁边：通过、不通过、或“小样本，未判定”。第三块，缓解记录（如有）。写明采取的缓解措施、干预层、参数设置、缓解后的指标复测结果。缓解对整体准确率的影响需要明确写出，不隐藏准确率代价。第四块，未测项清单。这一块最容易被跳过，也最容易被审计追问。未测项包括：因样本不足无法计算的群体、因数据不可得未纳入的敏感属性、因方法限制未能覆盖的交叉群体（如“女性+少数族裔”的交叉）、以及行为层监测尚未积累足够数据的时段。每一项未测项写明原因和替代的判断方式（如“依赖人工复核记录做定性判断”）。没有未测项清单的报告，会让人误以为测试范围等于风险全集。公平性测试报告模板板块必填字段填写要求测试范围系统名称、测试时间、敏感属性、数据集版本敏感属性选择依据写一句话数据层统计群体名称、样本量、正样本比例、关键特征均值样本量低于总样本10%的群体标注“小样本”指标结果敏感属性、DPD、EOD、DIR、分群准确率、阈值判定每个指标标注有利结果定义；小样本标注置信区间缓解记录干预层、技术名称、参数、缓解后指标、整体准确率变化准确率变化不隐藏未测项清单未测项、原因、替代判断方式每一项未测项都有文字说明五、六条决策规则：什么条件走哪条路规则一：如果DPD和EOD的判定结果不一致（一个通过、一个不通过），以不通过的指标为准，进入调查和缓解；不以“多数指标通过”作为公平性结论。调查方向指向不通过指标对应的错误类型：EOD不通过而DPD通过，问题在错误率分摊，不在有利结果总量。规则二：如果某群体的样本量低于总样本的10%，该群体的DPD/EOD标注“小样本，未判定”，不单独作为触发缓解的依据；同时将该群体的样本补充列入下一数据收集周期的最低要求，在样本量达标前不宣称“该群体公平性已验证”。规则三：如果EOD超过0.20（显著差异），优先选择处理中或后处理缓解，不以预处理作为单一手段；预处理解决的是数据构成问题，对错误率分摊的修正能力有限。缓解后复测EOD降到0.10以下之前，系统在涉及该敏感属性的决策场景中叠加人工复核。规则四：如果缓解措施导致整体准确率下降超过3个百分点，在缓解记录中单独标注“准确率代价”，并由业务负责人书面确认是否接受；准确率代价的接受决定与公平性指标结果一并归档，不以“公平性改善了”掩盖准确率损失。规则五：如果行为层监测的DPD或EOD较模型层测试基线恶化超过0.05，触发调查，调查方向包括实际输入分布变化、群体构成变化、人工复核环节的干预差异；不直接回到模型重训，先确认恶化来源。规则六：如果公平性测试报告缺少“未测项清单”或清单为空，报告判定为不完整，退回补充；未测项清单不是免责声明，是测试范围的透明记录，每一项未测项需要有对应的替代判断方式或补充计划。六、两次判断转折：食品企业的招聘筛选与视觉检测以下案例为示例案例，细节为合理设定。人物用“某食品企业AI治理负责人”。该案例的关键判断分叉集中在招聘筛选工具的EOD超标与干预层选择、以及视觉检测系统的无关特征偏见与领域对抗训练的应用两处。起点：企业同时运行两个AI系统。一个是招聘筛选工具，用于简历初筛；一个是坚果炒货产线的视觉检测系统，用于识别异物和缺陷。招聘工具由外部供应商提供，视觉系统是供应商的预训练模型加上企业微调。公平性测试的敏感属性：招聘工具用性别，视觉系统用“包装形态”（袋装vs.礼盒装），后者不是传统意义上的敏感属性，但在该产线上，礼盒装产品的生产班组以女性为主，袋装以男性为主，如果模型对包装形态的判定存在差异，会间接传导为性别差异。第一次转折。招聘工具的模型层测试结果：性别维度的DPD为0.08（通过0.10阈值），但EOD为0.18（超过0.10，进入显著区间）。一个合格的女性候选人被错误拒绝的概率显著高于同等条件的男性。第一反应是做预处理，对女性简历样本过采样。试算后发现，训练集中的女性简历占比并不低（约42%），问题不在样本量，在训练过程对错误率的优化方式：模型在整体准确率目标下，把女性候选人的边界推向了更保守的位置，导致假阴性率偏高。预处理的过采样改变不了这个边界。换哪条路：选择处理中的公平性约束训练，在损失函数中加入EOD的惩罚项。惩罚强度从0.1开始试，EOD降到0.11，整体准确率下降1.8个百分点；惩罚强度提到0.3，EOD降到0.07，准确率下降3.2个百分点。业务负责人确认接受3.2个百分点的准确率代价，缓解记录中写明“准确率代价3.2个百分点，业务负责人书面确认”。复测EOD为0.07，判定通过。第二次转折。视觉检测系统的数据层测试暴露了一个问题：训练集中“合格样本”大多拍在白色传送带上，“不合格样本”（含异物）的图片有相当比例来自另一条产线，背景偏暗。模型在测试集上的整体准确率很高，但按“包装形态”分群后，礼盒装产品的假阳性率（将合格误判为不合格）比袋装产品高约12个百分点。追查发现，礼盒装的包装膜反光率更高，在白色传送带背景上形成的对比度与袋装不同，模型把“反光差异”部分学成了缺陷信号。这不是传统敏感属性上的歧视，但它的实际效果是：礼盒装产品（女性班组生产）被更多地误拒。缓解路径的选择：预处理可以平衡两种包装形态的样本量，但反光差异是物理特征，过采样不改变模型对反光特征的依赖。处理中的领域对抗训练是更直接的手段：让模型对背景反光率不变，强制它关注产品本身的视觉特征。领域对抗训练实施后，礼盒装与袋装的假阳性率差从12个百分点降到4个百分点，整体准确率下降约1.1个百分点。缓解记录中写明对抗训练的目标特征（背景反光率）和复测结果。终点：最终产出四份记录——招聘工具的公平性测试报告（DPD0.08通过，EOD0.18不通过，缓解后EOD0.07，准确率代价3.2个百分点）、视觉检测系统的公平性测试报告（数据层分群统计暴露背景差异，模型层分群假阳性率差12个百分点，领域对抗训练后降到4个百分点）、两份缓解记录（含干预层、参数、前后指标和准确率代价）、行为层监测计划（招聘工具按月监测DPD/EOD，视觉系统按季度监测分群假阳性率）。两个系统的缓解都在处理中完成，没有使用后处理的分群阈值调整，原因是两个场景都涉及对个体的决策或产品处置，分群阈值在个体层面解释成本高。表5案例变量表变量案例中的情形变量变化时的处置调整招聘工具的偏差位置样本量充足，EOD超标源于训练过程的边界偏移若样本量不足是主因，预处理过采样优先于处理中约束训练视觉系统的无关特征背景反光率被学