基于因果推断的公平机器学习研究综述

基于因果推断的公平机器学习研究综述一、公平机器学习的现实困境与因果转向机器学习技术在信贷审批、司法量刑、教育资源分配、医疗诊断等高风险决策场景的渗透，使得算法歧视问题逐渐从技术讨论演变为社会公共议题。2016年美国ProPublica的调查显示，北美司法系统广泛使用的COMPAS累犯预测算法对非裔群体的错误率是白人群体的2倍，即便两类群体的实际再犯率并无显著差异；2021年我国某头部消费金融平台的风控模型被曝出对三四线城市年轻女性用户的信贷拒绝率高出同资质男性用户37%，这类现象暴露出传统基于关联统计的机器学习框架在公平性层面的本质缺陷。传统公平机器学习的优化路径主要围绕统计公平性指标展开，如人口统计parity要求不同群体的接受率相等、机会均等要求不同群体的真阳性率相等、均等赔率要求真假阳性率均对齐。这类指标本质上是对不同群体预测结果的分布约束，依赖输入特征与输出标签之间的关联关系建模，无法区分关联关系背后的不同成因：是系统性歧视导致的结果差异，还是群体间客观属性差异带来的合理区别？例如在招聘场景中，算法筛选出的男性候选人通过率高于女性，既可能是简历特征中“性别”标签直接导致的歧视，也可能是女性群体整体职场年限较短带来的经验特征差异，还可能是“是否需要休产假”这类未观测到的混杂变量同时影响招聘偏好和女性职业选择。传统统计公平方法要么简单删除敏感特征试图实现“盲式公平”，要么通过对抗训练、权重调整等方式对齐分布，很容易陷入“为了公平而公平”的误区，要么损害模型整体效用，要么仅仅实现了表面的统计公平，实际上反而加剧了实质性不公。2019年《Science》发表的《Causalreasoningforalgorithmicfairness》一文正式确立了因果推断在公平机器学习研究中的核心地位。因果框架的核心优势在于能够对数据生成过程进行显式建模，区分变量之间的因果路径和非因果路径，从而精准定位歧视的来源：哪些差异是由敏感属性（如性别、种族）直接导致的不公平歧视，哪些是由合法的中介变量（如工作经验、技能水平）带来的合理差异，哪些是由混杂变量导致的伪关联。通过对因果路径的干预和反事实推断，研究者可以在不破坏模型决策合理性的前提下，消除不公平的因果效应，实现更深层次的个体公平和实质公平。二、因果公平性的定义与度量体系基于因果框架的公平性定义围绕“消除敏感属性对决策结果的不公平因果效应”展开，目前主流的度量指标可以分为三类：基于直接因果效应的公平、基于总因果效应的公平，以及基于反事实的公平。直接因果效应（DirectCausalEffect,DCE）衡量的是敏感属性本身对决策结果的直接影响，排除了所有中介变量的传导作用。在招聘场景中，假设敏感属性是性别，中介变量包括教育背景、工作年限、技能证书，那么直接因果效应就是在控制所有中介变量相同的情况下，仅仅因为性别不同导致的录取结果差异。基于直接因果效应的公平性要求该效应在统计上不显著，即敏感属性不能对决策产生直接的歧视性影响。这类公平定义适用于敏感属性本身不应该成为决策依据的场景，比如公务员招录中性别不能作为直接筛选条件，只要能力和经验符合要求就应当获得平等机会。但这类定义的局限性在于没有考虑中介变量中可能存在的历史歧视传导，比如女性群体的工作年限较短可能是因为过去职场歧视导致的就业障碍，仅仅消除直接效应无法矫正这类系统性不公。总因果效应（TotalCausalEffect,TCE）衡量的是敏感属性对决策结果的所有因果影响总和，包括直接效应和通过中介变量传导的间接效应。基于总因果效应的公平性要求敏感属性对决策结果的总效应为0，即无论通过直接还是间接路径，群体属性都不应该对最终决策产生影响。这类定义更偏向于平权主义的公平观，适用于需要弥补历史歧视的场景，比如高校招生中对少数民族群体的适当倾斜，本质上是在总效应层面抵消教育资源分配不均带来的间接影响。但这类定义的争议在于可能会否定合理的能力差异，如果严格要求总效应为0，可能会出现“逆向歧视”，损害决策的整体效用。反事实公平（CounterfactualFairness）是目前最受认可的因果公平性定义，由Kusner等人在2017年提出，其核心思想是：对于任意个体，如果改变其敏感属性，得到的反事实决策结果应当与真实结果相同。例如一个女性求职者如果被反事实地设定为男性，其他所有属性都保持不变，那么她的录取结果应当和真实情况一致。反事实公平实现了个体层面的公平性，既避免了统计公平中“群体平均平等但个体差异被掩盖”的问题，也能够灵活处理不同场景下的公平性需求——通过定义哪些变量属于“可接受的差异来源”，可以灵活约束反事实推断中的变量干预规则。比如在医疗场景中，“种族”作为敏感属性，其本身不应该影响诊断结果，但不同种族的疾病发病率差异属于客观医学事实，因此在反事实推断中需要保留与疾病相关的生理特征变量，仅改变种族标签本身，从而在公平性和诊断准确性之间取得平衡。为了适配不同场景的公平性需求，研究者还提出了一系列细分的因果公平度量：路径特定效应公平允许研究者指定哪些因果路径是合法的、哪些是需要被阻断的，例如在贷款审批场景中，“性别→收入水平→还款能力→审批结果”的路径中，如果收入水平是合理的决策依据，那么这条路径的效应可以保留，而“性别→审批偏好→结果”的直接路径则需要被消除；同等对待公平要求对于反事实世界中属性完全相同的个体，必须给出相同的决策；反事实均等赔率要求不同群体的反事实真阳性率和假阳性率保持一致，适配司法、风控这类需要平衡不同错误成本的场景。三、因果公平机器学习的主流算法框架目前因果公平机器学习算法可以根据技术路径分为四类：基于因果图的预处理方法、基于因果效应约束的处理中方法、基于反事实数据增强的方法，以及因果公平模型的后处理方法。基于因果图的预处理方法的核心是“去偏数据生成”，首先通过领域知识或因果发现算法构建完整的数据因果图，识别出敏感属性到决策结果的所有不公平因果路径，然后通过do算子干预或者后门调整、前门调整等方法，消除不公平路径上的因果效应，生成去偏的训练数据集。例如2018年Zhang等人提出的FairGAN框架，首先构建包含敏感属性、混杂变量、中介变量和结果变量的因果图，然后通过生成对抗网络学习在干预敏感属性后的条件分布，生成的样本不仅满足统计公平性，还保留了合法变量的因果关系。这类方法的优势在于可以在数据层面从根源消除歧视，不依赖后续模型的结构，适配任意机器学习算法，但缺点是需要准确的因果图作为前提，如果因果结构识别错误，反而会引入新的偏差。基于因果效应约束的处理中方法是在模型训练过程中，将因果公平性度量作为正则项加入损失函数，在模型效用和公平性之间做权衡。2020年Wu等人提出的因果公平正则化框架，通过计算每个样本的反事实结果，将“真实结果与反事实结果的差异”作为正则项加入交叉熵损失，使得模型在优化预测准确率的同时，尽可能减小敏感属性对个体决策的影响。2022年北京大学团队提出的路径特定正则化方法，允许用户指定需要保留和需要消除的因果路径，通过对不同路径的效应施加不同的权重约束，实现了更细粒度的公平性控制。这类方法的优势是不需要修改原始数据，灵活性更高，能够根据场景需求调整公平性约束的强度，但缺点是正则项的权重需要人工调试，当数据集规模较大时，反事实效应的计算成本较高。基于反事实数据增强的方法是近年来兴起的新路径，核心是通过生成每个样本的反事实样本来扩充训练集，让模型在训练过程中学习到“敏感属性变化不影响决策”的模式。2021年GoogleDeepMind团队提出的反事实公平增强框架，针对表格数据场景，通过结构因果模型生成每个个体在不同敏感属性下的反事实样本，将原始样本和反事实样本组成“公平样本对”，要求模型对每对样本给出相同的预测结果。2023年清华大学团队提出的文本场景反事实公平方法，针对简历筛选、内容审核等文本决策场景，通过修改文本中与敏感属性相关的表述（如将“女性工程师”修改为“男性工程师”，其他工作经历保持不变）生成反事实文本对，微调预训练语言模型，大幅降低了文本模型的性别和种族歧视程度。这类方法的优势是直观易懂，不需要对模型结构进行大的修改，在文本、图像等非结构化数据场景下表现突出，缺点是反事实样本的生成质量高度依赖因果模型的准确性，如果反事实样本不符合现实分布，反而会降低模型的预测性能。因果公平模型的后处理方法主要适用于无法修改训练数据和模型结构的场景，比如已经部署上线的黑盒模型，只能通过修改预测输出来实现公平性。2019年Pleiss等人提出的因果校准方法，首先估计不同群体的反事实结果分布，然后对模型的原始预测分数进行校准，使得不同群体在相同分数下的真实结果概率保持一致。2022年微软研究院提出的反事实调整框架，通过对黑盒模型进行反事实查询，构建敏感属性对预测结果的效应函数，然后对每个样本的预测结果进行调整，抵消不公平的因果效应。这类方法的优势是不需要访问模型内部结构和训练数据，适配黑盒场景，缺点是通常会带来一定的效用损失，而且无法从根本上消除模型内部的歧视逻辑。四、当前研究挑战与未来发展方向尽管因果公平机器学习已经取得了显著进展，但在实际落地过程中仍然面临诸多挑战：首先是因果结构的未知性问题，大部分现实场景中无法获得准确的因果图，尤其是在涉及大量未观测混杂变量的场景，比如教育、医疗领域存在很多无法量化的心理、社会因素，因果发现算法的误差会直接影响公平性度量的准确性，如何在因果结构不确定的情况下实现鲁棒的因果公平，是当前研究的热点问题。2023年ICML上提出的鲁棒因果公平框架，通过对可能的因果结构分布进行建模，在最坏情况下的因果结构约束下优化公平性，为解决这类问题提供了新思路。其次是公平性与效用的权衡困境，虽然因果框架相比统计公平方法已经大幅降低了效用损失，但在很多高风险场景中，微小的准确率下降都可能带来严重后果，如何设计更精细的因果路径识别方法，只消除真正的歧视性效应，保留所有合理的决策依据，实现“公平性零效用损失”是重要的研究方向。另外，公平性的定义本身具有社会建构属性，不同利益相关者对“什么是公平”的认知存在差异，如何将社会价值、法律规范纳入因果路径的合法性判断，实现技术公平与社会公平的对齐，也是跨学科研究的重点。第三是动态场景下的因果公平问题，当前大部分研究都假设数据是静态的，因果结构不会随时间变化，但现实中决策模型的输出会反过来影响未来的数据分布，比如信贷模型对某一群体的高拒绝率会导致该群体的历史信贷数据更少，进一步加剧模型的歧视，形成“歧视的自证循环”。如何在动态因果系统中设计长效公平机制，避免歧视的累积和传导，是面向真实场景落地必须解决的问题。2024年KDD会议上提出的动态因果公平框架，通过在线干预和因果效应的实时估计，实现了数据流场景下的公平性保持，为这类问题提供了初步解决方案。最后是可解释性与问责机制的融合，因果框架天然具有可解释性优势，能够明确追溯决策结果的因果路径，哪些变量导致了最终结果、是否存在歧视性影响都可以清晰展示。如何将因果公平的度量结果与算法问责制度结合，为监管机构提供可审计、可溯源的公平性证明，也是未来技术落地的重要方向。例如欧盟《人工智能法案》中要求高风险AI系统必须提供公平性评估报告，基于因果的公平性度量方法能够为这类合