论高质量发展背景下教育决策现代化的循证选择

/论高质量发展背景下教育决策现代化的循证选择【摘要】教育现代化是实现教育强国的关键一环，推动教育决策现代化是推进教育现代化的必由之路。近年来基于潜在结果框架的因果推断研究范式已迅速成为国际教育循证研究主流，并发展为循证教育研究的重要分析框架。利用因果推断工具厘清政策干预的因果效应是学界关注的焦点，现已形成直接对分组机制进行人为干预、寻找影响分组机制的外来因素、矫正由分组机制不明造成偏误三大类别。如何将有限范围的结论科学化推广是教育政策制定者面临的难点，因此实现由内部效度到外部效度的合理推断，依托普适性框架、采用样本矫正法促进循证研究落地是教育决策现代化的关键。【关键词】循证研究；因果推断；内部效度；外部效度

一、研究背景 党的二十大报告明确设立“实施科教兴国战略，强化现代化建设人才支撑”专章，将教育事业的高水平发展放在了历史战略位置。在实现高质量发展的新征程上，教育现代化作为中国式现代化的核心组成，是全面实现中华民族复兴的关键支撑。《中国教育现代化2035》中明确提出要大力推进教育治理方式变革，加快形成现代化的教育管理体系，推进管理精准化和决策现代化。①2023年5月29日，习近平总书记在中共中央政治局第五次集体学习时强调要加强以教育理念、体系、制度、内容、方法、治理现代化为基本路径，办好人民满意的教育。 就本质而言，教育决策的现代化需要依托教育改革方法论的发展，围绕科学循证确保教育政策的制定有例可循、有据可依，通过专业智慧支撑教育实践，进而优化教育决策，为教育决策现代化提供方法论基础。②早在1913年，哈佛大学教育学院首任院长保罗·汉努斯(PaulHanus)在美国教育学会年会上提出“唯有精准无懈的科学方法才能纠正教育事物中常见的错误性常识”，认为教育研究的科学化意义远超学科自身发展与方法论的进步，而将更重要地影响社会的全面科学发展。③由此可见，如何通过教育研究中对教育事务基本因果逻辑的建立，进而赋能教育决策现代化，成为极具学科价值与现实意义的问题。基于此，本研究围绕因果推断研究范式在教育中的应用对我国教育发展的影响展开以下讨论：一是梳理教育决策的方法论演进；二是构建教育决策的“反事实框架”；三是探究外部效度作为教育决策科学的核心指向；四是总结教育决策现代化对我国加快建设教育强国的战略意义。 二、教育决策的方法论演进 相关性研究往往关注变量间相互关联的程度，无法直接验证变量间的因果关系。④正如科学研究领域所达成的普遍共识——“相关性不代表因果关系”，相关性研究是从事先观察到的结果出发，通过实地访谈、田野问卷等手段收集的数据来归纳与结果变量相关的解释因素。抽象的看，相关性研究的实质是通过“归因分析”的形式呈现，强调从结果的差异出发，寻找解释结果差异的原因。这一分析范式常导致研究者找到的解释因素()无法穷举，也就是遗漏变量偏误(omittedvariablebias)，从而制约因果影响的真实估计。此外由于个体与客观世界的互动，相关性分析还受到与解释变量相关的其他因素和研究对象依据个人意愿决定接受干预与否的内生性问题(endogeneityissue)和自选择偏差问题(self-selectionbias)的影响，导致无法精确识别变量间的因果关系。 针对变量间因果关系的识别，学界开展了众多讨论和尝试，其中就包括增加数据的样本量和开展多时间点的追踪。与这一尝试相关的研究案例众多，其中包括美国的《科尔曼报告》(ColemanReport)、英国的《一万五千个小时》(FifteenThousandHours)，和智利的《他们八年的青春》(EightYearsofTheirLives)。在《科尔曼报告》中，研究者收集了大量数据，但因为研究设计中缺少学生入学前成绩的信息导致测试结果缺少对照，最终无法准确识别学校财政资源对学生学业成就的因果效应。在《一万五千个小时》和《他们八年的青春》中，研究者利用长期追踪同一群体的研究数据，发现学校作为与学生学业成就相互关联，但依旧无法准确识别学校作为与学生学业成就之间的因果效应。⑤事实证明，尽管应用大样本量和长期追踪调查的方法是教育研究中的进步，但从数据侧介入并无法准确识别因素间的因果关系。因此，要真正解决这一问题，关键是要通过严谨规范的研究设计来避免相关性研究中遗漏变量偏误的影响。 从理论基础上看，识别变量间因果关系的研究设计需要规范严谨的理论分析框架。美国统计学家唐纳德·鲁宾(DonaldB.Rubin)提出的“潜在结果框架”(potentialoutcomesframework)，又称为“反事实框架”(counterfactualframework)为消除遗漏变量偏误问题提供了一种可行方案。潜在结果框架是指研究者假设任何结果都存在两种状态，受到干预(intervention)时的事实结果状态(factual)和未受到干预时的反事实结果状态(counterfactual)。⑥如果能有效识别事实与反事实结果之间的差别，即排除由遗漏变量带来的偏误影响，研究者就能够准确建立因素与结果的因果关联。因此，潜在结果框架的核心思路是建立与观察事实相反的结果状态，从而区分研究对象在相同情境下接受干预和不接受干预的差异。通过数学推导，第i名研究对象受到的干预效应为实验组(t)接受干预结果(1)和对照组(c)未接受干预结果(0)之差，即： 个体干预效应 然而由于时空无法倒流，研究者要么只能观测到某一研究对象接受干预的结果，要么只能观测到其未接受干预的结果，永远无法同时观测到两种结果。因此，潜在结果框架存在着严重的“数据缺失”问题。为了解决这一问题，“组均潜在结果”方案将干预效果的计算从个体层面转向群体层面，以获得整组的平均干预效应(AverageTreatmentEffect，ATE)。⑦依据分组(S)，研究对象被划分至实验组(t)和对照组(c)中，整群被试在实验组比整群被试在对照组的平均干预效应△，可被识别为： 由此可见，教育因果推断的核心实质是探究自选择偏差的影响因素，探明分组机制。 三、教育决策中的“反事实”框架 基于潜在结果框架的因果推断研究，为教育决策中变量间的因果关系分析提供了有效路径。在当前，随机干预实验(RandomizedControlledTrials，RCT)是因果推断较为理想的方法之一，其通过实现随机分组降低了由遗漏变量偏误带来的影响。但在社会科学尤其是教育研究中，随机干预实验的应用受到诸多因素的制约。首先，是科学与道德伦理的限制。教育研究的对象是人，对人施加干预无可避免会引起一定的道德伦理争议，所以研究者无法按照实验方法人为干预和控制研究进程。其次，人的行为和意志在个人经历、受教育水平等因素的影响下差异显著，使得研究中存在较高的被试风险。再者，是历史可溯性的限制。随机干预实验注重在实验前对研究设计的思考，强调事前估计(ex-ante)。而在现有的教育研究中，许多教育研究者倾向于根据事实结果进行事后估计(ex-post)。因此要使教育研究具备历史可溯性，其前提条件是要在实验前进行研究设计。除此之外，随机干预实验的成本昂贵，研究者如果要在教育研究中获取追踪数据需要投入大量的资金成本，这并不利于大多数教育研究者实地开展随机干预实验。 当随机干预实验不可行时，基于“分组机制”发展形成了一系列因果效应识别的准实验方法(Quasi-Experiment)。一方面是寻找影响分组机制的外来因素。自然发生或形成的实验与观测数据(observationaldata)不受人为干预，因此研究对象在各项特征中可能会存在差异。挖掘解释变量的外生性变化找到仅对结果变量产生影响的外来因素能够消除或避免这些差异带来的影响，建立真实或近似存在的随机分组环境以评估某项政策或某种行为的因果效应。⑧另一方面是借助统计学手段，减少由分组机制不明造成因果偏误。在教育研究中，由研究者直接调查或观测到的数据具有事后性，导致研究者只能得到事实结果无法得知反事实结果。通过借助统计学手段，研究者能够及时矫正或尽可能消除由分组机制不明确所带来的偏误。⑨总的来讲，因果推断研究形成了三大类，如图1所示。其中最优选择是对分组机制进行人为干预，典型代表为随机干预实验。次优选择是寻找影响分组机制的外来因素，代表方法包括自然实验、断点回归和工具变量。再次则是对由分组机制不明造成偏误的矫正，代表方法包括双重差分、固定效应和倾向匹配。 (一)直接对分组机制进行人为干预 随机干预实验(RCT)是直接对分组机制进行人为干预的代表，RCT以外的其他方法，其实质是利用RCT的逻辑探究合理的分组机制。在RCT中，研究者将研究对象按照50-50随机分配到接受干预的实验组和不接受干预的控制组中。由于除分组不同外其他所有因素均相同，使得实验组和对照组之间的结果差异可归因于干预措施，从而保证研究“净”效应的准确获得。⑩如上文所述，RCT的核心问题是遵循50-50随机的分组机制，消除实验组(t)与对照组(c)中的自选择偏差，使得E[S=t]=E[S=c]，实验组(t)的期望效应值E[]与对照组(c)的期望效应值E[]之差为干预实施后的平均干预效应，即： 图1因果推断方法分类示意 从发展脉络上看，RCT主要应用于卫生健康领域中药物疗效和治疗方法效果的检测和评估。1935年，罗纳德·费希尔(RonaldFisher)首先提出“随机试验”的概念，推动了RCT在医学、药学、护理学等自然科学研究领域的发展。(11)如2019年诺贝尔经济学奖得主迈克尔·克雷默(MichaelKremer)与其合作者利用随机实验法，在肯尼亚地区的学校中有效识别了提供蛔虫药物与学生出勤率间的因果效应。(12)近年来，RCT逐渐渗透至教育、政策评估等社会科学领域。针对1985-1989年美国在田纳西州开展的有关小班教学对学生学业成就影响的大规模追踪调查研究STAR项目(Student-TeacherAchievementRatio，STAR)，研究者利用随机分组机制将研究对象分成小班、常规班以及附带教学助手的常规班这三组类别，在配对和控制校间差异、校内差异、教学资源等因素的基础上，评估了小班教学与学生学业成就间的因果效应，证实小班教学效果显著高于常规班级和附带教学助手的班级。(13) (二)寻找影响分组机制的因素 1.自然实验 自然实验(NaturalExperiment)强调研究者只是作为单纯的观察者，通过观察，利用某些不受人为控制的外生事件将研究对象随机划分成实验组和对照组，从而探究变量间因果关系。(14)自然实验的基本思路是利用某一仅会影响结果变量但不影响解释变量的接近于随机分配的自然事件所产生的外部“选择”，比如征兵、气候变化等政策类、地理类因素，使研究对象随机分配到实验组和对照组中。由于自选择偏差仅受自然事件的影响，实验组(t)的期望效应值E[｜S=t]和对照组(c)的期望效应值E[｜S=c]之差异为干预手段对结果变量的因果效应，即： 自然实验起源于经济学领域，常见于社会经济领域研究中。2021年诺贝尔经济学奖得主约书亚·安格里斯特(JoshuaAngrist)与其合作者利用美国在20世纪50年代实行的随机征兵(draftlottery)政策这一自然事件，将研究对象随机分成具备征兵资格和不具备征兵资格两组开展研究，得出服役与后来劳动力市场收入之间具有因果效应。(15)近三十年来，受国家政策影响以及这一方法的全面普及，自然实验也逐渐进入教育研究领域。借助2005年美国卡特里娜飓风的影响，路易斯安那州大批低质量公立学校学生被迫从受灾区转移到郊区高质量学校这一自然事件，研究者将研究对象随机分成学生转校前学业成就和转校后学业成就两组，通过实验数据的对比分析评估了学校教育质量对学生长期学业成就的因果效应。(16) 2.断点回归 断点回归(RegressionDiscontinuity，RD)是指存在一个由政策或地理等因素导致的临界值，在一定范围内当观测数据在临界值一侧时，研究对象作为实验组接受干预，当观测数据在临界值另一侧时，研究对象作为对照组不接受干预。这一临界值是决定干预发生与否的断点，研究者可以通过比较断点两侧相邻对象的数据结果得到变量间的因果关系。由于研究对象的取值落入断点任意一侧是随机发生的，所以较难人为操控使研究对象落入某一侧概率更大，使得临界值附近样本的结果差别为干预的因果效应。(17)在具体运算中，若存在断点R，那么断点右侧δ单位内的数据为接受干预的实验组(t)的结果，即[｜S=1，R+δ]，断点左侧δ单位内的数据为未接受干预的对照组(c)的结果，即[｜S=0，R-δ]。由于在断点回归设计中自选择偏差全部由断点影响，所以在断点附近左右侧的数据结果之差的极限值为干预手段对结果变量的因果效应，即： 1958年，美国西北大学心理学家安格斯·坎贝尔(AngusCampbell)首次提出RD这一研究设计，主张利用观测数据分析变量之间的因果关系，在教育学、经济学等政策效应评估中得到广泛运用。1969年，安格里斯特基于以色列政府颁布的班额政策，班级大小若超过40人则必须分为两个班，利用RD开展班级大小与学生成绩间因果效应的识别，并得出班级人数越少，其班级平均成绩越好的研究结论。(18)需要注意的是，尽管RD是在非实验条件下进行因果推断的一种有效方法，但为避免使用不当以及确保断点研究设计的内部效度，RD的应用需满足两个要求：一是在临界值两侧结果变量是保持连续的；二是需界定临界值附近的具体范围，一般来讲区域太窄会导致样本量较小从而影响结果的准确性，区域太宽会导致其他变量的干扰。 3.工具变量 工具变量(InstrumentalVariable，IV)是指通过借助一个与解释变量相关，但对误差项无影响的外生变量作为工具将研究对象自然分成实验组和对照组，如出生日期、最近上学距离等，借助工具变量剔除其他变量对解释变量的影响来实现因果效应的无偏估计。要通过工具变量获得解释变量与结果变量的因果关系链，IV的选择需满足三个条件：首先是工具变量要与所替代的解释变量相关，以确保解释变量的变化可以通过工具变量来解释。其次是这一工具变量要与其他因素不相关，以排除研究中混杂因素的干扰。最后是要确保该工具变量只通过解释变量对结果变量产生影响。(19)IV的计算可通过两阶段回归实现。第一阶段是计算借助工具变量所区分的实验组和对照组的期望差值，即： 第二阶段是通过计算在这种区分下造成的两组结果之间的数据差，得出干预手段对结果变量的因果效应，即： 在上述公式中，Z为工具变量，表示一个随机化的0-1的变量，其中Z=1代表分到实验组(t)，Z=0代表分到对照组(c)。D为指示变量，表示接受干预与否，当D=1时表示接受干预，D=0时表示接受对照。表示接受干预的实验组和未接受干预的对照组的期望效应值E[]，E[]与工具变量的随机化分组Z(D)无关，即E[]，E[]相对独立于Z(D)。Ⅳ最早应用于计量经济学中，(20)在安格里斯特等经济学家的努力下逐渐走进教育等社会科学领域研究中。1991年安格里斯特在教育回报率的研究中，利用美国义务教育法中对入学和退学年龄的限制政策找到了出生日期这一工具变量，消除了由个体受教育程度与家长对教育的重视程度、经济条件、居住地等诸多混杂因素对受教育年限与收入间因果效应的干扰，得出了受教育年限与收入间的因果联系，即在其他因素不变的情况下受教育年限每增加一年收入相应增加9％。(21) (三)减小分组机制不明的偏误 1.双重差分 双重差分(Difference-in-Differences，D-i-D)是指研究者通过借助研究对象受到干预前后两组数据的差值，比较随时间的变化受到干预影响的实验组和未受到干预影响的对照组之间的数据差异，从而检验干预对研究对象的因果效应。在干预前后对实验组和对照组的数据变化进行记录，可以有效避免或排除将特征变量导致的变化当成施加干预的结果，确保两组研究对象之间的变化仅来自干预。(22)在具体运算中，通过在实验中施加干预可以分别估算随时间从1到2的变化，实验组(t)和对照组(c)受干预影响和不受干预影响的期望效应值。假设实验中自选择偏差全部由“双重差分”剔除掉，对实验组和对照组干预前后的期望效应“差值做差”的结果为干预所带来的因果效应，即： 在上述公式中，D为指示变量，表示接受干预与否，其中D=1表示接受干预，D=0表示接受对照。t为时间变量，表示时间的变化，t=1表示干预实施前，t=2表示干预实施后。19世纪初，英国公共卫生学家约翰·斯诺(JohnSnow)率先使用了D-i-D这一方法，得益于双重差分对于因果识别的可靠论断，近年来D-i-D逐渐被应用到教育政策效应评估中。例如有研究者基于中国发展基金会开展的“农村贫困地区寄宿制小学学生营养改善项目”，利用D-i-D对小学寄宿生进行营养干预前后一段时间内的数据进行分析，结果显示，营养补贴对于贫困地区寄宿学生的人力资本发展具有显著的积极影响。(23) 2.固定效应 固定效应(FixedEffects，FE)是指研究者通过观察研究对象在未实施干预时所表现出的特征，在实验组和对照组中对这种特征进行控制，进而有效评估实验组和对照组水平差异的分析工具。FE的核心是消除不随时间变化的不可观测特征变量的影响。由于不随时间变化的不可观测特征变量均值之差为零，所以直接消除这些变量的影响，从而获得较为准确的估计值。(24)在具体运算中，假设实验中自选择偏差全部发生于“固定效应组”之外，那么不随时间变化的未观测的变量均值之差为零，实验组与对照组在接受干预前后一段时间内的平均期望差值即为干预对结果变量的因果效应，即： 在上述公式中，S表示组别，S=1表示该个体在实验组，S=0表示该个体在对照组。D为指示变量，表示接受干预与否，D=1时表示接受干预，D=0时表示接受对照。例如，有研究者针对1965年美国联邦政府为3-5岁贫困家庭的幼儿提供免费保育和教育服务的领先起步(HeadStart)项目，利用FE控制了由母亲的工作经历、育儿安排，以及儿童出生体重等不随时间变化的不可观测特征因素的干扰，即参与项目的两组研究对象基本同质，实现政策实施对地区儿童长期生命健康因果效应的识别。(25) 3.倾向得分匹配 倾向得分匹配(PropensityScoreMatching，PSM)是指研究者利用观测数据将可能与结果变量和解释变量相关的可观测特征变量纳入统计模型中，以消除处理效应估计中观察偏差(observedbias)的因果推断工具。(26)PSM的设计思路是通过在回归模型中控制可观测特征变量在两组之间的差异性，实现两组的数据平衡。要达到这一目的，首先需要通过将特征变量作为自变量进行逻辑回归(logisticregression)以确定研究对象受到解释变量影响的条件概率，即倾向得分。依据倾向得分，研究者会将受到解释变量影响的研究对象和未受到解释变量影响的个体进行配对，从而确定实验组和对照组。(27)从数学统计上来讲，假设选择性偏误全部由“可观测变量”影响，那么实验组测量结果与对照组的测量结果之差为倾向匹配下的平均干预效应，即： 在上述公式中，D表示组别，D=1表示该个体接受干预，D=0表示该个体接受对照，协变量的取值为。已知协变量的取值而计算第i名研究对象分到实验组的条件概率需满足共同支撑假设(commonsupporthypothesis)，取值范围为0＜Pr(D=1｜)＜1。1982年，科尔曼率先运用PSM探究美国天主教高中与公立高中教育质量问题。在研究中，科尔曼将已有数据库中家庭收入少于75000美元的5617名学生，按照倾向得分分为不同组，以1990年作为起始参照年，收集与比较每个小组从起始年到1992年间的数学成绩、入学前的状况以及学校类型等数据，论证了美国高中类型与教育质量的因果关联。近年来，PSM已发展成为国际国内应用广泛的研究方法，为实现有效的研究设计，需注意以下要点：一是PSM具有明确的适用场景。PSM分组是由可观测特征变量形成，因此具有清晰分组机制或明确公式的场景中才能对因果关系进行有效识别。二是须应用干预前的基线特征变量进行分组匹配。因果推断的开展需满足“因在果前”这一基本前提，即影响因素必须出现在结果之前，干预发生后的所有特征变量都属于结果，受干预措施的影响，因此利用干预发生后的特征变量对实验组和对照组进行匹配分组会导致严重的分组失误。(28) 四、外部效度作为教育决策科学的核心指向 在因果推断分析中，确保内部效度(internalvalidity)有利于因果关系的正确识别。依托潜在结果框架，因果推断研究克服了在相关性分析中由于无法排除特征变量的影响所引起的偏误难题，提升了干预实施与结果变量间因果结论的可信程度，具有较高的内部效度。但因果结论的适用范围具有明确的情境界限。相应的，较高的内部效度可以识别变量间在特定情境下的因果关系，但当特定情境发生变化时，如样本量大小、实验地域不同时，变量间因果关系的有效预测就需要借助外部效度(externalvalidity)来实现。外部效度关注特定因果结论是否能够推广到其他类型的群体和环境当中。一般来讲，只有当参与研究的样本群体的特征变量与推理群体的特征变量在组成上相似或具有代表性时，研究结论才会被推广到推理人群中。(29)如果研究结论适用于特定研究范围之外的其他组织、其他时间或其他情境，则此研究具有外部效度，相反则缺乏外部效度。对于教育研究尤其是教育决策研究来讲，研究结论的外部效度占据十分重要的地位。教育研究者作为教育政策研究的主力军，在政策研究中不仅要关注高内部效度，更要聚焦于研究设计的外部效度，切实推动教育政策、教学方法、教学活动在多样地域、文化、层级中的可重复。(30)简言之，教育研究中的因果推断研究不能仅局限于变量间因果效应的识别，更要切实服务于教育政策优化和教育教学改善等实践需要。近年来，在我国教育研究中应用因果推断研究工具开展教育政策评估的研究数量不断增加，但针对研究是否具有代表性和推广性的思考却极为有限。因此，为教育研究中影响因果推断解决其结论可推广性是极具价值的前沿方向，具体实现路径有以下两方面。 (一)普适性框架下的外部效度推断 将有限范围的研究结论如何科学化推广是教育政策制定者普遍面临的决策难点。从宏观决策层来讲，识别政策运行机制是关键。运行机制是推动政策实施的基石，研究者只有在理解政策机制中所包含的理论才能结合先验知识实现最大化的信息获取，从而预测和评估教育政策制定与实施的可行性。(31)更具体地看，识别政策运行机制有助于教育决策现代化体现在三个方面：一是拓宽政策可实施的证据范围。在考虑是否实施特定政策或计划时会缺乏关于该确切计划的现有证据，此时研究者可以通过降维，从更一般的问题中获取与政策实施相关的证据基础。二是增加潜在行为推广的可能性。依据政策背后的理论支持，研究者能够获得关于近似推理群体的行为判断，并在此基础上施加相应的激励措施以支持目标群体潜在行为的发生。三是提供政策实施与否的具体证据。关注政策运行机制可以帮助研究者判断推广环境与研究环境的相似程度，例如地理位置相近、收入水平相同、人口密度相同或文化水平相同等。 图2外部效度普适性框架示意 具体来讲，普适性框架(GeneralizabilityFramework)是识别政策运行机制的有效途径，帮助政策制定者完成从特定研究到其他环境的政策移植。普适性框架强调特定研究样本与推理群体间信息的归纳与互补，试图通过四步回答政策推广中的四个关键问题(如图2所示)。步骤一是进行理论再分解。教育政策评估不是在测试一个“黑匣子”，教育政策是建立在教育学科专业知识与理论基础之上，具有清晰完备的理论机制，通过拆解政策背后的理论基础，可以获得更丰富的证据支持。步骤二是推行理论在地化。理论在地化是通过深入推理群体内部，推断特定政策适用于当地条件的可靠性程度。切实推动理论在地化的实践途径要考虑三点要求，首先是教育政策推行主体的供给能力，通过政府、当地地区与学校等多方面的资源整合确定当地环境是否能够满足政策推行的基本条件。其次是教育政策的需求程度，教育政策与推理群体需求相匹配才能推动教育政策实施的可能性。最后是实现供给与需求的匹配均衡，教育政策的推广既需要推行主体的支持，也需要推理群体的认同。步骤三是建立行为激励。推理群体行为的改变不仅受其意志的影响，还受个人能力、机会以及资源等现实条件的制约，因此通过收集影响推理群体认同教育政策的有力证据，有助于研究者提供有针对性的激励措施推动推理群体行为改变。步骤四是评估政策可行性。依据理论再分解与理论在地化，行为激励的落实，研究者可以客观评估政策在推理群体中实施的可能性。在评估过程中，激励措施是什么、如何实施，是否需要根据当地实际情况进行调整这些问题是确保教育政策推广的关键。(32) (二)基于样本选择的外部效度推断 因果推断研究虽有利于识别干预对结果无偏的因果影响，但并不能确保研究样本与推理群体间匹配的充分性。研究样本与推理群体间匹配的充分性受样本与推理群体间组成成分是否相似或相同的影响，对于政策制定者来说如果研究样本不具代表性，特定干预下的政策结论将无法推广至推理群体中。(33)为解决研究样本不具代表性的问题，可以从研究样本入手提升政策结论的外部效度。平衡样本(balancedsample)是依据特定协变量选择类似于“微型”推理群体的样本，以保障研究样本与推理群体间匹配的充分性的一种新型样本选择框架。(34)如图3所示，这一样本选择框架的实施囊括五个步骤。 图3基于样本选择的外部效度推断示意 第一步是依据特定协变量确定推理群体选择范围。超群体框架(super-populationframework)为研究者选定与研究样本相似或重要的推理群体提供了有效依据。超群体框架不仅列举了总群体中的所有个体，而且包含关于所有个体的协变量信息。(35)为保证样本与推理群体的一致性，研究者需提前定义一组协变量，既能够解释研究样本平均干预效应又与推理群体成分相似的除解释变量和结果变量之外的全部特征变量，使两组在协变量上保持相对平衡。 第二步是消除研究样本与推理群体间的异质性差异。研究样本与推理群体之间常常存在异质性，主要表现在人的年龄、性别、自身需求等方面，这些变量间的差异影响着政策效果的评估和推广。解决研究样本与推理群体间异质性差异的有效途径是控制协变量，通过将预期推理群体划分至不同的层级来保证群体之间的协变量平衡，即分层(stratify)。分层方法使用范围广泛，一方面是操作便捷，研究者前期可能已依据城市化程度、地区差异等手段划分样本。另一方面是结果可信，研究者利用分层工具，将推理群体中的单元划分至几乎同质的群体层级。 第三步是建立研究样本与推理群体间的有效关联。保证研究样本与相应层级间在组成成分上同质的途径是分配(allocation)。分配的目的是为每一个样本点匹配具有相同或相近协变量取值的推理群体，确保匹配得到的数据在实验组和对照组中具有相同的协变量分布。层级匹配的标准是实现全面覆盖，研究者可以按照每个层级的人数按比例分配样本。 第四步是依据推理群体内部同质性程度进行排序(ranking)，以帮助研究者确定最终参与评估的推理群体。(36) 第五步是评估研究样