STEM教育能提高中小学生学业成就吗-基于国内外31项实证研究的元分析

/STEM教育能提高中小学生学业成就——基于国内外31项实证研究的元分析【摘要】STEM教育效果评估是STEM教育研究的重点之一。学业成就作为评估STEM教育效果的重要指标，成为学界竞相研究的主题。为考查STEM教育对中小学生学业成就的影响，本研究对国内外31项STEM教育实证研究进行元分析。研究发现，STEM教育对于提升中小学生学业成就具有显著影响(Hedges'sg=0.216，p＜0.05)。亚组分析的结果表明，研究中所测查的学科、STEM教育所采用的具体方法以及研究样本所在区域对STEM教育与中小学生学业成就的关系具有调节作用。本研究不仅证明了STEM教育在提升中小学生学业成就方面的价值，而且为改进STEM教育实践提供了参考。【关键词】STEM教育；中小学生；学业成就；元分析 一、引言 近年来，STEM教育在世界范围内兴起，并迅速成为各国广泛关注的新型教育范式。①STEM教育强调科学、技术、工程和数学的跨学科整合，重视培养学生实践能力，以能够运用多学科知识理解问题、解决现实问题为核心要义。②然而，学界关于STEM教育效果的评价褒贬不一，对其影响因素的探讨也尚未达成共识。③学业成就(academicachievement)是衡量教育过程有效性的重要指标④，因此，研究者以学业成就为标准进行了大量实证研究，以验证STEM教育的效果。但是，这些研究所采用的研究设计和效应量计算指标各不相同，因此无法进行结果的直接比较，以判断哪种研究结果更具有参考价值。若能采用恰当的方法将不同的研究结果放在同一量尺上进行比较，再经过整合得出相对客观的结论，将有助于厘清STEM教育对学业成就的真实作用。⑤ 元分析正是这样一种方法，它能够对多项实证研究进行二次分析，得出一般性的结论。该方法由格拉斯(Glass)于1977年提出，是一种首先应用于临床心理学的定量文献分析法。⑥在元分析的研究过程中，首要任务就是确定研究对象。只有确定了研究对象，才能限定文献检索和筛选的范围。STEM教育的受众群体极为广泛，覆盖了K-12乃至大学和研究生的各个阶段。本研究的研究内容是STEM教育对学业成就的影响，并将标准化测验成绩作为学业成就的评价指标。而幼儿阶段的评价方式并非标准化考试，所以不将学龄前儿童纳入研究。同时大学和研究生阶段的学习内容和考评方式更加多元，难以横向比较。综合来看，小学、初中和高中阶段的学习特征相近，具备较大的可比性和规律性。因此，本研究拟运用元分析，探究STEM教育对中小学生学业成就的影响及其影响机制。 二、研究设计 本研究采用元分析方法进行研究。其研究步骤主要包括：文献检索、文献纳入标准的制定、文献筛选、文献编码、编码准确性评估、效应量的计算与合并、异质性分析以及发表偏倚检验。⑦本研究采用R4.0.4软件中的metafor、meta、dmetar、dplyr、esc统计包进行数据分析。 (一)文献检索 元分析研究所纳入的文献应尽量全面，文献来源应尽可能广泛。为此，本研究依据布尔检索规则在WebofScienceCoreCollection、ERIC(EBSCO)、ProQuest，Dissertations&Theses(PQDT)、Taylor&FrancisOnline、WileyOnlineLibrary、ScienceDirect这6个教育学领域常用数据库进行高级检索，在GoogleScholar进行精细检索，并在中国知网、万方搜索以关键词“STEM教育”“整合STEM”并含“学业成就、评估、学业表现”，搜索发表于2002年-2021年间⑧的文献，语种分别为英文和中文。首次检索获得的文献数量为19627篇。 (二)文献纳入标准制定 结合本研究主题，确定纳入文献需满足如下4个条件： 1.研究所使用语言为中文或英文，发表于2002年-2021年间，文献类型为期刊文献或硕博学位论文。 2.研究内容为STEM教育对中小学生学业成就的影响，不包含学前教育、特殊教育、职业教育等，不涉及对学生思维水平、非认知能力等的影响。 3.研究类型为实证研究，排除定性研究，实证研究的研究设计为相关研究、因果推断研究或实验研究，实验研究为随机实验或准实验设计，均设置实验组(STEM教育)和对照组(传统教育)，便于比较STEM教育和传统教育对学业成就的影响。 4.研究应报告均值、标准差、样本量或t值、F值、效应量等统计信息，确保能计算或转换出单个效应量和合并效应量。 (三)文献筛选 根据上述文献准入规则，首先通过标题进行第一次文献筛选得到1696篇相关文献。然后通过阅读摘要排除明显不符合规则的文献，剩余60篇。最后进行全文阅读筛选，得到31篇符合纳入标准的文献，获得有效效应量42个⑨，总样本量为12332篇。 (四)文献编码 确定原始文献后，对原始文献进行编码，生成数据文件，以便进行后续各项指标的计算。参照马克(Mark)和大卫(David)提出的规则，文献编码至少需要包含作者、出版年份、研究涉及的学科/课程、受教育阶段、出版类型等信息。⑩本研究的文献编码如下： 1.文献类型(Litraturetype，Lt)：硕博论文编码为D，期刊论文编码为J。 2.样本量(Samplesize，Ss)：参照艾伦(Alan)和罗伯特(Robert)提出的标准(11)，样本量大于250为大样本，编码为1，小于等于250为小样本，编码为2。 3.性别(Gender，Gen)：男性编码为1，女性编码为0，男女均有编码为2，未报告编码为缺失，编码表中以“—”代替。 4.受教育阶段(Grade，Gra)：样本学段处于小学阶段编码为E，中学阶段编码为M。 5.区域(Region，Re)：以文献中样本所在地区为准，具体包括美国(U.S.)、土耳其(TUR)、尼日利亚(NG)、阿拉伯联合酋长国(U.A.E.)、中国台湾和北京。 6.学科(Subject，Sub)：以纳入文献中学业成就所测试的学科为准，涉及科学、工程、数学、阅读和英语学科。 7.研究设计(Researchdesign，Rd)：本研究中的研究设计涉及心理学中常用的研究类型：随机实验设计(Random-experimentaldesign，Re)、准实验设计(Quasi-experimentaldesign，Qe)、相关研究(Comparativedesign，Cd)和因果推断设计(Causal-comparativedesign，Ccd)。 8.STEM教育方法(STEMeducationmethod，Sem)：根据美国工程教育学会第120届学术会议上戴维(David)等人的报告，目前STEM教育主要包括四种典型的教学方法，分别是：问题式学习、项目式学习、设计式学习和探究式学习。(12)通过分析四种教学方法的内涵，将本研究中的具体教育方法分别归入对应的类别：问题式学习的前提假设是学习是一种能动的、整合的，受社会文化因素影响的建构过程。学生用先验知识解决真实情境中的复杂问题，同时获得新知识。其创造力和在现实世界中的问题解决能力在此过程中得到发展。项目式学习强调教师在设计项目时，全面衡量教学内容的学科覆盖程度。不能局限于科学和数学两个学科，而工程和技术学科被认为是实现学科整合的基础和桥梁。STEM项目的合理性和有效性以跨学科性和整合性双重标准评定。设计式学习是指教师从一个现实需求出发，引导学生进行概念设计、原型设计和测试的开发，最终创造一个能满足现实需求的产品。学生通过提出问题，围绕这一问题设计和进行实验，再在实验数据分析基础上得出结论。在不断地总结和修正发现的过程中逐渐形成对知识的正确理解。 (五)编码准确性评估 编码准确性对于元分析至关重要。本研究在进行元分析前，由两名研究者分别独立对文献进行编码，计算编码的一致性程度。根据一致性系数(Cohenkappa)大于0.7的统计要求(13)，本研究的编码一致性为0.9，证明本研究编码结果是可靠的。 四、研究结果 (一)效应量的计算与合并 本研究通过提取42项研究的样本量、均值、标准差、统计量等信息，采用标准化平均差异(Standardizedmeandifference，SMD)公式计算单个研究效应量和合并效应量。教育研究中常用的SMD有Cohen'sd、Glass'sΔ、Hedges'sg等，在单次研究中计算SMD的常用指标是Cohen'd。(14)但是，在计算整体效应时，采用这种方式计算小样本研究的SMD会导致效应量被高估。考虑到本研究中有不少研究是小样本，为降低计算偏差本研究采用Hedges'sg(以下简称g值)作为效应量估计指标。 在估计合并效应量时，如果样本间存在异质性，需要采用随机效应模型进行分析，反之可采用固定效应模型。经检验，本研究存在异质性(Q=253.38，p＜0.001)，故采用随机效应模型进行估计(15)。 根据雅各布(Jacob)的标准，0.2-0.49为小效应，0.50-0.79为中等效应，0.8及以上为大效应。从单个研究的效应量来看，报告大效应的研究有11篇，约占总研究的26％。报告中等程度效应量的研究有8篇，约占总研究的19％，其结果都显著。报告小效应的研究有9篇，约占总研究的21％，只有4篇具有统计意义。呈现负效应的研究有4篇，约占总研究的10％，其中有1篇研究结果不显著。效应量小于0.2的研究忽略不计。从所有研究的合并效应量来看，STEM教育组与传统教育组的标准化平均差异为0.616(p＜0.001)，95％置信区间为[0.291，0.941]，说明STEM教育对学业成就的影响显著。本研究的合并效应量属于中等效应范围。 (二)异质性分析 1.异质性检验 异质性检验结果表明，本研究纳入的研究之间具有强异质性(I[2]＞80％，表示强异质性，且Q值显著)。在检出研究之间存在异质性后，需继续检测是否存在极端值。检测极端值的常用方法是观察某个研究效应量的置信区间与合并效应量的置信区间是否有重合，没有则认为该效应量是极端值。通过数据分析得出7个极端值(研究2、8、11、17、21、23和24)，其中，研究8和21是极端小的效应，其置信区间的上限明显低于合并效应值置信区间的下限，研究11、17、21、23和24是极端大的效应，其置信区间的下限明显高于合并效应值置信区间的上限。 在剔除7个极端值后重新计算合并效应量，查看剔除前后研究结果的变化，以此判断极端值对综合效应量的影响。 剔除极端值后，合并效应量由0.616变为0.499，Q值也由817.33变为253.38。说明这7篇原始文献对总效应量的影响较大。 2.亚组分析与元回归 亚组分析(Subgroupanalysis)，又称调节变量分析，是探索异质性来源的又一重要途径。元回归(meta-regression)与亚组分析并没有本质区别，但两者在分析的数据类型上存在一定差异，元回归适用于调节变量是连续型数据的研究，亚组分析适用于调节变量是分类数据的研究。 调节变量的选取可以采用两种方式，一方面可以采用前人研究中揭示的STEM教育效果的影响因素，包括性别、家庭社会经济地位、种族、地域等。(16)另一方面可以参照以往元分析文献的经验，采用文献来源、样本量、研究设计类型、区域、学段和STEM教育方法等。(17)本研究综合考虑两种调节变量选取策略，采用样本量、学段、文献类型、学科、研究设计、教育方法和研究地区等变量为调节变量做亚组分析。 在样本量、学段、文献类型和研究设计中都没有发现明显的组间差异，表明这些变量并不调节综合效应的结果。而学科、STEM教育方法和研究地区组间差异显著，可以证明这些变量的不同亚组对综合效应的影响不同。就学科而言，科学和阅读都呈现中等程度的效应量(均大于0.5)，其他学科对学业成就的影响都是小效应量。就教育方法而言，项目式、问题式和探究式教学法的效应量较大。其中项目式教学法的效应量为0.722，接近高效应0.8。问题式和探究式教学法呈现中等效应。设计式教学法表现为较小的效应。就研究地区而言，土耳其、尼日利亚和中国台湾的效应量较大，分别为0.828、0.796和0.869。值得注意的是美国纳入研究量最多，但其效应量相对较小(g=0.318)。 元回归分析将研究发表年份作为预测变量，考察其对STEM教育与学业成就关系的影响，研究发表年份的调节效应并不显著，说明研究发表年份的不同，不会影响STEM教育与学业成就的关系。 (三)发表偏倚检验与效应量修正 1.发表偏倚检验 发表偏倚也称出版偏差，是指在同类研究中，具有统计学意义的研究比不具有统计学意义的研究更容易被接收和发表，或者高效应量的研究比低效应量的研究更有可能被发表。(18)理想的元分析情境是能够得到所有符合纳入标准的研究，但这是不现实的，因为元分析研究者很难收集到相关领域的所有文献，比如没有公开发表的文章。在元分析中，直观地评定发表偏倚的方法是漏斗图，统计方法常用Egger检验。(19)在漏斗图中，标准线左右分布的研究样本点明显不对称，说明存在一定的发表偏倚。继续采用定量的方法进行Egger检验，Egger检验的结果显著(t=3.669，p＜0.01)。这也证明本研究存在发表偏倚。但研究者可以通过剪补法(trimandfill)(20)修正发表偏倚。 2.效应量修正 本研究运用剪补法，对效应量进行修正。该方法确定并修剪了13项研究。修剪后的总体效应量估计为g=0.216(即SMD=0.216，p=0.045)。与原始结果g=0.499相比，修剪填充后的结果小于原始结果，这表明发表偏差使得效应量被高估，效应量放大了28.3％。将修剪后的结果保存下来，可以得到包含了推测的研究(即缺失的研究)在内的新的漏斗图。 以上分析结果表明，本研究修正后的效应量，已经在一定程度上消除了发表偏倚对分析结果的影响，研究结果较为稳健，即0.216更为接近STEM教育对中小学生学业成就影响的真实效应量。 四、结论与讨论 (一)STEM教育有助于提升中小学生学业成就 研究结果表明，STEM教育比传统教育更有助于提升中小学生的学业成就，但提升程度较小(g=0.216)。通过分析发现，单个研究效应量和纳入文献的范围都对综合效应量有影响。 单个研究效应量直接影响综合效应量。本研究的综合效应量与许多相同主题的元分析一致(21)，这些研究的效应量分别是0.242、0.442和0.410，都是较小的效应量。本研究中，呈现大效应的研究占总研究量的26％，中等效应量有19％，报告小效应量、负效应和不具有统计学意义的研究占纳入文献的55％。可见，原始文献中呈现中等程度以下效应量的研究比例大于中等及以上效应量的比例。同时，在计算综合效应量过程中，一部分研究的负效应与正效应相互抵消，导致总效应量偏小。在赛瑞格(Siregar)的研究中，也体现出类似的特点。但整体而言，本研究结果仍具有统计意义。 纳入文献的范围对综合效应量有一定影响。首先，本研究纳入的文献，其研究区域覆盖了国内外。其次，本研究将采用实验研究、相关研究或因果推断设计的文献都囊括在内。同时，所纳入文献涵盖了所有目前最典型的STEM教育方法。最后，本研究考察了STEM教育对多门学科学业成就的影响。既有元分析几乎没有同时满足上述四种条件的研究。本研究认为在综合考虑不同类型研究的基础上得出的综合效应值相对客观，且更为接近STEM教育对学业成就的真实影响。 (二)学科、STEM教育方法和地区变量调节STEM教育与中小学生学业成就的关系 本研究发现，所评估的学科、实施的STEM教育方法和研究地区的不同，是造成STEM教育对学生学业成就影响差异的关键因素。 就研究所评估的学科而言，组间异质性结果显著，这与已有研究结果相反。有研究者认为STEM学科之间有很高的融通性(22)，不同学科下，STEM教育对学业成就产生的影响相似。但本研究