ChatGPT的教育应用：提升学习效果的真正原因是什么

/ChatGPT的教育应用：提升学习效果的真正原因是什么?【摘要】ChatGPT等人工智能工具提升学习效果的潜能是一个当下的研究热点，研究者纷纷加入这一研究，但是长期困扰教育技术研究的那些缺陷同样影响到这些聚焦新兴技术的研究的效度。如果在媒介比较研究中混淆了教学方法和技术能供性，我们可能无法解释促使学习效果发生变化的真正原因。文章重新审视20世纪八九十年代关于“媒介与方法”辩论的主要观点，以期让学界关注到围绕ChatGPT效能的研究中存在常见的概念混淆的问题。此文是一篇概念性文章，通过比较ChatGPT教育应用这一新兴研究和关于智能辅导系统的更加成熟的研究，总结出确保学习效果的可解释的三个不可或缺的要素：①准确描述实验处理的性质；②准确描述对照组的活动；③对学习结果的测量应该能够有效地反映学习的情况。为了初步验证上述三要素，分析了近期ChatGPT教育应用的实验研究，结果表明只有极少数研究满足这三个要素的要求。实验处理缺乏严格界定、对照条件不合适或不清晰且不能肯定结果测量与持久学习相关——这些问题导致我们无法确信这些新兴研究中ChatGPT的使用与学习效果的提升存在因果关系。鉴于此，实验观察到的学习效果的提升不一定是使用ChatGPT的结果，对相关文献进行元分析所得出的效应量可能夸大或低估了ChatGPT促进学习的作用。我们认为必须保证研究设计严谨、相关信息透明且对“快科学”持批判性态度方能促进此研究领域的进步。

一、引言 随着功能强大的生成式人工智能(AI)系统(如ChatGPT)雨后春笋般地涌现，这些技术应用于教育的潜能也成为众多研究的焦点(Giannakosetal.，2024；Yanetal.，2025)。AI系统的每一次更新都让人们更加相信高度自适应、个性化的教育智能体这个“圣杯”越来越唾手可得。研究者和教育工作者试图弄清这些工具给教与学带来的希望和存在的局限，这是可以理解的。但是，如果由于迫不及待地想多出研究成果而一拥而上，则有可能因缺乏确凿的证据而得出草率的结论。此外，过去几十年在媒介比较研究的文献中长期存在的那些方法上和概念上的缺陷同样出现在ChatGPT的研究文献中，这导致我们难以清楚地了解生成式AI是如何提升学习效果的。及早正视和处理好这些问题，才能为AI在教育中的应用打造一个扎实和有意义的证据基础。 虽然ChatGPT面向公众发布距今只有两年多的时间，但是许多研究者已迫不及待地想对相关研究进行元分析。虽然这些研究能够提供有价值的探索性见解，但是往往存在研究方法上的缺陷，因而难以得出证明ChatGPT与学习效果的提升之间存在因果关系的有力结论。因为被纳入分析范围的许多一手研究，虽然它们的研究方法存在问题，却都明确地得出了因果关系的结论。事实上，研究者自己也承认他们纳入分析的许多研究缺乏因果关系结论的基本特征，如没有功效分析、随机分配和评估知识变化的前测等(Deng，Jiang，Yu，Lu&Liu，2025)。 本文的目的不是为了逐一评估这些研究并发现其缺点，而是希望从概念层面分析各研究实验处理的内容、对照组的性质和反映学生学习的因变量。为了评估上述三方面所存在的问题的广泛性，我们采用劳森等(Lawson，Martella，Weidlich，Mulders&Buchner，forthcoming)的一组编码进一步分析了相关元分析研究的样本，重点检查了实验处理和对照条件的描述是否足够清楚以及采用了哪些工具来检验学习结果。 本文把历史更加悠久的智能辅导系统(IntelligentTutoringSystem)应用研究作为比较的对象。智能辅导系统的应用很成功，因为它们在教学设计领域数十年研究成果的基础上把AI融入稳健的教学框架中。因为智能辅导系统研究的元分析所涉及的实验处理、对照条件和因变量方面的描述非常清楚，所以通常能够得出可以解释的结果(Kulik&Fletcher，2016；Ma，Adesope，Nesbit&Liu，2014；Steenbergen-Hu&Cooper，2014)。对智能辅导系统研究和ChatGPT研究进行比较，有助于展示历史更加悠久的智能辅导系统研究的优势并发现新兴的ChatGPT研究的风险①。 生成式AI具有变革教育的潜能，但是必须有计划、审慎地采用恰当的研究方法才能揭示其成败的原因。研究方法的正确性尤为重要，因此本文旨在帮助研究者开展能够促进我们对生成式AI教育应用了解的研究。下面我们首先重新审视20世纪八九十年代“媒介与方法”的辩论中对今天仍然有指导意义的主要观点，然后比较智能辅导系统和ChatGPT这两类研究，分析前者相关研究的优势并指出后者相关研究方法上的缺陷。这些方法上的缺陷会影响到一手和二手研究的质量。本文基于新近的两项元分析，聚焦影响研究结果的可解释性和意义的三个要素，对“快科学”(fastscience)的风险和对如何以严谨的方法研究人工智能的教育应用进行了反思。 二、媒介比较研究中的易混淆的问题 1983年克拉克发表了一篇影响深远的文章(Clark，1983)。该文批判性分析了媒介与学习的关系，对当时支撑这个领域大量研究的那些理论假设提出了质疑。这篇文章引发了一批相关文章的发表，被称为“媒介与方法”辩论。克拉克的观点(Clark，1983；1994a；1994b)的主要反对者是科兹马(Kozma，1991；1994a；1994b)。这场辩论一直持续到1994年《教育技术研究与开发》(EducationalTechnologyResearchandDevelopment)出版了一期专刊才落下帷幕。这一期专刊还发表了其他几位研究者的文章(Jonassen，Campbell，&Davidson，1994；Morrison，1994；Reiser，1994；Ross，1994；Shrock，1994；Tennyson，1994)②。 简而言之，克拉克认为媒介只不过是传送教学的工具，媒介本身不会影响学生的成绩(Clark，1983)。他把媒介比喻为运送食品的货车，认为货车虽然让运输更加方便但不会改变所运送的食品的营养价值。同样的，决定学习效果的是教学方法而不是教学媒介。虽然他承认选择一个适合学习目标的媒介有助于提升学习效率，但是他坚信原则上一种媒介可以被另外一种媒介所代替而不会影响学习效果(Clark，1994a；1994b)。科兹马则反对媒介中立论，认为媒介独特的能供性与教学方法和学习者的认知密切相关(Kozma，1991；1994a；1994b)。 虽然克拉克和科兹马都各自强调教育技术领域研究的一个很重要(最终是互补)的问题，但克拉克的观点对当下ChatGPT媒介比较研究而言更值得注意③。研究者开展媒介比较研究实验而非增值设计(value-added)或能倾处理交互设计(aptitude-treatmentinteractiondesign)(Buchner&Kerres，2023)时，经常想当然地假定能够把某种技术融入某个学习环境而无需改变教学方法(Honebein&Reigeluth，2021)。换言之，研究者的实际行动(更准确地说是通过研究设计)表明他们认为媒介与教学方法是相互独立的，这与科兹马(Kozma，1991)认为它们是相互依存的观点背道而驰。 根据克拉克的假设，如果媒介能够发挥作用的话，若研究者希望从媒介比较研究中得出证明因果关系的结论，他们必须保持教学方法不变并仔细观察媒介本身对学习有哪些促进作用。然而，新媒介或技术的使用经常是伴随着新的教学方法、新的界面设计或新的教学活动的采用。艾荣恩把这种情况称为“笨手笨脚的”(fat-handed)教学干预(Eronen，2020)④。在这种研究中，我们无法断然地增加或减少某一个变量而不影响整个教学设计，因此不适合对实验结果进行因果推断，至少违背了研究者开展实验研究的初衷⑤。同样的，张等的研究表明，针对由学生自己开展科学研究活动进行课程学习的教学模式的研究也存在混淆变量的问题(Zhang，Kirschner，Cobern&Sweller，2022)。具体来说，学习进步被归功于探究式学习设计，而实际上这种教学法包含了许多因素，每一种因素都可能提升学习效果，探究式学习设计仅是其中之一。 丁尼生在总结这场辩论的时候用了“大扳手”这个比喻，即媒介比较研究者天真地以为新兴的技术是解决学习问题的灵丹妙药(Tennyson，1994)。然而，实际上这种观点模糊了促进学习的真正原因，因为这些研究没有调查可能有助于提升学习效果的那些因素。当时的媒介是教学电视或早期的电脑，如今教学媒介多种多样。混淆变量的问题也是评价远程教育有效性的一个障碍(Bernardetal.，2009；Clark，2000；Lou，Bernard&Abrami，2006)。另外，系统文献综述表明80％聚焦增强现实对学习效果的影响的研究属于媒介比较研究(Buchner&Kerres，2023)。另一项聚焦虚拟现实对于STEM教育的影响的媒介比较研究经过深度分析发现，仅有26％的研究控制了各方面变量混淆的问题(Lawsonetal.，2024)。 三、元分析效应具备可解释性的条件：以智能辅导系统为例 智能辅导系统是专门设计用于促进学习的AI系统，即把AI融入为某个领域的学习目标量身定制、清晰界定的教学模式中。智能辅导系统应用的研究有比较长的历史。例如：认知导师(CognitiveTutor)这种智能辅导系统经常基于理性思维的自适应控制理论(AdaptiveControlofThought-Rational，ACT-R)(Anderson，1982；Anderson，Corbett，Koedinger&Pelletier，1995)，一步一步地指导学习者通过练习培养和掌握解决问题的技能(Koedinger&Corbett，2006)。学习者模型是大多数智能辅导系统的一个关键成分，这个模型随着学生学习过程的变化(出现错误或取得进步)而变化。其他的关键成分是呈现内容的领域模型(domainmodels)和根据学生行为采取教学步骤的教学模型。 正是因为配备了这些模型，智能辅导系统能够提供个性化教学和即时反馈以及具备自适应性，成为提高具体的认知和元认知技能的强有力的工具。虽然与教师的辅导相比仍然略有逊色(VanLehn，2011)，但各种元分析都得出相同的结论，即智能辅导系统能够明显提升学习效果。例如：三项元分析都表明智能辅导系统优于传统教学，其效应量通常在0.32到0.66之间(Kulik&Fletcher，2016；Ma，Adesope，Nesbit&Liu，2014；Steenbergen-Hu&Cooper，2014)。我们以其中一项元分析为例(Kulik&Fletcher，2016)，归纳了对旨在研究技术对学习的影响的文献进行元分析时应该具备的特点。 元分析必须遵循既定的质量标准(Borenstein，Hedges，Higgins&Rothstein，2009；Pigott&Polanin，2020)与“系统综述和元分析优先报告条目”(PreferredReportingItemsforSystematicreviewsandMeta-Analyses，PRISMA)的要求(Moheretal.，2015)。本文的目的不是进一步讨论这些标准和要求，而是聚焦更加根本的问题，即如何保证元分析的质量。 首先，库里科和弗莱彻把智能辅导系统如几何导师(GeometryTutor)、认知导师和应用定制编程导师(ACTProgrammingTutor)，纳入实验处理内容的编码(Kulik&Fletcher，2016)。这些系统在元分析对象的一手研究中均有详述，因此我们完全能够了解到各研究实验处理的教学特点。此外，这些一手研究还提供了实验处理的持续时间和系统是否按步辅导(step-basedtutoring)或分步辅导(substep-basedtutoring)这些信息，因此我们能够相对全面地了解学生在实验过程中的情况⑥。另外，虽然学生的情况、教学科目和其他方面不同，但是这些智能辅导系统有几个共同的特点，即能实现个性化教学、即时反馈并具备自适应性，因此所采用的实验处理相似，可以视为一个处理单位。 库里科和弗莱彻界定对照组的性质(Kulik&Fletcher，2016)，他们所分析的大多数研究都有一个常规对照组(即在受控的条件下学生接受常规教学或非常接近常规的教学)。包含未施加任何干预的对照组、由教师提供辅导的对照组或其他设计的研究均被排除在外，不纳入元分析。他们对这些研究进行了另外编码和单独分析，因为如果受控条件存在显著差别，这将从根本上改变了比较的性质。 由于对实验组和对照组的描述清楚，因此我们能够对效应量进行有意义的解释。在库里科和弗莱彻的元分析中，与常规教学相比，智能辅导系统教学效果的效应量是0.66标准差(Kulik&Fletcher，2016)。考虑到这些研究中对照组接受的常规教学在很多情况下与实际的教学场景无异，因此这个效应量表明使用智能辅导系统能明显提升学习效果。据此，我们可以假设，如果大范围使用智能辅导系统，随着时间的推移，学习成绩能够得到提高。也可以把效应量转换成学习时间单位(如相当于需要学习多少天或多少年才能取得这个效应量)或百分位变化(Baird&Pane，2019)。当然，关键的一点是只有当对照组的活动与实际教学情况一致时这些效应量的转换才有意义。 对于智能辅导系统而言，发挥作用的不是某一个变量，而是一组综合的教学特征。虽然我们不清楚是哪一个特征促使学习效果得到提升，但是不清楚这种情况本身没有任何问题，除非我们的研究目的是为了评估某一个特征对学习的促进作用。对于智能辅导系统研究而言，这种情况不妨碍我们对实验结果的解释，因为在现实世界的教学中，这些特征也是被作为一个整体使用的。我们已经知道作为设计智能辅导系统的理论基础的那些原则都各自有助于促进学习(如即时反馈原则)(Andersonetal.，1995；Corbett，Koedinger&Anderson，1997；Graesser，Hu&Sottilare，2018)。所以，关键的问题是集各种教学特征于一身的自动化教学系统能否以及在多大程度上支持学习，而不是那些教学特征是否能够单独支持学习。换言之，这种研究的重点不是为了检验作为指导智能辅导系统设计的教学理论的原则，而是为了验证智能辅导系统的实际成效。 要使一项比较实验有意义，根本的一点是这种比较应该是恰当的。例如：要回答“实验处理(X)是否比目前教学实践(Y)更有效果?”这个问题，就必须保证对照组的活动如常，与真实的课堂活动非常相似。如果研究的目的改变了(如是为了验证某一条理论原则或建立一个基准线)，那么必须采用不同的方法才会比较有意义。例如：旨在建立检索式练习的遗忘基准线的基础认知研究可能需要被动对照组(即学生不接受任何干预)方能使研究结果有意义(Karpicke&Roediger，2008)。但是，对于教育技术和相关领域的大多数研究来讲，设立完全被动的对照组也不会让比较变得更有意义。 最后，要证明智能辅导系统或其他教育创新的有效性就必须清楚地界定因变量，即学习效果的测量。库里科和弗莱彻区分了研究者自己开发的后测和标准化测试(Kulik&Fletcher，2016)。从比较是否有意义的角度讲，标准化测试更能反映智能辅导系统在许多现实教育环境下可能产生的好处。研究者自己开发的后测更有可能结合某一特定学习环境的情况，因此研究结果的可推广性不及采用标准化测试，标准化测试从本质上讲更具普适性。重要的是，如果研究的目的是了解是否对学习产生影响，而不是完成任务的表现，那么测试必须在实验结束后才能进行，实验组和对照组的测试内容必须一致，而且理想情况下应该采用标准化测试而不是研究者自己开发的测试。如果在实验期间进行测试，测试结果的不同反映的很可能是因是否接受了干预而导致成绩的高低，而不是反映持久学习(durablelearning)⑦。如果两组的测试内容不同，那么会导致研究结果完全不可解释。 以上总结了影响研究结果可解释性的三个基本要素，即清楚描述实验处理的内容、说明对照组的活动和因变量才能够有效反映学习情况。我们认为这三个要素是证明某种技术促进学习的有效性的最基本的、不可或缺的条件。 清楚地描述实验处理内容的重要性可以追溯到构念效度研究(Shadish，Cook&Campbell，2002)。如果对实验处理这个构念的描述不够清晰，我们便难以对实验的效果进行有效的推论。如果实验处理内容模糊，可能出现其他方面的因果影响和解释，就会使推论缺乏说服力。简而言之，如果我们不知道实验是如何使用ChatGPT的，或不知道其他相关的情况，我们不可能对实验结果进行有意义的解释。 清楚地描述对照组同样非常重要，这能让对照(受控)条件具有可操作性(Hernán&Robins，2020)，即在不使用实验处理的技术而且不从根本上改变其他方面的学习活动的情况下进行学习(Salomon，1991)。这是科学实验的“其他因素均相同的假设”(ceterisparibusassumption)(Heckman&Pinto，2021；Marshall，1890)。据此可知，有意义的比较必须保证其他因素是一样的。恰当的控制组能让实验结果比较有意义，而如果对照(受控)的情况不清楚或活动不合适，实验结果便不可解释。对实验处理和受控情况进行全面考虑，使之可操作化并可清楚地描述，是理解因果影响的一个先决条件⑧。 第三个需要考虑的要素是因变量必须能够反映真正的学习而不是其他的结果，如学生自己的看法(Deslauriers，McCarty，Miller，Callaghan&Kestin，2019)，这样才能得出包含有效的因果关系的结论。否则，我们有可能把学生的满意度或投入程度误认为是实际的学习进步。 四、ChatGPT教育应用研究的元分析 目前诸如ChatGPT这样的AI系统功能强大，因此研究者纷纷开展这个主题的相关研究，探索它们促进学习的潜在作用。邓等的元分析佐证了这种热情，他们一共检索到1000多项关于ChatGPT的研究(Dengetal.，2025)。更令人吃惊的是，他们还发现已发表的关于ChatGPT教育应用的文献综述多达22篇。鉴于这种情况，我们不禁对在如此短时间之内完成的这些一手研究的效度以及相关的元分析的作用产生怀疑。毕竟，直到2022年11月公众才开始知道ChatGPT。本节暂且不讨论仓促上阵开展研究所带来的问题(文章最后会再次讨论这个问题)，只重点阐述为什么这方面的研究容易重蹈媒介比较研究的覆辙。 研究ChatGPT对学习的影响，一直存在一个问题：如同其他“标准的”生成式AI系统一样，ChatGPT被当成教与学的工具而不是方法。如同货车不能改变所运载的食品的营养成分一样，ChatGPT不可能决定学生是否学习。我们没有想到要研究GoogleScholar是否能够提高学生的因特网素养或计算器是否能够提升学生的运算技能。同样的，研究ChatGPT对学习的影响是不合逻辑的，因为二者没有因果关系，不会因为学生使用了一种并非专门为学习设计的工具，学习便会自然而然地发生。要能发挥支持学习的作用，ChatGPT或其他AI系统必须被嵌入教学方法之中，与之相结合，融合在一起。认识到这一点非常重要，这样才可以避免出现困扰着这个新兴研究领域的那些缺陷。 我们暂且不谈媒介与方法之争这个问题。由于ChatGPT功能强大，因此导致出现认知卸载，即那些通常旨在支持学习的过程由ChatGPT代替学习者完成了。例如：在完成学术写作任务时，学生无需掌握相应的技能，他们使用ChatGPT便能够“写出”达到及格水平的文章。一些研究显示正是因为ChatGPT具备这些强大的功能，它有可能影响学习的深度(Stadler，Bannert&Sailer，2024)，导致学习者过度依赖它，而不是发挥它促进学习的作用(Darvishi，Khosravi，Sadiq，Gaševic'&Siemens，2024；Fanetal.，2024)。在这方面，萨洛蒙区分了两种影响：学习过程中使用电脑对学习的影响(cognitiveeffectswithcomputers)和这种经验一旦得到内化和转移，便能够产生持久的、具有普适性的认知残余(cognitiveresidue，cognitiveeffectsofcomputers)(Salomon，1990)。一些研究已经证明如何使用ChatGPT是决定其对学习有何影响的主要因素。例如：莱曼等发现大型语言模型被当成个人辅导教师使用并与之开展有意义的交互活动时能促进学习(Lehmann，Cornelius&Sting，2024)。相反，如果仅把它当成“不用脑”的工具，用它完成本该学习者自己做的事情，那么会对学习产生负面影响。同样的，巴斯塔尼等的研究发现过度依赖ChatGPT会对学习产生不好的影响(Bastanietal.，2024)，而严等的研究发现被用作学习支架的AI智能体能对学习产生持久的积极影响(Yanetal.，2025)。虽然这些都是初步的研究，但是从它们的研究发现可以看出，如同其他工具(或克拉克所说的“媒介”)一样，与ChatGPT互动、使用ChatGPT和从ChatGPT身上学到东西等的方法多种多样。 根据邓的元分析，ChatGPT的效应量是g=0.7，高于智能辅导系统的效应量，如库里科和弗莱彻得出智能辅导系统的效应量是0.66(Kulik&Fletcher，2016)，尽管后者是专门为提高学习成效而设计的，而ChatGPT则不然。考虑到这点，研究应该在对这些一手研究进行编码时清楚地说明它们是如何计算其研究的效应量的。如研究中ChatGPT是被作为莱曼等所说的个性化辅导教师使用吗(Lehmann，Cornelius&Sting，2024)?此外，如前所述，还必须考虑三个方面的要素。下面逐一进行阐述，并结合近期ChatGPT教育应用元分析的分析样本进行讨论。 (一)实验处理的内容是什么? 要令人信服地证明ChatGPT能提高学习成效，应该选择以下两种元分析样本入选标准之一。第一，采用苛刻的入选标准(如只挑选把ChatGPT当作个性化辅导教师使用的研究)。严格遵守既定的两分标准，即非入选即排除。这样一来，便能够大幅度地减少入选的研究样本的数量，研究者只能等到有足够符合入选标准的研究发表之后才可以进行元分析。我们分析了入选这项元分析的一手研究样本，可以肯定他们采用的不是这个标准，因为这些研究的实验处理内容各异，如把ChatGPT当作复述词汇的工具(Hsu，2024)，或作为提供反馈支持写作练习的自我评估的工具(Mahapatra，2024)，或作为支持写作练习的全能助理且不限制其用途(Niloy，Akter，Sultana，Sultana&Rahman，2024)。 第二，采用宽松的入选标准，收录不同用途和不同使用程度的ChatGPT研究。这是邓的元分析采用的标准。但是，在这种情况下，元分析者必须仔细对实验处理可能影响学习的那些特征进行编码，如与ChatGPT的互动模式、使用ChatGPT提升教学效果的原则、学习任务的性质(劣构的或是高度结构化的)、是否对ChatGPT的使用施加限制、事前给ChatGPT投喂了多少相关的领域知识等等。有了这些编码，即使ChatGPT在所入选的一手研究中用途和使用程度各异，这样的研究样本仍然可以被接受，因为可以把这些教学特征(即ChatGPT融合到教学方法中的具体做法)当作调节因素。因此，虽然有局限，但还是能够了解这些研究中Chat-GPT的使用对促进学习的相对成效的⑨。这项元分析对分析样本的特征进行了编码(如实验干预背景、时长以及ChatGPT是否只是作为辅助工具等)，但是过于简单。例如：徐(Hsu，2024)、马哈帕特拉(Mahapatra，2024)和尼罗依等(Niloy，Akter，Sultana，Sultana&Rahman，2024)被纳入这项元分析的样本中，可是这项元分析仅对这三项研究所涉及的部分实验处理进行编码，由此可见其分析的结果未能全面反映样本的特征。除非遵循苛刻的入选条件或进行详细编码，否则实验处理就仿佛是一种“秘制的酱料”一般，外人无从知晓其成分，这种研究所得出的结果也是不可解释的。 (二)比较的内容是什么? 受控情况(对照组情况)与实验处理形成对比，能够凸显实验效果。在部分元分析中，研究样本的受控情况是只要没有使用ChatGPT即可，例如：“本研究包含至少一个没有使用ChatGPT(或ChatGPT支持的学习应用程序)的对照组和一个使用ChatGPT(或ChatGPT支持的学习应用程序)的实验组(Dengetal.，2025，p.7)。”因为入选标准宽松，所以实际入选的研究的受控条件多种多样，包括不接受任何干预、教师一对一辅导、自我评估、玩电子游戏等等。从上述元分析的目的看，最恰当的对照组应该是除了没有使用ChatGPT外其他方面与实验组一样。只有这样，这种比较才能反映ChatGPT对学习的影响，而不是得出无法解释、混淆变量的结果。我们从克拉克(Clark，1983)反对媒介比较研究的主要观点可以看出，这不是无关紧要的细节，因为通常ChatGPT的使用与否会导致其他方面的变化。 因此，这项元分析可以跟库里科和弗莱彻(Kulik&Fletcher，2016)一样界定严格的排除标准(如受控条件与实验处理的教学特征应该达到合理的相同程度)。此时，必须详细描述与ChatGPT形成对比的是什么。例如：实验组的ChatGPT换成对照组的教师、同伴、非基于大型语言模型的AI系统或只是没有使用ChatGPT。如上所述，如果不采用对受控条件提出严格要求的入选标准，也可以选择对受控条件进行详细编码，以呈现受控条件与实验处理的相同程度，包括教学特征、常规的学习活动和其他有教学意义的方面(如教师或同伴代替ChatGPT)。如果入选的研究是同质的，元分析的效应量本身便具备可解释性。如果它们不是同质的，但通过对受控条件详细编码，我们可以进行调节因素分析，只要有足够数量的研究供分析，便能够反映各种情况的相对成效。 (三)这能够反映学习的情况吗? 影响元分析结果可解释性的最后一个要素是因变量。换言之，因变量必须具备一些特点，最重要的是因变量必须与研究问题相称。如果研究的目的是调查对学生学习的影响，不少潜在的变量应该被排除在外，如学生和(或)教师对学习情况的主观判断或自我报告获得哪些技能等。学习通常被定义为通过自身体验、系统学习或教学掌握知识、技能、态度或行为的过程(Sternberg&Sternberg，2017)，而且这种学习过程的结果会促使个人的理解、能力或行为发生相对持久的变化(Schunk，2020)，这一点很重要。所以，自我评估学习进步不足以证明实际学习情况，因为人们可能高估自己的情况且自身没有出现相对持久的变化(Carpenter，Witherby&Tauber，2020)。同样的，除非能够证明对态度或行为等方面表现的检验结果确实完全是学习所致，否则这样的结果也是不可信的。换言之，如果在实验仍在进行的过程中检验学习或其他方面表现的变化，那么这种变化可能是实验处理所致，也可能是先前学习过程带来的相对持久的变化。 为了从概念上和分析的角度区分不同结果的类型，这项元分析为不同类型的结果建立了单独的模型，即可视森林图，详细内容可查阅邓等的文章(Dengetal.，2025，p.215-217)的附录B。鉴于其目的是为了证明学习成效，我们重点分析与学习最密切相关的模型，即学业表现和高阶思维倾向。 学业表现的第一项研究(AhmedMoneus&Al-Wasy，2024)得出Hedge'sg=3.1这个惊人的效应量。因此，仅此一项的效应量已经能够显著提高聚焦学业表现这一类的研究在元分析中的总体效应量。该研究通过比较使用和不使用ChatGPT的译文的质量，调查ChatGPT对学生翻译水平的影响。重要的是，研究者不是根据使用ChatGPT之后学生的译文质量，而是根据学生与ChatGPT协作翻译的作品的质量检验实验效果。因此，因变量反映的是协作作品的质量，不是学习结果。 高阶思维倾向类研究的最大效应量来自胡的研究(Hu，2024)。该研究要求学生解决伦理困境问题。实验组使用ChatGPT辅助的虚拟学习伴侣，而一个对照组是与同伴一起学习，另一个对照组则是组员各自独立学习。这个实验设计接近现实世界的学习场景，因此是一个有意义的比较。该研究测量出三种结果：自我评价的解决问题技能、自我报告的动力调节和自我评价的伦理推理能力。只有解决问题和伦理推理两个结果属于高阶思维倾向。这两个结果都是学生自我报告的。换言之，学生的高阶思维倾向只有学生自己的一面之词，因此不能用于佐证实验对学生高阶思维倾向的实际影响。 如果想开展有意义的媒介比较研究，研究者必须设计严谨的研究过程，以确保研究结果可以解释。从理论上讲，第一步是要确定恰当的研究问题，研究必须能够聚焦具体的问题，如避免“ChatGPT对学习有什么影响?”这样的研究问题，进而提出“与受控条件Z相比较，在以X方式、体现Y特点的情况下使用ChatGPT会对学习产生什么影响”这样的研究问题。取决于ChatGPT和教学方法的具体融合和可操作化的精准程度，我们可能还需要其他方面的假设。虽然元分析能够回答诸如“根据文献，ChatGPT的使用对学习有多大影响”这样的“大”问题，但是重点仍然必须是ChatGPT在具体教学中的作用而不是仅把它当成一种工具。元分析研究者必须仔细考虑实验处理、控制和结果等的多样化问题。 五、剖析学业表现类的一手研究 为了了解ChatGPT研究文献在多大程度上能够满足上述三个方面的要求，本文对前述近期发表的元分析中聚焦学业表现的比较研究进行剖析。我们获得了一项生成式AI教育应用的更大规模系统综述(Lawsonetal，forthcoming)课题组的同意，采用了其中跟本研究相关的一组编码。 劳森等分析了每一项比较研究的以下三方面的内容：①对使用ChatGPT的实验处理的描述是否足够详细，是否从理论上讲具有可复制性?②对对照组的活动的描述是否与实验处理一样详细?③主要因变量是否反映学习情况且在实验处理完成之后不是以自我报告的形式进行评估的?这三个方面的描述被分成三个等级：清晰(可供