STEM教育质量评价指标体系构建

/STEM教育质量评价指标体系构建【摘要】STEM教育因其融合多学科知识、培养创新精神和实践能力的特点受到广大研究者和实践者的关注。当前国外真正聚焦到STEM教育质量评价并具有较强可操作性的研究较少，而国内少量相关研究主要是介绍国外STEM教育评价的研究进展。严重缺乏成熟可行且适用于我国STEM教育发展的评价工具，很大程度上制约了我国STEM教育的可持续发展。文章经过德尔菲法两轮专家意见征询以及层次分析法确定评价指标权重后构建的STEM教育教学质量评价工具，既综合考虑了STEM的本质特征、已有STEM教育评价工具及指标维度，又直接聚焦于课堂教学，最终包含课堂环境、课程结构、教学内容以及学生表现4个一级指标和22个二级指标。该指标体系形式与我国教育教学中教师所用的教研表、评课表等类似，有助于教师更好地理解与使用；且经过初步试用，具有较高的信度，能够比较全面地评价STEM教育中的各方面要素，有助于促进STEM教育的健康有序发展。【关键词】STEM教育；质量评价；指标体系；德尔菲法；层次分析法 一、引言 科学技术与教育教学的深度融合促进了多样化学习需求的快速增长，传统教学模式与组织形式已无法满足创造性与个性化的学习需求。STEM教育作为具有跨学科性、真实情境性、基于项目式学习等特征的新型教育模式，对培养学生的创新能力与核心素养，满足学生的个性化学习需求等具有重要价值(余胜泉等，2015)。STEM教育实践环节中，如何科学有效地评价STEM教育的教学效果已经成为领域的研究重点。文献分析发现，已有部分学者基于STEM教育系统及其特征等开发了STEM教育评价工具。如Lin等(2015)基于计算机理论模型以协同问题解决矩阵开发了评价学生协作问题解决能力的STEM评价系统；Bicer等(2017)将STEM教育中科学与数学相结合，设计了评价高中生在STEM课堂中科学与数学成就的STEM教育评价指标体系。然而，这些研究大多只关注STEM课堂中的学生表现或教师教学等单一方面，缺乏对师生以及教学效果的整体评价。STEM教育评价作为促进STEM教育健康有序发展的关键，具有多元化、多角度、过程性、全方位等特征。开发适合我国STEM教育发展、符合国内教学目标与教学理念的STEM教育评价工具，是当前我国STEM教育研究领域亟待解决的问题。本研究基于国内外STEM教育评价工具、指标体系以及本质特征等，利用德尔菲法与层次分析法构建STEM教育质量评价体系，期望能为STEM教育评价提供支持，促进我国STEM教育的科学发展。 二、STEM教育质量评价指标体系的设计与完善 1.评价指标体系设计 STEM教育质量评价指标的初步构建主要包括两个步骤：一是对STEM教育本质特征进行分析，二是基于STEM教育特征以及对国内外STEM教育评价工具的比较分析初步确定STEM教育质量评价指标体系。 (1)STEM教育特征分析 STEM教育是一种以真实问题解决为任务驱动、立足学习过程、多技术交叉融合的跨学科教育，以培养具有全面科学素养和创新实践能力的人才为根本目标(秦瑾若等，2017)。余胜泉等(2015)将STEM教育的特征概括为跨学科、趣味性、体验性、情境性、协作性、设计性、艺术性、实证性、技术增强性9个核心特征。本研究综合余胜泉等的观点，认为STEM教育具有跨学科性、真实情境性、基于项目的学习以及协作交流四个特征。 跨学科性。跨学科性是STEM教育区别于传统教育的最大特征，是指教师不再将重点放在某个特定学科或者关注学科界限，而是将重心放在特定问题上，强调利用科学、技术、工程或数学等学科相互关联的知识解决问题，实现跨越学科界限、从多学科知识综合应用的角度提高学生解决实际问题能力的教育目标(余胜泉等，2015)。STEM的跨学科属性倡导学生在多学科交叉中开展学习，不再仅关注某一个学科内部的知识，而是强调不同学科之间的联系及其相互影响。这样不仅能够提高学生各方面的素质与能力，同时也有利于避免教育教学中的重复性与单一性。 真实情境性。STEM教育强调知识是学习者通过与学习环境、生活案例相互建构的产物，而非来自教师等外部资源的灌输，因此STEM教育的真实情境性主要体现在通过技术手段再现生活场景中的实际问题与真实案例来激发学生的学习兴趣，刺激其回忆与之匹配的先前知识，在此基础上建立新的知识体系。这有助于培养学生将所学知识进行情境化应用的能力，帮助学生理解和辨识不同情境的知识表现，进而根据所学知识与背景信息发现问题本质并灵活解决现实问题。可以说，STEM教育的真实情境性不仅能使学生获得知识，还能进一步掌握知识的社会性、情境性以及迁移运用的能力，进而培养其创新精神与动手能力。 基于项目的学习。基于项目的学习(PBL)是较为典型的STEM教学模式，广泛应用于STEM教学中。项目式学习活动一般包括问题提出、项目设计、工作计划、作品展示以及反馈评价等环节，具体包括内容、活动、情境以及结果，在真实生活情境中让学生积极探索、决策，提升学生的综合能力与科学素养。具体来看，基于项目的教学模式通常以问题提出为出发点，在此基础上强调组建学习小组，进行合作探究，小组内确定学习目标与小组分工，在协作探究中完成学习任务(李王伟等，2018)，具有开放性、实践性、可行性等特点。 协作交流。协作交流包括“协作”和“对话”两个要素，“协作”是指学习者共同完成学习任务，“对话”是指学习者间的言语交流。STEM教育强调群体间的交流、协作以及共同完成知识建构的学习任务。STEM教育中涉及的学习任务往往来自真实情境，大多数任务需要同伴或老师的协助才能完成，因此在任务完成过程中，学生以小组为单位，共同分析问题、收集资料、讨论交流、展示成果等，强调学生间的协作交流，评价环节也着重考虑小组成员的共同表现和小组间的协作情况，而不是个人表现(余胜泉等，2015)。 (2)初步确定STEM教育质量评价指标 在STEM教育实际开展过程中，需要将形成性评价和总结性评价相结合，制定全面完备的评价工具，将学生的表现外显为操作化的评价指标，从而对STEM课堂、教师、学生等进行全面评价。本研究主要参照UTOP评价工具的环境、课程、内容评价维度，并在此基础上从课堂环境、课程结构、教学内容以及执行效果四个方面进行评价。由于UTOP评价工具在普适性和关注学生成长等方面存在一定的局限性，因此本研究构建的STEM教育评价工具在借鉴UTOP评价工具优势的基础上，兼顾了我国STEM教育的基本特征。其中跨学科性强调不同学科知识的交叉应用，全面提升学生的综合素质，因此在教学内容指标下强调了对课程内容相关性、交互性等跨学科属性的评价；真实情境性强调STEM教育知识体系来源于生活并应用于生活，因此在课程结构维度下突出课程探索、课程资源等二级指标，关注教师是否能够基于生活实际情况提出探索性问题，以及教师是否能够利用视频、音频、模型等工具展示生活化的教学内容；基于项目的学习强调问题意识与小组间的协作，因此特意设计了执行效果这一维度，具体包括明确问题、明确方案、创建模型、交流结果等二级指标，完全匹配基于项目的学习基本理念；协作交流强调学生间的合作探究精神，因此在执行效果中强调考察学生的协作精神与交互性，并鼓励小组进行展示汇报。基于此，本研究初步设计了包含课堂环境、课程结构、教学内容以及执行效果4个一级指标维度以及28个二级指标的STEM教育质量评价指标体系。 2.评价指标体系修订 为了验证评价指标的科学性以及可行性，研究采用德尔菲法，编制了专家意见征询表，将维度重要性划分为5个级别，选取20位STEM教育研究专家，采用发送邮件的方式进行意见征询。意见征询的专家分为三类：第一类，STEM教育标准研究专家，从理论研究的视角修订评价指标体系；第二类，STEM教育教学研究专家，从教育教学的视角修订评价指标体系；第三类，STEM教育实践专家，从教学应用的视角修订评价指标体系。20位最终提供意见的研究专家，既有来自高校和科研机构的教授，也有来自一线教学的高级教师。 3.评价指标体系解读 经过两轮德尔菲法，指标项平均值逐渐变大，变异系数逐渐缩小，表明指标项逐渐趋于合理，专家意见达成一致。在指标内容层面，第一轮德尔菲法专家咨询后，对指标的结构、维度和具体表述进行了调整与修改，形成了比较科学、标准的评价指标框架。在第一轮数据回收及专家意见的基础上，第二轮专家咨询数据均已达到标准水平，仅对少部分指标的描述、顺序进行了调整与修改，以提升指标的准确性、科学性。综上所述，经过两轮的德尔菲法专家咨询后，本研究最终构建了包含4个一级指标、22个二级指标的STEM教育评价工具(见表1)。与国外STEM教育评价工具相比，本研究构建的STEM教育质量评价工具直接聚焦于课堂教学，涵盖课堂环境、课程结构、教学内容以及学生表现四个方面，能够比较全面地评价STEM教育的课堂情况。此外，各级指标的设计以及指标项的说明等形式与我国教育教学中教师所用教研表、评课表等类似，有助于教师更好地理解与使用该评价工具。 本研究在具体操作中将评价指标采用等级量表的形式划分为A、B、C、D、E、F6个评价等级，分别对应100分、80分、60分、40分、20分、0分。A等级表示完全符合指标评价标准；B等级表示符合指标评价标准；C等级表示较为符合指标评价标准；D等级表示一般符合评价评价标准；E等级表示不太符合指标评价标准；F等级表示完全不符合指标评价标准。评价者在进行评价时，只需根据指标项符合程度评定等级打分，之后根据等级值折合成分数，实行二次量化。 三、STEM教育质量评价指标体系权重计算 经过两轮专家意见征询，评价指标体系最终由4个一级指标、22个二级指标以及具体说明构成。为了增加指标体系的可操作性，需要对指标权重进行计算。本研究利用层次分析法设计了AHP问卷，并采用群体决策的方式判断指标权重，以避免指标权重的局限性与片面性。本研究以“在STEM研究领域中，理论与实践经验丰富且研究时长为3年及以上”为标准，在德尔菲法专家咨询名单中选取10位STEM教学经验丰富、拥有丰硕研究成果的专家参加层次分析法决策，共回收9份有效问卷，问卷回收率为90％。 1.指标权重值计算 针对回收后问卷，计算一级指标的相对重要程度。为了有效得出各级指标的相对权重值，本研究采用层次分析法软件Yaahp进行分析，通过一致性检验后，可得出各项评价指标最终权重值。 2.指标一致性检验 研究采用指标的一致性CI值来检验评分结果是否具有一致性。在进行数据分析时，各专家的评分一致性均低于0.1，说明专家判断结果具有内部一致性，结果科学可行。研究使用Yaahp层次分析软件进行处理分析，不一致矩阵通过“判断矩阵一致性自动调整”功能来实现。本研究在分析9位专家判断矩阵一致性时，采用分别求出9个判断矩阵的权重，再根据结果进行加权平均的方式进行处理，这种方法可以保存专家的原始意见，最终得出各个指标的权重值。 3.指标权重的确定 根据上述步骤，研究获得了评价工具的一级指标、二级指标单层次的权重值。为了计算二级指标相对于总目标的权重，需要根据一级指标、二级指标相应权重计算各项指标的组合权重，最终计算结果。 四、STEM教育质量评价指标体系试用 为更好地验证评价工具的有效性和可信性，本研究邀请两位STEM教育专家对北京市某小学二年级的两堂STEM课进行试评，评价等级A、B、C、D、E、F分别赋值6、5、4、3、2、1，通过Cronabachα系数检验评价工具可信度。在第一堂课K1中，Cronabachα系数值为0.8350＞0.8，第二堂课K2中，Cronabachα系数值为0.7240＞0.6，说明在两堂课的评价中，两位评价者评分可信度较高。因此，本研究构建的STEM教育质量评价指标体系各指标内部一致性较好，信度较高，评价结果具有较高的可信度。 在试用指标体系的同时，研究也收集了教师的反馈意见。从整体的评价维度来说，两位教师一致认为该评价工具维度完整，能够比较全面系统地评价STEM教育质量，各二级维度的具体指标内容也比较全面，对于师生的评价比较丰富，符合STEM教育的特征。从具体评价指标来说，教师A认为有些评价指标在课堂观察中难以判定，比如“课程总结”，不是通过一节STEM课就能观测到的，建议对评价指标标准等级进行细化；教师B认为，虽然评价指标较为全面，但仍有部分反应STEM教学特色与特点的指标没有囊括，建议在评价工具中补充“加分项”以及“评语栏”，评分者可以全面地表达自己的意见，凸显每堂STEM课的特点。同时，教师可以在评价STEM课堂的基础上，衍生出学生自评、小组互评等工具，也可将评价工具与学生学习单结合，开展多样化评价。从工具整体性上来说，教师B认为该评价工具建立在STEM教学课堂基础之上，评价工具较为完善，能够对STEM课堂的发展水平，尤其是教师的教与学生的学进行观察与量化。 五、总结 本研究通过对国内外STEM教育评价工具的系统综述，在分析STEM教育特征、评价方式、评价工具的基础上，初步构建了STEM教育质量评价工具，并运用德尔菲法、层次分析法对指标的合理性、科学性进行优化，最终形成一套可行的STEM教育质量评价工具。该评价工具包含课堂环境、课程结构、教学内容、学生表现4个一级维度以及22个二级评价指标和指标项说明。从一级指标的权重来看，其权重顺序很好地反映了指标维度的重要程度，与理论意义与实践操作都较为契合。在各个二级分类指标中，内容跨学科性、重点突出、模型创建、教学准确性、课程内容排在指标项前5位，而这5项基本内容正是STEM课堂教学的关键因素，也是进行STEM教育评价时最为关注的几个方面，同时更是STEM