小学生STEM素养测评工具的开发与修正探析

1、小学生STEM素养测评工具的开发与修正探析【摘 要】STEM素养的测量与评价对于检验和改进STEM教育教学具有重要的意义。过 对国内外大量文献的梳理，明确STEM素养的定义，构建STEM素养测评框架。在此基础上，开 发一套面向小学高年级学生的STEM素养测评工具，包括STEM知识、STEM能力测试卷以及 STEM思维、STEM态度测评问卷。测评工具经过口头报告法、专家咨询法以及在246名小学生 的初步试测三轮迭代修正，结果显示，该测评工具的信度和效度达到心理测量学可接受的水平， 可用于小学生STEM素养的鉴别。【关键词】STEM素养；测评工具；STEM教育以全球视野纵观时代发展，推动学生核心

2、素养全面发展，以培养学生STEM素养为导向 的STEM教育已然成为全球性教育发展趋势。 STEM素养是21世纪学生应该提升的素养之一, 是技术竞争日益激烈的现代社会生活中人们必 备条件和核心竞争力。小学是学生智力发展的 关键时期，亦是培养学生STEM素养的黄金时 期。美国教育部发布STEM2026: STEM教育 中的创新愿景）!*指出，开发创新、可操作的学 习测量方法是指导STEM融合的原则，强调 STEM测量的重要性。随着STEM教育的开展, 如何有效地对学生的STEM素养进行测评成为 难题，素养测评研究也成为近年来教育工作者 们关注的重点。从已有研究来看，我国尚未形 成一套面向小学生的S

3、TEM素养测评工具，同 时也缺乏相关的实证研究。因此，本研究尝试 在梳理STEM素养的定义以及分析现有STEM 素养测评工具的基础上，构建STEM素养测评 框架，开发一套面向国内小学生的STEM素养 测评工具，以期丰富STEM素养理论研究，为 STEM教育测评理论体系的发展提供借鉴。一、STEM素养定义及现有的测评工具（一）STEM素养定义STEM素养的定义决定STEM素养测评的内 容、方法。目前关于STEM素养的定义国内外 尚未形成统一的标准，综合来看可以划分为两 种视角。一种是分解论视角，将STEM素养分 解为科学素养、技术素养、工程素养和数学素 养四部分；另一种是跨学科整合的视角，STE

4、M 素养整合了科学、技术、数学和工程四门学科 相互关联和互补的部分。目前学者Bybee、 Zollman 以及机构 National Governors Association （美国国家政府协会）、National Research Council （美国国家研究院）关于STEM素养的定义是在 国际上被引用最多，也是具有代表性的定义, 如表1所。表1国外学者及政府机构对STEM素养的定义研究者STEM素养定义BybeeSTEM素养指的是：获取科学、技术、工程和数学知识， 并利用该知识识别问题，获取新知 识，并将知识应用于STEM相关 问题将STEM学科的特征表述为人类活 动的形式，包括探究、

5、设计和分析 过程认识到STEM学科如何塑造我们的 物质，知识和文化世界参与STEM相关问题以及拥有科学、 技术、工程和数学的思想，作为一 个热心，热情以及批判性的公民Zollman)4*STEM素养是一种包含技能、能力、事 实性知识、程序、概念和元认知能力 的深层次学习方式NationalGovernorsAssociation)5*STEM素养指的是个人能够应用自身知 识理解世界是如何在四个相互关联的 领域内和跨越四个相互关联领域运作 的能力NationalResearch厂-1(6*CouncilSTEM素养是对科学和数学概念的理 解，以及个人决策，参与公民文化事 务以及所有学生的经济生产

6、力所需的 过程虽然STEM素养的定义纷繁多样，但是定 义之间多存在共性，比如整合四大学科的知识, 跨学科地解决实际问题是所有定义中都提到和 强调的。综合以上观点，笔者对STEM素养的 定义采用Bybee的观点并在此基础上进行了拓 展，确定STEM素养指的是学习者综合获取和 融合应用科学、技术、工程和数学知识，识别 并解决STEM有关问题，基于证据做出决策的 能力。在此过程中综合运用和提升跨学科思维、 批判性思维、创造性思维，并且对STEM持有 积极态度，认为STEM学习有价值，愿意参与 到STEM相关领域的学习中。（二）STEM素养现有的测评工具国际上具有代表性的STEM素养测评是 OECD

7、（经济合作与发展组织）面向全球15岁 学生开展的PISA测试，主要测量学生的科学、 数学和阅读素养。虽然PISA测试没有直接指向 STEM素养，但却被许多专家学者认同为STEM 素养测评的导向和标杆，其所展现的理念、方 法适用于义务教育各阶段。以PISA 2015为例, 素养的测评领域包括情境、知识、能力和态度; 测评包括五种题型：选择题、封闭式问答题、 简答题、复合选择题以及开放式问答题。在我国，研究者普遍认同“知识、能力、 思维和态度”四元素养测评理论模型，并据此 开展STEM素养的测评探索。蔡海云从STEM 知识、STEM）力、STEM思维和STEM态度四 个维度编制了一套1STEM素养

8、调查问卷，用 于测量）二学生的STEM素养。刘雪（8）采用李 克特五级量表从STEM化学知识、STEM化学） 力、STEM思维和STEM化学态度四个维度调查 延边市中学生基于化学学科的STEM素养。综上所述，国内外STEM素养测评工具多 面向中学生，专门指向小学生STEM素养的研 究不多，缺乏相关的测评工具。由于中学生和 小学生心理特质的差异，面向中学生开发的 STEM素养测评工具难以迁移。因此，开发一 套面向小学生的STEM素养测评工具十分 必要。二、STEM素养测评框架的组成依据“知识、能力、思维和态度”四元素 养测评理论模型以及STEM素养的定义，根据 小学生STEM教学现状，在参考已开

9、发的STEM 素养测评框架基础上倾10*,本研究从测评情 境、测评领域、测评要点等构建STEM素养测 评框架（如表2所示）。表2 STEM素养测评框架测评情境测评领域测评要点STEM知识科学、技术、工程、数学知识）学科知识获得知识的能力个人情境X会情境全球情境STEM思维STEM态度STEM能力识别STEM相关的事件或概 念的能力整合应用STEM的能力使用STEM解决问题的能力基于STEM制定决策的能力批判性思维 创造性思维 ）学科思维意识自我效能感价值倾向测评情境涵盖各级各类STEM活动开展所 基于的情景，是STEM问题产生所依赖的环境, 是STEM素养必不可少的部分。测评情境要求 学生具备

10、应对不同复杂环境中的问题解决的能 力。PISA测评指出评价结果的真实、可靠依赖 于预设的情境范围。本素养测评的情境吸纳了 PISA提供的个人情境、社会情境及全球情境。测评领域包括STEM知识、STEM能力、 STEM思维、STEM态度四大部分。其中， STEM知识是STEM素养的根基，包括四门基本 学科知识和跨学科知识。需要说明的是，跨学 科知识采用的是钵一代科学教育标准中定 义的七大跨学科概念：模式，原因和结果，大 小、数量与比例，系统和系统模型，能量和物 质，结构和功能，稳定与变化（11）； STEM能力 是STEM中涉及问题解决和学生发展的主要能 力，是STEM素养中最核心的部分，主要包

11、括 获得知识的能力、识别STEM相关的事件或概 念的能力、整合应用STEM的能力、使用STEM 解决问题的能力以及基于STEM制定决策的能 力。其水平高低受制于STEM知识、STEM态度 和STEM思维的共同发展；STEM思维是在解决 STEM相关问题中涉及到的主要思维，包括批判 性思维、创造性思维和跨学科思维；STEM态度 是学习者在参与STEM学习活动中产生的心理 倾向及言行表现，是STEM素养重要组成部分。 Mahoney）12）指出STEM态度可以从意识、自我效 能感、价值、倾向四方面进行测量，积极的 STEM态度可以促进学生更好地开展STEM学科 的学习。三、小学生STEM素养测评工

12、具的 开发测评工具的开发以测评框架为蓝图而展开, 但可以根据研究对象的不同加以调整。本研究 的研究对象为小学五、六年级学生，在充分考 虑学生心理特征的基础上，参照国际大型素养 测评项目PISA，采用“试卷+问卷”的形式全 面测量小学生的STEM素养。其中采用试卷作 为STEM知识、STEM能力的测评工具，问卷作 为STEM态度、STEM思维的测评工具。（一）STEM知识、STEM能力测评试卷的 编制STEM素养的测评旨在考察学生在真实情境 下运用STEM知识和STEM能力解决问题的表 现情况。与平时的学校终结性考试不同，此测 试更注重问题的情境性、真实性，强调学生运 用跨学科知识解决问题的综合

13、能力。义务教育 小学科学课程标准2017版（商是国内第一部 STEM学科课程标准，本研究以此课标为指导, 参考义务教育小学数学课程标准，进一步细 化小学生高年级考察的知识和能力点，初步形 成了 STEM知识和STEM能力测验的双向细目 表。然后根据双向细目表，按照难度分布合理 的出题原则，从现有的STEM素养测评题库中 抽取和改编样题，以符合本研究需求，构建学 生STEM素养测评题库，形成一套涵盖三大问 题情境的四个单元测试，共计21道单选题的 STEM知识、能力测试卷。在每个小单元的考查 之前会提供一段引导性的阅读材料，在此基础 上，考查学生的获得知识，以及识别STEM相 关的事件或概念、整

14、合应用跨学科知识问题、 制定决策的能力。STEM知识、STEM能力测试 样题举例如下：建造温室广州白云山云台花园是全国最大的园林式 花园，其中有一个较为出名的参观景点 玻 璃温室。玻璃温室占地面积为1200平方米，是 一个袖珍的热带植物园。温室内分为高、中、 低三个区，分别是仙人掌与多浆植物区、棕桐 科区、兰花区。植物的生长需要充足的养分、 光照、适合的温度、水和空气。在温室在侧墙 和屋脊能看到设有通风窗，帮助排除温室的余 热及温室内的水分，调整温室内空气成分，排 除有害气体，使温室内的环境温度、湿度和空 气等条件适宜植物生长的要求。1-1温室里有各种各样的生物和非生物， 生物具有区别非生物的

15、基本特征是：生物的 生活需要营养；生物能进行呼吸；生物能 排出身体内产生的废物；$生物能对外界刺激 作出反应；生物能生长和繁殖；生物都有 遗传和变异的特性；除病毒以外，生物都是 由细胞构成的，具备生物特征的就是生物，否 则就是非生物。 TOC o 1-5 h z 小红同学在雨后的草叶上发现了一些能运 动的绿色小点，下列说法不能作为小红判断小 点是生物的依据是：（）能生长与繁殖B.能呼吸C.碰下会缩成一团 D.体小且绿色1 -2为了观察这些绿色的小点的细胞结构，她需要用到的工具是？（）A.电子显微镜B.放大镜C.平面镜1 -3小红对植物在温室里生长的条件产生 了极大兴趣，请问光照会影响植物的生长

16、”是 否可以在实验室里通过科学探究来测试？（）不同种类植物生长所需要的条件不同”是否可 以在实验室里通过科学探究来测试？（）可以在实验室里进行探究不可以在实验室里进行探究1 -4为了研究植物生长与水和肥料间的关 系，小红在5个花盆中分别种植了大小相同的 同种兰花（花盆中的土壤取自相同的环境），每 天向花盆内浇适量的水和液体肥料。做如下 处理：花盆浇水量施肥量1与以前相同与以前相同2比以前减少1/2比以前减少1/23比以前减少1/2与以前相同4与以前相同比以前增加1/25不浇水比以前减少1/2如果想要说明过多施肥会引起植物枯萎, 可比较哪两个花盆？（）A. 1 与 2B. 1 与 42 与 3D

17、. 4 与 51 -5温室2015 -2018四年兰花产量情况如 下图所示：3500=1500:1000 :兰500=2015 年2016 年2017 年2018 年请问这四年来平均每年的产量是多少？（）A. 2200B. 2500C. 3000D. 35001 -6小红在了解植物生长所需的条件，准 备像工程师一样开始设计制作温室。设计温室 的主要步骤如下所示：选择材料制作模型 设计温室各部分 结构改进温室测试温室的功能以下顺序正确的是（）A.B.C.D.（二）STEM思维、STEM态度测评问卷的 编制STEM思维和STEM态度的测评问卷采用的 是五级李克特量表的形式，根据研究的需求, 在参考

18、台湾学者陈萩卿（14）编制的 斜、学生批判 性思维量表、Williams创造力倾向量表、陈小 敏（15）编制的跨学科思维测评量表的基础上，初 步编制了包含26道题的STEM思维测评问卷。 关于STEM态度的测量，主要采用Mahoney开 发的跨学科STEM态度测量问卷，从“意识” “价值“自我效能感”和“倾向”四个维度测 量学生的STEM态度，共12道题。为了更好地 分析STEM素养的影响因素，加入对学生自身 情况、STEM相关学习经历、父母对待STEM的 态度等背景信息的调查。自此，初步形成了一套包含10个背景信 息、21道测评STEM知识、能力试题以及38道 测评 STEM 思维、态度问卷

19、的小学生 STEM 素 养测评工具。四、小学生STEM素养测评工具的 修正为了保证初步编制的测评工具拥有较高的 信效度，本研究团队运用口头报告法、专家咨 询法以及试测分析法开展了三轮迭代修正。（一）口头报告法口头报告法是目前评估个体认知过程的主 要方法之一，通过被试的口头报告可以了解测 评工具的表述是否引起小学生认知理解障碍, 被试表现出来的素养要素和考查的知识、能力 是否与预设相匹配。因此，本研究从实验校随 （抽取4名被试（五六年级学生各2名，男女 生各2名，均未参加过类似的研究），被试在完 成 0TEM知识、STEM）力测评试卷每一个 单元题目后立即报告自己思维加工过程。最后 比对测试过程

20、中的录音文件、测评试卷和研究 者观察的记录，消除观察与报告行为之间的 差异。数据分析的结果显示：（1）部分题干的表 述需要进一步修改。例如，对于选非题，小学 生由于粗心，容易选择其他错误的选项，故对 题干中的“C能,，“C进行着重号提醒。 部分材料中由于印刷导鱼表格不够清晰的问题， 统一对材料中所有的表格进行加粗和关键部分 重点突出处理；（2）题3 -3难度较大。有 75%的被试反映题3 -3很难作答，故将此题保 留。拟结合第二轮专家咨询和第三轮初步试测 的结果再决定是否将此题删除。（二）专家咨询法笔者邀请10位专家老师对STEM知识、 STEM）力测评试卷题目难度、每道题考察 知识与能力的适

21、切度以及对测评工具的认可度 进行问卷调查，他们分别是STEM领域的专家2 名、从事STEM学科、数学学科、科学学科以 及信息技术学科教学的一线小学教师各2名。1. 难度分析难度反映试题的难易程度。将1。位专家对 测评工具每道题的难度判断求平均数，可以得 到如图1结果。可以看出，整体测评问卷难度系数为3. 16, 难度）中且分布合理。其中，有6道题难度较 高，专家打分的平均数大于3. 5 ,分别是题1 % 2、1-4、1-6、2-2、3-3、4-2,其余项目 难度值均在2.3 -3.5之间。2.适切度分析在本研究中通过平均数和中位数检验测评 工具考察的知识、能力与实际情况匹配程度。 将匹配程度根

22、据平均数、中位数大小划分为高、 中、低三个等级，操作如表3所示。表3测评工具考察知识、能力与实际匹配度等级划分表）16 *等级达到该等级 所需要的条件采取措施级平均数、中位数全部# 4保留该题项考察的知识、 能力中级3 平均数、中位数任意一项4依照专家意见酌情修改和 调整考察的知识、能力低级3#平均数、中位 数任意一项依照专家意见修改或删除该题项根据小学生STEM知识、能力测验中的 题目双向细目表，每道测评题均有预先设定的 考察知识和能力。研究者在STEM素养测评 题专家意见咨询表中清楚地注明每道题所考 察的知识和相应的能力内容，请专家评判是否 符合实际考察的知识与能力。数据分析的结果图2 S

23、TEM素养测评工具适切度情况STEM素养知识、能力测评试题中，题2- 2、2-5、3 -4这三道题的匹配度等级为中级, 需要根据专家建议对考察的知识、能力进行 调整。3.认可度分析认可度是专家对STEM素养测评工具能有 效地测评学生STEM素养的认可程度。数值越 高，表明专家越肯定该测评工具的有效性。经 统计，10位专家的认可度平均数为4. 125，比 较赞同该STEM素养测评工具的效用性。为了 进一步检验专家认可度的一致性，采用标准差” 对进行判定。专家一致性划分表如表4所示。表4 专家一致性划分表一致性达到该等级所具备条件非常一致0. 8基本一致1.0#)0.8不一致)1.2标准差经计算，

24、专家认可度的标准差为0.33,小 于0.8 ,表明10位专家的建议非常一致，专家 咨询的结果也较为可信。（三）试测分析1-试测对象初步试测的对象选择G市三所办学水平各 异的小学，包括省一级学校、市一级学校和普 通民办学校，在每所学校五、六年级各随机抽 取1个班。采用纸笔测试的形式，测评试题卷 当场回收，测试时间约45分钟。统共发放试卷 248份，回收有效试卷246份，有效回收率为 99. 2%。样本的基本情况如表5所示。表5试测对象基本情况频数百分比学校省一级学校7229.3%市一级学校8534.6%普通民办学校8936. 1%年级五年级13354. 1%六年级11345.9%性别男11647

25、. 1%女13052.9%是否参加有STEM 有关的学习经历是16868. 3%否7831.7%项目分析项目分析目的在于探究高低两种水平的被 试者在每个题项的差异，分析结果可以用于删 除或修改某个题项，从而提高题项的质量。首 先使用SPSS19. 0对246名被试STEM知识和能 力测试卷中的21个项目及STEM思维和态度测 评问卷中的38个项目进行数据分析。然后将所 有被试填答的题项求和，按照总分排序，找出 排在前27% （高分组）及后27% （低分组）的 被试得分，求出两组被试在每个题项上的平均 得分。随后将高分组编码为1，低分组编码为 2,对两组被试在每一题平均分上的差异进行独 立样本T

26、检验。检验结果显 ，题目1 %3、 3-3、4-1, 11、12、35显著性差异不显著，需 要删除。紧接着进行皮尔逊相关分析，计算各 题项与总分的关系，结果显示项目1-2、2-1， 2、4、9、37与总分相关程度较低（i0.3）, 需要删除。最后，剩余47个项目与总分的相关 系数范围为0. 345 -0. 689。信度分析运用SPSS19. 0对246份样本进行信度分 析，结果显示STEM知识和STEM）力测试卷 克伦巴赫（Cronbach）（信度系数为0. 696，分 半信度为0. 728$ STEM思维和STEM态度测评 问卷克伦巴赫（Cronbach）（信度系数为 0. 921，分半信度

27、为0.836，均大于0.6，属于 可接受的信度范围，表明该测评工具各部分都 具有良好的信度。效度分析效度测量的方法是多样的，考虑到本研究 开发的测评工具形式多样性（包括试卷和量表 两种形式），决定采纳内容效度来检验测评工具 的效度。STEM素养测评工具的编制全程严格按 照心理与教育测验的要求，试题的编制经过专 家和一线教师的多次论证与审议，故而测评工 具拥有较好的效度。五、讨论学生STEM素养作为检验STEM教育质量 的重要因素，如何有效测量和评价STEM素养 成为近年来研究的热点话题。STEM素养的培养 依赖于STEM教育，然而由于STEM教育教学 的跨学科性、综合性，STEM素养本身具有的复 杂性，使得STEM素养测评工具的编制面临较 大的挑战。为了克服困难，编制出一套科学、 合理、操作性强的STEM素养测评工具，本研 究进行了以下探索。一是在测评工具编制之前，进行了大量文 献研究工作夯实测评理论基础。首先是通过梳 理国内外高被引用的STEM素养有关的文献, 力求准确把握STEM素养的定义和内涵；其次 是参考已有研究，构建STEM素养测评框架, 为后续STEM素养测评工具