基于中考和高考成绩数据的高中学校教育教学效能增值性评价

/基于中考和高考成绩数据的高中学校教育教学效能增值性评价【摘要】传统的“唯分数”评价需要破除，新的发展性评价亟须建立。学校教育教学效能是衡量学校教育教学活动科学性和有效性的重要指标。选取江苏省某市43所高中3193名学生的中考和高考成绩数据进行实证研究，采用增值评价模型评估学校的教育教学效能。结果表明，该市高中学校教育教学整体效能较高，不同学校教育教学效能存在差异，不同学生群体教育教学效能存在差异，结果评价与增值评价整体上具有一致性、局部差异较大，增值评价在解决生源起点不公的问题上具有独特优势。据此，教育主管部门应重视运用增值性评价方法评估学校效能，注重过程性、发展性评价，促进普通高中多样化、有特色发展。【关键词】学校效能；增值性评价；多层线性模型；教育评价 2019年6月，国务院办公厅发布的《关于新时代推进普通高中育人方式改革的指导意见》，围绕全面提高普通高中教育质量作出系统设计和全面部署，赋予学校效能研究新的时代意义。学校效能是指学校为了实现教育目标而发挥其积极作用并最终取得有效的教育教学成果的能力，通常用来衡量学校教育教学活动的科学性和有效性，是学校教育质量的重要体现[1]。 普通高中教育教学效能是一个多元的概念，为发挥教育考试机构成绩资源库的优势，本研究从学业成绩的角度，依据中考和高考成绩数据，采用增值性评价方法对高中学校的教育教学效能进行综合评估，进一步普及增值评价理念，深化学校效能实证研究，更好地贯彻落实过程性、发展性评价理念，充分发挥高考正向指挥棒作用，为进一步推进教育评价改革作出努力。 一、研究方法 (一)研究对象和数据收集 本研究以江苏省某市2018年高考考生为研究对象，收集这批考生的中考、高考成绩。数据收集采取分层抽样的方式：第一步，按照该市四星级高中、普通高中总体比例等比抽取11所四星级高中和32所普通高中，各区县覆盖均匀；第二步，每所学校随机抽取约100名学生，尽量做到各个班级全覆盖，男女比例大致相当。经筛选，最终获得3193名考生的数据样本，其中女生1623名、男生1570名，性别分布均匀。 本研究收集学生的性别、户籍、家庭经济状况、学校类型、中考成绩、高考成绩等数据，其中：学生家庭经济状况采用调查问卷收集，学校类型根据江苏省对普通高中实行的星级评估来界定，其余数据来源于考试机构的中考、高考成绩数据库中相关信息。 学生家庭经济状况调查问卷主要参考PISA2015学生背景调查问卷，采用家庭财富量表方式收集数据。通过调查与家庭收入强相关且容易获取的家庭拥有物品情况间接测量，采用项目反应理论(IRT)进行估算，估算逻辑为：将学生家庭经济状况视为学生的潜在特质，通过学生对某个选项选择的概率来估算学生的家庭经济状况，数值越高，表明家庭经济状况越好[2]。 (二)增值评价模型 1.模型概述 增值评价模型是美英等发达国家通用的学校效能评价模式。通过构建严谨、规范的测量模型，尽可能剥离那些学校不可控、对学生学业成绩存在影响的学生个体、家庭和社会因素，采用“反向”视角，获得真实、纯粹的学校效能评价。借助多层线性模型，追踪研究设计来实现。 本研究建立“学生—学校”两水平增值模型，在尽可能控制学生初中学习基础、学生个体水平的性别和家庭经济社会背景因素、学校水平的资源因素与同伴因素等变量后，将学校教育教学效能视为一种“剩余”，通过计算学生高考成绩“实际值”与上述控制因素对学生高考成绩的“预测值”之间的差异，获得学校教育教学对学生学业发展影响产生的“净效应”，以此来评价学校教育教学效能。 高考成绩实际值是收集学生2018年6月参加高考的语文、数学和英语成绩，并对其进行标准化处理(平均数为0，标准差为1)。学生初中学习基础使用中考成绩来表征，收集2018年6月参加高考的学生相对应的2015年6月参加中考的语文、数学和英语成绩，对其进行标准化处理(平均数为0，标准差为1)。 学生家庭经济社会背景因素使用学生家庭经济状况指标来表征，采用Parscale4.1软件进行估算。问卷调查实测数据表明，题目组的内部一致性信度为0.710，学生家庭经济状况指标的平均数为0，标准差为1，最大值为3.924，最小值为-2.928，数据呈现较为标准的正态分布，家庭经济状况高、中、低水平学生覆盖均匀，说明前期样本抽样较为成功、有效，有利于后期的模型建立。通过统计该市不同区县学生家庭经济状况指标的差异发现，2018年对外公布GDP总量越高的区县，学生家庭经济状况的平均值也越高，两项指标之间的一致性程度较高，说明问卷调查具有较好的效标关联效度。 学校水平的资源因素使用学校类型来表征，四星级高中和普通高中在硬件设施、软件配备、师资力量等方面存在较大的差异，这些差异短时间内难以改变并影响学生学业成绩，在评价学校教育教学效能时应予以控制；学校水平的同伴因素使用全校学生的家庭经济状况，即一所学校学生家庭经济状况的平均值来表征，同伴因素会对学生学业成绩产生影响，评价学校教育教学效能时亦应予以控制。 2.建立模型 本研究采用学生嵌套于学校的两水平嵌套数据结构，构建以学生个体水平为第一层变量，学校水平为第二层变量，中考成绩为协变量，高考成绩为因变量的两水平线性回归模型，获得学校教育教学对学生学业发展产生的增值效应[3]。 (1)零模型。 零模型是不含任何解释变量，用于判断数据嵌套结构的假设是否合理的模型，便于分析校际差异对高考成绩所产生的影响。零模型的具体形式如式(1)～式(3)所示： 第一层：Yij=β0j+rij(1) 第二层：β0j=γ00+u0j(2) 将式(1)和式(2)合并为： Yij=γ00+u0j+rij(3) 其中：Yij表示第j所学校第i个学生的高考成绩的标准分，β0j表示第j所学校学生的平均成绩，γ00表示所有学生的平均成绩，rij表示学生的随机效应，u0j表示学校的随机效应。 学生成绩的总体变异被分解成组内变异(学生个体间差异)和组间变异(学校间差异)两部分。通过计算跨级相关系数(ICC)，即组间变异占总变异的比例，衡量学生成绩的差异中有多大比例是由学校间差异造成的，计算公式如式(4)所示： ICC=τ[2]00/τ[2]00+σ[2](4) 根据零模型，本研究的语文、数学、英语成绩的跨级相关系数(ICC)分别为0.513、0.601和0.610，说明学生语文、数学和英语的成绩差异中分别有51.3％、60.1％和61.0％的比例是来源于学校间差异。因此，构建两水平模型是有必要的，可以进一步分析学校效能增值。 (2)完整模型。 在零模型的基础上，引入学生个体水平的中考成绩、性别和学生家庭经济状况3项指标，以及学校水平的学校类型和整校学生家庭经济状况两项指标，构建完整模型。完整模型的具体形式如式(5)～式(8)所示： 第一层：Yij=β0j+βpjXpij+rij(5) 第二层：β0j=γ00+γ0qSqj+u0j(6) β[pj]=γp0p=1，…，P(7) 将式(5)、式(6)和式(7)合并为： Yij=γ00+γ0qSqj+γp0Xpij+u0j+rij(8) 完整模型中学校水平的残差u0j即是每所高中学校的增值指标，它表示的是在控制了非教育教学因素的影响后，学生高考成绩“实际值”与“预测值”之间的差异，即学生从中考到高考3年期间的进步值。 二、研究结果 本研究使用HLM7.0软件进行多层线性模型分析，研究结果如下。 (一)普通高中学校教育教学整体效能 根据完整模型，计算残差方差占总方差的比重，获得学校教育教学对学生成绩带来的整体增值效应，以下称为“增值效应规模”。样本学校的语文教育教学对学生高考语文成绩的增值效应规模为0.466，数学教育教学对学生高考数学成绩的增值效应规模为0.593，英语教育教学对学生高考英语成绩的增值效应规模为0.536。这意味着对于来自两类不同学校的学生，在控制学生个体层面和学校层面的非教育教学因素后，两类学校学生之间，语文成绩的差异有46.6％的比例是源自学校教育教学效能的差异，数学成绩的差异有59.3％的比例是源自学校教育教学效能的差异，英语成绩的差异有53.6％的比例是源自学校教育教学效能的差异。总体来说，样本学校的教育教学整体效能较高。 (二)不同高中学校教育教学效能比较 进一步比较不同高中学校的增值情况，发现不同学校教育教学效能存在差异，语文科有7所学校增值分显著高于平均水平，有5所学校增值分显著低于平均水平，有31所学校增值分与平均水平无显著性差异，说明不同学校的增值表现存在较大差异；在7所增值分显著高于平均水平的学校中，有1所四星级高中、6所普通高中。数学科有10所学校增值分显著高于平均水平，有6所学校增值分显著低于平均水平；在10所增值分显著高于平均水平的学校中，有l所四星级高中、9所普通高中。英语科有13所学校增值分显著高于平均水平，有13所学校增值分显著低于平均水平；在13所增值分显著高于平均水平的学校中，有2所四星级高中、11所普通高中。可见，不同学校教育教学效能在学科上的差异也较大，英语科学校间增值分的差异最大，其次是数学科，语文科学校间增值分的差异相对最小。 (三)不同学生群体教育教学效能比较 区域教育发展除了应关注每所高中学校的教育教学对学生学业发展产生的增值效应大小，还应关注高中教育教学对学生学业发展产生的增值效应是否一致。研究学校增值在性别、城乡等不同学生群体之间的一致性、均衡性问题，是大多数研究所忽视的，但这些问题却是推进区域教育质量高位均衡发展的重要抓手。 根据性别将学生分为男女两组，根据户籍所在地将学生分为城镇和农村两组，对不同类型学生群体分别建立增值评价模型，相应计算残差方差占总方差的比重，即增值效应规模，考察学校教育教学对不同学生群体带来的整体增值效应是否具有一致性。 从性别来看，在语文科上，学校教育教学对男生群体的增值效应规模为0.532，对女生群体的增值效应规模为0.386，这意味着学校教育教学对男生群体带来的整体增值效应要大于女生；在英语科上，学校教育教学对男生群体的增值效应规模为0.533，对女生群体的增值效应规模为0.589，意味着学校教育教学对女生群体带来的整体增值效应要大于男生。语文和英语科存在明显的性别差异，数学科的差异不明显。从城乡来看，在语文科上，学校教育教学对城镇学生群体带来的整体增值效应要小于农村学生群体；英语科恰恰相反，学校教育教学对城镇学生群体带来的整体增值效应要大于农村学生群体；数学科的差异不明显。不同类型学生群体的学业发展受学校教育教学影响的增值效应不一致，在部分科目上存在明显的性别差异和城乡差异，说明样本学校教育教学的均衡性有待提高。 (四)结果评价与增值评价比较 传统的高中学校效能评价往往根据学生最终的高考成绩来衡量学校的教育教学水平，这种结果评价忽略了学生入学起点不同的问题，对凸显中等学校的优势、激发薄弱学校发展的动力也不利。增值评价在解决生源起点不公的问题上具有独特优势，本文对直接依据高考成绩开展的结果评价与增值评价两种方法进行比较研究，以探讨两种评价方法结果的异同。 调查显示，结果评价与增值评价在整体上呈现一定的一致性，但局部存在不一致的现象，特别是中间水平的学校两种评价方法的结果差异较大。以语文科为例，从相对位次角度看，在两种评价方法下，仅有3所学校的位次保持一致，其余学校在两种评价方法下的相对位次都发生了变化。进一步分析发现，增值分最高的3所高中学校，结果分位次分别为第7名、第10名和第4名；结果分最高的3所高中学校，增值分位次分别为第10名、第23名和第13名。部分结果分没有优势的学校，增值分表现却很优异，如编号为12的学校，结果分位次为第30名，增值分位次为第12名，提升了18名；编号为7的学校，增值分位次提升了17名；编号为8的学校，增值分位次提升了15名。部分结果分优异的学校，增值分表现却有所下降，如编号为31的学校，相对于结果分位次，增值分位次下降了22名。编号为7、8、12、14、17、18、19、21、22、24、26、27的12所学校，结果分均低于43所高中学校平均水平，但增值分均高于平均水平；编号为28、31、37、38的4所学校，结果分均高于43所高中学校平均水平，但增值分却低于平均水平。 上述现象表明，传统意义上的好学校由于生源起点较高，学校教育教学效能可能存在天花板效应，增值效应未必最突出；一些中等偏上水平的学校增值空间较大，在增值分上的表现较为优异；传统意义上的较差学校尽管生源起点较为落后，但只要学校不抛弃、不放弃，坚持科学育人，增值评价方式下的学校效能就能够有明显提高。无论是结果分还是增值分较为靠后的学校，教育主管部门应当予以高度关注，如何激励这些学校树立信心、转变发展是实现教育托底、提升教育公平的关键。 三、结论与展望 本研究使用江苏省某市43所高中学校的中考、高考成绩数据和学生、学校背景信息，构建严谨规范的增值性评价模型，获得真实、纯粹的学校教育教学增值指标，研究和评价学校教育教学效能。研究结果表明，该市高中学校教育教学整体效能较高，学校教育教学在推动学生高考成绩进步上发挥了积极促进作用；不同学校教育教学效能存在差异，不同学校教育教学效能在学科上的差异较大，其中英语科学校间效能差异最大，语文科学校间效能差异最小；不同学生群体教育教学效能存在差异，部分科目的学校效能存在明显的性别差异和城乡差异；结果评价与增值评价在整体上具有一致性，局部差异较大，大部分学校在两种评价方式下的相对位次均发生了变化。 由此可见，仅将高考成绩作为评价普通高中学校教育教学效能的唯一指标是有失偏颇的，高考成绩优异的四星级高中教育教学效能未必就高，高考成绩一般的普通高中教育教学效能未必就低，教育主管部门应加强对增值评价结果的应用；应加强对“正增值”学校的考察，分析促成学生学业成绩大幅进步的因素，为其他学校的教育教学发展提供示范指导；应加强对“负增值”学校的关注，深入分析进步幅度较小的原因，建立与之相适应的教育教学