《教育测量与评价》电子教案-第三章 教育测量与评价的质量特性

单元/章节名称第三章教育测量与评价的质量特性学时3学期总课次授课时间第周，星期，第节学习目标1.解释信度。2.解释效度。3.解释难度。4.解释区分度。5.依据不同情况采用恰当的方法计算测验的信度。6.依据不同情况选用恰当的方法对测验的效度进行评价。7.计算测验题目的难度、区分度。8.反思教育测量与评价方案的可用性。教学重点及解决措施重点：信度、效度、难度、区分度的定义和类型。解决措施：教学难点及解决措施难点：能够根据不同情况选择合适的信度、效度计算方法，正确计算难度和区分度。解决措施：通过引入生活种的相关案例，请学生分组讨论，判断并说明理由。教学反思授课内容及教学活动设计附注（教学方法、活动形式、辅助手段等）课堂导入：体检时，用同一台体重秤连续称重三次，如果读数不一致，比如第一次45kg，第二次55kg，第三次49kg，那么这台体重秤可信吗？请思考什么是信度？新授课：第一节教育测量与评价的信度一、信度的意义信度(reliability)，简单地说就是测量结果的可信程度。信度指的是测量结果的稳定性程度，记为rxx。教育与心理测量不同于物理测量，人们不可能用同一测量工具反复测量一个人的同一心理特质。二、信度的统计定义我们不妨把测验实施过程中直接得到的分数，叫做观察分数，记为X；把被试在所测特质上客观具有的水平值，叫一般真分数(简称真分数)，记为T；那么，观察分数与一般真分数的差就是测量误差，记为E。这样，三者的关系可以表示为：X=T+E(3-1)三、信度的估计方法（一）重测信度(testretestreliability)重测信度指的是用同一个量表(测验或评价表)对同一组被试施测两次所得结果的一致性程度，其大小等于同一组被试在两次测验上所得分数的相关系数。（二）复本信度(alternateformsreliability)复本信度指的是两个平行测验测量同一批被试所得结果的一致性程度，其大小等于同一批被试在两个复本测验上所得分数的相关系数。（三）同质性信度(homogeneityreliability)同质性信度也叫内部一致性信度(internalconsistencyreliability)，它是指测验内部所有题目间的一致性程度。1.分半信度(splithalfreliability)2.库德—理查逊信度(Kuder&Richardsonreliability)3.克龙巴赫(cronbach)α系数当测验题型较多，并非都是二分记分题时，估计测验信度可采用克龙巴赫α系数。四、标准参照测验的信度分析1.百分比一致性指标百分比一致性(percentagreement，简称PA)指标是指同一测验或两平行测验先后两次施测，其对被试的分类结果一致的比例。2.κ一致性系数κ一致性系数(kappacoefficientofagreement)，是指实际被评定为一致的百分比与在理论上被评定为一致的最大可能次数百分比的比率。五、测量标准误与测验信度的关系测量标准误是指测验中所得测值偏离真分数的程度，记为SE。显然，它与测验信度系数之间存在着必然联系，这种关系可定量地表示如下：SE=Sx1-rxx(3-15)式中，SE为测量的标准误，Sx为观察分数的标准差，rxx是测量的信度系数。测量标准误是反映测量结果精确性和可靠性的又一指标，同时也是人们正确解释测验分数的科学依据。六、评分者信度1.评分者信度的含义评分者信度(scorerreliability)指的是多个评分者给同一批人的答卷进行评分的一致性程度。2.评分者信度的计算第二节教育测量与评价的效度一、效度的意义效度是指一个测验或量表实际能测出其所要测量的特性的程度。1.效度始终是针对一定测量目的而言的2.效度只有程度上的差异3.效度是针对测量结果而言的4.评价一个测量是否有效要多角度、多方面地收集证据二、效度的统计定义实质上，一般真分数还可进一步分解为两个部分：目标真分数(记为V)和非目标真分数(记为I)。目标真分数，指的是反映被试某种心理特质真正水平的数值。非目标真分数，指的是被试在某种心理特质测量量表上表现的与测量目标无关的稳定测值。所以观察分数可表示为：X=V+I+E(3-18)由以上论述可以看出，测量效度实质上就是指一次测量测出目标真分数的程度。课堂讨论题从统计学定义看，效度和信度有什么关系？三、内容效度及其分析方法（一）内容效度的含义及应用范围内容效度就是测验题目样本对于应测内容与行为领域的代表性程度。显然，要考察测验题目样本的代表性，首先就要对应测内容与行为领域有明确的界定，有比较清楚的组织结构。（二）内容效度的分析方法内容效度的分析方法常用逻辑分析法，即依靠有关专家对测验题目与应测内容范围的吻合程度作出判断。以考试的内容效度分析来讲，就是依靠专家来分析一份试卷的所有题目，把所有题目按考试内容分布和考查目标分布进行双向分类，形成实际的“题目双向分类表”。四、结构效度及其验证方法（一）结构效度的含义及其验证的一般步骤所谓结构(construct)，是指心理学或社会学上的一种理论构想或特质。它本身观察不到，并且也无法直接测量到，但学术理论假设它是存在的，以便能够来解释和预测个人或团体的行为表现。总的来说，结构效度的验证一般包括四个步骤：第一，提出有关理论结构的说明，并据此设计测量用的试题。第二，提出可以验证该理论结构存在的假设说明。第三，采用各种方法收集实际的资料，以验证第二步提出的假设的正确性。第四，收集其他类型的辅助证据，淘汰与理论结构相反的试题，或是修正理论，并重复第二和第三步，直到上述的假设得到验证，即测验的结构效度获得支持为止。（二）结构效度的验证方法具体地说，结构效度的验证方法有以下几种：1.测验内部寻找证据法（1）内容效度（2）作答过程分析（3）测验的同质性（4）因素分析法2.考察测验的实证效度法（1）差异被试比较法（2）先后测试分析法五、效标关联效度及其估计方法（一）效标关联效度的含义、种类及适用范围效标关联效度(criterionrelatedvalidity)的验证方法是指一个测验对于处于特定情境中的个体行为进行预测时的有效性。1.同时效度测验分数与效标资料的取得约在同一时间内连续完成，计算这两种资料的相关系数即代表测验的同时效度。2.预测效度在测验分数取得一段时间后才获得效标资料，计算这两种资料间的相关系数即代表测验的预测效度。（二）效标关联效度的估计方法从效度估计的方法上看，效标关联效度常用以下几种方法进行估计：1.相关法相关法就是计算测验分数与效标测量的相关系数，具体方法有：积差相关、等级相关、点双列相关、二列相关、四分相关、Φ相关、列联相关，等等。2.显著差异法该方法是根据效标测量将被试分为两个极端组(如：好与坏，成功与失败等)，然后检验这两组测验分数是否具有统计学上的差异显著性。研究性学习专题国外重要的教育考试对信度和效度的标准有何要求？六、结果效度的概念与分析思想琳恩（R.L.Linn）和格朗兰德（1995）提出效度的四个向度，即内容效度、效标关联效度、构想效度和结果效度。结果效度分析主要围绕以下几点：（1）测验指导手册中对测验目标和测验效度的说明是否合理；（2）基于测验结果，在给被试写出测验报告或推荐书时，有关推论是否恰如其分；（3）对测验的优点和缺点是否在应用中过于夸大其实；（4）是否把测验用到所测特性的范围之外；（5）基于测验结果的解释和推论是否符合科学原理以及测验道德；（6）测验结果能否给被试以及所有关注测验结果的使用者提供有益的帮助。第三节教育测量与评价中题目(项目)的难度定量刻画被试作答一个题目所遇到的困难程度的量数，就叫题目的难度系数，也常称为难度值，用符号P表示。一、难度系数的计算方法1.二值记分题的难度值计算2.多值记分题的难度值计算3.难度值的其他计算方法（1）以全体被试失分率为难度系数（2）以两端组被试得分率的均值为难度系数二、难度指标的等距变换为了解决难度指标的不等距问题，人们常假设每个试题所要测量的潜在特质或能力是呈正态分布的，然后就可以根据正态分布曲线，将试题的难度值P作为正态曲线下的(概率)面积，转换成具有相等单位的等距量表，即Z分数(标准分数)。由于标准分数具有相等单位，属于等距量表，所以，用标准分数作为题目难度的指标，为进一步作难度分析带来了一些方便。三、测验题目的恰当难度和恰当难度分布一般的标准化常模参照测验，目的是要尽可能地区分被试的个别差异，因此希望测验结果能将被试尽可能地拉开距离。在常模参照测验中，测验的目的是要区分学生能力或成就的高低，因此，教师所期望的难度系数以接近0.50左右为理想，此时的试题最能够区分学生水平的高低。但是在标准参照测验中，测验的目的是检验学生是否已达到教学目标规定的掌握程度，因此，教师所期望的是学生都能够在教学之后掌握所有的教学内容。第四节教育测量与评价中题目(项目)的区分度一、区分度的意义题目区分度就是题目区别被试水平能力的量度，常记为D。测验多少都带有将被试的水平加以区分的意图，那么构成测验的每一个题目就应该为这一目标作贡献，区分度就是刻画试题的这种功能的质量指标。区分度的值域范围在-1.00至+1.00之间。通常D为正值，称作积极区分；D为负值，称作消极区分；D为0，称作无区分作用。具有积极区分作用的项目，其D值越大，区分的效果就越好。二、区分度的计算区分度的计算方法较多，各种方法在含义上略有差别。在使用时应根据测验的目的以及题目记分和测验总分的两个变量的性质不同，从而选择不同的计算方法。当然，有时可以同时用几种方法相互验证。1.相关法区分度的实质是题分与总分的相关，因此，各种计算相关系数的方法都可以用于计算区分度。但具体采用哪一个，应根据题分、总分的数据形式而定，常用的有：（1）点双列相关系数（2）二列相关系数（3）积差相关系数2.高低分组法在测验分数序列中高分组、低分组被认为是两个极端效标组。这两个极端效标组在特定题目上的反应差别程度可以刻画题目的区分能力。第五节教育测量与评价方案的可用性一、科学性、公平性和可行性1.科学性从测量与评价的结果来说，科学性指的是测评结果能准确地反映被测对象的真实情况，达到测量的目的，即测量要具有较高的信度和效度。2.公平性在教育测量与评价过程中，要做到公平性，首先就是测量与评价方案内容对所有被测量与评价对象来说必须是公平的。3.可行性可行性原则是指测量与评价方案的制定符合实际，并能被人们所理解和接受。要做到这一点：第一，要求方案的制定必须充分考虑人力、物力、财力、时间、空间、技术等各种因素，只有在此基础上制定的方案才可能实施。第二，测量与评价方案应具有易用性。第三，测量与评价方案应具有直接可测性或可操作性。二、针对性、区分性和简洁性1.针对性针对性一方面指的是测量与评价的内容及指标体系必须充分科学地反映当前教育目标或管理目标的实际需求。2.区分性区分性指的是测量与评价方案中的每一项内容、每一个指标及其相应的评价标准，必须符合目前我国教育的实际，能够区分和鉴别评价对象在该指标方面不同的达到程度。关键术语信度测量误差重测信度复本信度同质性信度内部一致性信度分半信度KR20信度KR21信度评分者信度效度内容效度结构效度效标关联效度难度难度系数区分度区分度指数教育测量与评价方案的可用性内容提要与小结1.教育测量与评价的质量特性分析主要是“四度”的分析：信度、效度、难度、区分度。另外，还应考察教育测量与评价方案的可用性。2.信度指的是测量结果的稳定性程度，是指对无系统的随机误差的控制。测验信度是对测验工具及其操作的整体质量的一种量度，是测验性能的重要质量指标。信度的估计方法有多种，其适用的条件不同，这是使用中应注意的问题。由于标准参照测验的特点，其信度的估计方法有其特殊性。评分者信度指的是多个评分者给同一批人的答卷进行评分的一致性程度。3.效度是指一个测验或量表实际能测出所要测量的特性的程度。效度是测量质量的一个极其重要的指标，由于教育测量与评价对象的特殊性，效度的重要性更为突出。效度评价的方法主要有内容效度、结构效度和效标关联效度，这三种方法指明了效度验证过程的差异。每种方法框架内有一些具体的方法，可视具体情况而采用。4.难度与区分度是题目质量的两个重要指标。它们可为编制测验或编制测量量表提供有效的信息。题目的难度，就是被试完成题目作答任务时所遇到的困难程度。定量刻画一个测验项目的被试作答困难程度的量数，称为题目的难度系数。题目区分度就是题目区别被试水平能力的量度，是测验项目有效性的指标。区分度的计算有外在效度法和内部一致性分析法，实际应用中主要是后者，其实质就是题分与总分的相关一致性程度。5.标准参照测验的题目难度分析，方法上没有什