地理测试命题质量分析.ppt

第四章 地理测试命题质量分析,地理测试命题工作是地理教学过程中一个不可缺少的环节。而做好地理测试命题质量分析工作，对正确认识、评价地理测试结果，为以后的命题工作提供必要的经验，教训等同样也具有重要的意义。,第一节 试题质量的初步评价,评价试题质量的一条重要途径是对学生考试之后所得的原始卷面分数进行必要的处理、分析，转化为一种比较直观的形式，以对试题质量作出一个初步的判断。 下面就地理测试命题质量分析实践中比较常用的几种方法结合实例作详细的介绍。,一、测验分数的分布状态,描述测验分数的分布状态通常用频数直方图或频数多边图来表示。 所谓频数，是指在某分数段中出现测验分数的次数，通过对测验分数分布状态的描述，可以从一个侧面反映出试题的质量水平。 其具体方法与步骤分别如下： 1用频数直方图描述测验分数的分布状态 第一步 求全距。 全距是指要处理的所有测验分数中最高分与最低分的差，一般用R来表示，即 R= 最高分数一最低分数 全距主要是反映全部测验分数的分布范围，而不能提供这些分数的数据变异情况。,第二步 定组数。 组数一般根据全距R和测验分数的个数n来确定的，用I表示。R值越大，测验分数的个数n越多,组数就会越多。一般用如下公式进行计算组数： 第三步 定组距。 组距即为全距R与组数I相除后取整，用ZR表示： ZR=R/I,第四步 确定组限。 根据组距和全距确定每组的上限和下限,通常约定每组只含下限、不含上限，即每组都是左闭右开区间。在实际计算中要取分点值比原分数的有效数字多一位的组实限，以避免分点值刚好是某个分数的值。 第五步 求组中值。 即求每组的中点值，用M表示，其方法为： M=组实际下限+05ZR 第六步 列频数分布表，统计落在每个组中的测验分数的个数,即每个组的频数，将其填入频数分布表的相应位置。,第七步 根据频数分布表绘制频数直方图，其方法是：在一个直角坐标系中，以横坐标表示测验分数，从左到右标出各组分数的组中值；用纵坐标表示频数，从上到下等距地标出频数数值；分别以各组的组距为底边，以组中值作为底边的中点，频数为高，对每组作矩形。 由这一系列矩形组成的图即为频数直方图。,2用频数多边图描述测验分数的分布状态 编制频数多边图与频数直方图在前六步是完全相同的，只是在第七步进行的具体绘制方法上有些区别。绘制频数多边图时，要以各组的组中值为横坐标，以各组的频数为纵坐标对每组分别进行描点，然后把相邻两点用直线相连即可。图形左右两侧应引至外侧一组的中点，并与基线相接。,下面以实例说明这两种方法的具体操作过程： 【例】某班级的45名学生进行一次地理测验，测验的原始卷面分数如表41。要求分别用频数直方图和频数多边图对其进行处理，以对测验命题质量作一个初步的鉴定。,具体方法和步骤如下： 第一步求全距R。 R=最高分数一最低分数=95-54=41 第二步 定组数。 n=45 I8.5 对I取整，组数I=9 第三步 定组距。 ZR=R/I=41/94.6 对ZR取整，组距ZR=5,第四步 确定组限。 根据约定，每一组都是左闭右开区间，因此，第一组的下限为54，上限为不满58，第一组要想包括58，则实际组限为535585；第二组的下限为59，上限为不满63，实限组限为585635。其他各组依类推，结果见表4-2中的第一栏“组别”和第二栏“起止点”所示。,第六步 列频数分布表。 根据表4一l的测试分数表，对照每组的组限计算出每组段所包含的分数个数，并填入表42中的第三、四栏，表4-2即为频数分布表。,第七步根据频数分布表绘制频数直方图和频数多边图，如图 4-1和图4-2所示。,3测验分数分布状态的分析 原始测验分数用图表进行处理之后可以得到多种分布曲线经常会出现的曲线形态见图4-3所示的几种情况。这些分布曲线比较直观地、形象地反映了测验分数的集中趋势与离散程度通过分析，可以对试题质量进行一个初步的分析。下面分别对各曲线所反映的试题质量情况作初步解释。,曲线(a)表示测验分数频数呈正态分布，表明在高分段和低分段的人数明显少于中间分数段的人数，说明试题设计比较合理，试题难度、区分度分布正常； 曲线(b)呈正偏态分布，低分段出现的人数明显偏多，说明难度偏高的题目多，试题难度过高； 曲线(c)呈负偏态分布，高分段出现的人数偏多，说明难度偏低的题较多，试题难度偏低； 曲线(d)呈高峰形的正态分布，中间段分数出现的人数特别集中，学生之间的差距没有拉开，说明中等难度的题目比例过高，试题区分度较差； 曲线(e)呈平峰形的正态分布，各分数段出现人数的差异较小，说明试题中不同难度题目的比例比较接近； 曲线(f)呈双峰形分布，高分段和低分段出现的人数多，而中间分数段的人数偏少，说明难度过高和过低的题目偏多，而中等难度的题目偏少，试题难度梯度大。,从图41和图42所示的例子来看，学生测验分数的频数直方图和频数多边图来看，基本上呈一种负偏态分布状态，如果不考虑其他因素对学生测验分数的影响，这次测验试题的总体难度是偏低的，中等程度的学生和程度较高的学生没有拉开距离。 当然，以上的这种分析只是一个初步的判断，是以不考虑影响学生测验分数的其他因素为前提。 而在实际测验过程中，影响学生测验分数高低的因素是多方面的，并不是完全由命题质量所能决定的，如出现平峰形的分布曲线时，可能并不是由于易、中、难三类题目的比例比较接近，而是因为参加测验的学生相互之间的水平差异明显。 因此，在实践过程中，要根据具体情况，参照其他参数对试题质量作出具体的分析和解释。,二、平均分 平均分是地理测验统计中最为常用、方便的指标之一，它是一组测验分数的“代表值”，能在一定程度上反应测验分数的集中趋势，也可以用来对不同组测验分数之间进行比较。 依据平均分的高低可以对试题的总体难度作出一个初步的评判，如果平均得分比较高，试题的整体难度可能偏低，若平均得分比较低，则试题的整体难度可能偏高。 在实际计算过程中，根据具体情况可以采用算术平均分和加权平均分。,1算术平均分 算术平均分就是一组测验分数的总和与分数个数相 除所得的商，如果用 表示算术平均数，n表示测验分 数个数， 表示第i个测验分数，那么算术平均分可 用下面的公式来表示：,【例】对表4一l所示的地理测验分数求算术平均分。 根据上述计算公式，可得： =1/45(73+71+87+88+67+74+73+86+81+80) =777分 即在这次地理测验中45名学生的平均分为777分。,2加权平均分 在同一次地理测验中，如果已经知道各个被试组测验分数的算术平均分，要求计算所有考生的平均分时，则需要用加权平均分来计算。其计算公式如下： 式中的 表示加权平均分，n表示被试组个数， 代表第i个被试组测验分数的算术平均分， 为对应于 的权重系数(简称权)。,【例】某学校对高一年级6个平行班进行了一次地理测验，6个班级的学生数和算术平均分如表4-3所示，求高一年级全体学生的平均分。,三、标准差 在分析试题质量时，不仅要知道平均分，以了解测验分数的集中趋势，而且还需要对测验分数的离散程度进行描述。因为，当一组测验分数的离散程度比较大时，则对应的平均分的代表性就比较小，反之则比较大。用来表示测验分数离散程度的特征量数很多，如全距、平均差、四分差、方差、标准差等等，其中比较常用的是标准差。下面就标准差的计算方法结合实例作简要说明。,例如，表4-4是两组学生在同一次地理测验中所得的分数，要分别计算它们的标准差。,即第一组的标准差为2139，第二组的标准差为240，由此可 见，尽管第一组与第二组的平均分近似相等，但第一组测验分数 的离散程度要比第二组的离散程度要大的多，也就是说用平均分 来反应测验分数的集中趋势时，第二组更具有代表性。,第二节 试题的信度,一、相关系数 在地理教育测量中，经常需要考虑某两个变量之间的关系或联系程度，这种关系或联系程度称为相关。 如果一个变量增大(或减小)时，另一变量也会增大(或减小)，则称这两个变量为正相关； 反之，如果一个变量增大(或减小)时，另一个变量会减小(或增大)，则称为负相关； 如果两个变量之间不存在相互影响的关系，则称为不相关。,当两个变量为相关时，并且每一对变量所确定的点在直角坐标系中都分布在某一条直线上、直线的附近或直线的两侧那么就称这两变量间存在线性相关。 描述这两个变量之间相关程度的量就是相关量数，叫做相关系数。 相关系数是表明两个变量间相关程度的一个指标，取值介于100100之间(包括一100和100在内)。,相关系数的绝对值越大，说明变量之间的相关程度越高。当两个变量呈线性相关，并且都是正态连续时，可以用积差相关系数来表示两个变量间的相关系数，其具体计算公式如下：,式中的 代表两个变量之间的相关系数，x、y分别表示两个变量在变化过程中所取的一系列值，n表示每个变量取值的个数。,【例】在其他条件都相同的情况下，一次以主观性试题为主的地理测验和一次以客观性试题为主的地理测验中,抽取某班的9位学生的成绩如表4-5所示。试分析这两种不同题型为主的地理测验成绩之间的相关关系。,即可求得相关系数，最后求得相关系数,0.94,这说明学生在以主观性试题为主的地理测验题和以客观性试题为主地理测验题的考试中所取得的成绩是呈高度正相关，在不考虑其他因素影响的前提下，表明主观性试题和客观性试题这两种题型都能比较好地考查学生对有关地理知识掌握的情况。,二、信度的概念,信度也称“可靠性”或“测验分数的稳定性”，是指测量的一致性程度，表现在同一个测验在不同时间上所得结果的一致性。 对信度的估计或计算，通常用相关分析的方法，即计算两种变量间的相关系数，以相关系数作为数据指标来衡量测验的一致性程度，也称为信度系数。信度系数的取值范围在0与1之间，其值越大，说明测验的可信程度越高，试题的“可靠性”也就越好。 因此，试题的信度，可以看作是试题的“可靠性”，即它在多大程度上能准确地反映学生学习的真实水平。 试题的信度是无法直接进行测量的，但是可以通过考试的信度系数的估算来间接反映。一般来说，考试的信度系数越高，说明试题的“可靠性”越好，反之，试题的“可靠性”则较差。,因为试题的质量会直接影响到考试的信度系数的大小，这种影响主要体现在以下几方面： 一是题目的数量，如果题目很少，则测验所得分数越容易受试题取样偶然因素的影响，测验的信度就会降低，反之，则会提高测验的信度； 二是题目的难度，题目的难度会影响到测验分数的分布范围，从而影响测验结果的信度，如，题目难度过大，考生大部分得低分，测验分数频数分布曲线形成正偏态分布，导致分数间的差异较小； 三是题目的区分度，因为只有当题目有较好的区分度时，才能使实际水平较高的学生在测验中获得高分，实际水平较低的学生得低分，这样才能保证测验结果的“稳定性”和“可靠性”。,三、几种常用信度的意义及计算方法,根据不同的测验目的，信度可以分为两大类，即常模参照测验的信度和目标参照测验的信度，下面就这两大类信度的意义及一些常用的计算方法作简要的介绍。 1常模参照测验的信度 常模参照测验的主要目的是确定学生个体在群体中的相对位置，测验结果的一致性程度可以用每一个学生个体在群体中的相对位置的变动情况或用个体的测验分数的可能分布范围来表示。 前者用信度系数(相关系数)来表示，后者用“测量标准误”来表示，它们均以测验分数的变异性为前提，一般只用于常模参照测验的信度测量。 下面只对用信度系数的估算方法进行介绍。信度系数的估算方法很多，其中在中小学地理教育测量与评价中比较常用的主要有以下三种方法。,(1)重测法,重测法是指用同一份试题在不同的时间对同一学生群体进行两次测验，以这两次测验分数之间的相关系数作为信度系数的一种方法。 用重测法求得信度系数又叫重测信度或稳定性系数，它反映的是两次测验分数之间的一致性程度。如果两次测验分数的相关性越好，说明测验的信度就越高，表明试题的稳定性好。,在用重测法估算信度系数时，要特别注意两次测验时间间隔的长短。合适的时间间隔是提高估算信度准确性的一个重要因素：时间过短，容易产生练习效应；时间过长，由于被试知识背景等的变化，会影响第二次测验分数。 根据测验目的和性质的不同，其时间间隔可以是几天，几个月，甚至几年。在非标准化测验中很少采用这种方法来估算试题的稳定系数，而在标准化测验中，采用重测法来获得试题的稳定性系数不仅是可能的，而且稳定性系数还是衡量试题质量的一个重要指标。,【例】假设某地理教师对某班级的45位学生进行一次标准化地理测验，为评价该次测验结果的稳定性，过了10周后，又用同一份试题对该班全体学生进行第二次测验，两次测验的分数如表46所示。试估算这次测验的信度系数(为计算的简便，这里仅取9位考生的分数）。,(2)复本法,用复本法估算信度系数时，首先要编制一份在题目内容、形式、难度、区分度、评分方法、题量、分值、测验时间等方面都与原测验试题基本相同或相近的复本，然后分别对同一学生群体进行测验，用考生在两次测验中所取得的分数之间的积差相关系数作为信度系数。 用复本法求得的相关系数所表示的信度，叫做复本信度。它所反映的是用两份等值测验试题对同一学生群体两次测验结果的等值性程度。如果考生对两份测验试题都能比较顺利答对，则说明两次测验有良好的等值性，可初步认为测验试题具有较好的信度。因此复本信度系数也叫等值性系数。,产生复本信度误差的来源有：如果两次测验时间间隔过长，第二次测验分数易受被试在此期间的学习、练习等的影响；如果两次测验连续进行，则容易使被试感到疲劳，测验时注意力分散，而影响测验分数。 不过，复本法因使用的是两次不同的测验，可以进行连续测验，从而尽量避免由于时间间隔过长而引起被试特质的成长或变化，而且被试的练习效应明显低于重测法。 可见，复本法略优于重测法。,【例】某地理教师编制了A卷和B卷两份等值试卷，为了解测验结果的信度，对某班的45位学生先后用A卷和B卷施测，两次测验的分数如表47所示。试估算复本信度。(为计算的简便这里仅取9位被试的分数),自己用excel生成公式算出相关系数,求得 097，即复本信度系数为097，考生在两次测验中所得分数呈高度正相关，说明两份测验试卷间有较好的等值性，可认为测验试卷的可靠性良好。,(3)折半法,折半法的一般作法是：将整份测试卷的全部题目分成对等的两半，然后依据考生群体中每位考生在两半部分题目上的得分，计算积差相关系数，最后用相应的校正公式对积差相关系数加以校正，以求得测验或测验试卷的整体信度系数。其核心在于如何将测验试