教育测量的质量指标概述

1、第二章教育测量的质量指标第二节效度第二节效效度一、效度度的概念念二、效度度的统计计学原理理及其与与信度的的关系三、效度度的估计计四、提高高效度的的方法一、效度度的概念念效度（Validity）是指测量结果果的准确性和有效性的程度，亦即测测量是否否达到了了预期的的目的。第一，效效度是一一个相对对的概念念。1.测量量的效度度始终是是对一定定的测量量目的而而言的。2.测量量的效度度是相对对于测量量的结果果而言的的。第二，一一种测验验的效度度只是高高或低的的问题。第三，在在教育测测量中，效度问问题比在在其他领领域的测测量中更更为重要要。一、效度度的概念念这是因为为：教育测测量的对对象大多多是精神神现象

2、，只能通通过对其其具有可可测性的的外部表表现（如如语言或或动作等等）的测测量，以以间接认认识其心心理活动动、心理理特征或或知识水水平等。学生的的心理活活动、心心理特征征与其外外部表现现之间，一般仅仅具有相相关关系系而无函函数关系系，外部部行为并并不能准准确无误误地反映映某种心心理状态态。教育测测量的对对象不是是物而是是有主观观能动性性的人。人能有有意识地地调节自自己的外外部行为为，掩盖盖自己的的内心活活动，这这就增加加了认识识其精神神现象的的难度。二、效度度的统计计学原理理及其与与信度的的关系1、效度度的统计计学原理理在实际测测量中，影响效效度的主主要因素素是系统统误差。因而在在讨论效效度时，

3、还必须须把真分分数方差差分解为为两个部部分，一一是潜在在真分数数方差（V2），另一一部分是是系统误误差分数数方差（I2） ，它它与由随随机误差差引起的的变异（E2）不同。2、效度度与信度度的关系系V2I2E2V2I2E2V2I2E2根据公式式（2-2）和和（2-3），可将效效度与信信度的关关系图解解于后：根据分析析，可得得结论如如下:1)高信度是是高效度度的必要要条件，而非充充分条件件。2)效度系系数不会会大于信信度系数数的平方方根。可以用下下式表示示：高效度、高信度度低效度、高信度度低效度、低信度度三、效度度的估计计效度估计计就是多多方寻找找证据来来证明一一个测验验的有效效性程度度的过程程。

4、1974年美国国心理学学会发行行的教教育和心心理测量量的标准准一书书将效度度分为三三大类：内容效度度、效标标关联效效度和结结构效度度。（一）内内容效度度（Contentvalidity）又称合理理效度或或逻辑程程度，是是指测验验内容或或行为取取样的代代表性和和适当程程度；即测验的内内容范围围、材料料与所要要测量的的内容范范围、教教育目标标是否相相符合；测验中中测题所所引起的的行为是是否是所所要测量量的属性性的明确确反应；测验的的结果是是否是一一个有代代表性的的行为样样本。估计内容容效度的的方法：估计内容容效度的的方法：（1）逻逻辑分析析的方法法。其工作思思路是请请有关专专家对测测验题目目与原定

5、定内容范范围的吻吻合程度度作出判判断。（2）统计分析析法。从从同一个个教学内内容总体体中抽取取两套独独立的平平行测验验，用这这两个测测验来测测同一批批被试，求其相相关。若若相关高高，表明明测验内内容效度度较高；若相关关低，表表示测验验的内容容效度较较低。采用求统统计量的的公式进进行计算算，其公公式有以以下三种种形式：内容效度度主要应应用于成成就测验验、学科科测验、选拔和和分类职职业测验验。内容效度度不适合合用于能能力倾向向和人格格测验。（二）效效标关联联效度又可称为为经验效效度或统统计效度度，是以以测验分分数和效效标之间间的相关关系数来来表示测测验效度度的高低低的。效标就是足以以显示测测验所欲

6、欲测量的的特性的的变量或或足以显显示测验验所欲预预测的特特性的变变量。它它是用来来检验测测验效度度的外在在的、客客观的标标准和尺尺度。效标关联联效度又又可分为为同时效度度和预测效度度。（用全国国高考的的成绩作作为效标标来检验验高中毕毕业生会会考的成成绩，计计算两者者之间的的相关系系数就是是会考的的同时效效度；而而用大学学一年级级的成绩绩作为效效标来检检验高考考的成绩绩，计算算两者的的相关系系数就是是高考的的预测效效度。）估计效标标关联效效度可采采用积差差相关、二列相相关或点点二列相相关、四四格相关关和多元元相关系系数等计计算各种种相关系系数。1、用积积差相关关系数的的方法估估计效度度积差相关关

7、，是计算算两个变变量线性性相关的的一种方方法，由由英国统统计学家家皮尔逊提出，因因此也称称为皮尔尔逊(Pearson)相关关。要使使用积差差相关必必须同时时具备如下下几个条条件：两个变变量都是是由测量量获得的的连续性性数据，即等距距或等比比数据。两个变变量的总总体都呈呈正态分分布，或或接近正正态分布布，至少少是单峰峰对称分分布，当当然样本本并不一一定要正正态。必须是是成对的的数据，而且每每对数据据之间是是相互独独立的，即各自自互不影影响，本本条件是是难以检检验的。两个变变量之间间呈线性性关系。一般用用描绘散散点图的的方式来来观察，最好是是先各自自转化为为Z分数数，单位位会统一一些。例：某中学数

8、数学教研研组的教教师积多多年的教教学法经经验，认认为刚入入高中的的学生学学习立体体几何感感到困难难的主要要原因是是空间想想像力弱弱。为了证明明这个论论点，他他们让刚刚入高中中的103名学学生作10道题题，测量量其空间间想像力力。为避避免知道道了某些些学生的的刚入高高中时的的成绩影影响以后后考试的的评分，试卷暂暂不评阅阅。立体体几何学学完后，进行考考试，按按得分多多少把成成绩分为为五等（A、B、C、D、E）分别别得5、4、3、2、1分。这时才才评阅入入学时的的试卷，统计出出期末得得5、4、3、2、1分者在在入学测测验中分分别答对对1道题题至10道题的的人数（见表2-1）。就现有资资料，用用什么方

9、方法可以以判断教教师们的的意见是是否正确确？表2-1：（答对的题数）1 2 3 4 5 6 7 8 9 10 所评的等级ABCDE54321 1 3 10 5 4 2 1 6 8 8 4 3 1 2 4 5 9 8 3 11 3 2 1 11 1 2 1 1解：（1）设期末末考试的的等第为为y，空空间想像像力测验验答对的的题数为为x，列列出二重重交叉次次数分布布表：X（答对的题数）1 2 3 4 5 6 7 8 9 10 Y所评的等级ABCDE54321 1 3 10 5 4 2 1 6 8 8 4 3 1 2 4 5 9 8 3 11 3 2 1 11 1 2 1 125313296合计2

10、4 10 14 20 20 17 9 5 2103（2）用用积差相相关系数数公式计计算效度度系数：二列相关关适用于两两个变量量就其实实际含义义而言是是等距或或等比数数据，它它们服从从正态分分布，其其中一列列人为地地划分为为两类。点二列相相关适用于一一列数据据为等距距或等比比且总体体服从正正态分布布（实际际上只需需要单峰峰对称分分布，如如分布布），另另一列变变量是按按事物的的性质划划分为两两类的变变量，也也可以是是一个双双峰分布布，人为为划分为为两类，如文盲盲与非文文盲。这这种相关关系数多多用于测测验中评评价题目目的区分分度。对对选择题题、判断断题在整整个测量量中作用用作出判判断。基本计算算公式

11、：例：有一一位教师师自编了了一套测测验题，用来预预测学生生一年后后的某科科成绩，自编测测验按百百分制评评分，一一年后考考试评分分只把学学生分为为及格者者和不及及格者。试就所所获资料料估计自自编测验验的预测测效度。解：1)把两次次测验成成绩成对对排列：被试者12345678910 11121314自编测验的成绩（X）67 10 20 44 60 43 61 10 26 23 30 18 35 23一年后考试成绩（Y）1 1 1 0 0 1 1 0 1 0 0 1 1 12)计算出出二列相相关公式式所需统统计量：（三）结结构效度度（Construct validity）结构效度度是指一个个测量能能

12、实际测测量出理理论上的的构想或或心理特特性的程程度。它它的目的的在于从从心理学学的理论论观点就就测验的的结果加加以解释释和探讨讨。这里的结构的含义是是心理学学理论所所涉及的的抽象而而属假设设性的概概念、构构想、特特性或变变量，如如智力、焦虑、机械能能力倾向向、成就就、动机机等。结构效度度主要用用于智力力测验、人格测测验等一一些心理理测验方方面。例如：人人的创造造力可以以分解为为人的思思维流畅畅性、灵灵活性和和创造性性三大特特性，并并根据这这三大特特性编制制测验，若有足足够的证证据来证证明该测测验确实实可以测测到这些些特性，则认为为该测验验是个结结构效度度较高的的创造力力测验。（1）结结构效度度

13、的特点点结构效度度的大小小完全取取决于事事先假定定的心理理特质理理论，一一旦人们们对同一一种心理理特质有有着不同同的定义义或假设设，则会会使得关关于特质质测验的的结构效效度的研研究结果果无法比比较。当实际测测量的资资料无法法证实我我们的理理论假设设时，并并不一定定就表明明该测验验结构效效度高。因为还还有可能能出现理理论假设设不成立立，或者者该实验验设计不不能对该该假设作作适当的的检查等等情况，这就使使得结构构效度的的获取更更为困难难。（2）建建立结构构效度的的步骤A、提出出理论假假设；B、根据据假定结结构拟定定测题，编制测测验；C、以测测验结果果为根据据来验证证假设结结构中的的各种因因素是否否

14、成立。（3）结结构效度度的估计计A、因素素分析法法其目的是是把一些些具有错错综复杂杂关系的的因素归归结为数数量较少少的几个个综合因因素或称称共同因因素，并并以此测测验所测测之特质质对测验验分数作作出解释释。B、多元元特质多多重方法法矩阵法法是由肯贝贝尔和菲菲斯克1959年提出出的最受受欢迎的的一种结结构效度度的评估估方法。这种方法法的设想想：若采采用两种种方法以以上的方方法去测测量两种种以上的的特质，那么这这些测量量结果之之间可以以形成一一个多元元特质多多重方法法矩阵。四、提高高效度的的方法（一）各各种效度度系数的的要求（二）影影响效度度的因素素测验的构构成（要要素）测验实施施方面（过程）被试

15、主观观状态方方面估计效度度所依循循的效标标样本方面面四、提高高效度的的方法（三）提提高效度度的方法法：1、控制制系统误误差2、精心心编制量量表3、妥善善组织测测验4、扩充充样本的的容量和和代表性性5、合理理处理效度和信信度的关关系6、适当增加加测验的的长度表2.1 测验验长度与与信度和和效度的的关系题数与原测验题数之比信度系数效度系数1020306012014048012361214480.3000.4620.5620.7200.8370.9110.9540.4000.4960.5480.6190.6680.6790.713第三节难难度及及其计算算一、难度度的概念念难度是指指测量试试题的难难易

16、程度度。一个题目目的难度度大小，除了所所测的内内容本身身的难易易程度有有关以外外，还与与测验的的编制技技术和被被试的知知识经验验有关。这就是说说测验的的难度具具有相对对性，正正因为此此，必须须让试题题通过实实践来对对难度作作出检验验。二、难度度的计算算（一）计计算难度度的基本本公式1、客观观题难度度的计算算2、主观观题难度度的计算算P表示难难度指标标，N表表示参加加考试的的总人数数，R表表示答对对某道客客观题的的人数。二、难度度的计算算例1：在在100个学生生中，答答对第一一题的30人，答对第第二题的的60人人，求第第一、二二道题的的难度？比较这这两道题题谁比谁谁难？例2：某某道论述述题满分分

17、12分分，所有有考生在在这道题题上的平平均得分分为3.6分，求该题题的难度度？例3：语语文测验验第五题题最高得得分为12分，这道题题考生的的平均得得分是8.5分分，求该该题难度度？例4：60人参参加考试试，某题题满分为为12分分，正确确得分累累积是480分分，求该该题难度度？（二）用用极端分分组法计计算试题题的难度度1、用极极端分组组法计算算客观题题的难度度具体步骤骤如下：1）先按按测验总总分的高高低，按按由高到到低的顺顺序依次次排列试试卷。2）从得得分最高高的一份份试卷开开始依次次向下选选出全部部试卷的的27%作为高高分组；从得分分最低的的一份试试卷开始始依次向向上选出出全部试试卷的27%作

18、作为低分分组。3）按计计算公式式计算难难度例题5：某区域1000人参加加考试，试卷第第一题高高分组180人人答对，低分组组60人人答对，求该题题难度？(约为0.44)如果该题题满分为为10分分，高分分组得分分总数为为2100分，低分组组得分总总数为830分分，求该该题难度度？2、用极极端分组组法计算算论文试试题难度度步骤如下下：1）按测测验得分分排列试试卷，确确定高分分组与低低分组，各占总总人数的的25%（方法法同前）。2）分别别为高分分组、低低分组编编制每道道试题的的分析表表。3）按下下列公式式计算难难度，例：某道论文文题，高高分组得得分总和和为40分，低低分组得得分总和和为15分，有有40

19、人人参加考考试，这这道题最最高得分分为8分分，最低低得分为为2分，则此题题的难度度为多少少？（0.125）计算解：依据据主观题题极端分分组法计计算公式式=0.125三、难度度的分析析与控制制1、难度度分析进行难度度分析的的主要目目的是为为了筛选选题目。A、测验验题目难难度水平平的确定定测验题目目难度水水平的适适当与否否，取决决于测验验的目的的、性质质和题目目的形成成。当P值接接近于0或接近近于1时时，即被被试在该该题上全全部答对对或全部部答错，则该题题无法提提供个体体的信息息。而只只当P值值接近于于0.50时，题目才才能把被被试做最最大的程程度的区区分。但在实际际工作中中，若每每一题的的难度值

20、值均为0.50，那么么此测验验很可能能只能区区分出好好与差两两种极端端被试的的差异，却不能能对各种种被试作作更精确确的区分分。因此此，一般般各题的的难度可可在0.50+20之间间。B、测验验难度对对分数分分布的影影响1）测验验难度影影响分数数的分布布形态。难度值越越接近0，测验验的难度度就越大大，测验验分数就就越是集集中在低低分端，其分数数分布越越呈现正正偏态；反之，难度值值越接近近1.00，其其难度就就越小，测验分分数越集集中在高高分端，分数分分布呈负负偏态。2）测验验难度影影响测验验分数的的离散程程度测验难度度过大过过小，都都会造成成测验分分数偏离离正态分分布，从从而使分分数的全全距缩小小

21、，使测测验分数数的离散散程度变变小。3）测验验难度影影响测验验的鉴别别能力在测验中中，考生生之间相相互配对对比较的的可能性性越多，就越有有利于准准确地鉴鉴别考生生的不同同能力。2、难度度的控制制一般说来来，影响响题目难难度的主主要因素素有：考察知识识点的多多少；考察能力力的复杂杂程度或或层次的的高低；考生对题题目的熟熟悉态度度；命题的技技巧。难度控制制：正确估计计考生水水平；弄清弄懂懂各知识识点；掌握命题题技巧。第四节区区分度度及其计计算一、区分分度的意意义（一）区区分度（Discrimination）是指测测验对考考生实际际水平的的区分程程度，用用符号D表示。又叫鉴鉴别力，它是评评价试题题质量，筛选试试题的主主要指标标与依据据。区分度（D）的的取值范范围介于于-1.00+1.00之间，值越大大，区分分度的效效果越佳佳。区分度D0为为正区分分，D0为负负区分，D=0为零区区分。区分度的的高低直直接影响响到测验验的信度度和效度度。（二）区区分度与与测验信信度、难难度的关关系1、区分分度与信信度的关关系（见见下表2.2）这里是假假定全部部试题的的难度均均为0