第十章-目标参照测验1

第十章目标参照测验第一节目标参照测验概述第二节目标参照测验的项目分析第三节目标参照测验的信度与效度第四节测验分数的解释——分数分界点的确定第一节目标参照测验概述一、目标参照测验的产生（一）常模参照测验(Norm-referencedTest)的发展及其局限

20世纪初，“相对能力”的测量此后，心理与教育测量的一个基本出发点就是度量与比较个体间的差异，以被试在团体中的相对位置来评价和解释测验结果。在这一基础上逐渐发展出了常模参照测验这一测验模式。

并非所有测验都只关心个体间的差异。有些测验目的在于了解和界定个体在测验内容上掌握的绝对水平。如评价教学活动的测验（二）目标参照测验的兴起

1962年戈莱赛和克劳斯首先提出目标参照测验的概念二、目标参照测验(Criterion-referencedTest)的定义

主要目的：了解个体在所规定的测量内容上的行为水平。

出发点：个体本身的绝对水平

定义：所谓目标参照测验，是根据某一明确界定的内容范围而缜密编制的测验，并且，被试在测验中所得结果，也是根据某一明确界定的行为标准直接进行解释的。——戈莱赛（1971）第二节目标参照测验的项目分析一、内容范围的确定内容范围的共同特点：1。具有边界2。具有结构。每一内容范围均可分为几类，每一类中又可以分为更小的类。一、教学目标(以橫轴表示)

以Bloom所提的认知领域六个教学目标为依据：知识、理解、应用、分析、综合、评价。

(此次编制成就测验的历程，可将分析、综合、评价，统合成「高层次思考」)二、教材內容(以纵轴表示)

以出题的范围，表示出包含几个不同的单元。知識理解應用分析綜合評鑑總和唐詩88442228文言文64642224新詩86442226散文64622222總和2822201488100二、测验项目的内容效度分析

专家评定法（教材表10-2，10-3）

结合以前学过的常模参照测验的内容效度分析来进行对比学习三、测验项目的难度和区分度分析1。测验的预测（1）前测-后测方法（一组被试）（2）已接受教学组-未接受教学组方法（两组被试）（3）对照组方法（两组被试）2。测验项目的难度分析目标参照测验的项目难度计算与常模参照测验相同，一般以通过率来表示。往往并不必要。

回忆常模参照测验的难度分析（注重适中值）目标参照测验项目难度的计算，大多情况下只是作为项目区分度分析的基础。3。测验项目的区分度分析

注意与常模参照测验的对比（1）难度差值①掌握组——未掌握组鉴别指数（D）

D=PA-PBD的大小，可以直接反映出该项目在多大程度上对未掌握者和掌握者作出了区分。D值从-1.00到+1.00之间变化，越接近于+1.00，题目区分度越高，说明题目越有效。回忆一下常模参照测验的项目鉴别指数计算方法②个人获得指数（DIG）（2）相关系数

可直接参照常模参照测验的区分度部分内容前后测的项目得分表被试项目12345前测后测前测后测前测后测前测后测前测后测101101111112011011011130110011111401100011115011010011160110000011701101011118011011001190110010111100110100111第三节目标参照测验的信度与效度一、信度及其估计常模参照测验的信度评估中，通常是以相关系数作为信度指标。

目标参照测验如果用相关系数作为信度指标是否行得通呢？1。分类一致性信度考察被试在同一测验的两次施测中或两个复本的施测中是否被分在同一类。

p0=(a+d)/N，式中，N=a+b+c+d

与常模参照测验的区别在于统计方法和所用指标的不同

两次测验结果分类表测验A及格不及格测验B及格ab不及格cd分类一致性的优点在于计算简单，意义直观易懂。缺点：再测法和复本法的缺点同样存在。受测验长度、被试分数分布、分数分界点的影响。（《经典和现代测验理论导论》P222克罗克、阿尔吉纳著，华东师范大学出版社）2。方差分析方法——荷伊特信度按照荷伊特的观点：一组测验分数的总变异数可划分为三个来源：人与人之间的差别，题目之间的差别以及人与题目之间的交互作用的差别。rxx=1-MS人×题

/MS人二、效度及其估计1。内容效度评价任一测验的内容效度，都依赖两个条件：（1）测验有明确界定的内容范围

（2）对测验每一题目的内容效度的分析2。效标关联效度

与常模参照测验的区别在于统计指标上目标参照测验的结构效度目前尚未得到较大关注100名学生在9个不同学科间的相关系数第四节测验分数的解释——分数分界点的确定目标参照测验结果的解释是参照分数分界点进行的。就目标参照测验本身而言，分数分界点并非必需。从理论上说，并不存在可以清晰辨别的掌握者和非掌握者。在目标参照测验的实际应用中，分数分界点的确定却是无法逃避的问题。一、专家判定法（以测验为中心的设定方法）什么是临界水平的被试？1。Nedelsky方法（多重选择题）基本假设：临界水平被试作答时，总是先尽可能排除他认为是错误的选项，然后在剩下的选项中，再随机选择作答。缺点：基本假设难以成立，命题者编制的迷惑选项常有很强的似真性，这样被试很少会随机地去作答。2。Angoff方法

λ=ΣFiPi二、效标组预测法（以被试为中心的设定方法）1。临界组法利文斯顿1982测验→临界水平的被试（专家选择）→平均成绩2。对照组法利文斯顿回顾常模参照测验的分数解释返回第11章以上方法都可看出，标准参照测验中确定合格分数都十分重视利用专家经验。效标组预测法虽然利用了实证数据，但临界组和对照组的构建仍需专家判别选择。建议阅读：对一份目标参照性考试试卷的质量分析，中学教与学，1995，08语文“目标参照考试”改革的新思考，山东教育科研，1999，11回顾心理与教育测量的原理与技术心理与教育测量的定义顺序量表编制一个测验应具备的4个条件经典测验理论的基本假设项目分析概述项目分析就是对组成测验的每个测题进行分析。项目分析包括定性分析和定量分析。定性分析包括考虑内容效度、题目编写的恰当性和有效性等；定量分析主要指采用统计方法来分析试题的品质，一般是指题目难度和区分度的测量。对项目进行筛选和修订，可以帮助进行测题选择和编制，从而可以提高测验的信度和效度。1、逻辑分析法专家按测题和假设内容范围作出的符合度判断2、统计分析法复本信度3、再测法教材P62、63二、难度的计算1.二分法记分项目的难度（1）通过率

P=R/N

通过人数参测人数也称容易度，这里的P值与我们通常所理解的难度意义正好相反。含义以高低分组（27%）平均通过率表示的难度（2）极端分组法步骤高、低分组通过率平均通过率2.非二分法记分项目的难度某题的平均得分该题的满分值2.相关法（项目-总分相关）（1）点二列相关

Xp-Xq

rpb=√pqSt

适用项目是0、1记分（或二分变量），而效标或测验总分是连续变量的数量资料。

（2）二列相关

Xp

-Xq

pq

Xp

-Xtp

rb=•或rb=•StySty适用于连续的测量变量。但其中一个变量被人为二分。（3）φ相关

ad-bcrφ=√(a+b)(c+d)(a+c)(b+d)

适用于φ相关的统计方法适用于两个变量都是点分配的资料，即两个变量都是二分名义变量。在有些情况下，一些连续变量也可以用此方法计算相关程度。φ相关不要求变量呈正态分布。在用φ系数作为区分度指标时，要求题目反应和效标变量都是二分状态，一般是根据效标成绩(或溯验总分)的高分组和低分组通过和未通过某一题的人数列成的四格表来计算。（4）积差相关（论文式题目）项目得分与效标分数求积差相关系数以得到项目的区分度返回第十章三、实证效度（效标关联效度）1。相关法最常用来建立实证效度的方法是求测验分数与效标测量间的相关2。区分法3。命中率4。功利率（1）积差相关系数当预测分和效标分都是连续变量时，可采用积差相关系数的计算方法来求得测验的效度系数。

例：假设有10名男性经职业兴趣测验而被选定作为推销员，其测验分数下表第一行，而第二行是经过若干年后他们某段时间内销售金额总量(以万元为单位)。现问该测验的预测效度如何?（2）二列相关系数当X与y两个常态连续变量中有一个变量由于某些理由被人为地分为两个类别，如，考试成绩的通过与失败，学校分为重点和非重点等，而另一变量为连续变量时，计算出的相关系数就叫二列相关系数。在效度系数的计算中，通常是把效标变量分为两类，而预测变量仍为连续变量。当测验与效标均为二分变量时，可用四分相关。

2、区分法——t检验比较高低分组的差异例：某工厂通过测验录用了一批工人，过一段时间后，根据工作成绩（如产品的数量、质量）将他们分成成功的和失败的两组，然后回过头来检查他们的测验分数。运用t检验看看两组在测验上的平均分数是否有显著性差异。假如：成功组的平均数为6.05，标准差为2.02；失败组的平均数为4.25，标准差为1.3。试问两组的平均数有无显著差异？已知成功组、失败组的均数、标准差、样本规模，独立样组的t检验公式是：

所以，两组分数有极其显著性差异，即该测验确实可以预测工作上的成败。3．命中率法含义：正确决策的比例用途人才选拔方法正确决策的结果正确接受正确拒绝

业绩Y012345678910能力倾向测验分（X）1234567891011215223146921135241