测验分数的可比性与测验等值

第七章测验分数的可比性与测验等值,江西师大心理与教育统计测量中心,心理测量学,江西师大心理与教育统计测量中心,第七章测验分数的可比性与测验等值,心理测量学,江西师大心理与教育统计测量中心,第七章测验分数的可比性与测验等值,心理测量学,江西师大心理与教育统计测量中心,测验等值概述,测验等值的含义,测验、考试被作为一种尺度来对人的心理特质进行测量。这种尺度应该具有稳定性。不同的考试版本之间应该具有一致性。对于同一个测量对象，不能用这个版本测量得到一个度量，用另一个版本测量却得到相差很大的另一个度量。,心理测量学,江西师大心理与教育统计测量中心,测验等值的含义,尽管我们在命题过程中总是尽量保持考试难度的稳定性，但不同试卷之间在难度、信度、分数分布方面的差别很难完全避免的。这种差别不仅会影响到测验的质量，影响到评价标准的客观性，而且会使参加考试时间不同、使用试卷不同的考生受到不公平的对待。,心理测量学,江西师大心理与教育统计测量中心,测验等值的含义,这样，就需要将具有不同难度、分数分布的试卷的分数转换到一个统一的量尺之上，采用统一的量尺对应考者进行测量。这种将一个测验的不同版本的分数统一在一个量表上的过程即等值（Equating）。,心理测量学,江西师大心理与教育统计测量中心,测验等值的条件,心理测量学,江西师大心理与教育统计测量中心,测验等值必须满足的要求与条件测验所测心理结构或特性的同一性等信度测验等值转换关系的公平性测验等值转换关系的可递推性,测验等值的条件,心理测量学,江西师大心理与教育统计测量中心,测验等值必须满足的要求与条件（续）测验等值转换关系的对称性测验等值转换关系对总体的惟一性或称样本不变性在测验等值处理中，如果待等值测验能完全符合上述6个条件，则等值的结果将令人满意。,等值步骤,心理测量学,江西师大心理与教育统计测量中心,两测验形式之间的等值关系，必须依据等值条件去寻找这一隐性等值关系，并用某种形式将其显示出来。揭示两测验形式的等值关系，实现测验等值应该按一定步骤进行。,等值步骤,心理测量学,江西师大心理与教育统计测量中心,测验等值步骤（七步）确定等值目的编制测验复份选择一种数据采集的设计方法贯彻数据采集设计方案,等值步骤,心理测量学,江西师大心理与教育统计测量中心,选择一个或多个等值的操作性定义，以确定拟予等值的测验形式之间存在什么关系。选择一种或多种统计估计方法评价等值结果测验等值的步骤一般依据以上七步完成，有时个别步骤的顺序可能会有所调整，但总体上不会有很大变化。,等值误差,心理测量学,江西师大心理与教育统计测量中心,等值完成后必须对等值结果进行评价。评价等值关系可靠性与准确性的指标是等值关系中所包含等值误差的大小。等值误差有两类：随机等值误差与系统等值误差。测验误差不可避免一样，等值误差也是不可避免的。,等值误差,心理测量学,江西师大心理与教育统计测量中心,影响等值误差的主要因素被等值测验的同质性被等值测验之间的难度差别被等值测验分数的分布特点，包括偏度、峰度等被等值测验的单维性,等值误差,心理测量学,江西师大心理与教育统计测量中心,影响等值误差的主要因素(续)铆题对测验的代表性，或锚题分数与测验分数的相关用于等值估计的考生样本的容量用于等值估计的考生样本分数分布的相似性,等值误差,心理测量学,江西师大心理与教育统计测量中心,影响等值误差的主要因素（续）测验长度铆题数量铆题在测验中的位置实际的影响因素可能更多。等值还会受到测验所关注的分数段、测验目的对分数精确性的要求水平、测验分数的应用、计算条件等多种因素的影响。,心理测量学,江西师大心理与教育统计测量中心,第七章测验分数的可比性与测验等值,常用等值资料采集方法设计,单组设计,单组设计：即把拟予等值的两个或多个测验同时向同一被试组施测，然后借助于同一被试组把拟予等值的测验联系起来，这时两组测验分数的差异主要是由于两个测验的难度不同而引起的，因而从理论上来说这种等值设计既简单又无抽样误差。但实际上由于练习效应、疲劳及厌倦等因素的影响，会给等值结果带来误差。,心理测量学,江西师大心理与教育统计测量中心,随机等组设计,随机等组设计：从同一总体中随机抽取两组考生，这两组考生被认为在能力分布上是相同的或很接近，让这两组考生分别接受两份不同测验X和Y，然后估计两测验形式的等值关系。这种设计方案可克服练习效应和疲劳等因素的不利影响。这种数据采集设计有一个假设，即两被试样本的总体分布是相同的。由于从同一总体抽样，因此，不考虑其间的抽样误差，这一假设比较容易得到满足。,心理测量学,江西师大心理与教育统计测量中心,铆测验非等组设计,铆测验非等组设计：在测验编制时另外编制一组测验试题，这些试题被称为共同题，也称为铆（anchor）题。在数据采集时，铆测验题即对第一组被试施测，又对第二组被试施测。,心理测量学,江西师大心理与教育统计测量中心,等值设计方法图示,心理测量学,江西师大心理与教育统计测量中心,心理测量学,江西师大心理与教育统计测量中心,第七章测验分数的可比性与测验等值,测验分数等值关系计算的基本方法,心理测量学,江西师大心理与教育统计测量中心,线性等值等百分位等值铆测验非等组设计下的等值关系计算方法,线性等值,心理测量学,江西师大心理与教育统计测量中心,在单组设计或随机等组设计下的两个分数，一个在测验形式x上，另一个在测验形式y上，如果它们的标准分数相等，这两个分数就被认为是等值的。,线性等值,心理测量学,江西师大心理与教育统计测量中心,用数学公式表示，所谓测验分数x等值于测验分数y，即有下式成立：改写为：其中：,等百分位等值,心理测量学,江西师大心理与教育统计测量中心,在单组设计或随机等组设计下的两个分数，一个在测验形式x上，另一个在测验形式y上，如果这两个分数有相同的百分等级，那么这两个分数就被认为是等值的。按照这个原理，寻找与x分数等值的y分数，只要找到与x分数有相等百分等级的y分数就可以。,等百分位等值,心理测量学,江西师大心理与教育统计测量中心,对于测验x的每个一分数，可根据公式在x测验分布中先求出与其对应的百分等级，然后在y测验上求取具有该百分等级的分数。即在两个测验上就有相同百分等级的分数就是等值分数。,心理测量学,江西师大心理与教育统计测量中心,百分等级计算公式为：根据百分等级计算测验分数公式为：,铆测验非等组设计计算,心理测量学,江西师大心理与教育统计测量中心,让两个被试组分别参加两个形式的测验，在两个测验中有部分项目是共同的铆题，这样两组被试被铆题铆接在一起。使用该设计可以采用线性等值方法来完成等值计算。,铆测验非等组设计计算,心理测量学,江西师大心理与教育统计测量中心,铆测验非等组设计线性等值方法计算公式如下：其中，是x测验向全体被试t施测时的平均数与标准差的估计值，是y测验向全体被试t施测时的平均数与标准差的估计值。,心理测量学,江西师大心理与教育统计测量中心,如果两组被试能力差异不大，四项估计值为：,心理测量学,江西师大心理与教育统计测量中心,其中，与是只参加测验x被试的平均数和标准差，与是只参加测验y被试的平均数和标准差，与是铆测验向全体被试t施测得到的平均数和标准差，与是既参加测验x又参加铆测验被试的平均数和标准差，与是即参加测验y又参加铆测验被试的平均数和标准差，是测验x对测验v的回归系数，是测验y对测验v的回归系数。,心理测量学,江西师大心理与教育统计测量中心,如果两组被试能力有差异，这四项估计值为：式中，、与分别是各个测验的信度系数。,本章小结,心理测量学,江西师大心理与教育统计测量中心,测验等值是测验公平性的保证，其在测验实施、编制与结果分析，题库的建立，不同单位、地区、时间所测学科成绩的比较等方面，都是极为必要的。,本章小结,心理测量学,江西师大心理与教育统计测量中心,如果不进行等值处理，不同时间举行的考试的成绩之间不具备可比性，评价标准或证书授予标准会受到试卷难度起伏的影响。这种状况，不仅影响到选拔效率和人员素质，而且对考生也是很不公平的。,本章小结,心理测量学,江西师大心理与教育统计测量中心,等值研究的意义并不局限于保证考试公平。今天，为了避免命题和试卷编制中的盲目性和偶然性，国内许多考试机构都在致力于建设题库。实现基于项目反应理论（ItemResponseTheory，简称IRT）的题目参数等值是建设科学化、大规模题库的前提。,本章小结,心理测量学,江西师大心理与教育统计测量中心,基于经典测验理论（ClassicalTesingTheory，简称CTT）之上的等值方法只能实现不同试卷之间的等值，满足“试卷库”建设的需要，很难实现在统一的量尺上标定试题难度和区分度的任务，很难满足大规模题库建设的需要。,参考文献,心理测量学,江西师大心理与教育统计测量中心,参考文献1叶佩华等译：测验等值，广东高教出版社1988年出版。2漆书青、戴海琦、丁树良编著：现代教育与心理测量学原理，江西师大心理与教育统计测量中心2002年出版。3漆书青编著：现代测量理论在考试中的应用，华中师范大学出版社2003年出版。,参考文献,心理测量学,江西师大心理与教育统计测量中心,参考文献（续）4戴海琦、张峰、陈雪枫编著：心理与教育测量，暨南大学出版社2006年出版。5戴海琦.锚题题型与等值估计方法对等值的影响.心理学报，2002，34（4）：367-370。6罗照盛.经典测量理论等值的误差研究.心理科学,2000，23(4):494501。,参考文献,心理测量学,江西师大心理与教育统计测量中心,参考文献（续）7Angoff,W.H.(1971).Scales,norms,andequivalentscores.InR.L.Thorndike(Ed.),Educationalmeasurement(2nded.)(pp.508-600).8Washington,DC:AmericanCouncilonEducation.PsychologicalMeasurement,14,313-321.,参考文献,心理测量学,江西师大心理与教育统计测量中心,参考文献（续）9Lord,F.M.(1980)Applicationsofitemresponsetheorytopracticaltestingproblems,Lawrence-ErlbaumAssociates.10Michael.J.Kolen&RobertL.Brennan.TestEquating,Scaling,andLinking:MethodsandPractices(2nded.)NewYork:Springer,2004.,参考文献,心理测量学,江西师大心理与教育统计测量中心,参考文献（续）11Kolen,M.