心理测量理论与技术的新发展

第14讲心理测量理论与技术的新发展,一、概化理论的发展（一）概化理论的发展思路概化理论（GeneralizabilityTheory，GT）是经典理论宏观发展，重在研究误差控制、研究测验整体设计。,（一）概化理论的发展思路,1、测验分数方差的测量学意义测验分数方差有目标分数方差和误差分数方差之区别。如：被试真正能力水平间的分数方差是目标分数方差。同一被试不同次测验分数间的方差是误差方差。同一作品多个评分间的方差也是误差方差。,（一）概化理论的发展思路,、误差来源的多样性与总分方差结构的复杂性测量误差的原因多方面，误差方差的种类多种。总分方差结构复杂：不同来源的误差方差与目标分数方差共存。,（一）概化理论的发展思路,3、经典测验理论处理分数方差的办法假定X=T+E，然后有：再定义信度为：,（一）概化理论的发展思路,3、经典测验理论处理分数方差的办法优点：定义了随机误差，可设法估计其大小。缺点：没有能告诉我们误差由哪些原因造成，各种原因造成的误差各有多大。,（一）概化理论的发展思路,4、概化理论的研究目的探清总分方差结构、区分误差原因，明确各种误差大小，找到最优设计方案。,（二）概化理论发展的理论与技术基础1、经典测验理论概化理论与经典测验理论相比，不同之处多于相同之处。2、方差分量分析依靠方差分量分析将总分方差分解、定性。,（三）概化理论发展史用方差分量分析研究测量误差的历史可以追溯到20世纪上半叶。公认的GT正式诞生的标志物是克朗巴赫等的专著行为测量的可靠性的正式出版。,二、概化理论基本框架（一）概化理论的测验情境关系说为了探清测验误差的来源、类型、大小，必须建立一个理论模型。,二、概化理论基本框架（一）概化理论的测验情境关系说（续）概化理论模型的建立依赖于对测验情境关系的详细调查。测验情境关系是指测量目标与各测量侧面所组成的一种关系结构。,（一）概化理论的测验情境关系说,1、测量目标测量目标：测量者希望通过测量用测量值描绘的心理品质。确定测量目标的方法：问“测谁”和“测什么”。一般一场测量目标只能一个研究同一测量问题测量目标一经确定不能改变。,（一）概化理论的测验情境关系说,2、测量侧面测量侧面：测量的条件。测量侧面水平：测量条件的不同水平。测量侧面类型：随机侧面固定侧面,（一）概化理论的测验情境关系说,2、测量侧面（续）固定侧面的优点：测量的误差会减小，测量的信度会提高。固定侧面的缺点：固定侧面成目标的一部分，测量结果拓广受限。,（一）概化理论的测验情境关系说,3、概化理论下的真分数概念经典测验理论认为个体真分数只能有一个。概化理论认为在不同测量条件下会有不同的真分数。,（一）概化理论的测验情境关系说,测验情境关系说结论：情境关系中的测量目标、测量侧面、侧面的水平变化，会引起测验误差的来源，误差的大小、真分数的种类以及测验信度的变化，进而引起测验分数的解释范围发生变化。,（二）测验设计的模型与种类测验设计的任务（两个方面）：（1）界定测量目标和测量侧面的个数及名称、意义，确定各侧面的水平数。（2）设计数据采集方法。,（二）测验设计的模型与种类,数据采集方法类型：以侧面数分：单侧面设计、双侧面设计、多侧面设计,（二）测验设计的模型与种类,数据采集方法类型（续）：以数据结构分：交叉设计：测量目标在所有侧面的各个水平上被测量。如pI、pir,（二）测验设计的模型与种类,数据采集方法类型（续）：嵌套设计：测量目标在一个或多个侧面的部分水平以下被测量。如p:r、p:r:s混合设计：既有交叉，又有嵌套的测验设计。如i（p:r）,（二）测验设计的模型与种类,数据采集设计原则：数据充分体现测量目标与各个测量侧面及各侧面相互之间关系侧面数、水平数的设置要符合客观的测验情境；能获得充分的数据信息；简化模型、节约投入。施测时要控制设计之外的各种无关变量。,（三）G研究G研究目的：用方差分量分析，定量估计观察领域中测量目标方差和各个测量侧面方差，以及其间的交互作用的方差。,方差分量分析（二步）：1、分解总体方差为测量目标主效应方差、各测量侧面主效应方差和各种交互效应方差。2、应用样本方差估计各种效应的期望均方差。,（三）G研究,各种期望均方差性质：测量目标效应期望均方差：测量目标个体差异的描写量；各测量侧面效应期望均方差：各侧面对目标干扰程度描写量，就是误差；各交互效应期望均方差：各侧面对目标的交互干扰程度描写量，也是误差。,二、概化理论基本框架,（四）D研究D研究的目的：在G研究的基础上，在原设计的测验情境关系范围之内，分析比较各种可能的测验方案，由研究者结合实际，优选实施方案。,（四）D研究,D研究调整原方案获取新方案的方法：1、固定原测验情境关系中的某一个或某几个侧面。2、改变原测验情境关系中的一个或某几个测量侧面的水平数。3、改变原测验情境关系中某些测量侧面的结构关系。,（四）D研究,D研究的统计分析步骤（两步）1、估计拓广领域（新测验方案）下各种效应期望方差。2、估计新方案下测验误差的总体指标和测验质量指标，以提供比较依据。,（四）D研究,测验误差指标：1、相对误差指标：所有与测量目标有关的交互效应方差之和，2、绝对误差指标：除目标主效应方差之外的所有效应方差之和。,（四）D研究,测验质量综合指标：1、概化系数G；目标效应方差与目标效应方差加相对误差方差之和的比。2、相依系数：目标效应方差与目标效应方差加绝对误差方差之和的比。,（四）D研究,D研究的最后工作：根据综合指标，找出最优测验设计方案。,概化理论分析常用软件：GENOVA或mGENOVA。,三、概化理论评价优点：1、概化理论是一套全新的测验误差分析方法，而且非常精细。2、概化理论引进了测验设计的思想和方法。3、概化理论具有严谨的科学理论体系。,三、概化理论评价缺点：1、概化理论本质上还是抽样，研究本身会有误差。2、计算方法相对复杂，给应用带来一定困难。,一、经典测验理论回顾巨大贡献、重要地位、继续发挥作用历史原因、先天不足、四个方面局限,一、经典测验理论回顾,（一）测验对被试的评价依赖于测验项目的具体组合和项目数量评价指标：测验原始总分局限：分数的解释依赖于测验的具体内容。对被试的比较被迫限制在同一份试卷上,一、经典测验理论回顾,（二）测验性能指标的估计依赖于被试样本项目难度估计值会随被试水平的变化而变化。区分度、信度和效度，本质上是相关系数，也都依赖于被试样本。同一测验在不同被试样本上施测所估性能指标不一样。,一、经典测验理论回顾,（三）被试能力与项目难度两指标的不一致性测验总分的参照系是测验项目全体。项目难度的参照系是被试全体例。两个指标的参照系不相同，被试能力分数与项目难度两指标不匹配。,一、经典测验理论回顾,（四）测验误差估计的不精确性经典理论中测验的信度估值是不精确的、笼统的。信度不是按定义公式求取而是借助于“平行测验”假设估计得到的。经典理论以同一误差估计值评价所有被试测值非常笼统，很不精确。,一、经典测验理论回顾,结论：经典测量理论的这些局限性限制了测量在实践中的应用。项目反应理论（IRT）是在这背景上发展起来的一种全新的现代测验理论。,二、项目反应理论基础（一）潜在特质理论（LatentTraitTheory）潜在特质:制约行为的心理特质，没有明确其物理与生理属性测量学研究“潜在特质”的目的：探清结构和性质，将其数量化，测量个体特质变量值，预测个体行为。,（一）潜在特质理论,潜在特质空间定义：对于人的某种任务行为起制约作用的若干潜在特质的集合称为潜在特质空间，相互独立的潜在特质的个数称为空间的维度。,（一）潜在特质理论,K维潜在特质空间表示：其中的每一个称为一个潜在分量。,（一）潜在特质理论,完备的潜在特质空间定义：如果一个K维潜在特质空间包含了制约人某种任务行为的所有潜在特质，称其为一个完备的潜在特质空间，简称全特质空间。,（一）潜在特质理论,测量单维性定义：如果制约某种任务行为的空间既是一维的，又是完备的，则称这一任务行为的测量具有单维性。单维IRT模型是最为人们熟悉的。,（二）项目特征曲线（ItemCharacteristicCurve,ICC）项目特征曲线原理：编制质量良好的试题，随着被试水平的提高，其正确作答的概率会越来越大。,（二）项目特征曲线,经典测量理论项目特征曲线实质：被试正确作答概率对测验总分的回归曲线项目反应理论项目特征曲线实质：被试在项目上正确作答概率对被试潜在特质的回归曲线。,（二）项目特征曲线,项目特征曲线在正常情况下与渐变式的S形中心对称曲线拟合。项目特征曲线的解析式被称为项目特征函数，也即通常所说模型。,（二）项目特征曲线,图项目特征曲线,（三）项目反应理论的基础模型1.双参数正态肩形曲线模型（1952年洛德给出）（NormalOgiveModel）,1.双参数正态肩形曲线模型,b的意义：将代入模型，即可得:b是对称曲线的中心与拐点，是曲线的定位参数。IRT难度定义：在项目上恰有0.5正确作答概率的那些个体的能力值b为该项目难度值。,1.双参数正态肩形曲线模型,a的意义：将模型对求导，将代入，可得。a是曲线拐点（难度点）的斜率。曲线越陡峭，难度点附近不同被试正确作答概率的差异越大a定义为区分度,1、双参数项目特征曲线,11/20b图双参数模型的项目特征曲线,（三）项目反应理论的基础模型（续）,2.Rasch模型丹麦学者拉希建Rasch模型Rasch模型的最大特点是它的项目参数只有难度。,（三）项目反应理论的基础模型（续）,3.Logistic模型伯恩鲍姆（Birnbaum，1958）双参数Logistic模型：其中D一般取1.7令a=1，成单参数Logistic模型。,（三）项目反应理论的基础模型（续）,增加一个参数c成为三参数Logistic模型：参数c是S曲线的下渐近线，称为“伪机遇参数”,三参数项目特征曲线,P()1(1+c)/2c三参数模型的项目特征曲线,（四）项目反应理论的优良性质1.被试能力估计独立于测验项目的选择项目反应理论生成独立于项目内容的被试水平测量。这一优点为发展自适应测验提供了理论基础。,（四）项目反应理论的优良性质,2.项目参数估计独立于被试样本项目特征曲线的本质：被试作答正确率对能力的回归。刻画回归曲线形态的参数，即a、b、c与被试分布无关。这一性质为建设大型题库提供了保证。,（四）项目反应理论的优良性质,3.被试能力参数量表与项目难度参数量表的一致性1、可准确预估被试的正确作答概率。2、可针对被试能力选择试题，是进行自适应测验的技术保证。,（四）项目反应理论的优良性质,4.可以精确估计每一测试项目以及测验针对每一个被试施测的测量误差项目信息函数：测验信息函数：,（四）项目反应理论的优良性质,4.可以精确估计每一测试项目以及测验针对每一个被试施测的测量误差（续）针对每一个被试施测的测量标准误：,二、项目反应理论基础（续）,（五）项目反应理论模型的参数估计和模型数据资料拟合检验1、根据测试数据估计出所有的参数应用软件如：BILOG、PASCAL、MULTILOG，ANOTE2、通过模型数据资料拟合检验，证明模型可用商业软件中同时提供拟合检验程序。,三、项目反应理论的部分特色应用简介（一）用信息函数评价项目和测验质量,（一）用信息函数评价项目和测验质量,项目信息函数是项目质量综合指标。某项目信息函数图（a=1.0064b=-1.6972c=0.2526）这是一个中上质量项目,（一）用信息函数评价项目和测验质量,根据测验信息函数从总体上评价测验质量。图某测验信息函数图这是一个质量较高的测验。,三、项目反应理论的部分特色应用简介,（二）实现大型题库项目参数等值项目反应理论证明，两个不同样本所估同一项目两套参数之间存在如下关系：，采用锚测验-非等组设计，计算参数转换系数A和B，完成参数转换。,三、项目反应理论的部分特色应用简介,（三）测验编制中用目标信息函数控制测验精度1、确定目标信息函数：对不同能力被试提出不同精度要求，转换成不同信息量要求。2、编写或选择项目，累积测验信息函数达到或超过目标信息函数。,三、项目反应理论的部分特色应用简介,（四）提高标准参照测验合格分数线的划分质量合格分数线的质量：准确、稳定、精度高,（四）提高合格分数线的划分质量,项目反应理论划合格分数线的方法：1、确定一个题库，所有题目参数已知，题目总数N。2、请专家判断合格者在题库上应有的最低正确作答比例。,（四）提高合格分数线的划分质量,项目反应理论划合格分数线的方法（续)：3、估计与对应的能力值，是能力合格分数分界点4、试卷合格分数由下式确定：,（四）提高合格分