内容效度18157PPT课件

1,.,第四章效度,第一节概述第二节内容效度第三节效标关联效度第四节结构效度第五节提高测量效度的方法第六节效度资料的概化,2,.,第一节概述,一、效度的含义二、效度和信度的关系三、效度的种类,返回,3,.,一、效度的含义,效度（validation)指测验的有效性，即测验分数能够代表所要测量的心理特性的程度，或测验结果达到测验目的的程度。一个测验对所要测验的特性测量到什么程度的估计。AERA，APA，NCME（1999，p12）指根据指定用途支持分数解释的那些事实和理论的有效程度。,4,.,效度的数学定义,测验分数=有效分数+系统误差+随机误差测验分数的方差=有效分数的方差+系统误差的方差+随机误差的方差效度为有效分数的方差与测验分数方差的比,返回,5,.,二、效度和信度的关系,信度高是效度高的必要条件，而非充分条件,6,.,效度不会大于信度的平方根（可由下面公式推导）,返回,7,.,三、效度的种类,内容效度效标关联效度结构效度,返回,8,.,第二节内容效度,一、内容效度的含义二、验证测验内容效度的程序三、内容效度的确定方法四、适用范围五、表面效度,返回,9,.,一、内容效度的含义,内容效度（contentvalidation）测验项目对所要测量的内容范围的代表性程度。测验的使用者希望估计测验在它所要代表的环境整体中一个考生表现如何。（1974）内容关联凭证（content-relatedevidence）（1985）基于考试内容的凭证（evidencebasedontestcontent)（1999）（p299）,返回,10,.,二、验证测验内容效度的一般程序,以教育测验为例确定所要测量的全部内容范围；将测验目的具体化为不同层次的测验目标；确定每一层测验目标在整个测验中的比重；编制双向细目表；确定每一小格中的测题数量；按比例随机抽取测验题目；请专家对测题的代表性、适合性进行分析，并作必要的修改，直到大多数专家满意为止。,返回,11,.,双向细目表举例,上页,12,.,三、内容效度的确定,专家判断法（如前所述）复本法处理后的重测法内容效度比,13,.,复本法,一组被试在取自同样内容范围的两个测验复本上得分的相关来估计。如果相关低，则两个测验中至少一个缺乏内容效度。如果相关高，一般推论测验具有内容效度，但也可能出现两个测验有相同偏差的情况。,14,.,处理后的重测法,前测教学后测在教学或训练之前施测某一测验，然后对他们进行教学训练，结束时再测一次。如果成绩提高很大，则说明测验对教学具有较高的内容效度。,15,.,内容效度比,返回,16,.,四、适用范围,内容效度适合于测验所要测量的内容总体能够明确界定的情况：标准参照测验知识测验、技能测验等教育测验工作表现可以界定的职业心理测验不适合：智力测验，人格测验,返回,17,.,五、表面效度,表面效度（facevalidity）被试主观上认为测验是否测量了所要测量的心理特性。并不是一种真正的效度。表面效度影响被试的测验动机。人格测验要求表面效度不宜过高。,返回,18,.,第三节效标关联效度,一、效标关联效度概述二、效标三、效标关联效度估计的方法四、效标关联效度的应用,返回,19,.,一、效标关联效度概述,效标关联效度（criterion-relatedvalidity）指测验分数与外部效标之间的相关。又称准则关联效度。效标即效度标准。指独立于测验结果，反映测验目的的行为参照。,20,.,效标关联效度研究的一般步骤,确定一种恰当的准则行为及其测量方法；确定一个能代表测验最终使用对象的适合的受测者样本；施测并记录每个受测者的得分；得到准则资料，对每个受测者在该准则上的操作进行测量；确定测验分数与准则分数的相关程度。,21,.,效标关联效度的类型,预测效度（predictivevalidity）测验分数与随后获得的效标分数之间的相关。同时效度（concurrentvalidity）测验分数与几乎同时获得的效标分数之间的相关。,返回,22,.,二、效标（准则）,效标的测量常用的效标,23,.,1效标的测量,有效性：高效度可靠性：高信度客观性：效标污染（criterioncontamination）：在对效标进行测量的过程中，由于事先知道预测源的结果，而对效标测量产生影响或污染的过程实用性：方便,经济,24,.,2常用的效标,学术成就（智力测验、标准化成就测验的效标）实际工作表现（特殊能力测验、部分智力测验和人格测验的效标）团体差异（测验分数能将已经知道的团体差异区分开来）临床诊断（人格测验的效标）特殊训练的成绩（特殊能力测验的效标）等级评定（人格测验中其他人的评定）现有的测验,返回,25,.,三、效标关联效度估计的方法,相关系数法分组检验法命中率法功利率法,返回,26,.,1相关系数法,方法：积差相关、点二列相关、二列相关、等级相关等优点：提供了预测源与效标之间的数量关系；可利用回归方程来预测效标分数。缺点：预测源与效标是非线性关系时，会低估效度；不能提供关于取舍正确性的指标。,27,.,积差相关,适用条件：测验分数与效标分数都是正态连续变量，且二者存在线性关系,28,.,积距相关公式,举例,29,.,二列相关,适用条件：两列变量均来自正态分布总体的等距变量，而其中一列被人为地划分为两个类别,30,.,二列相关公式,举例,返回,31,.,2分组检验法,基本思想：根据被试在准则上的行为表现，将他们分为不同的组别，如果这些组的预测源分数有显著差异，那么，这个测验的预测效度是较高的。步骤：依据被试在准则上的行为表现进行分组：成功与失败或合格与不合格两独立样组测验分数的均数差异显著性t检验计算重叠量,32,.,独立样本t检验公式,举例,33,.,计算重叠量,当样组规模n越大时，均数之差的标准误就越小。如果t检验有显著性差异，还必须求两个分布的重叠量。,34,.,计算重叠量,方法一：A1=失败组中高于成功组测验成绩平均数的人数A2=成功组中高于成功组测验成绩平均数的人数比率越低，两组差异越大方法二：计算两组分数分布的共同区域的人数百分比，即两组分数分布的交叉区域的面积。共同区域的百分比越小，两组差异越显著。,举例,返回,35,.,3命中率法,分类决策的正确性,举例,返回,36,.,4功利率法,效度的实用性U=B（NS）C（NU）SU=功利率B=录用一个成功的人员所产生的平均利润NS=录用人员中成功的人数C=录用一个不合格人员所带来的损失NU=录用人员中失败的人数S=实用测验的费用,返回,37,.,三、效标关联效度的应用,对个人分数的预测人员的分类与安置,38,.,1对个人分数的预测,简单直线回归：由直线回归方程转化为以标准分数表示的方程ZY=rZX,39,.,预测误差,效度系数的平方表示由测验分数能说明的准则测量方差的比例。预测误差的标准误,40,.,预测误差计算举例,某智力测验与数学成绩的相关为0.60，数学成绩的标准差为7.0分。如果用智力测验成绩来预测数学成绩，则预测误差的标准差为多少？,41,.,2人员的分类与安置,根据被试在效标上的预测结果而做出处理或安排。选拔（selection）：拒绝或接受安置（placement）：根据被试在单一效标上的预测结果而做出处理或安排。分类（classification）：使用两个或两个以上的效标。,返回,42,.,第四节结构效度,一、结构效度的含义二、确定结构效度的基本步骤三、搜集结构效度资料的方法,返回,43,.,一、结构效度的含义,结构效度（constructvalidity）指测验分数在多大程度上测量或解释了某种理论构想。又译构念效度、构想效度,返回,44,.,二、确定结构效度的基本步骤,1建立理论框架2提出假设3检验假设,返回,45,.,三、搜集结构效度资料的方法,1测验内方法2测验间方法3效标关联法4实验操作法5发展水平的变化,46,.,1测验内方法,确定测验的内容效度分析被试对项目的反应过程考察测验的同质性,47,.,2测验间方法,相容效度计算新旧同类测验分数之间的相关区分效度计算不同结构的测验之间的相关因素效度通过因素分析找到影响测验分数的共同因素，每个测验在共同因素上的负荷量即每个测验与共同因素的相关，称为测验的因素效度,48,.,验证智力测验效度的常用方法,相容效度法，即求测验结果与一种已经标准化的测验结果的相关效标关联法，即求测验结果与学生学生学业成绩、教师评定的相关发展水平的变化，即整个测验的分数和每个项目的通过率是否随年龄的增长而增加项目效度，即计算项目得分与测验总分的相关内在一致性系数，即检验测验的同质性,49,.,各种效度分析方法的比较,50,.,多高的效度才算高？,最低标准：效度系数在统计上有显著性；测验的有效性高于现有的决定工具。如果两个测验测量的是同一种心理属性或特质，那么效标关联系数应在0.60以上。如果两个测验测量的心理属性或特质不完全一样，只是具有一定的相似性，那么，效标关联系数的要求会低一些，能达到0.40以上就算是较好的。如智力测验结果与学业成绩之间的相关。,返回,51,.,第五节提高测量效度的方法,一、影响效度的因素二、提高测量效度的方法,返回,52,.,一、影响效度的因素,测验本身项目质量，项目数量测验的实施测验实施的标准化程度被试身心状态，样本的代表性与异质性效标效标测量的可靠性，与测验分数的关系类型测量的信度信度高是效度高的必要条件,返回,53,.,二、提高测量效度的方法,精心编制测验量表，避免出现较大的系统误差妥善组织测验，控制随机误差创设标准的应试情境，让每个被试都能发挥正常的水平增加被试样本的规模，提高代表性选好正确的效标，恰当地进行效标测量，正确地使用有关公式,返回,54,.,第六节效度资料的概化,所谓概化，是指在一定条件下得出的结论能否适用于其他情况。测验的效度和信度一样，都与特定情境有关，只有在具体情境下的效度，而没有笼统谈论某一测验的效度。效度的概化（validitygeneration）在某一情境中所作的效度研究推广到其他情境中的过程。,55,.,一、效度概化的几个方面,1预测源的概化使用同一测验的不同复本是否同样有效？同一测验对不同分数水平的人的预测是否同样有效？2效标的概化采用不同种类或不同时距的效标，测验是否同样有效？对于效标的不同分数水平是否预测得一样好？3施测情境的概化不同的施测者、不同的施测条件以及在不同的指导语或心向下做测验是否同样有效？,56,.,4被试团体的概化测验对于取自同一总体的另一样本是否同样有效？测验对于不同性别、不同年龄、不同教育水平、不同社会经济地位、不同地区