心理测量第5章测量效度.ppt

测量的效度,效度的含义,效度指的是测量的有效性，即一个测验对它所要测量的特质准确测量的程度。 在测量学中，效度被定义为与测量目的有关的变异（有效变异）与实测变异之比。,效度的分类,内容效度 构想效度 效标效度,内容效度,内容效度是指项目对预测的内容或行为范围取样的适当程度。 一个测验要具备较好的内容效度必须满足两个条件： 要确定好内容范围，并使测验的全部项目均在此范围内 测验项目应是已界定的内容范围的代表性样本,确定内容效度的方法,专家判断法 复本法 再测法 经验法,专家判断法 确定测验内容效度常用的方法是由专家对测验项目与所涉及的内容范围进行符合性判断，这是一种定性分析的方法。,具体的方法步骤如下： 定义好内容总体，并描绘出有关知识与技能的轮廓 划分细纲目，并根据重要性规划好各个纲目的加权比例，作出尽可能详细的描述 确定每道题所测的知识与技能，将自己的分类与测验编制者的纲目作比较 制定评定量表，从各方面对测验作出评定,复本法 克伦巴赫认为，内容效度可由一组被试在取自同样内容范围的两个测验复本上得分的相关来做数量上的估计。如果相关低则说明两个测验中至少有一个缺乏内容效度，但无法确定究竟哪一个缺乏内容效度。当相关高时，一般推论测验具有内容效度，但也可能出现两个测验有相同偏差的情况。,再测法 先将测验实施于被试，由于被试对测验内容了解甚少，因而得分较低，然后对他们进行教学训练，结束时再测一次，如果成绩提高很大，说明测验对于教学具有较高的内容效度。,经验法 不同的被试团体在测验上的得分和对每题的反应存在较大差异，一般来说，高年级比低年级的水平要高，如果总分和题目的通过率随着年级而增高，则说明测验对于教学具有内容效度。,内容效度的应用,作为一种方法，内容效度较为适合于评价教育成就测验和职业选拔测验。在这种测验中，测验内容是知识、技能和实际工作的代表性样本。内容效度不仅是评价教育成就测验和职业选拔测验的较好方法，而且也是编制任何测验都应加以考虑的基本方面。内容效度对标准参照测验更为重要，因为在标准参照测验中我们主要关心的是被试对一定范围内的知识、技能掌握得如何。,内容效度与表面效度 表面效度是指测验题目从表面上看来有效的程度，一般是由没有受过专门训练的外行人对测验题目从表面上作出的评定。 而内容效度则是由内行人、专家将测验题目与内容范围作全面的考察，或者经过实地测量与统计分析后对题目作出的评定，两者是有区别的。表面效度是从表面上看问题，而内容效度是从实质上看问题。,例：有人在编制“领导能力测验”时编写了三个问题： 我愿指挥别人，不愿别人指挥我 我喜欢听古典音乐 人们经常征求我的意见,通过预测发现，领导干部对第一、二题做肯定回答的人数比例明显高于一般群众，对第三题做肯定回答的人数比例与一般群众差不多，从区分能力看，第三题应被淘汰。但是，若从表面上看，第一、三题都有表面效度，但第二题没有表面效度。,这说明，对于一个具体的测量目标来说，有表面效度的题目不见得真正有效，没有表面效度的题目也可能有效，因此，表面效度不是确定内容效度的客观指标。尽管如此，表面效度对被试的动机、态度和行为会产生影响，从而影响到测验的效度，因此在编制测验题目时，对表面效度要适当控制。,一般来说，智力测验和学科测验要有较高的表面效度，使被试产生较强的动机，尽最大的努力去完成。如果这类测验表面效度不高，就很难获得被试的信任与合作，被试就会马虎从事，测不出真正的成绩，从而影响测验的效度。相反，人格测验要求有较低的表面效度，使被试不会作假，按自己的典型方式作出反应，从而测到被试真正的人格特征。,编制任何测验都必须考虑到内容效度，这样可以从测验内容上排除无关变量对测量结果的影响。,SCL90题目的表面效度,1 头痛 （躯体化） 2 神经过敏，心中不踏实（焦虑） 3 头脑中有不必要的想法或字句盘旋（强迫症状） 4 头晕或晕倒（躯体化） 5 对异性的兴趣减退 （抑郁） 6 对旁人责备求全 （人际关系敏感） 7 感到别人能控制您的思想 （精神病性） 8 责怪别人制造麻烦 （偏执） 9 忘性大 （强迫症状） 10 担心自己的衣饰整齐及仪态的端正 （强迫症状）,11 容易烦恼和激动 （敌对） 12 胸痛 （躯体化） 13 害怕空旷的场所或街道（恐怖） 14 感到自己的精力下降，活动减慢 （抑郁） 15 想结束自己的生命 （抑郁） 16 听到旁人听不到的声音（精神病性） 17 发抖 （焦虑） 18 感到大多数人都不可信任（偏执） 19 胃口不好 （饮食情况） 20 容易哭泣 （抑郁）,21 同异性相处时感到害羞不自在 22 感到受骗，中了圈套或有人想抓住您 23 无缘无故地突然感到害怕 24 自己不能控制地大发脾气 25 怕单独出门 26 经常责怪自己 27 腰痛 28 感到难以完成任务 29 感到孤独 30 感到苦闷,31 过分担忧 32 对事物不感兴趣 33 感到害怕 34 您的感情容易受到伤害 35 旁人能知道您的私下想法 36 感到别人不理解您、不同情您 37 感到人们对您不友好，不喜欢您 38 做事必须做得很慢以保证做得正确 39 心跳得很厉害 40 恶心或胃部不舒服,41 感到比不上他人 42 肌肉酸痛 43 感到有人在监视您、谈论您 44 难以入睡 45 做事必须反复检查 46 难以做出决定 47 怕乘电车、公共汽车、地铁或火车 48 呼吸有困难 49 一阵阵发冷或发热 50 因为感到害怕而避开某些东西、场合或活动,构想效度,所谓构想效度就是指测验对理论上的构想或特质的测量程度。构想效度也称之为结构效度或建构效度。,构想是指心理学理论所涉及的假设性的抽象的概念或特质，如动机、焦虑、智力、创造力等，它们都是表现在人的行为活动上的，往往用某种操作来定义并且用测验来测量，因此构想效度也可以理解为测验实际测量了所要测量的构想或特质的程度，一个测验分数中有多大比例的变异是来自我们所构想的概念的变异。,确定构想效度的方法,理论,关于某一心理 特质的假设,设计编制 测验,施测并分析,得出结果,相符程度,确定构想效度的方法,内部一致性 与同类测验的相关（相容效度或称会聚效度） 发展变化（年龄、教育或训练） 因素分析（因素效度） 多特质-多方法（MTMM） 结构方程模型+ 认知心理学的方法 收集实证资料,效标效度,被预测的行为是衡量测验是否有效的标准，简称效标。所谓效标效度，就是考查测验分数与效标的关系，看测验对我们感兴趣的行为预测得如何。因为效标效度需要有实际证据，所以又叫实证效度或 统计效度。 根据搜集效标的时间，可以将效标效度分为预测效度和同时效度。,效标选取的条件,相关性 有效性 无污染 客观性 实用性,效标效度的估计方法,相关法 确定效标效度最常用的方法是计算测验分数与效标测量的相关，这个相关系数为效度系数。根据变量的性质不同，可分别采用积差相关、等级相关法、二列相关法等。,两列变量是正态连续变量时，用积差相关 当测验分数是连续变量，效标分数为二分变量（如通过与未通过）时，用点二列相关公式计算：,当测验分数与效标分数都是连续变量，但效标分数需要人为地一分为二时（如及格与不及格），用二列相关公式：,当测验分数为连续变量，效标分数为多种类别的等级评定（如优良中差）时，可用多列相关法计算：,效度系数的平方表示效标分数的变异数由测验分数的变异数决定的百分比，或者说表示测验和效标这两组分数的共变部分。如，当rxy=0.60时，我们可以说效标分数中有36%的变异来自测验分数的变异，或者说有36%的变异为两个测验共同具有，说的更通俗点，在效标分数中36%的方差可以由测验分数正确地预测到。,效度系数越高表明测验越有效，预测能力越强，一般来说，效度系数（即相关系数）只要达到统计上的显著性水平，测验工具就是有效的。,相关法的优点是： 提供了预测源与效标间的数量关系； 可利用回归方程式来预测每个人的效标分数。 相关法的缺点是： 如果预测源与效标之间不是直线关系，便会低估测验的效度 不能提供关于取舍正确性的指标,分组法 相关法是考察同一组被试的测验分数与效标成绩之间的一致性程度，如果一致性程度高，测验是有效的。分组法则是考察测验分数能不能区分开由效标的不同成绩所定义的团体。如果能区分开，这个测验是有效的。,例如某政府机关通过测验录用了一批公务员，经半年试用期后，根据他们的实际工作成绩，将这批公务员区分为称职和不称职两组。然后回过头来检查这两组人在测验上的分数是否有显著差异，如果差异显著，说明这个测验在录用公务员的选拔性测验中是有效的。,预期表法 预期表法式将预测源分数和效标分数制成双维图表，并将每个变量按水平分成若干档次，然后列出每个档次上的人数百分比。从预期表我们可以看出效标效度的高低。,预期表的双向表格中，测验分数排在表的左边，效标分数排在表的上边。表中数字代表获得每一类测验分数的人数，或在效标成绩上可能达到某种标准的人数百分比。只要知道了某被试的测验分数，就可以从预期表上查看到某被试取得效标成绩各种等次的可能性的大小。,表3-1 预期表,从右下角到左上角的对角线上各格中的数字越大，说明校标效度越高,r=0.00,r=0.40,r=0.80,规律：从二者最低一级开始到二者最高一级的对角线,表3-2 瑞文推理测验的预期表,预期表可同时使用于标准参照测验和常模参照测验。当上面的效标成绩区分为通过和不通过或及格和不及格两种标准时，就成了标准参照测验的预期表。 用预期表来根据测验成绩预测和解释被试的效标成绩时，要注意到制成预期表时取样团体的代表性和样本的大小。一般而言，样本团体越具有代表性，样本中人数足够多，则预期的可靠性越高。,命中率法 在某些情况下，预测源和效标都是二分的，我们便可以得到一个预测命中表。 表3-3 命中表,效标分数的预测,根据测验的效度系数，就可以根据一个人的测验分数预测他的效标分数。如果X、Y是两列呈直线关系的变量，只要确定出两者间的回归方程，就可以从一个变量估计另一个变量。最简单的回归方程为： 为预测的效标分数，a是纵轴上的截距， 为斜率，X为测验分数。,要得到回归方程，就必须确定a、 这两个常数：,标准参照测验的效度,标准参照测验主要用来检验学习结果，看对指定的内容范围掌握得如何或是否达到某种标准。因此衡量测验优劣的主要指标是内容效度，确定内容效度的方法对于标准参照测验均适用。此外，还可以把测验项目和指定内容范围相符的百分比以及不同专家判断的一致性作为内容效度的指标。此外可用命中率法或预期表法来估计其效度。,影响效度的因素,测验本身 项目信度 项目数量 效标 样本的代表性 干涉变量,SCL-90的因子及题目,躯体化因素,1 头痛 4 头晕或晕倒 12 胸痛 27 腰痛 40 恶心或胃部不舒服 42 肌肉酸痛 48 呼吸有困难 49 一阵阵发冷或发热 52 身体发麻或刺痛 53 喉咙有梗塞感 56 感到身体的某一部分软弱无力 58 感到手或脚发重,强迫症状,3 头脑中有不必要的想法或字句盘旋 9 忘性大 10 担心自己的衣饰整齐及仪态的端正 28 感到难以完成任务 38 做事必须做得很慢以保证做得正确 45 做事必须反复检查 46 难以做出决定 51 脑子变空了 55 不能集中注意力 65 必须反复洗手、点数,人际关系敏感,6 对旁人责备求全 21 同异性相处时感到害羞不自在 34 您的感情容易受到伤害 36 感到别人不理解您、不同情您 37 感到人们对您不友好，不喜欢您 41 感到比不上他人 61 当别人看着您或谈论您时感到不自在 69 感到对别人神经过敏 73 感到公共场合吃东西很不舒服,抑郁,5 对异性的兴趣减退 14 感到自己的精力下降，活动减慢 15 想结束自己的生命 20 容易哭泣 22 感到受骗，中了圈套或有人想抓住您 26 经常责怪自己 29 感到孤独 30 感到苦闷 31 过分担忧 32 对事物不感兴趣 54 感到前途没有希望 71 感到任何事情都很困难 79 感到自己没有什么价值,焦虑,2 神经过敏，心中不踏实 17 发抖 23 无缘无故地突然感到害怕 33 感到害怕 39 心跳得很厉害 57 感到紧张或容易紧张 72 一阵阵恐惧或惊恐 78 感到坐立不安心神不定 80 感到熟悉的东西变成陌生或不像是真的 86 感到要很快把事情做完,敌对,11 容易烦恼和激动 24 自己不能控制地大发脾气 63 有想打人或伤害他人的冲动 67 有想摔坏或破坏东西的想法 74 经常与人争论 81 大叫或摔东西,恐怖,13 害怕空旷的场所或街道 25 怕单独出门 47 怕乘电车、公共汽车、地铁或火车 50 因为感到害怕而避开某些东西、场合或活动 70 在商店或电影院等人多的地方感到不自在 75 单独一人时神经很紧张 82 害怕会在公共场合晕倒,偏执,8 责怪别人制造麻烦 18 感到大多数人都不可信任 43 感到有人在监视您、谈论您