心理测量学6--第六节-测验的效度

第六节测验的效度,第一单元效度的概念第二单元效度评估的方法内容效度构想效度效标效度第三单元效度的功能第四单元影响测验效度的因素复习题,一、效度的意义二、信度与效度的关系三、效度的类型back,效度是指测验的有效性、准确性。即一个测验对它所要测量的特质正确测量的程度。一个测验能否测量出它要测量的东西。效度所要回答的问题是：（1）一个测验测量了什么特性？或者说，测验测到了它所要测量的东西吗？（2）它对所要测量的特性测得有多准？,效度具有以下几个特点：（1）效度是针对测验结果的测验的有效性是针对测验结果而言的，即测验的效度是指“测验结果”的有效性程度。（2）效度是针对某种特定的测验目的的（相对性）效度不具有普遍性，是针对某种特殊的目的的。评价测验的效度时，指明该测验对测量什么有效。（3）效度只是程度上的差异（连续性）对于某个测量目的来说，效度只是程度上的差别，而不是“全”或“无”的差别。对某个测验进行评价时，不能说某个测验有效或无效，只能用“高效度”、“中等效度”、“低效度”来进行评价。back,二、信度与效度的关系1.信度是效度的必要而非充分条件信度高不一定效度高。但一个测验要想效度高，测验的信度必须高。因此，信度高是效度高的必要但非充分条件。,2.效度受信度的制约，信度系数规定了效度系数的上限。一个测验的效度总是受它的信度的制约，信度系数规定了效度系数的上限，效度系数不会大于信度系数的平方根。,三、效度的类型考验效度的方法很多，每种方法侧重的问题不同，名称也随之而异。美国心理学会在1974年所发行的教育和心理测验之标准一书将测验的效度分为三大类，即内容效度、构想效度、效标效度。内容效度（contentvalidity）是指测验题目对所要测量的内容范围的代表性程度。构想效度（constructvalidity）是指一个测验对某种心理学理论所涉及的抽象概念或心理特质测得如何。效标效度，即效标关联效度（criterion-relatedvalidity），指的是测验对我们所感兴趣的外在行为能够作出多好的预测。back,一、什么是内容效度？二、确定内容效度的方法三、内容效度与表面效度四、内容效度的应用和评价back,一、什么是内容效度？内容效度是指项目对欲测的内容或行为范围取样的适当程度。一个测验要有内容效度必须具备两个条件：1.要有定义得完好的内容范围20以内的加减法中小学生的心理健康的特点和表现。2.测验项目应是已界定的内容范围的代表性样本如果把所有的内容视为一个总体，那么测验项目可以视为一个样本，这个样本要具有代表性，这个样本能够代表总体的程度就是内容效度。back,二、确定内容效度的方法（一）专家判断法（二）统计分析的方法1.复本法2.再测法3.经验法back,这是一种定性分析的方法，由专家对测验项目与所涉及的内容范围进行符合性判断,又称逻辑效度。我们以教育测验为例来说明应遵循的程序。1.确定所要测量的全部内容范围。比如要考察某一学科测验是否有效度，就要根据教材和教学大纲列出这门课程的全部知识点。2.根据教育目标的要求，将测验目的具体化为不同层次的测验目标。教育测验目标一般采用布鲁姆教育目标分类学中的分类标准，将测验目标分成识记、理解、应用、分析、综合、评价六个层次。按不同层次的测验目标对知识点进行分类。,表小学自然常识测验,3.确定每一层次目标在整个测验项目中所占的比重。4.编制测验双向细目表5.请专家对双向细目表以及测题是否符合双向细目表的内容要求、测题的形式是否合适等进行评定。6.对测题进行必要的修改，直至多数专家对测验的内容效度感到满意为止。最后，报告专家评定的情况，这个评定结果可以作为内容效度。back,1.复本法克伦巴赫认为，内容效度可由一组受测者在取自同样内容范围的两个测验复本上得分的相关来作数量上的估计。当相关高时，可以推论测验具有较高的内容效度。缺点：如果相关低，至少一个测验缺乏内容效度，但不能确定哪个测验缺乏内容效度。如果相关高，也可能两个测验存在相同的偏差，两者效度都不高。back,2.再测法在教学或训练之前施测某一测验，经过一段时间的学习或训练后再次施测，如果后测的成绩显著高于前测，则可以认为测验能很好地反应学习或训练的效果，测验具有较高的内容效度。back,3.经验法不同的受测者团体在测验上的得分和对每题的反应存在较大差异，一般说，高年级比低年级的水平要高，如果总分和题目的通过率随着年级而增高，则说明测验对于教学具有内容效度。back,表面效度（FaceValidity）:指外行人从表面上看测验是否有效，测验题目与测验目的是否一致。内容效度和表面效度的区别：表面效度是外行对测验作表面上的检查确定的，而内容效度是专家对测验进行详尽的、系统的评价建立的。虽然两者都是对测验内容作出的主观判断，但判断的标准不同。前者只考虑测验项目与测验目的之间的明显的、直接的关系，后者则同时考虑到测验项目与测验目的和总体内容之间的逻辑的本质的联系。表面效度高的题目内容效度不一定高，表面效度低的项目内容效度也不一定低。如，明尼苏达个性调查表中有这样的题目：“我的喉咙里总好像有一块东西堵着似的。”,测验对表面效度的考虑：表面效度不是效度的客观指标，不能保证测验的正确性，但能对受测者的动机产生影响，因而也会影响到测验的效度。如：“我偷过东西。”编制测验时应根据编制测验的要求提高或降低表面效度，如人格测验，表面效度应该低，使受测者看不出来，从而让受测者作出真实的反应，能力测验应该提高表面效度，以激发受测者的答题动机。back,四、内容效度的应用和评价内容效度适合于测验所要测量的内容总体能够明确界定的情况。因此尤其适合对教育测验的效度的考察。内容效度对各种用于人员选拔和安置的职业测验也是适用的。职业测验关心的是受测者是否具有从事某项职业的知识、技能等，那么要明确某项职业所需的全部知识和技能，再对这些知识和技能进行取样，取出一个有代表性的样本。内容效度对能力倾向测验和人格测验不是很合适，因为它们要测量的往往是较抽象的特质，其范围难以明确界定，没有明确的内容范围，就无法考证测验项目是否具有代表性。缺点：缺乏理想的数量指标，因而妨碍了信息交流和各测验的相互比较。back,一、什么是构想效度二、收集构想效度资料的方法三、对构想效度的评价back,构想效度（constructvalidity），又称构念效度、结构效度。构想：心理学理论中所涉及的假设性的概念或特质，如智力、焦虑等，它们往往用某种操作定义来定义、可以用测验来测量。构想效度是指测验分数能够说明某一理论概念或特质的程度。也就是测验是否实际测量了所欲测量的理论概念或特质。考察构想效度的宗旨是要回答下面一些问题：一个测验测量的是什么心理构想？对这个构想测得有多好？测验分数中有多少变异数是来自测验所欲测量的构想。,欲建立具有构想效度的测验，必须先从某一构想的理论出发，导出各项关于心理特质或行为的基本假设，根据这些基本假设设计和编制测验，然后审查测验结果是否符合提出的基本假设。如，从一般的智力理论，可提出四项主要的假设：（1）智力随年龄的增长而增长；（2）智商是相对稳定的；（3）智力与学业成就有密切关系；（4）智力受遗传和环境的影响。构想效度的证据是一个在研究中不断累积的过程back,（一）测验内方法1.测验的内容效度2.分析受测者解答测题时的反应过程3.考察测验的同质性（二）测验间方法1.相容效度（congruentvalidity）2.区分效度（discriminantvalidity）3.因素效度（factorialvalidity)（三）效标关联法（四）实验操作法back,1.测验的内容效度内容效度可以作为检验结构效度的一个方面。back,2.分析受测者解答测题时的反应过程在施行个别测验时，要求受测者边想边说，从而可以分析受测者解题时的心理过程，以核实测验是否真正测到了所要测量的心理构想。如，人格测验中有这样一个题目：“我喜欢在别人面前说另一个人的缺点。”一个受测者回答“否”，问他是怎么考虑的，他说：“一个人如果喜欢在别人面前说另一个人的缺点，那他就是个小人。”back,3.考察测验的同质性这种方法是以测验的内在一致性系数（如KR20，KR21，以及系数等）为指标，判断测验测的是单一特质还是多种特质，从而确定测验构想效度的高低。back,1.相容效度（congruentvalidity）计算受测者在新测验上的分数与原有的已知效度较高的同类测验上的分数之间的相关。如，斯坦福比奈量表和韦氏量表是公认的效度较高的智力量表，后人编制的智力测验常计算与这些量表的测验分数的相关，以提供相容效度的证据。back,2.区分效度（discriminantvalidity）一个有效的测验不仅应与其他测同一构想的测验有关，而且还必须与测量不同构想的测验无关。用此种方法确定的效度称区分效度。低相关：可以证明新测验相对独立于某些无关因素，但并不保证它一定有效。高相关：这个测验的效度是可疑的。back,3.因素效度（factorialvalidity）：通过对一组测验进行因素分析，找到影响测验分数的共同因素，每个测验在共同因素上的负荷量，即每个测验与共同因素的相关，称作测验的因素效度。back,（三）效标关联法测验分数与效标行为的一致性有助于证明测验确实测量了某种构想。根据效标选取不同的受测者，组成对照组，然后比较两组受测者的测验成绩，看测验分数能否将它们区分开来。如，两组受测者，神经症受测者和正常人情绪顺应测验测验对效标的预测能力，也可以提供构想效度的证据。如，手指灵巧度测验需要精细动作的职业的成功back,（四）实验操作法通过控制某些实验条件，观察其对测验分数的影响，也可以获得构想效度的证据。如，举行两场考试，使受测者相信一场考试关系重大，另一场考试无关紧要，在考试前进行焦虑测验，看受测者的焦虑测验分数是否存在显著的差异，分析原因。back,三、对构想效度的评价构想效度的最大贡献：把着眼点放在提出假设、检验假设上，因此使心理测验不再是作实际决定的辅助工具，同时还成为发展心理学理论的重要工具，从而使测验有了更广阔的发展前景。构想效度的主要缺点是：1.有些构想概念模糊，缺乏一致的定义。2.确定效度时没有明确的操作步骤和程序。3.构想效度是通过对测验测量了什么、没有测量什么的证据加以累积的，没有单一的数量指标来描述有效的程度。比如，效度等于多少，证明效度高，等于多少，证明效度低。back,一、什么是效标效度？二、效标效度的估计方法（一）相关法1.积差相关2.点二列相关3.二列相关（二）区分法（三）命中率法back,（一）效标效度的定义所谓效标效度，是指测验分数与某一外部效标间的一致性程度，即测验结果能够代表或预测效标行为的有效性和准确性程度。校标关联效度实证效度,（二）效标效度的种类根据搜集效标的时间，可以将效标效度分为预测效度和同时效度。同时效度：指测验与同时获得的效标行为的一致性程度。同时效度的效标资料和测验分数同时搜集。如，人格测验的结果可以用家长、同学的评定作为效标。大学入学考试可以用中学成绩作为效标。预测效度：指测验结果对效标行为的预测程度。用大学入学考试的成绩预测大学的学习是否成功，用人格测验预测是否会得心理疾病。,同时效度和预测效度的差异：（1）效标资料搜集的时间不同。一个是和测验同时搜集，一个是在测验后搜集。（2）测验的目的不一样。同时效度与用来诊断现状的测验有关，预测效度与预测将来结果的测验有关。这种差异可以用下面的提问方法的不同来说明，同时效度回答的是“某人具有这种能力吗”“某人心理正常吗？”预测效度回答的是“某人会有这种能力吗？”“某人会得心理疾病吗？”,（三）好的效标应具备的条件用具体的测量指标表示效标行为水平的高低，这就是效标测量。好的效标测量应符合以下几个条件：（1）有效性效标测量与观念效标必须是高度一致的，即效标本身必须有效。（2）可靠性效标测量必须正确可靠。也就是说要具有较高的信度。（3）客观性效标测量必须客观，避免偏见。如，当效标测量是主观评定时，一定要尽量避免主观偏见，校标污染就是一种偏见。（4）经济实用性在保证有效性的前提下，效标测量必须尽可能简单、省时、花费少。back,效标效度一般可以通过统计分析得到一个数量指标，因此有人将它称为统计效度。常用的估计方法有相关法、区分法、命中率法、等。back,相关法是一种最常用的计算效标关联效度的方法，测验分数与效标间的相关系数称为效标系数。测验分数与效标分数的数据性质不同，计算相关系数的方法不同。back,当测验分数和效标分数都是正态连续变量，且两者存在线性相关时，可采用积差相关的计算方法。back,测验分数是正态变量，且是连续变量，效标测量是二分名义变量，这是可采用点二列相关的计算方法。back,二列相关适用的情况是，测验分数和效标的总体分布均为正态，测验分数为连续变量，效标测量被人为地分成两类。back,根据受测团体在效标上的行为表现，将他们分成不同的组别，看不同组别的测验分数是否存在显著差异。即检验测验分数能否有效地区分由效标所定义的团体的一种方法。back,效度的功能（p365）,一、预测误差二、预测效标分数三、预测效率指数,back,一、影响测验效度的因素（一）测验本身取材的代表性、测验长度、试题类型、难度、区分度以及编排方式。要保证测验具有较高效度，要做好以下几点：1、测验材料必须对整个内容具有代表性2、测题设计时应尽量避免容易引起误差的题型（如是非题）3、难度适中，具有较高的区分度4、长度恰当5、排列一般按照先易后难的顺序,（二）测验实施中的干扰因素在施测时主测者不遵照指导语，受测者作弊，受测者的身心状态、测验环境太差，评分标准不客观，记分错误等，都会影响测验的效度。,（三）样本团体的性质1、样本团体的异质性2、干涉变量样本团体的性质对效度的影响还表现在：对于不同性质的团体，同一测验的效度会有很大的不同。这些性质包括：年龄、性别、教育水平、智力、动机、兴趣、职业和任何有关的特征。由于这些特征的影响，使得测验对于不同的团体具有不同的预测能力。,（四）效标的性质1.效标测量的可靠性（即效标测量的信度）效标分数往往存在稳定性的问题，即在不同时间和情境中测量，同一个人的效标分数会有相当大的波动，另外，效标分数受测量方法的影响，使用不同的校标评定方法，其结果有很大的不同。2.效标分数和测验分数的关系类型,二、提高效度的方法,精心编