内容效度PPT课件

.,1,1.你出生在几月份?2.你母亲姓什么?3.1+1=?4.一个星期有几天?5.下面哪个是三角形?A.B.C.,.,2,.,3,測量与信度、效度的关系,.,4,案例一,美国杜克能源公司某蒸气站被12名黑人雇工告上了法庭，缘由是该公司把他们都当勤杂工使用，每天的任务就是扫地和清洁，他们原本指望能被提升到像运煤工这样层次更高的岗位上，但公司说他们的智力测验分数不够，而该公司的14个黑人员工中有13个做勤杂工，诉讼的理由是智力测验有种族歧视。而公司说没有任何歧视，岗位安排完全根据测验结果来定，没有歧视黑人。法庭要求公司提供测验对职位胜任的预测力。,.,5,案例二,某大学学生期终考试后向校方提出质疑，说教授给出的考试范围是教科书中的110章，但考试内容却都集中于前三章，这样的考试无法检验真实的学习成绩，也就是考试并没有提供一个让我展现所学全部知识的机会。,.,6,第五章效度,学习目标:掌握效度的概念及其与信度的关系；了解效度的种类，掌握各种效度的估计方法；了解提高效度的方法。,.,7,主要内容,一、效度概述二、内容效度三、结构效度四、效标关联效度五、影响效度的因素,.,8,一、效度概述,效度的含义用方差术语谈效度效度与信度的关系,.,9,（一）效度（validity）的含义,效度是指测量结果的有效性程度，也就是一个测验对他所要测量的特质测量到了什么程度。效度系数是指描述某种测量结果有效性程度的数量指标。,.,10,效度的两个基本问题是:1、测验测量到了它要测量的东西吗？2、测验对它所测量的东西测量到什么程度了？,.,11,效度是一个相对的概念，这种相对性表现在以下两个方面：,1）效度是相对于一定的测量目的而言的。2）效度只有程度上的差异，而不是“有”或“无”的差异。,.,12,（二）用方差术语谈效度,在测量理论，效度被定义为，在测量中与测量目的有关的真实变异与总变异的比率。即其中为效度系数,x,v,xy,S,S,r,2,2,2,=,.,13,（三）效度与信度的关系,1、高信度是高效度的必要而非充分条件,高信度高效度,高信度低效度,低信度低效度,1）,2）,3）,.,14,2、测验的效度受它的信度制约由效度和信度的定义可得到,xx,xy,I,r,r,s,=,2,2,0,Q,（三）效度与信度的关系,.,15,二、内容效度,含义及基本保证条件评估方法应用,.,16,（一）内容效度及基本保证条件,1、定义内容效度（contentvalidity）是指测验项目所涉及的内容对欲测内容范围的代表性程度。或者说所测内容对要测内容范围取样的代表性。,.,17,例如GRE，是为美国大学的研究生院录取新生时使用的测验，这个测验测量到了学生能否入研究生院学习的潜在能力，是很有内容效度的。,.,18,2、内容效度的基本保证条件,要获得较高的内容效度，必须具备两个基本条件：（1）欲测的内容范围必须定义清楚，界限分明。（2）测验项目应是所界定的内容范围的代表性取样。,.,19,以教育测验为例1、确定所要测量的全部内容范围；2、将测验目的具体化为不同层次的测验目标；3、确定每一层测验目标在整个测验中的比重；3、编制双向细目表；4、确定每一小格中的测题数量；5、按比例随机抽取测验题目；6、请专家对测题的代表性、适合性进行分析，并作必要的修改，直到大多数专家满意为止,表5.1高二化学标准测验双向细目表,返回,.,21,（二）内容效度的评估方法,1、专家判断法2、经验法3、再测法4、复本法,.,22,1、专家判断法,由专家对测验项目与所欲测验的内容范围的吻合程度进行系统的比较判断。具体方法步骤如下:1）依据双向细目表，明确所要测量的内容范围；2）确定每题所测的内容，并与双向细目表对照；3）制定评定量表以评定测验的整个效度及其他特点返回,.,23,2、复本法,获得被试在两个独立取自同一内容范围的测验上的分数，计算出他们的相关，把这个相关作为对内容效度的数量估计。相关高?相关低?返回,.,24,3、再测法,学习前施测学习后再测如果后测成绩显著优于前测成绩，则说明此测验对于这部分知识学习而言具有高的内容效度。返回,学习知识,.,25,例一,在社会发展史某一单元教学之前，对学生进行有关这一单元内容的测验。教学之后，再以复本测验施测，两次测验分数如下，试检定测验的内容效度？学生序号12345678910教学前X34403230313544334236教学后Y52645054586372626250,.,26,结论,然后根据自由度df=N-1=9,查t值表，寻得0.01显著性水平t的双侧临界值为t（9）0.01=4.781，而实际计算出的t=13.97.4781=t(9)0.01，于是可以说，教学前后学生在两个复本测验上得分的平均数有极显著性差异，从而可以作出判断，社会发展史中该单元测验的内容具有有效性，或内容效度较高。,.,27,（三）内容效度的应用,最适合于成就测验:知识和技能的掌握程度也适合于某些选拔和分类的职业测验不适合于能力倾向测验和人格测验在使用内容效度时，要避免和表面效度相混淆。缺乏可靠的数量化指标，因而妨碍了各测验间的相互比较。,.,28,（四）表面效度（surfacevalidity）,表面效度是指被试或其他未受过专门训练的人员对测量有效性程度的估计。表面效度不能算是一种效度，它不反映测验实际测量的内容，但可取得被试的合作。何时重视表面效度?,.,29,三、结构效度(constructvalidity),（一）定义、应用1、定义结构效度是指测验对理论构想的测量程度，又称构想效度。“是否测到要测的东西”构想或结构是指心理学理论所涉及的抽象而属假设性的概念或特质。2、应用：智力、人格测验等,.,30,（二）确定结构效度的步骤,界定理论构想（建立关于某一构想的理论框架）依据理论框架推导出各种关于构想的各种假设用实证与逻辑分析的方法来验证假设,智力随年龄的增长而增长智商是相对稳定的。智商和学业成绩密切关系。智力受遗传和环境的影响。,.,31,（三）搜集结构效度资料的方法,1、测验内法2、测验间法3、效标关联法4、实验操作法5、因素分析法,.,32,1、测验内法,这种方法只要是通过研究测验内部构造来分析测验的结构效度。内容效度如语文能力测验分析被试答题时的反应过程如数学推理测验考察测验的同质性,.,33,1.测验的内容效度内容效度可以作为检验结构效度的一个方面。,.,34,2.分析被试解答测题时的反应过程在施行个别测验时，要求被试边想边说，从而可以分析被试解题时的心理过程，以核实测验是否真正测到了所要测量的心理构想。如，人格测验中有这样一个题目：“我喜欢在别人面前说另一个人的缺点。”一个被试回答“否”，问他是怎么考虑的，他说：“一个人如果喜欢在别人面前说另一个人的缺点，那他就是个小人。”,.,35,3.考察测验的同质性这种方法是以测验的内在一致性系数（如KR20，KR21，以及系数等）为指标，判断测验测的是单一特质还是多种特质，从而确定测验构想效度的高低。,.,36,2、测验间法,这种方法主要是通过同时考察几个测验间的相互关联，看这些测验是否在测量同一构想。相容效度会聚效度与区分效度返回,.,37,1、相容效度（congruentvalidity）,考察新编测验与某个已知的效度较高的测验间的相关，若二者相关较高，则说明新测验有较高的效度，这种方法就叫相容效度法。如，斯坦福比奈量表和韦氏量表是公认的效度较高的智力量表，后人编制的智力测验常计算与这些量表的测验分数的相关，以提供相容效度的证据返回,.,38,2、会聚效度和区分效度,会聚效度（convergent)的思想是，如果两个测验是测量同一特质的，即使使用不同的方法进行测量，它们之间的相关也应该是高的。又称求同效度,收敛效度。区分效度（discriminant）的思想是，如果两个测验测量的是不同的特质，即使使用相同的方法进行测量，它们之间的相关也应该是低的。又称求异效度,判别效度,.,39,3、效标关联法,测验分数能否把不同团体的人区分开来根据效标把被试分为两类,考察其测验得分的差异。根据测验得分把人分成高分组和低分组,考察这两组人在所测特质方面是否确有差异。返回,.,40,4、实验操作法通过控制某些实验条件，观察其对测验分数的影响，也可以获得构想效度的证据。比如考试焦虑量表,.,41,设计1：比较不同重要性考试时该测验的分数按照构想，重要考试时焦虑分数高平时考试中实施此焦虑测验重要考试之前施该焦虑测验比较两次分数，如重要考试前的焦虑分数显著提高，就说明这个测验对测量考试焦虑是有效的。,.,42,设计2：举行两场考试，使被试相信一场考试关系重大，一场考试无关要紧。挑选两组被试，高焦虑组和低焦虑组。比较考试成绩，出现下述情况，说明测验有构想效度：焦虑分数高组学生，如在第一场考试中成绩比平时有所下降，在第二场考试中却能正常发挥。焦虑分数低组学生，无论在哪场考试都发挥正常。,.,43,设计3：收集被试在经历一场重大考试时的生理心理参数作为焦虑的指标将其同焦虑测验分数比较相关高证明焦虑测验测量了焦虑这个特质。,.,44,5、因素分析法,其目的是把一些具有错综复杂关系的因素归结为数量较少的几个综合因素或称共同因素，并以此测验所测之特质对测验分数作出解释。,.,45,四、效标关联效度,定义、种类、应用效标与效标测量效标关联效度的估计方法,.,46,（一）定义、种类、应用,1、定义：所谓效标关联效度，是指测验分数与某一外部效标间的一致性程度，即测验结果能够代表或预测效标行为的有效性和准确性程度。,.,47,2、分类（收集效标的时间）,同时效度（concurrentvalidity）：效标资料与测验资料同时获得如机械能力倾向测验预测效度（predictivevalidity）：效标资料后于测验资料获得如MBA考试,.,48,3、应用,同时效度：诊断现状预测效度：预测未来结果,某人成功了吗？某人患病了吗？某人会成功吗？某人会患病吗？,.,49,（二）效标与效标测量,1、效标（criterion）是衡量测验有效性的参照标准，它是独立于测验之外、体现测验目的的行为变量。2、观念效标和效标测量（conceptualcriterionandcriterionmeasurement）,观念效标：效标的实质概念内容，如学习或工作成功、技术水平效标测量：效标的具体化，可操作的测量指标,同一观念效标可以有多个效标测量,.,50,3、选择效标测量必须满足以下要求：,（1）有效性效标测量与观念效标必须是高度一致的。（2）可靠性效标测量必须正确可靠。也就是说要具有较高的信度。（3）客观性效标测量必须客观，避免偏见。如，当效标测量是主观评定时，一定要尽量避免主观偏见。（4）经济实用性在保证有效性的前提下，效标测量必须尽可能简单、省时、花费少。,.,51,4、常用的效标,效标要能真正反映效度。一般来说，常用的效标有如下几个：学术成就这种指标常作为智力测验的效标；特殊训练成绩这种常用于能力倾向测验，即被试在将来的某种特殊训练中所取得的成绩；实际工作表现这种效标可用于一般智力测验、人格测验和能力倾向测验；团体对照用两个在效标表现上有差异的团体，比较他们在预测分数上的差异，,.,52,（三）效标关联效度的估计方法,确定效标关联效度的基本步骤：（1）明确观念效标（2）确定效标测量（3）考查测验分数与效标测量之间的关系,.,53,常用的估计效标关联效度的方法：,1、相关法2、区分法3、命中率,.,54,1、相关法,测验分数和效标分数之间的相关系数。选择团体获得测验分数获得效标分数（4）求相关系数,（1）,（2）,（3）,根据分数的性质不同采用不同的相关计算方法,.,55,(1)积差相关系数,使用条件：测验分数和效标分数都是连续变量公式：,例：假设有10人经职业兴趣测验而被选定作为推销员，其测验分数见下表第一行，而第二行是经过若干年后他们某段时间内销售金额总量（以万元为单位）。现问该测验的预测效度如何？,.,58,=0.75,.,59,(2)二列相关系数,适用条件：测验分数与效标分数都是连续变量，其中一个变量被人为分为两类公式：,其中为正态曲线中值对应的高度,.,60,例题：为研究大学类型和学生的智商关系，某研究者进行了一项智力测验，被试中66名来自重点大学（985或211），286名来普通大学，最后测出重点大学的被试IQ均数为114，普通大学被试的IQ均数为96，所有被试IQ分的标准差为14.53，计算二列相关系数。,=0.8125,查正态分布表,得出常态曲线下所对应的Y值为0.2685,.,62,(3)四分相关系数适用条件：当测验分数与效标分数都是连续变量，且每一个变量的变化都被人为地分为两种类型，即以二分变量表示。,a、b、c、d表示由两个二分变量所分成的四种类别的实际频数,=0.67,=,.,64,（4）相关系数,适用条件：当测验分数与效标分数都是真正的二分变量，如工作状态、婚姻状态等。,a、b、c、d表示由两个二分变量所分成的四种类别的实际频数,例：研究调查了358名不同性别的大学生对某项教育措施的评价态度，结果如下表。根据这些结果，能否说明性别对评价态度有无预测效度？,评价态度,性别,男,172,女,186,94,264,358,拥护,反对,a=66,b=106,c=28,d=158,.,66,(二)组的分类,根据被试的效标行为表现，将他们分为不同的组别(团体)，如果这些组在测验分数上有显著性差异，则说明该测验的效度高。,df=,成功组、失败组的平均分成功组、失败组样本容量成功组、失败组得分的方差,两总体正态分布,两总体方差未知,.,68,工作成功组：，工作失败组：，代入上面公式可得：df=98时，t=5.40返回,.,69,(三)命中率,.,70,CADB,A部分：正确录用B部分：错误录用C部分：错误拒绝D部分：正确拒绝,.,71,（1）总命中率(取舍正确率)（2）正命中率(录取正确率),=,=,返回,.,72,效度的评估方法,.,73,小结：,三方面的效度都是围绕效度的基本问题展开的。一个测验需要哪种效度证据，取决于一定的测验目的，不同的测验偏重于不同的效度证据。效度的验证虽是测验编制后进行的工作，但其指导思想在编制过程中始终起着主导作用。,.,74,结构效度帮助我们运用测验分数解释人的心理特质，可由结构效度研究的资料来回答测验所测量的东西。效标关联效度可用来了解测验分数能否有效地预测或估计某种行为表现，是关于测验结果的一些实际用途的检验。内容效度则与研究的内容范围有关，它帮助我们决定测验分数能否代表某种学习结果的成果，也是关于测验结果的一些实际用途。,返回,.,75,第五章主要内容,一、效度概述二、内容效度三、结构效度四、效标关联效度五、影响效度的因素,.,76,五、影响效度的因素,（一）测验的长度（二）测量的信度（三）接受测验的被试（四）测验的实施过程（五）效标的选择,.,77,（一）测验的长度,其中是测验增长为原来的n倍的效度值，n为测验增长倍数，为原测验效度，为原测验信度。返回,.,78,例：一测验的信度系数为0.50，效度系数为0.40，现想其效度增长为0.50，问测验的长度应增长为原来的