第十二章人才测评的质量分析

1、第十二章,人才测评的质量分析,一项测评是否可靠、可信？,一项测评是否准确、有用？,一项测评是否公正、公平？,12/23/2019,本章教学内容,：,?,第一节,测量的信度,1,信度及其影响因素,2,信度的评估方法,?,第二节,测量的效度,1,效度及其影响因素,2,效度的评估方法,第一节,测量的信度,一、信度及其影响因素,1,、信度的概念,2,、信度的计算,3,、信度的作用,4,、信度的影响因素,2019/12/23,1,、信度的概念,?,信度（,reliability,）信度是标,示测验一致性高低的统计指标。,主要指测量结果的可靠性或一,致性。,?,测量结果的可靠性与误差的大小密切相关。,?,

2、误差越大，分数的可靠性就越低,?,信度便是说明测量的可靠性或一致性的指标,。,2,、信度的计算：信度系数,?,信度指标的一般公式：测验分数,=,真实分数,+,测量误差,或者：,X = T + e,2019/12/23,?,信度的高低通常以相,关系数表示，称为信,度系数（,reliability,coefficient,）。信度,系数一般是同一样本,所得的两组资料的相,关，因此有：,测验分数方差,=,真实分,数方差,+,误差分数方差,2019/12/23,2,r,x,xx,?,S,S,2,t,解释真实分数与实得分数之间的,相关,?,信度可以解释为总的方差（标准差的平方的缩略,语）中有多少比例是由

3、真实分数的方差决定的，,即测量分数的变化中有多少是真正反映了被测者,分数的变化。,?,例如：当,r,xx,= 0.90,时，我们可以说，实得分数中,有,90%,的方差是来自真实分数的变化，仅有,10%,是,来自测量的误差。,?,信度系数的分布是从,0.00-1.00,的正数范围，代表,了从缺乏信度到完全可信的所有状况。,?,思考：如果,r,xx,= 1.00,表示什么？,r,xx,= 0.00,表示,什么？,3,、信度的作用,?,测验信度要能够区分出：,导致一致性的因素：,个体稳定的特性（测量对象）,导致不一致性的因素：,可能影响测验，但又与测验对象,没有关系的个体和环境的特性,?,在人事测量

4、中，对信度系数进行确定通常有以下,作用：,解释真实分数与实得分数之间的相关,说明可以接受的信度水平,说明可以接受的信度水平,?,信度的理想水平是,1.00,，但是实际上是达不到,的。,?,一般能力与成就测验的信度系数在,0.90,以上；,人格、兴趣等测验的信度通常在,0.80-0.85,之间。,?,一般来说，当,r,xx,0.70,时，不能用测验对个人,进行评价，也不能在团体间作比较；当,r,xx,0.70,时，可用于团体间比较；当,r,xx,0.85,时，,可用于鉴别个人。,4,、信度的影响因素,?,受试者个体持久而泛化的特性：,进行测验的一般技能水平,理解测验指示语的一般能力水平,进行类似

5、测验的一般的人格特质,?,受试者个体持久而特殊的特性：,进行某项测验（或其形式）需要的特殊的技能、能力,和特质；以及稳定的反映定势；,对某个测验项目内容的熟悉程度,?,受试者个体短时而泛化的特性：,健康、疲劳、动机、情绪状态、测验自如性；温度、,光亮、通风等测验外部条件,二、,信度的评估方法,?,针对不同的误差来源，信度可以有不同的,确定方法。,信度系数类型,误差来源,重测信度,复本信度（连续施测）,时间取样,内容取样,内容的同质性,评分者间差异,内部一致性信度,评分者信度,?,又称为稳定性系数，是采用重测法计算信度的方,法，即用同一测验在不同时间对同一对象施测两,次，两次测量分数的相关系数即

6、为重测系数。,?,例如：如果用一个智力测验测量某人的智力，第,一天测量得到,100,分，表示智力中等；第二天测量,却变成了,150,分，这个分数意味着这个人在一夜之,间变成了天才，如果没有特殊原因，这种事绝对,是小概率事件，不太可能发生，可信度极低。不,能用这个结果帮助决策。,1,、重测信度,(test-retest,reliability),?,在日常生活中，你也许常常到市场上去买,东西。如果你买了,5,斤瘦肉后觉得比上次少,了点，没有那么重，那么你可以自己再用,称称一下。如果也是,5,斤，那么你可能就会,觉得确实有,5,斤。这是因为两次称得的结果,完全一致，变异度为,0,。,2019/12

7、/23,?,重测信度的计算,?,重测信度反映的是两次测验结果的稳定程度,所以重测信度又称稳定系数,用前后两次结果,的相关系数来表示,计算公式如下,:,?,式中,n,表示两次参与测评的同一组人员的,人数,;X,表示各人初次测评所得的结果,;Y,表示重,测所得到的结果,;r,是两次结果之间的相关系数,也即重测信度。,2019/12/23,重测信度的考察对象,?,重测信度所考察的误差来源是时间的变化所带来的随机影,响（气候、噪音的干扰、疾病、疲劳、情绪的影响等），,根据重测相关系数的高低，可以得知测量结果在经过一段,时间之后的稳定程度。重测信度表示测量能够应用于不同,时间的程度，信度越高说明测量结果

8、受环境中日常的随机,因素影响越小，测量结果越稳定、可靠。,?,评估重测信度时，要注意重测间隔的时间，时间太短被试,对测试题记忆犹新，必然会造成假性相关；时间太长，测,验结果又会受应试者的身心特质改变的影响，使相关系数,降低。间隔时间的长短必须根据测验的性质和目的来确定。,如果希望测量结果能预测较长时间的变化，则重测间隔时,间应该长一些。例如人格测验一般间隔,2-6,个月比较合适。,2,、复本信度,(alternative-form,reliability),?,所谓的复本信度,就是指同一组受测者在两个平行,(,等值,),的测验上所得分数的相关程度,也即两个测,验之间的等值程度,因此有人又把复本

9、信度称为等,值系数。,?,复本信度的计算,?,第一步,准备或制定两个等值的测评工具,A,和,B,。,?,第二步,先用,A(,原测评,),对受测者进行测评。,?,第三步,紧接着或间隔一段时间后用,B(,复本,),对,该组人员进行测评。,?,第四步,计算两种工具所测结果的相关系数,公,式如下,:,?,n,表示两次参与测试的同一组人员的人数,;X,表,示各人在,A,测评中所得到的结果,;Y,表示各人在,B,测评,(,复本,),中所得到的结果,;r,是两种工具所测,2019/12/23,得的结果之间的相关系数即重测信度。,?,一致性信度又称为同质性信度，是指一个测评活,分测评中各个题目所测内容的一致性

10、。,?,同质性是保证测评只测量同一特质的必要条件。,也就是说，评估一组测验题目内部一致性程度，,对于确定测验题目是否测量了同一事物很重要。,如果同质性差，则表示测评混淆了不同的测评内,容，其结果就无从判断究竟是否反映了被测者的,某一特质。,3,、一致性信度,consistency,reliability,一致性信度应用实例,?,例如：在人格测评中，乐观情绪特质和外向特质,是两个容易混淆的内容，这就要求测评设计时能,够找到相应的题目把二者区分开来。,?,再例如：在考察管理技能时，预测和决策、监督,和控制等都是不太容易区分的，对题目设计的要,求就相当高，否则就会把不同技能混淆，导致结,论错误和用人

11、失误。,?,在设计测评题目时，所有测评题目都要保证只测,量一种特质或内容，如果需要在一个测评中测量,不同内容，就应该将测评设计为几个分测评进行,分别测评。例如,16PF,人格测评就包括,16,个分测评，,每个分测评量表只对一种人格特质进行测评。,一致性信度的计算方法,?,分半信度项目折半分析，是通过将测验分成,两半，计算这两半测验之间的相关性而获得的信,度系数。通常的方法是在测验实施后将测验分为,等值的两半，并分别计算每位被测者在两半测验,上的得分，再求出这两个分数的相关系数。这个,相关系数就代表了两半侧眼内容取样的一致性程,度。,?,同质性信度系数分析，是指测验内部的各,题目在多大程度上考察

12、了同一内容，即所有测验,题目测量的只是单一特质或内容，表现为所有测,验题目得分的一致性。,4,、评分者信度（,raters reliability,）,?,在有些测量情形中，评分者的评判也是误差的来,源之一。例如投射测验、创造力测验、无领导小,组讨论、管理者情境模拟等，都依赖于评分者的,判断，这种判断的主观性往往造成不同评分者的,评分很不一致，因此有必要考虑评分者信度。,?,评分者信度是指不同评分者对同一对象进行评定,时的一致性。最简单的估计方法就是随机抽取若,干份答卷，由两个独立的评分者打分，再求每份,答卷两个评判分数的相关系数。评分者的评分越,一致，评分者信度越高。（等级相关）,三、影响信

13、度的因素分析,?,误差：随机误差偶然因素引起的；系统误差,恒定而有规律的因素引起。,?,测评信度就是随机误差大小的反应，影响因素：,?,测评者因素：,?,被测者因素,:,总体水平的离散程度和平均水平,?,测评工具：如测评的测题取样不当，题太少或面,太窄。,?,测评环境的因素：,2019/12/23,思考题：,?,1,、与对某人品德测评分数的可靠性进行考察，,随机抽取其中,10,个被试的分数，分别是：,74,、,71,、,80,、,85,、,76,、,77,、,77,、,68,、,74,、,74,，再,次测评后,10,个被试的分数分别是：,82,、,75,、,81,、,89,、,82,、,89,

14、、,88,、,84,、,80,、,87,。请问可,以用什么方法评价测评的可靠性？,?,2,、如果一个部门的三个经理分别给部门的几,十位员工考核，你认为应当怎样检查三位评,分者评定的可靠性？,?,3,、某态度量表共,7,题，,100,个被试在各题上,的得分方差分别是,0.81,0.82,0.79,0.83,0.85,0.76,0.77,测,验总分的方差为,14.00,，则此测量的的信度,如何评价,?,12/23/2019,4,、：,5,位评分者对,5,个学生的摄影比赛的排,列名次如下表，试估计评分者之间的信度。,学生,序号,1,2,3,4,评分者,1,1,4,2,3,2,1,3,4,2,3,2,

15、1,4,5,4,1,2,3,4,5,2,1,4,3,5,12/23/2019,5,5,3,5,5,第二节,测量的效度,一、效度及其影响因素,1,、效度的概念,2,、效度与信度的关系,3,、效度的作用,4,、效度的影响因素,二、效度的评估方法,1,、内容效度,2,、效标关联效度,3,、构想效度,2019/12/23,一、效度的概念,?,1,、效度的概念,?,效度：测评结果对素质反映的真实程度，,即准确性和有效性。,?,效度是指所测量的与所要测量的心理特点之间符,合的程度，或者简单地说是指一个心理测验的,准,确性,。或是指一个测验或量表,实际,能测出其所要,测的心理特质的程度。,?,在测验理论中，

16、效度被定义为在一组测量,中，与测量目标有关的真实方差（或称有,效方差，由所要测量的变因引起的有效变,异）与总方差,(,实得变异数,),的比率，即,r,2,xy,s,?,s,2,v,2,x,12/23/2019,2,、效度与信度的关系,?,二者的区别：信度与效度的差别在于所考虑,的误差不同。信度考虑的是随机误差的影响；,效度考虑的误差包括随机误差和对测验目的,无关的变量引起的系统误差。,?,二者的联系：信度是效度的必要条件，但不,是充分条件。换句话说，信度高不一定效度,必然高。但效度高必定信度高,。,3,、效度的作用,?,就好像用磅秤测量身高，每次测量的结果都,很一直稳定（信度很高），但它并不能

17、代表,身高，也就是说其测量值并不反映身高这一,属性（效度很低），所以说，磅秤不是身高,这一测量对象的适宜测量工具。,?,例如一个数学测验可能对学生的数学成绩的,预测效度很好，但对学生整体智力的预测效,度就没有那么好，对学生的性格可能根本就,没有预测效度。,二、效度的评估方法,?,1,、内容效度,?,2,、构想效度,?,3,、效标关联效度,2019/12/23,1,、内容效度,?,测验的行为样组能代表所测量的特质的程度。,即一个测验实际测到的内容与所要测的内容之,间的吻合程度。,?,估计一个测验的内容效度就是确定该测验在多,大程度上代表了所要测量的心理特质。,12/23/2019,内容效度的评估

18、方法：,?,（,1,）专家判断法：请有关专家对测验题目,与原定内容的符合性作出判断，看测验的,题目是否代表规定的内容，这种估计效度,的方法，是一个逻辑分析的过程，所以内,容效度有时也可称为“逻辑效度”。,12/23/2019,?,（,2,）统计分析法,?,（,3,）经验推测法：,12/23/2019,2,、构想效度,?,构想效度是指测验能够测量到理论上的构想或,特质的程度。所谓构想通常指一些抽象的、假,设性的概念或特质，如智力、创造力、言语流,畅性、焦虑等。这些构想无法直接观察。但是,每个构想都有其心理上的理论基础和客观现实,性，可以通过各种可观察的材料加以确定。,?,例如言语流畅性可以通过语速、语句间的逻辑,性、口误的数量等可观察的指标进行确定。,?,适用范围：适用于智力测验、人格测验等。,?,例如：韦克斯勒首先假设“智力是一个人去理解,和应付他周围世界的总的才能”，然后，他依据,这一定义，编制,11,个分测验从十几个方面来说明,智力，编好测验又从多个角度加以验证，最后，,用因素分析法验证，该测验实际测量了三类共同,因素，即,A,因素（言语理解）、,B,因素（知觉组织,）、,C,因素（记忆和注意集中）。,2019/12/23,3,、效标关联效度,?,效标关联效度又称为效标效度，指测评结,果与某种标准结果的一致性程度。,?,例如一个机械能力倾向测验