第十一讲测评质量分析.ppt

1、测评与选拔的质量分析,一项测评是否可靠、可信？一项测评是否准确、有用？一项测评是否公正、公平？一项测评是否经济、合理？,第一节结果的可靠性分析,可靠性由测评信度来决定，信度又由信度系数来衡量一、信度的含义1、信度：测评结果的准确性和一致性程度。2、信度的分类再测信度：按同样的方法对同样的对象进行再次测评。跨时间的一致性。同一测评对象不同时间的一致性。复本信度：测评结果与另一个等值测评结果的一致性。跨维度、跨形式的一致性。等值测评对象不同测评的一致性。,内在一致性信度：各测评项目分数间的一致性。跨项目的一致性,前提是各测评项目必须是可操作性的。同一测评对象不同项目间测评的一致性。评分者信度：多个

2、测评者给同一组被测评组进行评分的一致性程度。同一测评对象不同考官的一致性。,二、信度系数的估计,信度系数：衡量信度大小的指标。信度指标的一般公式：测验分数=真实分数+测量误差或者：X=T+e信度系数是真分数的变异系数与实得的分数变异系数之比，即：真分数是不可能测到的，因而信度系数是一个估数值,1、稳定系数,用来估计再测信度前后两次测评的结果一致性程度，用积差相关系数求得，公式是：稳定系数；N测评数据的个数；X被分析的测评数据，y重复测评结果数据,例：一次品德测评后，随机抽取了其中10名被测，分数是：74，71，80，85，76，77，77，68，74，74；再次测评后，10名被测分数依次是：8

3、2，75，81，89，82，89，88，84，80，87。请对这次品德测评结果的可靠性进行分析。代入公式得：r=0.48信度不高。,2、等值系数,通过计算两次测评数据之间的相关系数来求得等值系数，当测评结果是分数时，用积差相关法计算，当测评结果是等级或者名次时用等级相关法计算，计算公式：r等值系数，N测评结果的个数，D同一被测两次评定等级之差。,10个被测接受了一次技能水平的观察评定，名次分别是1，2，3，4，5，6，7，8，9，10.为了检验测评结果的可靠性，同时进行了另一次等值技能测试，10名被测的名次依次是2，3，1，4，7，6，10，9，8，5.请分析这次技能测评的可靠性。较可靠,3、

4、内在一致性系数,估计不同测评项目对同一素质测评的一致性。两种方法：一种是项目折半分析；另一种是系数分析。项目折半分析：先将测评分分成等值的两半，再计算两组之间的相关系数，斯皮尔曼-布朗公式：,例子：,某公司对10名销售人员进行市场开拓能力测试，采用评定量表，由12个问题组成，将测评数据分成奇数偶数两半，分数如表：,x=46,y=50,xy=233xx=224,yy=256=0.35,t=2*0.35/1+0.35=0.52信度较低。,当一次测评无法分成对等的两半时，可考虑用系数分析信度，较常用。克朗巴赫公式：N测评项目数，测评结果的方差，第i个项目的方差,4、评分者的信度系数,通过两个评分者对

5、同一组被测评分数之间的相关系数来鉴定，可用积差或等级相关来计算，当评分者为两人以上，并且用等级计分时，用肯德尔和谐系数来分析：公式是：K评分者人数，N被测评对象数，Ri第i个被测对象等级之和或分数之和。W越大说明评分者信度越高。,如果同一被测评对象出现了相同等级，则采用下列公式：,三、影响信度的因素分析,误差：随机误差偶然因素引起的；系统误差恒定而有规律的因素引起。测评信度就是随机误差大小的反应，影响因素：测评者因素：被测者因素:总体水平的离散程度和平均水平测评工具：如测评的测题取样不当，题太少或面太窄。测评环境的因素：,第二节测评的效度分析,一、效度的含义与分类1、概念：效度：测评结果对素质

6、反映的真实程度。效度是一个相对概念。不存在对所有目的都有效的方案。效度是一个程度概念。效度是测评误差的综合反映。,效度是评价测量工具好坏的重要标准之一。较高的效度是一个良好的测量工具最重要的特性，是必要条件，也是选择和评价测量工具质量的重要依据。一般来说。效度的作用比信度的作用更为重要。如果一个测验效度很低，无论它的信度有多高，这项测验都没有应用价值。效度高的测量工具往往信度也高。效度和信度的区别：信度与效度的差别在于所考虑的误差不同。信度考虑的是随机误差的影响；效度考虑的误差包括随即误差和对测验目的无关的变量引起的系统误差。,2、分类,内容效度：实际测评内容与期望内容的一致性程度。结构效度：

7、测评结果与所想测评素质的同构程度。关联效度：测评结果与效标的一致性程度。,效度的评估方法,对测量效度的考察反映在下面两个问题之中：该测验能够很好的预测我们感兴趣的成绩吗？该测验真正测量的是什么？第一个问题集中于效标，也就是判断一个测验预测的成功性的标准。这就要求建立测验成绩与那个标准之间的关系。（预测效度）第二个问题集中于测验，要求明确关于测验所测量目标的内在理论或心理构想。（内容效度）,测验效度不能按笼统的方式去测量，而只能根据测验所考虑的特定用途去测量，在决定是否使用测验时，我们需要了解从已知测验结果做出某种推论的有效性，也就是说，我们是证实测验的有效性，还是证实我们希望对测验结果进行推论

8、的有效性。对于一个特定问题，测量目的决定了所用的效度评定方法，问题是关于使用测验成绩来预测在校标上的成绩，还是关于研究测验实际测量的内容或构想。,二、测评效度的分析,1、内容效度分析（1）是否包含了欲测评素质的各种成分。（2）测评范围内的行为样本的比例是否与工作分析结果一致。方法：定性分析方法，蓝图对照分析方法、专家比较法专家分析后，下列公式可以鉴定内容效度：,持肯定评判意见的人数，N评判总人数，C值从-1到1.,2、结构效度分析,（1）给所测评的素质下一个操作化定义。（2）根据事实资料评判结构效度。,3、关联度的分析,通过效度系数进行，效度系数就是测评结果与标准结果的相关系数。相关系数越高，

9、表明关联度越高。,三、影响效度的因素,测评根据因素测评过程及测评者因素被测者状态效标因素信度因素,第三节测评与选拔的项目质量分析,项目分析是指根据试测结果对组成测验的各个题目（项目）进行分析，从而评价题目好坏、对题目进行筛选的程序和方法。通过项目分析，对测验题目进行选择和修改，可以提高测验的信度和效度。定性分析：主要考虑内容效度，即题目表达的恰当性和有效性等方面。定量分析：主要考察题目难度和鉴别度是否适当,1项目的难度分析,难度分析就是对题目的难度进行估计以确定适宜的难度，难度的指标通常以“通过率”表示，即答对或通过该题目的人数百分比。通过人数越多题目越容易。测验难度的确定，要依据测验的目的、

10、性质和题目的形式而定。,2项目的鉴别度分析,项目鉴别度是指测验项目对于所测查的心理特性的鉴别能力和区分程度，可以从项目效度和内部一致性方面进行考虑。项目效度分析主要以效标为依据，考察被试在每个试题上的反应与其在效标上表现的相关程度，即每个试题所测查的行为是否反映了被试在效标上的表现。内部一致性分析有时进行项目分析难以找到合适的效标，这是就用测验总分代替效标，考察每个试题与总分的一致性。,3项目的公平性分析,掷色子或扔硬币帮助做决策你认为公平吗？结果的公平性：在职业选拔中，结果公平指选用了“最好”的人。如何定义“最好”以及怎样确保“最好”能够被测量决定结果的公平性，这主要由测验的技术性方面来确定，是测验过程和测量效标过程二者的函数。过程的公平性：指的是某些人的测验分数受到误差的影响不会与其他人显著不同。因为受测者的表现总是发生在一定情境中，测验成绩必然反映一定情境的作用。测验选择时要考虑文化、语言因素测验实施时要公平对待每个受测者监测不同群体的成绩分布是否存在显著差异，是合理原因造成的还是另有隐情。,4项目的经济效益分析,效用分析在选拔性测评中，需要计算因录取率提升和生产效率上升而带来的价值。在招聘测评中要计算通过测评技术提高的工作效率和录用准确性带来的价值。