心理测量学-测量的信度课件

心理测量学测量的信度讲义第一节信度概述定义：测验结果一致性的判断

在实测分数中真分数所占的比率（真分数理论）

实测分数=真分数+误差信度可以用相关系数来表示，也就是真分数与实测分数相关的平方公式第二节误差及误差的来源定义：与测量目的无关的因素造成了测验结果的不一致或不准确种类：1随机误差：方向和大小完全是随机的，没有规律性2系统误差：稳定地存在于每一次测量中，有规律可循3抽样误差：由抽样变动而引起的误差来源

1.测验内部引起1）题目取样误差2）题目用词模棱两可3）题目太难4）规定的测验时间太短5）题型的原因2测验过程引起的1）物理环境2）主试方面3）意外干扰4）计分3被试引起的1）动机2）焦虑3）练习4）经验5）生理因素第三节估计信度的方法一、稳定系数（重测信度）（跨时间的一致性）对同一个测验前后做两次，然后计算两次测验结果的一致性。

公式：测验被试123456789101112131415x1161513131311101010998876x2161516141211131210111191087测验∑x

∑x

2S∑x1x2x1158178410.532.831946x2199214711.672.65统计值公式二被试数学x阅读yxyx2y2xy14117+1-4116-423828-2+7449-1434822+8+1641843216-8-564254053418-6-33691863615-4-616362474124+1+319384320+3-191-394723+7+2494141040270+6036040021000244186864021二等值系数（复本信度）（跨形式的一致性）

一个测验有A，B两个版本，对一组被试测试，求取两个测验结果的一致性三内在一致性系数

以一次测验的结果来估计测验的信度.用以估计测验内部的一致性.

分半信度把一次测验的结果人为地分成对等的两半，然后计算两半分数之间的相关。分半信度只是半个测验的信度，所以需加以校正。校正公式：库德—理查逊估计法库德—理查逊1937年提出了一种分析题目间一致性来估计信度的方法，即应用项目统计量来避免任意的两半分法导致产生的误差。公式：假设一个测验有5个测题,施测于一个30个人的样本,结果求出标准差为2.5测题答对人数pqpq1150.500.500.252200.670.330.223120.400.600.244100.330.670.22560.200.800.16

Σpq=1.09稳定系数（克伦巴赫系数）公式：二个评分者分别对一组被试的测验结果加以评分，然后求取两组人分数的一致性。三个以上评分者对一组被试的测验结果评分，其一致性的求取采用肯特尔和谐系数。公式：四评分者信度三个教师给6篇作文评分将分数值转换为得分等级（最高为1……）然后求出每一篇作文所得等级之和（Ri）教师123456A253027202832B222621202530C152018142122123456A524631B425631C534621Ri147131883Ri＝14+7+13+18+8+3＝63Ri2＝811K＝3N=6被评对象在3-7人时，直接查表，w值大于表中数值说明信度是高的，如被评对象超过7人，则可计算2值，作2检验。2＝k(N-1)wdf=N-1第四节影响信度的因素测验分数分布的范围对信度的影响分数分布的范围越大，信度就越高，分数分布的范围越小信度就越低。用异质团体的信度来推测同质团体的信度公式：例：二测验的长度对信度的影响测题数量越多信度就越高以已有测题数量所得信度来预测达到某种信度水平需增加的题数公式：例：以增加题目的数量来推测所能达到的信度公式：例：进一步增加题数可达到的信度水平题数1050100200300400500相关系数0.500.830.910.950.9680.9760.98三测验的难度对信度的影响

难度间接影响信度。即难度影响测验分数的分布，然后影响信度。第五节测量的标准误差定义：误差分数分布的标准差标准误也可用来判断一个测验的稳定性程度。信度系数是估计整个样本的误差程度，而标准误则是用来估计个人分数中的误差水平。标准误的计算公式标准误的用途确定分数的有效区间例：一个儿童做韦氏智力测验测得智商120，已知韦氏测验的标准差为15，信度是0.95。公式：以95%的置信水平来确定这个儿童智商分数的有效区间，那么真分数有95%的可能性会落在X+/-1.96Se的范围内，即120+/-1.96×3.35=113-127。评价两个不同测验分数是否有明显的差异。例：一个儿童的韦氏言语智商是102，操作智商为108，操作智商是否显著地高于言语智商呢？以标准误来检验，先算出差异分数的标准误公式：4.74×1.96=9.29两个分数差异大于9分以上才有显著性差别，现在108-102=6，所以这个儿童的两种智力没有差异。以图形也可来辨认两种分数的差异。如果置信区间有重叠，尤其是一半以上重叠，那就不能说一个分数比另一个高。测量的效度第一节效度概述定义:测验达到测量的目的,即测到了要想测量的对象.效度反应了测验的准确性

与目的有关的真分数在实测分数中所占的比例实测分数=真分数+误差(随机误差)与目的与目的有关无关(系统误差)信度与效度的关系

信度是效度的必要条件,但不是充分条件.要想一个测验的效度高,其信度必须得高；但信度高,效度未必高.影响效度的误差来源1.测验题目不能反应要测量的特征.2.实施过程偏离了标准化的程序.3.被试不如实回答.第二节效标效度(准则关联效度)什么是效标:反应测验目的的行为参照.什么是效标效度:测验分数与效标行为间的一致性程度

效标效度的计算方法1.相关法求取测验分数与效标变量之间的相关程度,即效度系数.

1)积差相关在两组数据都是连续变量,且两者存在线性关系时使用公式:被试12345678910测验(x)20343247202427252216销售额(y)2.53.8340.712.23.52.81.22)二列相关在测验分数和效标这两个变量中一个是连续变量,另一个是二分变量时使用.公式:例:智商与学校类型的关系p重点中学被试百分比66/302=0.1875q普通中学被试百分比286/302=0.8125重点中学被试智商均数114

普通中学被试智商均数96St总体标准差14.53y常态曲线下，p所对应的纵轴高度0.26853)多元相关

在测验分数和效标变量中有一个是连续变量,另一个是二分以上的变量时使用.用Juspen公式4)四格相关

在两组变量都是二分变量时使用用皮尔逊余弦法.二.区分法

以被试在效标上的表现分组,然后再对两组被试在测验中的成绩用t值进行显著性差异的检验.公式:区分法的缺点是如果样本规模大的时候,没有显著性也能算出显著性差异来,所以要配合重叠量的使用.1.以称职组的平均数为指标,看两组中超过这一平均数的人次百分比.比例越低说明差异越大,如称职组的平均数为6.05,不称职组超过此分数的有7人,称职组超过这一分数的有38人,人次比为7/38,重叠的部分为18%,差异很大.2.统计称职组中分数低于不称职组平均数的人数,和不称职组中分数高于称职组平均数的人数.然后两数相加,再除以总人数.如:称职组20人,不称职组20人,不称职组中分数超过称职组平均数的有7人,称职组中分数低于不称职组平均数的有3人,那么

有25%的重叠部分.3.算出两组人分数分布共同区域的百分率,即重叠的区域,如重叠区域越大,说明差异越小,而重叠小说明测验有效.3.命中率测验有效性的指标之一就是作出正确决定的比率,即决策的命中率.效标成绩测验预测失败成功成功(A)失误(B)命中失败(C)命中(D)失误第三节内容效度定义:测验题目对所要测量的内容范围的代表性程度.考验题目样本是否代表了内容总体.确定内容效度的方法1.专家判断内容效度比（CVR）＝内容效度比低的题目就应该被淘汰.然后计算全部测题的内容效度比的平均数,作为内容效度的指标.缺点:1)没有量化指标;2)对内容效度的判断不一致;3)教育思想或心理学观点不同,所以对内容范围的理解也不同.2.统计分析法3.再测法4.经验法内容效度与表面效度的区别表面效度是指测验看起来所要测量的东西,是被试或外行看来是有效的测验.表面效度与内容效度并不总是一致的.表面效度能间接影响测验的效度,所以测验编制时也要适当关注表面效度.提高内容效度的方法之一：

编制命题的双向细目表记忆了解应用分析综合评价合计第一章8210第二章12621030第三章4422618第四章2101284642合计6262814206100第四节结构效度定义:测验能够测量到理论上的结构或特质的程度.某一智力理论的四项假设:1.智力随年龄而增长;2.智商是稳定的;3.智力与学业成绩有密切关系;4.智力受遗传的影响.某注意力的理论,注意有如下特征:1.稳定性2.集中性3.转移性4.分配5.范围收集结构效度资料的方法1.测验内方法研究测验的内部构造来界定所测量的结构范围.1)内容效度2)内在一致性3)因素分析2.测验间方法研究几个同类测验间的相互关系来考察它们是否测量相同的心理结构.1)相容效度2)会聚效度和区分效度3.发展变化4.实验操作项目分析第一节项目的难度定义:测题的难易程度(能力测验)测题的“通俗性”或“流行性”的程度(人格测验)难度估计的方法1.通过率

A.用于二值记分的测题

B.用于非二值记分的测题C.用于多重选择题时还要作校正校正难度的作用检验实际难度

例:某题通过率为75%,是一个五选一的题目.比较两个不同选项数题目的难度例:有二道题,一题的难度为0.50,有五个选项,另一题的难度为0.53,有四个选项.D.分组法用于样本很大的测题

2.项目难度的等距量表A.如果样本很大,分数接近常态分布,可以根据常态曲线表将测题的难度转换成Z分数。B.另一种单位的等距量表公式为

=13+4X例:某一题几乎所有的被试都通过(99.8%),其Z值为-3,代入上述公式

=13+4(-3)=1如都通不过(0.13%),其Z值为3,代入公式

=13+4(3)=25如通过率为84%,Z分数为-1,代入公式

=13+4(-1)=9测题难度的确定与分数分布越是接近中等难度的题目越具有区分的作用,也就是越是靠近0.50的题目越好,其区分程度越高.如:1×99=992×98=19630×70=210050×50=2500第二节项目的区分度(鉴别力)定义:测题对不同水平被试反应的区分程度和鉴别能力.估计方法1.项目的效度分析计算每个测题与效标的相关.1)相关系数与效标求相关2)鉴别指数高分组通过减去低分组通过率.公式:D=PH-PL

例:鉴别指数与测题的评价_____________________________D测题评价--------------------------------------------0.40以上非常优良0.30-0.39良好,如能修改更好0.20-0.29尚可,但必须修改0.20以下劣,淘汰----------------------------------------------2.测题和总分的相关1)点二列相关公式:=答对该题的被试在总分上的平均分=答错该题的被试在总分上的平均分

p=该题的难度q=1-pSt=全体被试的总分标准差15个学生某测题的得分与总分情况学生123456789101112131415总分908180787770696555504942353110某题1011111000101002)因素分析分析测题在一个因素上的负荷,负荷越大说明越有区分度,一般在0.30以上才是可以接受的.3)方差法方差大说明离散程度越高,那就具有鉴别力.公式:难度与鉴别力的关系

------------------------------------------

PD------------------------------------------1.000.000.900.200.700.600.600.800.501.000.400.800.300.600.100.200.000.00-----------------------------------------------第三节选项分析选项设置不当会降低题目的难度,所以也要对选项作分析,看有无异常情况.通常判断选项好坏有以下几点:

1)正确答案无人选或少于其它选项的人数.2)错误答案选的人太多.3)正确选项高分组选择人数少于低分组.4)错误选项上高分组选择人数多于低分组.5)选项无人选择.6)未答人数较多.题号组别选答人数正确答案ABCD未答1高分组59212