项目反应理论讲座（文剑冰）.ppt

项目反应理论简介 华东师范大学心理系文剑冰 经典测量理论 CTT 经典测量理论的假设X T E经典测量理论的信度经典测量理论的效度经典测量理论的试题参数经典测量理论的测验编制 经典测量理论的假设 观察分数 真分数 误差分数X T E观察分数与误差分数之间互相独立误差分数的平均数为0多次测量的误差分数之间相关为0 经典测量理论的信度 信度的概念 真实分数方差在观测分数方差中所占的比率 信度系数的估计方法重测信度 稳定性系数 复本信度 等值性系数 内部一致性信度评分者信度信度系数的应用 经典测量理论的试题参数 难度指标 通过率或得分率P值 区分度指标 鉴别力指数D或相关系数r D PH PL 经典测量理论的测验编制 假设被试的特质是正态分布 从而测验总分的分布也是正态测验分数尽可能区分被试 因此测验总分的变异程度越大越好测验中试题的难度中等为好 区分度越大越好 经典测量理论的缺陷 参数依赖于样本能力量表与难度量表不统一对于所有被试的测量误差相等无法反应潜在特质与被试作答之间的关系在测验编制问题上的困惑 准备知识 标准分数Z 0 高于平均 Z 0 低于平均P 1 96 Z 1 96 0 950P 3 Z 3 0 997 项目反应理论 IRT 项目反应理论 ItemResponseTheory 三个理论假设单维性假设局部独立性假设项目反应模型 项目特征函数 项目反应模型 单参数模型 Rasch模型 双参数模型三参数模型 项目反应模型的参数 单参数模型双参数模型三参数模型 参数的含义 a 参数的含义 a 参数的含义 b 参数的含义 b 参数的含义 c 参数的含义 c 单参数模型 双参数模型 三参数模型 项目反应模型参数的估计 项目反应模型参数的估计 反应模式 110 的概率 L P1P2Q3极大似然估计和贝叶斯估计 联合后验分布的众数 对 0 5时似然函数的计算 能力参数的估计方法 极大似然法 ML 使已知反应模式的似然函数值达到最大MAP MaximumaPosteriori 使后验概率函数值达到最大EAP ExpectedaPosteriori 后验概率函数值的平均数 估计项目参数的方法 联合极大似然估计法 JMLE 边际极大似然估计法 MMLE 条件极大似然估计法 CMLE 联合估计时标尺的建立 通常设能力均数为0 P 0 5 1 0 0 8 0 2 P 2 1 0 0 7 0 2 P 2 2 0 1 35 0 2 参数估计时标尺的建立 P 0 5 1 0 0 8 0 2 P 2 1 0 0 7 0 2 P 2 2 0 0 15 0 2 通常将被试能力平均值设定为0 信息函数 试题信息函数测验信息函数 试题信息函数之和 信息函数 例 信息函数的性质 同一试题信息函数随着所测被试能力的不同而不同 同时试题信息函数受试题自身特征的影响 a b相同的试题 c值大的信息量小 a值大的试题 只是在较窄的区间内提供的信息量多 a值小的试题 对能力的估计提供帮助不大 但是广泛地分布在较宽区间试题提供信息量最大的位置 是在接近试题难度 比难度稍大 之处 模型 资料的拟合度检验 卡方检验将被试按能力分组 项目反应理论的特点与优点 非线性 非确定性的模型参数独立于所使用的样本试题难度与被试能力的统一对于不同能力的被试测量误差也不同提出测验编制的指导原则 IRT的其他模型 单维多等级模型等级反应模型 GRM 分部评分模型 PCM 多维模型能力有不同的维度 试题的区分度 难度 在相应的维度上的取值不同 项目反应理论的应用 测验编制计算机化自适应测验测验等值测验偏差 测验偏差 测验偏差 Bias 或项目功能差异 DifferentialItemFunctioning DIF 来自不同族群的能力相同被试 在试题上答对的概率不同 则说存在项目功能差异 项目偏差与项目功能差异 项目偏差 itembias 如果来自不同团体的具有相同能力的个体对某题正确回答的概率不同 那么这道题就存在偏差 但是 偏差 一词常用于社会学中 且带有判断和评价含义 把 偏差 这词语应用于统计学中不适合 项目功能差异 DifferentialItemFunctioning 指的是在控制团体能力之后 一个项目在不同团体中显示的不同统计特性 项目影响 itemimpact 是指目标组与参照组在某题上的差异真的是由于两者在测验所测的能力上有差异 非一致性DIF 一致性DIF 项目反应理论的常用软件 BILOG二级记分 单参 双参 三参模型MULTILOG多级记分 GRM PARSCALE多级记分 GRM PCM GPCM BILOG MG的使用 数据的准备 数据文件是ASCII码的文本文件至少包含ID和答题情况 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 试题参数估计时的设定 画出拟合度差 p 指定数值 的试题 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 被试能力估计时的设定 1 ML2 EAP 缺省 3 MAP 0 不做重新标刻 缺省 1 按scale和location线性变换3 按样本的L和S重新标刻3 EAP时潜变量以L为均数S为标准差 测验信息曲线 BILOG结果文件 PH1 ITEMSTATISTICSFORSUBTESTTEST0001ITEM TESTCORRELATIONITEMNAME TRIED RIGHTPCTLOGITPEARSONBISERIAL 1ITEM0001480 0395 082 3 1 540 3180 4682ITEM0002480 0357 074 4 1 070 3060 4153ITEM0003480 0444 092 5 2 510 2520 4694ITEM0004480 0321 066 9 0 700 4680 6085ITEM0005480 0292 060 8 0 440 1190 1516ITEM0006480 0265 055 2 0 210 1620 2047ITEM0007480 0315 065 6 0 650 2880 3728ITEM0008480 0247 051 5 0 060 3910 4909ITEM0009480 0178 037 10 530 1280 16310ITEM0010480 0253 052 7 0 110 4060 509 CTT的试题参数 Ln 1 p p BILOG结果文件 PH2 CYCLE15 LARGESTCHANGE 0 00007SUBTESTTEST0001 ITEMPARAMETERSAFTERCYCLE15ITEMINTERCEPTSLOPETHRESHOLDLOADINGASYMPTOTECHISQDFS E S E S E S E S E PROB ITEM0001 1 785 0 922 1 936 0 678 0 000 2 28 0 0 147 0 146 0 265 0 107 0 000 0 9758 ITEM0002 1 214 0 816 1 487 0 632 0 000 3 49 0 0 118 0 124 0 224 0 096 0 000 0 9469 IRT的试题参数 Slope threshold Slope sqrt 1 slope 2 BILOG结果文件 PH3 GROUPSUBJECTIDENTIFICATIONMARGINALWEIGHTTESTTRIEDRIGHTPERCENTABILITYS E PROB 111 1 00TEST0001804657 50 0 45950 1175 0 00112 1 00TEST0001804657 50 0 50950 2318 0 00113 1 00TEST0001802835 00 1 7741