版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
心理测量第六章项目反应理论Psychometrics李英武董妍中国人民大学心理学系第六章学习导航第一节项目反应理论概述项目特征曲线及四项基本假设。第二节项目反应理论模型1PL、2PL、3PL与等级反应模型。第三节参数估计与应用极大似然估计、贝叶斯估计、信息函数与自适应测验。核心问题内容提要如何根据被试对具体项目的反应,推断其不可直接观察的潜在能力。理论突破把能力参数与项目难度、区分度和猜测参数放入同一概率模型。应用价值支持题目质量分析、测验等值、题库建设和电脑化自适应测验。记忆学习目标(一)识别潜在能力、项目特征曲线、难度、区分度与猜测参数。理解解释项目反应理论的基本框架及其与经典测验理论的主要区别。应用根据项目参数与能力水平解释答对概率,并据此评价项目质量。分析学习目标(二)比较不同IRT模型的适用数据、参数结构与解释边界。评价判断IRT在自适应测验、跨文化测量和题库管理中的优势与限制。项目反应理论
项目特征曲线
难度
区分度
猜测参数关键词全球应用中国汉语水平考试的测量需求HSK面向不同语言背景和能力水平的考生,需要保持分数解释的一致性。测量挑战不同等级、题目与考生群体之间,需要建立可比较的能力量尺。IRT作用利用项目参数控制难度分布,并根据作答组型估计汉语能力。HSK案例图IRT如何支持HSK测验设计题目定标估计难度与区分度→能力估计综合具体作答组型→题库更新筛除低效或偏差题目→公平检查比较不同文化群体案例思考:题目内容、语言表达和文化经验都可能影响跨文化公平。经典测验理论与IRT的关注重点比较维度经典测验理论项目反应理论分析单位测验总分被试对每个项目的反应关系形式主要采用线性分解采用能力与答对概率的非线性模型题目属性依赖特定样本统计量用难度、区分度等参数描述测量精度通常给出总体精度允许精度随能力水平变化第一节项目反应理论概述潜在特质潜在特质与项目反应能力、态度与人格等心理属性不能直接观察,需要通过项目反应推断。反应证据被试在不同项目上的答对、答错或等级选择构成可观测信息。模型任务建立潜在特质水平与项目反应概率之间的数学关系。项目特征曲线项目特征曲线(ItemCharacteristicCurve,ICC)是指将能力不同的考生得分点连接起来所构成的曲线,用于描述被试在某个测试项目上的表现与其潜在特质(如能力、态度、人格等)之间的关系。项目特征曲线横轴项目特征曲线的坐标含义表示被试的潜在能力或特质水平,通常使用标准化量尺。纵轴表示被试在某一项目上作出正确反应或特定反应的概率。曲线形状由所选择的项目反应模型及其参数共同决定。从项目曲线到试卷曲线单个项目每个项目对应一条特征曲线→概率加总汇总各项目的期望得分→试卷曲线形成试卷特征曲线TCC项目曲线描述局部表现,试卷曲线描述整份测验的期望表现。参数个数项目反应模型决定曲线形状不同模型包含一个、两个或三个项目参数。参数取值同一模型中,参数变化会改变曲线的位置、斜率或下限。解释原则曲线必须与项目计分方式和测量假设保持一致。IRT的四项基本假设假设核心要求主要风险能力单维性项目主要测量同一潜在特质多个主要因素混入能力量尺局部独立性控制能力后,项目反应相互独立题目线索或题组依赖知道与答对一致知道答案者更可能答对粗心、误解或蒙猜破坏对应非速度限制未作答主要源于能力不足时间不足被误判为能力低基本含义能力单维性假设所有项目主要反映同一种潜在能力或心理特质。现实边界动机、焦虑、反应速度和考试技巧也可能影响项目反应。实务标准只要存在一个足以解释主要变异的主因素,通常可接受近似单维。群体差异单维性的相对性同一测验在不同群体中可能呈现不同的维度结构。数学测验例阅读能力强者主要受数学能力影响,阅读能力弱者还可能受文字理解影响。分析要求每次应用IRT前都应针对当前样本检验单维性。单维性检验与项目筛选建立题库依据理论与既有证据编题→因素分析识别主要测量因素→删除异常项目排除非主因素和低拟合项目→重复检验形成相对稳定的项目集合单向度模型与多向度模型模型适用结构解释重点单向度模型一个主要潜在因素决定项目反应用一条能力量尺解释反应概率多向度模型多个主要潜在因素共同决定反应同时估计多个能力维度局部独立性假设局部独立性假设是指当影响测验表现的能力固定不变时,考生在任何一对项目上的反应,在统计学上而言是独立的。也就是说,考生回答其中一个项目的正确概率与其余项目的正确概率之间是没有关系的。局部独立性的概率表达局部条件为什么称为“局部”独立独立性只针对潜在能力水平相同的被试。总体相关不同能力者混合时,项目反应仍可能因为共同能力而相关。检验重点控制潜在能力后,检查项目之间是否仍存在额外关联。通常情况单维性与局部独立性的关系单维性成立时,局部独立性往往也更容易成立。扩展情况多维数据只要完整界定潜在空间,也可能满足局部独立。诊断意义局部依赖常提示遗漏维度、题组效应或项目提示关系。基本逻辑“知道-答对”假设知道答案者应有较高概率答对,不知道者应有较高概率答错。推断基础研究者据此用项目反应反推被试的能力水平。可能干扰粗心、误读、反应定势与猜测都会削弱这一对应关系。要求非速度限制假设测验应提供足够时间,让被试完成其能力范围内能够完成的项目。解释低分应主要反映能力不足,而不是时间耗尽。检查分析末尾项目漏答率、作答时间分布和不同速度群体表现。应用IRT前的假设检查维度结构是否存在清晰主因素→项目依赖控制能力后是否独立→反应机制作答是否反映知道程度→时间条件速度是否主导得分模型拟合不能替代理论判断,题目内容与施测过程也必须审查。第二节项目反应理论模型项目特征函数每一种项目反应模型都对应特定的项目特征曲线。项目特征函数(itemcharacteristicfunction)是用来描述测验所欲测量的潜在特质,与其在试题上正确反应之概率间的一种数学关系。主要IRT模型比较模型计分数据项目参数主要用途1PL或Rasch二级计分难度建立简洁共同量尺2PL二级计分难度、区分度比较项目鉴别能力3PL二级计分难度、区分度、猜测多项选择题分析GRM多级计分区分度、多个阈值态度和人格等级反应别称单参数logistic模型单参数模型也称Rasch模型或1PL模型。适用数据适用于答对与答错、同意与不同意等二级计分反应。核心比较答对概率取决于被试能力与项目难度的差距。单参数模型(6-1)能力参数表示被试在潜在特质量尺上的位置。难度参数表示项目在同一量尺上的位置。概率范围项目反应概率介于0与1之间,并形成S形曲线。能力高于难度1PL参数的解释被试正确回答项目的概率高于二分之一。能力等于难度在标准Rasch模型中,答对概率为二分之一。能力低于难度被试答对概率随能力与难度差距扩大而下降。1PL计算示例条件被试能力高于平均1个标准差,项目难度低于平均0.5个标准差。结果代入模型后,正确回答该项目的概率约为0.82。1PL模型的优势与限制方面优势限制参数结构只估计项目难度,模型简洁假定所有项目区分度相同量尺解释能力与难度位于共同量尺不适合区分度差异明显的题库应用便于定标与测验等值只适用于模型拟合良好的项目扩展双参数logistic模型2PL在项目难度之外增加项目区分度。区分度反映项目区分相近能力水平被试的敏感程度。曲线表现区分度越高,曲线在项目难度附近越陡。双参数模型(6-2)新增参数区分度参数控制项目特征曲线的斜率。共同参数能力与难度之间的相对位置仍决定答对概率的基本水平。被试2PL示例设置小明能力高于平均1个标准差,小刚处于平均能力水平。项目一难度为负0.5,区分度为0.5。项目二难度同为负0.5,区分度为2。高能力被试的2PL答对概率项目一:较低区分度项目二:较高区分度结果小明答对项目一的概率为0.68,答对项目二的概率为0.95。平均能力被试的2PL答对概率项目一:较低区分度项目二:较高区分度结果小刚答对项目一的概率为0.56,答对项目二的概率为0.73。项目一区分度改变项目的鉴别力高能力与平均能力被试的答对概率差异较小。项目二较高区分度放大了不同能力水平之间的答对概率差异。选题原则在目标能力区间,应优先保留能够有效区分被试的项目。问题来源三参数logistic模型多项选择题中,即使能力很低,被试仍可能通过猜测答对。模型扩展3PL在难度和区分度之外加入猜测参数。曲线特征项目特征曲线的下限不再从零开始。猜测参数四选一项目完全随机选择时,理论答对概率为0.25。猜测参数(pseudo−chanceparameter)又称(机运参数)用Ci表示,是指答对项目i的概率下限,代表着能力很低的考生答对某试题的概率,其余各符号的定义与前述公式相同。相较于双参数logistic模型,增加的参数Ci,即把低能力考生的表现好坏因素也考虑在模型中。通常Ci参数的值比考生完全随机猜测下猜对的概率值稍小。
猜测参数(pseudo−chanceparameter)又称(机运参数)用Ci表示,是指答对项目i的概率下限,代表着能力很低的考生答对某试题的概率。三参数模型(6-3)参数结构难度决定曲线位置,区分度决定斜率,猜测参数决定概率下限。适用范围主要用于存在猜测机会的二级计分项目。项目3PL示例:万有引力题四选一题目,询问“谁发现了万有引力”。参数项目难度为负0.5,区分度为1.2,猜测参数为0.25。被试物理知识水平较低,能力参数取负2.5。3PL计算示例结果低能力被试答对该题的概率约为0.27。解释结果略高于猜测下限,主要来自四选一作答中的机运成分。1PL、2PL与3PL的参数差异模型难度区分度猜测参数复杂度1PL估计固定相同不含低2PL估计逐题估计不含中3PL估计逐题估计逐题估计高二级计分模型的选择逻辑1PL项目区分度可视为相同→2PL项目区分度差异需要估计→3PL还需处理低能力猜测应结合测验用途、样本量、模型拟合与参数稳定性选择模型。常见形式多级计分项目人格问卷和态度量表通常包含三个或更多反应等级。模型需求二级计分模型无法直接描述多个等级之间的选择概率。代表模型等级反应模型、部分评分模型与称名反应模型。用多个阈值描述被试选择某等级或更高等级的概率等级反应模型项目示例五级反应项目的四个阈值“我喜欢打篮球”,选项从非常不同意到非常同意。阈值一与二区分非常不同意和更高等级,以及不同意和更高等级。阈值三与四区分中等和更高等级,以及同意和非常同意。等级反应模型(6-4)阈值参数每个项目具有多个等级阈值。区分度参数同一项目通常使用一个区分度参数。阈值位置GRM阈值的解释被试达到某一等级或更高等级概率为二分之一时的特质位置。阈值顺序阈值通常随反应等级提高而递增。项目质量阈值分布应覆盖目标人群的主要特质区间。四个阈值“喜欢打篮球”项目的参数负1.78、负0.57、0.45和1.53。区分度项目区分度为2.32。能力条件示例计算使用平均特质水平的被试。GRM累计反应概率示例选择“不同意”或更高选择“中等”或更高结果平均特质水平被试选择不同意或更高的概率约为0.98,选择中等或更高的概率约为0.79。位置五个项目的项目特征曲线曲线越靠左,项目越容易。顺序图中项目一最容易,项目五最困难。概率读取固定能力水平后,可从纵轴读取答对不同项目的概率。图6-1项目特征曲线固定项目项目特征曲线的阅读方法沿某条曲线比较不同能力水平的答对概率。固定能力在同一横轴位置比较多个项目的答对概率。评价项目综合曲线位置、斜率和下限判断项目属性。多条曲线等级反应模型的类别曲线每个反应选项对应一条类别反应曲线。峰值位置某一选项在特定特质区间具有最高选择概率。覆盖范围曲线共同展示项目对整个特质量尺的反应倾向。图6-2等级反应模型的项目特征曲线低特质区间类别反应曲线的解释较低等级选项具有更高选择概率。中间区间中间类别应在相应特质范围内形成清晰峰值。高特质区间较高等级选项的概率逐渐占优。第三节项目参数估计与应用已知信息IRT参数估计问题研究者只观察到一组被试对一组项目的反应矩阵。未知参数被试能力、项目难度、区分度与猜测参数均需估计。核心任务寻找能够最好解释当前反应组型的参数取值。从反应矩阵到参数估计反应数据整理被试与项目作答→选择模型确定1PL、2PL、3PL或GRM→迭代估计更新能力与项目参数→拟合检验检查模型与项目适配基本思想极大似然估计寻找使当前观测反应数据出现概率最大的参数组合。统计处理反应数据视为已知,能力参数与项目参数视为未知常数。常用原因具有一致性、渐近正态性和渐近有效性等性质。极大似然估计的交替过程固定项目参数估计被试能力→固定能力参数估计项目参数→重复更新比较前后参数变化→达到收敛输出稳定估计结果满分或全错的被试可能无法获得有限的能力极大似然估计。三类极大似然估计方法方法参数处理主要适用范围局限联合极大似然同时估计能力与项目参数多种二级计分IRT模型参数多,有限样本偏差较明显条件极大似然利用能力参数的充分统计量Rasch模型不适用于2PL、3PL和多数多级模型边际极大似然对能力分布积分后估计项目参数现代IRT定标常用计算量较大问题情境联合极大似然估计能力参数和项目参数都未知,需要同时估计。方法来源伯恩鲍姆系统推动了联合极大似然在IRT中的使用。目标函数通过最大化所有被试与项目反应的联合似然获得估计值。联合似然函数(6-5)反应编码答对记为1,答错记为0。概率项每个被试在每个项目上的答对与答错概率共同进入似然函数。前提条件极大似然估计需要找到能力参数的充分统计量。Rasch模型实得总分是能力参数的充分统计量,因此可使用条件估计。适用限制2PL、3PL和多级计分模型通常不满足这一条件。基本处理边际极大似然估计把被试能力视为随机变量,并对能力分布进行积分。比较在Rasch模型中,其估计效果通常接近条件极大似然。代价项目数量和模型复杂度增加时,数值积分与计算负担明显上升。先验信息贝叶斯估计先为能力参数或项目参数指定概率分布。后验估计把先验信息与当前反应数据结合,得到参数的后验分布。优势可以缓解极端反应组型的估计问题,并提高小样本下的稳定性。贝叶斯估计的基本逻辑先验分布表达参数的既有信息→似然函数反映当前作答数据→后验分布更新参数的不确定性先验设定需要理论、历史数据或敏感性分析支持。极大似然估计与贝叶斯估计比较维度极大似然估计贝叶斯估计参数观未知但固定具有概率分布信息来源主要依赖当前样本结合先验与当前数据极端作答可能出现无穷能力估计可通过先验获得有限估计关键风险样本不足导致不稳定先验设定可能带来主观性项目反应理论的优势与局限参数量尺IRT的主要优势项目属性与被试能力可以置于共同量尺。条件精度能够说明不同能力水平上的测量信息与误差。应用扩展支持测验等值、题库建设、跨群体比较和自适应测验。项目参数项目参数与能力参数的独立性在模型拟合和量尺一致的条件下,不随被试样本任意变化。能力参数在项目定标稳定的条件下,不依赖某一套具体项目。应用价值为不同测验和不同群体之间的分数比较提供基础。信息函数与测验信息函数信息函数是用于衡量测验在不同能力水平(或特质水平)上提供信息量多少的工具。为每个测验项目提供了一个关于项目质量的综合指标,包含了难度、区分度等多个方面的作用。每个项目的信息函数可以帮助分析该项目对不同能力水平的受试者提供了多少信息,以及该项目对能力估计的误差有多大。
测验信息函数(TestInformationFunction,TIF)则是各个项目信息函数的加和,提供了对整个测验的综合信息量评估。
电脑化自适应测验初始估计确定被试能力起点→选择项目匹配当前能力且信息量高→更新能力根据新反应重新估计→停止规则达到精度或题量标准IRT的典型应用场景场景主要任务IRT提供的支持题库建设筛选和更新项目参数定标与项目质量诊断测验等值比较不同试卷成绩共同量尺与锚题设计跨文化测量检查群体公平项目功能差异分析自适应测验动态选择题目条件信息与实时能力估计数据要求IRT的主要局限模型估计通常需要较大样本和充分的项目反应信息。假设要求单维性、局部独立性与模型拟合必须得到检验。研究边界效度证据仍需依靠内容、关系和后果等多方面研究。技术复杂度多维模型和复杂计分模型的估计与解释成本较高。选择IRT前的判断清单问题判断重点测量目的是否明确确定目标特质、目标能力区间和分数用途数据是否适合检查计分类型、样本量和反应分布模型假设是否满足检验维度结构、局部依赖和速度影响参数是否稳定比较模型拟合、标准误和跨样本表现解释是否充分结合效度证据与实际决策后果本章概念主线潜在能力通过项目反应间接推断→概率模型连接能力与项目属性→参数估计从反应矩阵求解参数→测验应用定标、等值与自适应潜在特质
项目特征曲线
单维性
局部独立性
信息函数
测验信息函数基本概念能够说明每个概念在模型假设、参数解释或测验应用中的位置。项目特征曲线本章要点(一
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 中医耳穴贴压治疗耳鸣耳聋
- 内燃机车钳工改进强化考核试卷含答案
- 工业设计工艺师班组评比评优考核试卷含答案
- 制氢工保密意识竞赛考核试卷含答案
- 炉内器件高纯处理工诚信能力考核试卷含答案
- 压缩机操作工岗位心理健康考核试卷含答案
- 橡胶栽培工成果能力考核试卷含答案
- 生活垃圾收集工岗位安全责任制竞赛考核试卷含答案
- 水生植物病害防治员复试水平考核试卷含答案
- 气体分离设备装配调试工岗中团队建设考核试卷含答案
- 农业项目投资与资金筹措培训方案
- 工程设计项目拟投入设计人员及设备
- 颅面部的生长发育课件
- (45)-7.5 大球盖菇高效栽培技术
- 司法部定式公证书格式2023版
- GB/T 4909.1-2009裸电线试验方法第1部分:总则
- GB/T 39673.51-2020住宅和楼宇电子系统(HBES)及楼宇自动化和控制系统(BACS)第51部分:EMC要求、条件和测试布置
- GB/T 17626.29-2006电磁兼容试验和测量技术直流电源输入端口电压暂降、短时中断和电压变化的抗扰度试验
- 无机及分析化学考试题(附答案)
- 动植物检验检疫学之动植物检疫法规课件
- 关于现代投资理论与实务分析课件
评论
0/150
提交评论