心理基础及其测量 3

心理测量第八章认知诊断理论Psychometrics李英武董妍中国人民大学心理学系第八章学习导航第一节认知诊断理论概述认知属性、Q矩阵与掌握模式。第二节常见认知诊断模型DINA、DINO与G-DINA模型。第三节认知诊断理论应用教学评估、个性化学习与培训实践。测量目标内容提要从总分评价转向对具体知识与技能单元的诊断。核心工具使用认知属性、Q矩阵和掌握模式描述知识结构。模型与应用依据属性关系选择模型，并把诊断结果转化为教学决策。记忆学习目标（一）识别认知属性、Q矩阵、掌握模式和认知诊断模型。理解解释认知诊断理论的基本假设与结构。应用根据教育测评情境构建Q矩阵并解释掌握模式。分析学习目标（二）识别影响诊断精度的属性定义、Q矩阵和模型选择问题。评价比较不同认知诊断模型的优势、限制与适用条件。认知诊断理论

认知属性

Q矩阵

掌握模式

DINADINOG-DINA关键词本章主线：定义属性，建立题目映射，估计掌握模式，形成诊断反馈。学习内容案例背景：同一总分背后的不同知识结构一元二次方程涉及因式分解、配方法、公式法及实际应用。传统结果总分只能反映整体表现，难以定位具体知识缺口。诊断需求识别学生掌握了哪些解法，在哪些认知环节出现困难。传统总分评价与认知诊断比较维度传统总分评价认知诊断评价主要结果一个总成绩或等级多个属性的掌握概率或模式个体差异相同总分常被视为相同水平区分相同总分背后的知识结构教学反馈指出总体强弱定位具体知识点与技能缺口决策用途排序、选拔和总体评价个性化教学与针对性干预案例中的认知诊断思路界定属性分解、配方、公式与建模→标定题目建立题目与属性的Q矩阵→估计模式判断每位学生的掌握组合→教学反馈匹配练习、资源和辅导第一节认知诊断理论概述通过项目反应诊断学习者在多个知识或技能属性上的掌握状态认知诊断理论CDT把心理测量与认知心理学结合，输出细粒度的知识结构信息。认知诊断理论的核心转变传统关注认知诊断关注新增信息测验总分属性掌握状态具体知识点是否掌握群体排序个体知识结构优势与薄弱属性组合一次评价诊断与反馈循环后续学习资源与路径总体误差题目与属性映射质量Q矩阵和模型适配性完成特定任务所需的基本知识、技能或认知过程单元认知属性属性需要具有清晰定义、可操作边界，并能与具体项目建立联系。不同领域中的认知属性领域认知属性示例可观察任务数学代数运算、几何推理、概率计算解题步骤与答案语言词汇运用、语法理解、阅读推理选择、填空与阅读反应职业技能规则识别、故障诊断、程序执行操作任务与情境判断社会认知情绪识别、观点采择、冲突处理情境作答与行为选择题目设计认知属性是测验构建的基础每道题应对应一个或多个预先定义的属性。结构表达Q矩阵把题目与属性之间的关系转化为可分析数据。质量要求属性定义含混会使题目标定与诊断结果失去一致标准。细粒度分析认知属性揭示知识结构分别估计学习者在每个属性上的掌握状态。结构差异区分总分相近但知识优势和缺口不同的学习者。诊断图谱形成个体或群体层面的知识结构画像。薄弱属性认知属性支持个性化反馈推荐针对性讲解、例题与强化练习。已掌握属性减少重复练习并提供更具挑战性的任务。学习路径根据诊断更新内容顺序和学习节奏。班级诊断认知属性提高教学决策的针对性识别大多数学生共同困难的认知属性。教学调整改变讲解重点、课堂活动与作业设计。效果评价比较教学前后的属性掌握变化。总分局限认知属性提供多维评价单一成绩压缩了不同知识维度的差异。多维报告同时呈现词汇、语法、阅读等属性表现。学习规划学习者可据此确定后续努力方向。认知属性的五项作用作用核心问题主要产出测验构建每道题考查什么题目与属性映射知识诊断学习者掌握了什么个体掌握模式个性化反馈下一步学习什么资源与练习建议教学决策班级薄弱点在哪里教学内容调整多维评价哪些维度强或弱属性层面的成绩报告描述测验项目与认知属性对应关系的二值矩阵Q矩阵行表示题目，列表示属性，元素1表示该题需要相应属性。Q矩阵的维度J测验中的题目数量。K诊断所包含的认知属性数量。Q矩阵元素的定义二值编码1表示需要属性，0表示不需要属性。解释边界编码表达必要属性，而非学习者是否掌握该属性。Q矩阵示例读取方法第一行[1,0,1]表示题目1需要属性1和属性3。诊断基础每一行定义该题的属性要求组合。Q矩阵的行与列如何解释矩阵位置表示对象解释示例一行一道测验题目第j题需要哪些属性一列一个认知属性哪些题目考查第k个属性单元格为1题目需要该属性属性进入理想反应判断单元格为0题目不需要该属性该属性不影响该题的要求Q矩阵的构建过程定义属性依据课程目标明确知识与技能单元→设计题目确保每题考查明确的属性组合→完成标定逐题填写0或1形成矩阵→验证修正专家审阅并结合反应数据调整依据第一步：定义认知属性课程大纲、教学目标与认知任务分析。标准属性名称明确，内涵边界清晰，能够在题目中操作化。风险属性过宽会降低诊断细度，属性过细会增加模型复杂度。覆盖第二步：设计测评题目每个属性应由足够数量的题目反复测量。对应每道题至少对应一个属性，避免无目标项目。难度题型和难度需符合目标群体与教学内容。逐题分析第三步：建立题目与属性映射判断完成题目所必需的知识与技能。矩阵编码用1和0表达属性是否进入该题的要求。一致规则所有专家依据相同属性定义与标定标准。专家证据第四步：验证与修正Q矩阵由学科专家和测量专家独立审阅。数据证据根据作答模式、模型拟合和异常项目检查标定。迭代修正综合专家意见与数据结果调整矩阵。Q矩阵质量风险与控制风险可能后果控制方法属性定义含混专家标定不一致建立属性说明与正反例属性覆盖不足部分属性难以稳定估计增加代表性项目题目多属性负荷过高理想反应难以解释简化任务或拆分题目只依赖专家判断潜在错标无法发现结合数据驱动的Q矩阵检验学习者在K个认知属性上的二值掌握状态组合掌握模式每个属性取0或1，因此理论上共有2ᴷ种可能模式。属性掌握向量取值αik=1表示学习者i掌握属性k，0表示未掌握。用途向量完整描述一名学习者的知识状态。掌握模式的可能组合完全掌握所有属性取值均为1。完全未掌握所有属性取值均为0；其余属于部分掌握。三类掌握模式模式向量特征诊断含义完全掌握(1,1,…,1)所有目标属性均达到掌握标准完全未掌握(0,0,…,0)所有目标属性均未达到掌握标准部分掌握0与1同时出现存在明确的优势属性与知识缺口个体反馈掌握模式的诊断价值说明学习者已掌握与未掌握的具体属性。群体分析统计不同模式的人数与分布，识别共性困难。干预设计把教学资源与掌握模式进行匹配。第二节常见认知诊断模型三类认知诊断模型概览模型属性关系主要特点DINA“与”关系必须掌握全部所需属性，非补偿性DINO“或”关系掌握任一所需属性即可提升成功概率G-DINA一般交互关系估计主效应与多属性交互，最灵活确定性输入、噪声“与”门模型DINA模型所有必要属性同时掌握时，学习者才具有较高答对概率。联合规则DINA模型的非补偿性缺少任何一个必要属性，其他属性不能完全补偿。项目结构一个题目可需要多个属性，一个属性也可被多题考查。矩阵表达Q矩阵定义每道题的必要属性组合。DINA模型的三个要素要素符号或形式作用Q矩阵qjk定义题目j需要的属性k知识状态αi表示学习者i掌握的属性集合观察反应Xij∈{0,1}记录学习者i对题目j的实际作答理想反应理想反应与观察反应根据Q矩阵和知识状态确定在无噪声条件下是否应答对。观察反应现实作答还会受到滑落、猜测和偶然因素影响。模型任务用概率模型连接不可观测的知识状态与可观测反应。DINA理想反应（8-2）判定只有全部必要属性均为1时，ξij才等于1。非补偿任一必要属性未掌握都会使乘积变为0。滑落sj滑落参数与猜测参数已掌握全部必要属性，但仍然答错的概率。猜测gj未掌握全部必要属性，但偶然答对的概率。噪声作用两类参数使理想反应与观察反应不必完全一致。DINA作答概率（8-1）未掌握状态ηij=0时，答对概率为gj。掌握状态ηij=1时，答对概率为1−sj。条件独立局部独立性假设给定学习者知识状态后，各题反应彼此独立。统计意义反应之间的关联由共同的属性掌握状态解释。违背风险题目依赖、共同材料或提示效应会影响参数估计。条件反应模式概率（8-3）乘积结构把给定知识状态下每道题的反应概率相乘。概率来源Pij由理想反应、滑落和猜测参数共同决定。边际反应模式概率（8-4）状态枚举对2ᴷ种可能的知识状态求和。权重每种条件概率由相应知识状态的先验概率加权。DINA模型的核心假设假设含义适用判断“与”关系所有必要属性必须同时掌握任务存在不可替代的步骤二值掌握属性状态只分掌握与未掌握掌握标准可以明确界定局部独立给定知识状态后题目反应独立不存在明显题组依赖题目噪声滑落与猜测解释偶然偏离两类误差具有合理含义适用情境DINA模型的适用范围与限制任务步骤具有严格先后关系，关键属性不可替代。解释优势参数少，掌握模式和题目参数较易解释。主要限制若属性可相互补偿，严格“与”关系会造成模型错配。确定性输入、噪声“或”门模型DINO模型掌握任意一个相关属性即可显著提高答对概率。DINA与DINO的区别比较维度DINADINO属性逻辑“与”关系“或”关系成功条件掌握全部必要属性掌握至少一个相关属性典型任务步骤不可替代的程序性任务存在多种解题策略的任务补偿性非补偿部分属性可以替代其他属性DINO潜在反应指标（8-5）取值为1至少一个题目所需属性已经掌握。取值为0所有相关属性都未掌握。DINO作答概率（8-6）猜测参数未满足属性需求时仍可能答对。失误参数满足属性需求后仍可能答错。DINO案例：Q矩阵与属性模式题目1需要属性1或属性2。题目2需要属性2或属性3；学习者掌握属性1和3。DINO案例：潜在反应判断结果在“或”关系下，两个题目均至少有一个所需属性被掌握。比较若采用DINA，题目1和题目2都需要全部相关属性同时掌握。极大似然估计DINO参数估计的两条路径寻找使观测反应数据概率最大的参数组合。贝叶斯估计将先验分布与似然函数结合形成后验分布。数值计算高维模型通常使用EM算法、MCMC或其他迭代方法。对数似然函数（8-7）数据Xij记录被试i在题目j上的0或1反应。估计目标选择参数Θ使对数似然函数达到最大。初始值极大似然估计的基本过程为题目参数和知识状态分布设定起始值。迭代更新交替计算潜在状态概率并更新模型参数。收敛判断参数变化或似然增量达到预设标准后停止。贝叶斯后验分布（8-8）先验P(Θ)表达观察数据之前的参数信息。后验P(Θ|X)综合先验与数据，成为推断目标。抽样MCMC在贝叶斯估计中的作用从复杂后验分布中生成大量参数样本。汇总计算后验均值、方差和可信区间。诊断检查链的收敛、混合状态和有效样本量。极大似然与贝叶斯估计比较维度极大似然估计贝叶斯估计信息来源主要依赖样本似然先验信息与样本似然主要结果点估计与标准误后验分布与可信区间计算方法EM或数值优化MCMC或变分方法适用考虑大样本、参数可识别复杂模型或需要先验约束属性关系DINO模型的局限与发展简单“或”关系难以表达复杂的属性交互。高维问题属性数增加会使潜在模式和参数数量快速增长。扩展方向连续属性、多级评分、动态诊断与更一般的交互模型。允许属性主效应和多阶交互效应的一般化认知诊断模型G-DINA模型DINA与DINO可以视为G-DINA在特定参数约束下的特例。灵活性G-DINA模型的四项特点同时表达“与”“或”及混合属性关系。参数化估计单个属性与属性组合对答题概率的影响。通用性通过参数约束可还原多种简化模型。精确性适合知识点之间存在复杂交互的测评任务。G-DINA作答概率（8-9）基准概率δj0表示未掌握任何相关属性时的正确概率。交互效应δjS表示属性集合S对成功作答概率的增量。G-DINA中的模型约束模型形式保留的效应结构属性关系解释DINA约束主要保留最高阶联合效应全部属性共同作用DINO约束参数满足加性“或”门结构任一属性可带来成功加性模型保留属性主效应各属性贡献累加一般G-DINA主效应与多阶交互均可估计数据决定复杂关系认知诊断模型的选择判断依据优先模型选择理由所有步骤均不可缺少DINA符合非补偿的“与”关系多种策略可独立完成任务DINO符合替代性的“或”关系属性关系不明确或较复杂G-DINA允许检验主效应和交互样本较小、属性较多简约模型减少参数并提高稳定性模型选择与检验流程理论判断分析任务中的属性关系→候选模型确定DINA、DINO或G-DINA→拟合比较检查整体与项目层面的拟合→诊断验证评估分类准确性与解释价值第三节认知诊断理论应用知识结构教学评估中的认知诊断生成学生在不同属性上的掌握图谱。教学反馈识别个体薄弱点和班级共同困难。后续决策调整教学重点、分组方式、作业与测验。个体层面精确诊断学习者知识结构判断每名学生在代数、几何、统计等属性上的掌握情况。班级层面比较属性掌握率，定位普遍性学习障碍。结果形式使用掌握概率、二值模式或诊断报告呈现。共同薄弱点优化教学策略重新讲授并增加课堂练习。少数学生困难提供额外辅导，避免全班重复学习。教学评价比较策略调整前后的属性掌握变化。分组依据支持课堂分组教学按知识结构和掌握模式形成学习小组。任务匹配为不同小组提供难度和重点不同的任务。动态调整诊断结果更新后重新配置小组。已掌握属性指导作业与测验设计安排综合题或迁移任务。薄弱属性提供分步骤练习和即时反馈。题库建设确保每个目标属性具有足够且多样的项目覆盖。个性化学习的实施过程初始诊断形成首个掌握模式→资源推荐匹配讲解与练习→动态测评更新属性掌握状态→路径调整切换后续学习内容诊断结果还应反馈给教师，用于优化课堂与辅导策略。个性化学习的应用场景场景诊断对象主要用途基础教育学科知识点与解题技能推荐薄弱知识点练习在线学习平台课程模块与学习行为动态推荐资源和路径职业培训岗位知识与操作技能定制技能提升方案教材结构教材开发与课程设计对高难度知识点增加讲解、例题与练习。课程层次根据掌握模式设置基础、进阶与挑战课程。内容衔接利用属性先修关系优化知识点顺序。效果比较教育管理与教学质量评估比较不同教师、班级或教学方案的属性掌握结果。资源配置把师资与辅导资源投向共同薄弱的知识领域。谨慎解释诊断结果同时受生源、题目和Q矩阵质量影响。技能诊断职业培训与终身学习识别员工在数据结构、算法或岗位程序中的短板。培训定制按掌握模式匹配课程、练习与实践任务。持续更新通过周期性评估追踪技能变化。认知诊断理论的应用版图应用领域主要问题诊断结果的用途教学评估学生具体缺什么调整课堂与辅导个性化学习下一步学什么推荐资源与学习路径教材课程哪些内容最难优化结构与层次教育管理资源投向哪里评估教学并配置资源职业培训员工缺哪些技能定制培训与认证内容基础认知诊断应用的前提条件建立清晰、稳定并具有教学意义的属性体系。测量基础题目覆盖充分，Q矩阵准确，样本量满足估计要求。使用基础诊断报告能够转化为课程、资源和干预行动。实施挑战与控制方法挑战潜在风险控制方法Q矩阵构建复杂错标导致错误诊断专家评审与数据检验结合高维模型计算量大估计不稳定或不收敛控制属性数量并选择