认知诊断理论辛涛课件

1、认知诊断理论辛涛认知诊断理论辛涛认知诊断理论辛涛?认知诊断理论?课程说明2第一页，编辑于星期三：十五点 三十分。认知诊断理论辛涛认知诊断理论辛涛认知诊断理论辛涛?认知诊断理?认知诊断理论?课程说明时间段授课内容上 午8:3011:30认知诊断理论概述晚 上认知诊断理论应用：认知诊断计算机化自适应测验 (CD-CAT)认知诊断实操部分：MATLAB软件的使用第二页，编辑于星期三：十五点 三十分。2?认知诊断理论?课程说明时间段授课内容上 午8:3011:认知诊断理论概述认知诊断理论的背景与基础1Q矩阵的重要地位与规则空间模型2常见认知诊断模型介绍3认知诊断评估的结果报告4认知诊断评估对我国学业评

2、价的启示5第三页，编辑于星期三：十五点 三十分。3认知诊断理论概述认知诊断理论的背景与基础1Q矩阵的重要地位与1、认知诊断理论的背景与根底第四页，编辑于星期三：十五点 三十分。41、认知诊断理论的背景与根底第四页，编辑于星期三：十五点 三认知诊断理论的背景 教育问责制 (accountability in education)问责的含义Account：会计、账目清算；说明、解释Accountability vs. Responsibility教育问责的开展的脉络80s欧美教育文献的高频词No Child Left Behind Act(2002)Educational Accountabili

3、ty vs. Educative Accountability第五页，编辑于星期三：十五点 三十分。5认知诊断理论的背景 教育问责制 (accountabilit认知诊断理论的背景 教育问责制 (accountability in education)问责制涉及的核心问题明确可行的教育目标和标准相应的法律法规体系责任共担的教育性问责取向教育评测Assessment的作用客观可靠的数据系统第六页，编辑于星期三：十五点 三十分。6认知诊断理论的背景 教育问责制 (accountabilit认知诊断理论的背景 教育问责制 (accountability in education)No Child L

4、eft Behind Act (2002)：强化测验在评估中的作用；加强结果评估 (consequential assessment) 与教学之间的联系学生 (测验分数) 学校与教师 形成性评估 (formative assessment)第七页，编辑于星期三：十五点 三十分。7认知诊断理论的背景 教育问责制 (accountabilitK-12评估的革新教育评估应该更好地反映学生的学习，为教学提供反响信息： Cronbachs (1957)：The Two Disciplines of Scientific Psychology Glasers (1976)：conceptualizatio

5、n of an instructional psychology that would adapt instruction to students individual knowledge states 认知理论与心理计量模型的结合 (Glaser & Silver, 1994; Pellegrino, Baxter, & Glaser,1999; Pellegrino, Chudowsky, & Glaser, 2001)第八页，编辑于星期三：十五点 三十分。8K-12评估的革新教育评估应该更好地反映学生的学习，为教学提CTT与IRT分数的局限经典测验理论：1：X = T + E2：信度、效

6、度、难度和区分度为指标传统统计分数项目反应理论：1：项目水平模型项目反应函数2：基于IRT的认知诊断模型的基础CTT和IRT都只能将被试进展排序，无法获得更多的测验信息！第九页，编辑于星期三：十五点 三十分。9CTT与IRT分数的局限经典测验理论：传统统计分数项目反应理认知心理学的开展 对被试问题解决过程的心理提醒认知心理学学科心理学教育心理学学习心理学 认知属性 (attribute)知识点技能心理过程第十页，编辑于星期三：十五点 三十分。10认知心理学的开展 对被试问题解决过程的心理提醒第十页，编辑于认知心理学的开展 (续) 认知诊断的定义对被试在测验所测属性或知识点 (如通分、借位与约分

7、等) 上的掌握水平进展分类 (掌握还是未掌握)通过认知诊断方法或模型确定被试的不可直接观测的认知构造或知识状态，确定被试已经掌握哪些属性，哪些属性未掌握需要补救除了二分，还可以是多分的情况第十一页，编辑于星期三：十五点 三十分。11认知心理学的开展 (续) 认知诊断的定义除了二分，还可以是多测验分数的实质解构传统测验认知诊断测验单个总分每个属性都有一个分数第十二页，编辑于星期三：十五点 三十分。12测验分数的实质解构传统测验认知诊断测验单个总分每个属性都有一传统测验理论认知诊断理论20世纪80年代20世纪60年代传统测验理论认知诊断理论 (CDT)项目反应理论 (IRT)概化理论 (GT)经典

8、测验理论 (CTT)第十三页，编辑于星期三：十五点 三十分。13传统测验理论认知诊断理论20世纪80年代20世纪60年代传2、Q矩阵的重要地位与规那么空间模型第十四页，编辑于星期三：十五点 三十分。142、Q矩阵的重要地位与规那么空间模型第十四页，编辑于星期三：题目属性关联矩阵Q1111111011111100111110001111000011100000110000001题目属性关联矩阵Q77 (行代表属性，列代表题目)第十五页，编辑于星期三：十五点 三十分。15题目属性关联矩阵Q111111101111110011111非统计的诊断方法教师观察：教师根据学生作业或考试表现主观判断；出声思

9、维：根据Q矩阵界定的属性，对学生进展出声思维考察；费时费力，难以区分随机因素对被试作答造成的影响；统计方法或测量方法：CTT & IRT CDT。第十六页，编辑于星期三：十五点 三十分。16非统计的诊断方法教师观察：教师根据学生作业或考试表现主观判断认知诊断评估的根本过程模型选择分数报告认知分析认知属性分析： 属性提取 属性层级关系界定 测验Q矩阵标识测验题目编制 认知诊断模型： 模型选择 参数估计 统计收敛性 模型数据拟合检验分数报告： 属性掌握概率 学习之路 学习优势剖面图第十七页，编辑于星期三：十五点 三十分。17认知诊断评估的根本过程模型选择分数报告认知分析认知属性分析：常见的认知诊断

10、模型认知诊断模型 (Cognitive Diagnostic Model, CDM) 线性逻辑斯蒂克测验模型 (LLTM) (Fischer, 1973) 规那么空间模型 (RSM) (Tatsuoka, 1983) 统一模型 (UM) (DiBello, Stout, & Roussos, 1995) 融合模型 (FM) (DiBello, Stout, & Roussos, 1995) “噪音输入，确定性与门模型 (NIDA) (Maris, 1999) “确定性输入，噪音与门模型 (DINA) (Junker & Sijstma, 2001) 属性层级模型 (AHM) (Leighton

11、, Gierl, & Hunka, 2004) “确定性输入，噪音或门 模型 (DINO) (Templin & Henson, 2006) 广义的DINA模型 (G-DINA) (de la Torre, 2021)第十八页，编辑于星期三：十五点 三十分。18常见的认知诊断模型认知诊断模型 (Cognitive Dia认知诊断模型分类没有显式的工程特征函数 (ICF) 规那么空间模型 (RSM) 属性层级模型 (AHM) 严格意义上讲，RSM和AHM都不是统计模型而是分类模型有显式的ICF 潜类别模型 DINA、DINO、NIDA、G-DINA，等等 多维工程反响理论 (MIRT) 模型 补

12、偿型模型：多维两参数逻辑斯蒂克模型 (M2PLM) (Reckase, 2021) 非补偿型模型：多成分潜在特质模型 (MLTM) (Whitely, 1980)验证性的多维模型有效第十九页，编辑于星期三：十五点 三十分。19认知诊断模型分类没有显式的工程特征函数 (ICF)验证性的多认知诊断模型分类 (续)图示认知诊断模型多维IRT模型： 非补偿性模型： Whitely (1980) ：多成分潜在特质模型(MLTM) 补偿性模型：多维正态肩形模型 (MNO)多维Logistic模型(Reckase & McKinley, 1982, 1991, 1997)潜类别模型： DINA模型 统一模型

13、(Unified Model) 融合模型 (Fusion Model)规则空间模型属性层级模型第二十页，编辑于星期三：十五点 三十分。20认知诊断模型分类 (续)图示认知诊断模型多维IRT模型：潜认知诊断模型分类 (续)值得注意的几点： 与CDM一样，MIRT模型也具有认知诊断功能 (Embretson & Yang, 2021) MIRT除了能够提供被试总的测验分数，还能提供被试在每个 维度上更为精细的领域分数 (domain score) 通过MIRT分析可以得到被试在每个分量表上的连续估计值用于 替代CDM提供的二分诊断结果 (掌握/未掌握)丁树良等 (2021) 认为CDM 特别适用于

14、形成性评估，因为它涉及的属性较少且属性粒度也较小；但对于总结性评估 (如学年测验、高校招生考试)，由于涉及的属性较多，往往使用能力 (能力粒度比属性粒度大) 而非属性来标注Q矩阵，这时使用MIRT 进展诊断分析更为适宜。第二十一页，编辑于星期三：十五点 三十分。21认知诊断模型分类 (续)值得注意的几点：丁树良等 (2021认知诊断模型规那么空间模型RSM的提出 Tatsuoka (1981, 1983) 对被试的错误规那么进展分析，提出了一种 叫做规那么空间的剖面图分析方法，成为了最初的规那么空间思想的 雏形 从带符号的减法例子中找出47种规那么，其中27种是错误规那么 Tatsuoka (

15、1985) 提出了RSM的成型构念第二十二页，编辑于星期三：十五点 三十分。22认知诊断模型规那么空间模型RSM的提出第二十二页，编辑于星认知诊断模型规那么空间模型最初的错误规那么分析错误规那么1：改变括号里的符号，再按照正常的加法来完成题目错误规那么2：通过大的减去小的得到结果，然后用第一个数的符号作为结果符号错误规那么3：除简单的减法外，一律将减号变成加号处理错误规那么4：一律拿大数减去小数，然后将大数的符号作为结果符号第二十三页，编辑于星期三：十五点 三十分。23认知诊断模型规那么空间模型最初的错误规那么分析错误规那么1认知诊断模型规那么空间模型认知诊断问题对应于统计模式分类问题 将可观

16、测的反响模式 (ORP) 与不可观测的认知构造 (CS) 或知识 状态 (KS) 或属性掌握模式 (AMP) 建立联系 由KS和测验蓝图Q可以确定理想反响模式 (IRP)。如果Q中包括可达 矩阵R，可保证KS与IRP之间的一一对应 规那么空间模型 (RSM) 通过维度化简技术将m维 (m代表题目数) IRP/ORP约简到二维的笛卡尔空间，从而建立ORP与IRP的关系第二十四页，编辑于星期三：十五点 三十分。24认知诊断模型规那么空间模型认知诊断问题对应于统计模式分类问认知诊断模型规那么空间模型点击添加标题3PLM题目参数值被试作答模式理想反响模式匹配分类RSM (Tatsuoka, 1983,

17、 1985)广义距离 (孙佳楠, 2021, 2021)直接匹配：匹配作答模式间接匹配：匹配 (, ) 对认知诊断问题对应于统计模式分类问题 (续) 被试分类的根本思想第二十五页，编辑于星期三：十五点 三十分。25认知诊断模型规那么空间模型点击添加标题3PLM题目参数值被认知诊断模型规那么空间模型规那么空间模型的主要步骤 Q矩阵理论局部确定属性与题目间的关系并编制事件Q矩阵 (incidence Q matrix)界定属性间的先决关系 (prerequisite)确定可能的属性掌握模式 (AMP)计算理想反响模式 (IRP) 模式分类局部估计题目参数和被试参数建立二维的规那么空间对实际作答模式

18、进展分类并计算属性掌握概率检验分类的效度第二十六页，编辑于星期三：十五点 三十分。26认知诊断模型规那么空间模型规那么空间模型的主要步骤第二十六认知诊断模型规那么空间模型1 确定属性与题目间的关系 邀请学科专家、教学专家及测量学家对已编制好的测验进展分析 确定属性与题目之间的关系 编制事件Q矩阵 (incidence Q matrix) 假设有K个属性和m个题目，可将Q矩阵记为QKm 题目1考核属性1和3，题目2测量属性2， ，题目5考核最后1个属性认知设计矩阵第二十七页，编辑于星期三：十五点 三十分。27认知诊断模型规那么空间模型1 确定属性与题目间的关系认知认知诊断模型规那么空间模型2 界

19、定属性间的先决关系 通过Q矩阵中行与行之间的关系比较得出属性间的先决关系 确定邻接矩阵A：仅反映属性间的直接先决关系 确定可达矩阵R：反映属性间的直接先决关系、间接关系及自反关系 对于不断增大的正整数n (n是1到K之间的数)，当 (A+I)n不再变化时，即可 得到R矩阵： R = (A+I)n Tatsuoka使用的理论有： 图论 (计算邻接矩阵与可达矩阵等) 集合论 (确定偏序关系与包含关系等) 抽象代数 (格、布尔格或布尔代数) 布尔描述函数 (BDF)第二十八页，编辑于星期三：十五点 三十分。28认知诊断模型规那么空间模型2 界定属性间的先决关系第二十认知诊断模型规那么空间模型2 界定

20、属性间的先决关系 (续) 给出属性先决关系，容易写出A矩阵和 R矩阵某属性先决关系图与右侧属性先决关系图相对应的A矩阵与R矩阵第二十九页，编辑于星期三：十五点 三十分。29认知诊断模型规那么空间模型2 界定属性间的先决关系 (续认知诊断模型规那么空间模型3 确定可能的属性掌握模式 (AMP) 考察K个属性，最多有2K - 1种AMP (不包括不掌握任何属性的零 向量) 将每种AMP看成矩阵的1列，所有2K - 1种AMP构成Qc矩阵 删除Qc矩阵中不符合属性先决关系的列，得到简化事件Qr矩阵 (reduced Q matrix) Qr可通过Tatsuoka (1995) 的“删除法或丁树良等

21、(2021) 的“扩 张法(基于R矩阵直接扩大) 得到Qr总共包括7种AMP，虚线左侧为R矩阵内容，虚线右侧为根据R矩阵“扩张生成的新AMP第三十页，编辑于星期三：十五点 三十分。30认知诊断模型规那么空间模型3 确定可能的属性掌握模式 (认知诊断模型规那么空间模型4 计算理想反响模式 (IRP) “理想是指在不存在失误 (slipping) 和猜测 (guessing) 的情况下， 被试作答反响完全由“被试有且只有掌握题目的所有属性，才 能正确作答该题目的原那么确定 确定IRP有4种方法 符号说明 qi：Qr的第i列，代表第i个理想被试的AMP pj：Q的第j列，代表第j个题目的属性向量 方

22、法1第三十一页，编辑于星期三：十五点 三十分。31认知诊断模型规那么空间模型4 计算理想反响模式 (IRP认知诊断模型规那么空间模型4 计算理想反响模式 (IRP) (续) 确定IRP有4种方法 方法2 方法3 方法4第三十二页，编辑于星期三：十五点 三十分。32认知诊断模型规那么空间模型4 计算理想反响模式 (IRP认知诊断模型规那么空间模型RSM中基于AMP和Q计算IRPSN掌握属性属性掌握模式 理想反应模式1none(0, 0, 0)(0, 0, 0, 0)2A1(1, 0, 0)(0, 0, 0, 0)3A2(0, 1, 0)(0, 0, 0, 0)4A3(0, 0, 1)(0, 1,

23、 0, 0)5A1 A2(1, 1, 0)(0, 0, 0, 1)6A1 A3(1, 0, 1)(1, 1, 0, 0)7A2 A3(0, 1, 1)(0, 1, 1, 0)8A1 A2 A3(1, 1, 1)(1, 1, 1, 1)i1i2i3i4A11001A20011A31110Q矩阵第三十三页，编辑于星期三：十五点 三十分。33认知诊断模型规那么空间模型RSM中基于AMP和Q计算IRP认知诊断模型规那么空间模型5 估计题目参数和被试参数 将所有ORP与所有IRP合并成一个大的作答矩阵U 样本量越大，反响模式越丰富，参数估计也就越准确 采用参数估计软件 (如BILOG或PARSCALE)

24、 估计 所有题目的题目参数 所有被试的能力参数 包括IRP所对应的理想被试的能力值第三十四页，编辑于星期三：十五点 三十分。34认知诊断模型规那么空间模型5 估计题目参数和被试参数第三认知诊断模型规那么空间模型6 建立二维的规那么空间 将所有IRP和ORP都降维到二维的笛卡尔空间，再进展判别分类 定义能反映被试作答反响模式异常程度的指标f (X)第三十五页，编辑于星期三：十五点 三十分。35认知诊断模型规那么空间模型6 建立二维的规那么空间第三十认知诊断模型规那么空间模型6 建立二维的规那么空间 (续)不失一般性，假设题目由易到难排序对于正常反响模式，被试在前t个题上的作容许该以1为主 (xj

25、前面的系数为正)，在后m-t个题上的作容许该以0为主 (xj前面的系数为负)。f (X) 值越小，被试作答模式越正常；反之，被试作答模式越异常。第三十六页，编辑于星期三：十五点 三十分。36认知诊断模型规那么空间模型6 建立二维的规那么空间 (续认知诊断模型规那么空间模型6 建立二维的规那么空间 (续) f (X) 只能衡量当前被试总体中被试反响模式的异常程度 为衡量当前被试总体以外被试的反响模式异常程度，需要对 f (X) 进展标准化可得到与所有IRP和ORP对应的点集第三十七页，编辑于星期三：十五点 三十分。37认知诊断模型规那么空间模型6 建立二维的规那么空间 (续认知诊断模型规那么空间

26、模型6 建立二维的规那么空间 (续)规那么空间，圆卷对应IRP，十字星对应ORP第三十八页，编辑于星期三：十五点 三十分。38认知诊断模型规那么空间模型6 建立二维的规那么空间 (续认知诊断模型规那么空间模型7 分类并计算属性掌握概率 每个纯规那么点对应一种认知错误类型 (或认知构造) 采用计算马氏距离的方法，将各个真实点判归到纯规那么点 为消除马氏距离带来的误判，可使用贝叶斯判别分析 qt为先验概率，一般为一致性分布或正态分布 假设点击添加标题第三十九页，编辑于星期三：十五点 三十分。认知诊断模型规那么空间模型7 分类并计算属性掌握概率点击认知诊断模型规那么空间模型7 分类并计算属性掌握概率

27、 (续) 为消除马氏距离带来的误判，可使用贝叶斯判别分析 假设先验分布为正态分布点击添加标题第四十页，编辑于星期三：十五点 三十分。认知诊断模型规那么空间模型7 分类并计算属性掌握概率 (认知诊断模型规那么空间模型8 检验分类的效度 KS是潜在的，很难确认被试是否被正确分类 最直接做法：比较RSM的分类结果与学生口头报告的结果 缺点是本钱太高 替代方法是控制补救法 首先诊断被试的KS，对学生没有掌握的属性或知识点进展补救教学， 然后进展后测 如前测中未掌握的属性在后测中得到掌握，那么说明RSM的分类有效 RSM假设：没有掌握的属性或知识点，如不补救不会自动掌握第四十一页，编辑于星期三：十五点

28、三十分。41认知诊断模型规那么空间模型8 检验分类的效度第四十一页，认知诊断模型规那么空间模型小结：RSM的奉献 RSM中提出的Q矩阵已成为认知诊断理论中的核心概念 RSM的图形化方法与分类的思想形象、直接、易于理解 RSM中的Q矩阵可用于构建潜在特质空间 之后的认知诊断模型无一例外地采用或借鉴这种做法 DiBello、Roussos和Stout (2007) 的综述中，明确指出有十四种 认知诊断方法使用Q矩阵，目前更多第四十二页，编辑于星期三：十五点 三十分。42认知诊断模型规那么空间模型小结：RSM的奉献第四十二页，编认知诊断模型属性层级模型AHM与RSM的关系 AHM是RSM的一种重要变

29、式 AHM用于对层级相关的认知属性进展建模 AHM与RSM的相似点 AHM在“将ORP分类到IRP方面类似于RSM AHM在生成IRP的过程中也采用了Tatsuoka的矩阵，如邻接矩阵A、 可达矩阵R、事件矩阵Q以及简化Qr矩阵等第四十三页，编辑于星期三：十五点 三十分。43认知诊断模型属性层级模型AHM与RSM的关系第四十三页，编认知诊断模型属性层级模型AHM与RSM的关系 (续) AHM与RSM的不同点 对要求建模的认知属性所作的假设不同 AHM假设：认知属性层级相关，因此属性间相互依赖 RSM假设：认知属性在建模时不需要存在层级关系或依赖关系 事件时间顺序上存在差异 AHM中，属性及属性

30、层级关系必须在测验题目开发之前确定 RSM中，属性一般在测验题目构建之后再进展标识 对属性层级关系的敏感程度不同 AHM中，认知属性按层级组织，任何测验都对属性层级关系敏感 RSM中，通过分析已有题目标识属性，对某完整的属性层级关系不敏感第四十四页，编辑于星期三：十五点 三十分。44认知诊断模型属性层级模型AHM与RSM的关系 (续)第四十认知诊断模型属性层级模型属性层级关系的重要性 AHM中，属性层级关系是测验表现的根底 AHM中，认知属性必须按层级关系组织的两大原因 认知技能不能孤立地进展操作，而属于某个相互关联的加工网络 A矩阵与R矩阵的产生是属性层级关系的数字表现 属性层级关系定义解决

31、测验问题所需属性间的心理顺序 由经历确定 (通过协议分析得到有着良好定义的、有序的认知步骤) 由理论获得 (如皮亚杰的开展序列：预操作、具体操作、正式操作) 属性层级关系可看成认知模型，它代表构造或测验表现背后的认 知能力第四十五页，编辑于星期三：十五点 三十分。45认知诊断模型属性层级模型属性层级关系的重要性第四十五页，编认知诊断模型属性层级模型属性层级关系的重要性 (续)使用6个属性的4种属性层级构造 (线型、收敛型、发散型、无构造型)第四十六页，编辑于星期三：十五点 三十分。46认知诊断模型属性层级模型属性层级关系的重要性 (续)使用66. 将实际反应模式与理想反应模式进行比较，并将实际

32、反应模式归类1. 确定属性、属性个数以及属性层级关系5. 由测验题目和属性掌握模式，确定期望的被试反应模式4. 对Qr矩阵进行转置得到E矩阵2. 定义A矩阵、R矩阵、Q矩阵及Qr矩阵3. 根据Qr矩阵编制测验题目AHM认知诊断模型属性层级模型AHM的主要步骤注：Qr矩阵的列代表符合属性层级关系的不同题目类别，E矩阵的行代表符合属性层级关系的不同属性掌握模式第四十七页，编辑于星期三：十五点 三十分。476. 将实际反应模式与理想反应模式1. 确定属性、属性个认知诊断模型属性层级模型AHM的分类方法 (详见Leighton et al. (2004) 方法A：初始分类 将某个ORP与所有期望被试反

33、响模式 (ERP) 进展比较，对01和1 0型的误差进展标识 计算所有误差概率的乘积可得到“该ORP由某个ERP得到的概率 记Vj是第j个ERP，记X为有着一样长度的ORPPjk()：被试在第k个题目上的期望作答是错误的、但实际作答是正确的概率 (即01型的误差)，1-Pjm() ：被试在第m个题目上的期望作答是正确的、但实际作答是错误的概率 (即10型的误差)第四十八页，编辑于星期三：十五点 三十分。48认知诊断模型属性层级模型AHM的分类方法 (详见Leigh认知诊断模型属性层级模型AHM的分类方法 (续) 方法A：初始分类 对于特定的，有K个01型误差和M个10型误差的概率为 当PjEx

34、pected () 最大时，被试的ORP被归类到与第j个ERP所对应的属性 掌握模式第四十九页，编辑于星期三：十五点 三十分。49认知诊断模型属性层级模型AHM的分类方法 (续)第四十九页认知诊断模型属性层级模型AHM的分类方法 (续) 方法A：初始分类有1个01型的误差出现在题目4上第五十页，编辑于星期三：十五点 三十分。50认知诊断模型属性层级模型AHM的分类方法 (续)有1个0认知诊断模型属性层级模型AHM的分类方法 (续) 方法B：初始分类方法 (方法A) 的修改 (较方法A更为保守) 通过“标识所有逻辑包含于某ORP的ERP来对ORP分类 当ERP包含于该ORP时，标注一个“匹配记号

35、 (即“)，对应的 属性掌握模式视为被被试掌握 当ERP不包含于该ORP时，仅标识10型的误差并计算其概率的乘积第五十一页，编辑于星期三：十五点 三十分。51认知诊断模型属性层级模型AHM的分类方法 (续)第五十一页认知诊断模型属性层级模型AHM的分类方法 (续) 方法B被试掌握了从第2行 (100000) 到第14行(100111)的属性掌握模式。被试也有可能掌握第15行的属性掌握模式 (110111)，但是不太可能掌握第16行所示的属性掌握模式 (111111)第五十二页，编辑于星期三：十五点 三十分。52认知诊断模型属性层级模型AHM的分类方法 (续)被试掌握了3、常见认知诊断模型介绍第

36、五十三页，编辑于星期三：十五点 三十分。533、常见认知诊断模型介绍第五十三页，编辑于星期三：十五点 三认知诊断模型DINA模型重要符号说明第i个被试的知识状态i = (i1, i2, iK)T 可以记为属性 1 2 3 4 5 6题目123N核心概念多种作答策略第五十四页，编辑于星期三：十五点 三十分。54认知诊断模型DINA模型重要符号说明第i个被试的知识状态认知诊断模型DINA模型DINA模型简介 (*) DINA模型是非常简单的、容易解释的非补偿性模型 对每个题目只需要估计两个参数失误参数和猜测参数 DINA模型的失误参数和猜测参数都建模于题目水平，其复杂性 不受属性数量的影响 基于被

37、试的知识状态i和Q矩阵可以得到一个潜在的反响向量 的取值只有4种情况：10 = 1，11 = 1，00 = 1和01 = 0 ij = 0：被试i没有掌握题目j涉及的所有属性 ij = 1：被试i除了掌握题目j涉及的属性，还可能掌握其未涉及的属性第五十五页，编辑于星期三：十五点 三十分。55认知诊断模型DINA模型DINA模型简介 (*)第五十五页认知诊断模型DINA模型DINA模型的题目参数 如果没有误差或非随机因素，被试的ORP会与某个IRP重合 潜在的过程是随机的，过程中难免会出现“失误(slipping) 和 “猜测(guessing) 等噪音 掌握题目所有属性的被试也可能失误，并错误

38、作答该题目 未掌握题目所有属性的被试也可能猜测，并以非零概率答对该题 DINA模型中，题目j的失误参数sj和猜测参数gj定义为 被试掌握题目j的所有属性，但错误作答题目j的概率 被试未掌握题目j的所有属性，但正确作答题目j的概率第五十六页，编辑于星期三：十五点 三十分。56认知诊断模型DINA模型DINA模型的题目参数第五十六页，认知诊断模型DINA模型DINA模型的工程特征函数 也即 如果没有猜测 (gj = 0) 或没有失误 (sj = 0)，正确作答题目的概率 就为0或1 猜测参数gj还可解释为“成功依赖其他智力源的概率(Maris, 1999)第五十七页，编辑于星期三：十五点 三十分。

39、57认知诊断模型DINA模型DINA模型的工程特征函数第五十七认知诊断模型DINA模型DINA模型的联合似然函数 (基于局部独立假设)第五十八页，编辑于星期三：十五点 三十分。58认知诊断模型DINA模型DINA模型的联合似然函数 (基于认知诊断模型DINA模型DINA模型的参数估计 (de la Torre, 2021) 先基于作答反响采用MMLE/EM算法估计题目参数第五十九页，编辑于星期三：十五点 三十分。59认知诊断模型DINA模型DINA模型的参数估计 (de l认知诊断模型DINA模型DINA模型的参数估计 (续) 再基于题目参数估计值及作答反响，采用贝叶斯众数估计法 (MAP)

40、或边际后验概率估计法 (MPP) 估计被试的估计状态 MAP MPP第六十页，编辑于星期三：十五点 三十分。60认知诊断模型DINA模型DINA模型的参数估计 (续)第六认知诊断模型DINA模型DINA模型参数估计流程图第六十一页，编辑于星期三：十五点 三十分。61认知诊断模型DINA模型DINA模型参数估计流程图第六十一认知诊断模型DINA模型DINA模型的特点 每个题目将所有被试仅分为两类 第一类：掌握题目所有属性的被试 第二类：没有掌握题目所有属性的被试在DINA模型中，“只有1个属性没有掌握等价于“所有的属性都没有掌握，这时候的正确作答概率都等于gj，这种做法过于简单。第六十二页，编辑

41、于星期三：十五点 三十分。62认知诊断模型DINA模型DINA模型的特点在DINA模型中认知诊断模型NIDA模型NIDA模型简介 与DINA模型一样，也是非补偿性模型 不同于DINA模型的参数建模于题目水平，NIDA模型的参数建模 于属性水平 (每个属性都有一个猜测和失误参数)第六十三页，编辑于星期三：十五点 三十分。63认知诊断模型NIDA模型NIDA模型简介第六十三页，编辑于认知诊断模型NIDA模型NIDA模型工程特征函数第六十四页，编辑于星期三：十五点 三十分。64认知诊断模型NIDA模型NIDA模型工程特征函数第六十四页认知诊断模型DINO模型DINO模型简介 不同于DINA模型和NI

42、DA模型，它属于补偿性模型 DINO模型的参数建模于题目水平第六十五页，编辑于星期三：十五点 三十分。65认知诊断模型DINO模型DINO模型简介第六十五页，编辑于认知诊断模型DINO模型DINO模型工程特征函数第六十六页，编辑于星期三：十五点 三十分。66认知诊断模型DINO模型DINO模型工程特征函数第六十六页认知诊断模型G-DINA模型G-DINA模型简介 G-DINA模型是DINA模型的一般化 通过设计矩阵和矩阵的转换，G-DINA模型可以简化为其他一些 常用的模型，如DINA和DINO等 G-DINA模型可以将所有潜大类分为 个潜在组 ( 是正确作 答题目j所需要的属性个数) 每个潜

43、在组表示一种简化的属性向量 每个潜在组都有相伴随的正确作答概率第六十七页，编辑于星期三：十五点 三十分。67认知诊断模型G-DINA模型G-DINA模型简介第六十七页认知诊断模型G-DINA模型G-DINA模型简介第六十八页，编辑于星期三：十五点 三十分。68认知诊断模型G-DINA模型G-DINA模型简介第六十八页认知诊断模型G-DINA模型G-DINA模型的工程特征函数 对于identity链接方式，G-DINA模型的正确作答概率公式可以分 解为属性的主效应以及属性间的交互效应之和红框标识的系数一般为非负，蓝框标识的可取任意值第六十九页，编辑于星期三：十五点 三十分。69认知诊断模型G-D

44、INA模型G-DINA模型的工程特征函数认知诊断模型G-DINA模型G-DINA模型的其他链接方式及特例 除了identity链接方式，还有log和logit链接方式 identity链接方式下的全模型等价于log和logit链接下的全模型 DINA模型和DINO模型是全模型的特例 A-CDM、RRUM和LLM分别是identity、log和logit链接方式下的 加法模型第七十页，编辑于星期三：十五点 三十分。70认知诊断模型G-DINA模型G-DINA模型的其他链接方式认知诊断模型G-DINA模型G-DINA模型的其他链接方式及特例 (续) DINA 可通过在G-DINA中设定“除了 和

45、，其他参数都为0得 到，并令 和 DINO 可通过在G-DINA中设定 (其中， ) 得到，并令 第七十一页，编辑于星期三：十五点 三十分。71认知诊断模型G-DINA模型G-DINA模型的其他链接方式认知诊断模型G-DINA模型G-DINA模型的参数估计 也采用MMLE/EM算法，但与DINA的稍有不同 DINA模型中是将似然函数直接对参数求偏导，令其为0解得参数值 G-DINA模型的参数比较多，直接对参数求偏导的方法计算量太大太 复杂，于是采用两阶段的方法计算 先将似然函数对概率值P求偏导，令其为0，求出P的估计值 再在所有掌握模式下用最小二乘法获得参数估计值第七十二页，编辑于星期三：十五

46、点 三十分。72认知诊断模型G-DINA模型G-DINA模型的参数估计第七认知诊断模型模型数据拟合第七十三页，编辑于星期三：十五点 三十分。73认知诊断模型模型数据拟合第七十三页，编辑于星期三：十五点认知诊断模型模型数据拟合第七十四页，编辑于星期三：十五点 三十分。74认知诊断模型模型数据拟合第七十四页，编辑于星期三：十五点认知诊断模型模型数据拟合第七十五页，编辑于星期三：十五点 三十分。75认知诊断模型模型数据拟合第七十五页，编辑于星期三：认知诊断模型模型数据拟合第七十六页，编辑于星期三：十五点 三十分。76认知诊断模型模型数据拟合第七十六页，编辑于星期三：十五点认知诊断模型模型数据拟合第七

47、十七页，编辑于星期三：十五点 三十分。77认知诊断模型模型数据拟合第七十七页，编辑于星期三：十五点认知诊断理论的研究主题认知诊断理论完善构建模型开发拟合CAT等 值DIF第七十八页，编辑于星期三：十五点 三十分。78认知诊断理论的研究主题认知诊断理论完善构建模型开发拟合CAT4、认知诊断评估的结果报告第七十九页，编辑于星期三：十五点 三十分。794、认知诊断评估的结果报告第七十九页，编辑于星期三：十五点 学生编号 12345学生的坐标 (-1.048, -.602, .131)属性掌握概率 (.550 .098 .665 .605 0 .172 .605 .828)KS D2 属性模式 工程得

48、分模式 坐标 类别概率55 1.07 01110110 00000000000000000001 (-1.29, .010, .091) .172某被试的分析结果的例子认知诊断评估的结果报告RSM的例子第八十页，编辑于星期三：十五点 三十分。80学生编号 12345认知诊断评估的Attributes A1 : Separate the whole part from the fraction part when a0 or d0 A2 : Get the common denominator(CD) when cf A3 : Convert the fraction part before g

49、etting CD A4 : Reduce the fraction part before getting CD A5 : Answer to be simplified认知诊断评估的结果报告RSM的学习之路第八十一页，编辑于星期三：十五点 三十分。81Attributes 认知诊断评估的结果报告RSM的学习Attributes A1 : Separate the whole part from the fraction part when a0 or d0 A2 : Get the common denominator(CD) when cf A3 : Convert the fraction part before getting CD A4 : Reduce the fraction part before getting CD A5 : Answer to be simplified认知诊断评估的结果报告RSM的学习之路第八十二页，编辑于星期三：十五点 三十分。82Attributes 认知诊断评估的结果报告RSM的学习认知诊断分析分数报告举例注：摘自Rupp et al. (2021)第八十三页，编辑于星期三：十五点 三十分。83认知诊断分析分数报告举例注：摘自Rupp et al. (美国最大自适应学习平台KnewtonLauren与William两位同学