MS-DINA模型的MCMC估计及其对混合策略作答的适用性

1、MS-DINA模型的MCMC估计及其对混合策略作答的适用性 /. - 1 - 中国科技论文在线 MS-DINA 模型的 MCMC 估计及其对混合策略作答的适用性# 刘铁川，戴海琦* 基金项目：本研究得到高等学校博士学科点专项科研基金联合资助课题(20103604110002)资助。 作者简介：刘铁川（1980 年-），男，讲师，主要研究方向为心理统计与测量 通信联系人：戴海琦（1947 年-），男，教授，博士研究生导师，主要研究方向为心理统计与测量. E-mail: （江西师范大学心理学院，南昌，330022） 5 摘要：大量心理学研究表明很多认知任务均存在多种解题策略，但囿

2、于多策略模型研究的复杂性，目前对分析多策略作答的测量学研究并不多。认知诊断通过使用 Q 矩阵刻画人的知识掌握状态，提出了解决此问题的独特思路。MS-DINA 模型是一个较新的模型，通过改变DINA模型中潜在反应变量的计算方法来实现分析多策略作答的目的，其优点是不需要多估10 计题目参数，模型相对简洁。研究通过模拟实验分析 MS-DINA 模型的 MCMC 估计的准确性，并探讨其对混合策略作答的适用性。 关键词：认知诊断评价；多策略；MS-DINA 模型；马尔可夫链蒙特卡罗法潜在类别分析 中图分类号：B841 15 MCMC estimation of MS-DINA Model and Its

3、 Performance of Modeling Mixed Strategy Data Liu Tiechuan, Dai Haiqi (School of psychology, Jiangxi Normal University, Nanchang, 330022) Abstract: Although many psychological studies have shown that many cognitive tasks which can 20 be solved by more than one strategy, due to complexity of measureme

4、nt models for multiple stratagy, therere little research in this area. Q-matrix is ultilized as profile of a persons knowledge state in cognitive diagnosis and provide a different approach for investigating problem solving using multiple strategies. MS-DINA model is a relative new psychometric model

5、 which could model multiple strategy data by adjusting the latent response varible. It remains simple and 25 and have no more parameters to estimate.The present research is focused on validity of MCMC estimation of MS-DINA model and its capacity of modeling several types of multiple strategy dataset

6、 using computer simulation. Key words: cognitive diagnosis; multiple strategies; MS-DINA model; MCMC 30 0 引言 认知诊断评价代表了与实质心理学结合的测量学发展方向。但目前认知诊断研究对心理学的研究仍然重视不够，尽管大量心理学研究表明很多认知任务(如三段论推理、图形推理等)均存在多种解题策略，而当前大量的认知诊断研究与应用中均假设所有被试解答整个测验时使用知识技能相同，因为他们使用的 Q 矩阵都只有一个。 35 事实上，对于存在多种解题策略的测验任务，不同被试可能使用不同策略、同一被试在不同

7、题目上也可能使用不同策略，因此必须使用多个 Q 矩阵刻画倾向于使用不同策略的被试作答测验时所使用的独特知识技能，这会使得作答数据分析变得非常复杂。所以有必要使 用新的测量学分析此类数据，MS-DINA 模型就是其中较新的具备分析多策略作答功能的一种认知诊断模型。研究将探讨其 MCMC估计及其对各类多策略作答的适用性。 40 /. - 2 - 中国科技论文在线 1 DINA模型 根据心理计量学手册1，DINA模型(Deterministic Inputs, Noisy “And” gate model, DINA)的历史可以追溯到Macready和 Dayton2，他们的研究中

8、所使用的模型采用与 DINA模型相似的定义，但并未使用 Q 矩阵限定题目所测属性，由于所有题目所测属性相同，所以测验中只将被试分为两类，掌握全部属性者与未掌握任何属性者。 45 DINA模型具有两个突出特点，其一是确定性输入（Deterministic Input），即在给定被试i的属性掌握向量 i? 情况下，其在第 j题上的潜在反应变量(latent response variable) ?ij的取值是确定的。被试的真实作答并不完全取决于潜在反应，即 ij ijX ? ，作答过程中存在的的假阴性(false negative)和假阳性(false positive)构成了实际作答概率的噪音(

9、Noisy)，DINA 模型中通过项目参数 js 和 jg 反映了失误(Slip)和猜测(Guess)的可能性，这是 DINA 模型的另一特50 点。 DINA模型的项目特征曲线定义如下： ? ? ? ? 11 , , 1 ij ijij i j j j jP X s g s g? ? ? ? 为保证项目特征曲线的单调性(monotone)，需要假定1 j js g? ? 3。根据上述模型定义，未掌握解题所必需的一个属性与未掌握所有属性的作答概率相同，而在解题必需属性外掌握55 更多属性也不会提高正确解题概率，所以 DINA 模型既是联合模型(conjunctive model)，也是非补偿模

10、型(noncompensatory model)。使用 DINA模型时，每个题目将被试分为两类，一类被试掌握了解题所需要的全部技能，另一类被试则至少未掌握一个解题必需的技能。此外，DINA模型中体现噪音的两个参数 js 和 jg 定义在题目水平上3，这一点与 3PLM模型中的猜测度(c 参数)类似，所以 DINA 模型中被试解题的正确概率总在 0 之上，由这一点来看，60 DINA模型更适合于二值记分(ditchtomous)作答数据。 虽然早期的认知诊断研究中一些模型假定属性之间相互独立4，但认知心理学的研究结果表明，很多并非独立发挥作用。在认知诊断评价领域，很多需要诊断的技能均与一般智力(

11、general intelligence)相关。de la Torre和 Douglus5认为多个认知属性之上存在高阶潜变量? ，他们提出了高阶 DINA模型(Higher-Order DINA model, HO-DINA)，其中采用两参数逻65 辑斯蒂克模型（2-Parameter Logistic Model，2PLM）来拟合认知属性之间的结构关系。 众多认知诊断模型之中，NIDA模型(Noisy Inputs, Deterministic, ;And; gate model, NIDA)与 DINA模型非常相似，都假定解题中认知属性的联合作用，但 NIDA 模型的猜测与失误定义在属性水

12、平之上3, 5。Junker与 Sijtsma3同时使用 DINA模型与 NIDA模型分析了传递性推理任务，发现 DINA模型中失误参数的估计值非常趋近先验分布均值，少数题目违反了70 单调性，而 NIDA 模型无此现象。de la Torre和 Douglas6对比了使用 DINA模型与 NIDA模型分析由 NIDA模型生成的模拟数据时的表现，发现 NIDA模型可以更准确地估计结构参数和被试知识状态，但 DINA 模型的准确性与之相差并不大，而对于分数减法任务 DINA 模型拟合效果更好。上述两个研究的对两模型的比较结果不一致的原因可能是多方面的，例如，两个研究所分析的认知任务、与具体的估计

13、算法都不同，虽然使用的都是MCMC 算法，但75 Junker 与 Sijtsma3使用的是 BUGS 0.6 程序，此程序使用的是自适应拒绝抽样(Adaptive Rejection Sampling, ARS)，而de la Torre和Douglas6通过自行编程使用的是MH within Gibbs算法，并且两研究所采用的先验分布也存在差异。所以，DINA 模型与 NIDA模型的差异与 /. - 3 - 中国科技论文在线 两模型的稳健性仍需进一步研究。 2 MS-DINA模型 80 de la Torre 和 Douglus6对 DINA 模型进行了扩展，提出了 MS

14、-DINA 模型（Multiple-Strategy DINA Model，）。MS-DINA模型中，假定每个题目都可以采用 M种策略解决，并且每种策略所需要的认知操作均不相同。对于存在多种解决策略的认知任务，不同的被试对于同样的题目可能采用不同的认知操作完成解题过程。若题目的解决策略有 M种，则需要M个不同的Q矩阵 1 2, , , MQ Q Q 来刻画采用不同策略被试的知识状态。MS-DINA85 模型中，在多策略情境下，第 i个被试使用第 m种策略作答第 j题的潜在反应变量定义为： 1Kijm ikkqjkm? ? 上式中，m取值为1,2, ,M ； jkmq 表示 mQ 中第 j行，第

15、 k列的元素值，也就是使用策略 m作答第 j题时，是否需要掌握第 k个认知属性； ik? 表示被试 i是否掌握了属性 k； ijm?表示被试 i使用策略 m作答题目 j的潜在反应。在MS-DINA 模型中，取M个潜在反应中的90 最大值作为被试 i对题目 j最终潜在潜在反应，即： ? ?1 2max , , ,? ? ? ?ij ij ij ijM MS-DINA 模型的其他方面与标准 DINA模型和高阶 DINA模型相同。经过上述定义后，此MS-DINA模型的似然函数便与 DINA 模型一致，可以采用标准 DINA 模型的估计方法估计模型参数。de la Torre和 Douglus6使用

16、DINA和MS-DINA两种模型生成数据，然后使95 用两种模型分析全部数据，发现多策略 DINA 模型可以很好拟合 DINA 模型生成的数据，但在分析实测数据时，多策略 DINA模型并未体现出优势。 MS-DINA 模型是将 DINA 模型扩展至多策略情形，是真正意义的认知诊断模型向多策略发展的一个重要突破，但 MS-DINA 模型与混合分布模型(见下文)不同，它并不提供被试的策略使用信息，虽然 de la Torre 和 Douglus 6认为此模型允许被试在题目间策略转换100 (strategy shift)，但目前关于此模型的研究很少，需要进一步研究分析其测量学性能。 3 研究过程

17、3.1 模拟实验设计 研究中 MS-DINA 模型的 MCMC 估计也将自编程序，也需要验证其有效性。作为多策略认知诊断评价的初步研究，为降低探讨问题的复杂性，研究中考虑的是存在两种解题策略105 的情形。MS-DINA模型作答需要使用两个 Q 矩阵生成作答数据。不论使用哪种策略解题都涉及的属性称为公共属性；除公共属性外，使用某一特定策略解决所有题目才涉及的属性称为对应策略的独特属性。 研究中分析MS-DINA 模型参数估计准确性时，将使用 MS-DINA 模型生成自身作答数据。对多策略混合作答的适用性时，将生成三类作答，分别为多策略被试内混合、多策略被110 试间混合。其中，多策略被试内混合

18、作答指的是被试在不同题目上可使用不同策略对应的属性，但所有被试的掌握状态使用单个 Q 矩阵即可刻画；而多策略被试间混合作答限制被试只能使用某一个 Q 矩阵上的独特属性。 而多策略被试间混合与多策略被试间/被试内混合作答是由不同策略各自的 Q 矩阵由 /. - 4 - 中国科技论文在线 DINA模型生成作答后、再混合而成，所以多策略被试间作答还涉及不同策略使用者的相对115 比例，模拟研究中设置了策略一和策略二使用者的比例为 1:1和 1:2两个条件。 除了 Q 矩阵类型、数据生成模型、混合数据比例等因素外，模拟研究中题目数量设定为 40 题、样本量为 1000 人，而测验所测

19、属性数量为 5 个或 7 个，不同策略 Q 矩阵间公共属性设置为 3个。 3.2 参数估计方法 120 虽然可以较方便地通过 Openbugs7软件实现 MS-DINA 模型的MCMC估计，但此程序相当耗时，不利于大量模拟计算，本研究根据 de la Torre 和 Douglas5提出的算法使用 R语言自编程序实现 DINA及MS-DINA 模型的MCMC估计，MS-DINA 模型中各参数的先验分布具体如下： ? ?0 0,1k Normal? 125 ? ?1 0,1k Normal? ? ? 0,1i Normal? ? ? ? ?11 0, 1 exp 1.7ik i k k i kB

20、ernoulli? ? ? ? ? ? ? ? ? ? ? ? ? 4 1,2,0,0.6jg Beta? ? ? 4 1,2,0,0.6js Beta? 130 3.3 评价指标 MCMC 方法估计的准确性依赖于链长能否使其平稳收敛，所以使用MCMC 方法必须评价参数估计结果的收敛性。研究将使用 CODA程序包计算模型各参数的自相关与 MPSRF，以评价MCMC估计结果的收敛性。 模拟研究的一个重要优势是可以比较估计值与真值的相差程度大小。本研究采用平均绝135 对误差与非对称性误差评价模型参数估计准确性，采用边际判准率、模式判准率、假阳性与假阴性这四个常见指标评价属性诊断的准确性。 非对称

21、性误差(Asymmetric Error, AE)反映的是参数估计结果否存在系统性的误差，公式如下： 1 1( )rep nrt rtr tAErep n? ? ? ? 140 若参数估计准确，估计值将在真值附近随机分布，高于与低于参数真值的机会均等，AE将在 0.5附近，显著高于 0.5表示总是高估模型参数，反之则为低估模型参数。 4 结果 4.1 MS-DINA模型 MCMC算法收敛性分析 MS-DINA 模型的 MCMC 估计收敛性评价使用了 5条链，各链长度均为 8000。MCMC145 估计过程中，MS-DINA 模型的属性参数、被试能力参数、属性掌握模式、题目参数由建议分布生成取值

22、的平均接受率分别为 0.026、0.626、0.015、0.143、0.080。 /. - 5 - 中国科技论文在线 MS-DINA模型各参数在不同间隔(lag)下题目参数的自相关在间隔30以上时基本都小于0.2，属性参数的自相关下降速度较慢，但随间隔增加，自相关也逐渐变小，间隔在 200 时大多数属性参数的自相关小于 0.3。MS-DINA 模型结构参数的 MPSRF 为 1.277，结构参数150 各自的 PSRF 基本都小于 1.1。基于上述结果，可认为链长设为 8000 时，MS-DINA 模型的MCMC 估计已收敛。 4.2 MS-DINA模型参数估计准确性分析 M

23、S-DINA 模型不提供被试的策略分类，所以不涉及策略使用者比例上的差异。下面对MS-DINA 模型参数估计的准确性进行分析。 155 表 1呈现了MS-DINA模型题目参数估计准确性的评价指标。可以看出， MS-DINA 模型题目参数的平均绝对偏差都比较小，s参数的绝对误差小于 g参数；非对称性误差指标均在 0.5左右，显示题目参数估计不存在系统性误差。 表 1 MS-DINA模型题目参数估计准确性 MAB AE s g s g Mean 0.009 0.016 0.485 0.490 SD 0.001 0.002 0.068 0.070 MS-DINA 模型也包括了属性的高阶结构，所以也可

24、以提供属性难度与区分度参数估计160 值。表 2呈现了此模型属性参数的准确性评价指标，可以看出，属性参数的估计误差不大，属性难度参数的平均绝对偏差要低于属性区分度；各属性参数的非对称性误差指标均在 0.5左右，结合平均绝对偏差来看，可认为大多数属性参数估计不存在系统误差。 表 2 MS-DINA模型属性参数估计准确性 MAB AE Lamda0 Lamda1 Lamda0 Lamda1 Mean 0.063 0.155 0.543 0.514 SD 0.021 0.076 0.275 0.296 表 3呈现了MS-DINA模型被试能力参数估计的准确性评价指标。可以看出，平均绝对165 偏差都比

25、较大，但估计值与真值仍有 0.7以上的相关程度；非对称性误差指标都比较接近 0.5，显示被试能力参数估计不存在系统误差。 表 3 MS-DINA模型被试能力参数估计准确性 MAB AE Corrs Mean 0.497 0.534 0.770 SD 0.008 0.018 0.016 表 4呈现了被试属性诊断的准确性评价结果。可以看出，7个属性的模式判准率均高于0.8，单个属性的模式判准率均高于 0.9。 170 表 4 MS-DINA模型被试属性判准率 MMR PMR PMR(A1-A5) A1 A2 A3 A4 A5 A6 A7 Mean 0.958 0.954 1.000 0.992 0

26、.998 0.958 0.948 0.828 0.910 SD 0.001 0.005 0.000 0.003 0.002 0.005 0.006 0.005 0.006 通过属性诊断的假阳性和假阴性指标，可以更细致地分析诊断错误的系统性偏差，表 5 /. - 6 - 中国科技论文在线 呈现了 MS-DINA 模型的相应指标。可以看出，MS-DINA 模型的独特属性的诊断假阳性明显高于假阴性。 表 5 MS-DINA模型被试属性诊断假阳性和假阴性 175 指标类型 A1 A2 A3 A4 A5 A6 A7 FP Mean 0.039 0.041 0.000 0.004 0.0

27、01 0.039 0.044 SD 0.002 0.004 0.000 0.002 0.001 0.006 0.004 FN Mean 0.003 0.005 0.000 0.004 0.000 0.003 0.008 SD 0.001 0.003 0.000 0.002 0.001 0.001 0.004 4.3 MS-DINA模型对多策略混合作答的适用性分析 下面通过分析MS-DINA模型对多策略被试内混合、多策略被试间混合的估计结果来分析其对此类作答的适用性。 表 6呈现了MS-DINA 模型的题目参数估计结果。可以看出，使用MS-DINA 模型分析多策略混合作答时，题目参数估计误差都比

28、较大(分析自身生成作答时最大为 0.017)；非对180 称性误差指标显示，分析各种多策略混合作答，MS-DINA 模型均倾向于高估题目参数；当后两种多策略混合作答中策略一使用者比例下降时，MS-DINA 模型所得题目参数与策略二对应参数相比所得的平均绝对偏差减小，但高估现象仍比较明显。 表 6 MS-DINA 对多策略混合作答适用性的题目参数估计 作答类型 MAB AE s1 g1 s2 g2 s1 g1 s2 g2 多策略被试内混合作答 Mean 0.042 0.076 NA NA 0.675 0.810 NA NA SD 0.003 0.006 NA NA 0.047 0.058 NA

29、NA 多策略被试间混合作答(1:1) Mean 0.028 0.035 0.037 0.033 0.645 0.745 0.775 0.715 SD 0.001 0.003 0.003 0.005 0.062 0.021 0.018 0.029 多策略被试间混合作答(1:2) Mean 0.031 0.036 0.030 0.031 0.610 0.705 0.785 0.720 SD 0.002 0.004 0.002 0.007 0.042 0.060 0.045 0.027 MS-DINA 模型也包括了属性的高阶结构，表 7呈现了属性参数的相应评价指标。可以185 看出，分析多策略被试间

30、混合作答属性参数估计平均绝对偏差要更大；非对称性误差指标显示分析各种多策略混合作答时，MS-DINA 模型倾向于高估属性参数；当后两种多策略混合作答中策略一被试比例下降时，MS-DINA 模型分析多策略被试间混合作答时属性参数估计的平均绝对偏差上升。 表 8 呈现了MS-DINA 模型的被试能力估计的相关指标。可以看出，使用 MS-DINA 模190 型分析多策略被试内混合作答时的平均绝对偏差更小，分析多策略被试间混合作答时更大，而在相关系数上的趋势则相反；当后两种多策略混合作答中策略一被试比例下降时，MS-DINA 模型对被试能力估计的平均绝对偏差下降，而相关系数则提高，但不是特别明显。分析

31、各种多策略混合作答时，MS-DINA 模型所得到的被试能力参数的非对称性误差指标均接近 0.5，显示其估计不存在系统性误差。 195 表 7 MS-DINA对多策略混合作答适用性的属性参数估计 作答类型 MAB AE Lamda0 Lamda1 Lamda0 Lamda1 多策略被试内混合作答 Mean 0.454 0.978 0.857 0.800 SD 0.012 0.020 0.101 0.078 /. - 7 - 中国科技论文在线 多策略被试间混合作答(1:1) Mean 0.989 0.824 1.000 0.714 SD 0.077 0.065 0.000 0.0

32、79 多策略被试间混合作答(1:2) Mean 1.228 0.725 1.000 0.719 SD 0.070 0.102 0.000 0.068 表 8 MS-DINA对多策略混合作答适用性的的被试能力参数估计 作答类型 MAB AE Corr 多策略被试内混合作答 Mean 0.508 0.508 0.772 SD 0.012 0.020 0.019 多策略被试间混合作答(1:1) Mean 0.536 0.521 0.743 SD 0.011 0.020 0.017 多策略被试间混合作答(1:2) Mean 0.535 0.503 0.748 SD 0.017 0.030 0.016

33、表 9 MS-DINA对多策略混合作答适用性的被试属性判准率 作答类型 MMR PMR A1 A2 A3 A4 A5 A6 A7 多策略被试内混合作答 Mean 0.979 0.961 0.927 0.873 0.794 0.909 0.722 0.5766 SD 0.003 0.008 0.005 0.012 0.010 0.007 0.014 0.013 多策略被试间混合作答(1:1) Mean 0.547 0.573 0.966 0.928 0.930 0.770 0.791 0.129 SD 0.162 0.152 0.012 0.013 0.019 0.130 0.105 0.032

34、 多策略被试间混合作答(1:2) Mean 0.321 0.326 0.964 0.941 0.950 0.880 0.893 0.082 SD 0.027 0.019 0.017 0.012 0.011 0.010 0.010 0.006 表 10 MS-DINA对多策略混合作答适用性的被试属性诊断假阳性和假阴性 作答类型 指标类型 A1 A2 A3 A4 A5 A6 A7 多策略被试内混合作答 FP Mean 0.012 0.015 0.000 0.003 0.001 0.026 0.002 SD 0.002 0.006 0.001 0.002 0.001 0.006 0.001 FN M

35、ean 0.009 0.025 0.072 0.124 0.206 0.065 0.277 SD 0.003 0.012 0.006 0.013 0.010 0.008 0.013 多策略被试间混合作答(1:1) FP Mean 0.007 0.014 0.001 0.005 0.000 0.023 0.019 SD 0.005 0.007 0.001 0.003 0.001 0.009 0.004 FN Mean 0.445 0.413 0.033 0.066 0.070 0.207 0.190 SD 0.167 0.154 0.012 0.014 0.018 0.137 0.108 多策略

36、被试间混合作答(1:2) FP Mean 0.002 0.004 0.001 0.003 0.000 0.016 0.016 SD 0.001 0.002 0.001 0.001 0.000 0.001 0.002 FN Mean 0.677 0.670 0.036 0.055 0.050 0.104 0.091 SD 0.028 0.020 0.018 0.012 0.011 0.010 0.011 表 9 给出了MS-DINA 模型的属性判准率。可以看出，使用 MS-DINA 模型分析多策略200 混合作答时的判准率明显低于其分析自身生成的作答(最低 0.910)，分析多策略被试间混合作答

37、时更低；当后两种多策略混合作答中策略一被试比例下降时，策略一所使用的独特属性A1、A2的边际判准率下降，而其它属性的边际判准率则上升，总的模式判准率下降。 表 10呈现了MS-DINA 模型的诊断假阳性和假阴性。可以看出，使用MS-DINA 模型分析多策略混合作答时大多数属性诊断的假阴性高于假阳性；与多策略被试内混合作答不同，205 后两种多策略混合作答中，策略一所使用的独特属性的假阴性最高，尤其是分析多策略被试间混合作答时，而且当策略一被试比例下降时，其诊断假阴性变得更高。 /. - 8 - 中国科技论文在线 5 结论 研究通过多种评价指标对参数估计结果的分析验证了MS-D

38、INA模型自编参数估计程序的有效性，通过各种评价指标综合来看，使用MCMC 算法可以准确估计题目参数和被试属210 性掌握情况。 多策略被试内混合作答只用一个 Q 矩阵即可刻画所有被试的知识掌握状态，所以其与MS-DINA 模型自身生成数据的差异就是 DINA 模型与 MS-DINA 模型间的差异，本研究为逻辑上的完整性使用了多策略被试内混合作答这一概念。使用MS-DINA 分析多策略混合作答时，题目参数估计与属性诊断的准确性也比较低，尤其是分析多策略被试间混合作答时，215 其表现甚至比 DINA 模型更差。对于多策略被试间混合作答，当倾向使用策略一的被试比例下降时，MS-DINA 模型估计得到的题目参数更接近策略二对应的题目参数，但高估现象仍很明显，模式判准率仍然较低。所以，MS-DINA 模型也不适用于多策略混合作答。 MS-DINA 模型是一个相对较新的模型，目前研究不多。多策略是问题解决过程中普遍存在的一个心理现象，但目前的心理测量学研究明显落后了实际需要。研究发现，MS-DINA2