（教育学原理专业论文）hci对认知属性层次结构构建失误的侦查研究.pdf

摘要 许多认知诊断模型都是在q 矩阵基础上发展起来的，而q 矩阵是由预先构建的 认知属性层次结构唯一决定的。使用这样的模型对被试进行认知诊断，必须要确保 认知属性层次结构的正确性，因为这是模型结果解释的基础。认知属性层次结构的 构建需要专家和教师对特定内容的属性及属性间的逻辑层次关系进行深入的理论分 析，在此基础上科学的划定认知属性层次结构。在认知属性层次结构构建中有三个 问题要考虑，一是每个属性本身的科学性、二是属性全体的完整性、三是属性间相 互关系派位的准确性。属性本身的科学性需要专业领域的专家进行深入研究。专家 在理论基础上划定特定内容的认知属性层次结构后，层次一致性指标( t h e h ie r a r c h yc o n s i s t e n c yi n d e x ，h c i ) 可作为检验属性全体的完整性以及属性间相 瓦关系派位的准确性的辅助方法，它把学生的实际反应模式与由属性层次结构得到 的q r 矩阵相比较，来评估认知属性层次结构是否是学牛解答测验项目的认知过程的 真实表征。换句话说，h c i 指标分别计算参加测验的每个被试的h c i ，并用结果来说 明每个被试解题时是否使用了与认知属性层次结构不同的认知规律。全体被试的 h c i 平均值和标准差可作为总体模型数据拟合的指标。高的平均值及低的标准差 说明项目反应向量与模型拟合良好。本研究使用全体被试的h c i 均值和标准差对属 性间相互关系派位的准确性及属性全体的完整性进行初步研究，对有着不同属性关 系派位错误的认知属性层次结构及属性缺失结构进行分析，比较h c i 对各种错误结 构的敏感性，为教育工作者在教育认知诊断测验中及教学实践中如何检验在理论基 础上已构建的认知属性层次结构给出操作性建议。 关键词：认知属性层次结构；构建失误；层次一致性指标 a b s t r a c t m a n yc o g n i t i v ed i a g n o s t i cm o d e l sa r ed e v e l o p e db a s e do nqm a t r i x ，0m a t r i xi s u n i q u e l yd e c i d e db yp r e c o n s t r u c t e dc o g n i t i v ea t t r i b u t eh i e r a r c h y f o rt h e s ec o g n i t i v e d i a g n o s t i cm o d e l st oy i e l di n f e r e n c e sa b o u ts t u d e n t s ，t h ea t t r i b u t eh i e r a r c h yi nt h ed o m a i n o fi n t e r e s tm u s tb es p e c i f i e dc o r r e c t l yb e c a u s ei ti st h eb a s i so fe x p l a i n i n gm o d e l s o u t c o m e c o g n i t i v ea t t r i b u t eh i e r a r c h yi sc o n s t r u c t e db ye x p e r t sa n dt e a c h e r sa f t e rt h e y a n a l y z et h e o r e t i c a l l yt oa t t r i b u t e sa n dt h e i ri n t e r r e l a t i o n s h i pi nt h ed o m a i no fi n t e r e s t ， t h r e eq u e s t i o n sm u s tb et h o u g h tw h e nr e s e a r c h e r sa r ec o n s t r u c t i n gc o g n i t i v ea t t r i b u t e h i e r a r c h y t h ef i r s ti sw h e t h e re a c ha t t r i b u t ei t s e l fi ss c i e n t i f i c t h es e c o n di sw h e t h e r o v e r a l la t t r i b u t e si si n t e g r a t e d ，a n dt h el a s ti sw h e t h e rt h ei n t e r r e l a t i o n s h i pb e t w e e nt h e a t t r i b u t e si sc o r r e c t 1 n h es c i e n c eo fa t t r i b u t ei t s e l fm u s tb ea n a l y z e db ye x p e r t si nt h e d o m a i no fi n t e r e s t a f t e re x p e r t sc o n s t r u c tc o g n i t i v ea t t r i b u t eh i e r a r c h yb a s e do nt h e o r y ， t h eh i e r a r c h yc o n s i s t e n c yi n d e xc a nb eu s e da sa s s i s t a n tm e t h o dt od e t e c ti n t e g r a l i t yo f o v e r a l la t t r i b u t e sa n dc o r r e c t n e s so ft h e i ri n t e r r e l a t i o n s h i p b yc o m p a r i n ga no b s e r v e d e x a m i n e er e s p o n s ev e c t o rt ot h eq rm a t r i xa t t a i n e df r o ma t t r i b u t eh i e r a r c h y ，t h eh c lc a n b eu s e dt oa s s e s sw h e t h e rt h ec o g n i t i v ea t t r i b u t eh i e r a r c h yr e p r e s e n tr e a l l ye x a m i n e e s c o g n i t i v ep r o c e s sw h e ns o l v i n gt e s ti t e m s t h a ti s ，h c ic o m p u t ee a c hs u b j e c t sh c i r e s p e c t i v e l yt od e m o n s t r a t ew h e t h e re a c he x a m i n e eu s e sd i f f e r e n tc o g n i t i v er u l ef r o m w h a tt h eq rm a t r i xi n d i c a t ew h e ns o l v i n gt e s ti t e m s t h em e a na n ds t a n d a r dd e v i a t i o no f t h eh c lc a nb eu s e da si n d i c a t o r so ft h eo v e r a l lm o d e l d a t af i t ah i g hm e a na n dl o w s t a n d a r dd e v i a t i o ns u g g e s tt h a tt h ei t e mr e s p o n s ev e c t o r sf i tt h em o d e lw e l l n i ss t u d y u s eo v e r a l ls u b j e c t sh c lm e a na n ds t a n d a r dd e v i a t i o nt oe x a m i n ei n t e g r a l i t yo fo v e r a l l a t t r i b u t e sa n dc o r r e c t n e s so ft h e i r i n t e r r e l a t i o n s h i p b ya n a l y z i n g d i f f e r e n te r r o r i n t e r r e l a t i o n s h i ps t r u c t u r eb e t w e e na t t r i b u t e sa n da t t r i b u t em i s s i n gs t r u c t u r ea n d c o m p a r i n gh c is e n s i t i v i t yi na l lk i n d so fe r r o rs t r u c t u r e ，lg i v es o m eo p e r a t i o n a lp r o p o s a l f o rt e a c h e r sh o wt h e yc a ne x a m i n ec o n s t r u c t e dc o g n i t i v ea t t r i b u t eh i e r a r c h yb a s eo n t h e o r yi ne d u c a t i o n a lc o g n i t i v ed i a g n o s i st e s ta n dt e a c h i n gp r a c t i c e k e yw o r d ：c o g n i t i v ea t t r i b u t eh i e r a r c h y ；c o n s t r u c te r r o r ；h i e r a r c h yc o n s i s t e n c y i n d e x l l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他入已经发表或撰写过的研究成果，也不包含 为获得或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示谢意。 学位论文作者签名：备矽把签字日期：r 年6 月罗日 学位论文版权使用授权书 本学位论文作者完全了解江西师范大学研究生院有关保留、使用 学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许论文被查阅和借阅。本人授权江西师范大学研究生院 可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：音小导师签名：多p 吟弓弓学位论文作者签名：呵小导师签名：多丫哆 签字日期：沙譬年否1 月p 日签字日期：沙哆年匀7 日 | i i c i 对认知属性层次结构构建失误的侦查研究 1 1 认知诊断的发展 1 文献综述 1 1 1 传统考试的弊端 考试制度发端于中国，但是针对考试本身所做的量化研究却于2 0 世纪之初 兴起于西方。这种关于考试本身的研究就是心理计量学( p s y c h o m e t r i c s ) 。教育 和心理测量学领域中，标准测验理论阶段( s t a n d a r dt e s tt h e o r y ) 有三大理论流 派，分别是经典测验理论( c l a s s i c a lt e s tt h e o r y ，简称c t t ) 、项目反应理论 ( i t e mr e s p o n s et h e o r y ，简称i r t ) 、概化理论( g e n e r a li z a b i l i t yt h e o r y ， 简称g t ) 。这三大理论都是对人的心理发展，从宏观的层次给个体一个整体的评 估，在单维的、线性的、连续的度量系统上，指定一个标示位置的值。它们所指 的心理特质，主要是一个“统计结构”，其心理学意义是不明确的，含糊笼统的 n 1 。由于这三大理论流派严格的前提假设以及技术上的不成熟不完善，使得建立 在它们基础上的考试存在着种种缺陷。这些缺陷主要表现在以下几个方面：其一， 现在的考试功能非常单一。在当前的学业评价中，考试成了对学生进行排队的工 具，缺乏对考试信息的深度挖掘，未能体现考试的诊断和指导功能。其二，考试 内容的人为性和主观性明显。其三，现在考试以测试学生所掌握的知识为主，基 本上没有反映出考生的学业能力，而且所测查的知识以学生死记硬背的知识为 主，缺乏知识之间的联系与组合。其四，考试过程缺乏心理测量学的指导。其五， 考试的形式单一，基本上是以纸笔考试为主要形式。其六，上述问题的出现，一 个主要原因是我们对考试理论和心理测量学的研究非常薄弱，研究考试问题的学 者非常少，因此用心理测量学的原理指导考试实践就无从谈起船1 。以往的测验是 和传统的课程教学相适应的，它强调测验对学生的排序和选拔作用，并采用单一 的分数报告方法来反映学生的学习结果，从中很难看出学生究竟掌握了哪些认知 成分，他们的各种具体技能究竟达到了何种水平，也无法诊断学生到底还存在哪 些缺陷口1 。s u s a nf c h i p m a n 等人认为，传统的测量只是把学生进行排序，在他 们之间进行比较和等级评定，去预测谁会在将来的某些方面做的更好。很显然， 对于应该被学习和被传授的特定内容来说，传统测验却不能提供有用的诊断信 息。如今，人们希望测验能够成为教学活动的必不可少的一部分，来帮助教师和 学生对实际教育目标的完成情况进行评估h 1 。从目前与考试有关的各种数学模型 硕十学位论文 和记分模型来看，被试解决问题的能力是一个单维的连续变量，这虽然可以对实 际教育工作进行评价和选拔，但却无法通过考试对考生进行补救教学。测验如果 能够提供信息使人们对考生的知识结构、内部解题策略及其内部心理过程有更深 的了解，考试用于诊断和辅助教学的功能将大大提高，从而使教师教学和学生学 习都有更强的针对性。 随着我国经济的高速发展，和谐社会的进一步完善，新课程改革的如火如荼 的进行，社会对人才培养提出了更高的要求。人们越来越不满足于只能得到个体 的宏观层次的评价，人们不仅要了解个体总的来说怎么样，还需要了解个体具体 的来说怎么样。考试的目的不再仅仅是为了选拔出少数学习精英，而更注重的是 要在最大程度上促进所有学生的全面发展。新的考试方法应不再片面强调考试的 甄选功能，而是要更加突出考试的诊断性和发展性功能，通过对学生学习状况的 诊断，发现问题、改进教学，进而促进学生的发展，这就需要开发认知诊断性测 验。所谓认知诊断性测验就是运用测量手段，去考查学生的认知结构，发现其中 的认知缺陷，因此涉及到教育学、教育测量学和认知心理学多个领域的知识。 1 1 2 认知诊断的起源 二十世纪术，新一代测量理论( an e wt e s tt h e o r y ) 逐渐发展起来，它把认 知与测量结合起来，不仅对学生的整体水平做出评估，同时对学生的认知结构模 式化，利用合适的计量模型进行诊断，定量地考察学生的认知结构和个体差异。 这种对认知结构有诊断功能的计量模型称为认知诊断模型( c o g n ir i v e d i a g n o s i sm o d e l ) 。认知诊断理论被认为是新一代测量理论的核心，认知诊断把 认知和测量结合起来，克服了经典测量理论与现代测量理论的不足，在对被试的 整体水平作出评价的同时，对无法直接观察的内部加工过程模式化，利用合适的 认知诊断模型进行量化分析，定量地考察被试的个体差异，确定被试的知识掌握 与未掌握侧面，认知诊断的价值就在于能够揭示每个被试具体的认知强项与弱 项，从而实现对被试进行补救性指导和干预。认知诊断是测验理论自身发展的产 物，也是社会尤其是教育领域要求测验提供更多信息的结果。标准测量理论是将 所测量的对象视为“统计结构”，这种统计结构的心理学意义是不明确的。而认 知诊断理论的发展，使得测量学家有希望深入到这种“统计结构”内部去揭开它 的本质内涵。在教育领域，传统的测量只能从宏观的层次给个体一个整体的评 估，然而教师和学生都希望更多地了解学生所掌握的知识、概念及其结构、形成 的技能和策略等信息，从而能够基于这些信息促进教与学。这种实践中的需求促 进了认知诊断的诞生，并成为推动认知诊断研究的强大动力。认知诊断是当代测 验发展的新追求，对实现测验的发展性功能和提高测验的内容效度有着重大意义 【5 】 o 认知诊断的概念有广义和狭义之分，广义的认知诊断是指建立起观察分数和 2 h c i 对认知属性层次结构构建失误的侦查研究 被试的内部认知特征之间的关系，包括两个方面的应用，在心理学理论建构中它 是作为一种研究方法出现的，在教育教学领域中，认知诊断是按被试有没有掌握 测验所测的技能或特质来对被试加以分类。狭义的认知诊断指在教育教学领域 中，按被试有没有掌握测验所测的技能或特质来对被试加以分类。 作为新一代测量理论的核心，认知诊断测验有着与传统测验不同的特征。 c o r t e rje 指出，传统测验与能实现诊断功能的测验有以下不同的特征：第一， 传统测验测量广泛的能力，而诊断测验测量特定的特质。传统测验将测量对象视 为“统计结构 ，而诊断测验试图将这一“统计结构 进行分解，更深入地探测内 部的心理特质。第二，传统测验假设不同水平的技能连续性变化，认知诊断测验测 量的特质可能是“全或无”。在传统测验中，所测量的能力在一个连续性的量尺 上变化，测验的目的是为了将所测能力在连续性量尺上定位。在认知诊断测验中， 所测量的特定的特质，如策略、技能等，可能会呈现有或无的状态。第三，传统测 验中技能是单维的或多维的：认知诊断测验中技能的组成部分可以以任何模式联 系起来。不同的被试或存不同的情境下可用不同的策略，技能的组成部分存在时 间的或逻辑的相依。第网，传统测验应用项目一致性的几何模型，认知诊断测验中 使用项目一致性的离散性特征模型是合适的。认知诊断所测量的特质之间不仅存 在量的差异，更存在质的差异，因此，需用上离散性特征模型哺1 。 实现认知诊断需要两大理论基础。其一是认知心理学的理论基础，只有对心 理活动内在的结构、过程有所认识，才能有的放矢地做测验设计，达到认知诊断 的目的。认知诊断现在主要应用于两个领域中，一是知识领域，一是一般能力及 智力领域。前者的主要目的是为教育与决策提供丰富的信息，后者主要的目的是 心理学理论的建构与实践哺1 ；其二是基于现代测验理论之上的测量模型，并且， 这些测量模型应能够把认知变量( 认知属性) 直接融合进去。为了使认知分析的 成果能获得观察分数，从而能推测认知特征，测量学家做了多方面的努力，主要 的工作包括测验设计与测验分析。具体来说，要在测验编制时凸现出测验设计的 作用；开发能融入认知变量的测量学模型，以实现对认知变量的量的分析。 1 2 认知诊断模型简介 1 2 1 认知诊断模型概览 到目前为止，各种用于测验的认知诊断模型有很多种，国外有研究者统计， 到2 0 0 2 年为止，研究者至少已开发出1 4 种认知诊断模型盯1 并被应用于认知诊断。 就已开发应用的这些模型来看，认知诊断的测量学模型有两个基础性的模型旧， 一个是f i s h e r 提出的线性逻辑斯谛克特质模型( l i n e a rl o g i s t i ct r a i tm o d e l ) f 9 ，1 们，另一个是t a t s u o k a 等提出的规则空间模型( r u l es p a c em o d e l ) n , m , l a l 。 3 硕十学位论文 在这两个模型基础上又发展了许多其他模型。 f i s c h e r 的线性逻辑斯蒂克特质模型( l i n e a rl o g i s t i ct r a i tm o d e l ，l l t m ， f i s c h e r ，1 9 7 3 ) 是发展较早的一种认知诊断模型，它是在拉希( r a s c h ) 模型的 基础上进行扩充、改造而成的，它把项目难度分解为影响认知难度的复杂度因素， 用复杂度因素的线性组合来刻画项目的难度；项目的难度取决于各认知属性的复 杂度。通过这样的建模将认知的复杂度融入潜在特质模型中，把原来简单的概率 模型转变成具有项目认知内容的潜在特质模型，从而实现了认知与测量的结合。 t a t s u o k a 及其同伴应用统计的方法将被试在测验项目上的作答反应划归为 某种与认知技能相联系的属性掌握模式，创建了规则空间模型( r u l es p a c e m o d e l ，1 9 8 2 1 9 9 5 ) ，该模型的一个基本假设思想是：测验项目可以用特定的认 知属性刻画，个体的某种知识结构也可用一组通常无法直接观察的认知属性掌握 模式来表征；而且还能用恰当的可观察的项目反应模式来表征不可观察的认知属 性。规则空间模型( r u l es p a c em o d e l ) 是一种用于认知诊断的分类统计模型， 它能够用于评估被试是否掌握了解决测验项目所需的认知技能或属性；能对被试 在作答测验项目时出现了何种错误方法进行诊断，帮助教师改进教学，提高教学 质量。学生在解答项目时，要想正确解答测验中的项目，必须掌握一定的认知技 能，这些认知技能在规则空间模型中被称为属性。每一个项目都涉及一定的认知 技能，因此可以用一组属性来表示；每一个学生所掌握的认知技能组成了他的认 知结构，因此学生的认知结构也可以用一组属性来表示。运用规则空问模型诊断 学生的认知结构时，可以分为两步进行，第一步是q 矩阵理论( q - m a t r i xt h e o r y ) “鲫，该步主要是要确定测验项目所测的不可观察的认知属性，并把它转化为可观 察的项目反应模式。首先建立项目与所测认知属性的关系：若项目测验了某属性 用“1 表示，未测验某属性则用“0 ”来表示，这样就可以构建一个n k 的矩 阵( n 个项目k 个属性) ，用这个矩阵来表征项目与属性间的关系；其次确定被试 与属性的关系：若被试对所测属性掌握了，就用“1 表示，未掌握用“o 表示， 这样被试对测验所测属性的掌握与否可用一个k 维的属性向量( a t t r i b u t e v e c t o r ) 来进行表征。t a t s u o k a 把这种属性向量称为知识状态( k n o w l e d g e s t a t e s ，t a t s u o k a ，1 9 9 0 ，1 9 9 5 ) n 引，也即认知结构。第二步是建立规则空间，这 是一个分类空间，它可以根据学生对于每个项目的作答情况，将其判定为某种认 知结构类型。 l l t m 与r s m 是早期认知诊断模型中较经典的两个，也是具有开创意义的模 型。l l t m 实现了认知与新一代测量的相结合，开创了认知诊断研究；r s m 实现了 对学生认知结构的诊断，并创造性地提出了q 矩阵，随后的大多数认知诊断模型 都应用了q 矩阵方法，实现了用可观察的项目反应模式来表征不可观察的认知结 构。d i b e l i o ，s t o u t 和r o u s s o s 提出的统一模型( u n i f i e dm o d e l ，1 9 9 5 ) “”。、 4 h c i 对认知属性层次结构构建失误的侦查研究 h a r t z ，r o u s s o s 和s t o u t 等提出的融合模型( f u s i o nm o d e l ，2 0 0 2 ) 1 16 1 7 1 、d i n a 模型( d e t e r m i n i s t i ci n p u t ，n o i s y a n d ”g a t em o d e l ) m i 、n i d a 模型( n o i s y i n p u t s ，d e t e r m i n i s t i c ，”a n d ”g a t em o d e l ) 1 8 1 、属性层次方法( t h ea r r t i b u t e h i e r a r c h ym e t h o d ) 1 9 , 2 0 都是在q 矩阵理论基础上发展起来的认知诊断模型。 属性层次方法( t h ea t t r i b u t eh i e r a r c h ym e t h o d ，a h m ) 是j a c q u e l i n ep l e i g h t o n ，m a r kjg i e r l ，和s t e p h e nm h u n k a 在2 0 0 4 年提出的一种新的认知 诊断模型。它是以测验项目能被一套具有层次次序的属性描述为假设的基础的。 这种方法是t a t s u o k a 的规则空间模型的一种变体，在a h m 中，认知属性被假设 为具有层次关系。认知属性被假设具有层次联系更好地反映了人的认知特征，因 为认知研究表明认知技能不是孤立操作而是属于一个相互联系的加工网络。同时 a h m 的另一个优点是有利于指导测验的编制和开发。一旦确定了某一领域的属性 及属性层次，测验开发者就能够根据属性的层次结构来编写测验项目。这样测验 开发者能最人限度地控制测验项目所测量的具体属性。用属性层次方法作推断的 第一步与规则空间模型一样建立q 矩阵，但它强调依靠币确地确定解决测验 项目所需要的认知属性的心理次序，这是属性层次方法进行推断的基础，具有非 常重要的作用。被试必须掌握这些属性才能j 下确回答项目，同时属性能被作为测 验行为的认知复杂性的来源。第二步则是使用与规则空间模型不同的方法对被试 的作答反应向量进行判别归类。属性层次方法要求解决某一领域任务所需的属性 及属性层次结构要在测验的编写前被确定，然后使用属性层次结构来编写测验项 目，这样研究者能最大限度地在每个项目测量上控制具体的属性。当测验项目是 依靠属性层次结构来编写时，对于结构化的项目就能确定唯一的邻接矩阵。相反， 当测验项目不是依靠层次来编写的，其结果是层次结构必须从项目中来提炼，这 样确定唯一的邻接矩阵有时相当困难。属性层次方法是以规则空间模型为蓝本开 发出来的变体，与规则空间模型相比，属性层次方法更加强调属性层次结构的重 要作用，它要求严格按照属性层次结构来编制测验项目，而规则空间模型并没有 严格强调这点，也可以从项目中来提取属性和属性层次结构。若运用规则空间模 型时也按照属性层次方法的强调，那么规则空间模型就可以解决属性层次方法所 能解决的问题。 1 2 2 属性的定义及确定方法 在规则空间模型中，t a t s u o k a 把属性描述成被试完成某项任务所必须具备 的认知加工，技能或知识，是进行某一具体领域工作所需的程序性知识和陈述性 知识。她认为，属性是指产生式规则、操作算子、项目类型或更一般地讲，是任 何认知子任务【1 1 1 。然而，属性的这些描述缺乏认知心理学的细节。1 9 9 9 年， l e i g h t o n ，g i e r l ，和h u n k a 对属性的定义作了新的描述：一种属性是某一具体领 域执行一项任务所需要的程序性知识或陈述性知识的描谢均j 。虽然一种属性不是 5 硕士学位论文 一种策略，但多种属性能为策略提供基础。此外，组成一种策略的一套属性发挥 暂时的问题解决作用，属性是一个动态的实体，它们随学生的能力提高而发展， 以致于在时间l 的一套属性可能在时间2 不再对行为发挥有用的描述。 对于这些在q 矩阵基础上发展起来的认知诊断模型来说，认知诊断的第一步 都是要确定测验项目所测的不可观察的认知属性，并把它转化为可观察的项目反 应模式。既然要在确定的认知属性及认知属性层次结构的基础上进行认知诊断， 那么必须保证认知属性及属性层次结构划分的准确性，否则认知诊断结果就失去 了赖以解释的基础。已经有大量的研究来确定属性。t a t s u o k a 和她的同事在这 方面进行了大量的工作。属性能使用认知心理学的方法来确定和研究。例如，项 目同顾( i t e mr e v i e w s ) 和口语记录分析( p r o t o c o la n a l y s i s ) 能被用来研究 任务需要。项目回顾经常由熟悉内容领域、测验开发和熟悉学生解决问题方法的 专家来指导确定解决测验项目所需的知识和技能。口语记录分析是确定具体知识 成分和认知技能的有效方法。 1 2 3q r 矩阵的确定 认知属性是考生要答对某个项目所需的知识或技能，属性之问可以是彼此独 立的，也可以具有一定的层次关系，即解决一个测验项目所需的属性间存在着一 定的逻辑或心理顺序。如要掌握属性a 2 ，就必须先掌握属性a l 。掌握属性a l 是 掌握属性a 2 的先决必备条件，否则就无法掌握属性a 2 ，属性间的这种层次关系 是通过定性的逻辑分析得出的。 下面举例来说明以q 矩阵为基础的认知诊断模型中q 矩阵的确定方法。若模 型中包括k 个属性，属性间的关系用k k 的二值邻接矩阵a ( a d j a c e n c ym a t r i x ) 来刻画。邻接矩阵阵只反应属性间存在的直接逻辑关系，它表示一个属性与另一 个属性存在直接逻辑关系或没有直接逻辑关系。矩阵中数据只有0 ，l 两种取值， 0 表示两属性间不存在直接逻辑关系，l 表示两属性间有直接单向逻辑关系。邻 接矩阵实际上是一个对称方阵，其行数和列数等于属性的个数，在邻接矩阵中， 所有主对角线上的元素都记为0 。如图卜l ，属性a 1 与a 2 、a l 与a 4 、a 2 与a 3 问分别存在着直接单向逻辑关系。 表1 - 1 邻接矩阵a 6 h c i 对认知属性层次结构构建失误的侦查研究 a 1 a 2a 4 1 l a 3 图1 - 1 认知属性层次结构 邻接矩阵a 只反应了属性间的直接关系，同时刻画属性间直接和间接关系的 是可达矩阵r ( r e a c h a b i1jt ym a t r i x ) 。图1 - 1 的可达矩阵r 见表1 - 2 ，k 是属 性的数目，l 表示属性问彳f 天系，o 表示属性间没宵关系，从表2 可看出a l 与所 有的属性都有关系，a 2 与a 3 有关系，与a 4 没有关系。可达矩阵r 是通过对邻 接矩a 进行布尔加法和乘法运算得到的。r = ( a + i ) “( i 是单位矩阵，n = l ，2 ， m ) 。当n 变化而r = ( a + i ) ”不再发生变化时，可达矩阵r 就获得了。r 矩阵的对 角线元素都为1 ，说明属性与其本身有关的事实。 表卜2 可达矩阵r 属性a 1 a 11 a 20 a 3o a 4o 属性 a 2 a 3 a 4 l11 l1o o1 0 0o1 根据属性层次结构中属性的数目，可以得出k j 的事件矩阵q ( i n c i d e n c e m a t r i x ) ，k 指属性数目，j 指可能有的项目数。可能项目类型集是指表征所有属 性组合的项目集合，当属性问彼此独立时( 即其可达矩阵是单位阵时) ，可能项 目集的项目数为2 。- 1 ( k 为属性数目) 。图1 - 1 中有4 个属性，那么可能的项目集 就是2 4 - 1 = 1 5 个。在事件矩阵q 中，每一个项目均用要正确解答该项目所需的属 性来表征。如表卜3 ，4 1 5 的q 矩阵，矩阵的每列表示一个项目，该矩阵的第 一列表示项目l ，它表示正确回答该项目需掌握属性a 1 ，而要正确回答第1 5 项 目) 需要所有的4 个属性。 7 硕七学位论文 表1 - 3 事件矩阵q 有了图卜l 所示的属性层次结构图及表1 - 3 所示的事件矩阵q ，就可得到缩 减事件矩阵q r ( t h er e d u c e dqm a t r i x ) 。当属性间存在层次关系时，可能项目 集的项目数将减少。如果属性问存在如图1 - 1 所示的层次关系，那么项目8 ( 表 卜3 第8 列) 就不符合属性间的层次关系。因为项目8 只含有属性a 4 ，不含有属 性a 1 ，而按图1 属性间层次结构，属性a 1 是属性a 4 的必要先决条件，没有掌 握属性a l 就不可能掌握属性a 4 ，故该项目在实际中是不存在的，该列应该删去。 同理，项目2 、4 、5 、6 、_ l o 、1 2 、1 3 、1 4 在实际中也是不存在的，也应删去。 删去这些不符合实际属性情况的项目，就产生了缩减事件矩阵q r 。这种在事件 矩阵q 中考虑可达矩阵r 所定义的属性问层次关系，从而缩减了一部分项目的矩 阵称为缩减事件矩阵q r 。缩减事件矩阵中所表征的项目是符合属性间的层次关 系的。符合图卜l 所示的属性层次结构关系的缩减事件矩阵q r 见表卜4 。 表1 - 4 缩减事件矩阵q r 在以q 矩阵为基础的认知诊断模型中，建立q r 矩阵有两种方法，其一是如 上面叙述的那样在事件矩阵q 中删除所有不符合层次关系的属性组合来获得q r ； 其二是使用扩张算法，方法是将可达矩阵r 的每- n 与后面的列进行布尔加法运 算，当所得矩阵不再变化时便是q r 矩阵了。根据一个相同的属性层次结构，两 种方法虽然不同，但得出的q r 矩阵是相同的。 简言之，以q 矩阵为基础的认知诊断模型中q r 矩阵的确定步骤如下： ( 1 ) 首先确定属性及属性间的具体层次结构； ( 2 ) 由属性层次结构图建构连接矩阵a ； ( 3 ) 对连接矩阵a 进行布尔加法和乘法运算获得可达矩阵r ： ( 4 ) 选择合适的方法获得q r 矩阵。 8 h c i 对认知属性层次结构构建失误的侦查研究 1 3 研究课题的提出 由此看来，在以q 矩阵为基础的认知诊断模型中，只要认知属性层次结构确 定了，q 矩阵及q r 矩阵也就被唯一确定了。也就是说，认知属性层次结构是这 类认知诊断模型的基础之基础。应用在q 矩阵基础上发展起来认知诊断模型进行 认知诊断，首先要对所要测查领域的知识结构进行分析，确定被试拥有的所有可 能的知识结构，接下来根据分类规则，应用统计方法对被试在测验上的项目反应 模式进行判别，将其判归于根据认知属性层次结构确定的某种知识结构类型。所 以说应用这类模型进行认知诊断最重要的一个步骤是对属性本身及其层次结构 进行清楚的定义和描述，这是运用该类模型最基础的步骤，也是解释模型结果的 基础。正如t a t s u o k a 所说的“属性及其属性间层次关系是模型的最重要的输入 变量，因为它们提供了刚此种方法对心理计量模型进行结果解释的基础j9 9 0 如 果属性层次结构所刻画的认知属性与学生解题时的真实的认知过程毫不相符，那 么在错误认定的属性层次结构的基础上对学生的认知诊断将足毫无意义的。只有 在证实认知属性层次结构正确的基础上，才能对学生判别归类的结果进行科学合 理的解释，认知诊断的结果才能真实可信。理清一个学科的认知属性及属性层次， 对于学科性质结构研究、教学方法以及认知诊断科学性都有指导意义。 确定属性层次结构的方法主要是教师通过任务分析、根据考生的作答反应和 出声思考等方法来完成，最常用的方法是在测验编制以前，请有经验的教师通过 小组讨论来确定该内容领域学生所需掌握的属性以及各属性之间的层次关系，然 后有目的、有计划地编制出测量这些属性的测验项目。确定的认知属性层次结构 必须要有心理学的证据来证明这个结构确实科学的模拟了学生解题时的心理过 程。时至今日，这样的证据还十分有限。那么，有没有其他的辅助方法来协助证 明所得认知属性层次结构的正确性呢? 认知属性层次结构的构建需要专家和学科教师对特定内容的基本理论及属 性间的逻辑层次关系进行深入细致的分析，在此基础上科学的划定认知属性层次 结构。在认知属性层次结构构建中有三个问题要考虑，一是每个属性本身的科学 性、二是属性全体的完整性、三是属性间相互关系派位的准确性。属性本身的科 学性需要专业领域的专家进行深入研究。专家在理论基础上划定特定内容的认知 属性层次结构后，当前新开发的一个称作为层次一致性指标( t h eh i e r a r c h y c o n s i s t e n c yi n d e x ，h c i ) 1 2 1 的统计指标可作为检验属性全体的完整性以及属性 间相互关系派位的准确性的辅助方法。h c i 是2 0 0 6 年在属性层次方法( a t t r i b u t e h i e r a r c h ym e t h o d ) 指导下开发的，它把学生的实际反应模式与由属性层次结构 得到的q r 矩阵相比较，来评估认知属性层次结构是否是学生解答测验项目的认 9 硕十学位论文 知过程的真实表征。换句话说，h c i 指标分别计算参加测验的每个被试的h c i ， 并用结果来说明每个被试解题时是否使用了与认知属性层次结构相同的认知规 律。全体被试的h c i 平均值和标准差可作为总体模型一数据拟合的指标。由于 h c i 开发较晚，目前使用这一指标进行的研究较少，本研究使用全体被试的h c i 均值和标准差对属性间相互关系派位的准确性及属性全体的完整性进行初步研 究，对有着不同属性关系派位错误的认知属性层次结构及属性缺失结构进行分 析，比较h c i 对各种错误结构的敏感性，为教育工作者在教育认知诊断测验中及 教学实践中如何检验在理论基础上已构建的认知属性层次结构给出操作性建议。 下面对h c i 给予简要介绍。 1 4h ci 简介 层次一致性指标( t h eh ie r a r c h yc o n sis t e n c yi n d e x ) 是在属性层次方法 ( a t t r i b u t eh i e r a r c h ym e t h o d ) 指导下开发的，它把学生的实际反应模式与由 属性层次结构得到的q r 矩阵相比较，来评估认知属性层次结构是否是学生解答 测验项目的认知过程的真实表征。尽管h c i 是在a h m 框架下开发出来的，但h c i 对于其它要去评估被试反应模式与认知模型是否拟合的认知诊断模型也很有帮 助。尤其是基于q 矩阵发展起来的认知诊断模型( e i ，r s m ，d i n a ，n i d a ) ，h c i 都是有效的。 想要应用a h m 对学生做出有效的推论，正确的构建认知属性层次结构就尤为 重要。要想描述学生解题时的认知过程，就必须开发出能够评估属性层次结构准 确性的方法。一种方法就是使用个人拟合指数。目前已经提出和研究了在c t t 和 i r t 基础上开发的大量个人拟合统计量。 以c t t 为基础的个人拟合统计量依赖于根据一组被试的正确作答比例分数 得出的项目难度。在以c t t 为基础的统计量中，项目是根据逐渐降低的正确作答 比例分数( 即逐渐增加的项目难度) 进行排序和计算的。如果被试的正确作答个 数得分是n ，那么我们期望这个被试能正确作答前n 个项目。因此，当有着相对 较低正确作答概率的项目被正确作答或是有着相对较高正确作答概率的项目被 错误作答时，就认为个人反应向量与模型不拟合。基于i r t 的统计量把观测的项 目反应与根据被试总体能力估计计算出的i r t 概率进行比较。当有着相对较高的 i r t 正确作答概率的项目被错误作答，或者有着相对较低的i r t 正确作答概率的 项目被正确作答时，可以认为个人反应向量与模型不拟合。 在a h m 中，项目是由一组按层次关系排列的属性来刻画的。要评估观察反应 模式与a h m 是否拟合就要检测由属性层次结构得出的q r 矩阵是否是被试解题时 所使用的认知过程的真实表征。因此，使用只依赖于项目难度参数的c t t 统计量 1 0 h c i 对认知属性层次结构构建失误的侦查研究 或者使用只依赖于对被试总体能力的单一估计的i r t 统计量去评估被试反应向 量是否拟合模型是不恰当的。 当项目的复杂度是由属性层次结构以及它相关的q r 矩阵决定时，研究者开 发了依赖于项目复杂度的个人拟合统计量：h c i 。在a h m 中，使用q r 矩阵来描述 被试正确解题所需的认知技能。因此，通过把观测的被试反应向量与q r 矩阵进 行比较，h c i 就能用来评估被试解题时是否使用了与q r 矩阵不同的认知技能或 认知技能的不同组合。因此，要计算h c i 就需要指定q r 矩阵。当把属性层次结 构作为测验开发的认知模型时，就能由属性层次结构得出q r 矩阵，这个q r 矩阵 能指导测验项目的构建。当测验项目不是由属性层次结构的基础上开发时，q r 矩阵可以通过回顾测验项目来获得，进而识别每个项目所需的属性。 在a h m 中，当被试正确回答了某个项目时，可认为被试掌握了这个项目所需 的所有属性。因此，对于那些需要这个正确作答项目所测的子属性的所有项目来 说，都期望被试能够i 卜确作答。因此，被试i 的h c i 由下式得出： 其中 一 s c 。，口c ，f 是被试i 正确作答的所有项目的集合 x f ；是被试i 在项目j 上的得分( 1 或者0 ) ， s j 是所测属性为项目j 所测属性子集的所有项目的集合 n c ：是被试i 正确作答的所有项目的比较的总数。若某一项目所测属性为被试i 某一正确作答项目所测属性的子集，称其为一个比较”，那么c ：是被 试i 所有正确作答项目的所有比较的总数，它也是所有sj 所含项目数 之总和。 日c 后项的分子。二薹置，( 1 一) 计算的是被试i 的项目反应向量与q r i e 3 。”“ig t 6i 矩阵之间不拟合的数目。如果被试i 正确作答项目j ，x i = 1 ，那么就期望被试 也能正确作答属于l 的项目g ，即t2 1 ( g s ，) 。如果被试没有正确作答项目 硕士学位论文 g ，2 0 ，那么x i