（计算机应用技术专业论文）贝叶斯网在认知诊断中的应用.pdf

摘要 传统的测验分数只是对被试能力一个笼统的大概描述，提供的参考信息十分 有限，无法解释不同知识状态或不同认知结构却有相同分数或相同能力的现象， 也无法区分相同分数的个体间差异。认知诊断测验能对被试在完成测验项目时的 认知过程或心理j nq - 过程进行诊断和评估，因此认知诊断测验能够为被试、教师 和教育管理部门提供更多和更加具体可参考的信息。认知诊断测验受到越来越多 研究者的重视。从被试的作答中诊断出被试对认知属性的掌握情况是认知诊断测 验的主要任务，相应地，出现了不同的诊断模型和方法，如t a t s u o k a 的规则空间 模型r s m 、l e i g h t o n 等人的属性层次方法a h m 、m a c r e a d y 的d i n a 模型等。 不同的诊断模型对被试诊断有不同的方法，实现起来的复杂程度及诊断的准确性 也有所不同。 由于r s m 是先编制测验项目，然后由领域专家根据项目分析出测验的关联 q 矩阵。实际上，已有研究证明，这种通过分析测验项目来得到q 矩阵的方法 是存在问题的。贝叶斯网对不确定性问题有很强的推理能力，近几年来，受到众 多研究者的重视。本研究根据被试的作答向量和测验项目所考察的属性得到被试 的属性掌握模式，对被试的属性掌握模式进行贝叶斯网结构学习，待到属性之间 的层级关系。蒙特卡罗模拟实验的结果表明，对根据项目分析得到的q 矩阵， 是一个很好的参考。 基于贝叶斯网的分类器以其略实的理论基础和良好的分类性能，使其在很多 领域都得到应用和推广。本研究将贝叶斯网分类器应用到现代教育测量的认知诊 断分类中，对o ，l 计分和多级计分进行蒙特卡罗模拟实验。o ，l 计分情形与a h m 的分类方法( 方法a ，方法b ) 进行比较；多级计分情形与祝玉芳研究的多级计分 的a h m 的分类方法、对数似然比( l l ) 方法进行比较。结果表明，贝叶斯网分类器 的分类效果更有优势。 关键词：认知诊断；分类；贝叶斯网；结构学习 a b s t r a c t t r a d i t i o n a lt e s t i n gs c o r eo n l yd e s c r i b e sag e n e r a lp r o f i c i e n c yo fe x a m i n e e ， p r o v i d i n gv e r yl i m i t e dr e f e r e n ti n f o r m a t i o n i tc a n te x p l a i nt h e s ep h e n o m e n a ：s o m e e x a m i n e e sh a v ed i f f e r e n tc o g n i t i v es t a t e s ，b u tt h e yh a v ee q u a ls c o r eo re q u a la b i l i t y m o r e o v e r , i tc a n td i s t i n g u i s ht h ed i f f e r e n c e sb e t w e e nt h o s ei n d i v i d u a l sw i t he q u a l s c o r e 。c o g n i t i v ed i a g n o s t i ca s s e s s m e n t ( c d a ) c a ne v a l u a t eo rd i a g n o s et h ec o g n i t i v e p r o c e s sa n dp s y c h o l o g i c a lp r o c e s s i n gw h e nt h ee x a m i n e ef i n i s h e dt e s t i n gi t e m s ，s o c d ac a np r o v i d em o r ec o n c r e t ea n dr e f e r e n ti n f o r m a t i o nf o re x a m i n e e s ，t e a c h e r sa n d t h ee d u c a t i o na d m i n i s t r a t i o n t h e r e f o r e ，c d aa t t r a c t sm o r ea n dm o r ea t t e n t i o n sf r o m r e s e a r c h e r s t h em a i nt a s ko fc d ai sd i a g n o s i n ge x a m i n e e s c o g n i t i v es t r e n g t h sa n d w e a k n e s s e s ，a c c o r d i n g l y , w i t hv a r i o u sd i a g n o s t i cm o d e l sa n dm e t h o d s ，s u c ha s t a t s u o k a sr u l es p a c em o d e l ( r s m ) ，l e i g h t o n sa t t r i b u t eh i e r a r c h ym e t h o d ( a h m ) a n dm a c r e a d y sd i n am o d e l v a r i o u sd i a g n o s t i cm o d e l sw i l lh a v ev a r i o u s d i a g n o s t i cm e t h o d s ，a n dt h ec o m p l e xl e v e l o fi m p l e m e n ta n dt h ea c c u r a c yo f d i a g n o s i sa r ea l s od i f f e r e n t i nr s m ，t e s t i n gi t e m sa r ec o n s t r u c t e da tf i r s t ，a n dt h e nt h ei n c i d e n c eqm a t r i xi s a n a l y z e db yt h ee x p e r t s i nf a c t ，t h em e t h o do fg e t t i n gi n c i d e n c eq m a t r i xi nr s mh a s b e e np r o v e dt ob ep r o b l e m a t i c a l b a y e s i a nn e t w o r k sh a v es t r o n gr e a s o n i n ga b i l i t yi n s o l v i n gn o n d e t e r m i n i s t i cp r o b l e m s ，a n da t t r a c tm o r ea n dm o r ea t t e n t i o n sf r o ml o t so f r e s e a r c h e r s t h es t u d yg e t st h ee x a m i n e e s a t t r i b u t e m a s t e r yp a t t e r n sa c c o r d i n gt o t h e i rr e s p o n s ev e c t o r sa n dt h ea t t r i b u t e so ft e s t i n gi t e m s ，a n dt h e ng e t st h eh i e r a r c h y r e l a t i o n sa m o n ga t t r i b u t e st h r o u g hb a y e s i a nn e t w o r k ss t r u c t u r el e a r n i n g s i m u l a t i o n o fm o n t ec a r l os h o w st h a ti ti sag o o dr e f e r e n c et og e tt h eqm a t r i xb ya n a l y z i n gt h e t e s t i n gi t e m s b a y e s i a nn e t w o r k sc l a s s i f i e rh a sb e e na p p l i e di nm a n yf i e l d sb e c a u s eo fi t sf i r m t h e o r yf o u n d a t i o na n dg o o dp e r f o r m a n c e si nc l a s s i f i c a t i o n t h i sr e s e a r c hu s e sn a i v e b a y e s i a n c l a s s i f i e ri n c o g n i t i v ed i a g n o s i s c l a s s i f i c a t i o no fm o d e me d u c a t i o n a s s e s s m e n t s o m es i m u l a t i o n e x p e r i m e n t sw e r e d o n et o t e s t d i c h o t o m o u sa n d p o l y t o m o u s c o m p a r e dd i c h o t o m o u ss i t u a t i o nw i t ha h mc l a s s i f i c a t i o nm e t h o d ，f o r p o l y t o m o u s ，c o m p a r e dw i t hz h uy u f a n g sa h m c l a s s if i c a t i o nm e t h o da n dl lm e t h o d u n d e rt h es a m ec o n d i t i o n s n a i v eb a y e s i a nc l a s s i f i e rh a sa no b v i o u sa d v a n t a g e k e yw o r d s ：c o g n i t i v ed i a g n o s i s ；c l a s s i f y ；b a y e s i a nn e t w o r k s ；s t r u c t u r el e a r n i n g i l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示谢意。 学位论文作者签名：签字日期：年 月 日 学位论文版权使用授权书 本学位论文作者完全了解江西师范大学研究生院有关保留、使用 学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许论文被查阅和借阅。本人授权江西师范大学研究生院 可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：导师签名： 签字日期：年月 日签字日期： 年月 日 贝f i l 斯阀住认知诊断中的戍川 第1 章引言 1 1 研究认知诊断的目的和新分类方法的意义 随着社会的发展、教育的普及，教育已经逐步由“精英教育”转化为“普及 教育”，教育者不但关注教育结果，而且更关注教育过程。在强调测验选拔功能 的同时，教育测验的辅助教学与诊断功能逐步受到重视。教育测量者不仅仅只希 望从测验中得到被试的一个总分或能力值，他们想要看到每个被试对于知识或技 能掌握状态的详细描述n 1 。因此，测验应该加强诊断的功能，为教师、被试提供 有关被试掌握知识的详情，使教师可以针对性地进行编制测试题、补救教学，被 试也可以有针对性地进行学习，从而提高学习效率。及时准确地对被试进行认知 诊断( c o g n i t i v ed i a g n o s i s c d ) 是教学过程中不可或缺的重要环节，也是智能教 学系统研究的主要内容之一。认知诊断测量( c o g n i t i v ed i a g n o s i sa s s e s s m e n t ， c d a ) 的目标是测量学生的特定知识结构和操作技能，并提供关于学生认知上的 优点和不足的信息幢1 。一些研究者已经断定c d a 是2 l 世纪新的测量模式，并呼 吁大力开展对c d a 的研究和使用b 钉。被试的知识状态是不可直接观察的，如何 准确地对被试进行诊断评价引起国内外教育、心理和人工智能等专家的兴趣，美 国政府甚至通过立法要求教师提供对学生的认知诊断报告嫡1 。 认知诊断的本质是从被试的作答数据中去挖掘出被试对相关知识的掌握详 情，为教师和被试提供教学和学习的指导依据。一般的做法是：首先找出被试对 知识的所有可能掌握情况( t a t s u o k a 的规则空间模型哺船m 中称为理想被试 的属性掌握模式，l e i g h t o n 等人的属性层次方法嘲n 3 1 5 m 6 7 3 中称为期望被试的 属性掌握模式) ，一种知识掌握情况对应一类被试；然后将参加测验的所有被试 分别归到某种可能的知识掌握情况上。认知诊断的关键在于根据被试的作答数据 如何准确地推断出其知识掌握详情，也就是选择一个尽可能准的分类方法。 贝叶斯网络是用来表示变量问连接概率的图形模式，它提供一种自然的表示 因果信息的方法，用来发现数据问的潜在关系。近几年来，贝叶斯网络已经成为 颂十学位论文 数据挖掘和知识发现的一个重要工具，在分类、聚类、预测和规则推理等方面取 得良好的应用效果。贝叶斯理论给出了信任函数在数学上的计算方法，具有稳固 的数学基础n 刖。在数据挖掘中，贝叶斯网络可以处理不完整和带有噪声的数据， 它用概率测度柬描述数据i 日j 的相互关系，语义清晰、可理解性强，这有助于利用 数据间的因果关系进行预测分析。贝叶斯方法正以其独特的不确定性的表达形 式、丰富的概率表达能力、综合先验知识的增量学习特性等成为当前数据挖掘众 多方法中最引人注目的一个。 根据贝叶斯统计技术，贝叶斯网络很方便的将领域知识和数据联合起来。如 果要对一个实际问题进行分析，先验或领域知识是至关重要的，特别是当数据是 不完全的或数据很难获得的时候。 1 2 认知诊断研究的国内外现状 教育测量的过程也就是分析被试作答数据和测验项目，并从中得到有价值的 信息的过程。在教育测量学界，学者们提出了不少诊断测验模型。有统计数据表 明，到2 0 0 6 年为止，至少已有6 2 种认知诊断模型被开发并被用于认知诊断n 明。 这些模型通过被试在试题上的作答反应推测被试的知识状态或心理特质。 t a t s u o k a 的规则空间模型( r u l es p a c em o d e l ，r s m ) 是较早提出且最有影响的认 知诊断模型之一，它从被试的作答反应入手，推测出被试内部知识结构，从错误 反应中得知被试的知识缺陷，但它的q 矩阵理论n 们和求理想项目反应模式的理论 存在不足啪t2 ；规则空间模型的分类方法较复杂，是否有其他既简便、分类效果 又更好的分类方法呢，这很值得探讨。r s m 自从二十世纪八十年代开始研究， 模型不断完善，后来有好几种认知诊断模型都是应用它的一些概念而发展起来 的，如联合( 统一) 模型( u n i f i e dm o d e l ) n 0 3 3 、融合模型( f u s i o nm o d e l ) 嘲、 d i n a 模型( d e t e r m i n i s t i ci n p u t ，n o i s y a n d ”g a t em o d e l ) 嘲汹1 、n i d a 模型( n o i s y i n p u t ，d e t e r m i n i s t i c a n d ”g a t em o d e l ) 嘲儿2 5 1 等。l e i g h t o n 等人的属性层级模型 ( a t t r i b u t eh i e r a r c h ym e t h o d ，a a - i m ) 是r s m 的一种变体n 3 1 ，该模型将认知心理学 和心理测量学相结合，便于开发和分析教育与心理测验。a h m 给出不同于规则 空间模型分类法，包括i r t 分类方法( 方法a 、方法b ) n 砷n 6 1 和非i r t 分类方法 ( 人工神经网络法) n7 1 。陈德枝等( 2 0 0 9 ) 啪1 对a h m 与r s m 诊断准确率进行了 2 | 见f l f 斯网以：认矢i j 诊断中的成川 比较研究。 t a t s u o k a 的r s m 中的理想反应模式、l e i g h t o n 等人提出的0 - 1 评分a h m 中的 期望反应模式和d i n a 模型中的理想反应模式等都有一个基本假设，即当且仅当 被试掌握该项目所涉及的所有属性，该被试才能答对该项目。这样，掌握一个属 性的被试和只差一个属性没掌握的被试在该项目的得分都是o 分。这种评分方式 容易造成诊断信息的损失，而多级评分可克服这一缺陷。b o l t 和f u 认为精确的 认知诊断要求具有更丰富的有关被试在项目上作答反应的信息汹1 。 许多研究者提出实现认知诊断测量的框架堙7 儿嚣怕1 。m i s l e v y 等人的概念上的 测量框架“以证据为中心的设计( e v i d e n c e c e n t e r e dd e s i g n ，e c d ) 和相应的 操作框架“四阶段模型( f o u r p r o c e s sm o d e l ) 油，已经有e t s 的大批的研究者 在进行深入研究。 m i l l a n 等人研究利用贝叶斯网对被试进行认知诊断啪1 。因为学生的知识状态 随学习过程发生变化，r e y e 和m i1l a n 等研究利用动态贝叶斯网对学生建模船。 迄今为止，国外对a h m 的研究都是基于o 1 评分模型；祝玉芳等m 悃聃1 对 多级评分的a h m 进行研究，并且也提出新的分类方法，这是与我国测验中某些 项目( 如证明题，计算题) 的多级评分现状相适应的。m i s l e v y 等人将贝叶斯网 和s a m e j i m a 的等级评分模型进行综合研究口叫。b o l t 和f u 开发了多级评分的融 合模型( f u s i o nm o d e l ) 幽19 但是融合模型中未知参数估计特别复杂，且b o l t 和 f u 报导的诊断准确率不高。 1 3 研究的内容及所要解决的问题 r s m 中的q 矩阵是请学科专家从已编制的测验中抽取出属性后给出测验的 关联q 阵，丁树良等( 2 0 0 9 ) 发现由t a t s u o k a 在1 9 9 1 ，1 9 9 5 中所介绍的由测验项 目抽取属性层级关系是不可靠的啪2 ，当属性层级关系定义的不准确时，会给诊 断分类造成混乱，导致整个诊断都难以币确进行。a h m 的方法是在测验编制之 前便要求确定属性间的层级关系。本研究将利用贝叶斯网学习从被试的属性掌握 模式中得出属性问的层级关系，这对r s m 的不足来说是一个很好的补充，也可 以对a h m 中的属性层级关系进行验证；另一方面，将贝叶斯网分类器应用到现 代教育测量中的认知诊断分类中，对于0 ，l 计分与a h m 中典型的分类方法进 3 硕f ：学位论文 行比较，对于多级计分与祝玉芳( 2 0 0 8 ) 的方法进行比较，研究何种方法更有利于 提高归准率。 本研究的主要内容有两个：第一，利用贝叶斯网结构学习，从被试的属性掌 握模式中得到属性之间的层级关系：第二，将贝叶斯网分类器应用到认知诊断分 类中，包括o ，l 计分和多级计分两种情况，讨论不同分类方法的归准率。 1 4 论文主要创新点 一、利用贝叶斯网结构学习，从被试的属性掌握模式得到属性闻的层级关系。 二、利用贝叶斯网分类器对认知诊断进行分类。 1 5 论文组织结构 本文的章节安排如下： 第l 章为引言，简述认知诊断的研究工作背景和意义，对国内外有关认知诊 断已有研究的述评，以及本研究的主要内容和所要解决的问题。 第2 章介绍本研究相关的理论基础，包括项目反应理论、认知诊断和贝叶斯 网的基本概念，以及研究用到的i r t 模型、认知诊断模型和分类方法。 第3 章介绍利用贝叶斯网结构学习得到属性之间的层级关系，介绍具体的操 作步骤，进行了实验，并对实验结果进行分析，提出需要进一步的工作。 第4 章引入贝叶斯网分类器到认知诊断的分类中，介绍具体的操作步骤、实 验设计，列出实验结果，对结果进行分析比较； 第5 章对全文进行总结，总结本文的研究内容和不足之处，并提出今后需要 进一步研究的问题。 4 n ! n i 斯网住认失u 诊断r t 的随州 第2 章理论基础综述 2 1 项目反应理论( i i 汀) 2 1 1 项目反应理论的基本概念 项目反应理论( i t e mr e s p o n s et h e o r y ，i r t ) 口引，亦称作为潜在特质理论 ( l a t e n tt r a i tt h e o r y ) ，从六十年代提出以来得到很大的发展。随着计算机技 术的发展，i r t 得以迅速推广和应用。一些传统的智力测验如：比奈测验、韦氏智 力测验、瑞文测验等，以及一些诊断模型如规则空间模型、属性层次模型等也使 用i r t 作为分析的理论依据。 2 1 2 项目反应理论的基础模型 不管是经典测量理论还是项目反应理论，它们的核心都是数学模型m ，所有 这些模型都是建立在一定假设基础之上的，是反映被试在测验中观察不到的能力 水平和观察到的反应之间的数学函数关系。c t t 采用的是线性模型( 依赖于被试 团体) ，i r t 的理论体系则构建于更复杂的数学模型之上，它采用非线性模型， 建立被试对项目的反应( 观察变量) 与其潜在特质( 潜变量) 之间的非线性关系，这 一点更符合事实。项目反应理论中基础模型的发展目趋完善，o 一1 评分的单维评。 分模型有逻辑斯蒂克模型，正态肩形模型，拉希模型瞄7 等；多值记分单维模型有 等级反应模型( t h eg r a d e dr e s p o n s em o d e l ，g r m ) ，评定量表模型( t h er a t i n g s c a l em o d e l ，r s m ) n ，称名反应模型( t h en o m i n a lr e s p o n s em o d e l ，n r m ) 心1 ，分 部评分模型( p a r t i a lc r e d i tm o d e l ，p c m ) 卿和拓广分部评分模型( g e n e r a l i z e d p a r t i a lc r e d i tm o d e l ，g p c m ) 引；多维i r t 模型5 艏1 ；非参数i r t 模型h 帕1 等， 极大的丰富和完善了项目反应理论。 2 1 3 i r t 的优缺点 项目反应理论主要有以下几个优点：被试的能力和项目的难度被定义在同一 个量度系统上，克服经典测验理论中项目难度与被试能力不可比较的缺陷；提出 项目信息量与测验信息函数的概念，可以对测验的测量精度即误差进行事先控 制，对于测验组卷有指导作用。进入到二十世纪九十年代以来，i r t 模型得到很 大发展，由简单的0 - i 评分模型发展到多级评分模型，由单维模型发展到多维模 型陬”。尽管i r t 还在不断的完善中，但有个缺陷是i r t 所无法忽视的，即现代 颂f ：学位论文 的测量理论仍然采用的是行为主义的刺激一反应( s - r ) 模式，通过被试对刺激所 作的反应模式来推断被试的内部心理过程。但是，这种通过能力值来推断被试的 内部心理过程其实并未被真正揭示出来，被试的内部心理过程仍然是一个黑箱， 并因此被指责为是将“二十世纪的统计学应用于十九世纪的心理学”。这种仅 把所测的内部心理属性看成是纯统计结构，计量时只注重作答反应结果，忽视对 被试作答过程的考察分析，只注重计量而忽视心理品质的实质内容显然已经不能 满足当前社会发展的需要，特别是近年来认知心理学的发展为各种模型的开发提 供更广阔的应用前景。认知心理学渗入到心理测量模型当中，真正使得教育与心 理测量为具体的认知科学服务。此外，在i r t 中，被试解决问题的能力值是一个 单维的连续变量，这对实际的评价、选拔功能是足够的，但是要想通过测验进行 教学和学习指导就显得不足。测验如果能够提供信息使人们对被试的知识结构、 解题策略等内部心理过程有更深的了解，测验的诊断和辅助教学功能将大大提 高，从而使老师的教学和被试的学习都有更强的针对性。 2 2 认知诊断( c d ) 2 2 1 背景及意义 心理与教育测验领域先后出现经典测验理论( c l a s s i ct e s tt h e o r y ，c t t ) 、 概化理论( g e n e r a l i z a b i l i t yt h e o r y ，g t ) 和项目反应理论( i r t ) m 1 ，这些理 论对解决许多心理、教育等学科中的实际问题起了很大作用。但无论是c t t 、g t 还是i r t 指导的测验( 比如通常的教育测验) 中，其关注的焦点都是考生的分数， 对分数背后所隐藏的心理内部加工过程、技能和策略以及认知结构知识结构等 无法提供进一步的信息。因此，传统测验嫡2 1 ( 如基于经典测验理论、概化理论和 项目反应理论上的测验) 能很好的为被试评定成绩，比较被试之间的差异从而决 定其是否升级或预测被试在某一将来的活动中是否表现得好。但一般来说，传统 测验并不会为改进行为表现提供有用诊断信息。也就是说传统的测量和评价与学 生的学和老师的教相分离，忽视测量与评价对教育指导的促进作用。我们知道， 四选一的选择题型为被试作答提供2 5 的猜测机会，特别地，是非判断题其猜测 率更高。传统测验很难肯定某学生是否真j 下掌握某一知识，因此对于那些猜测答 对的学生，老师就很难察觉，这就必然会使老师忽略对这些学生的补救教学。还 有，传统测验测查的都是某一学科知识领域中的零散知识，不能测量到被试头脑 中所形成的关于这一领域的知识结构( 我们称之为被试在某一知识领域中的认知 结构) ，也不能测量到被试在某一特定知识领域中的知识变化情况，而且由于在 传统测量中被试的作答都是被动反应的形式，根本不能体现被试自己主动去建构 知识的过程。现代的测量已经由传统注重选择转向注重诊断，因此，现代测量与 6 ! j ! f i i 斯网住认知诊断中的v i l t j 评价更加注重对教育指导的促进作用，对学生学业成绩的改进提供更多有用的反 馈信息。 现代教育测量的目的不仅仅是通过测验来对被试进行排序、筛选，至少要求 测验之后能够提供给被试更多、更为直观且更易量化的评价信息，这些评价信息 的重要作用和意义在于：( 1 ) 被试不仅仅知道自身的学习掌握情况，并有针对性 地对自身知识采取弥补性措施；( 2 ) 对教师而占，可以为其教学提供更多的反馈 信息，真正做到“教学相长”；( 3 ) 从科学评价学生的角度而言，反映的是对学 生能力的过程性评价和非终结性评价饰引。因而，测验的重要作用在于能够向被试、 教师、学校、家长提供更为重要的有关评价被试的信息，如何从一次测验并从被 试的实际作答情况中获得更多的被试内部心理状态的信息，认知心理学家和测量 学家都在做各自的尝试。其中认知心理学家主要考虑的是“新一代测量理论 该 测量被试的“什么信息”的问题，而测量学家们则主要致力于对于这些信息该如 何测量与分析的问题，因此，为进一步探查被试的这种内部心理结构，就需要测 量学家和认知心理学家两者的结合，共同为探查被试内部的心理结构做出贡献。 许多测量学者，在项目反应理论( i r t ) 的基础上，加入一些代表内部心理过 程的参数，以期通过对这些参数估计的实现找出与被试能力相关联的试题属性特 征，并希望通过认知心理学家的贡献来对心理结构属性进行解构，进而使被试和 教育者获得更多的有关教育评价方面的信息，如美国的p s a t n m s q t ( p r e l i m i n a r y s a t - n a t i o n a lm e r i ts c h o l a r s h i pq u a l i f y i n gt e s t ) 测验就把规则空间模型应 用于测验分析与结果报告中( e t s ，2 0 0 2 ) 。 在美国，布什总统于2 0 0 1 年提出的“不让一个孩子落伍 ( n oc h i l dl e f t b e h i n d ，n c l b ) 的教育改革议案于2 0 0 2 年1 月8 同正式通过审核成为法律。法案 要求3 年级到8 年级的学生每年都要参加阅读与数学测验。从2 0 0 3 年开始，“不 让一个孩子落伍 法案要求所有的州和学校区域都接受联邦i 号基金( t i t l ei g r a n t ) 参与两年一次针对4 年级和8 年级学生的全国教育发展评估( n a t i o n a l a s s e s s m e n to fe d u c a t i o n a lp r o g r e s s ，n a e p ) 阅读和数学评估。n a e p 的成绩报 告建立在总分量表( s i n g l es c o r es c a l e ) 基础上，本质上说是“发展量表 ， 从年级和年龄这两个水平在时间跨度内比较不同学科的教育成绩( 主要是四年级 至八年级) ，给出不同年级组的学生在性别、地域、种族及学校性质等维度上的 学生学习成就的分析报告图，其目的是向学校、教师及各个州政府制定相应教育 政策提供更多有关教育影响价值的信息，找出教育进步及需要面对的挑战等问 题，因而能填补教育成就测验中出现的空白。但是，它并非针对每一个被试提供 诊断及其评价的信息，对解释为什么同一年级学生会在不同时间内获得什么样的 发展提供的信息较少。 在我国，2 0 0 1 年教育部启动新一轮基础教育课程改革，其中提高学生学业质 7 硕卜学f 节论文 量是课程改革的重要目标之一。课程改革倡导学生要获得的不仅足分数，更是素 质和能力的提高以及情感、态度和价值观的培养。2 0 0 3 年，在教育部基础教育课 程教材发展中心组织下，建立中小学生学业质量分析、反馈与指导系统。现在已 经完成省级、市级和县级的报告，正在研究学校、班级和被试本人的诊断报告。 从以上的几个例子可以看出：( 1 ) 认知诊断模型应用于评价教育实践，对于 心理计量学角度而言，具有罩程碑的意义；( 2 ) 必须重视教育评价在教育影响价 值中的作用，尤其应当为被试本人提供有效的诊断信息； 2 2 2 认知诊断模型介绍 认知诊断是根据一定的认知诊断模型进行的，用于测验的诊断模型有很多 种，有统计数据表明，蛩 2 0 0 6 年为止，至少已有6 2 种认知诊断模型被开发并被用 于认知诊断n 9 1 。就已开发应用的这些模型看，可以对认知诊断模型作一个简单的 归类。认知诊断的测量学模型有两个基础性的模型1 ，一种是f i s c h e r 提出的线 性逻辑斯谛克特质模型( l i n e a rl o g i s t i ct r a i tm o d e l ，l l t m ) 嘲1 ；另一种是 t a t s u o k a 等人提出的规则空间模型( r u l es p a c em e t h o d ，r s m ) 。前一个模型是 潜在特质模型的扩展，目的是剖析观察分数下被试的潜在特质。后一个模型是潜 在分类模型的扩展，目的是按被试在潜在特质上质的差异将被试进行分类。以线 性逻辑斯谛克特质模型为基础发展出的模型有多成分潜在特质模型 ( m u l t i c o m p o n e n tt r a i tm o d e l ) 嘞1 、线性指数模型( 1 i n e a re x p o n e n t i a l m o d e l ) 嘲3 等十余种。联合( 统一) 模型、融合模型、d i n a 模型、n i d a 模型和a i - i m 等模型都利用规则空间模型中的q 矩阵。限于篇幅，我们将只简单介绍与本研究 有关的诊断模型。 l 、规则空间模型r s m ( 1 ) 模型简介 在已往的测量理论当中，不论是经典测验理论还是项目反应理论，都把被试 的错误作答看成是随机的或是“噪音 ，但是这与实际的情况相差甚异。实际上， 在测验中我们常常看到，被试在某一批同类试题上都是错误的，即被试在试题上 的错误作答并不是相互无关或是随机的，而是被试认知上的缺陷或是运用某个错 误规则导致的，因此，被试的错误作答中还有很多的信息未被挖掘。t a t s u o k a 提 出的规则空间模型正是从这一点着手的。 规则空间模型假设被试在测验作答中完全使用同一个规则，不论该规则正确 与否。正确的规则能在所有试题中得到正确结果，而错误的规则也有可能在某些 试题上得到正确结果。例如在带符号整数减法运算当中，假设被试建立的规则是 “用绝对值大的数减去绝对值小的数，符号取绝对值大的数的符号”，这个规则 用到如“一1 5 一( 一9 ) 的试题中能得到正确结果，用在“5 一( 一1 2 ) ”的试题中就 会得到错误结果。如果测验试题编制得好，则所有重要的、可预见的常见错误都 8 9 1n lj 圻m 伍认知珍断t 一的膨川 可以通过这些试题上的l 、0 作答模式来表现。如果被试正确运用某个规则，那 么在使用该规则的项目，他的得分就为“l ”，否则就为“o ”。t a t s u o k a 认为作答 模式包括两方面的信息量的信息和质的信息。作答模式量的信息可以通过能 力秒来表示，而对于能够反映一组被试非典型或不恰当的作答模式的质的信息， 即被试偏离理想作答模式所对应的值时，也即所谓的“异常反应行为的程度”， 她提出该模型的拟合度指标f 协，所有的规则都可以用秒和f 的有序对束表示。 模型的一个基本假设是测验项目可以用特定的认知技能( 又称属性) 描述， 属性包括被试正确求解测验项目必须具备的各方面的能力，如技能、策略、加工 过程或知识点等。被试的知识状态可用一组通常无法直接观察的认知属性掌握模 式来表征，因此把它转化为与之相对应的理想项目反应模式，这样把观察反应模 式归类到理想反应模式( i d e a lr e s p o n s ep a t t e r n ) 哺1 中就能诊断出被试的知识状 态，这里“理想 是指始终一贯地使用同规则( 不论正确与否) 的情况下的项 目得分模式。由于猜测或失误，被试的反应模式会偏离理想反应模式，t a t s u o k a 给出这些反应模式的统计分布盯1 。 规则空间模型包括两大部分，第一部分是q 矩阵理论n 0 1 ，第二部分是模式识 别。q 矩阵理论引入q 矩阵，q 矩阵表达属性和项目之间的关联，q 阵的元素非 0 即1 ，它的第j 行第，列元素qf ，若为1 ，则表示项目，具有属性f ，反之则qf ， 为0 。t a t s u o k a 用布尔代数相关性质，把q 矩阵中表示的被试属性掌握模式转化 为被试在既不猜测也不失误的情况下的理想项目反应模式，即将不可观察的属性 掌握模式转化为可观察的项目反应模式，当然也可以通过更简单的方式获取理想 项目反应模式2 。模式分类是先根据被试的反应向量，计算被试的能力0 及描 述该反应模式异常性的警戒指标，再应用多元分析中模式识别的原理构造一个 规则空间，将被试的观察反应模式与理想反应模式转化为规则空间的点，理想反 应模式对应于规则空间中的点称为纯规则点，它是分类判别的类中心，比较观察 反应模式对应于规则空间中的点与纯规则点的马氏距离的大小( 甚至用b a y e s 判 别) ，对观察反应模式进行判别，以达到认知诊断的目的。具体实现步骤如下： r s b t 通过专家分析测验项目得到关联矩阵q m ( 其中k 是属性个数，玎是项目 数) 来描述项目与属性的关系，有时采用更新法( r e t r o f i t t i n ga p p r o a c h ) 引修 正q 或q ，阵。就是根据已有的理想项目反应模式的包含关系得出属性间的层次关 系，然后得到相应的邻接阵( a d j a c e n c ym a t r i x ) 彳、可达阵尺、关联阵q 及约 9 硕卜f 声论文 减关联阵q r 。其中表征属性问的直接关系k 阶邻接矩阵a 可由属性i h j 层级关系直 接得出；然后通过布尔加和布尔乘计算r = ( a + ，) ”得到k 阶可达阵 ( r e a c h a b i l i t ym a t r i x ) r 表征属性i 、日j 直接或i 日j 接关系，其中，2 是使( 彳+ ，) ”达 到稳定状态的值，即( a + ，) ”再乘以a + i 其值不变，i 是与a 同维的单位阵；再 构造k 行2 k l 列关联矩阵q ，即q 中包含所有的属性组合( 扣除不含任一属性的 组合) ，把q 中不符合r 中要求的列去掉，求出简化关联矩阵q ，；由于简化关联 矩阵q ，的列不仅仅表示所有类型的项目，还可表示所有类型的被试，因此转置q r 就可得到被试属性掌握模式矩阵e ，然后根据布尔代数的相关性质得出理想项目 反应模式全集。然后按如下的步骤进行模式分类，诊断出被试的知识状态： 通过参数估计方法求出每一个项目反应模式( 包括理想项目反应模式和观 察项目反应模式) 所对应的能力值秒，以及每个项目的项目参数( 比如区分度a 、 难度b 以及猜测度c ) ； 根据能力值0 和项目参数值计算某种项目特征曲线的项目答对概率 p j ( 秒) ( 歹= l ，2 ，雄) 、被试的真分数f ( 口) = 尹，( 秒) 7 露； j = i 计算异常反应模式指标( c a u s i o ni n d e x ) f ，该指标用来反映实际反应模 式与理想反应模式之间的差异。f 的计算方法如下：令 f ( x ) = ( p ( o ) 一x ) ( p ( 口) 一丁( 伊) ) ，其e e _ t ：标，代表转置，p ( 9 ) 是被试对以个项目的 答对概率向量：p ( o ) = ( p 。( 9 ) ，p ：( 秒) ，p 。( 秒) ) ，x 是被试的项目反应向量。r ( o ) 是项目答对概率的均值向量，其元素都相等，即r ( e ) = f ( 口) ，f ( 日) ，f ( 秒) 。 通过计算可知：厂( x ) 的期望值为0 ，方差v a r f ( x ) = 窆p ，( p ) 口，( p ) 【e ( p ) 一f ( 口) 】2 。 j = l 定义f = f ( x ) v a r f ( x ) “2 ，从而得出( 0 ，- ) 。t a t s u o k a 把由秒和f 构成的二 维空间称为规则空间，这样项目反应模式就转化为空间中的变量； 把理想项目反应模式对应的r i = ( 吼，靠) 称做纯规则点，然后计算被试 作答反应模式对应的规则点x ，= ( 吼，f ，) 与所有纯规则点r i = ( 钆，f 膏，) 的马氏 l o 贝n l 斯网矗：认知诊断中的府川 距离：瑶= ( x ，一r 一( x ，一r ，) ( f = 1 ，2 ，；= 1 ，2 ，尼) ，其中是变 量啡和f ( x 月) 的协方差阵 y f1 i ( e j ) 01 一1 0 v a r f ( x ) ) 对于离被试规则点x ；最近的两个纯规则点，再用贝叶斯最小失误决策规则 将被试归类。 ( 2 ) 规则空间模型的优缺点 该模型成功地克服了传统测验只给出一个总分( 或能力) 的评价，它不仅对被 试的能力水平进行综合评价，还能对被试掌握属性模式进行判别、诊断。这样被 试、老师、家长都可以很清楚地了解被试掌握了哪些知识点，没掌握哪些知识点， 被试处于何种能力水平，教师教学上存在哪些不良教育方法。根据这些诊断信息， 提出针对各类被试非常有效的补救措施，真正做到因材施教。但该模型也存在以 下缺点： 项目所测认知属性是否完备( c o m p l e t e n e s s ) 难于界定； q 矩阵理论有缺陷幢0 2 ； 规则空间模型的归类法较复杂。 ( 3 ) r s m 的国内外研究现状及趋势 目前，国内对认知诊断的研究还比较少，辛涛呻1 、余嘉元嘲1 、戴海崎咖1 等人 运用规则空间模型对实际数据进行认知诊断，丁树良等人通过研究证明规则空间 模型的q 矩阵理论存在缺陷和错误2 。文剑冰嵋在博士论文中应用规则空间模 型讨论了在诊断性计算机化自适应测验( c a t ) 中的应用，该文通过实验研究方 法分别考察测验长度、测验属性的多少和它们之间的关联，测验使用试题的复杂 程度、试题的随机参数大小，以及项目反应理论模型等因素对于模型估计准确性 的影响，同时，还考察了各因素之问的交互影响作用。 国外对r s m 的研究集中在两个方面：一是模型的理论研究，主要对模型中的 一些评价指标及r s m 维度进行研究，二是模型在考试与评价实践中的应用：用于 数学、医学、建筑和语言等学科的认知错误诊断及计算机自适应测验阳1 。 2 、属性层级模型( a h m ) ( 1 ) 模型简介 属性层级模型( a t t r i b u t eh i e r a r c h ym e t