（应用心理学专业论文）基于认知诊断的高考生能力掌握模式诊断研究.pdf

i l i hi i i i i i il l f l l l l l l l l lii i l l l l l l l l l l l l l i y 2 13 2 4 3 6 杭州师范大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得垫刿竖整盘鲎或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示谢意。 学位论文作者签名：东 玉礁签字日期：纱肛年易月7 日 学位论文版权使用授权书 本学位论文作者完全了解揎刿垣整盘堂有权保留并向国家有关部门 或机构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权拉刿! 至 整盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可 以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： ，牛、刍珐 签字日期：沙阻年6 月f 日 新虢弘胺 签字日期：y 年易月 日 致谢 时光飞逝，转眼间这短暂而充实的研究生生活即将结束。回首这三年的读研 生涯，往日的点点滴滴还历历在目。这三年来，无论在学习上还是生活上，我都 收获颇多。有幸结识了许多值得尊敬的师长，以及伴我成长的同学、朋友，共同 陪我度过了人生中最宝贵的三年。感激之情存于内心，溢于文字。 首先，衷心感谢我的恩师李金波老师三年来对我的培养、鼓励和谆谆教诲。 三年前，数学和计算机基础欠佳的我，初接触统计测量，顿生畏惧。是在导师的 细心、耐心的指导和不断鼓励下才让我不仅学习收获了很多专业知识，更喜欢上 了统计测评的研究。本次论文撰写的整个过程，包括最初的论文选题，到数据分 析、结构安排以及后期的修改都是在李老师的悉心指导和启发下完成的。三年来， 老师不仅在学业上给我精心指导，在生活上也是给以无微不至的关怀，在此谨向 恩师致以最真挚的谢意和最崇敬的敬意! 我唯有不断进取，努力奋斗才能回报老 师的教诲之恩! 感谢杭师大心理系的老师们，感谢程素萍老师、田学红老师、张宏武老师、 张敏老师、傅亚强老师、周丽清老师、朱晓斌老师、黄丽老师、张德玄老师、潘 毅老师、丁峻老师、宋其争老师、唐世明老师、吴信伟老师，你们渊博的学识、 严谨的学风一直感染和激励着我，你们的精彩授课让我的学识有了很大的提高。 感谢所有参与支持本研究的老师，是你们的参与使我的论文得以顺利进行。 特别要感谢浙江省教育厅教研室张金良老师、杭州高级中学伊建军老师、杭州第 十四中学王红权老师、杭州第二中学杨帆老师、杭州师范大学附属中学景芳老师、 杭州西湖高级中学严兴光老师，感谢你们在研究中给予的帮助! 感谢同门胡世军和师妹杨超在我学业上给予的鼓励和支持! 感谢室友徐晨 质、严立、王秀纯及好友范荣寿、刘霞、杨屹灵、孙月、梁恩思等让我收获了最 诚挚的友谊，你们将是我一生的益友! 感谢所有0 9 级应用心理学专业的同学， 跟你们一起学习，让我体验到集体的温暖和互助协作的快乐。 最后，特别要感谢我的家人，感谢父母和姐姐、妹妹多年来对我的无限支持 和默默关心，你们永远是我最强大的精神支柱和动力源泉! 感谢我身边的每一个人，在此谨祝你们永远幸福快乐! 朱玉玲 2 0 1 2 年3 月于杭州师范大学 摘要 心理与教育测量领域中认知诊断理论的兴起使得在测验中诊断被试的认知 状态成为可能。运用认知诊断对学业成绩进行评价，能够超越单独的分数评定或 能力指标，挖掘深层信息，对学科能力作出具体解释。现有的认知诊断应用研究 大多集中在小规模领域，本文以2 0 1 0 年某省高考理科数学试卷为例，进行高考 生能力掌握模式的诊断，尝试在大规模考试中进行认知诊断技术应用研究。 研究运用规则空间模型，根据理科数学试卷的能力层级特点，分析其所包含 的能力属性及其层级关系，根据被试在高考中的作答反应，将他们划归为7 1 种 不同的能力掌握模式，根据归类结果探讨学生群体的能力掌握情况和学生个体的 能力掌握情况。在此基础上，进一步研究某个市、某所学校以及单个考生的诊断 性报告，进而比较某所学校、其所在市及所在省在具体的能力掌握模式以及各项 能力平均掌握率上的差异；并利用认知诊断反馈的信息，为教师和学生的教学实 践、补救性教学及命题与试卷设计等提供指导依据。研究结果表明： 1 基于规则空间模型对高考生数学能力掌握情况进行诊断，成功地将 9 6 5 1 的被试判归入7 1 种典型能力掌握模式中。 2 被试在七种数学能力上的平均掌握率由高到低分别为：运算求解能力、 数据处理能力、推理论证能力、创新意识、抽象概括能力、空间想象能力、应用 意识。 3 本研究所选取的某市被试与金省相比，在高端能力掌握模式上要好于全 省平均；在各项能力上的掌握比例均明显高于全省平均。研究所选取的某学校被 试与其所在市相比，在高端能力掌握模式上也好于其所在市；该学校被试在各项 能力上的掌握比例除空间想象能力略低于其所在市平均外，其他能力均明显高于 其所在市平均。 4 不同被试的能力结构是不一样的，即使是具有相同分数或总的能力水平 相当的被试，其内部认知特征及能力掌握情况也是不同的。 关键词：高考；能力属性； 认知诊断；规则空间模型；诊断报告 i i a b s t r a c t t h er i s eo fc o g n i t i v ed i a g n o s i st h e o r yi nt h ef i e l do fp s y c h o l o g ya n de d u c a t i o n m e a s u r e m e n tm a k e sd i a g n o s i sc o g n i t i v es t a t u so ft h et e s tp o s s i b l e u s i n gc o g n i t i v e d i a g n o s i sm e t h o dt oa s s e s ss t u d ya c h i e v e m e n tc a ns u r p a s ss c o r e se v a l u a t i o no ra b i l i t y i n d e x ，d i gd e e pi n f o r m a t i o n ，a n dm a k es p e c i f i ce x p l a n a t i o na b o u ts u b j e c ta b i l i t y p r e v i o u sc o g n i t i v ed i a g n o s i sa p p l i c a t i o nr e s e a r c hm o s t l yf o c u so ns m a l ls i z e sf i e l d s t h i s p a p e ra t t e m p t s t o g o o nt h e a p p l i c a t i o nr e s e a r c ho fc o g n i t i v ed i a g n o s i s t e c h n o l o g yi nl a r g es c a l ee x a m i n a t i o n s i nt h i sp a p e rw et a k et h ee x a m p l eo ft h e2 0 10 u n i v e r s i t ye n t r a n c ee x a ms c i e n c em a t h e m a t i c st e s tp a p e r st od ot h ed i a g n o s i sr e s e a r c h o f h i g he x a m i n e e s a b i l i t ym a s t e rm o d e t h i ss t u d ya p p l y i n gr u l es p a c em o d e l ，a n a l y z i n gi t s a b i l i t ya t t r i b u t ea n d h i e r a r c h ya c c o r d i n gt os c i e n c em a t h e m a t i c st e s tp a p e r s c h a r a c t e r i s t i c s a n dp u tt h e m i nt h er a n k so f71d i f f e r e n ta b i l i t ym a s t e rm o d e l si na c c o r dt oe x a m i n e e s a n s w e r r e a c t i o ni nt h eu n i v e r s i t ye n t r a n c ee x a m i n a t i o n t h e nd i s c u s s e st h em a s t e rs i t u a t i o no f s t u d e n t s g r o u pa b i l i t ya n dt h e m s e l v e sa b i l i t ya c c o r d i n gt ot h ec l a s s i f i c a t i o nr e s u l t s b a s e do nt h i s ，g oo ns t u d yac i t y , as c h o o lo ras i n g l ee x a m i n e e sd i a g n o s t i cr e p o r t t h e nc o m p a r et h ed i f f e r e n c e sb e t w e e ns p e c i f i ca b i l i t ym a s t e rm o d e l sa n dt h ea v e r a g e m a s t e rr a t eo fa l lk i n d so fa b i l i t i e si nas c h o o l ，t h ec i t ya n dp r o v i n c ei nw h i c ht h e s c h o o ll o c a t e a n du s i n gt h ef e e d b a c ki n f o r m a t i o no fc o g n i t i v ed i a g n o s i st op r o v i d e g u i d a n c ef o rt e a c h e r sa n ds t u d e n t s ，t e a c h i n gp r a c t i c e ，r e m e d y i n gt e a c h i n ga n dt h e d e s i g no fq u e s t i o n sa n dp a p e r s t h er e s u l t ss h o w ： 1 t h i sr e s e a r c hu s er u l e ss p a c em o d e lt od i a g n o s et h em a s t e r ys i t u a t i o no f e x a m i n e e s m a t h e m a t i c sa b i l i t y , a n ds u c c e s s f u l l yp u t9 6 5 1 p a r t i c i p a n t si n t o7 1 k i n d so ft y p i c a la b i l i t ym a s t e rm o d e l 2 t h ea v e r a g em a s t e rr a t eo f p a r t i c i p a n t so nt h es e v e nm a t h e m a t i c sa b i l i t yf r o m h i g l l t ol o w a r e ：o p e r a t i o ns o l v i n ga b i l i t y , d a t ap r o c e s s i n ga b i l i t y , r e a s o n i n g d e m o n s t r a t i o na b i l i t y , i n n o v a t i v ec o n s c i o u s n e s s ，a b s t r a c te p i t o m ea b i l i t y , s p a c e i i i i m a g i n a t i o na b i l i t ya n da p p l i c a t i o nc o n s c i o u s n e s s 3 t h ep a r t i c i p a n t sw h os e l e c tf r o mac i t yi nt h i sr e s e a r c hc o m p a r e dw i t ht h o s e f r o mt h ew h o l ep r o v i n c e ，a r eb e t t e rt oa v e r a g ei nt h ep r o v i n c ei nh i 曲- e n da b i l i t y m a s t e rm o d e ；a n dt h e i rm a s t e rr a t e so na l lk i n d so fa b i l i t i e sa r eo b v i o u s l yh i g h e rt h a n a v e r a g ei nt h ep r o v i n c e t h ep a r t i c i p a n t sw h os e l e c tf r o mas c h o o li nt h i sr e s e a r c h c o m p a r e dw i t ht h o s ef r o mt h ec i t yw h e r et h e yl i v e ，a r eb e t t e rt oa v e r a g ei nt h ec i t yi n h i g h - e n da b i l i t ym a s t e rm o d e ；e x c e p tf o rs p a c ei m a g i n a t i o na b i l i t y ，t h e i rm a s t e rr a t e s o na l lk i n d so fa b i l i t i e sa r eo b v i o u s l yh i g h e rt h a na v e r a g ei nt h ec i t y 4 d i f f e r e n t p a r t i c i p a n t s h a v ed i f f e r e n t a b i l i t y s t r u c t u r e s e v e ni ft h i s p a r t i c i p a n t sh a v et h es a m es c o r e so ra p p r o p r i a t ea b i l i t yl e v e l ，t h e i ri n t e r n a lc o g n i t i v e c h a r a c t e r i s t i c sa n da b i l i t ym a s t e r sa r ea l s od i f f e r e n t k e y w o r d ：c o l l e g ee n t r a n c ee x a m i n a t i o n ，a b i l i t ya t t r i b u t e ，c o g n i t i v ed i a g n o s i s ， r u l es p a c em o d e l ，d i a g n o s i sr e p o r t i v 目录 致谢i 摘要i i a b s t r a c t i i i 1 弓lj 占1 1 1 研究背景1 1 2 研究目的3 1 3 研究内容4 2 文献综述5 2 1 认知诊断理论5 2 1 1 认知诊断概述5 2 1 2 认知诊断模型6 2 2 规则空间模型7 2 2 1 规则空间模型的含义7 2 2 2 规则空间模型的基本原理8 2 2 3 规则空间模型的建模过程11 2 2 4 规则空间模型国内外研究现状1 4 2 3 研究思路2 1 3 研究方法2 3 3 1 被试2 3 3 2 测量工具2 3 3 3 数据处理2 3 3 4 研究过程2 3 3 4 1 高考理科数学试卷考查的能力属性及其层级关系的确定2 3 3 4 2 邻接矩阵a 和可达矩阵r 的确定2 7 3 4 3 缩减事件矩阵q r 和典型属性矩阵e a 的确定2 8 3 4 4 典型项目反应模式的确定3 2 3 4 5 被试能力掌握模式的识别4 0 4 研究结果4 5 4 1 高考生整体的能力掌握模式的诊断4 5 4 2 某市高考生能力掌握模式的诊断4 8 4 3 某学校高考生能力掌握模式的诊断5 0 4 4 考生个体的能力掌握模式的诊断5 2 4 4 1 诊断被试个体的能力掌握模式5 2 v 4 4 2 高考生成绩诊断性报告的开发5 3 4 4 3 相同得分被试的能力水平比较5 5 5 分析与讨论5 7 5 1 规则空间模型对被试的归类结果分析5 7 5 2 被试能力掌握情况的分析5 8 5 3 考生成绩诊断性报告的分析5 9 5 4 研究的创新与不足之处6 0 5 4 1 研究的创新之处6 0 5 4 2 研究的不足之处6 1 6i 结论6 ：! 参考文献6 3 附录：事件矩阵q 7 0 在学期间科研成果情况7 3 v i 1 引言 1 1 研究背景 现行教育考试强调对学生的排序和选拔作用，并采用单一的分数报告方法来 反映学生的学习成果。考试往往只给出一个笼统的测验分或能力分数( 或分数等 级) ，来反映学生的知识能力水平，从中很难看出学生掌握了哪些知识能力，还 有哪些知识能力未掌握，以及他们的知识能力掌握达到了何种水平；对于具有相 同分数或相同能力的学生，却有着不同的知识状态及不同的认知结构这一现象无 法做出解释；相同分数的学生个体间差异无法区分。随着科学研究及社会生活的 发展，人们越来越不满足于只能得到个体的宏观层次的评价，人们不仅要了解个 体总的来说怎么样，还需要了解个体具体来说怎么样。特别是在教育过程中，教 师和学生都希望更多地了解学生所掌握的知识、概念及其结构、形成的技能和策 略等信息，从而能够基于这些信息促进教与学。如果能在分数的基础上对学生的 知识能力掌握状况作进一步的诊断，则可以为学生、教师和学校提供更多的反馈 信息，促进学生学习和教师教学质量的提高。这种现象在大规模的考试下显得尤 为突出。早在上世纪中、后期，布卢姆( b l o o m ，1 9 7 1 ) 和格莱瑟( g l a s e r ，1 9 8 1 ) 就曾猛烈抨击教育系统长期以来只成为一个筛选系统的严重弊端，极力提倡“为 掌握而学” ( l e a r n i n gf o rm a s t e r ) ，要求努力开发目标参照性测验，主张测验要 提供更多的诊断信息，为促进学生发展服务。2 0 0 1 年，美国通过法案“n oc h i l d l e f tb e h i n da c to f 2 0 0 1 ”( n c l bo rp u b l i cl a w1 0 7 1 1 0 ) ，规定美国所有实施的测 验必须提供诊断信息给家长、老师和学生。我国自2 0 0 1 年新一轮的基础教育课 程改革正式启动，首次将评价改革列为改革目标之一，希望建立评价学生全面发 展的指标体系，教育评价改革就成为了各方关注的焦点。基础教育课程改革纲 要( 试行) 明确指出，要“改变课程评价过分强调甄别与选拔的功能，发挥评价 促进学生发展、教师提高和改进教学实践的功能”。可见在新课程背景下，需 要加强考试作为评价手段的作用，更希望考试能够提供细致的诊断性信息，在考 试的基础上对学生的认知结构进行诊断是非常有必要的。 心理与教育测量领域先后出现了经典测验理论( c l a s s i ct e s tt h e o r y ，c t t ) 、 概化理论( g e n e r a l i z a b i l i t yt h e o r y ，g t ) 和项目反应理论( i t e mr e s p o n s et h e o r y ， i r t ) ，这些理论对解决许多心理、教育等学科中的实际i 口- j 题起了很大作用。但无 论是c t t 、g t 还是i r t 指导的测验中，关注的焦点都是被试的分数，对分数背 后所隐藏的内部认知加工过程、技能和策略以及认知结构、知识结构等无法提供 进一步的信息。因此，基于c t t 、g t 和i r t 的测验能很好的为被试评定成绩， 比较被试之间的差异从而决定其是否升级，或预测被试在某一将来的活动中是否 表现得好。但这些测验并不会提供为改进行为表现而应该去学习或被教给有关特 定知识内容等有用的诊断信息，忽视了测量与评价对教育教学的促进作用。此外， 其测查的都是某一学科知识领域中的零散知识，不能测量到被试头脑中所形成的 关于这一领域的知识结构，也不能测量到被试在某一特定知识领域中的知识变化 情况。而且由于在这些测量中被试的作答都是被动反应的形式，不能体现被试自 己主动去建构知识的过程。m i s l e v y ( 1 9 9 3 ) 将整个心理统计测量理论的发展分为 两大阶段，c t t 、g t 和i r t 都属于标准测验理论阶段( s t a n d a r d t e s t t h e o r y ) ， 它是在能力水平的研究范式下产生的。标准化测验理论将所测的心理特质视为一 个心理学意义并不明确的“统计结构”，其目的在于从宏观的角度从整体上去评 价个体，在单维的、线性的、连续的度量系统上指定一个标示位置的值。通过这 个值说明被试个体在他所属的某一群体中是处于一个什么样的地位，且这个地位 是相对于这个群体中的其他被试个体而言，或将被试能力水平与试题难度水平定 义在同一量表上后，通过这个值考察被试个体的总体能力水平。但这些对被试的 评价都是建立在统计技术的基础上的，而且又是对被试一个总体能力水平的考 察，不能具体说明被试的情况。因此，在过去的二十年间，国外大量的教育与心 理测量方面的相关研究者认为认知科学和心理测量应该相结合起来为教育提供 服务。他们批评标准测验理论更加注重统计技术而不是被测量者的心理结构。近 年来，随着认知心理学的快速发展和人工智能的研究，为了克服c t t 、g t 和i r t 等测量理论的不足，人们逐渐把测量学与实质心理学结合起来，将现代统计方法 应用于现代心理学模型，建立以认知诊断理论( c o g n i t i v ed i a g n o s i st h e o r y ) 为 核心内容的新一代测量理论( a n e wg e n e r a t i o no f t e s t ) 。 认知诊断测验涉及被试的作答过程和机制，想通过深入到被试作答的认知加 工过程以揭示不同被试的认知加工特点。认知诊断测验从认知心理学的角度探讨 被试的知识掌握情况及诊断出其错误知识的心理来源，通过认知诊断测验能更加 细致地发现被试个体的知识缺陷。m i s l e v y 将这种研究视野称之为认知水平的研 究范式( c o g n i t i v el e v e lp a r a d i g m ) ，其目的在于认知能力结构和性状的诊断。新 一代测量理论把认知与测量结合起来，不仅对被试的整体水平做出评估，同时对 被试的认知结构模式化，利用合适的计量模型进行诊断，定量地考察被试的认知 结构和个体差异，确定被试知识的掌握和未掌握。认知诊断的价值就在于能够找 出被试具体的认知强项和弱项，有针对性的对被试进行补救性指导。认知诊断是 根据一定的认知诊断模型进行的，认知诊断模型着眼于对被试作答过程的分析， 探讨被试潜在的知识结构与其作答过程的关系，进而对被试的认知结构进行诊 断。研究者提出了将认知加工模型与测量模型结合的许多认知诊断模型，包括学 生模型、概念网络模型、心理测量属性模型三类。通过这些模型，可以诊断出被 试实际掌握了哪些知识技能，分析被试在某个项目上答错的具体原因，推测被试 的各种具体能力达到了何种水平，还存在哪些认知缺陷，从而可以为被试提供更 为有效的诊断和评价，还可以为测验的设计、教师教学提供具体的反馈信息。日 裔美籍学者t a t s u o k a 提出的规则空间模型( r u l es p a c em o d e l ，r s m ) 是将认知 心理学与测量学相结合所形成的一种用于认知诊断的分类统计模型，运用规则空 间模型我们可以根据被试在测验项目上的作答而获得其内在不可直接观察的属 性掌握模式，被试的能力值大小可用他所具有的属性模式来解释，从而揭示出被 试能力的心理内涵。该模型使用二元属性模式来定义被试在所要考察领域的认知 结构，并运用统计模型识别技术对被试作答反应背后隐藏的认知模式进行判别， 进而对其认知属性进行诊断和描述。它能够提供给所有被试他们在每个属性上的 诊断信息。在此模型的基础上，可以给出被试较为细致的诊断性的成绩报告。 目前，规则空间模型在一些领域已经得到了成功的运用，但这些应用研究都 是基于某一具体的学科知识的某一具体的知识模块。基于此，本研究将以大规模 考试为主要研究对象，以2 0 1 0 年某省高考理科数学试卷为例，进行高考生能力 掌握模式的诊断研究，尝试进行大规模考试中认知诊断技术的应用研究。 1 2 研究目的 本研究以大规模考试为主要研究对象，开展在这些考试中认知诊断技术的 应用研究。拟运用规则空间模型，通过对2 0 1 0 年某省高考理科数学试卷考查的 能力属性及属性间的层级关系进行分析，建立q 矩阵，对每个考生的实际反应 类型进行归类，根据归类结果探讨学生群体的能力掌握情况和学生个体的能力掌 握情况，实现对大规模考试中学生能力掌握模式的诊断判别；在此基础上，进一 步研究某个市、某所学校以及单个考生的诊断性报告，包括学生能力掌握模式、 能力状况、同种能力掌握情况在学生总体中所占比例、能力水平等；进而比较某 所学校、其所在市及所在省在具体的能力掌握模式以及各项能力平均掌握率上的 差异；并利用认知诊断反馈的信息，为教师和学生的教学实践，补救性教学等提 供指导依据，以期推动认知诊断技术在我国的推广应用。 1 3 研究内容 t a t s u o k a 等人提出的规则空间模型在实践中主要用于对两种模式进行判别： 一种用于评价被试是否掌握解答测验项目所需的认知技能或属性，即对被试实际 掌握的属性模式进行判别；另一种用于诊断被试在解答测验项目上所采用的错误 概念，即判别由于何种错误原因导致学生解答项目出错。本文主要研究的是对大 规模考试中学生能力掌握模式的诊断判别。研究的主要内容包括以下几点： 1 对2 0 1 0 年某省高考理科数学试卷考查的能力结构的分析，确定试卷的技 能( 属性) 和技能结构( 层级关系) 。 2 规则空间模型在学生数学能力掌握情况判别中的应用。包括关于学生群 体能力掌握情况的判别，学生个体能力掌握情况的判别，相同考试分数学生间能 力差异的分析等，有效诊断学生对数学知识中有关属性的实际掌握模式。 3 抽取某个市、某所学校以及某个考生为例，分析某个市、某所学校以及 单个考生的诊断情况，进而比较某所学校、其所在市及所在省在具体的能力掌握 模式以及各项能力平均掌握率上的差异。 4 尝试进行考试分数报告方式的改革，提供诊断性报告，包括学生能力掌 握模式、能力状况、针对生疏能力的补救建议、同种能力掌握情况在学生总体中 所占比例、能力水平等，为教师数学教学实践提供指导依据，并帮助教师识别学 生特征，开展有针对性的教学与辅导。 5 利用认知诊断反馈的关于试卷设计是否存在问题的信息，进行认知诊断 技术对试卷设计的指导作用研究。 4 2 文献综述 2 1 认知诊断理论 2 1 1 认知诊断概述 广义的认知诊断指建立起观察分数和被试的内部认知特征之间的关系。狭义 的认知诊断指在教育教学领域中，按被试有没有掌握测验所测的技能或特质来对 被试加以分类( 刘声涛，戴海琦，周骏，2 0 0 6 o l e i g h t o n g i e r l ( 2 0 0 7 ) 认为， 认知诊断用于测量或评价个体特定的知识结构( k n o w l e d g es t r u c t u r e ) 和加工技 能( p r o c e s s i n gs k i l l s ) 。通常把对个体知识结构、加工技能或认知过程( 均简称为 “a t t r i b u t e ”) 的诊断评估称为认知诊断评估或认知诊断( c o g n i t i v ed i a g n o s i s a s s e s s m e n t c o g n i t i v ed i a g n o s i s ) 。认知诊断理论以项目反应理论为基础，结合认 知科学对学习理论的研究与发现，运用更尖端的理论模型，着重探索被试在特定 测验中采用的认知过程和知识结构，这些认知过程和知识结构在测验中的运用机 理，以及能力不同的被试在测验中的表现差异。通过这种对知识结构及其运用过 程的“识别”，了解被试在测试中成功或失误的原因，“诊断”出学生学习和教师 教学中所欠缺的信息，进而为“如何学习”、“学会学习”提供改进或补救策略。 这种新的理论模式超越了c t t 、g t 、i r t 等传统测量理论以统计概念描述行为 特质或能力水平的缺陷，深入特质或能力表现的心理实质，探测被试在测量作答 过程中的心理机制。不仅考察学生的学习结果，而且追寻这个结果获得的过程， 查找学生学习困难的原因，从而将测量的内涵从量化描述与确定学生发展状况拓 展深化至为学生的学习提供强有力的诊断和干预。 认知诊断理论自从产生以来引起国内外学者广泛的关注，被称为新一代测量 理论，至今国内外已有较多关于认知诊断的研究。由n i c h o l s ，c h i p m a n 和 b r e r m a n ( 1 9 9 5 ) 编辑的认知诊断评估，收集了1 9 9 3 年认知诊断学术会议中 包括学生模型、潜在特质模型、规则空间模型、贝叶斯方法、统一模型等成功应 用于诊断性测验的研究报告。l e i g h t o n 和g i e r l ( 2 0 0 7 ) 编写的教育认知诊断评估 一一理论与应用，从当前教育教学现状分析的角度提出诊断性测验的必要性， 探讨了测验的设计原则和方法，着重介绍了属性层次模型、融合模型的应用方法， 并提出研究方向。d i b e l l o 和s t o u t ( 2 0 0 7 ) 组织教育测量杂志出版认知诊断 特刊，介绍了认知诊断的理论方法、模型，使研究者更好地了解认知诊断的模型 与应用方法的发展现状及未来方向。近年来，国内许多研究者也对认知诊断模型 进行了探讨。康春花( 2 0 0 1 ，2 0 0 3 ) 分别应用l l t m 和m l t m 两种模型探讨空 间认知能力的测量以实现测量心理学与认知心理学的结合。刘声涛( 2 0 0 2 ) 应用 线性逻辑斯蒂克特质模型( l l t m ) 对影响瑞文测验的项目难度因素进行分析。 戴海崎和张青华( 2 0 0 4 ) 应用认知诊断中的规则空间模型对2 9 9 名被试进行诊 断，判断他们在统计学习中的属性掌握模式。余娜和辛涛( 2 0 0 7 ) 对认知诊断模 型中的规则空间模型进行评述。这些研究在特定的认知诊断模型上应用并取得 了成果。 2 1 2 认知诊断模型 认知诊断是根据一定的认知诊断模型进行的，作为新一代测量理论核心的认 知诊断模型正是着眼于对被试作答过程的分析，探讨被试潜在知识结构与其作答 过程的关系，进而对被试的认知结构进行诊断。因此，认知诊断模型的构建和 应用成为当前国内外心理测量学的研究热点。用于测验的诊断模型有很多种，据 不完全统计，国外约开发了6 0 多种认知诊断模型并被应用于认知诊断。 认知诊断模型可分为潜在特质模型和潜在分类模型两类：潜在特质模型旨在 通过被试取得的分数分析被试所具备的潜在特质，如，线性逻辑斯谛克特质模型 ( l i n e a rl o g i s t i ct r a i tm o d e l ，l l t m ) 、多成分潜在特质模型( m u l t i c o m p o n e n t l a t e n tt r a i tm o d e l ，m l t m ) 及拓广多成分潜在特质模型( g e n e r a lm u l t i c o m p o n e n t l a t e n tt r a i tm o d e l ，g l t m ) 等；潜在分类模型的目的在于按照被试的得分模式 找到被试在潜在特质上质的差异，并根据这样的差异对被试进行分类，如， t a t s u o k a 等提出的规则空间模型( r u l es p a c em o d e l ，r s m ) 、新发展起来的融 合模型( f u s i o nm o d e l ，f m ) 、d i n a 模型( d e t e r m i n i s t i ci n p u t ；n o i s y o rg a t e m o d e l ) 、n i d a 模型( n o i s yi n p u t s ；d e t e r m i n i s t i ca n d g a t em o d e l ) 及贝叶斯网 络( b a y e s i a nn e t w o r k ， b n ) 等。余娜和辛涛在考试研究2 0 0 9 年7 月第五 卷第三期发表的认知诊断理论的新进展一文中对认知诊断模型的发展做了一 个很好的梳理和介绍，总结出认知诊断模型的发展脉络如图2 1 所示： 单连续维度模型 l 多维度模型 一一。一一一 l 搭在类狲模型 l l 潜在类剃与连续 维度相结合的模型 图2 1 认知诊断模型发展脉络图( 余娜，辛涛) 这些认知诊断的测量学模型有两个基础性的模型，一种是f i s e h e r 提出的线 性逻辑斯谛克特质模型；另一种是t a t s u o k a 等人提出的规则空间模型。前一个模 型是潜在特质模型的扩展，目的是剖析观察分数下被试的潜在特质。后一个模型 是潜在分类模型的扩展，目的是按被试在潜在特质上质的差异将被试进行分类。 2 2 规则空间模型 2 2 1 规则空间模型的含义 规则空间模型( r u l es p a c em o d e l ) 是t a t s u o k a 在上世纪8 0 年代提出的一种 基于统计模式识别和分类取向的认知诊断模型。该模型假设测验项目可以用特定 的认知技能( 又称属性) 描述，属性包括被试正确求解测验项目必须具备的各方 面的能力，如技能、策略、加工过程或知识点等。被试的知识状态可用一组通常 无法直接观察的认知属性掌握模式来表征，因此把它转化为与之相对应的可观察 的理想项目反应模式，这样把观察反应模式归类到理想反应模式中就能诊断出被 试的知识状态。这里“理想”是指始终一贯地使用同一规则( 不论正确与否) 的 情况下的项目得分模式。由于猜测或失误，被试的反应模式会偏离理想反应模式， t a t s u o k a 给出了这些反应模式的统计分布。诊断出知识状态后，就能了解考生在 垂塑 认知过程和技能的哪些部分已经具有良好的结构，哪些部分是需要补救的，从而 进行有针对性的补救教学。 规则空间模型是将认知心理学、i r t 与多元统计相结合的产物，它是一种将 被试在测验项目上的作答反应划归为某种与认知技能相联系的属性掌握模式的 统计方法。该模型的基本出发点是认为在教学测验中，相同总分或相同能力值并 不代表相同的知识结构，以总分或单一能力值作为评价指标所提供的信息极为薄 弱。针对传统心理计量方法评价被试时对深层信息挖掘的缺乏，r s m 致力于解 决的一个核心问题是，被试在特定测验中所采用的认知过程和知识结构是什么? 2 2 2 规则空间模型的基本原理 规则空间模型的产生源于项目反应理论及个体异常反应的研究。在项目反应 理论中，虽然采用能力值指标p 对被试进行评价，但只考虑了被试在测验项目上 的作答反应与被试潜在属性之间的关系，这个能力指标也只是潜在属性的一个统 计意义上的概念，并没有真正揭示其内在的认知属性。例如，有可能多个被试的 能力估计值是一样的，但实际上这多个被试的作答反应却有显著差别，所以我们 需要利用其它的指标来进行这种异常反应的识别。由日本学者t a t s u o k a 提出的芎 指标就是其中比较著名的一个。所谓g 指标，就是在实际的测试过程中，由于被 试的一些偶然失误，其实际作答反应并不一定完全是个人真实能力的反映，被试 的成绩会超出或低于他的实际能力水平臼，这个测量的不准确或被试的异常反应 的程度就用g 来表示。以这个指标为核心所建立的规则空间模型是一种用于认知 诊断的分类统计模型，以此为基础应用统计方法根据被试在测验上的作答反应就 可以对被试的认知属性进行识别。 f 是一个基于项目反应理论的警戒指标，定义为映射函数f o ( z ) 的标准化形 式，厶) 是两个残差向量p p ) x 和p p ) v ( o ) 的标准条件协方差。即： 厶匕) = 【p p ) 一t p ) 。【p p ) 一x 式中： x 为被试在n 个项目上的作答反应向量，x = k ，屁，厄】；其中，z j = o 代 表被试在第j 个项目上答错，z ，= 1 代表被试在第j 个项目上答对。 9 为反应模式为x 时对应的被试能力值。 p p ) 是项目反应理论中能力为0 的被试在n 个项目上的答对概率向量， p p ) = ( p l p ) ，p ：p ) ，p 。p ”；p j p ) 为被试在第j 个项目上的答对概率的均值。 毗( p ) = 去喜p ) 。 由于芎是函数厶 ) 的标准化形式，厶 ) 的期望值为0 ，方差为 窆p ，p k ，p 勋，p ) 一r p ) ) 2 因而f 的表达式可表示为： g = 器 ：窆，( 臼) 一z ，b ，( 臼) 一r ( 乡) ) f 窆p ，p k ，p ) ( i ，p ) 一r ( 目) ) 2 、1 2 j = 1 【j = zj 规则空间模型根据被试对项目的反应模式计算出一组序偶乡，芎) ) ，将项目反 应模式归结到由9 ，g 构成的二维空间，建立起被称为规则空间的二维空间模型。 理想项目反应模式在规则空间的位置称为纯规则点。被试在测验项目上的实际反 应模式与他具有的典型属性对应的理想项目反应模式会有不一致，也就是说由于 失误会导致被试实际项目反应模式在规则空间中的位置偏离规则空间中的纯规 则点。f 就是用来描述被试实际反应向量和纯规则点之间的偏离程度。 规则空间模型运用统计识别技术对被试的实际反应模式进行识别，将其归入 不同的理想反应模式。其具体做法为( 刘慧，20 0 6 ) ： 首先，计算每个被试实际反应模式在规则空间中的投射点p z ，f z )