涂冬波教育考试中的认知诊断评估.pdf

考试研究 2008年10月 第4卷 第4期 Exam inationsResearch Oct .2008 V o l .4, N o.4教育考试中的认知诊断评估 涂冬波 漆书青 戴海琦 蔡艳 丁树良 【 摘 要 】 认知诊断评估是教育和心理测量学界新兴起的一项技 术,主要是在传统考试基础上,为学生提供诊断信息,即提供关于学 生对知识/技能掌握情况的信息,对教育教学具有重要的实际价值。 本文以认知诊断评估为研究对象,着重分析开展认知诊断评估工作 的基本流程,以期为我国教育工作开展认知诊断评估提供参考。 【 关键词 】 认知诊断评估 认知属性 属性阶层关系 认知诊断 心理计量模型 【 中图分类号 】 G424. 74 【 文献标识码 】 A 【 文章编号 】 1673 - 1654 (2008) 04 - 0004 - 12 一、 认知诊断简介 一般的教育考试只提供一个笼统的考试分数或能力分数,对于具有相同 分数或相同能力的学生具有不同的知识状态及不同认知结构这一现象无法 作出解释,相同分数的个体间差异无法区分;是什么因素导致学生试题做错, 考试者掌握了什么知识、 未掌握什么知识等信息无法获取 这些现象/问 题在大规模考试下显得尤为突出。当今人们已不满足于给学生一个简单的 考试分数或能力分数,他们更希望考试能够提供诊断信息,能够报告学生的 认知结构(即学生掌握了哪些知识点,哪些知识点未掌握而需要补救 ) , 这便 涉及教育考试中的认知诊断。 Leighton 漆书青,教授、 博士生导师;戴海琦,教授、 博士生导师,江 西师范大学教育学院;蔡艳,博士生,江西师范大学数学与信息科学学院;丁树良,教授,江 西师范大学计算机学院。江西南昌, 330027。 4 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 教育考试中的认知诊断评估 识结构(knowledge structure)和加工技能(processing skills)。通常把对个体知 识结构、 加工技能或认知过程(均简称为“attribute”)的诊断评估称为认知诊 断评估或认知诊断(cognitive diagnosis assess ment /cognitive diagnosis)。认知 诊断评估是教育与心理测量学界新兴起的一项技术,它主要是通过现代教育 测量方法与认知心理学的具体结合,通过考试来实现对学生学习中存在的问 题进行诊断并反馈,这些诊断信息有助于学生本人、 教师及家长对学生知识 掌握情况的全面了解,有助于学生开展有效的补救学习和教师因材施教,而 这也正是素质教育的本义之一。 二、 认知诊断的三大理论基础 真正实现传统考试的认知诊断功能,离不开以下三大理论基础,即认知 心理学、 计量心理学、 现代数学和计算机科学。 第一,现代认知心理学的发展。现代认知心理学研究人的心理活动和心 理加工过程(如学生的解题过程 ) , 并将之模型化。它能为测验编制提供心 理学理论支持,并直接指导项目开发。认知心理学的分析不仅可以明确被试 正确作答所需的知识、 技能、 解题策略与加工过程,还可以明确项目特征和刺 激条件与作答反应的关系,从而有力地提高编制过程对难度等性能的预控 性。所以,它是测验实现认知诊断功能的前提条件。 第二,计量心理学的发展,尤其是以现代项目反应理论为基础的计量心 理学的发展。测验认知诊断功能的实现,必须有相应的具有认知诊断功能的 心理计量模型,这种心理计量模型要能将认知心理学理论融入心理测量学模 型(认知诊断模型)中去,也即能把项目所含的认知属性等信息并入合适的数 学模型中去,从而能将学生的认知结构数学模式化。这样,也就能定性定量 相结合地考查学生的认知结构和个别差异,实现对个体认知状况的诊断。 第三,现代统计数学和计算机科学的发展。以项目反应理论等计量技术 为基础的认知诊断模型,一般都是比较复杂的,而且实现了相当高度的数学 形式化。因此,要对实验数据进行深入分析和对模型中未知参数进行估计, 必须有相关统计数学和计算机科学的支持;否则,认知诊断模型仅有学术理 论上的认识价值,而不能真正为实际工作服务。 5 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 考试研究 第4卷第4期 教育考试的认知诊断更多的是对具体学科进行诊断,因此,要做好认知 诊断工作,还离不开特定学科专家的积极参与。 三、 认知诊断评估的基本流程 在实际工作中开展认知诊断评估,需要进行一系列的系统化工作,大体 来讲需经历两大阶段。第一阶段为认知诊断评估工具的制作,包括认知诊断 测验的编制、 测量学分析程序的编制、 诊断结果报告和针对性补救措施的制 作等;第二阶段是使用认知诊断评估工具开展诊断评估。 第一阶段的基本流程如图1所示。具体分为以下八个步骤。 第一步,评估机构/组织需确定诊断目标。是哪个学科诊断,是该学科的 单元诊断还是期末终结性诊断,同时还必须明确需诊断的具体内容等。如英 语学科的语法诊断、 阅读理解诊断、 听力理解诊断等等。 第二步,确定诊断目标所涉及的认知属性及属性间的阶层关系,同时根 据确定好的认知属性阶层关系选择恰当的认知诊断测量学模型。这步工作 需要认知心理学专家、 学科专家、 教育测量学专家共同完成。对于第一步确 定的诊断目标需进行一定的认知心理学分析,如认知过程分析。依据认知心 理学基本理论和方法,分析学生解决这类任务(解答这类问题)时所经历的心 理历程也即认知过程,具体确定这一诊断目标所涉及的知识结构及认知技能 (均简称为认知属性或属性)。心理学通常把这一步称为认知分析或诊断性 认知模型的构建。属性的确定一般有学科专家确定法、 口语报告法、 回顾文 献法等。学科专家确定法主要是由学科专家从学科知识及其丰富教学经验 的角度出发,给出具体的认知属性。口语报告法(verbal reports)是指研究者 进行实验时,要求正在试图完成解答任务或测验题目的被试报告头脑中的思 维过程,或实验后要求被试追述回忆其思维过程。口语报告法是被试内部认 知过程经口语而外显化,通过分析报告,可以探索不能直接观察的人类信息 加工的内部过程。如对于作答试题“6 +93”,若学生口语报告“6加9等于 15, 15除以3等于5,答案为5”,通过分析口语报告我们可以发现这样一道试 题至少考核了加法、 除法及四则运算的先后顺序三个认知属性。回顾文献法 主要是回顾前人研究成果,得出认知属性,它更多的是回顾心理学及具体学 6 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 教育考试中的认知诊断评估 图1 认知诊断评估工具制作流程图 科对这一领域的研究成果,从而确定 认知属性。属性阶层( attribute hierarchy)关系,主要是指属性间的逻辑关系或心理顺序。如数学学科中加 法与乘法两个知识点间存在一定的逻辑关系,即学生要掌握乘法需以掌握加 法为基础,即加法和乘法间存在阶层关系。国外学者Leighton, Gierl 但若Q矩阵太大(即行数太 多 ) , 测验要包含Q矩阵的所有行,则又不切实际(即试题题数过多 ) , 但可以 仔细分析Q矩阵,在满足以上两原则的基础上,剔除一些可以不需要的考核 模式。以表1为例,若测验没有第10种考核模式的题目,只有第1到第9 种,且九种的题目都有一定数量,则也满足以上两个原则。 总之,对于认知诊断测验的编制,一方面我们需要得出测验蓝图或Q矩 阵,另一方面要把握两个基本原则,最后结合两者,共同指导并完成认知诊断 测验的编制。 第四步,属性及属性阶层关系的验证。这步工作需要心理测量学专家、 认知心理学专家共同完成。一般来说,认知诊断测验的编制是在属性及属性 阶层关系的前提下完成的,因此属性及属性阶层关系是否合理直接决定着认 知诊断测验的合理性及科学性。故应对属性及属性阶层关系进行科学的认 证和验证。一方面需验证所认定的属性是否完备,即诊断目标下的重要认知 属性是否都认定准了。可以采用回归分析的统计方法进行验证,即通过建立 项目难度对认知属性的回归,考察认知属性对项目难度的解释能力。若所认 定的认知属性能解释项目难度的60%以上,则说明所认定的认知属性基本可 靠。另一方面需验证属性间的阶层关系(在不考虑属性阶层关系情况下,此 步检验可以省略 ) , 可采用结构方程模型或HCI指标进行验证(详见参考文 献 4 、5 )。当然这一步的验证都是建立在测验编制好了,并采集到了学生相 应作答数据的基础上才能完成的。只有验证通过,才说明所认定的认知属性 及其关系合理,在此基础之上编制的认知诊断测验较为有效。这时,方能进 入第五步,否则还要重新回到第二步。 第五步,大规模型的测试。这步工作需要评估机构/组织、 教育测量学专 家完成。由于认知诊断理论更多的是建立在项目反应理论( Item Response Theory, IRT)框架之下,它对于样本容量的要求相对要高 ,因此需大规模型的 测试,被试抽样应由教育测量学专家根据诊断对象、 目标等因素确定抽样的 11 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 考试研究 第4卷第4期 方法、 原则和具体的样本容量。然后由评估机构/组织来开展抽样及测试。 此步为获取项目参数及被试参数提供基础。 第六步,认知诊断测量学模型参数估计程序的编制及项目参数获取。根 据第二步确定的认知诊断测量学模型,教育测量学专家应编制具体的可实际 进行数据分析的软件/程序,由软件/程序来实现参数估计,获取模型项目 参数。 第七步,诊断结果报告及针对性补救措施的制作。这步工作需要评估机 构/组织、 心理测量学专家及学科专家共同完成。诊断结果应体现定量报告 与定性报告相结合,为促进个体有效学习及开展因材施教提供信息的原则。 诊断报告可分为个体报告和团体报告。个体报告需报告学生在测验中的总 体表现,即总体能力水平(定量报告 ) , 同时报告学生对测验各认知属性的掌 握情况(定性报告 ) ; 团体报告也需给出团体的总体水平及对测验认知属性的 掌握情况。表2是某个学校团体报告的一种样式,该学校有学生1500人,测 验涉及的认知属性有6个。表2第1列表示学生对于6个认知属性的掌握 模式,第2列表明对应掌握模式的能力水平 ( I RT 下的 ) , 第3列是具有第1 列相应掌握模式的学生人数,第4列为第3列占总人数的百分比。在诊断结 果报告的基础上,学科专家还应针对不同学生对认知属性的掌握情况提出有 针对性的补救措施。当然,诊断结果报告及针对性补救措施的制作最好实现 计算机化,也就是说可以编制一个诊断结果报告及针对性补救措施的计算机 程序。 表2 某校诊断结果报告 掌握模式能力水平人数百分比(% ) 10000022. 241389. 2 11000020. 8221614. 4 11100020. 1319513 11110020. 9432. 9 1110100. 5349533 1111100. 6623015. 3 1110010. 45724. 8 1111010. 54312. 1 21 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 教育考试中的认知诊断评估 1110111. 24734. 9 1111111. 5270. 5 学校总体能力水平: 0. 0094 第八步,最终形成认知诊断工具。认知诊断工具包括以下内容: (1)认知 诊断测验 ; (2) 测量学模型分析软件/程序,简称“ 分析程序 ” ; (3) 诊断性结果 报告及补救措施的制作程序,简称“ 报告程序 ” 。最好将(2)和(3)的两个子 程序合并成一个程序,即根据“ 分析程序 ” 分析结果,“ 报告程序 ” 给出具体的 诊断结果报告及补救措施。当然也可以将(1)、(2)、(3)都在计算机上实现, 也就是基于计算的认知诊断测验(CBT) ;如果(1)是一个大型题库,则(1)、 (2)、(3)可以实现计算化自适应认知诊断测验(CAT)。 认知诊断评估工具开发好了,则应进入第二阶段,即使用认知诊断评估 工具开展诊断评估,实现对学生的认知诊断。这一阶段主要包括测试、 诊断 分析、 诊断结果报告和给出补救措施几个环节。(1)测试,主要是使用第一大 阶段编制好的且有项目参数的认知诊断测验对学生进测试,可以是个体测试 也可以是团体测试;可以是纸笔测试也可以是计算机测试。(2)诊断分析,使 用第一阶段编制好的“ 分析程序 ”,根据学生作答情况估计(最大似然条件估 计)学生的知识状态,进行诊断。(3)诊断结果报告并给出补救措施,即采用 第一大阶段的“ 报告程序 ”,根据(2)中“ 分析程序 ” 的结果由计算机来完成诊 断报告并给出补救措施。 四、 认知诊断评估现状及主要困难 认知诊断评估目前在国内外均引起一定的重视,如2001年,美国正式通 过了法案 “No Child LeftBehind Act of 2001” 6 ,规定美国实施的所有考 试必须提供诊断信息给家长、 老师和学生。而我国许多学者也在不同场合呼 吁要对当前教育考试进行改革,考试不仅只报告学生的一个总分,更需报告 学生认知优势及劣势,报告学生掌握了哪些知识点、 未掌握哪些知识点,真正 实现考试的认知诊断功能。 目前认知诊断在我国实际教育考试中并未大规模开展起来,更多的是停 留在研究领域和小规模的应用领域。而在考试研究和应用发达的美国,目前 31 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 考试研究 第4卷第4期 大规模的认知诊断测验仅有一种,即PSAT。在我国,有关认知诊断测验的研 究刚刚起步,要在实践中应用也面临以下困难。第一,认知诊断心理测量模 型较为复杂,一般非教育测量学人员难于把握。目前大多数认知诊断心理测 量模型是基于项目反应理论( IRT) ,它涉及一些较为复杂的数学模型,不易理 解,其参数估计也较为麻烦。第二,认知属性及属性阶段关系的认定,某些时 候需应用认知心理学的一些基本理论和方法,而这些对于一般从事教育考试 的工作人员又有点遥远,同时认知心理学本身也在不断发展完善。第三,认 知诊断评估工作需多方面研究者或工作人员共同参与(如教育测量学研究 者、 认知心理研究者、 学科教师等 ) , 他们的沟通协作直接决定着整个认知诊 断评估的好坏,而在实际中由于跨学科性,使得不同研究者之间的沟通协作 不总是那么令人满意。这些因素都会导致认知诊断评估在实际中的应用 受限。 五、 小结 认知诊断评估进一步开发了传统教育考试的诊断功能,为现代教育考试 注入了新活力,主张测验要提供更多的诊断信息,它在实践中的重要价值不 言而喻。学生根据诊断结果,可以有针对性地开展学习,避免了“ 题海战术 ”, 真正做到减轻学生负担;老师也可以根据学生的诊断结果,找到自己教学中 存在的不足,同时能为开展因材施教提供依据;对于更为宏观的教育机构而 言,可以根据学生的诊断报告,了解当前教育状况,为制定教育规划及教育决 策提供依据。因此认知诊断评估具有较好的实际价值及发展前景。让人比 较鼓舞的是笔者所在单位目前已正在为某教育机构开发小学数学、 英语学科 的认知诊断评估。当然在实践中要真正推广认知诊断评估,还需研究者和实 践工作者付出大量的努力和汗水。 参考文献 1Leighton J. P. , GierlM. &Hunka S . M. (2004). The attribute hierarchymethod for cognitive assessment: A variation on Tatsuokas rule2space approach. Journal of educationalmeasurement, 41 (3) , 2052236. 2Leighton J. P. & GierlM. (2007). Verbal reports as data for cognitive diagnostic assessment . In J. P. Leighton & M. Gierl ( Eds . ) , Cognitive diagnostic assess ment for education: Theory and Applications 41 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 教育考试中的认知诊断评估 (pp. 1462172). Cambridge,UK: Cambridge university press . 3 DiBello, L. & Stout, W.( 2007 ). Guest editorsintroduction and overview:I RT2based cognitive diagnostic models and related methods . Journal of educationalmeasurement, 44(4) ,2852291. 4候杰泰,结构方程模型及其应用M ,教育科学出版社, 2004. 5Cui Y . ,Leighton J. P. , GierlM. J. & Hunka ( in press). The Hierarchy Consistency Index: A Person2fit Statistic for the Attribute HierarchyMethod. 6U. S . House of