认知诊断理论与考试评价[1].pdf

再梨羔爆赢赢蔽一一一一 一一 认知诊断理论与考试评价 关丹丹 摘共 认知诊断理论 新一代侧脸理论的核心 是认知心理学与心理侧 学相结合的产物 本文简要 介绍了认知诊断理论及其研究和应用 现状 并对我国在大规模 统一考试 中如何实现诊断功能提 出了建议 关 切 认知诊断理论 认知心理学 心理测 学 教育评 价 中 分典号 扣 文傲标识码 文章绷号 料溯脚朋冲以阴卜 引言 传统的考试结果只报告一个笼统的总分或能 力分数 但分数相同的考生 往往具有 不同的知识 状态及不同的认知结构 因此 考生与家长越来越 不满足于只能得到个体宏观层面的评价 他们更希 望测验能够提供具体的 个性化的诊断信息 尤其 是能够体现考生 的认知结构 考生掌握了哪些知识 点 并提出相应的建议 考生哪些方面 尚需要加 强 这就是我们所说的认知诊断 认知诊断理论是 认知心理学与现代测量学相结合的产物 现已成为 心理和教育测量学研究中一个受人关注的方向 认知诊断理 论简介 按照 的观点 心理与教育测量理论 发展至今大约经历了两个阶段 第一阶段为标准测 验理论阶段 包括经典测量 理论 介 仆 叮 竹 项目反应理论 卯 仆 守 和概化理论 耐 第二阶段是以认知诊断 为核心内容的新 一代测验理论 认知诊断理论的两大基础是认知心理学 与心 理测量学 认知心理学的分析不仅可以明确被试正 确作答所需的技能 策略 知识基础与加工过程 还 可以明确项目特征和刺激条件与作答反应的关系 从而有力地提高测验编制过程对 难度等性能的预 控性 而要最终 实现对被试个体差异的分析和解 释 还必须强调测验设计 即根据测量对象的实质 性心理模型来选择 编制项目和测验 达到详细描 述被试间差异的目的 认知诊断理论把认知过程与 测量手段结合起来 不仅能对考生的整体水平做出 中国考试 刃年第 期 评估 同时还可以将考生 的认知结构模式 化 利用 合适的测量模型对不同的认知结构模式进行诊断 从而定量地考察考生的认知结构和个体差异 工 认为 传统测验与能实现诊断功能的 新一代测验至少有四种不同的特征 第一 传统测 验测量的是普遍的能力 而诊断测验测量的是特定 的心理特质 传统测验将测量对象视为 统计结 构 而诊断测验试图将这一 统计结构 进行分解 更深人地探测个体内部的心理特质 第二 传统测 验假设不同水平的技能连续性变化 而认知诊断测 验测量的特质可能是 全或无 在传统测验 中 所 测量 的能力在一个连续性的量尺上变化 测验的目 的是为了将所测能力在连续性量尺上定位 在认知 诊 断测验 中 所测量的特质如策略 技 能等可能会 呈有或无的状态 第三 传统测验中技能是单维的 或多维的 认知诊断测验中的技能的组成部分可以 是许多模式互相联系起来的 不 同的考生 或在不 同的情境下 可以使用不 同的策略 技能的组成部 分存在时间或逻辑的相依 第四 传统测验应用 的 是项目一致性模型 而在认知诊断测验中 应用 的 则是离散性特征模型 认知诊断所测量的特质之间 不仅存在量的差异 更可能存在质的差异 因此 离 散性特征模型更为适用 认知诊断的研究现状 认知诊断模型的相关研究 在认知诊断研究的过程中 有大量认知诊断模 型被开发并用于认知诊断 这些模型大概分为以下 三大类 学生模型 概念网络模型和心理测量属性 模型 学生模型主要诊断被试个体是否掌握某一领 域 中的产生式规则 尤其适合于学生个体计算机编 程知识的跟踪学习及诊断评估 概念网络模型主要 诊 断评估被试个体在某一 知识领域 中或在某一特 定问题的解决过程 中所涉及的关键概念及其关系 的掌握情况 所以 概念网络模型实际上是认知心 理学的诊断评估方法 心理测量属性模型是近些年 发展最为快速和最为丰富的 至今有近 种模型 这些认知诊断的心理测量属性模型有两个基础模 型 一个是 提出的线性逻辑斯蒂克特质模型 另一个是 等提出的规则空 模型 盯 在这两个模型的基础上又发展出其他许多模 型 如融合模型 模型 统一模型 模型 模型 以及多级评分的认知诊断模型和多维 认知诊断模型 每个模型对应于各 自的特殊应用对 象 模型间从表现形式到诊 断功能都有较大的差 异 可见 模型的丰富性根源于认知分析成果 内在 结构的丰富性 大多数模型都比较复杂 有 的模型 如统一模型 甚至过于复杂 以至其中未知参数不 能全部识别 相比较而言 的规则空间模型 是目前最成熟 也是最有影响力的心理测量属性模 型 规则空间模型的一个基本假设是 测验项目可 以用特定的认知属性来刻画 而个体的某种认知结 构 可用一组通常无法直接观察的认知属性掌握模 式来表征 同时 这种不可观察的认知属性掌握模 式又能用恰当的可观察的项目反应类型来表征 其 分析步骤 由两部分构成 第一步是确立 矩阵理论 一 该理论主要是要确定测验项目 所测的不可观察的认知属性 并把它转化为可观察 的项目反应模式 第 二步是规则空间 的构建及判 别 在规则空间中将被试的作答反应模式与理想反 应模式按距离判别法以及贝叶斯方法进行判别 从 而对被试的认知结构进行诊断 实际上 与 一样 都是在项目反应理论 的基础上建 立起来的 是一种将被试在测验项目上的作答反应 划归为某种与认知技能相联系的属性掌握模式的 统计方法 所以 认知诊断是与现代测量理论尤其 是 的发展密不可分的 这种基于 的认知诊 断模型 解 一 卿 火 吻 与测量 最大的挑战是需要确定 在模型设置中哪些 方面应该由专家限定 哪些方面能够通过观测到的 项目反应数据推测 出来 随着测量模型和算法的演 进 对于各种复 杂情境的处理方法也变得愈加丰 富 测量模型的选择正成为认知诊断研究与应用的 一个核心问题 认知诊断的相关应用 目前认知诊断主要应用 在两个领域 一是知识 领域 另一个是一般智力领域 前者的主要目的是 为教育与决策提供相对丰富的信息 后者的主要目 的是心理学理论的构建与实现 在考试 与评价研究发达的美国 认知诊断引起 了政府和教育考试服务 中心 巧 的关注 年 美国正式通过了法案 玩 它规定美国所有实施的测验必须提供诊 断信息给家长 学生和 老师 在美国 现在社会主流 舆论均认为 只考试不诊断或者只诊断而不作补救 性的教学 都是不负责任的表现 考试与评价的作 用已不止是选拔和资格认证 还要为促进学生发展 服务 尽管认知诊断也吸引了大量研究者的注意 但 认知诊断更多地是停留在研究领域和小规模的应 用领域 在社会上大规模的考试中的应用并不多 见 目前 美国典型的大规模认知诊断测验是 高考预考 另外 鉴于计算机自适应考试 技 术的成熟 一些研究者正在致力于开发具有认知诊 断功能的计算机化自适应考试 并有一些成熟的范 例 有的已经很好地应用于实践中 如 妞 应 用规则空间方法开发的自适应考试系统 可以很好 地对个体的特定属性进行认知诊断 东亚各国不约 而同取经美国 把认知诊断应用于本国的教育测 验 如在韩国 把规则空间方法应用于大学学业 能力考试 在日本 则对规则空间方法和神 经网络模型 进行了比 较研究 与国外相比 我国对认知诊断的研究 尚处于起 步阶段 研究时间短 但进展较快 近几年常有一些 与认知诊断有关的研究成果发表 部分学者还就具 有认知诊断功能的计算机化自适应测验的研究与 实现等问题进行了探讨 尝试采用多策略多成分潜 在特质模型 对言语推理和图形推理 进行认知诊断的研究显示 通过认知诊断 可以对 个体类比推理的正确作答概 率及能力结构进 行分 解 从而得以在更微观更细致的层面上对个体的推 理水平做出评价 另外 还 可以依据个体的作 答反 应模式对他们错误解答图形推理题目的原因做出 诊断 但总体上 国内关于认知诊断理论还处于小 规模的研究与应用范畴 至今未见令人兴奋的实际 应用 认知诊断理论对考试评价 的启示 个体所得测验总分相同或者在传统测验上 的 行为表现一致 并不代表他们一定有相同的心理加 工过程 事实上 他们可能有不同的知识结构和解 决问题的策略 一个单一而笼统的总分往往会掩盖 这些差别 新一代测量理论 认知诊断则克服了 这一局限性 它很好地将认知心理学的理论成果 与现代的统计方法结合了起来 通过深入地分析 考察个体内部的心理机制和微观过程 为个体下 一步的矫正 培训提供了方向和指导 在我 国各项 大规模统一考试中 如何既发挥选拔或 资格认证 的功 能 又起到认知诊断的作用 从而促进 学生 综 合素质的和谐发展呢 笔者拟从以下三个方面 展开探讨 命制诊断性试月 要实现测验的认知诊断功能 首先试题本 身需 要具备诊断性 我们要了解待测特质的认知心理学 分析过 程 通过创新试题类型 优化项目编写技术 等编制出具有较强认知诊断功能的试题 例如 选 择题的错误选项并不是随意编制的 它应源于学生 中国考试 为 年第 期 在学习过程 中常犯的错误 另外 巧提出的基于 证据的考试设计理念 在设计诊 断性试题上非 常具有借鉴价值 它有效地把四个方面联系在一 起 考试的目的 考试内容 能力点 能够证明考生 能力 的证据 以及能够提供这些证据的 题目 强调的是在设计一个考试之初将考试者 希望考生必须掌握的知识点进行详细地划分 并以 此来选择合适的题型考查这一能力和命制这一题 型的一系列试题 基于证据的考试设计显然是最有 助于诊断的 它使考试成绩更有说服力 给出诊断式评分 在一个全部是选择题的考试中 考生可能总分 相同 但正确作答的题目不完全相同 即使正确作 答的题目完全相同 但错误做答的选项 则往往是因 人而异的 选择题尚如此 可以想见其他开放性试 题的作答情况 如果只是对正确的部分记分 忽略 了错误答案的价值 那也就丧失了诊断的依据 学 生能力国际评价 在诊断式评 分方面给我 们带来了有益启示 所有需要较多阐述的开放 性试题都由培训合格的评分员 根据编码评分标 准 按照相应的编码方式进行评分 其中 编码所代 表的分数有三种 满分 部分得分 零分 编码有 双 位编码和一位编码两种 其双位编码的第一位数字 代表学生应得的分数 第二位数字代表学生的作答 反应类型 双位编码的使用记录了学生在解决给定 问题的过程中所使用的策略 或是阻碍学生得出正 确解决方案的错误概念 这种评分方式有利于后期 数据分析的进行以及最终评价结果报告的生成 因 为 即使考生得了零分 通过考试也获取了学生错 误类型的信息作为学生个体诊断的依据 推出诊断性评价报告 认知诊 断的任务不仅是参照团体对考试分数 进行解释 更为重要 的是从个体在测验上的作答反 应结果提供他们 会什么 缺陷何在 的具体诊断 信息 这就要求我们不再只是报告一个总分或能力 分数 值 同时还要报告知识技 能各个组成方面 的分数 并写出针对性的关于考生 实有水平 相对 优点和不足 的评 语 以及 对进一步发展的建议 年推出的全国英语等级考试 的笔试成 绩报告单在一定程度上就属于诊断性评价报告 尤 其是针对 个级别建立在同一能力量表上的 特点 任何考生均可以在所给量表上清楚地看到自 己离所考级别和上一级别合格分数线 的距离 明晰 自己的语言能力 这种具有诊断功能的评价报告为 适应性的个别辅导提供依据 有利于考生有针对性 地进行矫正和接受相应的培训 结束语 认知诊断既是测量理论自身发展的产物 也是 社会尤其是教育领域要求测验提供更 多信息的结 果 认知诊断是当代测验发展的新追求 可以为新 课程改革所强调的素质教育提供有力的评价和诊 断工具 具有极大的应用价值 但是 认知诊断研究 也是一个系统的复杂的研究工作 它的整体实施流 程包 括对测量对象的认知分析 编制试题 确定 评 分规则 统计分析结果的反 馈 程序编制 预测验 效度研究等几个过程 只有 学科 专家 认知心理学 家 教育与心理测量学家 计算 机专家形成 分工协 作的研究团队 发挥各 自所长 才能加速 实现具有 认知诊断功能的大规模考试 参考文献 叮 找泪 公 手阴 创 目 翻翻 E Cor ter Usi叱elustedng met h司 t o e冲 花 阮s t r u et ur e o f 山砚尹 石e 如t S I n Pa UID Nieho l s S u F Chi p m a n R o b r t L B 剧 C飞贝it iv e l y d i叫 翻t ie nt 肠w二eeErl baum A i a tes I ne 1 9 9 5 3 0 7 刘声涛 戴海崎 周骏 新 一代侧验理论 认 知诊断理论的源 起与特征 心理学探新 2 X拓 2 6 4 e h n m n ns 11 与侧量 GSSm6ntsn dMe8SUr G m 6nt 1 4 B O l t