开放性试题如何评分_介绍两种质性评分方法[1].pdf

正如质性研究方法并不排斥一定的量化方法一样 这里所说的质性评价方法也并非纯粹的等级评定方法 而是等级 评定与百分制评定的有机结合 至于什么时候应该使用哪一种评定方法则应由考试的性质与规模来决定 质性评价中的 质性0特征主要体现在该评定方法注重对学生学习 质0的探究而非 量0的考查上 高凌飚 华南师范大学教育科学学院教授 博士生导师 吴维宁 华南师范大学教育科学学院博士生 收稿日期 2004 06 07 课程与教学论坛 开放性试题如何评分 介绍两种质性评分方法 高凌飚 吴维宁 华南师范大学 教育科学学院 广东 广州 510631 关键词 开放性试题 评分方法 SOLO PTA 等级描述法 要素分析法 摘要 开放性试题以探究性 生成性为基本特征在各种考试题型中独树一帜 在新课程学生评价的理 论研究与评价实践中 它正受到越来越多的关注 但开放性试题的不确定性与评分标准的主观性 又使得它 的运用受到局限 本文将介绍两种在国外和境外有着深入扎实的理论研究与实践基础的 可运用于开放性考 试的质性评分方法 即以 SOLO 分类法为代表的 等级描述型评定方法0和以 PTA 量表为代表的 要素分析型 评定方法0 并对两种方法的理论依据 编制过程 评定程序 适用题型等问题做以浅近探讨 文献标识码 A 文章编号 1002 5308 2004 08 0001 06 中图分类号 G6221475 一般说来 开放性试题是与封闭性试题相对的 没有固定答案或唯一结论的一种试题形 式 它在很大程度上弥补了封闭性试题的种种不足 特别在考查学生思维的灵活性和广泛性 考查学生的实践能力和创新意识 以及情感 态度 价值观等方面有着封闭性试题所无法取代 的优点 开放性更符合新课程发展性评价理念 在新课程的学业成绩评价中应大力加以提倡 但是以往的开放性试题在评分上带有比较明显的主观随意性 这一问题不解决 开放性试题就 难以进入学业成绩评价 特别是高利害和大规模的学业成绩评价之中 为了促进有关开放性 试题的评分方法的研究 我们在这里简单地介绍国外两种关于开放式试题的质性评分方法 一 等级描述型评定方法 SOLO 分类法 SOLO 分类评价法由比格斯 Biggs 教授首倡 是一种以等级描述为基本特征的质性评价 方法 已在大洋洲和东南亚地区经过广泛的实验和应用 SOLO 分类评价法的基本理念源于皮亚杰的认知发展阶段论 皮亚杰的认知发展阶段论 指出 儿童在成长的过程中认知的发展是有阶段性的 不同的阶段之间的认知水平有质的区 1 2004 年 第 8 期学 科 教 育 Journal of Subject Education No 8 2004 别 比格斯和他的同事通过研究发现 人的认知不仅在总体上具有阶段性的特点 在对具体知 识的认知过程中 也具有阶段性的特征 人在学习新知识过程中表现出来的思维阶段是可以 观察到的 因此称为 可观察的学习成果结构 SOLO Structure of the Observed Learning Out come 0 也就是说 学生在具体知识的学习过程中 都要经历一个从量变到质变的过程 每发 生一次跃变 学生在对于这一种知识的认知就进入更高一级的阶段 可以根据学生在回答问题 时的表现来判断他所处的思维发展阶段 进而给予合理的评分 SOLO 将学生学习的结果由低到高分为五个不同的层次 即 前结构 prestuctural 单点 结构 unistructural 多点结构 multistructural 关联结构 relational 拓展抽象结构 extended abstract 等 这五种结构的基本含义如下 前结构 没有形成对问题的理解 回答问题逻辑混乱 或同义反复 单点结构 回答问题时 只能联系单一事件 找到一个线索就立即跳到结论上去 多点结构 回答问题时 能联系多个孤立事件 但未形成相关问题的知识网络 关联结构 回答问题时 能够联想多个事件 并能将多个事件联系起来 拓展抽象结构 回答问题时 能够进行抽象概括 结论具有开放性 使得问题本身的意义得 到拓展 SOLO 的五种层次代表了学生对于某项具体知识的掌握水平 从学生对某个问题的回答 中 教师可以对照上述标准就学生对该项知识内容的掌握情况做出判断 因此 这种评价方式 可以帮助教师进行教学诊断 同时 也可以向学生提供有用的反馈 所以 SOLO 分类法可以用 于形成性的学生学业评价 另一方面 如果将上述五个层次赋予不同的等级分数 那么学生对 问题回答的质量就可以被量化 量化的分数可以作为终结性评价的依据 依据 SOLO 编制评分标准 就是按照学生在具体学习任务中的行为表现 进行诸如前结 构 单点结构 多点结构 关联结构和拓展抽象结构的水平划分 并对各个等级作出文字描述 若试题用于大规模考试 则还可以考虑按照实际评分的要求 将五个等级适当细化 以下是依据 SOLO 的基本思想进行等级评分的实例 从中我们可以了解基于 SOLO 的评 分标准编制的一般方法 例 1 火柴棒摆图形 如图 用火柴摆成框形图案 4 根摆 1 个框 7 根摆两个 等等 SOLO 理论认为各结构层 次的学生能够回答的问题如下 1 单一结构 多少根火柴能摆 3 个框 单一结构的反应只需运 用一种策略 即看看题图的相关部分 然后数一数火柴的根数即可 2 多元结构 摆 5 个框比摆 3 个框多用多少根火柴 多元结构 反应需要学生做三件事 计算摆 5个框需要多少根火柴 再数一数摆 3 个框需要多少火柴 最后计算两者的差 所有这些计算都需要对问题的 基本理解 但不必理解问题的整体结构 3 关联结构 用 31 根火柴能摆多少个框 关联结构水平的学生 必须理解到 摆第一个框需 4 根火柴 但以后每摆一个框就要利用前框 中的一根火柴 所以每加一框只需用 3 根 这样 可以取 31 根火柴中的 4 根摆成第一个框 剩 2 John B Biggs 答对第二个问题就达到多点结构的 水平 可以记为 C 答对第三个问题就达到关联结构的水平 可以记为 B 答对第四个问题就达 到拓展抽象的水平 可以记为 A 这种记分方法有利于教学诊断 可以为教师和学生提供有益的反馈信息 主要用于过程性 评价 在终结性的考试与评价中 若有需要 还可以给各个等级赋予一定的分值 此外 在需 要一定区分度的考试中 上述四个等级之间还可以有过渡的等级 也就是说 SOLO 的等级数 不必限于 5 个 可以有多个等级 分别记为A A B B C C 甚至可以使用百分数 二 要素分析型评定方法 PTA 量表法 PTA 量表是美国教师沃尔弗德与安迪生以及她们的同事所倡导和开发的一种对于学生 作业 尤其是开放性作业的评分工具 PTA 是英文 Primary Trait Analysis 的缩写 意思是 基 本要素分析 PTA 量表是一种标准参照的评价工具 它确立的评分标准可以用来评价多种学 生表现 如 英语口语 语文作文 实验操作 研究报告 艺术表演等等 PTA 是一项具体任务 也就是说 对于每一个作业和测验有不同的标准 它既可以用于外部统一考试 也可以为课堂 作业建立评价标准 PTA 量表的理论假设则是 任何一种行为表现 包括行为的和认知的 都会有一系列基本 的要素 这些要素构成学生学习某些知识 技能或行为表现的基本单元 只要找出这些基本单 元 并将学生在这些基本单元上的行为表现作出准确的评定 则学生在完成这些具体任务时的 总体特征就可以得到适当的评定 一般说来 制定 PTA 量表主要有三个步骤 一是确定可能对评价起重要作用的要素 二是编制测试学生每一个要素的评价量表 三是对量表进行试测与修改 PTA 量表的编制过程则主要就是确定基本要素及其等级划分的过程 编制严格意义上的 PTA 量表 既依靠编制者以往的经验 也依靠同行间乃至师生间的交流与合作 它是一个不断 循环 不断修正 不断完善的过程 在对于区分度要求不是很高的考试与评价情境中 PTA 量 表中各个要素的等级描述可以省略而代之以简单的等级数量 用 PTA 量表作等级评定的程序是 首先分别对各个要素赋予等级分数 而后按照一定的 权重 将各个要素的得分相加 最后得到学生在整个任务中的表现分数 3 2004 年 第 8 期学 科 教 育 Journal of Subject Education No 8 2004 例 2 PTA 量表的制作实例 PTA 量表的部分内容 任务 设计和完成一个原创性的科学实验 并按照科学格式撰写报告 要素 方法和资料部分 水平五 包含有效的 数量充足的和简明的组织信息 并且实验能被重复 记录下所有文件固有的信息 并能返回到这一部分 确认所收集到数据的来源 以一种适当的时间识别后续信息 没有繁杂的描述过程 水平四 同五 但可能包含不需要的信息或繁杂的描述在内 水平三 当前的实验含有明确的位置 文件中所有信息都可能同这部分有关系 但不能识 别某些数据的来源中目前的后续信息处于无组织的方式 水平二 目前实验是最低的重复 部分基本设计能被读者推理出 没有足够的过程描述 在 前面的材料和方法中不能预期出结果的信息 水平一 实验描述极其缺乏 或实验不能被重复 一般说来 PTA 量表可以分为 2 5 个等级 用以描述每一个水平 如前面提到的安迪生 在她的要素之一 方法与资料0的量表中 设计了五个水平 最高等级的分数为 5 其实也可 以分为二个 三个或者四个水平 这要依据评价的目的而定 如 两个水平的量表实质上要做 出一个通过或者失败 是与不是的判断 在只需要作出判断的情况下 这种水平的划分是比较 合适的 在实践中如何使用 PTA 量表 下面介绍几种使用方法 简化使用 所谓简化使用 就是编制一个比普通 PTA 量表更为简单一些的等级评价量 表 主要做法是 将普通 PTA 量表中的多个基本要素作以合并 并在一个量表中呈现 或者省 略各个要素的等级量表中 各个水平的详细文字描述 其特点是 可以减轻教师的工作量 提 高评定效率 但精确性降低 评分误差可能会加大 完整使用 所谓完整使用 就是完全按照 PTA 量表的一般编制程序 首先确定基本要 素的数量 再按照要素的数量编制多个 PTA 评定量表 而后分别以各个分量表对学生作业中 的各个基本要素进行评定 最后得到一个学生的总成绩 PTA 量表的完整用法的特点是 可以对各个要素分别进行评价 从而可以较好地发挥评 价的教学诊断功能 但工作量较大 分数的合成也是一件费时的事情 部分使用 所谓部分使用 就是将 PTA 的分数仅仅作为确定学生最后成绩的一个部 分 而不是全部 比如 安迪生在确定学生等级时 80 是依据 PTA 分数 20 要看学生是否 运用了恰当的图表与数字 是否遵守了字数限制 是否按时交了作业 以及是否认真地作过修 改等等 三 SOLO与 PTA 的适用范围 如同其它评价工具一样 SOLO 与 PTA 都不是万能的 它们都各自有其适用的题型范围 4 美 沃尔弗德 安迪生著 国家基础教育课程改革 促进教师发展与学生成长的评价研究0 项目组译1 等级评分 学习和评价的有效工具 M 北京 中国轻工业出版社 2004156 731 2004 年 第 8 期学 科 教 育 Journal of Subject Education No 8 2004 为了方便讨论 我们先对于开放性试题的分类作以简要探讨 对开放性试题的分类可以有不同的准则 如果以试题的形式作为分类的准则 可以分为操 作型开放题 表现型开放题 论文型开放题和问题解决型开放题 操作型开放题是需要动手操 作的一类考试试题 比如理化生实验中对于常用仪器设备的操作考试 体育 美术中的动作与 绘画考试等等 这类考试主要考查学生的动手能力和基本的实验技能 表现型开放题是通过 学生的实际表现来对学生的某种素质进行评价的考试试题 比如英语课中的口语考试 艺术课 中的表演 语文课中的朗读 背诵 演讲 辩论等等 都是表现型开放题的具体形式 这类开放 型试题主要用于考查学生的各种表现能力 包括表达能力与交流 沟通能力 论文型开放题是 以纸笔作文的形式自由表达思想观点或调查研究成果的一种试题形式 这种形式的开放题可 以较为全面地考查学生的思想 观念 情意 动机以及文字表达和调查研究的能力 如作文 调 查报告 科技小论文 实验报告和科学研究报告等等 都属此类 问题解决型开放题是通过在 问题情境中对于特定问题的探究来考查学生的科学研究或分析解决问题能力的一种试题形 式 如文科考试中的论述题 理科考试中开放型或半开放型的计算题 实验题等等 都属问题解 决型开放题 等级描述评定量表与要素分析评定量表各有自己的特点 因此 它们所适合评定的开放性 试题的类型也各不相同 由于以 SOLO 为代表的等级描述型量表对于等级作了较为详细的 描述 所以用它来评定那些有着较为明显的步骤特征或等级层次分明的探究型开放题 其效果 会比其它方法更好 SOLO 对于论文型的开放性试题的评定也有效果 但只是对于那些有着 明显层次的论文是这样 如果是描写式的作文 用 PTA 量表来评定可能更恰切 原因是 PTA 运用各个要素中的等级量表 能对作文评定中的各个要素做出较为精确的评分 而后将 各个要素上的得分按照一定的权重 这个权重可以采用多种方法使之科学化 相加而得到整篇 作文的最后得分 用这样的方法来评定作文当然会比较费时 简化的 PTA 量表较适合操作 型与表现型考试 这主要是缘于它的可操作性 综上所述 我们将上述两种等级评分方法对四种开放式题型的适切性列表如下 方法 题型 操作型表现型论文型探究型 等级描述型量表 要素分析型量表 注释 表中 0表示不适合 0表示较适合 0表示很适合 在具体的评价实践中 不论采用哪一种评分方式 都必须遵循合目的性与合规律性相统一 的原则 所谓合目的性 是指评价应该有利于促进学生的发展 所谓合规律性 是指评价的方 法必须科学合理可操作 我们不能将方法当成目的 尤其在选择评分方法时不能追风赶时髦 而应该以是否合乎上述两性原则为依据 主要参考文献 1 Biggs SOLO PTA grade description primary trait analysis Abstract Open ended item has its special position in all kinds of test items for its characte ristics of inquisition and creativity It has been attracting more and more attention in theoretical research and evaluating practice of new curriculums student