SOLO分类评价法及其应用研究

1 SOLOSOLO 分类评价法及其应用研究分类评价法及其应用研究 摘要摘要 SOLO 分分类评类评价理价理论论将可将可观观察到的学察到的学习结习结果分成五种水平果分成五种水平 前前结结构水平 构水平 单单一一结结构水平 多元构水平 多元结结构水平 拓展构水平 拓展 抽象水平 关抽象水平 关联联水平水平 基于基于 SOLO 分分类评类评价理价理论论 设计设计一份一份试试卷用于卷用于测试测试某高校双某高校双师师班学生班学生对对数学基数学基础础知知识识的掌握程度 并用的掌握程度 并用 它它进进行了行了综综合合评评价 得到了相关价 得到了相关结论结论 关键词关键词 SOLO 分分类评类评价法 数学 价法 数学 试试卷卷 1 引言 SOLO 分类系统是澳大利亚学者约翰 比格斯教授 John B Biggs 创建的一种描述智力发展的一般性 框架 其基本理念源于皮亚杰的认知发展阶段论 皮亚杰的认知发展阶段论指出 儿童在成长的过程中认 知发展是有阶段性的 不同阶段之间的认知水平有质的区别 比格斯等人通过研究发现人的认知不仅在总 体上具有阶段性的特点 对具体知识的认知过程也具有阶段性的特征 他指出 一个人回答某个问题时所 表现出来的思维结构 与这个人总体的认知结构是没有直接关联的 一个人的总体认知结构是一个纯理论 性的概念 是不可检测的 而一个人回答某个问题时所表现出来的思维结构却是可检测的 比格斯称之为 可观察的学习结果的结构 Structure of the Observed Learning Outcome 英文缩写 SOLO 1 从 而形成了 SOLO 分类评价理论 SOLO 分类评价理论作为一种新的评价理论和方法提出后 立刻引起我国一些研究者和地方教育行政 部门的极大关注 20 世纪 90 年代末 一些学者结合我国的新课程改革展开了一些相关研究 并在教学和 考试中加以运用 取得了一些研究成果 在理论方面的研究主要集中在 SOLO 分类法的概念及其评价 SOLO 分类法用于考试中的开放性试题的评分标准 SOLO 分类理论及其在教学中的应用等方面 在实践方 面更多的是结合 SOLO 分类评价理论对学生在物理 数学 化学 历史 地理 语文阅读及写作等学科领 域的学业评价和考试进行实践研究与探讨 基本涉及我国当前基础教育各主要学科领域的课程 从众多的研究报告和文献看 我国很多地区已经充分利用 SOLO 分类评价理论进行学科教学和考试改 革的实验研究 比较有代表性的地区是广东省 从 2004 年起 广东省就开始在试点研究的基础上推广应 用 SOLO 分类评价法 并在高中的物理 化学 生物 历史 地理 政治等学科中进行全方位的研究 充 分渗透和体现了 SOLO 分类评价理论的思想 观点和方法 2 SOLO 分类评价理论框架 2 1 SOLO 分类评价理论中的五种学习水平 SOLO 分类评价理论认为学生在具体知识的学习过程中 都要经历一个从量变到质变的过程 每发生 一次跃变 学生对于这一种知识的认知就进入更高一级的阶段 可以根据学生回答问题时的表现来判断 他所处的思维发展阶段 根据思维性质与抽象程度从简单到复杂的变化趋势 比格斯提出了感觉运动的 形象的 具体符号的 形式的和后形式的五种功能方式 进而划分了每种功能方式下的反应水平 也即 SOLO 分类评价理论将观察到的学习结果分成以下五种水平 2 1 前结构水平 P 任务没有正确完成 学生没有真正理解题意 只使用了很简单的方式考虑问题 指示动词 失败 不胜任 缺失要点 2 单一结构水平 U 学生的回答仅集中在某一相关的方面 指示动词 辨别 命名 执行简单程序 3 多元结构水平 M 学生的回答集中在几个相关的方面 但这几个方面相互独立 表现零散 该水 平的评价主要是定量的 指示动词 合并 描述 列举 执行系列技能 4 关联水平 R 不同方面被整合成一个统一体 该水平通常意味着对某一问题的足够理解 指示动 词 分析 应用 辩论 比较 批判 解释原因 建立联系 维护理由 5 拓展抽象水平 E 将前面的整合统一体在更高的抽象水平上建立概念化的框架 并将其推广到 新的问题或领域 指示动词 创造 公式化 产生 假设 反思 理论化 下面给出图示分析 2 图 1 1 前结构水平 P 图 1 2 单一结构水平 U 图 1 3 多元结构水平 M 图 1 4 关联水平 R 图 1 5 拓展抽象水平 E 1 前结构水平 P 学生简单的得到一堆无联系的信息 这些信息无组织结构且无任何意义 2 单一结构水平 U 学生做出了简单明显的联系 但图形的意义不清楚 3 多元结构水平 M 学生做出了许多的联系 但是各组件之间的多元联系缺乏 整体意义也不清楚 4 关联水平 R 学生现在能够欣赏与整体相关的各个组件之间的意义 5 拓展抽象水平 E 学生不仅在给定学科领域内做出了联系 而且除此之外 还能够将隐含在具体例子 中的原则和思想进行推广和转化 从前结构反应到扩展抽象结构反应 SOLO 分类法提供了一种依据递增的结构测量学习质量的方法 它不是用二元论的方式把学习结果划分为对和错两类 而是把不同的学生指向不同水平的再认知 并将 其作为划分个性教育的依据 SOLO 分类不仅可以诊断学生学习存在的困难 还可以帮助教师制定多层次水 平的教学目标和教学过程 通过对学习者进行分析 提出教学指导建议 同时也提供用于测验和考试的 内容结构框架 2 2 基于 SOLO 分类评价理论的命题及评分规则 2 2 1 试题的命制 将 SOLO 分类评价理论应用于主观性试题的编制 在试题的编制上基本上和传统的命题没有什么区别 唯一要注意的是要在命题时保证给学生充分的发挥空间 如果题干本身的要求过死 那么学生很难在对题 目的反应中表现出他们不同的思维水平 例如 求 这样的题目最好的回答也只能是单 2 12 lim n n n 一结构水平的 极少会有学生出现多元或者更高水平的回答 但是通过题干的改变 它很容易就能得到 一个多元结构水平的回答 例如进一步求 甚至是一个拓展抽象结构水平的回答 222 3 12 lim n n n 例如求 其中 k 为某一固定的正整数 1 12 lim kkk k n n n 2 2 2 评分标准的制定 这是利用 SOLO 分类评价理论编制主观题和传统编制主观题最主要的区别 按照传统编制主观题的评价方法 我们可能会在命制题目的同时给出标准答案 采点给分 但是这个 答案存在两个难以克服的问题 首先 这是命题人希望学生达到的结果 是成人理解的结果 并不是学 生的 另外 这个答案仅仅给出了唯一最好的水平 阅卷人在阅卷的过程中要自己把握学生的正确程度 很容易由于阅卷人的主观效应造成评价的失准 但是 如果采用 SOLO 分类评价理论制定试题的评分标准 3 就可以克服这种问题 采用 SOLO 分类评价理论在命制题目的同时也要制定出一个参考答案 但是这个答案不是命题人主观 决定的 而是通过小范围预测中得到的学生答案整理分类得到的 在正式阅卷时 这个答案依然不能被直 接应用 还需要在试评的过程中验证已有的答案是否能包含学生可能出现的情况 并加以调整 然后才 能进行阅卷 这样的评分标准是根据学生的实际回答 寻找答案背后蕴含的思维结构的不同水平 根据思维结构 的不同划分出的不同层次 使得主观性试题的评分标准相对独立于知识点之外 更多地评价学生思维的深 度和广度 从而减轻主观题的评分者效应 又保证让学生自由发挥和表达 并且评分标准中对学生可能 出现的四种水平都做了界定 并且根据对学生实际答案的分析 给出了答案的样例 有利于阅卷者准确 判断学生的答案处于那一水平 有效地降低了阅卷者的主观效应 具有较强的可操作性 以下面这个题目为例 求满足 A 1 A 的二阶矩阵 A 参考答案 1 前结构水平 没有进入问题的解决过程 只得到一堆无用的信息 2 单一结构水平 可以得出一个答案 例如 10 01 3 多元结构水平 可以得到两个或两个以上的答案 如 等 1 01010 2 010 20 1 4 关联结构水平 可以得出多个答案 并能注意到这些答案之间的关系 如由以下几组答案 等 发现 若设矩阵 A 只要 a d 0 bc 1 即可满足A 1 A 1 01010 2 010 20 1 ab cd 5 拓展抽象结构水平 能够进行抽象概括 得出一般结果 设 A 由 A 1 A 知 A2 I 从而有 ab cd 2 2 aa1001a bc 01110 bbadadadabbd cdcdbcadbcbcaccdbcd 或或 通过该例基于 SOLO 分类评价法的评分标准的制定 表明采用 SOLO 分类评价理论制定评分标准有以 下三个方面特点 第一 根据思维层次来打分 而不是根据采分点来打分 第二 答案在每个层次的后面都提供了具体的答题例子 第三 不提供样板式的标准答案 阅卷老师不必再拘泥于标准答案的表述 2 2 3 答题水平的量化 传统的评价方式主要依赖于设计不同思维水平的问题 通过学生对这些问题的解答来了解学生的理解 程度 这有利于确定思维能力培养的目标 却无法确定思维能力培养的层次 而 SOLO 分类评价法解决的就 是思维水平层次的问题 SOLO 的五种结构水平代表了学生对某项具体知识的掌握水平 从学生对某个问题 的回答中 教师可以对照上述标准 按照学生对该项知识内容的掌握情况做出判断 因此 这种评价方式可 以帮助教师进行教学诊断 同时 也可以向学生提供有用的反馈信息 所以 SOLO 分类评价法可以用于形成 性的学生学业评价 另外 如果将上述五个层次赋予不同的等级分数 那么学生的答题水平就可以被量化 量化的分数可以作为终结性评价的依据 SOLO 分类评价法解决的就是思维水平层次的问题 其思维层次的 划分适合各种主观类型的数学问题 以下面这个题目为例 图 2 1 和图 2 2 给出的流程图具有相同的功能 描述该功能 并将图 2 2 所缺部分补充完整 最后请绘 制出另外一幅与图 2 1 和图 2 2 具有相同功能的流程图 4 图 2 1 图 2 2 参考答案 1 前结构水平 没有进入问题的解决过程 只得到一堆无用的信息 2 单一结构水平 不能看出问题的本质 只能看出 n 是以步长为 2 的速度在增加 最后的 S 是一个累乘 的结果等 3 多元结构水平 结合几个要点 看懂了图 2 1 是为了计算 1 3 5 99S 4 关联结构水平 将图 2 1 与图 2 2 进行对比 发现两者之间的关系 并得出所缺之处 应该填入 97 98 nn 或或n 98或n 99 5 拓展抽象结构水平 充分理解该流程图的功能 并能进行拓展思维 得出另外一幅流程图 学生的回答为前结构水平的 可以记为 E 达到单一结构水平 可以记为 D 达到多元结构水平 可以 记为 C 达到关联结构水平 可以记为 B 达到拓展抽象水平 可以记为 A 这种记分方法简捷明了 能够清 楚地看到学生所达到的思维层次 对于过程性评价尤为适用 但如果在终结性的考试与评价中使用这种评 分方法 也可以给各个等级赋予一定的分值 五个等级可按照 0 1 2 3 4 打分 教师依据学生达到的等 级水平给出相应的分数 另外 SOLO 分类评价理论的等级数不一定就必须是五个 有时也可以有多个等级 各个等级之间还可以有过渡的等级 分别把它们记为 A A A 等等 5 这里要特别强调 如果一个同学在解题时 解题过程明确的反映出他已经看出问题的本质联系 只是 因为粗心大意而出了差错 那么按照传统的评分标准 教师在评价的过程中只看结果 固然是把他的答案 完全否决 但是依照 SOLO 分类评价法所制定的评分标准 却不能这样错误地将其归结为前结构水平 而 应把他归结为更高的层次 3 研究设计 本研究依据 SOLO 分类评价理论 调查了福建师范大学 08 级数学与计算机双师班 41 名学生 以了解 双师班同学对数学基础知识的掌握程度 下面简要介绍本研究的设计及实施的过程 3 1 测试题目 测试的内容涉及大学高等代数 数学分析以及解析几何 另外还包括高中算法 数列 函数等部分内 容 所有题目的编制均依据 SOLO 分类评价理论 共计六题 前三题为高中数学知识 后三题为大学数学 知识 测试时间为八十分钟 具体试题见附录 3 2 被试 本研究调查的对象为福建师范大学 08 级 大一 数学与计算机双师班的 41 名学生 他们中的绝大 多数来自本省 而 08 年福建省尚未实行高中新课改 3 3 测试结果 测试过程发放试卷 41 份 回收有效试卷 40 份 根据学生的回答 统计每一道题处于各个层次的人数 测试结果如表 3 1 表 3 1 5 各水平回答 人数 第一题 数列 第二题 算法初 步 第三题 函数 不等式 第四题 数学分 析 第五题 高等代 数 第六题 解析几 何 前结构 1300440 单一结构 2100110 多元结构 341050 关联结构 6531072 拓展抽象结构 2808361338 4 研究结果分析与讨论 4 1 数学课程方面 第二题完成情况较差 75 的同学处于前结构水平 处于拓展抽象水平的学生为零 这一结果并不出 人意料 因为 09 年是福建省第一届高中新课改学生参加高考 而对于 08 级的双师班同学来说 在高中 期间从未真正学习过关于算法的知识 在测试过程中 光凭理解 很难达到较高的思维层次水平 但是算 法是数学与信息技术整合的内容之一 是计算科学的基础 是能够利用计算机编程的基础 对于双师型 实验班的同学来说 无疑算法将成为以后课程实施的一个重头戏 4 2 数学教学方面 从测试结果来看 第四题测试结果较为极端 10 的学生处于前结构水平 而剩下的 90 均处于拓展 抽象水平 也就是说对于该类极限问题 双师班学生只要发现题目里所隐藏的一个特征 即能很容易得到 一个拓展抽象结构水平的回答 说明对于 数学分析 stolz 定理这一知识点的教学 教师的主要任务不 是让学生死记硬背定理的内容 而是引导学生认真审题 并发现题干所具备的特征 联想所学 进而确 定合理的解题策略 结合第三题和第六题的测试结果来看 第三题处于关联结构水平的同学占 78 而处于拓展抽象结构 水平的学生仅占 20 分析学生给出的答案发现 大多数的学生都可以从数的角度解决问题 但是极少的 同学可以从数字的角度上升到图像 运用数形结合思想解决问题 这说明双师班同学的在解决函数与不等 式问题时 数形结合思想不够 另外 第六题完成情况较好 处于拓展抽象水平的学生占 95 该题主要 考察学生分类讨论思想 说明双师班学生解决此类解析几何问题时 分类讨论思想较强 分类思想及数形 结合思想都是数学解题的基本思想 不论是初等数学或者是高等数学都离不开它们 因此 有意识地培养 学生具有这些思想也应是数学教学的主要任务之一 4 3 数学学习方面 前三题处于低理解水平的人数较多 而后三题处于高理解水平的人占绝大多数 从学情分析着手 双 师班学生高中毕业已达半年以上 对于某些高中数学知识已经遗忘 但是在大学将近一个学期数学基础 课程的学习 使他们对数学系的几门核心课程有了初步的了解 另外测试之时恰逢期末考试阶段 学生 对所学知识的掌握较为牢固 拓展抽象水平较高 因此 学生在日后的学习过程中应注意适时适量对高中 基础知识进行复习 总的来说 对于这六道题 双师班学生反映的总体思维水平层次较高 但是在试卷批改过程中发现 学生计算能力较差 思维准确 但是结果出错的情况较为普遍 因此 计算能力的加强是双师班学生日后 学习的一个主要任务 5 SOLO 分类评价理论的特色与不足 5 1 SOLO 分类评价理论的特色 1 后一水平是以前一水平为基础的 允许学生在不同学科 不同问题上有不同表现 在 SOLO 学习结 果分类系统中 后一水平必须建立在前面的几个水平的基础上 例如 学生达到多元水平的反应必然是以 其达到了单一水平的反应为基础的 而学生如果没有达到多元水平 他也一定不能达到更高一级的关联 水平或者拓展水平 并且 当学生获得新的认知方式时 新的认知方式并不会取代旧的认知方式 而是与 6 旧的方式同时发展 根据这一观点 学生在不同认知领域中能力的发展可能具有不一致性 学生在同样的 年龄在不同领域会有不同的发展 因此 在 SOLO 学习结果分类系统中允许学生在某一个问题上达到了关 联水平 而在其他问题上却只能达到较低水平 高一级的水平仅仅代表了学生所能达到的最高水平 而不 是所有的学科领域都能达到的水平 2 区分质的差异 不作量的比较 有利于评价学生思维水平 SOLO 学习结果分类的标准是对学生对 问题的反应进行质的比较 是以结构的复杂性来测量认知结构的质量 而不是对学生的反应进行量的多少 的比较 比如一道计算题 并不是学生写得越多 他的能力就越强 并不是学生答对的题目越多 它所处 的认知水平就越高 如果他答对了 10 道题目 其中有 9 道题目都是属于简单记忆水平的 或者说是单一 水平的 那么也不能说他比那些答对了一道多元题目的学生水平高或者低 只能说明他在题目所考察的 内容上处于单一水平 这样的测量方式更有利于对学生的思维水平作出客观的评价 3 对学习反应结果分类 有利于评价发挥反馈作用 SOLO 学习结果分类是对学生对问题的反应结果 进行分类 而不是对学生分类 它并不将学生之间进行比较 SOLO 只能评价出学生在某一道题目上 某一 个内容上是处于一个什么样的水平 但是并不能对学生作出整体上处于什么认知水平的评价 例如 学生 在一道题目上的反映是单一水平的 那么我们可以得出结论 这个学生在题目测试的内容上所处的水平 是单一水平 还需要进一步发展 但是对于学生其他方面的能力 则需要通过其他的题目才能得出 因此 可以说这样的分类方式属于诊断性的分类模式 通过这种题目的测试 不仅可以告诉学生得了多少分 更重要的是它能使老师明白学生哪些能力发展的好 哪些能力还存在问题 存在什么样的问题 以及应 该怎样改进 这样就有利于教师根据评价反馈的结果调整自己的教学 学生根据评价的结果调整自己的学 习 5 2 SOLO 分类评价理论的不足 1 评价低层次的能力效果差 SOLO 理论对于等级作了较为详细的描述 所以用它来评定那些有着较 为明显的步骤特征或等级层次分明的探究型开放题 其效果会比其它方法更好 但是评价低层次的能力效 果比较差 比如 要求学生记忆的内容 谈不上学生处于单一或者多元的水平 这时 SOLO 并不能发挥它 的优势 2 用 SOLO 分类理论编制的试题 区分度比百分制试题要低 用作大规模的选拔性考试时要慎重 尽管通过 SOLO 分类法可以将 5 个等级层次适当细化 保证整张试卷结构模型和开放性试题的科学化命制 但在评分和记分时 其区分度却非常低 这与其 质性 评价要求密切相关 因此 SOLO 分类评价法在 运用于高利益的大规模考试时 应该慎重 不要丢失它的 质性 评价要求的内在特性 3 缺乏对试卷整体的考虑 由于 SOLO 分类评价法关注学生在一个具体问题上的反应 并且 只有在 学生做出反应之后才能利用 SOLO 理论对反应进行分析 所以当它应用于整份试卷的评价时 它只能分析 学生在每道题目上的表现 却难以对考查内容进行全面地考虑 通过编制 SOLO 试题对学生进行测试 可以比较准确地推断学生所处的思维层次 从而达到改进教学 的目的 但是 SOLO 分类评价法也存在一些不足 所以 SOLO 分类评价法还不是一个完备周详的理论 还需 要与其他评价方法结合使用 才能全面有效地评价学生的学习状况 参考文献 1 吴维宁 教育评价新概念 SOLO 分类法评价 J 学科教育 1998 5 2 JOHN B BIGGS Teaching for quality learning at university M Open University Press 1999 3 黄牧航 SOLO 分类评价理论与高中历史试题的命制 J 历史教学 2004 12 4 李俊 学习概念中认知的发展 J 数学教育学报 2002 11 1 5 5 李兆祥 数学开放题的 SOLO 评分方法初探 J 宁波大学学报 2007 4 4 7 7 Research on the SOLO Taxonomy and It s Applications Liu Yan 105012005078 Advisor YUAN Zhi qiang Major in Pure and Applied Mathematics College of Mathematics and Computer Science Abstract TheThe SOLO Taxonomy consists of five levels of understanding Pre structural uni structural multi structural extended abstract and relational Based on the SOLO Taxonomy the author designed a test paper to check the mastery to mathematics basic knowledge of the freshman and use it to assess the outcomes Keywords SOLO Taxonomy Mathematics Test paper 8 附录 福建师范大学数学与计算机科学学院福建师范大学数学与计算机科学学院 2008 级级 数学与计算机双师型人才实验班数学与计算机双师型人才实验班 数学基础知识测试题数学基础知识测试题 学号 姓名 性别 1 数列中 已知 求 求的最大值 n a 10 9 1 a 3 1 1 Nn aa aa nn nn 4 a n S 参考答案 1 前结构水平 没有进入问题的解决过程 只得到一堆无用的信息 2 单一结构水平 看不到问题的本质 只能看到一个特征 通过先算 进而求出 而对于后面的 23 a a 4 9a 问题却无法入手去求解 3 多元结构水平 看到问题中较多的联系 先求得 进而求出 继续算 发现之后的项都为 23 a a 4 9a 4 a 负数 所以 中所求的最大项为 S4 4 关联结构水平 能看到各项之间的联系 发现各项的倒数成等差数列 进而写出通项公式 5 拓展抽 象结构水平 能够发现原式可化简为 由等差数列的定义 知是等差数列 写出通项公 1 111 3 nn aa 1 n a 式 通过通项公式解决问题 2 图 1 2 给出的流程图具有相同的功能 描述该功能 并将图 2 所缺部分补充完整 最后 请绘制出另外一幅与图 1 图 2 具有相同功能的流程图 图 1 图 2 为了解双师班同学对数学基础知识的掌握程度 我们设计了六个问题作为测试题 本次测试的结果只 供研究使用 不作为同学们的学业成绩 请大家在规定的时间内认真作答 注意事项 1 测试时间 80 分钟 2 评价方式 采用 SOLO 分类评价法 关注测试者的思维结构水平 而不仅仅是答案的正确与否 请尽可能 写出你的想法而不要留空白 9 参考答案 1 前结构水平 没有进入问题的解决过程 只得到一堆无用的信息 2 单一结构水平 不能看出问题的本质 只能看出 n 以步长为 2 的速度在增加 最后的 S 是一个累乘的 结果等 3 多元结构水平 结合几个要点 看懂了图一是为了计算 1 3 5 99S 4 关联结构水平 将图二与图一进行对比 发现两者之间的关系 并得出所缺之处 应该填入 97 98 nn 或或n 98或n 99 5 拓展抽象结构水平 充分理解该流程图的功能 并能进行拓展思维 得出另外一幅流程图 3 设关于 x 的一元二次方程有两个实根 2 10 0 axxa 12 x x 求的值 求证 12 1 1 xx 12 1 1 xx 且 参考答案 1 前结构水平 没有进入问题的解决过程 只得到一堆无用的信息 2 单一结构水平 不能看出问题的本质 只能由是的两个实根看出 12 x x 2 10 0 axxa 22 1122 10 10axxaxx 3 多元结构水平 由韦达定理得 1212 11 xxx x aa 4 关联结构水平 将第一问的式子变形发现 将 121212 1 1 1 xxxxx x 代入得 1212 11 xxx x aa 121212 11 1 1 1 11xxxxx x aa 5 拓展抽象结构水平 从数字的角度上升到图像 抽象出函数的图像 运用数形结合思想解决第二问 4 计算 其