新理念下的化学认知水平测量评价系统的研究(PPT 60页).ppt

新理念下的化学认知水平测量评价系统的研究 作者 汪伟报告人 张国静 第一章前言第二章化学认知水平测量评价系统的理论基础第三章化学认知水平测量评价系统的设计思想第四章化学认知水平测量评价系统的研究与实现第五章对系统的具体评价第六章结论 第一章前言 本课题所开发的测试系统是通过提高测验考试的效率 增强测验考试的反馈效果 揭示学生知识能力的局部缺陷 从而使教与学都更有针对性 并且把计算机技术有效的应用于教育测量评价 是教育评价手段与方法走向科学化和现代化的表现 也是对传统教育评价方式的发展 1 1课题提出的背景和研究意义 1 1 1全面实施素质教育的需要1 1 2我国新一轮基础教育课程改革的需要1 1 3化学教育测量与评价学发展的内在需要1 1 4弥补传统的化学认知水平测量评价不足 1 1 1全面实施素质教育的需要现行的教育评价领域中存在很多问题 主要表现为 a 过分强调甄别与选拔功能 b 过分关注对结果的评价 c 过分关注评价的结果 d 评价方法单一 e 评价主体多为单一源 f 学生基本处于被动地位 当前 教育评价的相对滞后 己经成为制约全面实施素质教育的瓶颈 这说明要想使素质教育落到实处 就必须有与之配套的新的教育评价体系 那么客观上就要求我们探索出更为科学合理的测量评价技术和方法与之相适应 1 1 2我国新一轮基础教育课程改革的需要建立符合素质教育思想的评价与考试制度 是新一轮课程改革的一项重要内容 因此 我们要在此领域展开研究 探索评价 考试制度的改革 为加快构建符合素质教育要求的新的基础教育课程评价体系提供素材 教育测量评价是关系到新课程改革实验成功与否的一个非常重要的环节 在我国新一轮基础教育课程改革过程中 如果在评价模式上探索不出新的生长点 则无异于 穿新鞋 走老路 所以 如何突破测量评价这一难关 是课改中面临的一个重要课题 这就说明客观上迫切需要构建出一种科学合理 易于操作的评价方法 1 1 3化学教育测量与评价学发展的内在需要化学教育测量和评价学是在运用教育测量和评价的研究成果中逐渐生发 凝聚而成的一门年轻学科 可以说是在借鉴或移植教育测量和评价的原理 规则来具体研究化学教育现象 以获得定量化的认识而逐渐成型的 现阶段 化学教育测量和评价的研究主要是将一般教育 心理测量和评价理论引入到化学教育中 结合化学学科特点 在理论研究和实践探索的基础上 逐步建立化学教育测量和评价的理论和方法体系 应当承认 化学教育测量和评价的研究与化学教育的其他研究领域相比 仍处在资料不够充分 理论上停留在经验性概括的阶段 1 1 4弥补传统的化学认知水平测量评价不足首先 传统的纸笔测量评价难以达到针对每个能力水平不同的学生提供不同等级问题或课题的要求 同时测试结束后 教师只能根据学生中存在的普遍性问题进行讲解 这就使得个别化测试和个别化学习的策略无法有效的实施 但是 今天我们可以利用计算机程序尝试着设计一个学生个别化测试的平台 发挥个别化测试和个别化学习的优势 其次 传统的评价中 往往只关注学生提供的问题答案 而对学生是如何获得答案的 却无任何要求 这种不重视得出结论过程的测量评价方法 将会导致学生对思维过程的轻视和疏忽 同时只关注问题的结论 在客观上也助长了学生猜题得分等不良现象的发生 此外 传统纸笔测试还存在教师出题 阅卷 统计工作量繁琐 反馈周期长等缺点 综上 传统化学测量与评价中存在诸多问题 对素质教育的制约和产生的不良影响 正说明了开展化学认知水平科学测量评价系统研究的必要性和针对性 1 2计算应用于测试的历史及目前的研究发展情况1 2 1计算应用于测试的历史概况1 2 2国内外计算机辅助测试系统的研究发展情况 1 2计算应用于测试的历史及目前的研究发展情况1 2 1计算应用于测试的历史概况 这个时间轴反映的不仅仅是计算机的作用的增大 更多反映的是计算机的使用使教师和教育测量评价专家们的许多设想逐渐能够得以实现 因此 也为本课题中基于新课程评定理念的化学认知水平测量评价系统的研究和实现提供了有力的技术支持 1 2 2国内外计算机辅助测试系统的研究发展情况把计算机应用于测量评价是近年来测试研究中引人注目并取得了重大发展的领域 这种计算机辅助测试60年代初在美国诞生 历经40年 如今已在教育测验 职业测量 人事测评等领域中大显身手 国外有许多专门的考试机构采用计算机辅助测试对参加考核的对象进行评价 总体来看 国外的考试都逐步采用了计算机辅助测试软件来考核被试者 我国也逐渐的重视计算机辅助测试系统的研究和应用 但还属于局部的小规模测试系统的研制 从目前国内外计算机辅助测试系统的研究发展情况 可以看出这种测试方法将成为教育测量评价领域的发展趋势 第二章化学认知水平测量评价系统的理论基础 2 1对教育测量和评价及相关概念的认识2 1 1什么是教育评价各派学者有着不同的见解 目前尚无统一定义 但教育评价概念必须包括评价的依据 手段和作用三个组成部分 教育评价是建立在事实判断基础上的价值判断活动 是对教育过程及其结果的动态性的评价 是以教育目标和教育定理为基本标准的评价 是一种主体性的活动 是评价者与被评价者的双边活动 2 1 2什么是教育测量 教育测评教育测量和评价被看作是两个密切联系 又相互区别的概念 是同一活动的两个不同阶段 测量是一种事实描述过程 只对事物的属性赋值 评价是一种价值判断过程 是在测量的基础上对事物的好与差 对与错 优与劣的判断 测量只能是在评价需要的指导下的事实描述 否则 测量没有任何意义 评价必须是在测量基础上的价值判断 否则 评价结果就是空中楼阁 毫不可信 正是由于教育测量与教育评价之间的密切联系 我们将两者合在一起 统称为教育测量和评价 或简称为教育测评 2 1 3考试与教育测量和评价的关系考试 是人们迄今为止创造的测量人的知识和能力的诸方法中 比较客观公正 比较准确 效率较高的一种方法 因而它的采用也最为广泛 考试或测验作为一种测量的基本过程是 用一组标准刺激物 精心设计的测验题 给学生提供一个问题情境 去激发学生的反应 根据学生的答题情况对学生的反应质量赋值 评分 在这一过程中收集各种测量信息和资料 为评价提供依据 2 2化学认知水平测量评价系统的定位 化学教育测评的标准及制定标准的依据是化学教育目标 所以化学教育测评包括对认知领域 情感态度领域和动作技能领域的测评 常规的化学测验或考试 其测评目标一般都属于认知领域 认知领域化学教学测量的目标是学生掌握知识的程度和能力发展水平两个方面 这主要通过测量学生 能否在不同的学习水平上运用知识解决问题 这一属性来实现 因此 本课题研究的是在基础教育改革中新评价理念和维果茨基最近发展区理论的指导下 针对化学认知水平进行测评的系统 它提供了一个更为科学合理的测量评价化学认知水平的平台 本系统经扩展后也可为其它学科服务 2 3构建系统的教育心理学理论 2 3 1维果茨基 最近发展区 理论2 3 2成就动机原则2 3 3教学信息反馈理论2 3 4教育测量和评价激励功能的意义 2 3构建系统的教育心理学理论 2 3 1维果茨基 最近发展区 理论的启示最近发展区 是指 儿童独立解决问题的实际发展水平与在成人指导下或在有能力的同伴合作中解决问题的潜在发展水平之间的差距 维果茨基之所以特别强调最近发展区的重要性 是因为他对现有的智力测验的性质与传统的学业成就评价方法不满意 他认为这种方法只能测量到认知能力的一部分 而不能据以推知其全部 维果茨基的最近发展区理论正是针对传统测试的缺点而提出的改进建议 2 3 2成就动机原则成就动机 是想要很好的完成困难的工作 在竞争条件下获得优异成绩 创造出优异的业绩的那种动机 成就动机是一种内部动机 它来自于学生内在的需要 成就动机高的人比成就动机低的人在学习上表现出来更为优良的成绩 如何在测量评价中注意培养和保护学生的 成就动机感 是十分必要的 仔细分析一下传统的化学考试 对于一道答错的客观性试题 很多学生对它并非一无所知 也许只是一个化学方程式或化学基本原理等在考场紧张的情境中无法准确的回忆 导致最终答案有误 但对于这种在考试中经常出现的情况我们都按零分来记 这无疑是对学生化学认知水平的一种轻率否定 这与培养和保护学生的成就动机感显然是背道而驰的 所以 我们在这套测评系统中不仅给学生创设了问题情境 还可以让学生在 人机交互 中成功的解决难题 2 3 3教学信息反馈理论教学过程是一个信息传输和控制过程 教学通过信息输入 信息控制 信息输出 信息反馈形成一个闭合的回路 没有反馈信息的非闭合性回路是不可能实现有效控制的 要想实现对教学的有效调节和控制 就必须掌握大量的反馈信息 并保持信息的交流和畅通 化学认知水平测评系统为学生和教师提供了一个及时全面获得反馈信息的技术平台 学生在线提交考卷后即刻就能得到系统的反馈信息 从而可以及时了解自己学习的薄弱环节 计算机阅卷 省去收发试卷的中间环节 减轻教师阅卷的工作量 提高了阅卷的准确性 从而大大提高了反馈的及时有效性 本系统除了给出分数的反馈信息之外 还会把每个考生在每一化学试题中存在的问题都详细的反馈给教师和学生 这样学生明确了努力方向 教师获得了因材施教的宝贵信息 必将促进教与学的共同改进 2 3 4教育测量和评价激励功能的意义 教育测评是对教师的劳动成果和学生的学习成果的一种鉴定和评价 能够给人带来精神上的满足 也会对人产生压力或动力 提高教师和学生教与学的热情 激励他们以更多的精力投入教育活动 化学认知水平测评系统在给出分数的同时 针对每道化学题目给出了详细的测试信息 使教师和学生可以关注知识和能力相对前期的进步量 另外 本系统不再仅以考生给出结果的对错记分 而是在每道化学题目中考虑学生作答的具体心理过程 使认知水平处于不同层次的学生可以得到不同等级的分数 积极的发挥测量和评价的激励功能 第三章化学认知水平测量评价系统的设计思想 3 1系统设计的总体方案该系统预期达到的目标主要是 1 系统的通用性和可扩展性强 2 易维护性 3 安全性能高 4 可推广性 3 2系统测量内容的设计在编制测试题目时的原则 1 明确测验的目的 2 试题内容的取样要有代表性 3 题意要清楚 文字要简明 4 应有不至于引起争论的正确答案或对答案范围有清楚的认识和把握 3 3测试系统在题型上的设计 上图显示 选择题 或判断题 的优点明显多于其它题型 选择题答题方式最简便 便于在短时间内对较多的教学目标进行测量 取样教广泛 评分客观 可用机器代替人工阅卷等明显的优点 但这种试题在其提高测量质量的向度里也寓含着种种弊端 3 3 1各种测试题型的优缺点比较表3 1各种测验题型的优缺点一览表 3 3 2我国化学高考的题型分析 表3 21978 1992年高考化学试题三类题型分数表 上图显示 选择题在我国化学和其他学科的标准化考试中被如此广泛采用 这也是我们对这一题型在测评方式做进一步深入研究的重要原因 3 3 3计算机测试时基于题型的几点实际考虑首先 学生用键盘输入一些复杂答案时 如果输入的方式不当 必然影响学生做题的有效性 其次 对于一些计算机键盘操作不熟练的学生来说 输入过于繁琐的答案则浪费答题的时间 必然减弱学生做题的积极性 再次 采用选择题可以避免其它题型带来的对学生答案的难以控制性 最后 测量评价系统应该在充分发挥选择题所具有优点的基础上 较好的避免了其在传统纸笔测试中存在的缺点 基于以上的种种考虑 我们课题组通过研究发现 把传统测试中的化学推断题 实验题等编制成选择题用本测试系统进行测量 同样可以达到原有的测评目的 所以 我们把单选题和多选题作为本次测量评价系统开发和研究的基本题型 教育测评具有定向 鉴定 诊断 激励功能 教学等基本功能 评定实施的成功与否将直接关系到学习目标达成的好坏 是不容忽视的重要一环 作为对学生的化学认知水平进行测试的平台 该系统在新课程评价理念指导下来设计其评定功能 这是本课题的一大特点 也是课题研究的重点 3 4测试系统在评价功能上的设计 3 4 1人机互动下的个别化评定 为适应不同能力水平学生的需要 我们针对每一道题目预先设置了几个权重值不同的求助关键项目 包含解题的知识点和思维关键过程 让每道题目自动地适应被试的具体情况 尊重了学生的个体差异 使不同水平被试都能接受一组跟自己特质水平相适应的试题 并且每一道题目都根据学生的个体差异自动给出了合理的分数 使不同层次学生的自尊心得到了很好的保护 激发学生的学习热情和对自我能力的肯定 人机互动 评定 法像 因材施教 那样 因人施测 提高了测评工作的效度与信度 3 4 2重视学生得出结论过程的评定新的评定要求不仅重视学生解决问题的结论 而且重视得出结论的过程 化学认知水平测评系统为学生提供了 人机互动 的答题方式 并由计算机动态的跟踪学生的答题过程 充分展现学生知道了什么 理解了什么 能做些什么 思维的障碍在哪里等等 使教师的教学工作可以更加有的放矢 3 4 3由侧重甄别转向侧重发展的评定我们设计了 人机互动 的测评模式 由计算机来充当 成人指导者或有能力的合作同伴 的角色 使学生在充分发挥自己所知所能的基础上 不断跨越思维障碍 逐步形成正确解决问题的思维方式 这种全新的测试过程有利于学生内化知识 培养能力 进而推动学生的认知水平不断提高 促进教育教学中对学生的培养向着认知水平的可能发展区拓展 3 4 4质性和量化相结合的评定化学认知水平测评系统动态跟踪学生答题的全过程 学生考试结束后 系统会针对每个学生自动生成一个 record 文件 该文件详细记录考生所用的考试时间 较合理的量化分数 错误的答案 每道题所使用过的求助项目等 教师可以一目了然的了解到学生解决哪类问题困难 是知识掌握不牢固还是解题能力有欠缺等 第四章化学认知水平测量评价系统的研究与实现 4 1认知水平测量评价系统的总体设计4 1 1认知水平科学测量评价系统总体结构 4 1 2认知水平科学测量评价系统的一般流程整个考试系统几乎包含了从考试前对考试整体规划到考试结束后为教师提供统计信息的所有内容的支持 系统的设计思路和各个模块的使用均与考试的时间顺序相同 考试系统的一般流程如图4 2所示 4 2系统的环境和工具概述 4 2 1系统实现的软硬件环境服务器端 操作系统 Windows98 ME 2000 推荐 NT XPWeb服务器 PWS或IIS或Apache 推荐 数据库 MSAccess2000 MySQL SQLServer2000内存容量 64M以上硬盘容量 30M以上客户端 操作系统 Windows98 ME 2000Personal 推荐 NT XP浏览器 IE4 O以上版本 推荐使用6 0 硬件平台 CUP主频800MHz以上 64MBRAM以上 100M硬盘 单机 CUP主频800MHz以上 128RAM以上 150M硬盘 网络 4 2 2系统的开发工具介绍 在设计 化学认知水平测评系统 时 为了提高系统的可移植性 健壮性和方便以后对系统的改进和升级 采用了MicrosoftAccess2000作为后台数据库 对整个认知水平测试各个阶段的数据和结果进行存储和管理 我们在设计系统时把所有的数据都存储在一个数据库中 对系统的前端开发 主要则采用了PowerBuilder8 0和VisualC 6 0 并配合使用FrontPage2000等工具软件开发系统 4 3考试流程功能模块设计与实现 在设计 化学认知水平测评系统 时充分考虑了各个模块的内聚性和偶合性 将整个软件系统分成相互独立又紧密联系的九个部分 考试设置模块 试题编制模块 考生管理模块 考生成绩统计和分析模块 身份确认模块 考试过程控制模块 答题与提示模块 错误检测与恢复模块 成绩提交模块 4 4系统在测评功能上的设计 如何对学生的化学认知水平实施更公平 更准确的测评 是我们在该系统开发过程中重点考虑的问题 也是系统的核心部分 主要做了如下设计 4 4 1科学评分方法的设计从4 3的流程图可清楚地看出 这种评分方法 突破了传统化学考试中选择题仅以结果对错记分的种种弊端 为那些认知水平尚处于一知半解的学生提供了展示自己所知所能的平台 使该系统中的每一道化学试题都能区分考生完全了解 一知半解 一无所知等不同情况 该系统在对学生的化学认知水平测评方面实现了科学合理 快捷方便的计算机化评分功能 4 4 2提示项目的设计 图4 4考试界面 图4 5点击 帮助 键后的界面 本测试系统提示项目的设计与目前某些系统所设计的 分层提示 流程有着截然不同的区别 图4 6 分层提示 流程 图4 7点击某 提示项目 后的界面 4 4 3试题呈现方式的设计我们在系统开发的整个过程中 在试题呈现方式的设计上采用了与传统纸笔型测试相类似的方案 当考生身份的合法性通过验证后 系统会把试题全部显示出来 考生可拉动滚动条浏览试卷 便于考生根据自身的实际情况作答试题 另外 我们在系统中设计了 待定 键 图4 8点击 待定 键后的界面 4 4 4针对个体的质性和量化评定相结合的设计认知水平高的学生 所需解题时间短 反之 认知水平低的学生 所需的解题时间就长 据此 学生在解题时间上表现出的差异 为我们更有效地发现学生间的差异提供了一个可用的方法 所以 我们在系统开发过程中把解题时间作为测评学生化学认知水平时更为细致 具体的指标 计算机跟踪考生答题过程 当考生正确提交考卷后 系统会针对每个考生自动生成一个 record 文件夹 其中又包括 kssys txt 和 times txt 分别记录考生答题的详细情况和答题所用时间 图4 9系统记录考生答题时间的 times txt 界面图4 10系统记录考生答题详细信息的 kssys txt 界面 kssys txt 和 times txt 使教师能针对每个学生的化学认知水平做出更公平 恰当的质性评定 另外 通过这些详尽的反馈信息 教师能更准确地把握教学中的得与失 有的放矢地调整教学策略 4 4 5针对考生全体的统计分析功能的设计在化学认知水平测评系统中设计了统计模块 考试结束后 系统会自动对所有参加测试学生的量化分数和其它反馈信息进行统计 教师则不需要输入任何数据 便可轻松的在系统中提取到统计结果的图表 图4 11成绩统计图表界面 系统设计了自动的提示项目统计功能 提示项目被使用的次数越多 则说明越多的考生在该方面存在化学认知上的缺陷 当然更应引起教师的重视 以便在今后的教学工作中有针对性地帮助学生提高化学认知水平 图4 12提示项目统计表界面 教师查看完提示项目统计表后 点击其右下角的 查看柱状图 按钮 系统便立刻输出如图4 13所示的提示项目统计图 该图可使教师更为直观地看到每个提示项目被使用的情况 图4 13提示项目统计柱状图界面 系统设计了答错题目人数统计功能 图4 14答错题目人数统计界面 综上 本测试系统阅卷准确快速 成绩分析统计科学直观 大大减轻教师阅卷 试卷分析的工作量 从根本上提高了评价效率 另外 系统对测量结果的统计不是为了给出每个考生在测试群体中的位置 而是为了找出蕴含在数据和信息中的规律 并向教师进行及时有效地反馈 促进教师有的放矢地改进教学策略 推动学生化学认知水平的提高 第五章对系统的具体评价 为了确保化学认知水平测量评价系统的实用性 我们在软件开发过程中始终本着边测试边整改的原则 先后在吉林省通化市几所高中 贵州师大附属中学 师范类大学化学专业学生中进行了规模大小不同的多次测试 广泛的征集教师和学生提出的修改意见 先后开发了三套版本不同的测评系统 有单机版和网络版两种 使网络建设情况不同的城市和乡村学校的需要均可得到满足 另外 为保证测量评价系统的质量 我们对应用该系统测试考生的结果进行必要的分析和评价 并且配合问卷调查法收集信息 旨在逐步探索更为理想的整改方案 5 1使用系统对学生进行实验性测试的一个范例 实验时间 2005年3月实验地点 吉林省通化市某重点中学计算机房实验对象 高一 八班学生 原有学生66人 有2名转学 1名缺考 实验过程简介 为了避免被试由于不熟悉考试系统而影响考试情绪或操作错误等无关因素的影响 我们针对系统的使用方法对学生进行了培训和指导 并给学生一定的时间在试答题系统上操作练习 隔日才进行了正式的实验性测试 测试后向被试进行了问卷调查 收集学生对使用该系统的反馈信息 5 2测评分数的正态分布检验 由图可知 本次测量样本的有效样本容量 N 63 样本均值 Mean 61 6 样本标准差 Std Dev 15 41 把测评分数分布直方图与标准正态曲线相对照 可以比较直观而初步地估计应用该软件进行测量所得到的分数是基本服从正态分布的 图5 1软件测评成绩直方图 为了进一步求证测评分数分布的正态性 我们利用SPSS软件所提供的Kolmogorov Smirnov法进行较精确的统计和验证工作 K S检验是利用 N 63 的测评成绩样本来推断总体是否符合正态分布的方法 由表5 1可知 使用我们所开发的系统对学生进行实验性测评的分数是服从正态分布的 表5 1用Kolmogorov Smirnov法对测评分数的正态分布检验结果 5 3效度的检验 效度是指测验的有效性 即一个测验能够测出其所要测量的特性或功能的程度 预说明测验是否正确有效 一个重要办法是提供使用结果的有力的客观资料 因此 进行效标关联效度验证 是考察测验效度的广为采用的办法 效标效度是指测验分数与效标的相关程度 所谓效标 就是检验测验有效性的一种参照标准 图5 2测评成绩与平均成绩对比图 由图可知 两条曲线有着较为类似的波动 进一步求证测评分数与效标 平均分数 的相关性 由此 我们用科学的计算机统计方法证实了本次的实验性测评分数与效标之间存在相关一致性 进而说明利用测评系统进行的测验效度较高 表5 3平均成绩和测评成绩的相关性分析 5 4问卷调查结果分析