计算机辅助教育的评价课件

一、评价的概念1.评价的概念——衡量人物与事物的价值。——“决定事物、产品或过程的优点和价值的过程。”评价的本质：判断事物的优点和价值。第四章计算机辅助教育的评价1谢谢观赏2019-7-19一、评价的概念评价的本质：判断事物的优点和价值。第四章计算2.评价的分类（什么时候进行、目的是什么、评价标准）——形成型评价——总结型评价3.计算机辅助教育评价

——是衡量和估计计算机辅助教育的活动过程或者说计算机辅助教育系统产品（如课件产品等）的教育价值的过程。教育应用价值是由它们帮助实现教育作用的程度和水平反映出来。2谢谢观赏2019-7-192.评价的分类3.计算机辅助教育评价2谢谢观赏2019-7-4.教育评价的常用方式——实验研究方式——专家评价方式

5.计算机辅助教育评价的作用帮助决策；促进推广应用；进一步提高产品质量。3谢谢观赏2019-7-194.教育评价的常用方式5.计算机辅助教育评价的作用3谢谢观赏6.计算机辅助教育评价的趋势

面向决策的评价

面向价值的评价

自然评价面向系统的评价4谢谢观赏2019-7-196.计算机辅助教育评价的趋势4谢谢观赏2019-7-19二、评价方法1.评价的模型 是一种过程框架——规划评价的步骤和计划：包括如何确定目标，如何将其划分阶段，找到评价的最佳途径的步骤等。评价模型的作用：——对于受过训练的评价人员——对于评价组织者5谢谢观赏2019-7-19二、评价方法评价模型的作用：5谢谢观赏2019-7-19评价模型的类型：

帕罗乌斯的差异模型斯塔夫勒宾的CIPP模型我国的三级评价模型

计算机辅助教育评价工作是一个系统过程，不论运用什么模型，都包含有收集信息、分析处理信息、判断及报告等阶段。6谢谢观赏2019-7-19评价模型的类型：计算机辅助教育评价工作是一个系统过程2.信息收集的方法从开发者处收集信息从试验运行收集信息从现场教学收集信息观察记录法联机结果记录法教学活动后收集信息调查法测试法7谢谢观赏2019-7-192.信息收集的方法7谢谢观赏2019-7-193.信息处理的方法非数据类型信息的处理

处理办法是归纳整理列出一系列清单：文档资料清单、必须改正的错误清单、修改建议清单、应用建议清单等。这些都是修改应用计算机辅助教育系统的重要信息。分类保管，以利于查询。8谢谢观赏2019-7-193.信息处理的方法8谢谢观赏2019-7-19数据类型信息的处理

处理核查录入数据整理9谢谢观赏2019-7-19数据类型信息的处理处理核查录入数据整理9谢谢观赏最简单的处理方法：加权累计记分法

第j个观察人员的综合评价评价小组的综合评价10谢谢观赏2019-7-19最简单的处理方法：加权累计记分法第j个观察人员4.评价信息的报告（报告对象、报告内容、信息组成）——形成型评价——总结型评价11谢谢观赏2019-7-194.评价信息的报告11谢谢观赏2019-7-19三、评价内容与标准1.评价内容体系如何把笼统的教育价值细分为一系列可以观察或测量的，便于处理、判断的信息分量，从而使评价人员可以从各个方面来观察、衡量教育价值，并以此为依据得出综合判断。这种对于计算机辅助教育系统的教育价值的结构化就是评价内容体系。12谢谢观赏2019-7-19三、评价内容与标准12谢谢观赏2019-7-192.评价内容体系建立的基本原则——完备性、合理性和可操作性等。3.建立评价内容体系的方法——调查综合法和系统分析法。13谢谢观赏2019-7-192.评价内容体系建立的基本原则13谢谢观赏2019-7-19调查综合法:自底向上的体系建立方法14谢谢观赏2019-7-19调查综合法:自底向上的体系建立方法14谢谢观赏2019-7系统分析法:自顶向下的体系建立方法15谢谢观赏2019-7-19系统分析法:自顶向下的体系建立方法15谢谢观赏2019-7-4.标准与权值的讨论标准——用何种度量方式来测定各项目的价值权值——采用自顶向下的系统分析方法5.评价内容面面观：评价标准按照CAI课件的内容特性、教学特性和技术特性等三方面来衡量。16谢谢观赏2019-7-194.标准与权值的讨论16谢谢观赏2019-7-19内容特性内容特性包括科学性、教育性和适当性，即看内容是否准确反映客观规律和符合科学原理；内容对于教育对象来说是否具有较高的教育价值；内容是否符合社会道德法律、伦理规范。17谢谢观赏2019-7-19内容特性17谢谢观赏2019-7-19教学特性指是否有明确的教学目标；是否达到预定的教学目标；教学思路是否清晰合乎逻辑；难度是否适当；是否能激起学生学习动力；是否能激发学生创造性思维；是否能提供有针对性的即时反馈；学生是否控制学习的主动权；是否和学生原有知识基础相结合（教学的继承性）；是否有助于进一步的学习（学习的迁移性）。18谢谢观赏2019-7-19教学特性18谢谢观赏2019-7-19技术特性信息显示有效性，即信息显示的格式和位置安排是否得当，图形、色彩、声音的运用是否服从于教学的需要。发挥计算机特点，即是否充分应用了计算机的有关功能；使用的方便性，即学生和教师是否毫无困难地进行操作使用；程序的可靠性，即不因为学生误操作而产生不可恢复的中断；后援资料的充分性，即使用说明、学习指导手册等应完备，简单明了而有效。19谢谢观赏2019-7-19技术特性19谢谢观赏2019-7-196.一些有代表性的评价体系

美国数学教师协会软件评审表我国的中小学教育软件评审标准20谢谢观赏2019-7-196.一些有代表性的评价体系20谢谢观赏2019-7-19

1993年国家教委制定了《中小学教学软件审查标准及其说明》1999年教育部颁发CD-ROM教育软件评审指标体系按照CAI课件的教育性、科学性、技术性、艺术性和使用性五个方面来衡量。21谢谢观赏2019-7-191993年国家教委制定了《中小学教学软件审查标准及其教育性：指选题恰当，适应教学对象的需要；突出重点，分散难点，深入浅出，易于接受；注意启发，促进思维，培养能力；作业典型，例题、练习份量适当，善于引导。22谢谢观赏2019-7-19教育性：22谢谢观赏2019-7-19科学性：内容正确，逻辑严密，层次清楚；模拟仿真形象举例贴切、准确真实；场景设置、素材选取、名词术语、操作示范符合有关规定。23谢谢观赏2019-7-19科学性：23谢谢观赏2019-7-19技术性：图象、动画、声音、文字设计合理；画面清晰，动画连续，色彩逼真，文字醒目；声音清晰，音量适当，快慢适中；交互设计合理，智能性好。24谢谢观赏2019-7-19技术性：24谢谢观赏2019-7-19艺术性：媒体多样，选用适当，设置恰当，创意新颖，构思巧妙，节奏合理；画面悦目，声音悦耳。使用性：界面友好，操作简单、灵活；容错能力强；文档资料齐备。25谢谢观赏2019-7-19艺术性：使用性：25谢谢观赏2019-7-19四、评价实施

课件评价实施包括组织培训评价人员，评价实施过程，写出评价报告。26谢谢观赏2019-7-19四、评价实施26谢谢观赏2019-7-19评价人员的选择27谢谢观赏2019-7-19评价人员的选择27谢谢观赏2019-7-19形成型评价流程系统需要分析系统设计系统实现分析评价设计评价实现评价开发过程评价过程28谢谢观赏2019-7-19形成型评价流程系统需要分析系统设计系统实现分析评价设计评价实筛选停止准备文件（描述）设置学生情况试用与观察归纳与记录综合评价所有情况完了？登录准备信息采集报告

总结型评价实施流程未完完不合格初步合格29谢谢观赏2019-7-19筛选停止准备文件（描述）设置学生情况试用与观察归纳与记

目前仍未出台广泛认可的网上学习评价标准。“提供网上课程评判标准的将是私人机构而非政府部门。”几个比较成熟的评价标准在线学习的认证标准（E-LearningCertificationStandards)虚拟学习环境的教育评价框架（AFrameworkforPedagogicalEvaluationofVirtualLearningEnviroments）在线学习质量（QualityoftheLine）30谢谢观赏2019-7-19目前仍未出台广泛认可的网上学习评价标准。30谢谢观赏一、计算机辅助学校行政管理计算机辅助学校行政管理（ComputerManagedEducationAdministration,CMEA）是一个以计算机为工具，对学校管理信息进行全面管理的人机系统，能准确、及时地反映学校各项工作的当前状态，利用过去的数据预测未来，能从全局出发辅助学校各职能部门以及校长管理学校。第五章计算机辅助教育管理31谢谢观赏2019-7-19一、计算机辅助学校行政管理第五章计算机辅助教育管理31谢谢1.CMEA的功能建立数据库处理数据32谢谢观赏2019-7-191.CMEA的功能32谢谢观赏2019-7-192.CMEA的应用范围学生档案管理教职工档案管理教务管理学校资源管理财务管理人事组织管理33谢谢观赏2019-7-192.CMEA的应用范围33谢谢观赏2019-7-193.CMEA的系统构成相对应应用范围的六个子系统，共同使用三个数据库：学生数据库、财务数据库和教职工数据库。34谢谢观赏2019-7-193.CMEA的系统构成34谢谢观赏2019-7-19二、计算机辅助教学管理计算机管理教学（ComputerManagedInstruction，CMI）是计算机管理信息系统在教学中的应用，即利用计算机管理和指导教学的全过程。CMI不是直接向学生传递教学信息，而是观察、检测和分析学生在学习过程中的行为表现，从而影响向学生传递信息的方式和内容。

35谢谢观赏2019-7-19二、计算机辅助教学管理35谢谢观赏2019-7-19CMI是利用计算机管理信息系统来支持各类教学管理职能，它主要为教师服务，能帮助教师监控、评价和指导学生的学习过程，并为教师及时地提供教学分析报告，也能代为决策。此外还能为学生提供学习咨询信息。

36谢谢观赏2019-7-19CMI是利用计算机管理信息系统来支持各类教学管理职能1.CMI的兴起

CAI的个别化教学教学行为的目标性教学方式的多样性——要求教师同时也是教学管理员37谢谢观赏2019-7-191.CMI的兴起37谢谢观赏2019-7-192.CMI的开发与应用作为CAI的支持系统而构成于CBE系统中用于传统的课堂教学信息的管理——“反应分析器”在考试测评方面的应用——CAT

应用于虚拟课堂、开放大学、远程教育和成人教育等领域38谢谢观赏2019-7-192.CMI的开发与应用38谢谢观赏2019-7-19CMI系统的模型39谢谢观赏2019-7-19CMI系统的模型39谢谢观赏2019-7-193.CMI的功能结构1）教学活动和教学信息的采集、记录与处理教学活动是指师生在各种形式下的共同活动。在教学活动过程中，必然地需要各种教学信息，同时也会产生各种教学信息。教学信息可分为：静态信息和动态信息。40谢谢观赏2019-7-193.CMI的功能结构40谢谢观赏2019-7-192）教学目标库、教材库、教学资源库、题目库这些库可统称为教学库，是师生进行教学活动的主要知识基础和支撑者。教学目标库：有对各课程的基本教学目的和要求，教学大纲及其说明，以及教学指导书等。教学目标库还可随时输入某些特定的教学要求。教材库：有各课程的教材和教学参考材料等，包括印刷文字教材和非印刷声像教材，CAI课件等。教学资源库：有教师基本情况，学生名单及其学习历史情况，教室与实验室使用情况以及教学媒体的配置情况等。题目库：有各课程的大量测验考试与学习作业题目。41谢谢观赏2019-7-192）教学目标库、教材库、教学资源库、题目库41谢谢观赏2013）测验生成、测验评分和成绩分析。根据教学考核的要求，从题目库中按一定规则选取适度的题目组成一次测验，可联机测试，可试卷测试，计算机系统自动评分。根据学生的测试成绩，可对教与学进行各种分析，既可对全班学生成绩作总体分析，也可对学生进行个别化分析。同样对测验题也可进行总体与个别分析。能向参与教学过程的各类人员提供多项报告。报告可分三个管理级别：第一级是教学单元管理级，第二级是课程管理级，第三级是教学计划管理。42谢谢观赏2019-7-193）测验生成、测验评分和成绩分析。42谢谢观赏2019-7-4）诊断和处方。为了确定学生的学习进程是否朝着预定的教学目标前进，必须进行学习诊断。诊断分为：表征性诊断与因理性诊断。表征性诊断是根据学生的测试成绩，不需参考学习历史。因理性诊断是当学生在当前单元的学习遭到失败时，为了确定造成失败的原因和寻求适当的补救办法，这种诊断要充分利用学习历史。处方则是根据诊断的结果为学生指派适当的学习任务。按其性质可分为前进处方和补救处方。43谢谢观赏2019-7-194）诊断和处方。43谢谢观赏2019-7-195）调度、控制与通信问题。根据教学目标要求，并参考教学资源的配备情况可对教学活动进行调度安排，必要时可给出一份课程表，在教学进行过程中，系统还可参照诊断处方情况对教学活动安排给予及时的适当修改与补充，形成一个闭环控制系统，使教学活动过程能始终处于较好的状态，朝着预定的教学目标前进。在CMI系统中，提供“信箱”的功能，允许教师，学生，和教学管理人员之间相互通信，以保证CMI功能正常。44谢谢观赏2019-7-195）调度、控制与通信问题。44谢谢观赏2019-7-19CMI软件方块图45谢谢观赏2019-7-19CMI软件方块图45谢谢观赏2019-7-19CMI硬件框架图46谢谢观赏2019-7-19CMI硬件框架图46谢谢观赏2019-7-194.CMI的三个典型应用1）教学监控系统教学监控系统是一种对学生个别化学习活动进行检测、控制与管理、引导和评价，同时也为教师提供各种报告和服务的CMI系统。47谢谢观赏2019-7-194.CMI的三个典型应用47谢谢观赏2019-7-19教学监控系统的功能（1）能对学生的个别化学习活动进行系统的控制与管理（2）能跟踪学生的学习行为并记录相应的学习数据（3）能根据学生的学习记录诊断学生的学习情况并给出学习处方（4）能为教师提供报告和各种服务教学监控系统的控制结构（1）与CAI相结合的教学监控系统（2）辅助教师监控教学过程的教学监控系统48谢谢观赏2019-7-19教学监控系统的功能48谢谢观赏2019-7-19进入选择课程内容评价与建议选择学习单元知识评价学习处方完成课程学习保存学习信息记录学习轨迹和人机交互信息预测试后测试退出通过未通过通过未通过49谢谢观赏2019-7-19进入选择课程内容评价与建议选择学习单元知识评价学习处方完成课教学监控系统的信息收集及处理（1）问题应答（2）教学内容（3）教学目标及其实现教学监控系统的检测方式（1）检测学生测验的答对率（2）检测学生犯某类错误的频率50谢谢观赏2019-7-19教学监控系统的信息收集及处理教学监控系统的检测方式50谢谢观2）课堂教学信息处理系统课堂教学信息处理系统（ClassroomInstructionInformationProcesssystem，CIIPS）是一种能自动采集、处理和分析课堂教学中学生反应数据的实时处理系统。51谢谢观赏2019-7-192）课堂教学信息处理系统51谢谢观赏2019-7-19CIIPS的基本结构CIIPS的硬件组成52谢谢观赏2019-7-19CIIPS的基本结构52谢谢观赏2019-7-19CIIPS的软件结构53谢谢观赏2019-7-19CIIPS的软件结构53谢谢观赏2019-7-19CIIPS的工作过程54谢谢观赏2019-7-19CIIPS54谢谢观赏2019-7-19CIIPS的处理分析反应曲线：显示对问题反应的学生人数在时间上的积累分布情况，能够为教师提供有关全班学生当前学习状况的重要信息。二维矩阵（ti，ri）55谢谢观赏2019-7-19CIIPS的处理分析55谢谢观赏2019-7-1956谢谢观赏2019-7-1956谢谢观赏2019-7-19S-P表分析：利用学生的问题得分表进行教学情况分析的一种信息处理方法。使用这种方法既可评价学生个体的学习状况，又能对班级整体的学习倾向及整个问题的妥当程度作出衡量。 学生－问题的得分矩阵。S-P表的形成S-P表的性质S-P表的分析57谢谢观赏2019-7-19S-P表分析：利用学生的问题得分表进行教学情况分析的一种信息58谢谢观赏2019-7-1958谢谢观赏2019-7-19SP表处理规则：1.将学生顺序从上到下按得分递减排列。2.将问题顺序从左到右按答对次数递减排列。3.如果几个学生总得分相同，则把每一个学生答错的各题被其他学生答对的次数求和，和小的排在上面。4.如果几个问题答对次数相同，则求出每一个问题答错的学生，他们的得分和，和小的这个问题排在左面。5.作S线，对每一个学生画竖线段，竖线段左边的问题数目等于相应学生的得分，然后用横线连接。6.作P线，对每一个问题画横线段，横线上方的学生数为答对该问题的次数，然后用竖线连接。学生—问题得分矩阵，经上述处理后，称S-P表。59谢谢观赏2019-7-19SP表处理规则：59谢谢观赏2019-7-19例如：S1、S6、S13、S14这四位学生总得分都是5分。S1答错题是P1、P4、P5、P6、P8，它们被答对的次数和为8+9+6+7+4=34S6答错题是P3、P6、P7、P8、P9，它们被答对的次数和为11+7+10+4+8=40S13答错题是P1、P5、P7、P9、P10，它们被答对的次数和为8+6+10+8+5=37S14答错题是P6、P7、P8、P9、P10，它们被答对的次数和为6+7+4+8+5=30则从上到下排列为S14、S1、S13、S660谢谢观赏2019-7-19例如：S1、S6、S13、S14这四位学生总得分都是5分。6例如：P1和P9这两个问题答对次数都是8。P1答错的学生是S1、S2、S3、S9、S10、S12、S13，这些学生总的得分之和是5+6+3+8+6+1+5=34。P9答错的学生是S6、S8、S11、S12、S13、S14、S15，这些学生总的得分之和是5+2+4+1+5+5+4=26。则从左到右排列为P9、P1。61谢谢观赏2019-7-19例如：P1和P9这两个问题答对次数都是8。61谢谢观赏20162谢谢观赏2019-7-1962谢谢观赏2019-7-1963谢谢观赏2019-7-1963谢谢观赏2019-7-19S-P表的性质由于学生的得分总和与问题答对次数的总和是相等的，所以S线左方的面积与P线上方的面积相等。S线既是学生得分曲线，也可以看作是按得分累积的人数曲线。P线是对各问题正确回答数的累积分布曲线。

64谢谢观赏2019-7-19S-P表的性质64谢谢观赏2019-7-19S线与P线总是相交的，而且若不重合，则P线的左端总是在S线的上方，P线的右端总是在S线的下方。S线与P线之间的面积称作两线的离差。离差的大小反映了学生对问题的回答情况与问题难易之间的关系，越小说明学生对问题的回答情况与问题难易之间的关系正常，如果S线与P线重合，说明全体学生的学习状态是绝对稳定的。65谢谢观赏2019-7-19S线与P线总是相交的，而且若不重合，则P线的左端总是在S线的S-P表的分析整体性分析：学生与问题之间的差别分析——断层学生回答情况与问题难度之间的均匀程度分析——离差66谢谢观赏2019-7-19S-P表的分析66谢谢观赏2019-7-19断层是指两线中间的直线部分。67谢谢观赏2019-7-19断层是指两线中间的直线部分。67谢谢观赏2019-7-19离差是S线与P线之间的面积。68谢谢观赏2019-7-19离差是S线与P线之间的面积。68谢谢观赏2019-7-19个体性分析：对学生的学习状况作出评价——学生的警告系数对问题的妥当程度作出估计——问题的警告系数69谢谢观赏2019-7-19个体性分析：69谢谢观赏2019-7-1970谢谢观赏2019-7-1970谢谢观赏2019-7-19对问题警告系数的计算公式为：对学生警告系数的计算公式为：71谢谢观赏2019-7-19对问题警告系数的计算公式为：对学生警告系数的计算公式为：3）计算机辅助测验计算机辅助测验（Computer-AssistedTesting，CAT）是计算机在测验及其评价中的应用。完整的CAT系统题库系统72谢谢观赏2019-7-193）计算机辅助测验完整的CAT系统72谢谢观赏2019-7-CAT系统的功能帮助教师或教学管理人员进行测验设计与生成考卷在一定条件下实施测验进行测验分析、管理成绩与提供报告73谢谢观赏2019-7-19CAT系统的功能帮助教师或教学管理人员进行测验设计与生成考卷一个完整的CAT功能模块图74谢谢观赏2019-7-19一个完整的CAT功能模块图74谢谢观赏2019-7-19题库系统

题库是CAT系统各种功能有效实现的基础，因此，对于CAT系统的设计开发来说，题库的建立是关键。 题库系统是支持题库建立和对题库进行有效管理的计算机软件。

75谢谢观赏2019-7-19题库系统75谢谢观赏2019-7-19题库建设中使用的两种测量理论题库系统的基本构成题库结构设计组卷策略设计76谢谢观赏2019-7-19题库建设中使用的两种测量理论76谢谢观赏2019-7-19题库建设中使用的测量理论有两种：

经典测量理论(CTT：ClassicalTestTheory)

项目反应理论(IRT：ItemResponseTheory)

两种理论的核心部分是数学模型，它们是基于不同的假设提出的。经典测量理论采用的是线性的确定性模型；项目反应理论采用的是非线性的概率模型。

77谢谢观赏2019-7-19题库建设中使用的测量理论有两种：77谢谢观赏2019-7-1经典测量理论(CTT)

经典测量理论通过项目分析和整体分析来鉴定测验试题的质量和衡量测验的有效性和可靠性。

78谢谢观赏2019-7-19经典测量理论(CTT)78谢谢观赏2019-7-19(1)项目分析：项目分析是对考试中的每一试题进行分析。

学业成绩考试可以用来衡量学生的实际水平，也可以用于衡量学生的相对水平。当用作衡量学生的相对水平时，对测验所做的项目分析一般包括难度分析、区分度分析和迷惑答案的有效性分析等。79谢谢观赏2019-7-19(1)项目分析：项目分析是对考试中的每一试题进行分析。79谢难度分析难度是衡量测验试题难易水平的数量指标。

采用(0，1)记分法，即答对1题记1分，答错时记0分,式中Pj表示第j题的难度，Cj为答对第j题的人数,n为考生数。由上面的式子可知，Pj取值范围为0≤Pj≤1。Pj=1时表明无一人做对该题，该题难度大；Pj=0时表明每个考生都做对了该题，该题难度小。在组成试卷时，应尽量使试卷题目的平均难度接近0.5，同时要使试题的难度有一个较合理的分布。80谢谢观赏2019-7-19难度分析采用(0，1)记分法，即答对1题记1分，答错区分度分析区分度是衡量测试题对不同水平被试者区分程度的指标。计算区分度的方法常用的是两端分组法，即：先将考生的总成绩从高分到低分排列，然后从中划出一个高分组(H组)和一个低分组(L组)，二组人数相等，并分别统计两组对某题j的答对人数。设各组人数为n，RH和RL分别为高分组和低分组答对第j题的人数，则该题的区分度D按下式计算：D的取值在-1和+1之间，D>0且D值越接近+1，题目的区分能力越强。一般认为，D在0．4以上的试题就有足够好的区分能力了。81谢谢观赏2019-7-19区分度分析D的取值在-1和+1之间，D>0且D值越接迷惑答案的效力

迷惑答案的效力是指多重选择题中供选择用的非正确答案被挑选的可能性。如果在考试中某一选项无一人挑选，则说明该选项没迷惑力；如果被选用的人数多且低分组选用的多于高分组，则说明该选项具有较强的迷惑力；如果高分组和低分组对某选项选用的人数都很少且人数接近，说明该选项的迷惑力很小。迷惑力很小的选项被认为有效性低或没有效性，对这样的选项要修改或调整。82谢谢观赏2019-7-19迷惑答案的效力82谢谢观赏2019-7-19(2)整体分析：利用测验的结果对试卷进行全面的分析和评价。它是通过信度和效度两个数量指标来描述的，用以衡量测验的有效性和可靠性。可靠性是指多次测验的测量结果是一致的；有效性是指测