教育评估指标体系的设计.ppt

第四章教育评估指标体系的设计,教学目标,知道评估指标体系设计的原则知道目标分解法学会评估指标体系的设计过程知道权重的设计,参考书目,李克东.教育传播科学研究方法.高教出版社廖祖纬.广播电视大学教材评估方法.中央电大出版社,教育评估指标体系的设计（1）,评估目标依据教育目标评估指标分解评估目标，可测、具体等指标体系指标的集合,教育评估指标体系的设计（2）,1.评估目标、内容、对象的确定2.指标体系的设计原则3.目标分解4.评估标准的建立5.评估的权重6.总评估量表7.评估调查表,1.评估目标、内容、对象的确定(1),目标通过评估达到什么目标？促改进、选优秀、解决问题、为决策等内容为达到评估目标需要评估什么？资源、辅导、设施、规模等,1.评估目标、内容、对象的确定(2),对象从被评者或被评活动获得评估内容的信息，能对此做出判断。教师、学生、操作、听课等标准评估活动依据哪些文件、规章做标准时限评估开始和结束时间,2.指标体系的设计原则,一致性可测性独立性完备性可比性可接受性导向性,一致性,指标必须充分地反映目标，与评估目标保持一致。,可测性,各具体指标都应能用操作化的语言来界定，要求它所规定的内容是可以通过实际观察或直接测量来获得明确结论的。,独立性,同一指标体系内的所有指标，都是同一目标的分解。体系内各项指标要求相互独立，是指各个指标间既要协调一致，不矛盾，又要相互独立，不重叠、不存在互为因果的关系。,完备性,由于指标体系应包含所有的重要指标，因此，指标体系的整体完备性原则，又可称为“全面性原则”。要求指标体系内的各项指标在相互配合中反映目标，目标存在于指标体系的总和之中。,可比性,指标体系的可比性原则要求所有指标必须都反映出被评估对象的共同属性，被评对象属性的一致性，是各个具体对象使用同一指标体系的前提，也正是其可比性的基础。,可接受性,原则要求指标体系的设计必须切实可行，故又可称为“可行性原则”。指标体系的设计者必须从实际出发，使评估者能够通过指标体系来对被评估对象作出区分和判断。,导向性,指标设计应该有一个正确的导向性，是一种可实现的期望，同时使被评对象和参评者明白努力方向和达标的要求，为此而创新、而改进，不断开创发新思想，不断做出新贡献。,注意几个问题,独立性相对的完备性满足评估需要，不求全导向性是期望、是方向，可实现的,3.目标分解,分层根据评估目标，教育内容，分解、分层教育活动的内涵；框架用不同系统组合各层内容，形成框架。,目标分解指标体系,一级指标二级指标三级指标队伍教师技术人员管理人员教学条件经费研究人员设施,目标分解的依据,管理学结合管理的理念，选择关键环节或控制点分解目标教育学结合教育中的各种内涵，分解评估对象的评估内容,目标分解法的特点,与评估目标保持一致每级指标是说明上一级指标的内容评估分析是从末级指标开始，逐级向上级分析评估结论是依据每级的数值和分析，从末级指标开始，逐级向上级归纳、推断得出,4.评估标准的建立,（1）标准（2）标准分类（3）标准的形式,（1）标准,标准是衡量事物的准则标准的强度与频率评估标准要求的，规范行为所表现的程度或相对次数；标号字母、数字表示，赋予某种意义；标度测量的尺度，定量或定性。,（1）标准举例,（2）标准分类,评估手段定量标准、定性标准；评估尺度类别标准、等级标准、等距标准、比值标准、隶属度标准；认识论范畴主观标准、客观标准；辨证法范畴绝对标准、相对标准。,（3）标准的形式,描述用文字描述每个不同要素的等级；期望评语写出期望达到的要求；可数等级式定量数值作为标准。,描述式标准,期望评语式标准,客观可数等级式标准,标准体系的特征,完整性指标的标准互相补充，构成一个完整的整体；协调性指标的标准之间互相衔接、互相一致、协调发展；比例性指标的标准之间存在着一定的数量比例关系；运用测量学有关知识。,5.评估的权重,（1）概念（2）确立权重的方法（3）权重的检验（4）举例,（1）概念,某项指标在同层指标中或在指标体系中的重要性程度。,英语试卷,（2）确立权重的方法,经验特尔斐法,经验-非数字分配,核心指标在末级指标中一般由设计者凭经验确定核心指标和非核心指标，强调了重要指标、次要指标的关系；在评估中确定优秀、合格、不合格的结论与核心指标和非核心指标的关系。达到多少核心指标和非核心指标为优秀、合格、不合格的评估结论。,经验-数字分配,经验法特点,评估者集体商量；操作简单；评估者主观性强；认识上容易互相影响。,特尔斐法,编制表格：每级均要编制表格，由专家填写；选择专家：有一定经验，1050人之间；几次反馈：持不同意见在20%左右，认为达到咨询要求；结果处理：集中量平均值离散度变异系数终止咨询协调系数,特尔斐法特点,使用方便专家之间不受影响周期长运用统计学知识,（3）权重的检验,相关检验法：一组专家对N门课不分指标的综合评估，请另一组专家按指标对N门课进行评估，加权平均，得到合成分数值，然后计算两组的相关系数。P1相关程度高，指标权重相当合理N10，P0.5，指标权重可认为是合理的各分层指标进行相关检验,6.总评估量表,指标权重标准等级赋值评估方法,评估量表作用,把指标体系转换成可测的量化的表；给评估者使用；了解指标、标准等全部内容，及相互关系；了解各项指标采用什么方法收集；为转换调查问卷提供依据。,举例,7.评估调查表,评估方法与评估对象调查表的设计分类调查表,评估方法与评估对象,查审证明材料；填表、座谈、操作、观摩；学生、教师、管理人员、技术人员、各级领导；,调查表的设计,表头设计说明调查目的，填写方式；调查量填写在20分钟左右，不能太长；小型调查问题量在1520之间；调查问题类型选择性和敞开性；表尾设计调查单位和时间。,表头设计,填表说明敬爱的老师：您好！当您正在教该门课程或已经教完时，请回答下列问题，对各评估指标均做单一选择，请用笔将选中的评估代码涂黑。如果您有什么意见和建议，请在最后一问中阐明。谢谢合作！,调查问题类型,1.您认为教材建设周期是（单选）A4年、B3年、C2年、D1年2.您常使用哪些媒体教材学习？（多选）A录像教材、B录音教材、CCAI课件、D网络课程、E其它3.请您对该课程提出意见和建议？（主观题）,表尾设计,广播电视大学评估办公室2000年11月20日,分类调查表,学生调查表、教师调查表、管理人员调查表等；各种调查表问题之间不一定有相互关系，或整体关系；量化调查为主。,座谈,准备座谈提纲补充调查表无法设计的问题了解调查对象的