第3章教育评价方案设计课件

问题：为什么要设计教育评价方案？教育评价活动必须预先进行周密的计划与设计，才能确保教育评价活动的方向性、计划性与系统性，才能收集到可靠、有效的评价资料，从而对教育活动做出正确的价值判断。问题：什么是教育评价方案？——根据教育评价的目的、遵循教育活动及评价活动的规律、对教育评价的目标、范围、方法、手段、过程以及评价的组织管理工作进行规定与规范的文件。第三章教育评价方案的设计

第一节教育评价方案概述第二节教育评价内容的设计第三节权集合及构造第四节教育评价的标准与量表第一节教育评价方案概述一、“教育评价方案”的概念（P48）在教育评价活动中，为实现一定评价目的对评价的依据标准、方法途径、实施程序等所作的设计和安排。是评价工作的先行内容和操作指南。教学评价方案的制订实例一项完整的教育评价方案由哪些基本内容构成？

1、评价目的与指导思想2、评价内容与评价标准3、评价方法与工具手段4、评价实施程序与组织5、附录部分（评价使用的工具、量表等等）关于教育评价方案内容构成的具体说明：1、评价目的与指导思想 它们规定了评价的目的、对象、功能、原则，为评价活动规定了基本方向与规范。2、评价内容与评价标准 评价的内容——规定了评价对象的具体属性，为评价信息资料的收集指明了具体方向。例如，要评价学校办学条件是否达到了国家规定的办学标准（评价目标），就要说明办学条件具体涵盖哪些内容（评价内容），诸如资金投入、师资队伍、基本设施等等，这样，评价信息资料的收集就可以有的放矢地进行了。 评价标准——规定了评价内容的程度或水平，为获得评价结果、做出价值判断提供了标准。 评价内容与评价标准融合起来构成了完整的评价目标——规定了评价对象在特定的评价内容上达到的程度或水平，为评价活动提供了评价资料收集的依据与价值判断的标准或尺度。因此，评价目标实际上涵盖评价内容与评价标准两个部分。3、评价方法与工具手段 即说明收集评价资料的具体方法、工具手段，体现了对评价活动的技术要求。例如，文献查阅线索与范围、考试试卷或调查问卷的编制、访谈提纲与程序规定等等。4、评价的实施程序与组织工作5、附录部分（评价使用的工具、量表等等）如何制订一份教育评价方案呢？1、确定评价的目的与用途（功能） 评价的目的、用途（功能）决定了评价的目标、内容与方法；评价用途（评价结果用来做什么）显然是评价指导思想的核心。 例如，形成性评价与总结性评价目的与功能不同，方案就不同。2、设计评价内容与评价标准 评价内容——评价内容既可以以“评价指标系统”的方式呈现，还可以“概括性问题”的方式呈现，这取决于评价的目的、用途。 评价标准——呈现方式包括行为式、评语式、数量式、量尺式。3、设计评价资料收集的方法工具、资料处理的方法、结果解释的方法。4、确定评价实施的具体程序、步骤、组织管理要求。 例如大学英语四、六级考试的实施程序与标准化管理。教育评价方案的制订需要遵循哪些质量要求？

1、目的性——评价方案要具有明确的目的性 例如，形成性评价与总结性评价目的不同，必须加以明确。2、可行性——评价方案要具有操作的便利性 为此，必须做到评价过程容易实施、评价指标要切合实际、评价条件（人、财、物、时间等）与技术要求要切合实际。3、规范性——实施过程要具有统一性、规范性 为此，必须确保按照评价方案的统一规定展开评价活动。4、有效性——评价结果的准确性、有效性，即评价的效度要高 有效性是对评价方案最主要的质量要求。 为此，必须确保评价内容与评价目标的一致性、评价方法与评价工具的有效性。5、可靠性——评价结果的可靠性，即评价的信度要高 为此，必须确保评价过程的客观性、评价方法与工具的精确性。二、教育评价方案设计的基本内容明确评价目的，确定评价对象确定评价标准，选取合理的评价尺度确定搜集信息的内容和途径选用科学合理的方式方法和工具（量表和标准）评价数据的整理和解释（各类表格）三、教育评价方案设计的基本步骤1、确定与表述评价目的2、根据特定的评价目的设计评价准则3、按照各准则之间的内在逻辑形成分级系统，并依据它们的相对重要性，对各准则赋予相应的权重。4、确定测定的量表和评价标准，为测量和评价提供作为参考系统的尺度。5、设计为收集各种信息的表格。表格的设计要本着方便实用的原则，力求精炼、简明、统一。第二节教育评价内容的设计一、教育评价方案设计的基本步骤二、教育评价准则及其设计的基本方法三、评价标准及其设计的方法四、评价方案的编写为什么要对教育评价内容进行设计？具体评价内容可以为评价信息资料的收集指明具体方向。准则（criterion,复数criteria）是对评价活动内容或方面质的规定（即对被评属性的规定）。它是评价方案的核心部分，规定评价活动评什么、不评什么。教育评价内容有两种基本呈现方式：评价指标、概括性问题。

A－1教师教学工作过程（0.6）B－1规定工作量（0.10）－C-1完成规定工作量（1.0）B－2课前准备（0.12）－C-2课时计划、单元计划（1.0）C-3教学内容（0.23）C-4教学组织（0.23）C-5教学方法（0.28）C-6教学素质（0.26）B-3课堂教学（0.45）B-4作业处置（0.11）－C-7作业布置、批阅、讲评（1.0）B-5课外辅导（0.10）C-8学科培优（0.6）C-9学科补差（0.4）B-6教学教研工作态度（0.12）C-10教学工作态度（0.5）C-11教研工作态度（0.5）

A－2教师教学工作效果（0.4）B-7学科考试成绩（0.52）C-12群体提高度（0.6）C-13优生率（0.4）B-8学生学科特长（0.24）B-9教学教研成果（0.24）C-14学科竞赛成绩（0.6）C-15学科实践能力（0.4）C-16课堂教学获奖（0.5）C-17教研成果（0.5）某实验中学科任教师教学工作评价指标体系何谓“评价指标”？（1）评价指标的涵义——一个评价目标所包含的具体内容要素，是直接的、具体的评价内容；（2）评价指标的来源——对评价目标所包含的内容要素进行分析、分解的结果，从而把抽象性的评价目标变成了可操作、可测量的具体内容（即把评价目标具体化）。（3）评价指标的特点——具体化、行为化、可测量，正是通过把评价目标的内容指标化，评价信息资料的收集才变得方便可行。何谓“评价指标系统”？（1）评价指标系统——评价指标系统由一系列评价指标构成。它是把评价目标包含的内容项目进行“逐级”分解、细化，从而得到的一系列具有“层级顺序”和“相互联系”的“指标群”。（2）评价指标系统的内在结构关系：层级关系与内容关系：层级关系:即评价指标之间的层次高低关系根据评价指标内容的具体程度，可以把指标分为不同的层次，以“中小学教育工作评价指标系统”为例说明如下：一级指标：教学素质、教学管理、教学活动、教学质量、设施；二级指标：教师素质：政治思想素质、职业道德素质、专业素质；三级指标：专业素质：专业知识、课程教学知识、科研能力等。内容关系：即评价指标之间的性质类别关系根据评价指标内容的性质，可把指标分为如下基本类别：“条件指标”、“过程指标”、“成果指标”。上例中教师素质、教学设施就属于“条件指标”。（一）指标体系及其设计方法1、指标体系的概念把表征各目标的所有指标及及其相应的权重和标准有机地组合在一起，组成的有一定结构和功能的系统。指标：是根据评价的目标，由评价指标的设计者分解出来的，能够反映评价对象某些方面本质特征的具体化、行为化的主要要素，它是对评价对象进行价值判断的依据。权重：根据组成事物的要素在整体中的地位和作用不同，而赋予的一定数值。标准：是衡量评价对象达到评价指标要求的尺度。必达目标期望目标稳定性指标变动性指标从达标水平分从内涵性质分从精确度分硬指标软指标指标硬指标：是指达标要求是固定的精确的指标，它强调评价时看“硬件”，包括实物、证件、统计数据、静态资料等。如“教学设备”、“场地”、“获奖情况”、“教师学历”、“学生考试成绩”、“教师队伍年龄结构”等。软指标：是指达标要求伸缩性较大、不精确的指标。它强调评价时看“软件”，常采用定性分析评价，包括对事物的性质特点、变化过程、因果关系的分析评价，如“办学特色”、“教学水平”、“教学思想”、“教改状态”等均属软指标。指标指标的长处：便于测量；便于定量处理，易于获得综合结论；测量过程误差较小，信度较高；指导的弱点：设计较难较少灵活性，不易反映被评对象的特点和社会多样化的需要效度相对较低如何设计“评价指标系统”？

基本思路——将评价目标内容层层分解、越来越具体，待指标可以进行测量而无需再分解时，指标系统即建成。第一步，用内涵分析的方法揭示评价目标内容的关键要素，然后对这些关键要素做出进一步操作性界定，直至具有可操作性为止，从而获得初拟目标。第二步，对初拟目标进行归类与筛选筛选原则：同系统、同层次、内涵相同的指标合并；从相互矛盾的指标中选择合理指标；操作性差的目标寻找替代目标。筛选方法：专家经验法、调查统计法、相关分析法第三步，请专家进行论证，回避相同专家指标系统的结构和相互关系（P54）按指标系统的形式分按指标系统的内容分指标体系的结构A、直线式结构

二级指标1.1一级指标1二级指标1.2二级指标2.1一级指标2二级指标2.2二级指标3.1一级指标3二级指标3.2B、树状式结构一级指标一级指标一级指标总目标二级指标例：学生主体性的基本结构主体性自主性主动性创造性自尊自信自我调控独立判断决断自觉自理成就动机竞争意识兴趣和求知欲主动参与社会适应性创新意识创造性思维能力动手实践能力教育评价指标体系建立的步骤（1）确定教育评价的对象和目标（2）分解目标，提出初拟指标（3）筛选指标与分配权重（4）理论论证（5）专家评判（6）预试修订设计“指标系统”应坚持哪些原则？

“导向性原则”：注重指标内容与长远目标和近期目标的统一；“整体性原则”：指标的完备性与全面性，避免遗漏重要指标。“科学性原则”：与目标的一致性、同一系统指标的相容性与代表性（避免重复）、注重指标的可比性“可测性原则”：可以进行测量与操作“可行性原则”：信息易得，简便易行（一）指标体系及其设计方法指标设计的基本方法第一，从内涵分析入手，抓住事物的本质属性，然后把这一属性的现象性外观表现确定为指标。这是一种最简捷、最有效的方法。第二，从分析事物间的相互联系开始，抓住事物变化后产生的效应，把事物变化所产生的效应确定为指标。“挂牌教学”第三，抓住事物的全部属性或相关属性，把因素群作为相关指标。“教学质量”初拟评价指标的方法

头脑风暴法又称集体思考法或智力激励法，是利用头脑积极思维，进行智力碰撞，激发智慧的灵感，从而提出评价指标的一种常用方法。因素分解法是一种将评价指标按照评价对象本身的逻辑结构逐级进行分解，把分解出来的主要因素作为评价指标的方法。理论推演法即根据有关学科的理论推演出评价指标的方法。个案研究法通过对少数典型事例进行研究而设计评价指标的方法。头脑风暴法又称集体思考法或智力激励法，是指采用会议的形式，如集专家开座谈会征询他们的意见，把专家对过去历史资料的解释以及对未来的分析，有条理地组织起来，最终由策划者做出统一的结论，在这个基础上，找出各种问题的症结所在，提出针对具体项目的策划创意。它于1939年由奥斯本首先提出的，并在1953年将此方法丰富和理论化。优点：获取广泛的信息、创意，互相启发，集思广议，在大脑中掀起思考的风暴，从而启发策划人的思维，想出优秀的策划方案来。缺点：1.邀请的专家人数（一般5一12人比较合适）受到一定的限制，挑选不恰当，容易导致策划的失败。2.由于专家的地位及名誉的影响，有些专家不敢或不愿当众说出与己相异的观点。因素分解法因素分解法是一种将评价指标按照评价对象本身的逻辑结构逐级进行分解，把分解出来的主要因素作为评价指标的方法。运用因素分解法，应当注意几个问题：(1)必须使用统一的分解原则。(2)分解出来的指标上下层次之间必须相应和相等。(3)因素分解必须遵循由高到低的层次逐层分解。理论推演法理论推演法是根据有关学科的理论推演出评价指标的方法。例如：根据心理学理论，智力是一般的认识能力，包括观察力、注意力、记忆力、思维力、想象力；能力是运用智力解决问题的实际本领，包括运用知识的能力、独立获取知识的能力、创造能力、表达能力、交往能力等。据此，我们便可以推演出评价中小学生智力、能力的指标。个案研究法（典型研究法）即通过对少数典型事例进行研究而设计评价指标的方法。它可以下三种类型：正向研究是通过对成功的典型事例研究，提出评价指标；负向研究是通过研究失败的典型，提出评价指标；正负向结合研究是通过成功的典型事例与失败的事例进行比较，提出评价指标。运用典型事例研究提出评价指标有两点必须注意：

(1)选择的事例必须具有典型性和代表性,两者缺一不可。

(2)要与理论类推法相结合。指标系统设计中应注意的几个问题1.具体与抽象的关系就提高指标的客观性和可靠性而言，具体的指标是有利的。从抽象转化为具体有多个层次，指标越具体，它经过的具体化环节越多，受到的干扰也可能越大，效度就可能越低。例：“集体主义精神”指标系统设计中应注意的几个问题2.独立与相关的关系一般情况下，指标系统内的各条指标最好是相互独立的。即在同一层次的各条指标不相互重叠，不存在因果关系。如果指标不独立，有冗余指标，重复的指标被重复评分，实际加大了它的权重，影响到整个评价的科学性。指标系统设计中应注意的几个问题3.定性与定量的关系定量有助于提高评价精确性；有助于提高评价的客观性；有助于做出明确的等级区分。但在教育活动中有些因素很难量化，是极端复杂的，因此在评价中片面强调定量是不适合的。对改进教育来说，定性的作用往往更大，更有意义。（教师讲课存在的问题）教育评价内容的呈现方式之二：概括性问题 即用较为抽象的、整体的概述方式呈现评价内容，类似平时的调查内容提纲。 为提高信息收集的针对性，可附加具体内容与范围说明。（一）概括性问题及其设计方法1、概括性问题（issues）是针对指标的缺点而提出的评价准则，并针对教育工作者所关心的方面，用一系列较为抽象的问题作为评价准则。这种问题类似于日常的调查提纲。学校办学水平评价中，涉及评价学校确定的培养目标是否妥当时，人们可以提出以下几个问题：——本校培养何种人才（种类、规格）——社会对本校培养的毕业生有何具体要求？——学校在满足社会需要方面采取了何种措施？（一）概括性问题及其设计方法2、概括性问题的特点：概括性问题不针对具体的行为，比较抽象，强调整体认知。长处：效度高；在形成性评价中，实用性强；易于制定缺点：一般误差较大，信度较低不易于定量处理，因而也不易于获得综合性的结论（一）概括性问题及其设计方法3、概括性问题的设计原则针对实际的原则明确简练的原则突出重点的原则（二）概括性问题与指标的关系概括性问题与指标是两种不同形式的准则，但这两种不同形式的准则是有一定联系的。一般地，可以把指标看做是概括性问题的分解和具体化、行为化；概括性问题则是指标体系的概括和抽象。第三节权集合及其构造问题一、为什么还要确定教育评价指标的权重？问题二、确定教育评价指标的权重应当遵循哪些基本原则？问题三、确定教育评价指标的权重（权集）通常有哪些具体方法？问题一、为什么还要确定教育评价指标的权重？因为不同评价指标在整个评价指标体系中的价值地位不同，通过权重可以描述不同评价指标的相对重要程度。用以描述不同评价指标在整个评价指标体系中的相对重要程度或比重大小的数字，称为权重系数——简称“权重”。评价指标体系中不同评价指标的权重系数所构成的集合，称为“权集合”——简称“权集”，反映了不同评价指标间的相互关系。问题二、确定教育评价指标的权重应当遵循哪些基本原则？1、导向性原则：根据评价目标要求与实际需要确定权重。2、客观性原则：避免主观专断，失之偏颇。3、可测性原则：考虑评价指标可测程度。为确保评价结果精确性，适当降低可测性差的指标权重；但重要指标需做补充评价。问题三、确定教育评价指标的权重（权集）通常有哪些具体方法？20世纪50年代以来，研究工作者开发出许多筛选指标和分配权重的好方法。现介绍几种最常用的方法（P59）：特尔斐法关键特征调查法层次分析法7、筛选指标和分配权重的常用方法20世纪50年代以来，研究工作者开发出许多筛选指标和分配权重的好方法。现介绍几种最常用的方法（P39）：特尔斐法关键特征调查法层次分析法特尔斐法此法是20C50年代美国兰德公司赫尔默开发的一种专家咨询法，即采用“背靠背”的匿名问卷调查的方式，征求专家的意见，通过多轮调查与信息反馈，专家意见逐步趋向收敛，最后可获得一致的意见。特尔斐法：优点：采用向局外专家咨询的形式，从而减少了内部人员因有切身利害关系可能带来的偏差；“背对背”的通讯咨询方式，可以免除权威人士的威望影响和其他干扰；专家咨询的面更广、权威性也趋向于更高；有控制地多次反馈，对问题的探讨较为深入，使意见逐步趋向一致；咨询的结论便于定量处理。关键特征调查法它是先请调查者从所提供的备择指标中找出最关键、最具特征的指标，再对指标进行筛选，最后确定指标的权重。下面以对新时期高校干部政治素质评价指标进行筛选为例，说明其操作步聚：调查者根据经验或理论分析为高校干部的政治素质提出了10个备择指标见下表：

高校干部政治素质备择指标调查结果备择指标荐贤与知人善任事业心原则性求实精神进取心廉洁性民主性服务性政策水平无派性选择人数228517265389121861178932918选择百分数40.892.547.469.621.615.420.915.958.93.2重要性次序514269783102、关键特征调查法（1）提出备择指标，并进行调查。（2）计算人数和百分比，并将其从高到低排出次序。（3）按一定的规则选取指标。（4）各指标权重系数的计算若以选择各指标的人数百分比（用T表示）为尺度，将75＜T≤100作为第一重要指标，50＜T≤75为第二重要指标，25＜T≤50为第三重要指标，T≤25予以忽略。那么高校干部政治素质应由下表的5个指标组成。

高校干部政治素质各指标权重T指标名称重要性等级权重系数92.5事业心一69.6求实精神二58.9政策水平二47.4原则性三40.8荐贤与知人善任三（4）各指标权重系数的计算（4）各指标权重系数的计算T指标名称重要性等级权重系数92.5事业心一0.3069.6求实精神二0.2258.9政策水平二0.2047.4原则性三0.1540.8荐贤与知人善任三0.13层次分析法（两两比较法）这是美国学者萨蒂首先引进教育评价领域的。基本方法是要求有关人员对同一层次的评价指标进行两两比较，并加以评分，区分出各项指标影响目标实现的相对重要程度，重要者记为1分，次重要者记0分；然而分别计算各指标得分之和，再除以所有指标得分之总和，构成数值化的判断矩阵。经运算排序后，求得各指标的权重。两两比较法的各指标权重计算表指标逐对指标比较的次数得分权重12345678910A000110.1B101130.3C111140.4D100010.1E000110.1合计101.0三、评价标准及其设计的方法1、标准的概念与分类标准（standard）是教育评价学中的一个重要概念。通常这个概念可以有两种认识：其一指事物质变的临界点，事物质变过程中量的规定性。其二为标准物即测量的量表、尺度标准从评价内容上分类从评价的参照角度分效能标准职责标准素质标准社会标准科学标准效能标准：又分为效果标准和效率标准。前者是从工作效果的角度确定的评价标准；后者则是把人力、物力和时间的投入与成果联系在一起进行考察。职责标准：它主要是从评价对象所应承担的责任和完成任务的角度进行评价。它主要看评价对象的劳动过程、工作任务和态度。素质标准：它是从承担各种职责或完成各项任务应具备的条件的角度提出的标准。价值判断标准主要考察现象评价参照点适宜评价对象社会标准强调社会统一性和规范性应然现象外部的、横向的，常与外部的社会现象作比较教育场地、教学设备、教师队伍结构、学生素质等科学标准以实践为标准实象现象内部的、纵向的、是自比教改实验、学校领导决策、教师工作效能2、评价指标标准的编制方法1、期望评语式编写法2、积分评语式编写法3、隶属度式编写法4、行为目标编写法5、量表式编写法6、量尺式编写法等分积分评语式累计积分评语式隶属度分段式隶属度全域式末级指标因素评价标准学习目的学习目的……上课专心听讲、勤于思考、遵守课堂纪律、积极回答老师提问、认真做笔记作业做作业前认真复习功课；作业能独立完成；作业能按时交；作业书写整齐；作业做对率高课外活动……期望评语式评价标准

这种编写方法是指根据理想的要求，将评价指标体系的末级指标分为若干因素，又将每一个因素分为若干个等级，每个等级编制相应的期望评语。积分评语式编写法（1）等分积分评语式编写法末级指标分值评价标准（要素）业务素养51、对学生心理活动具有敏锐观察能力1分2、具有良好的思维方式和表达能力1分3、具有组织管理学生的能力1分4、掌握教育艺术，善于运用教育机智1分5、具有坚强意志力，能控制自己情绪变化1分4、行为目标编写法通过观察分析，选择一例关键行为作为评价的一种标准。实际上是要求写出行为目标。难度大，要有一定技巧。末级指标因素评价标准（行为目标）能力自学能力劝说能力启迪能力创造力始终坚持每节课预习自然、巧妙说服对方用生动有趣的知识启迪思想回答问题时，提出新见解和新方法5、量表式编写法是用刻度量表的形式直观地划分等级的一种评价标准编写方法。一般采用偶数分等法，而不宜采用奇数分等法。因为奇数分等法容易出现评价选择集中到中间等级的倾向。如下表末级指标因素评价标准（行为目标）品德待人待言待钱待物待事打人骂人友好劝戒欺骗说谎诚实劝戒知花挑吃穿节俭劝戒偷乱拿有借有还拾到东西上交很马虎马虎认真劝戒6、量尺式编写法量尺式编写法是用平均分数作为零点，标准分作为刻度的量尺来直观地划分等级的一种评价标准编写法。评价时，要将各科原始分数转换成标准分数，然后在每一学科的标准量尺上标出来，并将各科标准分数连接，形成一条折线。若将各科几次考试成绩的标准分，标在量尺评价标准表上，则可以看出哪次考试哪科成绩最好，哪能成绩科差。6、量尺式编写法末级指标因素评价标准（行为目标）各科成绩语文政治数学物理化学英语生物-3-2-10123-3-2-10123-3-2-10123-3-2-10123-3-2-10123-3-2-101