第11章--评价研究方法.ppt

1、第十一章 评价研究方法,本章学习要点 评价研究要依据明确的目的和目标，测量对象的功能、品质和属性，对评价对象做出价值性的判断。评价研究主要由评价对象、评价指标体系和评判者三个要素组成。根据事物发展的进程中不同时期的目的和重点不同，可以将评价分为诊断型评价、形成型评价、总结型评价三类。本章介绍了评价研究的特征、要素、基本步骤及其类型等基本概念。具体从指标体系设计的原则、目标分解、评价标准的建立、指标加权等方面论述了评价指标体系的设计。以“网络教学的评价模型”为案例说明评价研究法在教育技术研究中的具体应用。 通过本章的学习，应了解评价研究的基本概念，明确评价指标体系的设计，并能够运用评价研究法，分

2、析解决教育技术研究中的具体问题。 本章内容结构 评价研究的特征 评价研究的要素 评价研究的基本步骤 评价研究的类型 指标体系设计的原则 网络教学评价模型的建立 目标分解 网络教学的评价要素 评价标准的建立 网络教学评价中评价者与评价要素的关系 评价指标体系 网络教学的评价过程,评价研究的 基本概念,评价指标 体系的设计,案例网络 教学的 评价模型,第一节 评价研究的基本步概念 评价，指依据明确的目标，按照一定的标准，采用科学方法，测量对象的功能、品质和属性，并对评价对象做出价值性的判断。 一、评价研究的特征 1、评价的目标性 （一）评价活动期望达到的结果类型： (1)比较评等（ab或ab） (

3、2)达标衡量（aa0） (3)发展比较（a2a1） (二) 评价目标做评价结论的依据: (1)条件水平：拥有教学环境和资源的数量和质量。 (2)品质水平:教育性；科学性；技术性；艺术性。 (3)效果水平：如教学效果。 (4)管理水平：如对教学资源的管理。 2、评价研究的价值判断性 目标分解 二、评价研究的要素 测量 1、评价对象 考察 分析 2、评价指标体系（评价要素、评价标准、指标权重） 3、评判者 评价研究的要素及其关系,对象,评判者,指标体系,三、评价研究的基本步骤 1、建立评价指标体系 （1）评价要素，反映被评对象特征的各个成分； （2）评价标准，衡量事物特征各个成分的比较基准； （3

4、）指标权重，指各个成分在总体中所具有的重要程度的标志。 2、资料的收集 （1）访问调查 （2）个案调查 （3）问卷调查 （4）量表测量（专家评判） 3、资料的鉴别 4、价值判别 5、评价结果的综述 四、评价的类型 1、诊断性评价 2、形成性评价 评价研究的基本步骤 3、总结性评价 类型 诊断性评价 形成性评价 总结性评价 实验目的 实施时期 事物发展新阶段之前 事物发展进程之中 事物发展某阶段之后 评价目的 了解条件、基础、诊 监督事物发展，收 评价整体效果，提供评 断原因 集反馈信息 价成绩 评价三种类型各自特点,建立评价指标体系 要素、标准、权重,资料的收集,比较 判断,资料的鉴别,综合评

5、价,第二节 评价指标体系的设计 一、指标体系设计的原则 1、与目标的一致性 2、直接的可测性 3、体系内指标的相互独立性 4、指标体系的整体完备性 5、指标的可比性 6、可接受性 二、目标可被分解为三个基本层次： 1、总体指标 2、结构指标（一级指标） 3、单项指标（二级指标） 三、评价标准的建立 概念： 标准：衡量事物的准则 （一）评价标准的构成： 1、标准的强度与频率。评价标准要求的规范行为所表现的程度或相对次数。 2、标号。不同强度和频率的标记符号。 3、标度。 测量的单位标准。 （二）标准体系的特征： 1、完整性 2、协调性 3、比例性,（三）标准的形式 1、描述式标准 运用文字描述每

6、个不同要素的等级,并赋给每个等级分值.,2、期望评语量表式标准形式,表11-2 描述式标准的形式,3、客观可数等级式标准形式,四、指标加权 （一）加权的意义 1、评价研究的指标加权：根据不同的测评目的、测评对象、测评时间和测评角度，将对不同的指标指派不同的比例系数，这就是评价研究的指标加权。 2、两种权数： （1）自重权数。以权数作为指标的分值（或分数），或者以权数直接作为等级的分值。 （2）加重权数。在各指标的已知分值（即自重权数）前设立的权数。,表11-5 加重权数的例子,在这种情况下，项目评判得分Fi应为： Fi=biaj Bi为项目加权得数，aj为等级分值即自得权重数,（二）加权的方式

7、 1、总体加权。对评价的总分加权。,表11-6总体加权的方法,2、局部加权。对系统的结构指标，即对第一级指标的加权。 例如，对于教育技术水平评价的四项一级指标中，并非是完全平均的，而是 有所侧重，各项一级指标的重要程度就体现在局部加权的各项权数上， 如表11-7所示,3、单项加权。直接对指标内各要素加权，即对第二级指标加权。 单项权数可以是自重权数，也可以是加重权数；可以是先派到结构，再派到要素。单项加权只对有关要素负责，但它影响到结构乃至总体的得分。 表11-8是某学校对教师科研成果评价表，对指标内各因素采用单项加权。各单项得分为Fi=ajWi,表11-7中，F0是指总体满分值。假定全部评价

8、满分时，总体分值为100分，则 F0=100，指标权数ai以百分数或小数表示,（三）权数的获得 1、两种加权方法： （1）经验加权 由富有经验的专家和有关研究人员商定，把人们长期的工作经验和丰富的学识作为指派权数的依据。,表11-8 教师科学研究成果评价表,（2）统计加权 设计一项重要程度意见表，让一部分有关人员对各项指标的重要程度进行投票，把投票结果按统计公式计算，以确定权数值。 例，对于多媒体教学软件综合评判共有教育性、科学性、技术性、艺术性四项结构指标，我们邀请N=24名对教学软件开发有丰富经验的人员进行投票，其结果如表11=9所示。,我们可以利用排序指数公式进行运算.根据: ajnij Wi= Naj 按表11-9共有4个指标，则aj=4+3+2+1=10;nij为对某一指标、对某重要程度的投票人数；把表11-9的数据代入公式便分别得到4项指标的权重： W1=49+3 8+25+2/(24 10)=0.300 W2=4 4+3 5+211+4/(24 10)=0.237 W3=4 3+3 5+25+11/(24 10)=0.200 W4=4 8+3 6+23+7/