量化评价法课件

1、第五章 量化评价法,量化评价方法 ：通过将评价内容化为可以量化的数量，经过测量这些相关数据，并以量化统计方法来分析结果数据，最终达到评价目的的一种方法。 信度：一种量化评价方法的稳定性和可靠性，即在同样条件下重复测量，其结果具有的一致性的程度。 效度：一种量化评价方法的有效性，即测量结果中包含欲测特质的信息量的程度。,重点问题,量化评价方法的概念 信度和效度的概念与测量 进行量化评价的具体方法及其运用 各种量化评价方法的异同 借助统计分析软件对数据进行统计,第一节 量化评价法概述,一、量化评价的方法论来源 实证科学,（1）经验证实原则,（2）客观主义原则,（3）方法中心原则,（4）元素分析原则

2、,（5）还原论,（6）描述性与数量化,第一节 量化评价法概述,二、量化评价法 量化评价方法： 通过将评价内容化为可以量化的数量，经过测量这些相关数据，并以量化统计方法来分析结果数据，最终达到评价目的的一种方法。 量化统计方法： 一般量化统计方法频数、中位数、众数、百分比等。 进一步分析数据运用方差分析、假设检验、因素分析、相关分析、回归分析等。 选取何种方法进行量化分析主要取决于评价内容和评价目的。,第二节 测验法,一、主要的测验类型 诊断性测验 成绩测验 学能(学习能力)测验,第二节 测验法,二、测验的信度与效度 测验的信度：测验是否有价值，就必须考察测验的质量，包括它的稳定性、可靠性，即在

3、同样条件下重复测量，其结果的一致性。 信度的测量： 1.分半(split-half)信度 2.内部一致性（系数） 3.重测信度（test-retest methods） 4.复本信度（alternate-form reliability）,第二节 测验法,二、测验的信度 影响信度的因素主要有： （1）测验本身所引起的误差。 （2）测验的实施所引起的误差。 （3）学生自身因素所引起的误差。,第二节 测验法,二、测验的信度与效度 测验的效度（validity）：测验结果中所包含欲测特质的信息量的程度和对所要测验的特质准确测量的程度，就是测验的有效性和准确性，即效度。 效度的测量： 1.内容效度(c

4、ontent validity) 2.效标关联效度(criterion-related validity) 3.结构效度(construct validity),第二节 测验法,二、测验的效度 影响效度的因素主要有： （1）测验组成方面 （2）测验实施方面 （3）被试主观状态方面 （4）估计效度所依循的效标 （5）样本方面,三、测验的项目分析难度与区分度,项目的难度 1.难度的概念：难度是指测验试题的难易程度 2.难度的计算 （1）客观题难度的计算 在教育测量中，客观题的难度一般用正确回答试题的人数与参加测验的总人数之比值来表示。 R P = N 式中，P为试题的难度，R为正确回答客观题目的人

5、数，N为参加测验的总人数。,三、测验的项目分析难度与区分度,（一）项目的难度 2.难度的计算 （2）主观题的难度的计算。 主观题的难度等于该题考生所得分数的平均值与该题应得的满分之比。以Pi表示试题的难度， 其计算公式是： Pi=Xi/fi(i=1,2,Q) 式中，Xi为各题考试分数的平均值，fi为各题的满分值，Q为试题个数。,三、测验的项目分析难度与区分度,3.难度对测验的影响 （1）测验难度影响测验分数的分布形态 （2）测验难度影响测验分数的离散程度 （3）测验难度影响测验的鉴别能力 4.测验的适宜难度 5.控制题目难度的基本方法,三、测验的项目分析难度与区分度,（二）项目的区分度 1.区

6、分度的概念：区分度是指测验对考生实际水平的区分程度，区分度又叫鉴别力。它是评价试题质量，筛选试题的主要指标与依据。 区分度的计算方法有两种： （1）将学生按其考试总分排序，取高分之27%定为高分组，取低分之27%定为低分组，然后分别计算高分组和低分组考试分数的平均值，按以下公式计算各题的区分度： di=(Xhi-Xli)/fi(i=1,2,Q) 式中，di为第i题的区分度，Xhi为第i题高分组的平均分值，Xli为第i题低分组平均分值，fi为第i题的满分，Q为题目数。,三、测验的项目分析难度与区分度,（二）项目的区分度 1.区分度的概念 （2）采用相关计算方法 计算学生各题得分与考试总分的相关系

7、数r。区分度系数一般情况亦为(Orl)。r越趋向于1，说明学业水平高的学生考试成绩也高，学业水平低的学生考试成绩也低，即所谓正区分；r越趋向于0，说明学业水平不一的学生考试成绩没有差异即所谓零区分；区分度系数有时会出现负相关，r0，说明学业水平高的学生反而考试成绩低，学业水平低的学生反而考试成绩高，即负区分。,三、测验的项目分析难度与区分度,2.区分度与测验信度、难度的关系 （1）区分度与信度的关系 （2）区分度与难度的关系 3.提高区分度的方法。 第一，使题目的难度适中，使整个考试难度适中。 第二，要着重考查复杂的学习结果，提高区分度。,第三节 问卷法,通过问卷（questionnaire）

8、进行调查的研究方法，在心理学、社会学、人类学等领域都被广泛运用，因为这种方法能够在比较短的时间内收集到尽可能大的被试样本的资料和内容，可以说在量的角度上有比较大的优势。,第三节 问卷法,一、问卷设计 （一）明确评价目的 要设计问卷对学生进行评价，必须首先明确具体的评价目的，包括评价对象（即目标群体，focus group）、评价内容、相关的专家对该评价提出的好想法 。,第三节 问卷法,（二）问题的类型 问卷中问题形式的设置可以分为开放式、封闭式和半封闭半开放式三类。 （三）问卷的用语 问卷的指导语要清晰、简洁，以简短的话语说明问卷的目的、作答方式以及所需要的时间。 问卷用语尽量本土化。 在问卷

9、题目中要避免情绪性词语、负载性问题（loaded questions）、引导性问题（leading questions）、一题多问（double questions）以及假设性问题（hypothetical questions）。,第三节 问卷法,二、问卷数据的收集 在问卷正式使用于大量的调查之前，首先要做小样本的测验，包括对问卷用语的规范性、通俗性、明确性以及结合统计分析对问卷题目的设计作相关的信度和效度的检验等，都是确保调查能在更大程度上达到评价者的目的，也使评价者能够作出更科学合理的评价。 （一）现场问卷法 （二）电话访谈法 （三）面谈问卷法 （四）邮件问卷法,第三节 问卷法,三、案例分

10、析 四、问卷数据的统计分析 （一）集中量数 （二）差异量数 （三）标准分数 （四）相关量数 （五）均值比较与检验 （六）方差分析 （七）回归分析,第四节 实验法,一、实验法 （一）实验研究方法的特点和类型 实验研究方法是研究者在主动控制条件下对事物的观察，它能对所观察的事物进行因果说明。此研究方法的特点是：第一，带着特定的目的；第二，设置条件，做好充分准备；第三，可重复；第四，可以确定因果关系。 （二）实验研究的设计和程序 （三）举例分析,第四节 实验法,二、准实验研究 （一）准实验研究的特点：准实验研究是介于真实验研究和非实验研究之间的研究，对无关变量的控制比非实验研究严格，但是不如真实验研究对无关变量的控制得严格，通常没有对被试随机抽样，可以设计控制组，但是实验组和控制组的背景条件不能保证相同。 （二）举例分析,第五节 其他量化评价方法,一、运用评价量规进行学生评价 评价量规（rubric）是一种评分工具，包含了对某项任务的评价标准，通过对各标准的评分对教学进行评价。 （一）评价量规的设计 （二）评价量规的使用及案例,第五节 其他量化评价方法,二、基于案例推理的智能学