第五章 量化评价法

1、第五章第五章 量化评价法量化评价法 重点问题 量化评价方法的概念量化评价方法的概念 信度和效度的概念与测量信度和效度的概念与测量 进行量化评价的具体方法及其运用进行量化评价的具体方法及其运用 各种量化评价方法的异同各种量化评价方法的异同 借助统计分析软件对数据进行统计借助统计分析软件对数据进行统计第一节 量化评价法概述实证主义实证主义一、量化评价的方法论来源一、量化评价的方法论来源 二、量化评价法二、量化评价法 定义：量化评价方法是定义：量化评价方法是通过将通过将评价内容评价内容化为可化为可以量化的以量化的数量数量，经过测量这些相关数据，并以，经过测量这些相关数据，并以量化统计方法来分析结果数

2、据量化统计方法来分析结果数据，最终达到评价，最终达到评价目的的一种方法。目的的一种方法。 量化统计方法：量化统计方法： 一般量化统计方法一般量化统计方法频数、中位数、众数、频数、中位数、众数、百分比等。百分比等。 进一步分析数据进一步分析数据运用方差分析、假设检运用方差分析、假设检验、因素分析、相关分析、回归分析等。验、因素分析、相关分析、回归分析等。 选取何种方法进行量化分析主要取决于评选取何种方法进行量化分析主要取决于评 价内容和评价目的。价内容和评价目的。 第二节第二节 测验法测验法 教育测量是教育评价的基础，测量的结教育测量是教育评价的基础，测量的结果是教育评价的依据，果是教育评价的依

3、据，评价是对测量结果的评价是对测量结果的解释过程，如果不依据测量结果进行价值分解释过程，如果不依据测量结果进行价值分析和判断，测量结果就会失去意义。析和判断，测量结果就会失去意义。测量的工具测量的工具：（：（1）教育、心理测验等量表。教育、心理测验等量表。 （2）根据评价的内容和评价）根据评价的内容和评价 对象来编制相关测验。对象来编制相关测验。 一、与教学、考试性质有关的测验类型一、与教学、考试性质有关的测验类型 1.诊断性测验 2.成绩测验 3.学能(学习能力)测验 二、测验的信度与效度二、测验的信度与效度 测验是否有价值，就必须考察测验是否有价值，就必须考察测验的质量测验的质量， 包括它

4、的稳定性、可靠性，和有效性。包括它的稳定性、可靠性，和有效性。 稳定性、可靠性：稳定性、可靠性：即在同样条件下重复测量，其即在同样条件下重复测量，其结果的一致性结果的一致性信度信度 有效性：有效性：即测量结果中包含即测量结果中包含预测特质预测特质的信息量的的信息量的程度程度效度效度各种教育、心理测验的信度水平各种教育、心理测验的信度水平 学科测验：学科测验： 0.900.90 智力测验：智力测验：0.800.80 品德测验：品德测验：0.600.60测验使用时的信度标准注意问题：注意问题： 一般来说，一般来说， 当当信度信度0.700.70，测验不能用于对个人作出评价，测验不能用于对个人作出评

5、价与预测，而且不能作团体间比较；与预测，而且不能作团体间比较； 当当0.700.70信度信度0.850.85时，可用于团体比较；时，可用于团体比较； 当当信度信度0.850.85时，才能用来鉴别或预测个人成时，才能用来鉴别或预测个人成绩。绩。 （一）测验的信度（一）测验的信度 根据经典测验理论，在真分数模型的假设根据经典测验理论，在真分数模型的假设中，学生作为评价对象，在测验中的实得分数中，学生作为评价对象，在测验中的实得分数是：是： X = T + E X = T + EX X实得分数实得分数 T T真分数真分数 E E随机误差随机误差 根据根据CTT模型和假设，可以推导如下关系模型和假设，

6、可以推导如下关系 S2X=S2T+S2E 在一次测量中，被试观察分数的方差等于其真在一次测量中，被试观察分数的方差等于其真分数方差与误差分数方差之和。分数方差与误差分数方差之和。2021-7-611测量误差的种类系统误差：系统误差：由与测量目的无关的变因引起的一种由与测量目的无关的变因引起的一种恒定而有规律的效应（稳定）；恒定而有规律的效应（稳定）； 又称常定误差。尽管多次测量的结果非常一致，又称常定误差。尽管多次测量的结果非常一致，但实测结果仍与真实数值有所差异，是不正确但实测结果仍与真实数值有所差异，是不正确的。的。 随机误差：随机误差：由与测量目的无关的、偶然因素引由与测量目的无关的、偶

7、然因素引起、而又不易控制的误差（不稳定）起、而又不易控制的误差（不稳定） 。 它使得几次测量结果不一致，方向和大小的变它使得几次测量结果不一致，方向和大小的变化是无系统的、随机的。化是无系统的、随机的。系统误差系统误差只影响测量的准确性、不影响稳定性。只影响测量的准确性、不影响稳定性。随机误差随机误差既既影响稳定性影响稳定性又又影响准确性。影响准确性。 S2E是随机误差的变异，系统误差的变异是随机误差的变异，系统误差的变异包含在真分数的变异之中。包含在真分数的变异之中。 真分数还可以分成两部分：与测量目的有真分数还可以分成两部分：与测量目的有关变异关变异(S2V)和与测量目的无关的变异和与测量

8、目的无关的变异(S2I),即：即： S2T=S2V+S2I2021-7-614SV2SI2SE2SX2ST2 那么就有：那么就有：S2X=S2V+S2I+S2E一次测验中，一个团体的实测分数之间的一次测验中，一个团体的实测分数之间的变异性是由与测量目的有关的变异变异性是由与测量目的有关的变异(S2V)、稳定的但出自无关来源的变异数稳定的但出自无关来源的变异数(S2I)和测和测量误差的变异数量误差的变异数(S2E)所决定的。所决定的。 信度的定义一信度的定义一 信度是一个被测团体的信度是一个被测团体的真分数的变异数真分数的变异数与与实得实得分数的变异数分数的变异数之比之比， 即即rxx=sT2/

9、sx2 观察分数的变化是以下两个因素的结果：观察分数的变化是以下两个因素的结果： （1）真分数的变异（）真分数的变异（2）随机误差的变异，）随机误差的变异，即即S2X=S2T+S2E rxx=S2T /(S2T+S2E)=S2T / S2X rxx表示的是由表示的是由真分数真分数能够解释能够解释测验分数测验分数方差方差的比率。的比率。 信度的定义二信度的定义二 信度乃是一个被测团体的信度乃是一个被测团体的真分数真分数与与实得分数实得分数的的相关系数的平方。相关系数的平方。 rXX=2TX信度的定义三信度的定义三 信度是一个测验信度是一个测验X（A卷）与它的任意一个卷）与它的任意一个“平行测验平

10、行测验”X（B卷）的相关系数。即：卷）的相关系数。即： rXX=XX 说明：说明：定义定义1 1和定义和定义2 2，信度是就一批人的数据，信度是就一批人的数据而言的，并不是用同一种工具反复测量同一个而言的，并不是用同一种工具反复测量同一个人。但是由于真分数是不知道的，因此这两个人。但是由于真分数是不知道的，因此这两个定义只具有理论意义。定义只具有理论意义。定义定义3 3才具有实际意义。才具有实际意义。 估计信度的方法：估计信度的方法：1.1.分半信度分半信度 :将测验编写成两个尽量平行的子测将测验编写成两个尽量平行的子测验，组成一个完整的测验，可以采用随机分半验，组成一个完整的测验，可以采用随

11、机分半或奇偶分辨，计算两半测验的相关系数。或奇偶分辨，计算两半测验的相关系数。2.2.内部一致性内部一致性（系数）系数）：同质性信度也叫内部：同质性信度也叫内部一致性系数，它是指测验内部所有题目间的一一致性系数，它是指测验内部所有题目间的一致性程度。致性程度。克隆巴赫克隆巴赫系数可以处理任何测验的内部系数可以处理任何测验的内部 一致性系数的计算问题。一致性系数的计算问题。3.3.重测信度：重测信度：是指对评价学生进行重复测验，是指对评价学生进行重复测验，通过计算两次测验得分之间的一致性程度通过计算两次测验得分之间的一致性程度来衡量信度。来衡量信度。4.4.复本信度：复本信度：根据平行测验理论，

12、设计与原根据平行测验理论，设计与原测验各项指标相近或等值的平行测验，在测验各项指标相近或等值的平行测验，在此基础上，计算学生在两个测验上得分的此基础上，计算学生在两个测验上得分的相关系数。可以进行连续测验。相关系数。可以进行连续测验。影响信度的因素主要有：影响信度的因素主要有：（1 1）测验本身所引起的误差。）测验本身所引起的误差。 题目格式题目格式 、难易程度、用词、长度等、难易程度、用词、长度等（2 2）测验的实施所引起的误差。）测验的实施所引起的误差。 指导语、主试、记分、环境等。指导语、主试、记分、环境等。（3 3）学生自身因素所引起的误差。）学生自身因素所引起的误差。 考试动机、考试

13、动机、 学习与发展、经验、焦虑、学习与发展、经验、焦虑、 生理因素生理因素 等等 提高测验信度的常用方法提高测验信度的常用方法（1 1）适当增加测验的适当增加测验的长度长度； 注意：新增项目与原有项目同质注意：新增项目与原有项目同质 新增项目的数量必须适度新增项目的数量必须适度（2 2）是测验中所有试题的）是测验中所有试题的难度接近正态分布难度接近正态分布，并控制，并控制在中等水平；在中等水平；（3 3）提高测验试题的）提高测验试题的区分度区分度；（4 4）选取恰当的）选取恰当的被试团体，被试团体，提高测验在各同质提高测验在各同质性较强的亚团体上的信度；性较强的亚团体上的信度；（5 5）主试）

14、主试严格执行施测和计分程序严格执行施测和计分程序，施测场地，施测场地按测验手册的要求进行布置，减少无关因素的按测验手册的要求进行布置，减少无关因素的干扰。干扰。 （二）测验的效度（二）测验的效度（validityvalidity）：测验结果中所包含欲测验结果中所包含欲测特质的信息量的程度和对所要测验的特质准确测测特质的信息量的程度和对所要测验的特质准确测量的程度，就是测验的有效性和准确性，即效度。量的程度，就是测验的有效性和准确性，即效度。 效度的测量：效度的测量： 1 1. .内容效度：内容效度：指的是预定和假设要评价的内容与实指的是预定和假设要评价的内容与实际评价所得到的的内容之间的一致性

15、，也就是测验际评价所得到的的内容之间的一致性，也就是测验内容对于期望的目标的代表性程度。内容对于期望的目标的代表性程度。 常用方法：专家评估法，看题目的代表性常用方法：专家评估法，看题目的代表性 统计分析方法计算复本相关系数统计分析方法计算复本相关系数2.2.效标关联效度：效标关联效度：也叫也叫实证效度，是指一个测验实证效度，是指一个测验对处于特定情境中的个体的行为进行估计的有对处于特定情境中的个体的行为进行估计的有效性。即以实践的效果来作为检验标准。效性。即以实践的效果来作为检验标准。效标：效标：被估计的行为是检验测验效度的标准，称被估计的行为是检验测验效度的标准，称为效标。为效标。同时效度

16、：同时效度：用于诊断现状。用于诊断现状。预测效度：预测效度：用于预测某个个体将来的行为。用于预测某个个体将来的行为。3.3.结构效度：结构效度：指一个测验能够测量到理论上结构指一个测验能够测量到理论上结构或特质的程度，也就是该测验所要测量的概念或特质的程度，也就是该测验所要测量的概念能够显示科学意义并符合理论上的设想。能够显示科学意义并符合理论上的设想。4.4.影响效度的因素主要有：影响效度的因素主要有：（1 1）测验组成方面）测验组成方面（2 2）测验实施方面）测验实施方面 （3 3）被试主观状态方面）被试主观状态方面 （4 4）估计效度所依循的效标）估计效度所依循的效标 （5 5）样本方面

17、）样本方面5.提高效度的方法：提高效度的方法： （1）控制系统误差）控制系统误差 （2）精心编制量表）精心编制量表 （3）妥善组织测验）妥善组织测验 （4）扩充样本的容量和代表性）扩充样本的容量和代表性 （5）合理处理效度和信度的关系）合理处理效度和信度的关系 （6）适当增加测验的长度）适当增加测验的长度三、测验的项目分析三、测验的项目分析难度难度与区分度与区分度 （一）项目的难度（一）项目的难度1 1. .难度的概念：难度的概念：难度难度是指测验试题的难易程度是指测验试题的难易程度 2 2. .难度的计算难度的计算 （1 1）客观题难度的计算）客观题难度的计算 在教育测量中，客观题的难度一般

18、用正确回答试题的人在教育测量中，客观题的难度一般用正确回答试题的人数与参加测验的总人数之比值来表示。数与参加测验的总人数之比值来表示。 R R P P = = N N P P 为试题的难度，为试题的难度， R R 为正确回答客观题目的人数，为正确回答客观题目的人数， N N 为参加测验的总人数。为参加测验的总人数。（2 2）主观题的难度的计算）主观题的难度的计算 主观题的难度等于该题考生所得分数的平均值主观题的难度等于该题考生所得分数的平均值 与该题应得的满分之比。以与该题应得的满分之比。以P Pi i表示试题的难度，表示试题的难度，其计算公式是：其计算公式是： P Pi i= =X Xi i

19、/ /f fi i( (i i=1,2=1,2, , ,Q Q) ) X Xi i为各题考试分数的平均值，为各题考试分数的平均值， f fi i为各题的满分值，为各题的满分值， Q Q为试题个数为试题个数。 3 3. .难度对测验的影响难度对测验的影响 （1 1）测验难度影响测验分数的分布形态）测验难度影响测验分数的分布形态 （2 2）测验难度影响测验分数的离散程度）测验难度影响测验分数的离散程度 （3 3）测验难度影响测验的鉴别能力）测验难度影响测验的鉴别能力4 4. .测验的适宜难度测验的适宜难度 P=0P=0，P=1P=1， P=0.50 P=0.50 左右左右5 5. .控制题目难度的

20、基本方法控制题目难度的基本方法 （二）项目的区分度（二）项目的区分度1 1. .区分度的概念：区分度的概念：区分度区分度是指测验对考生实际水平的区是指测验对考生实际水平的区分程度，区分度又叫分程度，区分度又叫鉴别力鉴别力。它是评价试题质量，筛。它是评价试题质量，筛选试题的主要指标与依据。选试题的主要指标与依据。 区分度的计算方法有两种：区分度的计算方法有两种：（1 1）将学生按其考试总分排序，取）将学生按其考试总分排序，取高分之高分之27%27%定为高分定为高分组组，取，取低分之低分之27%27%定为低分组定为低分组，然后分别计算高分组，然后分别计算高分组和低分组考试分数的平均值，按以下公式计

21、算各题的和低分组考试分数的平均值，按以下公式计算各题的区分度：区分度： d di i=(=(X Xhihi- -X Xlili)/)/f fi i( (i i=1,2,=1,2, ,Q Q) ) d di i为第为第i i题的区分度，题的区分度， X Xhihi为第为第i i题高分组的平均分值，题高分组的平均分值， X Xlili为第为第i i题低分组平均分值，题低分组平均分值， f fi i为第为第i i题的满分，题的满分，Q Q为题目数。为题目数。 （2 2）采用相关计算方法）采用相关计算方法 计算学生各题得分与考试总分的相关系数计算学生各题得分与考试总分的相关系数r r。区分度区分度系数

22、一般情况亦为系数一般情况亦为( (OOr rl)l)。 r r越趋向于越趋向于1 1，说明学业水平高的学生考试成绩也高，说明学业水平高的学生考试成绩也高，学业水平低的学生考试成绩也低，即所谓学业水平低的学生考试成绩也低，即所谓正区分；正区分； r r越趋向于越趋向于0 0，说明学业水平不一的学生考试成绩没有说明学业水平不一的学生考试成绩没有差异即所谓差异即所谓零区分；零区分； 区分度系数有时会出现负相关区分度系数有时会出现负相关，r r0=30（五）均值比较与检验（五）均值比较与检验 1.单一样本单一样本t t检验检验2.2.独立样本独立样本t t检验检验3.3.配对样本配对样本t t检验检验

23、 （六）方差分析（六）方差分析 （F F检验）检验） 方差分析用于检验方差分析用于检验两个或多个样本平均数两个或多个样本平均数之间是之间是否存在差异。否存在差异。 单因素方差分析单因素方差分析 多因素方差分析多因素方差分析 （七）回归分析（七）回归分析第四节第四节 实验法实验法 一、实验法一、实验法（一）实验研究方法的特点和类型（一）实验研究方法的特点和类型 实验研究方法实验研究方法是研究者在主动控制条件下对事物的观是研究者在主动控制条件下对事物的观察，它能对所观察的事物进行因果说明。此研究方法察，它能对所观察的事物进行因果说明。此研究方法的特点是：的特点是： 第一，带着特定的目的；第一，带着特定的目的； 第二，设置条件，做好充分准备；第二，设置条件，做好充分准备； 第三，可重复；第三，可重复； 第四，可以确定因果关系。第四，可以确定因果关系。 （二）实验研究