教学质量模糊评价.ppt

课堂教学质量模糊评价,教师教育学院 曾云华 Email:403608119,1.课堂教学质量评价的模糊性,常见评判表介绍,因素、指标,权重,评语,评语等级参数,2.模糊综合评价步骤,2.2U型权重分析W,2.3确定评语集等级参数,2.4确定模糊评判方法,2.5V型程度分析,2.1确定评价指标体系因素集,评价指标体系是由不同级别的评价指标按照评价对象本身逻辑结构形成的有机整体。它是衡量教育评价对象发展水平或状态的量标系统，在教育评价方案中处于核心位置。评价指标体系是系统化的、具有紧密联系的、反映评价对象整体的一群指标或具体指标的集合。,2.1确定评价指标体系,设计指标体系时要注意如下7个问题。 （1）一致性。既要使评价指标与评价目标一致，又要使下一层次的指标与上一层次的指标一致。 （2）可测性。评价指标系统中末级指标（最低层次指标）要用可操作化的语言加以界定，它所规定的内容可直接测量，以获得明确结论。 （3）可比性。评价指标必须反映评价对象的共同属性，反映评，价对象属性中共同的东西。,（4）独立性。在指标体系内同一层次的指标必须各自独立，指标间不能相互重叠和包含，不能存在因果关系，不能从一项指标导出另一项指标。 （5）完备性。设计出来的指标体系必须是一个完整、协调的系统，能够全面地、毫无遗漏地反映评价目标或上一层次指标。 （6）可行性。设计评价指标的数量和评价标准的高低都要适中。有足够的信息、人力、物力和切实可行的量化方法可资利用。 （7）可接受性。设计的评价指标必须经过人们的努力方能达到。,2.1.1初拟评价指标,可采用头脑风暴法分解评价目标的方法，可以通过把教育的总目标分解为次级目标（或称一级指标），再将次级目标（或称一级指标）分解成二级目标。由高到低逐层进行，越是下一级指标越是具体、明确、范围小，直至分解到指标可以观察、测量、操作，形成末级指标为止。这样形成一个从一级到二级直至末级的指标系列。二级指标还可根据需要分解为若干三级指标，依此类推，直至指标所规定的内容可以测量。,2.2.2筛选评价指标,初拟评价指标一般数量较多，有些能反映评价对象某方面的本质特征，符合评价指标设计的原则，但也有些评价指标不符合设计原则的要求，评价指标间相互包含、交叉、矛盾、互为因果关系。因此，还要对初拟指标进行比较、鉴别、筛选、归类合并，形成符合要求的评价指标系统。进行这项工作的方法有逻辑法、经验法、调查分析法、聚类分析法和主要素分析法。,如教学质量各指标评语集为很好、较好、一般、差。按照通常公认的标准，考试成绩在60至69分之间的学生视为一般。因此，按等级参数的意义可以去这一分数段的上限69与整个考试的满分100的比值作为一般的等级=0.69.根据的值和其他三个等级评语与一般之间的等级关系，可以用语言算子来推算 的值。,2.3确定评语集等级参数,按照等级参数的意义，最高等级很好的等级参数应达到隶属度的最大值1，另外，差的等级参数0.573很接近不及格的上限59与100的比值0.59。因此，上述结果调整为,权重分析的方法常见的有特尔菲法，主因素分析法，层次分析法、U型权重分析法等，其中U型权重分析法更为简便、实用。,2.2U型权重分析W,当被邀请的专家都用因素权重评判表对各个因素的重要性进行系统比较之后，每一位专家头脑中权数分配就被隐含于给出的自信度矩阵和评判矩阵之中。由于评判矩阵集C集中的反映了各位专家对因素重要性的意见和看法，因此，它是进行权重分析的重要基础。,请教学经验丰富，评课水平较高的中学校长3人，教导主任3人，教师4人共10人对这五个因素在课堂教学质量评判中的重要性进行系统比较，得到评判矩阵如下：,U型权重自信度矩阵,比较结果的一致性检验 由于确定权数分配的重要性依据C是各位专家给出的自信度矩阵决定的，因而这些自信度矩阵之间是否具有某种一致性，或者各位专家关于诸因素重要性的评分结果之间的差异是否在容许的范围之内，是判断权数分配是否具有科学性的重要依据之一。所以在计算权重之前，必须多各位专家的评分结果进行肯德尔和谐系数检验（略）。,=0.745,同理可得到，,所以权重的模糊子集为=(0.745 0.945 0.74 0.593 0.345) 将归一化，即用其中的每一个数除以所有各数的综合，即可得到U中各因素的权数分配W=(0.22 0.28 0.22 0.18 0.10)。,二值评判法 多值估量法 系统比较法,2.4确定模糊评判方法,用二值判断法进行模糊评判时，评判时按照表中的因素一个以各的单独进行的。对于一个因素来说，单因素评判就是对四个等级分别作出属于或不属于的二值判断。单被评对象属于某个等级时在相应的方格内划，当不属于该等级时一般略去不划。在表中把打者记为1，空格记为0，并将表格和非评判等级不符略去，则这次评判结果可表示为：,由全体评判员评出的布尔矩阵相加即得到二值评判次数矩阵F。将F中每一个数都除以评判人数n即得到隶属度表示的单因素评判矩阵R。即,一个元素与一个集合的关系不仅仅只是属于与不属于两种，还应该考虑介于这两者之间的各种不同的属于程度，显然，二值判断法的基本思维方式仍然是普通逻辑集合论的思维方式，由此可见，对于称之为模糊评价方法的二值评价法，它并不是对传统类别判别方法的变革，而仅仅是一种改良。 在教育模糊评价中，评判员在认识被评对象时所产生的模糊性主要表现在以下两方面： 对于全体评判员来说，模糊量表上的每一个等级都是可变的、因人而异的模糊概念。因此，不同的评判员对同一个被评对象可能给出不同的评价结果。,对于每一个评判员来说，一个被评对象常常不是完全属于某个等级或者完全不属于该等级，而是在这 两者之间的某种程度上属于该等级。 由于用二值判断法进行模糊评价时，每次评判的结果都是普通关系，多次评判的结果才是模糊关系，因此，二值判断法只反映了第一方面的模糊性，而没有翻译出第二方面的模糊性，这表明，二值判断法海需要进一步改进和完善。,在模糊量表上，各个等级之间的界限模糊不清，呈现出相容性，并且相邻等级之间存在一系列的中介过渡状态，等级之间的中介比较明显，两极对立不充分，因此在进行等级判别时不能略去等级之间的中介和属于同一等级外延的不同对象在具有该等级内涵的程度上的不可忽视的差异而使每一个被评对象要么属于某一等级，要么不属于该等级，二者必居其一且家仅居其一。由此可见，只有将二值判断推广为多值估计，才能反映出被评对象在各个等级之间亦此亦彼性，即模糊性。,所谓多值估量法，就是由多个评判员对同一个被评对象在各个等级上的属于程度进行多值描述的模糊评判方法。 用多值估量法进行模糊评判时，常常规定某种自信度语词的评分标准，并将其附在模糊量表的右边，以便于进行估量。这种评分标准赋予多种中介过渡状态的自信度分数，是评分的重要依据。表2中给出了一种比较实用的评分标准。,在模糊量表上进行多值估量的步骤如下： 认真阅读和讨论因素内容说明书，弄清楚各个因素的含义。 对于某个给定的因素，独立地在评语的所有等级上作选择，以确定自己最倾向属于的那个等级，并根据自信度语词的评分标准和自己在这个等级上的倾向程度给出自信度评分。,当所评的分数小于8，并且最倾向级不是最低的一个等级时，评判员可能更倾向于与这个等级相邻的下一个等级，果真如此的话，那么放弃原来所评的分数而在下一个等级上重新评分。否则，应适当提高原来所评的分数。但是，如果所评的分数为7，并且评判员认为评给比7分更高的分数并不符合自己的意见和看法，那么，可以保留7分不变。这就是说，在绝大多数的情况下所评分数不能小于8，但在特殊少数情况下也可以评给7分。,当所评的分数小于8，并且最倾向级就是最低的一个等级时，评判员可能更倾向于 量表中没有列出的、比最低等级还要低的其他等级，果真如此的话，那么保留原来所评的分数，否则，应适当提高原来所评的分数。对于7分的情况，处理方法同第3步。 最倾向级以外的其他等级为0分，但一般略去不写。 按照上述方法依次对各个因素进行多值估量，直至全部因素估量完毕。,例如，表2中所列评判结果的评分过程是，当仅考虑第一个因素时，评判员认为最倾向属于的等级是很好，并且属于很好的程度是绝大部分属于，则在表中第一行空格的很好一栏记入8分。对于第二个因素，评判员认为绝大部分属于较好，则在较好一栏内记入9分。对于第三个因素，评判员认为是大部分属于较好，则在较好一栏内记入8分。对于第四个因素，评判员最倾向于比表中列出的四个等级还要低的等级很差，并且认为被评对象属于很差这一等级的中上水平，则在最低等级差的一栏内记入5分。对于最后一个因素，评判员认为被评对象在这方面表现突出，完全属于很好，则在很好一栏记入10分。,用自信度的满分值的倒数乘以这个自信度矩阵，得到这一结果的模糊矩阵R如下：,在教育测量中，作为测量中介的标准参照物常常是不同一、不等距的。对于二值判断法和多值估量法进行的模糊评判来说，各位评判员在评判尺度也是不尽相同的。为了改善这种状况，提高评判的准确性，在被评对象不太多的情况下，可以把每一个被评对象置于全体被评对象之中来进行比较，并在这种着眼于整体的比较中同时对各个被评对象进行多值估量。这种以全体被评对象为参照标准，由多个评判员对全体被评对象同时进行多值估量的模糊评判方法，称为系统比较法。,用系统比较法进行模糊评判时，必须把模糊量表按因素分解为m张，每个因素一张，以便于进行评判，表3是对课堂教学质量进行等级评定时使用的评判表，该表列出了五个因素的第一个因素，用该表可以同时对9名教师进行“教学目标明确，切合实际”的单因素评判。,在模糊量表上进行系统比较的步骤如下： 认真阅读和讨论因素内容说明书，弄清楚表中所列因素的含义。 认真了解每一个被评对象在该因素方面的情况和表现，做到熟悉和掌握所有被评对象的这些情况和表现。,把全体被评对象加以比较，让后用二值判断法将其等级进行定性分类。具体做法是，首先纵观全体被评对象，找出其中最好的一个和最差的一个。接着确定出着两个被评对象分别属于哪两个等级，并在相应的方格左半部分划勾。最后以这两个等级为上下限，以全体被评对象为参照标准，确定出其余的每一个被评对象属于上下限之内（包括上下限）的哪一个等级。,对于每一个等级，将同属于该等级的被评对象加以比较，并用多值估量法评出这些被评对象的自信度分数。当同属于某一等级的被评对象为3个或3个以上时，首先评出其中最好者和最差者的自信度分数，让后这两个自信度分数为上下限评出其他被评对象的自信度分数。 按照上述方法依次对各个因素进行同样的处理，直至全部因素处理完毕。,按照上述步骤中的前四步评出表16.6中的全部分数时，评判员仅仅完成了对9名教师课堂教学质量第一个单因素评判，因此，还需要继续对第二、三、四、五个因素分别进行同样的单因素评判。只有完成了全部因素的单因素评判，才算对每位教师的课题教学质量进行了一次模糊评判。在这里，一次评判的结果就是任意一个被评对象的五个单因素评判按因素顺序构成的自信度矩阵。例如，在由某评判员评分的五张单因素评判表中，第一行评分依次为（9 0 0 0），（0 8 0 0 ），（10 0 0 0），（0 0 9 0），（0 9 0 0），于是，该评判员对张老师的课题教学质量所作的模糊评判为：,系统比较法不仅具有多值估量的优点，而且在很大程度上克服了参照标准的不同一性和不等距性。另外，由于单因素系统比较的结果总满足传递性和一致性，因而系统比较法克服了对偶比较法的评判结果不一定满足一致性的确定。但是，当被评对象很多时，将给系统比较法的使用者带来某些困难。,2.5V型程度分析,只有一行或一列的矩阵称为向量。用行向量W和D分别表示权数分配和等级参数，则有W=（W1 W2 Wm）,将评判矩阵 记为R,权重分配W与评判矩阵R的乘积，称为教育综合评判B。其计算公式如下B=WR。,如，43名学生多谋教师课堂教学质量的评判矩阵,权数分配W=（0.22 0.28 0.22 0.18 0.10）,则该教师的课题教学质量综合评判结果为： B=WR,=(0.28 0.41 0.25 0.06),=,可见，该教师课堂教学质量属于很好、较好、一般、差的程度分别为0.28，0.41，0.25，0.06，其中属于较好的程度最高，为0.41，按照最大隶属度原则应评为较好。,教育综合评判也可以用评判矩阵F或C来进行。即,可见，该教师的课堂教学质量为较好,9名评判员对某教师课堂教学质量的系统比较评判矩阵,该教师的课题教学质量为较好,在综合评判中，人们总是根据评判结果B按最大隶属原则给被评对象评定一个等级，由于被评对象对于其他等级的隶属度都低于评定等级的隶属度，因此，这种方法具有一定的合理性。然而，当我们把一个被评对象评定为某个等级时，就相当于将其属于该评定等级的程度升值为1。属于其他等级的程度减至为0，这实质上是进行了