哈尔滨工业大学数模优秀论文05a_thy.doc

学生评教的数据分析与处理(A)参赛队员： 谭宏宇 1021210105舒琴 1021220124王默航 1021210108 联系电话：86411729130917044271379660493413796638726摘要教学质量是人们所关注的焦点问题。学校的教学活动是学生与教师的双边活动，教与学是最能影响教学质量的关键因素。作为教学质量保障体系的重要组成部分，教学评价对高校教学质量的提高有着极为重要的指导和促进意义。本文着重对原始数据的处理和教学评估两个方面进行了阐述。首先，我们分析了不合理数据产生的原因；在剔除了不合理数据之后，利用方差分析的方法对数据进行了分析总结。得出：不同班级对同一老师的同一门课的评教结果相差不大；同一老师同一领域内课程的评教结果差异不显著；同一老师不同领域内课程的评教结果差异非常显著。这就是说，评教人数的多少对教师评教结果的影响不大，但教师开课门数多少及课程的类型如果处理不当会造成对教师评价的偏差，引起不公平现象的发生。接下来，我们运用了均值法、标准化法、调整得分法对评教结果进行了分析。得出了三种方法的差异，并进行了讨论。最后，针对多主体多客体多目标的模型，我们引用了模糊排序法、层次分析法，分析了它们的优缺点，并在此基础上进行了改进，建立了基于熵的评价模型。在文章的最后，分析了在评价模型中还需进一步考虑的问题。关键词：方差分析 标准化法 调整得分法 模糊排序法 层次分析法 基于熵的评价模型引言学生评教在70年代就已广泛受到各国的重视。学生评教是一般集中在教学方面，内容主要包括教师的教学态度、教学技巧、表达能力、教学组织能力、师生之间的交流等方面，从实际效果看，学生评教不仅比较方便，而且在统计的意义上具有较大的稳定性，特别是把学生的评价范围限制在描述教学活动时，学生评教资料具有较高的信度。教师普遍认为，从学生中得来的这些反馈意见对改进教学很有帮助。其意义如下：1、 学生是教学过程的主体。学生对教学目标是否达成，师生关系是否良好，都有较深刻的了解，对学习环境的描述与界定也较客观。2、 学生直接受到教师教学效能因素的影响，他们的观点比其他突然出现的评价人员更为细致周全。3、 学生参与评教有利于师生沟通，有助于提高教学水平。但现行的评教系统中仍存在一些问题有待解决：这种计算平均分数的方法对所有参评的教师公平吗？是否会因为个别同学对某位教师的恩怨给出不公的评分而影响这位教师的排名？参评人数的多少、教师任课门数的多少是否会影响评价结果？下文根据某校某学期学生评教数据，对上面的问题进行了探讨，并对现行解决一般的多主体多客体多指标评价问题的方法进行了分析，并提出改进方案。第一部分 数据分析原始数据的整理对13834组数据进行分类整理，我们的以下基本数据：项目参评教师人数教师授课数（同名课程也记入内）评教学生人数评教学生班级数数目6311213834369表1-1 原始数据的整理教师数：63，其中教一门课的老师33名，教两门课的老师18名，三门课的老师6名，四门课的老师5名，五门课的老师1名。课程数：112 ，分为理学类 ，工科类 ，土木类 ，社会科学类 ，选修课 。学生班级数：369详细见附录表信度分析信度是检验调查问卷有效程度的重要指标。我们使用克朗巴哈信度系数法来测量评教数据的信度。式中，为评教指标总数；为第个测评指标满意度得分的题内方差；为测评指标总得分的方差。图1-2 原始数据的信度分析上图为各教师数据的信度，横坐标为教师编号，纵坐标表示信度值。结果表明很多老师的评价结果的信度很低，达不到通常认为可信的标准（0.7）。例如：教师Adam的评教结果的信度为0.3141，Alfred的评教结果的信度为0.2694，Basil的评教结果更低到0.1811。这说明评教数据并不完全真实，不能客观公正的反应各老师工作水平的差异。不合理数据的处理不合理数据产生的原因 从上面的信度检验得到，原始数据中存在着许多不合理的数据。它们的产生主要以下几个方面。(1) 参评学生人数过少由于各学生的严格程度和兴趣爱好不同，评教过程中包含着很大的随机因素。因此如果数据很少，其中包含的真实信息会被随机性湮没，对这样的数据进行讨论是没有意义的。如果用这类数据作为参考的话，对老师的评价起不到代表性的作用。会对数据的进一步统计分析造成影响。在原始数据中存在一些只有几个人的课程，一般大学的班级大约有二十到三十人，所以认为少于十人课程的评教数据是无效的，将其剔除。(2) 学生对教师的恶意评价对于某些对学生要求严格的老师，学生们往往领会不到老师的良苦用心。这就造成了某些学生在评教过程中对某位老师的恶意评价。举一个很简单的例子，在同班同学中，在大部分同学对一位老师认可的情况下，一些同学却给这位老师打了很低分数，或是全部打了最低的分数。类似于这样的数据也是我们剔除的目标。(3) 一部分学生评教态度不认真，敷衍了事在评教的原始数据中有一部分数据，参评的十二个指标都是满分，我们认为这样的数据是无效的。评教的十二个指标概括可教师教学各个方面，能全部做到最好的老师应该是很少的。因此给出全部满分的学生明显是敷衍了事，这样的数据不能作为对教师评教的基础不合理数据的处理(1) 由于某一门课程的评教人数过少产生的不合理数据Alice，机械设计基础只有6个学生打分，机械设计CAD技术基础也只有6个学生打分，不合理，剔除后看作只有2门课；Clare，给水处理课设只有1个学生打分，给水工程课设只有2个学生打分，不合理，剔除后看作只有1门课；Clive，材料力学C只有1个学生打分，不合理，剔除后看作只有1门课；Dick，给水处理课设只有4个学生打分，不合理，剔除后看作只有3门课；Grace，国际工程财务管理只有1个学生打分，财经外语只有5个学生打分，不合理，剔除后看作只有2门课；Kevin，代数与几何只有3个学生打分，不合理，剔除后看作只有2门课；Naomi，钢结构和钢结构课设都各只有1个学生打分，不合理，剔除后看作只有2门课Ned，特种水处理技术只有1个学生打分，排水管网课设也只有1个学生打分，不合理，剔除后看作只有1门课；Stalla，闲暇社会与专题讲座只有1个学生打分，不合理，剔除后看作只有3门课；Viola，大学物理有9个学生打分，电路 、复变函数、数理方程都各只有1个学生打分，不合理，剔除后看作只有1门课；Violet，合金熔配及凝固理论只有2个学生打分，不合理，剔除后看作只有2门课。这样处理后，有些老师的授课数就发生了变化。其中教一门课的老师37名，教两门课的老师22名，三门课的老师4名，四门课的老师0名，五门课的老师0名。(2) 剔除学生对教师的恶意评价的数据剔除这种数据也就是剔除那些与总体评价想出最大的数据。由于各个指标的明确程度不同，也就是说对有的指标比较容易达成一致，而对有的指标比较形成分歧，对于不同的指标判别无效数据的标准应该是不同的。我们确立了不同指标中无效数据的比例，采用逐步剔除距数据均值最远的数据的方法。序号评教指标体系权重剔除数据比例1教师对教学工作很有热情，讲课认真、投入100.22教师讲课思路清晰，表达清楚，重点难点、突出80.153教师能启发学生的思路，激发学生的学习兴趣80.054教师教给学生掌握知识、方法，鼓励学生独立思考100.15教师能培养学生分析问题和解决问题的能力80.16教师重视与学生交流，达到师生互动的效果80.17教师授课内容充实、信息量大70.158教师使用教学辅助手段90.29教师授课能理论联系实际100.1510教师能把本课程在学生知识结构中的地位、目的讲授给学生80.1511教师能为人师表，从严执教，能把传授知识与塑造人的全面素质结合起来70.112通过教师的讲授，学生基本掌握本课程的内容70.05表1-3 剔除恶意评价数据的权重处理后数据的信度分析对经过处理的数据再次使用克朗巴哈信度系数法计算信度。下图为处理前后各教师数据信度对比，其中+是处理后的数据，*是处理前的数据横坐标为教师编号，纵坐标为信度值。可以发现各个老师的评价数据的信度都大幅提高了，基本达到了认为可信的标准，这说明以上对数据的处理是合理有效的。图1-4 处理后的数据的信度分析数据分析引言使用上面处理过的数据已经可以计算某一老师的某一课程的得分，但是这样得到的分数是否具有可比性呢？不同班级的学生评教标准是否相同？不同的课程是否有什么差异呢？经初步分析可以得到以下几个方面会对教师评教结构的可比性和公正性造成影响。一，不同课程，趣味不同。在一般高校的课程中，像数学，物理等课程难度较大，加上很多学生基础较差，学习吃力，而且内容缺乏趣味性，所以学生兴趣较低。对于一些新兴的学科，比如汽车驾驶，不需要以前的基础，学生就有较大的兴趣学，教师测评的结果也较好。二，课多课少，精力不同。在安排课程的时候，有的教师任课较多，所以备课和休息的时间较少，教学质量会受到影响。而且，有时同一内容的课程，要反复多次地讲授，几乎接近于“背”课，既是很好的例子，如果再三列举也会影响效果。三，接触多少，感情不同。有些课程，每星期只有一次课，而有的课程每星期可达四次甚至五次，因此教师与学生接触的机会不同。接触少的，给学生的印象不深，测评分数可能不会很高。以上的问题，可以归纳为以下三个问题进行了重点分析(1) 不同班级的同一老师的同一门课的评教差异(2) 同一老师同一领域内课程的评教差异(3) 同一老师不同领域内课程的评教差异数据分析原理和方法对于不同教师教的不同课程无法进行直接比较。因为数据的差异可能包含由于教师水平不同，由于课程不同和由于学生评价标准不同这三方面的差异。我们首先作了如下假设：如果两个班级所有课程及任课老师均相同，则这两个班级的评价标准是相同的。为了检验两组评教数据是否有差异性，我们使用方差分析的方法。学生对教师的评价结果包含随机因素的影响，方差分析可以去除这种影响，提取出数据中包含的一致性或差异性。设组评教结果为，在总体下服从正态分布。记 设为大于值的概率。根据单因素方差分析的理论如果表明的组评价结果相差非常显著，如果表明的组评价结果相差显著，如果表明的组评价结果相差不显著。(1) 不同班级对同一老师的同一门课的评教差异检验以教师Natalie为例，教师Natalie教授班级110的马克思主义哲学课，而15班所有的课程都相同，因此他们的评教标准应当一致，610班所有的课程都相同，但与15班不同。用方差分析法比较这两组班级对教师Natalie十二个指标评价的差异程度，结果如下指标1指标2指标3指标4指标5指标6指标7指标8指标9指标10指标11指标120.0230.5150.1450.2510.0350.3580.2860.0650.0130.7790.0090.100表1-5 不同班级对同一老师的同一门课的评教差异检验可以看到上述结果中大部分指标评教结果差异都是出于不显著或比较显著。对其它相同情形的教师分析得到了类似结果，这表明不同班级对同一老师的同一门课的评教结果相差不大。(2) 同一老师同一领域内课程的评教差异检验以教师Amy为例，教师Amy教授宏观经济学和信息经济学，这两门课同属于社会科学，且难度相差不大。由于(1)步的分析得到不同班级对同一老师的同一门课的评教结果相差不大，可以把所有的班级看成等同的。分析结果如下指标1指标2指标3指标4指标5指标6指标7指标8指标9指标10指标11指标120.1250.2570.1550.1590.5750.6570.5040.9361.0000.0550.0260.085表1-6 不同班级对同一老师的同一门课的评教差异检验从表中可以看出不，除第11个指标外，其余指标的差异程度均为不显著。对其它相同情形的教师分析得到了类似结果，这说明同一老师同一领域内课程的评教结果差异不显著。(3) 同一老师不同领域内课程的评教差异检验以教师keith为例，keith教授计算机组成技术(2) 和大学物理 这两门课属于不同的领域，并且计算机组成技术(2)偏重于应用，而大学物理偏重于理论。分析结果如下：指标1指标2指标3指标4指标5指标6指标7指标8指标9指标10指标11指标120.0280.0040.0090.0260.0030.00010.00010.0280.6930.8040.2510.557表1-7 同一老师不同领域内课程的评教差异检验（1）可以看出指标2，3，5，6，7差异都非常显著。以教师max为例，教师max教授工程光学和专业外语(选)，两门课属于不同的领域，并且分别为必修课和选修课。分析结果如下：指标1指标2指标3指标4指标5指标6指标7指标8指标9指标10指标11指标120.000010.000010.00080.00510.00280.000430.00010.00010.000120.000010.000640.000018表1-8 同一老师不同领域内课程的评教差异检验（2）可以看出各指标的差异均非常显著。对其它相同情形的教师分析得到了类似结果，这说明同一老师不同领域内课程的评教结果差异非常显著。 结论：经过上面的分析得到以下结论：(1) 不同班级对同一老师的同一门课的评教结果相差不大。(2) 同一老师同一领域内课程的评教结果差异不显著。(3) 同一老师不同领域内课程的评教结果差异非常显著。这就是说，评教人数的多少对教师评教结果的影响不大，但教师开课门数多少及课程的类型如果处理不当会造成对教师评价的偏差，引起不公平现象的发生。下面模型将重点解决同一教师不同课程得分的归一化问题。第二部分 三种方法对教师进行排序根据上面的分析，同一组的教师可以进行直接比较，由于评教规则中已经给出了个指标的合理权重，可以将每个教师的十二个指标得分的均值加权作和。得到每一组中各教师的得分如下选修课理学工科土木社会科学2Alfred89.10615Angus81.36501Adam79.1499 Carl86.53514 Amy89.02243Alic96.42496 Anita96.23822 Alfred82.0036410Clare88.984612Daisy95.831911Clive80.21057 Basil64.54123 Alice96.375913 Dick86.007618 Eva95.440021 George74.04568 Bob88.76616 Anita89.432727 Jim86.979119 Frank84.577927 Jim89.143715Donald70.054314Dominic74.881132 Lisa83.817620 Gavin77.193328 Julie87.400016 Dora89.321917 Ellen78.371734 Lucy92.395822 Glen78.543238Margery84.620621George84.625524 Henry84.424136 Lydia67.227423 Grace84.336241 Max71.732129 Keith90.470025 Ida87.671939 Mark92.400137 Maggie95.021142 Mey65.793630 Kevin88.637326 Jill86.416245 Naomi82.098746 Natalie85.109663 Violet96.901031 Leo92.273128 Julie72.683247 Ned75.394354 Paula91.413333 Liz78.407029 Keith83.153648 Neil84.139057 Ross81.111535 Luke87.647540 Mary91.187852 Olive89.167258 Sarah97.100050 Nigel82.805041 Max71.732155 Pollu82.432459 Stalla62.912656 Rita82.418243 Molly84.726157 Ross91.640062 Viola84.663144 Nancy88.280458 Sarah87.095149 Nelly93.248259 Stalla71.729151 Nora91.000661 Vera97.348253 Pamela76.988760 Tina84.7870表2-1 每个教师的十二个指标得分的均值加权作和下面用三种方法将教师排序。均值法将同时教两门及以上的课教师在不同课上的得分的均值作为其最后得分，进行排序。结果如下：名次姓名名次姓名名次姓名名次姓名1Vera17Olive33Tina49George2Violet18Amy34Molly50Adam3Alice19Clare35Viola51Glen4Daisy20Bob36Margery52Liz5Eva21Kevin37Frank53Ellen6Maggie22Nancy38Henry54Gavin7Nelly23Jim39Grace55Pamela8Anita24Ida40Neil56Ned9Mark25Luke41Lisa57Dominic10Lucy26Keith42Nigel58Max11Leo27Carl43Pollu59Donald12Sarah28Jill44Rita60Stalla13Paula29Ross45Naomi61Lydia14Mary30Dick46Angus62Mey15Nora31Alfred47Clive63Basil16Dora32Natalie48Julie表2-2 均值法排序结果分析：这是最直接的方法，没有考虑不同课之间评分标准的差异，故结果并不准确。标准化方法设 为某一教师教授的属于第组课的课程的得分。为教授课程属于第组课的所有教师得分的均值，为均方差，其表达式为 其中为教授课程属于第组课的所有教师的人数。则该教师的最后得分为 求和是取遍该老师所教的所有课程。排名结果如下名次姓名名次姓名名次姓名名次姓名1Alice17Ida33Margery49George2Anita18Dora34Alfred50Glen3Vera19Olive35Henry51Adam4Nelly20Keith36Natalie52Gavin5Sarah21Clare37Viola53Ellen6Mary22Paula38Neil54Pamela7Nora23Bob39Frank55Ned8Mark24Kevin40Nigel56Mey9Lucy25Ross41Grace57Dominic10Violet26Jill42Lisa58Donald11Daisy27Luke43Rita59Julie12Eva28Amy44Clive60Basil13Leo29Carl45Angus61Lydia14Maggie30Dick46Pollu62Max15Nancy31Tina47Naomi63Stalla16Jim32Molly48Liz表2-3 标准化方法排序结果 分析：这种方法基于教授同一类课程的教师的得分应该遵从正态分布，其均值反应了该组教师得分的大致水平，方差反应了得分的离散程度。二者结合一定程度上反映了学生对这一类课程评分的特点。经过这样修正后的教师的得分一定程度上剔除了不同了课程评分标准不同的影响。但该方法只是从统计角度出发对单类课程考虑，没有进行不同类课程间的比较，并且有可能将同一类课程中教师的得分差异人为的拉大调整得分法假设：同一教师在不同课程的表现是相同的。由数据分析的结果，同一教师不同类课程的得分有显著差异，这表明参评学生对不同类课程的评分标准是不同的。如果适当的对分数调整，评分标准较高的课程适当的加分，评分标准较低的课程适当减分就能较公正的将教师排名。设第类课程的评均分为，调整量为，教授课程属于该类的教师的调整后得分为（调整后的该教师每门课的得分的均值），教授课程属于该类的教师的人数为，则当 时方程左边是调整后抹一类课程的平均分，方程右边是教授课程属于该类的教师的最后得分的均值，二者相等即每一教师按照一门课程结果的得分与按照多门课程结果的得分是相同的，这说明同一老师不同课程的得分对其最后得分的贡献率是相同的，这就消除了不同类课程评分标准不同造成的影响。使用迭代法求解上述等式中的，取初值为，经九次迭代后得到的近似解进一步得到各教师调整后的得分和排名。名次姓名名次姓名名次姓名名次姓名1Violet17Bob33Natalie49Julie2Vera18Kevin34Neil50Liz3Alice19Olive35Viola51Glen4Daisy20Clare36Frank52Adam5Eva21Amy37Lisa53Ellen6Maggie22Luke38Grace54Gavin7Leo23Jim39Tina55Pamela8Anita24Nancy40Molly56Ned9Mark25Keith41Nigel57Dominic10Lucy26Carl42Henry58Max11Nelly27Ida43Rita59Donald12Sarah28Ross44Pollu60Lydia13Paula29Dick45Naomi61Stalla14Mary30Jill46Angus62Mey15Dora31Alfred47Clive63Basil16Nora32Margery48George表2-4 调整得分法排序结果分析：该方法的原理是基于同一教师在不同课上的表现相同，使教师在不同类课程的得分对其最后得分的贡献率相同，这样就有效的消除了不同类课程评分标准不同带来的影响。因此排名的结果是较为公正的。该方法的缺点是通过比较同一教师在不同类课程中的得分情况衡量不同类课评分标准的差异，这样当教不同类课程的教师数目较少时，其作用不明显。并且迭代难以求得精确解，在教师的分较接近时有可能造成偏差。三种方法结果的比较与分析 如图，横坐标表示各教师的号码，纵坐标为各教师的排名。 O表示的是使用均值法得到的排名；*表示的是使用标准化方法得到的排名；+表示的是使用调整得分法得到的排名；表2-5 三种方法结果的比较与分析（每一列上面的三个点表示该老师在三种方法中的名次）大多数教师在三种方法的排名是接近或相同，这说明三种方法排名的准确程度都是可以接受的。 单个教师得分变动对整个排名的影响对于均值法由于是将每个教师的得分分别计算确定其最后的分，单个教师的得分变化只会将其排名改变而其他教师的相对排名不会受到影响。对于标准化方法和调整得分法，由于每一类课程是放到一起讨论的一个教师得分的变化会影响到其所在组的得分情况，进而会影响整个系统的排名。应进一步讨论的问题1. 关于同一教师同一指标得分分布的问题。从数据分析中发现，同一教师同一指标的评教数据并不是像预想的那样呈正态分布，无效数据的剔除也没有有效的解决这个问题，这是否说明数据中仍饱含某些因素造成数据不够准确地反映实际情况。2. 数据离散程度对教师得分的影响上面三种方法都是将同一教师同一门课评教分数的均值作为该教师这门课的得分，实际上评教分数的离散程度也应考虑，如果离散程度很大，说明学生对该教师褒贬不一，难以达成共识，这样依照该数据的对该教师的评价可信度不高。在对上面数据的处理中我们发现各驻数据的离散程度相差不大，故没有将离散程度考虑在内。但对于一般的评价问题，评价结果的离散程度无疑应是排名的一项重要指标。下文对这个问题进行了讨论。第三部分 标准多主体多客体多指标的评价模型标准多主体多客体多指标的评价问题标准多主体多客体多指标的评价问题类似与决策分析中的经常遇到的多目标（多准则）的决策问题。在解决该类问题时，往往引用Pareto最优概念。层次分析法（Analytical Hierarchy Process，简称AHP法）是由美国运筹学家Saaty于20世纪70年代提出，特别适用于分析解决一些结构比较复杂、难于量化的多目标的决策问题。对于带有多个模糊性的多个目标的多目标模糊决策，因为所有的目标不一定同等重要，根据不同重要程度给予不同的加权，所以可先将目标转换成一个统一的尺度，进行模糊评价。以下给出其数学描述：给定判别空间，为评分因素集合，； 为各评分因素的权重，；为评语等级集合，为评价因素的评语等级集合。设有个评价人，个被评价人。为第个被评价人的得分矩阵， 其中为第个评价人关于第个评价因素的评分。解决方法模糊排序法1. 模糊排序进行综合评判的目的：根据影响教学质量诸因素所起的作用，结合当前的实测结果，用数学方法对教学质量作出切合实际的客观评价。2. 数学模型的建立给定评判空间，设参加评判者为，被评估对象为。设对事物进行评估，其因素集，第个评分因素集；评估的等级集，评语集第个评判集。每个评估者对于被评估者，在评估因素上，从个评估等级中确定一个只确定一个等级。则因素论域和评语论域之间的模糊关系可用评判矩阵来表示其中从第个因素着眼作出第中评价的隶属程度，固定，就表示从第个因素着眼，对被评估者所做的单因素评判。对事物评估，中各因素所起的作用是不同的，评估人员对这个问题的看法可以表示为上的一个模糊集，中的元素对的隶属度称为因素集被着眼的权重。设的权数分别为，则得到，其中，且，先求出各单因素的评价矩阵及其相应的权数矩阵。设第一层次单因素FUZZY综合评判矩阵为，则 式中的运算“”为满足常见模糊矩阵乘法的运算。此运算可采用查德算子表示，即其中，表示取最大值，表示取最小值。再设综合权数集是，其中为上一层次因素的个数。这时，第一层次各单因素综合评判矩阵组成一个矩阵设为，则与的乘积就是所求的综合评集。设最后的综合评判集为，则，这里的“”即上文中定义的运算。再对作归一化处理。为了增加区分度，并符合日常百分制习惯，给定一个赋值矩阵，则被评估者最后的FUZZY综合评判结果为（这里的乘法为普通矩阵乘法）。3. 评估实例分析建立指标因素集影响教学质量的因素很多，根据对教学质量评价要求，在此例中数据划分为12个指标要素，具体划分见下表：序号评教指标体系权重1教师对教学工作很有热情，讲课认真、投入0.12教师讲课思路清晰，表达清楚，重点难点、突出0.083教师能启发学生的思路，激发学生的学习兴趣0.084教师教给学生掌握知识、方法，鼓励学生独立思考0.15教师能培养学生分析问题和解决问题的能力0.086教师重视与学生交流，达到师生互动的效果0.087教师授课内容充实、信息量大0.078教师使用教学辅助手段0.099教师授课能理论联系实际0.110教师能把本课程在学生知识结构中的地位、目的讲授给学生0.0811教师能为人师表，从严执教，能把传授知识与塑造人的全面素质结合起来0.0712通过教师的讲授，学生基本掌握本课程的内容0.07表3-1 指标集及其对应的权重建立评语集在评价时，对每个因素都要进行评价，不论因素的层次有多少，评语集只有一个，如下表：评语等级上中上中中下下作出权数分配向量对教学质量的评估，中各因素集，所起的作用是不同的。对这个问题应看作为上的一个模糊集，中的元素对的隶属度称为因素集被着眼点的权重。给每一个因素赋以相应，见上表（）。 确定评判矩阵评估人员需要根据某教师教学质量评教情况，得出教学质量评价因素的评价向量的统计表其中，。按照模型中的方法，建立被评估者的评判矩阵，计算出结果后，为了综合定量的表述评估结果，可以对各个等级赋值。如设“上”为85分，“中上”为80分，“中”为70分 ，“中下”为60分，“下”为50分，则可通过矩阵乘法得到FUZZY的综合评判结果。模糊排序法的优缺点分析对一种事物、一个产品、一个系统乃至一个人的评价，常常要涉及多个因素或多个指标（标准），不能只从某一个因素去评价。模糊综合评价是进行综合评价的一种新的工具，提高了解决很多实际评价问题的科学性、准确性。从模型的建立及其应用首先我们可以看出，对诸因素有一个很好的权分配是很关键的问题。这往往需要专家不断总结经验，提高技术。第二，采用模糊综合分析法需要统计大量的数据，如评判矩阵的建立，这就需要我们想办法建立起适用的计算机处理或统计的系统。当数据有增删等改变时，仍然适用是很大的挑战。另外，在计算FUZZY综合评判值时，对各个评估等级的赋值多少也会有影响。最后，当各个因素又具有不同层次时，我们还需要采取多级模糊综合评价的方法，这样统计工作的将更加复杂。层次分析法层次分析法是美国运筹学家T.L.Saaty教授于70年代初期提出的一种简便灵活而又实用的多准则决策方法。对于上面提出的多主体多客体多指标的评价问题，层次分析法是有效的方法之一。 用层次分析法解决问题 ，大体上可以按下面四个步骤进行：(1) 分析系统中各元素间的关系，建立系统的递阶层次结构；(2) 对同一层次的各元素关于上一层次中的某一准则的重要性进行两两比较，构造两两比较的判断矩阵；(3) 有判断矩阵计算被比较元素对于该准则的相对权重，并进行判断矩阵的一致性检验；(4) 计算各层元素对于系统目标的总排序权重，并进行排序；对于上面提出的多主体多客体多指标的评价问题可以建造如下的递阶层次结构。图3-2 层次分析法的递阶层次结构根据上面建立的递阶层次结构，首先确立对于某一评分因素个被评价人的权重，建立判断矩阵 为第个被评价人与第个被评价人关于评分因素的重要性指标 其中第个被评价人评分因素的得分为第个被评价人评分因素的得分。通过判断矩阵可以求出各评价人对于评分因素的相对排序权重记为。用特征根方法求解 设为的最大特征根，为对应的特征向量，则将归一化后就可近似作为排序权重向量由于上述的判断矩阵是根据被评价人两两得分的比例确定，故其满足一致性要求。上面确定了各被评价人相对于某一评分因素的权重向量。而各评分因素关于评价结果的权重已确定为。则各被评价人队对最后得分的权重为上面讨论的只是单一评价人的情形。当有多个评价人时可以先求出各个评价人判断矩阵的排序向量然后将它们综合城区组排序向量。可以采用以下两种方法：1. 加权几何平均综合排序向量法。对个评价人的判断矩阵分别求出它们的排序向量，然后求出它们的加权几何平均综合向量，其中 为第个评价人的权重，计算的标准差及其相对于新的总体判断矩阵的总体标准差以及个体标准差 当总体标准差满足要求时，这组群组判断可用，当个体时认为第个评价人通过。2. 加权算术平均综合向量法 将各评价人判断矩阵得到的排序向量的加权算术平均值作为综合排序向量，即 同样可以计算标准差的指标。层次分析法的优缺点分析层次分析法把一个复杂问题分解成组成因素，并按支配关系形成层次结构，然后应用两两比较的方法确定方案的相对重要性（在评价问题中即为各被评价人的相对最后得分），特别适用于无结构问题的解决。但层次分析法使用的相对标度法有可能引起逆序问题，即由于新方案的引入引起原有方案总排序权重的改变进而引起序的逆转现象。当不断有新元素加入时，分析这种逆序现象的合理性变得很复杂。此外，相对标度法在使用判断矩阵计算权重时，由于要计算特征根，当被评价人很多时，判断矩阵的阶数很高，求解特征根的计算量很大。层次分析法在处理多评价人的问题时，仅把评价人的一致程度作为一项判断接受结果与否的判别条件，在各被评价人的相互比较时，没有体现这种一致程度带来的影响。基于熵的评价模型上面的两种方法都可以有效地解决单个评价人的多被评价人多指标的评价问题，但对处理多评价人的问题都有一些不足之处，主要是对于多个评价人对同一被评价人同一指标的评分制是采用了简单的加权平均的方法，这样就丢失了原来数据中包含的一部分信息。例如这样一个例子：8名评判人对3名被评判人的某一指标的评分如下表：评判人1评判人2评判人3评判人4评判人5评判人6评判人7评判人8被评判人100.50.250.250.50.750.51被评判人211101100被评判人30.50.50.50.50.50.50.50.5三个被评价人的得分均值均为0.5，但显然8名评判人对被评价人3的评价更一致。这说明单一的加权法是不很合理的。下面的模型中从熵的角度，引入刻画评分数据不确定性的量。熵的定义设一随机试验可能有个结果，每个结果发生的概率为记为： 则称为试验的熵。熵具有以下三个基本性质：(1)是的连续函数；(2)对有个等概率结果的试验，是的单调上升函数；(3) 一个试验分成相继的两个试验时，未分之前的是既分之后的的加权和。 这三个性质使熵能够定量的刻画一个随机试验的不确定度。多个评价人的评价数据的处理多个评价人对同一个被评价人的某一评价因素评分，可以看成是一个随机试验。其可能的结果为该评价因素的不同等级的评语，而由大数定理，评出为某一等级评语的评价人的人数与评价人总人数的比可以作为该评语概率的近似。因此可以计算多个评价人对同一评价人的一组评价的熵，即为这组评价的不确定度的刻画。按照上面的原理，可以建立一个均值，方差，和熵的函数来将多个评价人的评价结果综合，这个函数应关于均值单调增，关于方差和熵单调减，这样得到的结果最大程度的保留了原数据的信息。具体过程为：设为某一评价因素的评语等级集合，。设有个评价人某一被评价人的得分向量为， 其中为第个评价人的评分。为的均值，为的方差为的熵确立函数满足关于单调增，关于和单调减。如可令则，即为综合后该被评价人改评价因素的得分。这样多评价人多被评价人多指标的评价问题的解决过程如下：模型的优缺点分析 模型主要解决了合理将多评价人多组的评价数据综合为一组的问题，针对一般方法中没有考虑多组评价数据离散程度的不足，该模型将引入方差和熵，用来刻画数据的离散程度。这样就避免了数据信息的丢失，同时增加了原有方法，如层次分析，模糊排序的区分能力。第四部分 评价问题中的关键因素分析在评价的过程中，有很多关键性因素是不容忽视的。这些因素如果不能很好的处理和解决，将对所得到的结果造成很大的影响，甚至于还会严重地影响到结果的可信度。因此，对评价问题中的关键性因素进行分析是很有必要的。4.1评价指标的建立及等级权重的设定在对评教数据的分析和处理过程中，我们看到关键性的问题之一就是评教指标体系和等级权重的确立。评价性问题的指标确定，一般来说要服从一定的原则，如目的性、针对性、有效性、常规性、客观性和可行性等原则。针对评教指标体系而言，评估指标体系专业性不强，将会影响评估结果的可信度。目前，国内各高校采用的教学质量评估体系多为全校教师共用一个指标体系，较少考虑学科专业的特点，这样的体系规范统一、操作简便，可进行比较，但是也存在一些问题，例如比较难反映各专业的特点等。但如果不同专业都制定不同的指标体系，则工作量大，难度也大，评估过程也变得十分复杂，结果也难以进行比较。因此在制定指标体系时，应反复论证教学工作中共性的内容，指标尽可能反映教学工作的重要内容。但另一方面，评估标准不能过细，过于强调评估指标体系的量化功能。教育现象的不确定性主要表现为随机性和模糊性，对教育现象作出明晰而精确的描述是非常困难的。在实际操作过程中，多数指标很难得到一个绝对量化的结果，往往只是一个大体印象，因此绝对的量化并没有达到预期的效果，反而使评估者无所适从。指标设置存在笼统抽象及粗细不均匀等问题，有的只有一栏指标，多数则在一级指标下面再列二级指标或再设三级指标，涉及到的项目少的只有6、7项，多的达到30多项。指标的个数要合适。从实际操作上来讲，指标过多也会影响评估的可操作性。指标体系的内容应避免对教学态度、教书育人等相对抽象的主观性内容进行量化评估，必要时将此部分内容以专家综合评定、学生调研问卷等形式代替。对于不同年资的教师，则不宜用同样的指标体系，应要求更严格。若不能解决以上问题时，我们猜想，能否确定一个系数，使各个老师按照同样的指标参评，得出的成绩与对应的系数相乘。指标权重的确定很重要，不仅要考虑专家的意见，还要充分征求所有评估主体的意见，包括教师、管理人员、学生等的意见，还要从模糊、灰色和神经网络等多方面的理论上进行深入探讨。有必要在设有相同专业的不同学校中联合研究，取长补短，在实践的基础上制定出操作性强且科学可信的指标体系于权重划分等。4.2评价数据的分析和处理方法对数据的分析和处理，应考虑横向和纵向比较相结合。对数据的剔除一定要慎重。对于数据的处理方法，我们采用了均值法、标准化方法、调整得分法以及综合分析的模糊综合评价法、多目标决策理论的层次分析法等。由于评价数据量非常大，所以建立一套适用的电脑评教系统是很有意义的。另外，进一步对数据的处理方法进行优化也有利于评价公平性和科学性的提高。4.3评价时间的设定课堂教学评价是信息反馈的重要手段，教学评价的时间，是否与学生的得分情况有联系。有专家研究得出，学生评教会出现“分数膨胀现象”。实际上，学生评价本身就具有很强的主观性。如果把评教时间设定在期末结束前的两周，学生可能因为忙于复习准备考试或是已经知道了多数课程的成绩，而使评教信度降低。在评教时间的设定上，有人提出了在期中期末各搞一次，目的是为了便于教师改进教学。还有人提出评教应搞“进行时”，而不是“完成时”的评估。总之，评教时间的设定一定要具有科学性和合理性。4.4评价的实施方式目前，由于信息技术的发展与进步，绝大多数高校都采取了网上评教的方式。网上评教有利于评价工作的开展，同时