素质测评中权重系数的设置方法.docx

一主观经验法主观经验法是指评价者根据自己个人或评价者群体的经验而给各个要素指定权数的方法。这种方法的优点是简单、方便、迅速，能发挥评价者长期积累的知识和经验，而且评价者能够根据实际情况和环境的变化作出迅速的调整，灵活性和针对性较强。但其弊端也很突出，此种方法毕竟建立在个人或少数人的经验基础之上，由于个人知识、活动范围、认识能力的制约，以及其个性倾向性如情绪、情感等因素的影响，使这种方法有很大局限性和不稳定性。特别是当评价者与被测评者有利或害的关系或冲突时，其权数的确定往往会背离客观的标准，甚至会产生腐败行为。故在现代质量管理中，这种方法往往作为前期调研或测评设计所采用，而最终的权数确定还要通过其它方法进行检验或调整。二单位加权法所谓单位加权法是指将各要素的原始测评数据直接相加而得到测评结果的方法。用公式表示为：XX1X2X式中，X为总的测评结果（分数），X1，X2，X分别为各子要素的原始测评数据（或分数）。表面上看来此种方法使各子要素处于平等的地位，而实际则不然，因为不同的子要素测评时所使用的工具不同，其量纲（单位）也不同，不同单位的数据直接相加是没有意义的，即使在某些条件下各子要素所采用的量纲相同，此种方法是对每个子要素的分数作了与它的标准差成比例的加权。这种加权方法的我国现行考试中应用很多，特别是在低层数据合并时经常采用，如在考试中由试题分合成试卷分大多数都是采用此种方法。三加权平均法加权平均法是指将根据子要素的分数在总体中所占的比率作为该子要素的权重的方法。假定有n个子要素，其测评数据分别为X1，X2，X，则每个子要素权重系数计算公式为：Y=b1x1+b2x2+ biXi式中bi为第i个要素的权数, Xi为第i个要素的测评原始数据。Xi为所有要素测评原始数据的和。此种加权法在简单测评和团体测评时应用较多，如在知道各个子团体的平均数而求团体的总平均数时，就常运用此法。四等量加权法等量加权法就是将各测评要素赋予相同权数的加权法。由于各测评要素所采用的测评工具和方法不同可能导致测评数据的量纲不同，数据的分布也不同，如果简单直接地相加（如单位加权法）并不是真正地等量加权。等量加权的具体作法是先将具有不同单位的各测评要素上的分数转换到具有相同单位的统一量纲上来，然后再相加得到总分。最常用的转换分数就是标准分数(譬如分数或者T分数)，即先将各个测评要素的分数转换成标准分数，然后将各要素的标准分数相加合成一个总分Z。计算公式为：ZZ1Z2Z式中，Z1,Z2,Z分别为各测评要素的标准分数。使用等量加权的条件是，各部分对总体必须具有同等重要性。五德尔裴法德尔裴法(Delphi Technique)是美国兰德公司赫尔默创造并用首先在未来学研究中被应用于直观预测的方法。它以分发征询表的形式，征求、汇集并统计个人意见或判断，以便在一些问题上使大家取得一致的意见，从而对未来作出预测。近年来，德尔斐法在社会学、管理学、心理学、教育学等领域也得到了广泛的应用。德尔斐法与一般的民意调查或征询意见不同，有以下几个主要特点：调查的内容由该领域的专家拟定并进行过充分讨论，调查表经过专家的精心设计，能够保证调查表的质量。接受调查的对象为该领域的专家或权威，他们不仅对该问题有深入的研究和发言权，而且有高度的责任心和认真的态度。因此他们的意见比普通人的意见更值得重视。调查的方式往往采用书信的方式进行，可以避免相互讨论对其他人判断的影响。由于评价者相互不见面，也消除了人情脸面的影响，能够真实地发表自己的意见。也可避免现场评价被某一人物或因素影响而产生“一边倒”的现象。德尔斐法的调查法将收回的调查问卷进行汇总、统计分析，然后将统计分析的结果反馈给评价者，由他们进行第二次评价，第二次评价时评价者可能会根据第一次的总的结果而对自己的判断进行一些调整。将第二次的结果回收后进行统计分析，如此往复，最后就会使专家们的意见趋于一致。由于德尔斐法具有以上的优点，在学业质量管理特别是现代人才测评中经常用来作为确定测评要素权重系数的重要方法。它能够让领域的专家反映自己价值认识，而且是经过大多数专家一致意见后得到的，其可靠性和可接受性都比较高。此法的弱点是多次重复问卷征询时间周期较长，财力和人力的成本投入较高，一般只一些重大的测评中采用。当然也可将调查对象的范围限定在较小的范围内，加快工作节奏来提高此法的效率。六矩阵运算法矩阵运算法是由矩阵逆运算法求权向量的方法，具体如下：矩阵运算法假定：当参加测评的人数达到一定数量之后，无论是对某一指标的统计平均值，还是专家在不分项目的综合评定值的统计统计平均值，均能达到令人满意的程度。国外人才测评实践表明：在专家人数达到千人以上时，这一假设是成立的。若指标系统有N项指标，由评价员对n个被评价者作出评价，评价分两种方试同时进行，一种分项目进行评价，另一种为总体评价。由此，我们可以得到n个被评价者的综合评判值：B1，B2，.，Bn，同时也得到了n组关于各个测评对象在各个分项目上的评定值。这样，我们就获得了所需要的权向量（A1，A2，., An）。此种方法的优点是能够在很大程度上排除指标权重系数确定过程中偶然因素的影响，比较稳定；其缺陷是需要投入太多的人力和物力，目前应用范围很有限。但随着网络的普及，测评数据较容易获得的情况下，此种方法将会越来越受到人们的欢迎。七层次分析法层次分析（Analytic Hierarchy Process），简称AHP法，是美国匹兹堡大学于1971年提出的。人们在对一组事物作两两比较判断时的准确性大超过一次性直接判断情况。我们能还对指标及其要素的重要性程度作两两比较来代替直接赋权，它的核心思想可以归结为：决策问题的关键往往是对行为、方案、人选进行评价选择，而这种评价选择总是要求把决策对象进行优劣排序，取优排劣。在进行评价排序中，人们需要对立完整的评价指标体系，它可以简化为有序的递阶系统，人们运用简单的两两比较方法对系统中的各项相关指标进行比较评判。通过这种比较评判结果的综合计算处理，可以得到评价指标的权重，定量地确定各评价指标的相对重要性，进而对决策对象作出评判。AHP法在理论上已日臻完善。1986年完成的AHP公理证明，使它建立在一个可靠的数学基础之上，已被广泛地用于经济、政治、军事等领域。层次分析法有如下特点：（1）该方法能对具有多项评判标准的多方案进行重要程度或优先度的综合评判。并定量化地显示出各方案的优异程度。（2）能对非量化因素进行定量化分析。这种分析以因素间的两两比较为基础。用AHP方法赋予的指标权数，不是简单主观赋值，而是对各指标进行相对应的两两比较，在两两比较中，人们比较容易进行正确判断，从而得到两两比较的判断数据，由于比较打分及数据处理都有一套严谨的数学模式，这就可以保证指标的最终权数的准确性、科学性。（3）该方法可以对评鉴者的评判结果进行逻辑性是否一致的检验。人们在对事物进行两两比较时容易发生两种逻辑错误，一种是克星循环逻辑错误，如A比B好，B比C好，C反过来又比A好；另一种是量度逻辑错误，如A比B好，B比C得多，而A比C只好一点。层次分析法不仅可以检验出是否有这样错误，同时还可以算出这种错误是属于可接受的还是不可接受的。凡通过一致性检验的评判被认为是有效的，数据经过这样处理之后，其质量将有较大提高，最终将有助于提高评判结果的质量。运用AHP法计算测评指标的权重系数一般分为四步：首先根据指标层次结构建立起不同层次、不同相关因素两两比较的判断矩阵；第二，计算相对权数；第三，对判断矩阵进行逻辑一致性检验；第四步，计算各层对总目标的权数，从而得出各层次中各元素的排列。具体步骤如下：（）运用两两比较法建立判断矩阵设某标准层中有一项标准B，它的下面对应的几个子标准，B1，B2BN，将这几个子标准对应进行比较打分，打分要求如下：甲乙两两比较结果 甲得分 乙得分甲与乙同等重要 1 1甲比乙略重要 3 1/3甲比乙重要 5 1/5甲比乙很重要 7 1/7甲比乙极重要 9 1/92、4、6、7、1/2、1/4、1/6、1/8可做为上述打分标度的中间值。将根据以上打分要求所得到的两两比较评分填入判断矩阵，有以下形式其中，aij(I,j=1,2,.,n)是Bi与Bj比较的结果。由于aij=1和aij=1/ aji，我们对于n阶的判断矩阵要进行n(n-1)/2次比较判断。（）计算各元素在判断矩阵中的权重计算各元素的权重需要求解判断矩阵的特征根，然后求出相应于最大特征根?max的特征向量，这一向量即为权重向量。其运算步骤如下：第一步，计算判断矩阵每一行元素的几何平均值。第二步，对M=（M1M2.Mn），归一化处理，得到的特征向量便是权重向量。（）对判断矩阵进行一致性检验。一致性检验显了找出逻辑不一致性已经超出了有效范围的判断矩阵，并对其加以剔除或修正。检验步骤如下：第一，计算判断矩阵的最大特征根，其近似的简便算式为：第二，计算一致性检验指标CI。n为判断矩阵的维数。可以证明当判断矩阵具有完全一致性时，CI。第三，若CI不等于，是要计算判断矩阵的相对一致性检验指标。CRCI/RI其中，RI可以查表得到随机性一致性指标RI矩阵维数 1 2 3 4 5 6 7 8 9RI 0.00 0.00 0.58 0.90 1.12 1.24 1.32 1.41 1.45 .CR越小，判断矩阵的逻辑一致性越好，其极限值为，一般认为CR小于等于0.1时，判断矩阵满足一致性条件，否则需要剔除或调整判断矩阵。（）计算各层次的指标对总目标的综合权重设第层有个指标，对应于其上层，即层个指标的直接判断矩阵的权数矩阵为：其中，k表示第层中第i指标对应于第层中第j指标的直接判断矩阵的权重（i=1,2,.,mk, j=1,2, .,mk-1 ）。根据以上定义，我们可以写出任一层次中各指标对总目标的综合权重算式：其中为第层第i指标对于总目标的综合权重。若判断矩阵的两两打分是由多人评判的，还要对最终结果进行加权平均。如果多人评分是“一人一贯制”，即多人分别对整个指标体系从头至尾一一比较打分，则还要分别对其结果作一致性检验。第层各指标对总目标的综合权数矩阵的综合一致性的指标为CI(），其算式为：其中，CI表示第K层对于第K-1层第i指标的对应指标的判断矩阵CI一致性检验指标，i=1,2,.,mk-1。同理RI（K）的算式为：其中，RI表示第K层中与K-1层第i元素的相对应指标判断矩阵的CI值，i=1,2,.,mk-1。由上可得第K层指标对于总目标的综合相对一致性检验指标为：CR(k)CI(k)/RI(k)同样，当CR(k）小于或等于0.01时，认为综合权数具有满意的一致性，否则，就要对某些矩阵进行调整或对某些人的评判结果进行剔除，以保证数据质量的可靠性。根据上述原则，我们可以逐层算出各指标对总目标的综合权数，这样算出的权数要比主观赋值更准确、更科学，因为它是以两两比较为基础考虑问题，在比较过程中不确定的因素得到了很大程度的阶段，比多重比较更准，另外它有严密的计算过程和一致性检验方法，从而使赋权准确度得到了较大的提高，因此，层次分析法不仅在权重系数的确定中是一种较好的方法，而且在人员录用选拔决策之中也是非常有用的一种方法。八模糊综合评判法在学业质量管理中，特别是一些抽象性很高的（如道德品质、思想素质等）特质的测评，很难用精确的数字进行描述，即使用采用一定的等级评定来进行区分，各个等级之间也没有一条截然分明的界限，评定所用的词汇（评语）也很难用精确的数字来表示，也就是说这种测评往往带有一定的模糊性。而测评的结果常常又要得出一个比较明确的结论，这二者之间就产生了矛盾。这了解决这一矛盾，学业质量管理引入了模糊(Fuzzy)数学中综合评判的原理和方法，对模糊性强的测评数据进行处理。这种方法比常规的数学方法更合乎实际情况，因而在学业质量管理特别是现代人才测评中应用较为广泛。以下是最常用的两种模糊综合评判法。1主因素决定法（min-max）方法（1）建立模糊关系设测评对象的因素集U和评价集VU=（U1，U2，.，Un）V=（V1，V2，.，Vn）(2)建立模糊矩阵根据确立的模糊关系UV，就可以建立一个模糊矩阵，通过调查可确定单因素评判矩阵（已归一化）为：其中，rij为第i个因素Ui的第j个评价Vj所占的百分比，0rij1。（3）确定权重系数的矩阵A通过delphi 或其它方法确定各评价要素的权重系数Fuzzy矩阵A设， A=(a1, a2，.，an),一般规定为(n为评价要素项数)：（4）合成运算主因素决定法采用算子M（，），用模糊数学中（逻辑加max）与（逻辑乘min），对测评结果进行运算。B=AR上式表示：权重系数矩阵A与单因素评判矩阵R以主因素决定合成法，就得到综合评价向量B。B象征测评组在各权重系数下对被测者作出的全面评价。若B=（b11，b12，.，b1m），m为评价等级数，那么：其中算子“”“”分别为ab=min(a.b)-取小ab=max(a.b)-取大bj表示测评组在主因素决定法综合评价中对被测者在j评价等级上的比率。则对该评判的模糊综合评判为：如果综合评判的因素是多层次的，可重复上述步骤，直到得到最终的综合评判结果。（1）归一化处理把B=（b1，b2，.，bm）中的bj（j=1,2,.,m）进行如下处理：B归一化后记为B。（2）计算综合评价总分值（P）P=B?CT其中：C为等级矩阵（向量），CT为等级矩阵C的转置矩阵。上述模糊综合评判中，采用的是取大取小的原则，即取利最大，取害最小，这是模糊决策的重要基础。其特占是在各权重系数限制下，评价结果取决于获得最大比率的指标项目，其它指标项目获得的比率大小作用不大。单项指标优秀，会在很大程度导致综合评价较高；单项指标差邮局会在很大程度上导致综合评价较差。它比较适合对于某些才能突出的人才的选拔与评价。而对那些必须同时优化的全面评价，由于运算过程中丢失的信息较多，在反映评价因素变化的过程中不很灵敏，其结果有时会显得不够合理。针对此缺陷，现代人才测评中又引进了矩阵运算法。2矩阵运算法矩阵运算法的前三步（即建立模糊关系、模糊矩阵、确定权数矩阵）与主因素法相同。其差异主要表现在第四步合成运算时的算子不同。在矩阵运算法中采用的算子M（?，+），与主因素决定法相比是用实数相加法代替模糊数学中的（逻辑加max），用实数乘法代替模糊数学中的（逻辑乘min），对测评结果进行运算。即B=A?R上式表示：若B=（b1，b2，.，bm），m为评价等级数，那么：bj表示测评组在矩阵运算综合评价中对被测者在j评价等级上的比率。则对该评判的模糊综合评判为：如果综合评判的因素是多层次的，可重复上述步骤，直到得到最终的综合评判结果。九多元回归法多元回归是指用多个变量去预测某一个变量的方法。它的数学模型如下：y=a1X1 + a2X2 + a3X3 + .+anXn + b式中，y可看作是总体测评目标，X1，X2，X3，.，Xn为代表个测评要素，a1，a2，.，an称为回归系数，其实质为各个测评要素的权重系数。它的大小表明各个测评要素对总体测评目标贡献的大小，当我们获得了一组测评对象在及其每个变量Xi等上的值，就可以估计出权重系数(a1，a2，.，an)的大小。多元回归法常常用于预测性测评中，其前提是各个预测源（测评要素）之间具有互偿性，即对测评对象的总体测评目标来说，当他在某一测评要素得低分可以由他在其它要素上得高分得到