素质测评中权重系数的设置方法

1、主观经验法主观经验法是指评价者根据自己个人或评价者群体的经验而给各个要素指定权数的方法。 这 种方法的优点是简单、 方便、 迅速， 能发挥评价者长期积累的知识和经验，而且评价者能够根据实际情况和环境的变化作出迅速的调整， 灵活性和针对性较强。 但其弊端也很突出， 此 种方法毕竟建立在个人或少数人的经验基础之上， 由于个人知识、 活动范围、 认识能力的制 约，以及其个性倾向性如情绪、情感等因素的影响，使这种方法有很大局限性和不稳定性。 特别是当评价者与被测评者有利或害的关系或冲突时， 其权数的确定往往会背离客观的标准， 甚至会产生腐败行为。 故在现代质量管理中， 这种方法往往作为前期调研或测评设

2、计所采用， 而最终的权数确定还要通过其它方法进行检验或调整。二单位加权法所谓单位加权法是指将各要素的原始测评数据直接相加而得到测评结果的方法。 用公式表示 为：Xc = X1 + X2 + Xn式中，Xc为总的测评结果（分数），X1 , X2,，Xn分别为各子要素的原始测评数据（或分数） 。表面上看来此种方法使各子要素处于平等的地位， 而实际则不然， 因为不同的子要 素测评时所使用的工具不同， 其量纲（单位） 也不同， 不同单位的数据直接相加是没有意义 的，即使在某些条件下各子要素所采用的量纲相同， 此种方法是对每个子要素的分数作了与 它的标准差成比例的加权。 这种加权方法的我国现行考试中应用

3、很多， 特别是在低层数据合 并时经常采用，如在考试中由试题分合成试卷分大多数都是采用此种方法。三加权平均法加权平均法是指将根据子要素的分数在总体中所占的比率作为该子要素的权重的方法。假定有n个子要素，其测评数据分别为 X1, X2,，Xn,则每个子要素权重系数计算公式为：Y=b1x1+b2x2+ + biXi式中bi为第i个要素的权数,Xi为第i个要素的测评原始数据。 刀Xi为所有要素测评原始数 据的和。 此种加权法在简单测评和团体测评时应用较多, 如在知道各个子团体的平均数而求 团体的总平均数时,就常运用此法。四等量加权法等量加权法就是将各测评要素赋予相同权数的加权法。 由于各测评要素所采用

4、的测评工具和 方法不同可能导致测评数据的量纲不同， 数据的分布也不同， 如果简单直接地相加 （如单位 加权法） 并不是真正地等量加权。 等量加权的具体作法是先将具有不同单位的各测评要素上 的分数转换到具有相同单位的统一量纲上来， 然后再相加得到总分。 最常用的转换分数就是 标准分数（譬如Z分数或者 T分数）,即先将各个测评要素的分数转换成标准分数，然后将各要素的标准分数相加合成一个总分Z c。计算公式为：Z c= Z1 + Z2 + + Z n式中，Z1,Z2,Z n分别为各测评要素的标准分数。使用等量加权的条件是，各部分对总体 必须具有同等重要性。五德尔裴法德尔裴法 （Delphi Tech

5、nique） 是美国兰德公司赫尔默创造并用首先在未来学研究中被应用于 直观预测的方法。 它以分发征询表的形式， 征求、汇集并统计个人意见或判断， 以便在一些 问题上使大家取得一致的意见， 从而对未来作出预测。 近年来，德尔斐法在社会学、 管理学、 心理学、教育学等领域也得到了广泛的应用。德尔斐法与一般的民意调查或征询意见不同，有以下几个主要特点： 调查的内容由该领域的专家拟定并进行过充分讨论， 调查表经过专家的精心设计， 能够保 证调查表的质量。 接受调查的对象为该领域的专家或权威， 他们不仅对该问题有深入的研究和发言权， 而且 有高度的责任心和认真的态度。因此他们的意见比普通人的意见更值得重

6、视。 调查的方式往往采用书信的方式进行， 可以避免相互讨论对其他人判断的影响。 由于评价 者相互不见面， 也消除了人情脸面的影响， 能够真实地发表自己的意见。 也可避免现场评价 被某一人物或因素影响而产生 “一边倒 ”的现象。 德尔斐法的调查法将收回的调查问卷进行汇总、统计分析， 然后将统计分析的结果反馈给评价者， 由他们进行第二次评价， 第二次评价时评价者可能会根据第一次的总的结果而对自 己的判断进行一些调整。 将第二次的结果回收后进行统计分析， 如此往复， 最后就会使专家 们的意见趋于一致。由于德尔斐法具有以上的优点， 在学业质量管理特别是现代人才测评中经常用来作为确定测 评要素权重系数的

7、重要方法。 它能够让领域的专家反映自己价值认识， 而且是经过大多数专 家一致意见后得到的， 其可靠性和可接受性都比较高。 此法的弱点是多次重复问卷征询时间 周期较长， 财力和人力的成本投入较高， 一般只一些重大的测评中采用。 当然也可将调查对 象的范围限定在较小的范围内，加快工作节奏来提高此法的效率。六矩阵运算法矩阵运算法是由矩阵逆运算法求权向量的方法， 具体如下： 矩阵运算法假定： 当参加测评的 人数达到一定数量之后， 无论是对某一指标的统计平均值， 还是专家在不分项目的综合评定 值的统计统计平均值， 均能达到令人满意的程度。 国外人才测评实践表明： 在专家人数达到 千人以上时，这一假设是成

8、立的。若指标系统有 N 项指标，由评价员对 n 个被评价者作出 评价，评价分两种方试同时进行，一种分项目进行评价，另一种为总体评价。由此，我们可以得到n个被评价者的综合评判值：B1 , B2，Bn,同时也得到了 n组关于各个测评对象在各个分项目上的评定值。这样,我们就获得了所需要的权向量（ A1, A2, ., An ）。此种方法的优点是能够在很大 程度上排除指标权重系数确定过程中偶然因素的影响, 比较稳定； 其缺陷是需要投入太多的 人力和物力, 目前应用范围很有限。 但随着网络的普及, 测评数据较容易获得的情况下, 此 种方法将会越来越受到人们的欢迎。七层次分析法层次分析（ Analytic

9、 Hierarchy Process ）,简称 AHP 法,是美国匹兹堡大学于 1971 年 提出的。 人们在对一组事物作两两比较判断时的准确性大超过一次性直接判断情况。我们能还对指标及其要素的重要性程度作两两比较来代替直接赋权,它的核心思想可以归结为： 决策问题的关键往往是对行为、 方案、人选进行评价选择, 而这种评价选择总是要求把决策对 象进行优劣排序, 取优排劣。 在进行评价排序中, 人们需要对立完整的评价指标体系, 它可 以简化为有序的递阶系统, 人们运用简单的两两比较方法对系统中的各项相关指标进行比较 评判。 通过这种比较评判结果的综合计算处理, 可以得到评价指标的权重, 定量地确定

10、各评 价指标的相对重要性,进而对决策对象作出评判。 AHP 法在理论上已日臻完善。 1986 年完 成的 AHP 公理证明,使它建立在一个可靠的数学基础之上,已被广泛地用于经济、政治、 军事等领域。层次分析法有如下特点：（1 ）该方法能对具有多项评判标准的多方案进行重要程度或优先度的综合评判。并定量化 地显示出各方案的优异程度。（2）能对非量化因素进行定量化分析。这种分析以因素间的两两比较为基础。用AHP 方法赋予的指标权数, 不是简单主观赋值, 而是对各指标进行相对应的两两比较,在两两比较中,人们比较容易进行正确判断, ? 从而得到两两比较的判断数据,由于比较打分及数据处 理都有一套严谨的数

11、学模式,这就可以保证指标的最终权数的准确性、科学性。(3 )该方法可以对评鉴者的评判结果进行逻辑性是否一致的检验。人们在对事物进行两两比较时容易发生两种逻辑错误，一种是克星循环逻辑错误，如A比B好，B比C好，C反过来又比 A 好；另一种是量度逻辑错误，如 A 比 B 好， B 比 C 得多，而 A 比 C 只好一点。 层次分析法不仅可以检验出是否有这样错误， 同时还可以算出这种错误是属于可接受的还是 不可接受的。 凡通过一致性检验的评判被认为是有效的， 数据经过这样处理之后， 其质量将 有较大提高，最终将有助于提高评判结果的质量。运用 AHP 法计算测评指标的权重系数一般分为四步：首先根据指标

12、层次结构建立起不同层 次、不同相关因素两两比较的判断矩阵；第二，计算相对权数；第三，对判断矩阵进行逻辑 一致性检验； 第四步， 计算各层对总目标的权数， 从而得出各层次中各元素的排列。 具体步 骤如下：(1) 运用两两比较法建立判断矩阵设某标准层中有一项标准B，它的下面对应的几个子标准，B1 , B2 . BN，将这几个子标准对应E进行比较打分，打分要求如下：甲乙两两比较结果 甲得分 乙得分甲与乙同等重要 1 1甲比乙略重要 3 1/3甲比乙重要 5 1/5甲比乙很重要 7 1/7甲比乙极重要 9 1/92、4、6、7、1/2、1/4 、1/6、1/8 可做为上述打分标度的中间值。将根据以上打

13、分要求所得到的两两比较评分填入判断矩阵，有以下形式其中，aij(l,j=1,2,n)是Bi与Bj比较的结果。由于 aij=1和aij=1/aji，我们对于n阶的判断 矩阵要进行 n(n-1)/2 次比较判断。(2) 计算各元素在判断矩阵中的权重计算各元素的权重需要求解判断矩阵的特征根， 然后求出相应于最大特征根 ?max 的特征向 量，这一向量即为权重向量。其运算步骤如下：第一步，计算判断矩阵每一行元素的几何平均值。第二步，对 M=( M1M2.Mn )，归一化处理，得到的特征向量便是权重向量。(3) 对判断矩阵进行一致性检验。一致性检验显了找出逻辑不一致性已经超出了有效范围的判断矩阵， 并对

14、其加以剔除或修正。 检验步骤如下：第一，计算判断矩阵的最大特征根，其近似的简便算式为： 第二，计算一致性检验指标 CI。n为判断矩阵的维数。可以证明当判断矩阵具有完全一致性时，CI =0o第三，若CI不等于0,是要计算判断矩阵的相对一致性检验指标CR。CR = CI/RI其中, RI 可以查表得到 随机性一致性指标 RI 矩阵维数 1 2 3 4 5 6 7 8 9RI 0.00 0.00 0.58 0.90 1.12 1.24 1.32 1.41 1.45 CR 越小,判断矩阵的逻辑一致性越好,其极限值为0,一般认为CR 小于等于 0.1 时,判断矩阵满足一致性条件，否则需要剔除或调整判断矩

15、阵。(4) 计算各层次的指标对总目标的综合权重设第K层有MK个指标， 对应于其上层，即K1层MK1个指标的直接判断矩阵的权数 矩阵为：其中，A k表示第K层中第i指标对应于第K1层中第 j指标的直接判断矩阵的权重( i=1,2,.,mk, j=1,2, .,mk-1)o根据以上定义,我们可以写出任一层次中各指标对总目标的综合权重算式： 其中A为第K层第i指标对于总目标的综合权重。若判断矩阵的两两打分是由多人评判的，还要对最终结果进行加权平均。 如果多人评分是 一人一贯制 ”,即多人分别对整个指标体系从头至尾一一比较打分,则还要分别对其结果作一CI(K)，其算式致性检验。第K层各指标对总目标的综

16、合权数矩阵的综合一致性的指标为 为：其中，CI K表示第K层对于第K-1层第i指标的对应指标的判断矩阵 CI 一致性检验指标， i=1,2,.,mk-1 。同理RI ( K)的算式为：其中，RI K表示第K层中与K-1层第i元素的相对应指标判断矩阵的 CI值，i=1,2,mk-1。由上可得第 K 层指标对于总目标的综合相对一致性检验指标为：CR(k) = CI(k)/RI(k)同样，当 CR(k )小于或等于 0.01 时，认为综合权数具有满意的一致性，否则，就要对某些 矩阵进行调整或对某些人的评判结果进行剔除，以保证数据质量的可靠性。根据上述原则， 我们可以逐层算出各指标对总目标的综合权数，

17、 这样算出的权数要比主观赋 值更准确、 更科学， 因为它是以两两比较为基础考虑问题， 在比较过程中不确定的因素得到 了很大程度的阶段， 比多重比较更准， 另外它有严密的计算过程和一致性检验方法， 从而使 赋权准确度得到了较大的提高， 因此， 层次分析法不仅在权重系数的确定中是一种较好的方 法，而且在人员录用选拔决策之中也是非常有用的一种方法。八模糊综合评判法在学业质量管理中，特别是一些抽象性很高的(如道德品质、思想素质等)特质的测评，很 难用精确的数字进行描述， 即使用采用一定的等级评定来进行区分， 各个等级之间也没有一 条截然分明的界限， 评定所用的词汇 (评语) 也很难用精确的数字来表示，

18、也就是说这种测评往往带有一定的模糊性。 而测评的结果常常又要得出一个比较明确的结论， 这二者之间就 产生了矛盾。这了解决这一矛盾，学业质量管理引入了模糊 (Fuzzy) 数学中综合评判的原理 和方法， 对模糊性强的测评数据进行处理。 这种方法比常规的数学方法更合乎实际情况， 因 而在学业质量管理特别是现代人才测评中应用较为广泛。 以下是最常用的两种模糊综合评判 法。1 主因素决定法( min-max )方法( 1 )建立模糊关系设测评对象的因素集 U 和评价集 VU=(U1， U2， .，Un)V=（V1，V2，.，Vn） （2） 建立模糊矩阵根据确立的模糊关系 UXV,就可以建立一个模糊矩阵

19、，通过调查可确定单因素评判矩阵（已 归一化）为：其中，rij为第i个因素Ui的第j个评价Vj所占的百分比，Ow rij。（3）确定权重系数的矩阵A通过 delphi 或其它方法确定各评价要素的权重系数 Fuzzy 矩阵 A设， A=（a1, a2 ， .， an）, 一般规定为 （n 为评价要素项数 ）：（ 4 ）合成运算主因素决定法采用算子M（V, A）,用模糊数学中V （逻辑加max）与人（逻辑乘min）,对测评结果进行运算。B=AR上式表示：权重系数矩阵A与单因素评判矩阵 R以主因素决定合成法，就得到综合评价向量 B。 B 象征测评组在各权重系数下对被测者作出的全面评价。若 B=（ b1

20、1 ， b12 ， .， b1m ）， m 为评价等级数，那么：其中算子V ” “”分别为a V b=min（a.b）- 取小a A b=max（a.b）- 取大bj 表示测评组在主因素决定法综合评价中对被测者在 j 评价等级上的比率。则对该评判的模糊综合评判为：如果综合评判的因素是多层次的，可重复上述步骤，直到得到最终的综合评判结果。（ 1 ）归一化处理 把B (bl , b2，bm)中的bj (j=1,2,.,m )进行如下处理:B/归一化后记为 B。（2 ）计算综合评价总分值（ P）P=B?CT其中： C 为等级矩阵（向量）， CT 为等级矩阵 C 的转置矩阵。上述模糊综合评判中， 采用

21、的是取大取小的原则， 即取利最大， 取害最小， 这是模糊决策的 重要基础。 其特占是在各权重系数限制下， 评价结果取决于获得最大比率的指标项目， 其它 指标项目获得的比率大小作用不大。 单项指标优秀， 会在很大程度导致综合评价较高； 单项 指标差邮局会在很大程度上导致综合评价较差。 它比较适合对于某些才能突出的人才的选拔 与评价。 而对那些必须同时优化的全面评价， 由于运算过程中丢失的信息较多， 在反映评价 因素变化的过程中不很灵敏， 其结果有时会显得不够合理。 针对此缺陷， 现代人才测评中又 引进了矩阵运算法。2矩阵运算法矩阵运算法的前三步（即建立模糊关系、模糊矩阵、确定权数矩阵）与主因素法

22、相同。其差 异主要表现在第四步合成运算时的算子不同。在矩阵运算法中采用的算子M（?， +），与主因素决定法相比是用实数相加法代替模糊数学中的V （逻辑加max），用实数乘法代替模糊数学中的人（逻辑乘 min），对测评结果进行运算。即B=A?R上式表示：若 B=（b1， b2， .， bm）， m 为评价等级数，那么：bj 表示测评组在矩阵运算综合评价中对被测者在 j 评价等级上的比率。则对该评判的模糊综合评判为：如果综合评判的因素是多层次的，可重复上述步骤，直到得到最终的综合评判结果。九多元回归法多元回归是指用多个变量去预测某一个变量的方法。它的数学模型如下：y=a1X1 + a2X2 + a3X3 + .+anXn + b式中，y可看作是总体测评目标， X1, X2 , X3, . , Xn为代表N个测评要素，al , a2 ,., an 称为回归系数，其实质为各个测评要素的权重系数。它的大小表明各个测评要素对总体测评目标贡献的大小，当我们获得了一组测评对象在Y及其每个变量Xi等上的值，就可以估计出权重系数（al，a2，.，an）的大小。多元回归法常常用于预测性测评中，其前提是各 个预测源 （测评要素） 之间具有互偿性， 即对测评对象的总体测评目标来说， 当他在某一测 评要素得低分可以由他在其它要素上得高分得到