对360度反馈评价系统偏差的矫正研究.doc

对360度反馈评价系统偏差的矫正研究钟 卫 袁 卫摘要：360度反馈评价作为一种新的业绩改进方法在一些大公司里得到了广泛的应用。但是，在使用该方法时，如何消除由于评价者的因素和评分尺度的不同，所造成的异常评分和评分者间的不一致性问题，一直是研究者关注的问题。本文从统计分析的角度，结合实际案例，提出用剔除离群值和标准化的办法来消除这种系统偏差。关键词：360度反馈评价、系统偏差、离群值、标准化A Study on the Correction of Systemic Bias of 360-degree Feedback AssessmentAbstract：As a new method of improving on achievement, 360-degree Feedback Assessment has been widely used in some big companies. However, how to eliminate the impact of abnormal grades and disagreement among raters caused by different raters and different scales is a focus when we use the method. From the point of view of statistics, the author, by using a case, puts forward that removing the outliers and standardization can adjust the systemic bias.Key words：360-degree Feedback Assessment、systemic bias、outliers、standardization.360度反馈评价（360-degree feedback assessment），也称为全方位反馈评价(multi-rater assessment)或多源反馈评价(multi-source feedback assessment,简称MSF)。 Romano C. Conquering the fear of feedback. Human Resource Focus; 1994,71(3),327-341.传统的绩效评价，主要由被评价者的上级对其进行评价；而360度反馈评价则由与被评价者有密切关系的人，包括被评价者的上级、下级、自己、同事等,有时甚至包括顾客(包括外部顾客和内部顾客)等，分别匿名对被评价者进行评价。然后，由专业人员根据有关人员对被评价者的评价，对比被评价者的自我评价向被评价者提供反馈，以帮助被评价者提高其能力水平和业绩。作为一种新的业绩改进方法，360度反馈评价，由于其信息来源的多样性,反馈的准确性、客观性和全面性等优点得到了广泛的应用。Fortune 500强所有的企业都已经采用了这种评价方法。 360度反馈，来自中国管理传播网：/。作者：佚名。时间：2003-12-10。目前，国内的一些企业也开始采用这种评价方法。但是，该方法在使用时，也存在着一些不足。一、360度反馈评价存在的不足及一般的矫正方法从现有的资料看，360度反馈评价主要存在以下问题：（1）、评价者的个人偏见导致评分偏差。王丹、周曙. 360度考核的应用探析.商业研究，2003，6：22-24偏见常表现在以年龄、性别、其他社会群体及成员的认识和态度的问题上。在绩效考核中,被评者之间的个人差异(主要是指年龄、种族和性别这一类个人特点方面的差异),有时候也会影响他们所得到的评价,甚至会导致他们所得到的评价大大偏离他们的实际工作绩效。（2）、利害关系的权衡会使评分失真。王丹.周曙. 360度考核的应用探析.商业研究，2003，6：22-24在考核过程中,会出现有因维护自己的自尊、同事竞争、下级对上级权威的惧怕感而使考评有偏移。例如, 可能会给自己较高的评价，而给其他人以较低的评价；可能会给跟自己关系好的被评价者以较高的评价，给跟自己关系不好的被评价者以较低的评价。（3）、信息来源的多样性导致评分尺度不同。360度反馈评价由于其评价角度的多元化，不同的评价者所能够观察到的被评价者的工作绩效侧面各不相同,或者由于他们的评价标准不同,对被评价者的同一面有着不同的评价。 时雨等. 360度反馈评价结构和方法的研究，科研管理，2002，9：124-129对于由以上原因造成的360度反馈评价可靠性较差的问题,许多文章建议从以下角度进行改进,以使360度考核更真实、公正、可信。这主要包括：（1）、在考评时应将这些360度反馈工具分发给那些做诚实回答的考评人，那些提供过高或过低情况的员工不适合参加考评； 冯明. 360度反馈及其操作、研究和应用. 外国经济与管理.1998,11：8-12（2）、对评价者进行指导和培训，让评价者对被评价者的职位角色有所了解，让评价者知道如何来做出正确的评价，让评价者知道在评价的过程中经常会犯哪些错误。360度反馈，来自中国管理传播网：/。作者：佚名。时间：2003-12-10。诚然，上述措施在一定程度上能消除评价者的因素和评分尺度的不同所造成的偏差，但是要想完全消除这些不足，仅靠选择、指导和培训评估者显然是不够的。下文给合国内某家公司做360度反馈评价的实际案例，说明如何消除这种评价方法的系统偏差。二、原始评分的系统偏差及原因教育统计学中有这样一个基本假设：“教育问题中，往往出现样本容量大，因而可能利用大数法则(law of large numbers)以近似的途径作替代的统计分析”。 教育统计学，来自中国教育学科站点：/ 。作者：佚名。所以，当参加某项测试或打分的人数足够多时，可以假定这些分值近似服从正态分布。这是评价打分质量好坏的一个重要标志。假设该公司为每个被评估岗位量身定做了4个纬度的20项能力要求的问卷，以Average来表示每个被评估者在这20个问题上得分的平均值，共计有3235条员工间互评的记录。下面从两个角度考察原始评分的偏差。1、Average分布总体概况以3235条互评记录为考察对象，分别作出直方图和箱线图。 对箱线图的解释：从线的最小值到盒子的开始包含了1/4的观测值，从盒子的开始到盒子中间的线包含了1/4的观测值，从这条线到盒子的结束包含了1/4的观测，从盒子的结束到线的结束，包含了剩余的1/4观测。超过1.5倍的四分位数间距为离群值，以“O”表示；超过3倍的是极值，以“*”表示。其后的数值表示其在总体中的位置。找离群值的办法：先计算两个四分位点的距离，再乘以1.5倍，然后用这个值分别加上四分位数、减下四分位数即得上下离群值的范围从直方图看，存在一定程度的左偏；曲线不光滑；打45的人较多。从箱线图看，只存在一些低的离群值和极值；该图形不对称。2、每个被评估者得分情况以每个被评估者为考察对象，分别作出直方图和箱线图。从直方图看，有点左偏，曲线不光滑。从箱线图看，只存在低的离群值，而无高的离群值。正如前文中所提到的，造成上述系统偏差的主要原因有：第一,部分评价者给出了不合理的评分。这包括：（1）有些评价者对所有被评估者都给出了相同的评分；（2）一些部门的评分要明显高于其他部门；（3）整体上，打高分的纪录数过多。约62.4%的评分都在4分以上，这就导致均值过于靠后，从而打分的区分度不够。第二，评价者的心理因素严重影响了评分。从均值看，给上级的打分要高于给同事的打分，更高于给下级的打分。这种现象固然有对上级业绩的肯定，但无法排除下级因心理上的恐惧而不得不给上级打高分的可能。第三，评分尺度的不同造成了严重的偏差。由于不同的评价者具有不同的评分尺度，有些评估者对所有的人打分都很紧，有些评估者对所有的人打分都很松，还有些评估者对部分人打分松，部分人打分紧，这就造成了原始分数的不稳定。当用这些原始分数进行简单平均以考察每个被评估者的绩效时，会存在问题。这是因为不同评价者的原始评分的标准不同、内容不同,所反映的意义也不同，从而结果也就不尽合理了。所以，在对员工进行评估时，不能简单地用原始数据进行分析，需要调整。三、对原始数据的调整和标准化1、需要删除的记录有三类评分记录需要删除：（1）、对所有的被评估者均给出了相同的分数，也即标准差为0。结果有11个评估者，72条记录被删除。（2）、标准差不存在。这是指只给一个人评分，看不出他的尺度。有一条记录被删除。（3）、对评估者和被评估者来说都是异常值。如果一个分值对于评估者来说是异常的低（高）值，但对于这个被评估者来说却是正常值，这条评分记录不能删除。同样，如果一个分值对于被评估者来说是异常的低（高）值，但对于评估者来说却是正常值，这条评分记录也不能删除。符合对评估者和被评估者来说都是异常值的记录有11条。经过删除后，还剩下3151条记录。2、标准化 王进忠.张秀卿. 标准分及其应用.教学与管理。2001.3：95-97不同的评估者一般有不同的均值和标准差。统计上，均值和标准差不同时，一个评估者的值不能与另一个评估者的值相比较。一个粗浅的解决办法就是将不同的评分者变换到同一个尺度下，也即将原始得分转化为标准分。标准分是一种由原始分推导出来的相对地位量数,是用来说明原始分在所属的那批分数中的相对位置的，其本质是一种与位置状况相联系的相对分数。它在计算时, 是以某一个评分者所有评分的均值作为参照点,以这个评分者的标准差作为单位来表示距离的。其基本公式是: 式中，为某一评分者的一个评分，和分别表示该评分者的所有评分的均值和标准差。Z分数由正负号和绝对数值两个部分组成，正负号说明原始分是大于还是小于平均数；绝对数值说明原始分距离平均分数的远近程度。一批分数全部转换成Z分数后,它们的整个分布形态并没有发生改变。Z分数能准确刻画一个分数在一批分数中的相对位置。为了体现公平、公正的原则，TOEFL考试的成绩、部分省市的高考分数等，都是按照上述方法，将原始分转化成标准分。用此方法对所有的评分者的评分进行标准化，得到3151条新记录。四、系统偏差矫正后的分布1、Average分布总体概况（1）、直方图这个直方图较未修匀的图形显得较平滑，左偏程度也较原图形小。从箱线图看，存在一些低的离群值和一些高的离群值，都无极值,该图形近似对称。2、每个被评估者得分情况（1）、直方图直方图看上去较未调整之前的图形平滑得多，箱线图也呈现出高低离群值都有的一种近似对称的布局。五、结论从上述矫正前后的直方图和箱线图看，修匀后数据的质量明显比修匀前要高，这就验证了剔除离群值和标准化的办法起到了作用。另外，通过比较标准化前后每个被评估者