对主观评分结果进行评价的误区与对策(.doc

对主观评分结果进行评价的误区与对策* 课题来源：安徽省教育厅人文社科项目（2003JW049）作者简介：刘钦龙（1973），讲师，硕士；研究方向：武术教学与训练、体育运动计量学。刘钦龙（安徽师范大学体育学院，安徽，芜湖，241000）摘要：采用统计分析法，通过对主观评分的结果进行评价中统计处理的误区分析，提出秩相关分析与偏差分析相结合的综合评价更具有针对性。关键词：主观评分；评价，误区；对策 Misunderstanding and Countermeasurement to the Evaluation on Subjective Scorings ResultsLiu-qinlong Physical Education College Anhui Normal University Anhui Wuhu 241000Abstract: By means of statistical analysis, the author tries to analyze the misunderstanding and misuse of statistical processing in the evaluation on the results of subjective scoring, then points out that there would be no mistaking what the analysis is aimed at if the users combine rank correlation analysis with deviation analysis.Key Words: subjective scoring; evaluation; misunderstanding; countermeasurement1前言 在没有可以用物理方法计量的客观标准的竞赛项目中，如体操，武术、跳水、健美操、花样滑冰等，一般采取裁判员依据运动竞赛规则对运动员的现场的竞技水平进行主观评分的方法。最常用的评分形式是：若干裁判员对每个参赛者各自独立地同时打分，然后去掉一个最高分、一个最低分，将其余分数的算术平均数作为运动员的最后得分。这种评分形式在理论上相对合理，在操作中简便易行，同时也为运动员的最后名次的排秩提供了相对客观的数值依据，但也有其不合理的一面，即如果裁判组的裁判员较少的情况下，最后得分的客观性相对较低，近年来，许多主观评分项目为了提高评分的客观性，增加了裁判组内打分裁判人员的数量，其目的是使最后得分更能反映更多裁判员的观点。但由于我国还没有专业的裁判员队伍，多数裁判员都有各自的工作，因此在增加评分裁判员数量的情况下，如何对裁判员的评分水平进行评价，为挑选和培养高水平的裁判员作参考依据。到目前为止，对主观评分结果的合理性评价还没有一个公认的行之有效的方法。在实际操作中，判断某个裁判员的评分水平时，往往根据该裁判员评分中的无效分次数，以及在关键名次上是否出现了颠倒分的现象进行直观判断。事实上，一场比赛与评分活动构成了一个相对封闭的系统，最后得分分值的大小是多数裁判员集体意愿的反映，一方面，它是运动员名次进行排序的依据；另一方面，裁判员的评分分值与最后得分之间的关系也应成为竞赛管理者为以后的比赛挑选优秀裁判员的重要依据。但是怎样根据最后得分对裁判员进行评价，也是一个值得研究的问题，从统计学角度分析，对裁判员的评分与最后得分的关系可以从两个方面描述，第一，裁判员评分与最后得分的一致性程度；第二，裁判员的评分相对于最后得分的离散程度。把握了这两个方面，应当说就可以根据最后得分对裁判员的评分做出相对合理的评价。但是，描述数据一致性和离散性的方法很多。选择什么方法才能使评价结果既不失科学性，又具有一定的区分度呢？如果只根据表面的数据进行分析，往往会进入分析的误区。2研究对象第36届世界体操锦标赛女子自由体操决赛的评分结果，数据见表1。表1 36届世界体操锦标赛女子自由体操决赛成绩一览表运动员裁 判 员最后得分1234561078.809.159.259.409.359.209.2371589.459.309.459.309.359.409.2751518.508.508.458.458.458.308.4621678.858.908.858.808.958.858.8621889.159.109.159.159.259.059.1371879.609.409.409.459.409.459.4251559.559.059.409.509.459.459.4501219.459.409.459.559.659.509.487注：本例中187号和155号运动员由于在比赛过程中各有一次单脚出界，被裁判长扣0.1分，最后得分分别为9.325和9.35。但考虑到研究的主要目的是裁判员的评分合理性，在不影响运动员最后名次的前提下，仍以9.425和9.45作为参照标准。3传统评价的误区3.1误区1：评分差异性分析差异性分析是将每个裁判员的评分与最后得分进行总体均值的差异性检验，依据检验结果判断裁判员的评分是否与最后得分存在显著差异。如对单个裁判员的评分与最后得分的差异分析，根据表1数据对每位裁判员的评分与运动员的最后得分进行差异性检验，结果如表2。表2 裁判员评分与最后得分的差异性t检验一览表运动员裁 判 员最后得分123456平均值9.179.109.189.209.239.159.17标准差0.410.300.360.390.370.410.35p值0.990.690.960.860.730.93差异性无无无无无无差异性检验结果表明，各裁判员的评分与最后得分之间没有显著差异，可以认为每位裁判员的评分都是合理的。但问题是主观评分中的最后得分从某种意义上可以说是各个裁判员评分的加权平均值，已经包含了裁判员评分的大部分信息，用总体均值的差异性检验的结果又会如何呢？3.2误区2：评分的矩相关分析相关系数是两个变量之间线性关系密切性的度量，相关系数绝对值的大小反映量变量关系密切的程度。根据表1计算各裁判员的评分与最后得分的相关系数，结果如下：表4 裁判员评分与最后得分的矩相关系数裁判员123456相关系数0.880*0.913*0.980*0.990*0.984*0.989*排序654132相关分析表明，6位裁判员的评分与最后得分之间都高度相关，且相关系数的绝对值均在0.85以上。根据相关系数的大小对裁判员的评分水平排序：465321。任何一场评分类比赛，其主要目的在于选出优胜者，就是要给参赛者排出名次，裁判员给各参赛者的评分主要是为最终名次的排序提供一个评秩的数值依据，分值的大小本身往往并无多少精确的含义，而且在不同场次比赛中也无可比性。因此在评分活动中，具体的数量关系只是表面的、非本质的东西，最本质的东西是评分中所包含的衡量各参赛者水平高低的次序。比较一下体操运动员的比赛得分与田径运动员的比赛成绩（全能得分除外），可以看出这是两类不同的数据：体操运动员的得分主要是为确定比赛名次的依据，不能作为精确的度量，它仅能用于这次比赛而不能用来与以往比赛的得分相比较，而田径成绩则是一个由精确意义的度量。因此，如果根据裁判员评分的数值进行相关分析，可能由于数据携带的“噪声”过大，导致方法的区分精度降低，难以判断出裁判员评分水平的高低，因为主观评分类比赛中往往在比赛的开始阶段定下一个参考分，其目的就是确定分值的大致范围，防止裁判员之间的评分差距太大，在理论上相当于给定样本的特征值和总体参数的区间长度，此后，裁判员就以此参数进行评分。可想而知，对这些数据进行差异性检验的结果是什么，对数据进行矩相关分析数据间也会高度相关。3.3误区3：极端数据分析评分中的极端数据反映裁判员打分突出的高与低的表现。在实际应用中，管理者往往据此对裁判员评分水平的高低做出评价。设ni, nmax, nmin分别是裁判员i对N个参赛者的评分中接近平均分的次数，最高分的次数，最低分的次数。显然，0niN，0nmaxN，0nminN，0ni+ nmax+ nminN，-Nni- nmax- nminN，由此可以得出指标Ti=(N- nmax- nmin)/N, 其中对同一名运动员如果出现一个以上（设有k个）的相同的高分或低分，则某个裁判员最高分nmax或最低分nmin的取值为1/k。Ti大，则最高分和最低分次数nmax+ nmin小，接近平均数的次数ni大，自然认为裁判水平高。表5 6位裁判的评分的极端数据分析裁判员123456高无效分数3.50.512低无效分数12.830.331.51.332T分0.4380.5840.9590.6880.5840.750裁判水平排序641342由Ti分值可以看出3号裁判员的评分水平最高，1号裁判员的评分水平最差。然而在实际应用中，也有可能个别裁判员从头至尾的评分总是比其他裁判员的评分高，那么依据Ti值，该裁判员有可能是被认为水平较差，但是，如果他的评分秩次与最后得分的秩次比较相符的话，也就是说，该裁判员的评分能够比较准确的区分运动员演练水平的高低，只是总体的分值相对较高，这时，如果仅依据Ti进行判断的话就有可能出现误判。原因在于极端数值分析只考虑了评分的稳定性，而没有考虑裁判员评分与最后得分的一致性。4对策4.1秩相关分析 对主观评分结果合理性的评价，传统的评价方法局限于评分之间表面的数值关系，而忽视了评分的实际意义。实际上，如果将评分结果的具体数值部分予以丢弃，只保留各评分秩大小关系的信息，乍一看好像丢失的信息过多，但事实恰好相反，这样恰恰给出了数据中最稳固、最一般的关系，即大小顺序关系，在此基础上计算秩相关系数，比计算原始数据的矩相关系数更能反映裁判员评分与最后得分之间的关系。对表1进行秩变换，计算出每位裁判员的评分与最后得分的秩相关系数，对单个裁判员评分的合理性分析。表7 裁判员评分与最后得分的秩相关系数裁判员123456相关系数0.8020.7430.892*0.976*0.994*0.994*名次56431.51.5注：p=0.05,df=6,r=0.886由表4可以看出，6位裁判员的评分与最后得分都成非常显著相关，而表7表明4号、5号和6号裁判员的评分与最后得分显著相关，1号和2号裁判员的评分与最后得分不相关。通过表4、表7比较，可以看出，秩相关系数对判断主观评分项目裁判员的评分水平具有较好的区分度。对裁判组的整体评分效果的评价依然依据裁判员评分的秩次转换结果，用协和系数W来度量。设m个裁判组成一个裁判组，分别对n个运动员进行评分，第i个裁判员对第j个运动员的评分秩为rij，则Rij=为裁判组对第j个运动员的评秩之和。显然，当评判组意见比较一致时，各个秩和R1,R2-Rn之间差距较大，而当裁判组的意见不分歧较大时，R1,R2-Rn之间差距较小。定义协和系数为W=Q/m2(n3-n),其中Q=表示实际离差平方和。W值越接近1，表明裁判组内部意见一致程度越高。本例W=0.837，说明裁判组整体评分效果较好。但是，秩相关仅反映了裁判员评分与最后得分的一致性大小的关系，若要全面衡量裁判员评分的合理性，还必须对裁判员评分的相对稳定性作评价。4.2偏差分析如果裁判员的评分与最后得分比较接近，我们有理由认为该裁判员的评分水平较高。设第j号运动员的最后得分真值为j则=（1，2-n）是所有参赛运动员的最后得分真值，第i号裁判员对所有运动员的评分=(,-)是一组观察值。依据表1中6位裁判员的评分结果定义与最后得分之间的距离d2=。d2值越小，表示裁判员的评分与最后得分的差距越小，裁判员的评分水平越高。表8裁判员评分与最后得分的偏差一览表裁判员123456d20.2650.1810.0360.0380.0660.052裁判水平排序651243偏差分析表明，3号裁判员评分的稳定性最高，4号次之，6号裁判员评分的稳定性最差。4.3综合评价仅仅采用秩相关分析或偏差分析对主观评分结果进行评价都具有一定的片面性。只有对裁判员评分的稳定性、裁判员评分与最后得分的一致性作综合评价，才能全面地反映裁判员的评分水平。因此，可以将秩相关分析的结果与偏差分析的结果进行加权平均，根据加权平均值对裁判员的评分水平作综合评价。但是，如何确定权重还有待于进一步研究，笔者认为在主观评分过程中，裁判员评分与最后得分的一致性更能反映裁判员的水平，因为它反映的是秩次的一致性，应当赋予较高的权中。如果确定一致性和偏差分析的权中都为0.5，则根据表7，表8分析结果，6位裁判员评分的合理性高低排序为：634521。5小结与建议1） 传统的根据裁判员的无效分次数的多少和关键名次上是否出现颠倒来评价裁判员水平的高低，虽然简单、直观，但具有一定的主观片面性，且未能考虑到所有评分之间、裁判员评分与最后得分之间的一致性关系，容易出现误判。2） 技能类运动竞赛的评分特点决定了裁判员评分与最后得分之间的差异性参数检验、方差分析和矩相关分析难以区分裁判员水平的高低。 3）由于主观评分类比赛的特殊性，在高水平的比赛中，由于运动员的水平比较接近，水平较差的裁判员难以区别不出运动员竞技水平的高低，而力求给保稳分。这种裁判员的打分的分值波动小，具有一定的隐蔽性，用极端数据和偏差分析很难判断出来，但是，即使该某裁判员总是力求给出中间分，其评分结果的序次很难与最后得分的序次具有较高的一致性。因此，采用秩相关分析具有相对的合理性。另外，差异性检验以及皮尔森相关分析都是假设总体服从正态分布的，而在实际应用中，由于分析的对象相对集中在决赛成绩，样本含量比较少，且分布不明确，这种情况下使用等级相关分析性对合理些。4）建议在实际应用中采取偏差分析与秩相关分析相结合，对裁