评分系统的建立.doc

评分系统的建立摘要在各种评选活动中，为了最终评分的公平公正，我们需要全方面的考虑评委的打分特点，因为每个评委都有自己的评分主观性，不可能绝对按照评分标准来评分，因此也就会产生由于评委个人原因而产生的偏差。针对问题一，我们采用随机分配模型。每个评委需要评卷n3m次。将所有论文随机排布，每篇论文安排3个评委，随机对每一篇论文进行评委匹配。对于每个评委历次评分通过数据标准化，制定相同起评分，相同高低分差还原标准数据的方法，消除了上述因素的影响。将所得数据与选手最终得分的数据相比较，得到每个评委的评分可信度，继而得到相应的权值。然后将每篇论文的三个评委的打分进行横向分析比较，确定每个评委的评分权值，加权求和的结果作为一篇论文的最终成绩。针对问题二，我们采用了模糊集修正模型。确定绝对不公平评分模糊集和绝对公平评分模糊集，通过对历次最终评分和评委打分的比对，当评委评分与论文最终得分小于一个确定的比对偏差时，我们认定为一次准确评分，统计每个评委在有限次评分过程中的准确评分次数，建立合适的模糊集隶属函数。最终根据隶属函数修正了每个评委的评分可信度，从而修改分数权值比重。加权求和得到论文最终分数。针对问题三，我们采用了数据累积存储、带自修正功能的类神经网络模型。这个模型建立在模型一二的基础上，能够很好的弥补评分系统无法自行更新的缺陷。通过评委评分次数的不断累计，每次评分的结果记录到类似于评委评分历史记录的文件中，评分系统通过对该评委评分记录的分析比较，不断修正其权值。最终建立了能够自我修正的评分系统。关键词：评分系统、模糊集、隶属函数、系统自修正、类神经网络1、 问题重述信息化条件下，各项成绩的确定往往需要多项指标共同确定，以建模竞赛为例，假设有n篇论文提交，m个阅卷老师，要求每一篇论文需要被3个阅卷老师审阅打分，现实的情况是，不同的阅卷老师的评分标准不尽相同，有的老师阅卷比较严格，每一分都有自己的想法；也有的老师评分比较随意，所有的分都差不多，等等。问题一：建立一个合适的模型，首先确定每一位阅卷老师的具体的阅卷论文是哪些？进而如何将三个成绩规范为一个成绩？最后形成每一篇论文的最终成绩。问题二：在评分过程中，由于不同专家评分特点或是其他原因导致3个成绩差异较大，此时如何修正模型？问题三：你有没有更好的评分策略，提出自己的想法并修改模型。2、问题分析本题研究的评分系统优化问题，对于最简单的评分法则求平均值的方法，其弊端时显而易见的。例如：有些评委的起评分比较高，有些评委的起评分比较低；有些评委的高低分差比较小，有些评委的高低分差比较大因此，如何更好的利用三位评委的评分，得到作品的一个比较公平公正的得分是该问题的关键，而解决这个问题的核心在于如何制定一个准确的评分法则，更进一步来说，是确定三个评委分数的权值系数。对于一个系统来说，它的一些参数应该是由实际的数据统计得来的。因此我们可以通过一定量的数据，寻找其统计学规律，确定系统所需的参数值。这样的参数是由实际数据得来的，因此应对其进行一定的处理。我们假设一共有100篇论文，5个评委进行具体讨论。 对于问题一，我们假设不考虑评委的年龄、反映程度、浏览仪器操作熟练程度等主观因素，以及每篇论文的知识点复杂程度、论文篇幅等客观因素对论文评定效率的影响，为了更加公正的评定，防止评判过程中的徇私舞弊行为，因此对于所有的论文采用hash函数混排。为了提高判卷的效率，对于所有的n篇论文共计n3=300次评分次数平均分配给5个评委。对于每个评委的历次评卷分数进行纵向的标准化处理，得到每个评委的评卷标准值。对于每篇论文的3个评委进行横向分析，确定每个评委的评分权值，加权求和的结果作为一篇论文的最终成绩。对于问题二，将每个评委的评分特点纳入评分系统考虑的范畴，避免起评分不同、高低分差值不同带来的评分失效，我们可选择模糊集模型，确定绝对不公平评分模糊集和绝对公平评分模糊集，通过对历次最终评分和评委打分的比对，当评委评分与论文最终得分小于一个确定的比对偏差时，我们认定为一次准确评分，统计每个评委在有限次评分过程中的准确评分次数，建立合适的模糊集隶属函数。最终根据隶属函数得到了每个评委的评分可行度，继而修正每个评委的分数权值比重。加权求和得到论文最终分数。对于问题三，我们为了更好的利用评委以往的评分记录，从而更加准确的确定评委评分的权值，我们选择了类似于神经网络的机制，而与其不同之处在于，该系统的隐层和输出层不需要权值加和，而是直接将本次评分记录存入该评委的评分记录文件中计算出该评委评分新的权值，从而使得评分系统拥有了类似于神经网络的自修正功能。问题一解题流程图：评卷任务分配（hash分配法则）单个评委评卷分数纵向标准化三个评委评卷分数横向分析加权求和归统为论文最终分数问题二解题流程图：问题三解题流程图：类神经网络模型初始训练过程可使用评分模型评分并反复修正3、模型假设与符号说明3、1模型假设(1) 假设论文评分是以百分制；(2) 每个评委评卷效率无差别；(3) 每篇论文评阅所需时间基本无差别；(4) 每个评委评卷标准无巨大变化；(5) 假设A,B,C,D,E即为评委姓名，不存在冒名评分的现象；3、2符号说明 第i个评委的评分权重 第i个评委的评分 第i个评委的最终评分误差 第i个评委评分可信度，-Aver 标准评分起评分Bo 标准高低分差hash 随机分配的杂凑函数std（a,b） a,b的标准差mean（a,b） a,b平均值4、模型的建立与求解构造5种典型情况评委的打分标准：一号评委 评分在90分左右，且分布随机二号评委 准确度较高三号评委 评分只有60 75 90三个档位，但评分合理四号评委 评分在60分左右，且分布随机五号评委 评分随机分布在6090分之间以下为五位评委评分分布直方图：4、1模型一： 随机分配模型首先，我们对选定的100篇论文编号1100，运用matlab软件，用hash函数对其进行随机排布。将五个评委三个一组随机组合，得到10种评委组合，10次调用10种组合，即可完成100篇论文的随机分布。示例如下（其中A,B,C,D,E代表五位评委，1100的数字代表论文编号）：（相关程序代码见附录二）ABE28ACE12ADE75BCE13BDE72CDE30ABE2ACE41ADE97BCE4BDE68CDE23ABE96ACE34ADE54BCE60BDE63CDE57ABE27ACE35ADE52BCE61BDE45CDE93ABE37ACE16ADE73BCE38BDE7CDE53ABE83ACE98ADE80BCE5BDE8CDE42ABE90ACE21ADE59BCE64BDE66CDE69ABE67ACE40ADE58BCE82BDE94CDE89ABE24ACE20ADE22BCE17BDE77CDE14ABE49ACE29ADE88BCE71BDE6CDE55然后，我们需要对评委的历次评分进行纵向统计分析（具体数据见附录一）。首先对第i个评委历次评分做标准化处理，这样可以避免起评分不同以及高低分差值不同对最终结果的影响。然后制定统一的起评分和高低分差值，利用标准化数据还原得到标准统一的数据，将所得数据与选手最终得分的数据相比较，得到每个评委的评分可信度，继而得到相应的权值。由5种典型评分标准可知，该结果跟所建立的典型情况具有很好的符合度。例如：对于A,B,C评委，通过上述方法得到其与最终评分的误差为ABC-0.1583-0.00590.0270由于可信度与评委最终评分误差成反比。因此B评委可信度最高，C评委可信度次之，A评委可行度最差。由此求得三位评委评分权值为：（相关程序代码见附录二）=（)/2=0.086=()/2=0.485=()/2=0.429若三个评委给某篇论文评分为：ABC879092该篇论文最终得分为：=90.64、2模型二： 模糊集修正模型首先引入隶属度区间分布函数的概念。定义 如果有函数U()=()=,其中是模糊数的隶属度函数;L为 u在 - 到 x处的 Lebesque测度,则称 U()为模糊数的隶属度区间分布函数。容易得到：()= 因此建立模糊集模型。构造两个模糊集绝对公平模糊集和绝对不公平模糊集。建立准确评分标准当评委评分与最终评分差值小于4分，记作1次准确评分。统计评委60次评分经历中准确评分占总次数的百分比，当值大于95%时，该评委完全属于绝对公平模糊集；当值小于20%时，该评委完全属于绝对不公平模糊集；取值趋于两阈值之间时将该值作为该评委的隶属度。（注：两阈值是由实际数据仿真测量得来） 然后根据所选评委的隶属度不同确定不同的评分求和权值。将选择的三位评委的加权分数相加即可得到某篇论文的最终分数。（相关程序代码见附录二）4、3模型三： 类神经网络模型 本模型是在模型二的基础上，仿造神经网络的自学功能，构建起来的。 以下为其学习过程：第一次评分： = (最终得分)第二次评分： = (最终得分)自修正过程：1、历次（此时为2）评分数据标准化：一号评委：，标准化后按统一标准还原数据：= Aver+Bo= Aver+Bo= Aver+Bo= Aver+Bo评分误差：=mean（-），（-）同理求得二号评委的评分误差：=mean（-），（-）三号评委的评分误差：=mean（-），（-）再根据模型一的方法修改权值系数：=（)/2=0.086=()/2=0.485=()/2=0.429第三次评分：自修正过程：依次类推完成类神经网络的学习过程。与神经网络模型的相同点在于：1、该系统同样需要一定数据量的“训练”才能够很准确的给出分数。在训练之初，该模型评分标准采用了模型一中三个评委横向分析的方法。2、该系统同样具有自修正功能。但与神经网络不同的是：该模型的隐层以及输出层没有采用权值相加求和的综合方法，而是直接将本次评分记录存入该评委的评分记录文件中计算出该评委评分新的权值，从而使得评分系统拥有了类似于神经网络的自修正功能。该模型设计了基于VC6.0的用户操作界面可供操作使用。其操作界面截图如下：（相关程序代码见附录二）5、模型的评价模型一首先进行了任务的分配，采用hash函数的随机分配法则，其作用是有效的避免了论文评价过程中可能出现的造假现象，并且增加了论文评价过程中的公平度。分配完评分任务后，我们首先着眼于每个评委，希望通过对其以往评分数据的分析，找到其评分特点，如：起评分的高低、高低分值的差距等。通过数据标准化，然后制定相同起评分，相同高低分差还原标准差的方法，消除了上述因素的影响。最后通过与最终评分的比较得到相应的评委评分的权值，加权求和得到最终分数。经过仿真测试，最终结果的符合度较高，能够很好的达到合理评分的目的。模型二采用了模糊集的概念。其本质是打破了“非黑即白”的评价模式。对于一个评委我们给出了两个模糊集绝对公平模糊集和绝对不公平模糊集。根据实际数据制定了准确评分的标准。通过对评委有限次评分准确评分次数的统计，得到隶属函数，从而得到了所有评委的评分可信度。根据评委的可信度，确定该评委在评分中所占的权值。较为科学准确。模型三是在于一二模型的基础上，将每个评委的评分累存在一个“评委评分历史记录”中，通过一定次数的“训练”，得到一个可信度较高的论文评价体系，是系统具有了类似于人工神经网络的自学性和自修正性。该系统具有一定的继承性和记忆功能。6、模型的优化和改进6.1大波动重新评价模型结合实际，我们可以借鉴高考评分的方式，对于一篇论文，如果三位评委评价的分值波动过大，将会被放置进重评集合中。对于整个重评集合，我们可以采用如下两种方法重新评价，进而得到更加合理的评价结果：1、选择更加权威的教员评分；2、采取多人评分取均值的方式。6.2 评委淘汰机制我们可以在原模型的基础之上，对于评分可信度较低的评委采取类似于“末位淘汰”的机制，或者减少其判卷次数的方法，提高整个系统的评分可信度。7、参考文献1姜启源，数学模型（第三版）,北京：高等教育出版社，20032薛定宇，陈阳泉，高等应用数学问题的Matlab求解（第二版），北京：清华大学出版社，20083 万中,梁文冬,卢宗娟，模糊数的隶属度区间分布函数，重庆理工大学学报，2011年1月4谭浩强，C语言程序设计，清华大学出版社，20055陈守煜,袁晶瑄，基于可变模糊集的模糊聚类迭代模型及其应用，大连理工大学学报，2008附录一A评委60次打分记录评委打分最终得分评委打分最终得分评委打分最终得分90.4047962.1472291.2337395.4676894.1670682.9849791.5074593.0206794.647685.1177892.3798968.7767190.9001260.5403192.1496475.2009191.3719666.7249893.5808391.8931990.2448891.3895191.4782163.5697193.9513276.1965492.4431568.2403493.0627397.2215891.6566468.0342793.4289172.1283394.4531966.7515291.3055387.2385391.8147182.6685493.5722463.5130591.94292.3070492.0049871.7054791.007560.1818994.4868765.1163792.5717683.5368494.2260977.9012493.8338979.7882690.2275578.6642593.1219361.8670491.2214576.9718592.2349197.8053193.1083597.047292.2732487.3869292.092293.1709894.7744775.0011494.1273778.3115592.0592183.1659191.4770768.8595292.0163276.7919693.5702866.4819593.159195.4754493.2579967.925290.5138994.6855292.4407682.0209790.7621680.6467991.9008663.5623894.7132573.6070791.6995388.5512893.6380689.6367891.7326395.4344490.0964371.9115591.2926694.137590.9984591.1008194.7846270.1319492.3475558.2287290.490560.162893.0440264.2643294.2875778.7740493.2605891.28654B评委60次打分记录评委打分最终得分评委打分最终得分评委打分最终得分99.5432397.6288672.148370.1543166.1840964.2643282.5727280.6541470.5855568.6032497.4295395.4676868.8212566.987790.2928488.4893670.1667668.2403499.2238997.3473777.427775.6120474.0163172.1283386.6729184.8214568.8299766.8545484.520582.6685487.3254185.5246167.5847765.7339699.7857297.8053177.9018876.0264771.2238269.3496995.0962193.1709880.6315478.6594375.5122873.6925285.0378583.1659166.2937664.38477.8293975.9693791.5813289.6367866.8529364.9961460.3668658.4136295.9822294.137577.6256875.7467464.1078162.1472260.0871358.2287290.0976688.1140394.9817793.0206768.6448966.7249880.7814278.9377562.4302460.5403165.416263.5697185.0579783.127489.1025587.2385399.144897.2215897.9675596.0267394.1233792.3070479.7889577.9012498.722696.8558867.1071365.1163763.7683661.8670484.7962482.8135480.3077378.3115598.848497.047285.6308383.6819578.7157276.7919683.9282182.0209775.9592774.0052269.793867.925275.5538873.6070799.1051397.2041571.9501570.1319497.4337295.43444C评委60次打分记录评委打分最终得分评委打分最终得分评委打分最终得分9093.138877576.026476068.603249093.201337578.659439088.489369097.316977585.117787575.001147582.645927575.200916068.859526067.105656064.996146066.854546058.571337575.746746065.733967580.799796071.705479091.100817578.358717583.536846060.16287585.00177578.937757573.692526069.313337583.12747575.969379091.893196066.481956062.147227576.196549094.685527587.238539097.628869096.855887578.311557580.654147582.813546070.131947579.788267578.774046068.240347576.971857582.984979097.805319097.347377574.005229089.636787584.821459097.204156066.724987580.646796066.751527577.901249088.551286063.513057582.02097D评委60次打分记录评委打分最终得分评委打分最终得分评委打分最终得分76.0590368.0342794.8395880.7997973.7092985.1177877.460566.987780.4733960.1818980.7426364.9961472.3516193.1388774.6412775.6120466.3879972.1283392.3987487.3869286.0923378.3587166.5465871.7054784.2960285.5246160.9325295.4754477.1954678.9377586.0761893.2013384.5367269.3496969.3225593.1709869.9281671.9115565.5861985.001760.136266.4819596.5664164.38481.8293591.2865467.9812196.8558883.304397.3169763.3471158.4136276.3136894.137564.7484991.3895182.1964969.3133366.5106978.7740473.1629188.1140377.1955293.0206770.1170874.0052273.5667982.6459260.414391.8931965.5679963.5697191.0007378.6642563.5076697.6288687.3765266.7515284.8954996.0267387.4997492.3070477.8440568.6032499.4099767.1056567.1035579.7882694.718961.8670468.3061863.5623875.5651597.3473798.3725975.0011484.9228683.6819577.9083776.7919667.2892366.8545462.2086358.5713371.2233380.6467999.6028473.6070794.0541168.7767166.0647576.0264777.0334591.1008187.4915270.1543194.2596464.2643263.6791273.69252E评委60次打分记录评委打分最终得分评委打分最终得分评委打分最终得分61.9613260.5403163.1840691.3895163.8244870.1543161.3240976.1965462.1393475.7467460.7466380.7997962.5513968.0342760.8562488.1140364.0417697.2215864.0518780.6541461.8334382.6459261.742963.5130562.3366166.987764.3706882.6685461.2678660.1818962.5925393.1388762.2122783.5368463.5174388.4893662.988565.1163764.6039778.6642563.5311375.6120462.9074176.9718562.3177283.127460.7530878.3587163.8192387.3869261.7224596.0267360.2626297.047264.1987584.8214561.0472467.1056563.2477468.8595264.981685.5246160.353283.1659161.1669295.4754463.3006893.2013360.0992994.6855261.1879365.7339660.7311967.925264.984363.5623864.3708669.3496963.709988.5512864.5943182.8135464.3036785.001764.3630471.9115560.6700383.6819564.8184295.4344462.3689278.6594361.0252458.5713364.4316460.162861.7331664.38462.800758.2287262.6883991.2865461.4905797.3169764.3678282.9849761.2125175.9693760.6596795.4676863.0491468.7767161.8197558.4136261.9097775.2009161.4278697.2041563.3876869.31333附录二基于MATLAB的相关程序：评分系统主程序：clc;%num%num=100;%numy1=90+abs(rand(num,1).*5;%190y2=60+abs(rand(num,1).*40;%2%3607590for n=1:numif(y2(n,1)60&y2(n,1)75&y2(n,1)90) y3(n,1)=75;else y3(n,1)=90;endendy4=60+abs(rand(num,1).*40;%460100y5=60+abs(rand(num,1).*5;%560y6=y2-2+abs(rand(num,1)*.2;%xlswrite(D:a.xls,y1,sheet1,a1);xlswrite(D:a.xls,y2,sheet1,b1);xlswrite(D:a.xls,y3,sheet1,c1);xlswrite(D:a.xls,y4,sheet1,d1);xlswrite(D:a.xls,y5,sheet1,e1);xlswrite(D:a.xls,y6,sheet1,f1);%yy1=xlsread(D:a.xls,sheet1,a1:a100);yy2=xlsread(D:a.xls,sheet1,b1:b100);yy3=xlsread(D:a.xls,sheet1,c1:c100);yy4=xlsread(D:a.xls,sheet1,d1:d100);yy5=xlsread(D:a.xls,sheet1,e1:e100);yy6=xlsread(D:a.xls,sheet1,f1:f100);%yy1=abs(yy1-yy6)/100);yy2=abs(yy2-yy6)/100);yy3=abs(yy3-yy6)/100);yy4=abs(yy4-yy6)/100);yy5=abs(yy5-yy6)/100);n1=zeros(5,1);%for n=1:num if(yy1(n,1)=0.03)n1(1)=n1(1)+1; end if(yy2(n,1)=0.03)n1(2)=n1(2)+1; end if(yy3(n,1)=0.03)n1(3)=n1(3)+1; end if(yy4(n,1)=0.03)n1(4)=n1(4)+1; end if(yy5(n,1)=0.03)n1(5)=n1(5)+1; endend%100for n=1:5 n1(n)=n1(n)/num;endfor n=1:5 w(n)=lishu(n1(n);end权值计算程序：clc;yy1=xlsread(D:b.xls,A,a2:a61);yy2=xlsread(D:b.xls,B,a2:a61);yy3=xlsread(D:b.xls,C,a2:a61);yy4=xlsread(D:b.xls,D,a2:a61);yy5=xlsread(D:b.xls,E,a2:a61);yy6=xlsread(D:b.xls,A,b2:b61);yy7=xlsread(D:b.xls,B,b2:b61);yy8=xlsread(D:b.xls,C,b2:b61);yy9=xlsread(D:b.xls,D,b2:b61);yy10=xlsread(D:b.xls,E,b2:b61);y1=(yy1-mean(yy1)./std(yy1);y2=(yy2-mean(yy2)./std(yy2);y3=(yy3-mean(yy3)./std(yy3);y4=(yy4-mean(yy4)./std(yy4);y5=(yy5-mean(yy5)./std(yy5);y6=(yy6-mean(yy6)./std(yy6);y7=(yy7-mean(yy7)./std(yy7);y8=(yy8-mean(yy8)./std(yy8);y9=(yy9-mean(yy9)./std(yy9);y