1996MCM_B 建立更好的模拟评委模型-樊佩珊

1、MCM96问题-B 竞赛评判问题在确定像数学建模竞赛这种形式的比赛的优胜者时，常常要评阅大量论文。譬如说，有P100份论文，一个由J位评阅人组成的小组来完成评阅任务，基于竞赛资金对于能够聘请的评阅人数量和评阅时间的限制，如果Pl00；通常取J8理想的情况是每个评阅人看所有的答卷，并将它们一一排序，但这种方法工作量太大。另一种方法是进行一系列的筛选，在一次筛选中每个评阅人只看一定数量的答卷，并给出分数。为了减少所看答卷的数量，考虑如下的筛选模式：如果答卷是被排序的，则在每个评阅人给出的排序中排在最下面的30答卷被筛除；如果答卷被打分(譬如说从1分到10分)，则某个截止分数线以下的答卷被筛除。这样

2、，通过筛选的答卷重新放在一起返回给评阅小组，重复上述过程。人们关注的是，每个评阅人看的答卷总数要显著地小于P评阅过程直到剩下W份答卷时停止，这些就是优胜者。当J100 时通常取W3。你的任务是利用排序、打分及其它方法的组合，确定一种筛选模式，按照这种模式，最后选中的w份答卷只能来自“最好的”2W份答卷(所渭“最好的”是指，我们假定存在着一种评阅人一致赞同的答卷的绝对排序)。例如，用你给出的方法得到的最后3份答卷将全部包括在“最好的”6份答卷中。在所有满足上述要求的方法中，希望位能给出使每个评阅人所看答卷份数最少的一种方法。注意在打分时存在系统偏差的可能。例如，对于一批答卷，一位评阅人平均给70

3、分，而另一位可能给80分。在你给出的模型中如何调节尺度来适应竞赛参数(P，J和W)的变化?建立更好的模拟评委模型摘要我们要设计一个比赛的论文评阅系统，来尽可能满足两个目标：使每位评阅员的评阅的论文尽量少，同时要保证比赛的公平性。我们首先设计一个模型，使之能预先估计出仅对两份论文进行的人为判断和选择。模型的基本前提是，两份在绝对排序上越靠近的论文，排序上被颠倒的可能性就越大；相反，它们在排序上越不靠近，被颠倒的可能性越小。我们的模型适用于任意数量的评阅员、论文和优胜者。P份论文分成S堆。公平起见，每一堆由两位评阅员评阅。W份论文晋级到下一轮。如果两位评阅员对哪W份论文晋级上意见不一，由评阅组长决

4、定。每一轮如此进行下去，直到最终剩下2W份论文时，此时由四位评阅人和评阅组长投票决定出W名优胜者。我们可以预先设定评阅过程中的总评阅次数，以及每位评阅人需进行的评阅的最大数量。我们计算出最优的评阅人数使每位评阅人的评阅量大致相同。经计算机测试，我们发现模型从2W份论文中选出W份失败的概率不超过0.1%。失败的情况是由评阅中的人为因素引起的。对于给定由8位评阅人从100份论文中选出3位优胜者的问题中，合理的假设l 关于论文：排序：根据论文的优劣可以进行绝对的排序，因此我们测定优胜的论文是够在最好的2W份论文之内。数量：论文的数量远大于优胜者的数量。l 评阅人：知识：所有评阅人都对于提出的问题都有

5、很深的认识，且能轻松判断出一份论文是否有价值。否则，论文不能获得公正的评价。个人偏好：在允许的误差下，所有的评阅人最终会对某份论文的排名达成一致。每位评阅人对论文里哪些地方值得肯定有个人的偏好。而且，当一位评阅人要评阅大量的论文，在排序过程中必然会产生一定误差。能力：一位评阅员一次可以评阅20份的论文并以某一合理的准确度选出优秀的论文。通过向一些教授和比赛评阅人的了解，我们得出20份论文是教授们认为他们一次能保证公平评价的最大论文数量。评阅组长：评阅组长的工作仅为调解评判的分歧和在最终轮投票；评阅组长不计算在J个评阅人内。人数：最少评阅人数是5个，包括评阅组长。我们必须设置足够多的评阅人对所有

6、论文进行公平评价；评阅人越多，评阅过程的准确性越高。l 公平是最根本的变量。在任何的比赛中，评阅人必须愿意为保证最好的论文在比赛中胜出而牺牲精力和时间。比赛的可靠性是以评判过程的公平性和准确性为基础的。常量的定义及术语P：总论文数J：总评阅人数，不包括评阅组长：表示评阅人kW：总优胜者数评阅次数：一位评阅人一次评阅一份论文轮：一组论文被筛选剩下W份论文的一个淘汰的过程：表示第a轮：第a轮的堆数。一堆是一组数量少于P的论文。N：每堆包含论文的数量：表示第k论的第j堆失误：评阅人排序情况与绝对排序不符论文竞赛模型模型首先将P份论文分成S堆，接着评阅人进行一轮淘汰，由每两位评阅人一起将两堆论文筛选至

7、剩下一堆数量为W份的论文。论文间的比较用排序来表示，不使用评分规则。淘汰阶段重复进行，直到剩下最后的两堆论文。在最后一轮里采取投票制从最后两堆论文里确定出优胜者。准备我们首先确定首轮里堆的数目，S1。为了保证淘汰能对称地进行，S1须为2的幂。根据我们的假设，每位评阅人最多可以评阅20份论文，因此每一堆的论文数不超过20.每堆的论文数N=P2n，这里n表示满足下式的最小值：当2n不能整除P，N上舍入。论文竟可能地平均分配到S1份。我们分配给每位评阅人一堆，直到没有堆可分配或没有评阅人可分配。如果没有评阅人可分配了，某些评阅人将被要求在第一轮评阅两堆。第一轮评阅人J1和J2被分配了堆S11和堆S2

8、1。评阅人Ji从堆Si1里选出较好的W份以保证它们在第一轮不被淘汰。完成后，两位评阅人交换堆，评阅人J1从S21里选出W份，而J2从S11里选W份。然后，他们比较各自选出的列表，从堆S11和堆S21里的集合里确定出最后的W份。当分歧出现时，评阅组长最终决定哪份论文晋级。以相同的方式，每两堆论文都筛选剩W份。在第一轮结束时，共有堆和每堆有份论文。为何每次选W份？在每轮都有最佳的2W份论文筛选成一堆的过程。如果选出的论文少于W份，模型会自然地失败。若选出了论文多于W份，将会增加模型的稳定性，但某程度上不保证必需的评阅次数增加。第二轮与随后几轮整个过程会有n-2个“中间”轮（见附录A）。对于这些中间

9、轮，引进变量r代表轮的次序。在的开始，我们有堆，每堆有份论文。把堆和堆分配给接下来的两位评阅人，他们每人各自从与的集合中选出W份，并最终在评阅组长的协调下达成一致地让W份晋级。每两堆论文都以相同方式筛选剩W份。每一轮重复以上规则直到轮（包括此轮），完成时共剩下2W份论文。最终轮最终轮是投票阶段，为保证公平性和表明最终决定的重要性，我们选择了五位评阅人，包括评阅组长来评价这些论文。这些评阅人评阅剩下的2W分论文并排序，由一位公正员，或许是一名额外的评阅人统计投票结果，记排序第一位的为W分，第二位为W-1分，等等，一直到第W位为1分。得到最高分数的W份论文成为优胜者。若这过程中有相同得分等不能继续

10、进行的状况，由评阅组长的投票来判定。人为因素该模型或其他任何模型的一个不可控变量就是人为因素。我们通过模仿现实中的评阅人可能的表现的概率分布来模拟人为因素。如果所有评阅人的想法完全一样，那么论文1会永远地排在论文2的前面。然而，评阅人个体上对他们希望在论文上看到什么有偏向性。最常见的例子是，一位评阅人认为表达效果比实质重要，而另一位评阅人则认为实质比表达效果重要。这种情况下，论文2可能轻易地被排在论文1之前。为了对认为因素建模，我们选择了一下这个函数作为一位评阅人对两份论文的排序与绝对排序不相同的概率这里比赛中共有P份论文，d是两份对照的论文的绝对等级的距离。距离概率图1：评阅人对两份论文排名

11、的操作特征曲线。（注意并不是概率密度函数。）该方程给出了评阅人判断错误的概率作为针对描述对两份论文排序时产生的真正差异。随着两个排名的距离增大，讲它们顺序颠倒的概率就降低得很快。当两论文间的差距是0.01P时，判断错误的概率是50%。因此，对于P=100的情况论文5和论文6次序的安排是完全随机的。当距离大于0.17P时，判断错误的概率是0.这种情况下，两论文之间的差异太大了，比较中不可能产生错误。错误判断概率的取值范围介于.01P到.17P之间，代表了现实中的情况两份论文越接近，评阅人个人的风格偏好更可能影响到论文的排序。相似地，两份论文相差越远，评阅人的偏好更不容易影响到它们之间的比较结果。

12、结论总评阅次数不包括评阅组长给出的裁判，总评阅次数为第一项为中的评阅次数，第二项是从到，第三项是的评阅次数（见附录A）。评阅人数该模型要求有五位评阅人，包括评阅组长。模型可以应用于所有J4的情况，但存在一个最优评阅人数使每位评阅人评阅的最大次数最小化。改最有评阅人数等于且不包括评阅组长在内。需要所有Jo个评阅人，需要一半，需要四分之一，如此类推。我们在第一轮以及后面的某一轮需要每一位评阅员，使得每位的评阅次数接近相等（见附录A）。最大化每位评阅人的评阅次数如果，每位的最大评阅次数为如果，最大评阅次数可以变得非常大，甚至不合理的大。这种情况下，J位评阅人里的某些人会被要求在第一轮看多于两堆的论文

13、。他们会不得不评阅超过40份论文甚至可能更多，因为第二轮和接下来几轮还没开始。若已确定，那么J必须接近Jo否则很多评阅人会不愉快。模型的检验我们用C语言实现该模型，并需要几个次要的假定（见附录B）。接着我们对变量组合P和W进行测试，并总是使用最优评阅人数Jo。我们对表1里的每种情况重复测试了10000次。测试数据返回的平均错误率为0.0023%。表1：论文总数P和优胜论文篇数W组合，对每个组合重复测试了10000次评阅人最大评阅次数总评阅次数失败率该模型是可行的，它每人最大评阅次数和总次数上符合原则，最重要的是它使最终的W分论文包含在选出的2W份最佳论文里。微小的错误率产生于人为因素。在涉及人

14、为因素的问题中，总是会有意外状况发生。模型的优缺点优点l 模型失败的概率十分低，通常低于0.1%。l 模型把人为错失情况考虑在内。l 所有的评阅都是由直接比较产生，至少由两位评阅人决定一份论文晋级。评阅过程不涉及分数评价，这样不会产生评阅人对评分等级的偏向性，同时，由于评阅人的错误判断导致无价值的论文晋级的机率降低。l 对于解决给出的原始问题（P = 100, W =3, 且 J =8），我们的模型有非常好的表现（见图2）。每次的失败率仅为0.08%，并且把每位评阅人的评阅次数限制在32次里（总论文数的1/3），总评阅次数限制在254次。l 最重要的是，该模型应用在我们这次1996年的MCM比

15、赛的论文评论中会很合适。模型是公平的，最佳的数份论文实际上总能在比赛中胜出。缺点l 该模型有明确的有效范围。我们设置了一位评阅人一次能连续评阅20份论文这个范围。在第一轮结束后，评阅人们将在接下来的每轮评阅2W份论文。这样，优胜者的数量必须少于或等于10。若允许设置总论文数的2%成为优胜者的话，论文总数须小于或等于500.对P很大的情况，一个可行的解决方案是将整个比赛分成每份少于500份论文的两部分，然后用该模型对每部分进行操作。l 我们不得不把复杂的人为因素考虑在内。基于曲线而得出的数据是我们对人性能做的最大程度的估计。我们没有能反映人们在这些情况下的实际行为的数据可供参考。我们所做的所有测

16、试以及结果的正确性都是基于“我们的方程能真实代表现实世界的状况”这一假设的。如果进一步研究表明该方程不准确，我们可以方便地把原方程修改为一个新方程。附录A：依据及证明中间轮共有n-2轮每一轮中，恰好有分论文晋级到下一轮，其中。由于相继的下一轮中的堆数都是前一轮的一半，新的每一轮都有W份论文。当仅剩下2W份论文时，进行最后一轮。最后一轮中，或，即n=r，总轮数为n，包括第一轮和最后一轮。因此中间轮共有n-2轮。每堆3份每堆6份第2轮第3轮图2：在原始设定P=100，W=3，J=8下，模型的操作简图总评阅次数在第一轮，每份论文被评阅了两次，产生了2P次评阅次数。在中间轮，对每轮有W份一堆的论文堆。

17、每一堆被评阅了两次，在该n-2轮里产生次评阅次数。轮有5位评阅人，每位都评阅了最后的2W份论文。如此，所有轮中所产生的总评阅次数为最优评阅人数Jo的设定依据我们希望每位评阅人评阅的论文数大致相等。在第一轮满足了这一条（可能当论文不能平均分配到每堆时，某些评阅人会额外多评阅一份论文）。在每一相继的轮里，每位评阅人评阅的论文数为2W.如果评阅人数为2n，每位评阅人能保证刚好评阅两轮。在每一相继轮，需要的评阅人数较上一轮减半。这样，在倒数第二轮总会有4位评阅人，留下4位评阅人还需要评阅第二次？。这四位评阅人加上评阅组长共5位共同评阅最终轮。如果使用了Jo位评阅人，由于每位评阅人参与了第一轮和后面某一轮的评阅，他们每位评阅了几乎同样数量的论文。每位评阅人最大评阅量如果，每位评阅人恰好参与了两轮：第一轮，大约份论文，以及某一中间轮或最后一轮，2W份论文。于是，最大评阅量为如果，一些评阅人仅参与一轮评阅。只要，至少一位评阅人要参与两轮评阅，所以最大评阅量跟上述情况相同。如果，一些评阅人在第一轮需评阅超