NOIP标准评测系统使用培训.ppt

NOIP标准评测系统使用培训,赵启阳 丁海峰 2008.01.28,2008全国青少年信息学奥林匹克竞赛冬令营,Arbiter介绍,NOIP单机版评测系统(Arbiter)是 NOIP 信息学联赛指定的唯一标准评测工具 此评测系统采用与 NOI 网络评测系统完全一致的评测标准，对NOI 选手的学习具有促进和指导作用，便于选手更好地适应NOI系列比赛。,系统特性,支持当前主流的 Linux 发行版本 Redhat / Fedora Core Ubuntu 支持多种语言(C/C+/Pascal) 灵活的可配置性 功能多样化 时间控制的精确性（误差不大于5ms） 有效的内存使用限制,开发历程 & 使用情况,此系统是经CCF授权，由尹宝林教授指导开发完成，目前的版本是1.02，具备良好的可靠性和稳定性。 在NOIP2006和NOIP2007中部分省份评测和全国复评中使用，验证了正确性和效率等关键性能。 NOIP2006中有7个省试用，NOIP2007中有20个省试用，评测结果与全国复评结果的差别明显小于使用非标准评测系统的省份。 很多老师对系统提出了错误报告和改进意见，在此向他们表示诚挚的感谢！,提纲,基本安装运行 配置考试 执行评测 成绩统计 评测插件编写 常见问题,建议使用环境,硬件环境、编译器版本以竞赛规则为准 当前使用Redhat 9.0版本，将来可能切换到Ubuntu 7.10版本上 建议版本：,评测系统安装和启动,从下载最新的评测系统安装文件，保存至当前用户home文件夹，并双击打开 安装完成后，会在桌面上创建一个快捷方式，双击即可启动评测系统 可打开附带的示例考试(example)测试系统是否工作正常,评测系统工作原理,标准输入数据 problem.in,标准答案文件 problem.ans,选手程序 problem,选手答案文件 problem.out,评测插件 problem_e,选手成绩,选手源程序 problem.c/.cpp/.pas,比赛配置,一次比赛可以配置多场考试 一场考试可以配置多道试题 每道试题都提供了多个配置点，为比赛的组织提供了很大的灵活性,试题配置点（一）,试题名称 题目及相关数据的唯一命名 决定了选手程序、评测数据的命名规则 使用英文，4-10个字符 提交方式 源代码 答案文件,试题配置点（二）,测试点数目/分值 测试点数目，及每个测试点的权值，总权值应为100 数据输入方式 文件输入（建议使用） 标准输入,试题配置点（三）,时间限制 选手程序运行时间上限，以秒为单位 以进程的用户时间(user time)为准 给予选手1.1倍运行时间限制，超时将被强行终止。防止选手程序运行时间过长 内存限制 选手程序占用内存上限，以MB为单位(虚拟内存),试题配置点（四）,使用语言/编译选项 目前支持在比赛中使用C/C+/Pascal三种语言 编译选手程序所需的选项，如 -lm 链接数学库 运行参数 运行选手程序所需的参数（较少使用）,试题配置点（五）,标准评测插件 字符串比较 单行/多行/全文 (空格过滤) 整数比较 单行单个/单行多个/多行单个/多行多个 浮点数比较 单行单个/单行多个/多行单个/多行多个 (精确度) 自定义插件 随测试数据提供，通常命名为 problem_e 通过对话框选取，将被复制到filter/目录下,试题配置点（六）,所有题目配置完成后，可在试题概要界面检查试题配置信息是否正确 确认无误后选择保存后方可生效,准备选手名单,自动导入 .CSV格式(Comma Separated Values) 纯文本格式 每条记录占一行 以逗号为分隔符 可用Microsoft Excel 或 OpenOffice Calc编辑和导出 第一列为选手编号，第二列为选手姓名 选手编号格式为省份代码-3位数字，如HN-007 文件编码为GB2312编码 手动添加,CSV文件的示例,Namelist.txt HN-001,罗韬威 HN-002,张健 HN-004,孟来俊 HN-005,蒋哲良 HN-007,吴骏,准备评测数据,评测数据存放在evaldata/目录下 遵循以下命名规则(不包含中括号) 标准输入文件为试题名称测试点编号.in 标准答案文件为试题名称测试点编号.ans,准备选手目录,选手程序存放在players/目录下 每名选手拥有以自己编号命名的目录 选手目录下，每道试题拥有以试题名称命名的目录 选手程序保存在相应试题目录中，主文件名为试题名称，扩展名为.c / .cpp / .pas,注意事项,需严格检查卷面说明与试题配置是否一致 时间限制 内存限制 数据规模 编译选项 确认评测插件具有可执行权限 chmod +x 文件管理器,执行评测,评测系统可以多种方式灵活地执行评测 可以选定评测的考试场次 可以针对全部选手或选定选手 可以针对全部试题或选定试题 评测的过程中可以通过“评测选定选手”按钮右侧的进度条和考生列表中的指示灯来掌握评测的进度,实用功能,查看选手源程序 双击考生列表中某道试题的分数可以弹出一个窗口显示考生该题目的源程序,成绩统计,评测系统提供了多种成绩数据统计视图，帮助比赛组织者了解比赛的各方面细节 总体统计 分组统计 试题统计 等级统计,总体统计,本TAB页可以显示所有考生在本场比赛中所有场次的考试成绩及总分 可以自定义每个分数段的考生人数 可以打印或导出考生的总体成绩单，和每个考生的成绩单 总成绩单导出为 csv 格式 个人成绩单导出为 ps 格式,分组统计,该TAB页可以针对各省代表队成绩进行统计 可以选择自定义统计,即获得每个代表队前几名的总成绩 可以导出打印统计数据,试题统计,该TAB页可以显示每道题目的得分情况,以及一些重要的评测数据，如该程序题每个测试点的平均用时、最短用时等 用于帮助命题人了解此次考试的难度、解答情况等,等级统计,该TAB页用于评奖,在右边输入评奖规则(既可以是人数也可以是百分比) ，就可以在左侧显示学生的得奖情况,打印成绩单,在统计工具中导出成绩单后,每名考生的成绩都将被保存在 ps/目录下，相应的考试天数及相应的考生编号目录下 ps格式(postscript) 可使用以下软件查看或打印 linux：ghostview, evince windows: ghostview, adobe acrobat,上报成绩,NOIP省内评测结束后，需上报以下内容： 选手名单，包含选手编号和姓名，csv格式 成绩单，包含各题目分数和总分数，csv格式 选手目录，players/目录下的所有内容 选手评测结果目录，result/目录下的所有内容,插件编写的规范（一）,评测插件用于评测程序设计题目，由命题人员编写，在评测选手的答案时调用 评测插件根据评测系统给出的参数，判断选手答案的正误，并给出相应的得分,插件编写的规范（二）,评测系统按照如下格式调用评测插件: filtername inputfilename outputfilename answerfilename filtername 评测插件程序名称 inputfilename 测试输入文件名 outputfilename 选手程序输出文件名 answerfilename 标准答案文件名 注意:评测系统不保证inputfilename, outputfilename, answerfilename所指定的文件存在，评测插件实现时应进行检查,插件编写的规范（三）,评测插件向标准输出打印评测结果 输出结果由两行文本组成 第一行为评测信息(evaluation_ info)，是评测插件对评测结果的一行文本描述，例如是否正确、错误原因等 第二行为该评测得分(score)，是一个整数数字 评测插件给出的得分，就是该测试点的最终得分，评测系统不作任何附加的处理。多个测试点得分之和为该题总分,插件编写的规范（四）,返回值 程序正常结束时返回 0，程序异常结束时返回非 0 整数 示例分析,常见问题（一）,1. 当创建一场考试后，将评测系统关闭，再打开时发现考试不存在了？ 答：注意每次配置过后都要保存，否则配置不生效。 2. 评测时显示评测已经结束，但是所有考生的成绩依然为0分？ 答：请查看/tmp/_eval_score文件的属性，如果是root用户所有将没有读写权限，在root用户下删除此文件。 如果，依然不能得到评测结果，请查看插件的是否有可执行属性。,常见问题（二）,3. 评测时某些考生或某些考题出现意外的0分情况？ 答：请查看该考生以及该考生的题目文件目录及文件是否存在。 4. 评测插件的功能是什么？ 答：是对比每个测试点考生答案文件与标准答案文件的，它只判明对错，10分就是对，0分就是错误。具体分数是根据配置的测试点分数决定。,常见问题（三）,5. 如何在windows下显示csv文件和ps文件？ 答：在windows下可以直接用Excel打开csv格式的文件，双击ps文件，adobe reader 会自动将ps文件转换为pdf文件的。 6.