NOIP官方评测系统使用培训ppt课件.ppt

NOIP标准评测系统使用培训 2008全国青少年信息学奥林匹克竞赛冬令营 Arbiter介绍 NOIP单机版评测系统 Arbiter 是NOIP信息学联赛指定的唯一标准评测工具此评测系统采用与NOI网络评测系统完全一致的评测标准 对NOI选手的学习具有促进和指导作用 便于选手更好地适应NOI系列比赛 系统特性 支持当前主流的Linux发行版本Redhat FedoraCoreUbuntu支持多种语言 C C Pascal 灵活的可配置性功能多样化时间控制的精确性 误差不大于5ms 有效的内存使用限制 开发历程 使用情况 此系统是经CCF授权 由尹宝林教授指导开发完成 目前的版本是1 02 具备良好的可靠性和稳定性 在NOIP2006和NOIP2007中部分省份评测和全国复评中使用 验证了正确性和效率等关键性能 NOIP2006中有7个省试用 NOIP2007中有20个省试用 评测结果与全国复评结果的差别明显小于使用非标准评测系统的省份 很多老师对系统提出了错误报告和改进意见 在此向他们表示诚挚的感谢 提纲 基本安装运行配置考试执行评测成绩统计评测插件编写常见问题 建议使用环境 硬件环境 编译器版本以竞赛规则为准当前使用Redhat9 0版本 将来可能切换到Ubuntu7 10版本上建议版本 评测系统安装和启动 从下载最新的评测系统安装文件 保存至当前用户home文件夹 并双击打开安装完成后 会在桌面上创建一个快捷方式 双击即可启动评测系统可打开附带的示例考试 example 测试系统是否工作正常 评测系统工作原理 标准输入数据problem in 标准答案文件problem ans 选手程序problem 选手答案文件problem out 评测插件problem e 选手成绩 选手源程序problem c cpp pas 比赛配置 一次比赛可以配置多场考试一场考试可以配置多道试题每道试题都提供了多个配置点 为比赛的组织提供了很大的灵活性 试题配置点 一 试题名称题目及相关数据的唯一命名决定了选手程序 评测数据的命名规则使用英文 4 10个字符提交方式源代码答案文件 试题配置点 二 测试点数目 分值测试点数目 及每个测试点的权值 总权值应为100数据输入方式文件输入 建议使用 标准输入 试题配置点 三 时间限制选手程序运行时间上限 以秒为单位以进程的用户时间 usertime 为准给予选手1 1倍运行时间限制 超时将被强行终止 防止选手程序运行时间过长内存限制选手程序占用内存上限 以MB为单位 虚拟内存 试题配置点 四 使用语言 编译选项目前支持在比赛中使用C C Pascal三种语言编译选手程序所需的选项 如 lm链接数学库运行参数运行选手程序所需的参数 较少使用 试题配置点 五 标准评测插件字符串比较单行 多行 全文 空格过滤 整数比较单行单个 单行多个 多行单个 多行多个浮点数比较单行单个 单行多个 多行单个 多行多个 精确度 自定义插件随测试数据提供 通常命名为problem e通过对话框选取 将被复制到filter 目录下 试题配置点 六 所有题目配置完成后 可在试题概要界面检查试题配置信息是否正确确认无误后选择保存后方可生效 准备选手名单 自动导入 CSV格式 CommaSeparatedValues 纯文本格式每条记录占一行以逗号为分隔符可用MicrosoftExcel或OpenOfficeCalc编辑和导出第一列为选手编号 第二列为选手姓名选手编号格式为 省份代码 3位数字 如HN 007文件编码为GB2312编码手动添加 CSV文件的示例 Namelist txtHN 001 罗韬威HN 002 张健HN 004 孟来俊HN 005 蒋哲良HN 007 吴骏 准备评测数据 评测数据存放在evaldata 目录下遵循以下命名规则 不包含中括号 标准输入文件为 试题名称 测试点编号 in标准答案文件为 试题名称 测试点编号 ans 准备选手目录 选手程序存放在players 目录下每名选手拥有以自己编号命名的目录选手目录下 每道试题拥有以试题名称命名的目录选手程序保存在相应试题目录中 主文件名为试题名称 扩展名为 c cpp pas 注意事项 需严格检查卷面说明与试题配置是否一致时间限制内存限制数据规模编译选项 确认评测插件具有可执行权限chmod x 文件管理器 执行评测 评测系统可以多种方式灵活地执行评测可以选定评测的考试场次可以针对全部选手或选定选手可以针对全部试题或选定试题评测的过程中可以通过 评测选定选手 按钮右侧的进度条和考生列表中的指示灯来掌握评测的进度 实用功能 查看选手源程序双击考生列表中某道试题的分数可以弹出一个窗口显示考生该题目的源程序 成绩统计 评测系统提供了多种成绩数据统计视图 帮助比赛组织者了解比赛的各方面细节总体统计分组统计试题统计等级统计 总体统计 本TAB页可以显示所有考生在本场比赛中所有场次的考试成绩及总分可以自定义每个分数段的考生人数可以打印或导出考生的总体成绩单 和每个考生的成绩单总成绩单导出为csv格式个人成绩单导出为ps格式 分组统计 该TAB页可以针对各省代表队成绩进行统计可以选择自定义统计 即获得每个代表队前几名的总成绩可以导出打印统计数据 试题统计 该TAB页可以显示每道题目的得分情况 以及一些重要的评测数据 如该程序题每个测试点的平均用时 最短用时等用于帮助命题人了解此次考试的难度 解答情况等 等级统计 该TAB页用于评奖 在右边输入评奖规则 既可以是人数也可以是百分比 就可以在左侧显示学生的得奖情况 打印成绩单 在统计工具中导出成绩单后 每名考生的成绩都将被保存在ps 目录下 相应的考试天数及相应的考生编号目录下ps格式 postscript 可使用以下软件查看或打印linux ghostview evincewindows ghostview adobeacrobat 上报成绩 NOIP省内评测结束后 需上报以下内容 选手名单 包含选手编号和姓名 csv格式成绩单 包含各题目分数和总分数 csv格式选手目录 players 目录下的所有内容选手评测结果目录 result 目录下的所有内容 插件编写的规范 一 评测插件用于评测程序设计题目 由命题人员编写 在评测选手的答案时调用评测插件根据评测系统给出的参数 判断选手答案的正误 并给出相应的得分 插件编写的规范 二 评测系统按照如下格式调用评测插件 filternameinputfilenameoutputfilenameanswerfilenamefiltername评测插件程序名称inputfilename测试输入文件名outputfilename选手程序输出文件名answerfilename标准答案文件名注意 评测系统不保证inputfilename outputfilename answerfilename所指定的文件存在 评测插件实现时应进行检查 插件编写的规范 三 评测插件向标准输出打印评测结果输出结果由两行文本组成第一行为评测信息 evaluation info 是评测插件对评测结果的一行文本描述 例如是否正确 错误原因等第二行为该评测得分 score 是一个整数数字评测插件给出的得分 就是该测试点的最终得分 评测系统不作任何附加的处理 多个测试点得分之和为该题总分 插件编写的规范 四 返回值程序正常结束时返回0 程序异常结束时返回非0整数示例分析 常见问题 一 1 当创建一场考试后 将评测系统关闭 再打开时发现考试不存在了 答 注意每次配置过后都要保存 否则配置不生效 2 评测时显示评测已经结束 但是所有考生的成绩依然为0分 答 请查看 tmp eval score文件的属性 如果是root用户所有将没有读写权限 在root用户下删除此文件 如果 依然不能得到评测结果 请查看插件的是否有可执行属性 常见问题 二 3 评测时某些考生或某些考题出现意外的0分情况 答 请查看该考生以及该考生的题目文件目录及文件是否存在 4 评测插件的功能是什么 答 是对比每个测试点考生答案文件与标准答案文件的 它只判明对错 10分就是对 0分就是错误 具体分数是根据配置的测试点分数决定 常见问题 三 5 如何在windows下显示csv文件和ps文件 答 在windows下可以直接用Excel打开csv格式的文件 双击ps文件 adobereader会自动将ps文件转换为pdf文件的 6 Linux下如何挂载U盘 答 通过 sbin fdisk l可以知道所挂