sewmxx人工评测工作总结

1 / 3 SEWMXX 人工评测工作总结 SEWMXX人工评测工作总结 李静静 XX-9-23 1.工作形式 通过招募人员的方式 ,完成了本次评测工作 .评估主要包括两个阶段 :初步评估和检查 .完成后对招募人员给予了一定补助或证书 .第一阶段工作通过发布招募广告招募人员来完成 ,第二阶段工作招募天网组内的成员来完成。 2.工作内容 SEWMXX 中文 Web 检索评测共有 TD 主题75 个 ,每个主题通过 pooling 给出了 500 个左右的 URL,初步评估人员需要对这些 URL 对应的网页做出相关判断 ,来构造答案集 .检查人员主要来检查第一阶段评估人员的评测结果 ,以保证答案集的质量。 3.组织人员 负责人 : 李静静 参与人员 :秦琦 郭化楠同学也参与了本次评测工作的宣传和策划。 由于计算机系的机房和计算中心的机房都没有空闲时间 ,所以我们借用了天网组的机器 .机器数量不够 ,我们又借用了实验室 3 台公用笔记本 .事先通知天网组同学在自己的机器上装好 opera 浏览器 ,并添加用户 sewm,密码设为sewmXX。 4.工作安排 初步评估工作 宣传 :9 月 8 日在未名 bbs多个版面发布了招募广告 ,进行了宣 传。 2 / 3 工作时间 :9 月 13 日 13:00 开始 ,18:00 左右结束。 工作地点 :理科 1 号楼天网组实验室 1217、 1220。 检查工作 工作人员 :发动天网组内的人员报名参加 ,招募 8 人。 工作时间 :9 月 14 日、 15 日两天。 5.招募情况 招募广告受到了校内外很多同学的关注 ,体现了众多同学对天网的关注和兴趣 .有 52名同学报名参加评测 ,根据需要招募了 19 人参与评估。 天网组内的 8 人报名参加检查工作。 月 13 日评估情况 各评估人员 13:00 集合后 ,我们首先进行了简单的培训 ,仔细讲解了相关判断的准则和评测工具的使用 .刚开始人评估人员对相关判断准则不是特别清楚 ,问题比较多 ,组织人员需要耐心给评估人员讲解。 由于各评估人员的工作进度以及网页打开速度的快慢不同 ,所以评估人员结束的时间不一样 .大部分都在 18:00左右结束了评测 ,只有两名同学评估到 20:00 点。 整个过程中我们组织人员一直在场 ,实时检查评估人员的评测结果 ,并回答评估人员的问题 .评估人员的态度比较认真 .某个评测人员评测完成后 ,组织人员都检查一遍评测结果 ,提出一些问题 ,让评估人员 再次评估 ,提高评估的质量。 7.检查工作 初步评估结束后 ,天网组内的 8名同学参3 / 3 与了检查 .八名中有 5 名参加过去年的评估工作 ,2 名参与了组织工作 ,对相关判断的规则都比较 (转 载 于 : 海达范文网 :SEWMXX 人工评测工作总结 )熟悉 ,可以作出相对较为准确的判断 .检查人员基本上都在规定的日期内完成了检查工作。 8.总结 综上 ,75 个 TD 主题答案集的构造工作圆满结束 .整个过程中对参与评估的人员要求都比较高 ,加上检查人员比较