机器翻译测试大纲-欢迎来到中科院计算所自然语言处理组

1、机器翻译评测大纲、评测对象本次评测的对象包括：汉英、英汉、汉日、日汉机器翻译系统 中的核心技术。二、评测内容本次评测组织两种语料的评测,一种是篇章语料，一种是对话语料。领 域是面向奥运的相关领域，包括体育赛事、天气预报、交通住宿、旅游餐饮 等。本次评测的评测指标包括译文质量和翻译速度。三、评测方法1. 评测方式本次评测为现场评测。采用的是以人工评测为主，人工评测和自动评测 相结合的方式。人工评测方式是：由评测组织单位将各个评测单位提交的评测结果汇总 在一起,然后用计算机随机打乱译文句子的排列顺序。再将所有译文句子提 交给多位专家进行人工评测。将专家评测的结果汇总，用计算机还原成原来 的排列顺序

2、，分别计算出各个评测单位的总得分。2 评测步骤 在评测单位统一提供的评测环境上安装被测系统 评测单位给出评测数据 被测单位运行系统，提交评测结果 评测单位运行自动评测程序，得出自动评测结果 评测单位事后进行人工评测 公布评测结果3 评测标准（1）自动评测标准机器翻译的自动评测目前比较成熟的标准有bleu标准、mst标准等。本 次评测采用mst标准。具体评测标准见附件。（2）人工评测标准本次评测按0-6个等级层次打分，最后采用百分制换算评测结果。等级分得分标准译文可理解率0完全没有译出来。0%1看了译文不知所云或者意思完全不对。不过有小 部分词语是译对了的。20%2译文有一部分符合原文的一部分意

3、思，或者全句 没有译对，但是关键的词都孤立地译出来了，对 人工编辑有点用处。40%3译文大致表达了原文的意思，局部与原文有出入, 一般情况下需要参照原文才能改正。有些情况即 使无需参照原文也能猜到原文的意思，但译文的 不妥明显是由于翻译程序的缺陷造成的。60%4译文传达了原文的信息。不用参照原文，就能明 白译文的意思，但是部分译文在词形变化，词序， 译词选择，地道性等方面多少有些问题，需要修 改。不过这种修改无需参照原文也能有把握地进 行，且修改也较容易。80%5译文流畅地表达了原文的信息，语法结构基本正 确，但个别译文在词形变化，词序，译词选择， 地道性等方面有点问题，需小修改。90%6译文

4、准确流畅地传达了原文的信息，语法结构正 确，除个别错别字、小品词、单复数等小问题外， 无需修改。100%总的可理解率=(tl*20%+t2*40%+t3宜60%+t4*80%+t5*90%+t6*100% )/总句数其中：ti为被评为第i等级的句数。（3）翻译速度评测标准由主持评测的工作人员现场记录翻译时间，各系统自动显示从第一个句 子翻译开始到所有句子翻译完毕所用的时间（不计系统初始化所用时间,只 记开始翻译到所有句子翻译完毕所用时间）。4输入输出文件格式下面以汉英机器翻译为例，说明输入输出文件格式。其中p标签为段落标记，s标签为句子标记。输入文件中每个s标签内部为一个句子。输出文件中每个s

5、 标签与输入文件中的s标签一一对应。由于一个源语言句子可能翻译成一个或多 个目标语言句子,所以输出文件中每个s标签内部可以有不只一个句子。lang 为语言代码,汉语用zh表示，英语用 表示,日语用 j a"表示。汉语、 英语、日语的输入和输出文件统一采用gbk编码。（1）输入文件格式：<doc docld=”机器翻译” lcing = ,zhf,><p><sid=l>玻利维亚举行总统与国会选举</s></p><p><s id=2> （法新社玻利维亚拉巴斯电）玻利维亚今天举行总统与国会选举,投票率 比预

6、期更高,选民希望选出的新领导阶层能够振兴经济,改善人民的生活水准, 抑制这个南美洲最贫穷国家的劳工骚动。<zv></p><p><s id=3>投栗所于下午四时（台北时间七月一日清晨四时）关闭,选务人员说,选 举结果将于两小时之后开始发布。</8 ></p><p><s id=4>稍早,玻利维亚总统与参与选举的候选人援引巴西赢得世足赛冠军为 例,鼓励民众踊跃投票,虽然联邦法律规定,凡达投票年龄的玻利维亚人都必须 投票。<zv></p><p><s id=5>

7、任期即将届满的玻利维亚总统吉洛卡说:巴西队在横滨以二比0击 败徳国队,我们玻利维亚人必须击败那些不出来投票的人。j </8></p><p><s id=6>全国执勤的三万名军人警察奉命投票日必须禁止卖酒,也禁止群众 聚会,但随着邻国巴曲贏得笫五次世足赛冠军的消息上午传抵此间,玻利维亚人 同样欣喜若狂，集体狂欢,军警根本无法执行上述禁令。</8></p><p><s id=7>美洲国家组织派遣五十名观察员监督玻利维亚恢复民主统治以来的第 五次人选。</s><s id=8>政府官员说

8、,边界已经关闭以防止选举舞弊。</5></p></doc>(2)输出文件格式：<doc docid= ”机器翻译“ icrngb'en " site="单位名称怜<p><s id=l> bolivia holds presidential and parliament elections </s></p><p><s id=2> (afp, la paz, bolivia) bolivia held its presidential and parliam

9、ent elections today. with a higher than expected turn-out rate, voters hope the newly elected leadership can revitalize the economy, improve the people's living standards and control the labor unrest in this poorest country in south america. </s></p><p><s id=3> the pollin

10、g stations closed at 4 p.m. (4 cun. on july /, taipei time) the polling staff said that the results of the elections will be released within two hours. </s></p><p><s id=4> earlier, the bolivian president and candidates in the elections, citing brazil's championship at the

11、 world cup soccer tournament, encouraged the public to actively participate in the elections even though every bolivian who has reached the voting age is required by the federal law to vote. </s></p><p><s id=5> the bolivian president quiroga, whose term soon expires, said: &q

12、uot;the brazilian team defeated the german team 20 in yokohama; we the bolivians must defeat those who do not come out to vote.n </s></p><p><s id=6> 30,000 soldiers and police on duty nationwide were ordered to ban sales of alcoholic drinks and mass gatherings on the election

13、 day. yet, as the news of the neighboring brazil winning the fifth championship at world cup soccer tournament reached here this morning, bolivians were equally overjoyed and indulged themselves in revelry making the ban practically unenforceable by the soldiers and police. </s></p><p

14、><s id=7> the organization of american states has sent 50 observers to monitor the fifth general election since bolivia restored its democratic rule. </s><s id=8> government officials said that the border has been closed so as to prevent any election frauds</p></doc>

15、四、评测环境本次评测环境包括：操作系统为wndovs2000，硬件配置不低于:p41ghz , 256m内存,40g ide硬盘。附录机器翻译的自动评测方法1. bleu评测方法简介bleu是由ibm首先提出的方法。这是一种基于n-gram的自动评测方法，它通过对 译文跟参考译文进行n-gram的比较综合而得出译文的好坏的评价分数。这种基于n-gram 共现的统计方法中，一元词的共现代表了翻译的忠实度，它表征了原文里面有多少单词 被翻译了过來；而二元以上的共现词汇代表了目标语言的流利程度，阶数高的n元词的 匹配度越高，系统译文的可读性就越好。其基本计算公式为nscore :二 bp - exp

16、（工 wog pn） n=其中，ptt -被测译文中与参考答案匹配的ngram总数/被测译文中ngram总数bp=长度惩罚因子lref =与被测句子长度最接近的答案长度；lsys =被评测句子的长度；n =最大ngram长度;wn = ngram的权重；2. nist评测方法简介nist在bleu标准基础上捉出的一个改进方案，称为nist评测标准。nist方法采用各阶n-gam的算术平均而不是儿何平均，使得总体评价结果更偏重 于忠实度，而且也不至于因为某一阶ngnxm的匹配率为零导致总体评价为零。另外， nist考虑到每一个n-gram在多个参考译文中出现的次数不同能够表现出该词的重要 性，因此根据其在多个参考译文中出现的次数而给每一个n-gnim赋予一个权值。实验 证明，nist在敏感性(对被测系统的区分程度)方面