一种改进的统计机器翻译系统融合方法.pdf

一种改进的统计机器翻译系统融合方法一种改进的统计机器翻译系统融合方法 张振中 1 2 孙乐1 张大鲲1 2 1 中国科学院软件研究所 北京 100190 2 中国科学院研究生院 北京 100049 E mail zhenzhong08 sunle dakun04 摘要 摘要 本文提出一种基于一致性网络和最小贝叶斯风险联合解码的统计机器翻译系统融合方法 首先利用 N best 译文集合建立一致性网络 从一致性网络产生的新译文中选出得分最高的前 N 个译文 然后从这 N 个候选译文中选出具有最小贝叶斯风险的译文作为最佳译文 实验结果表明这种方法比直接使用一致性网 络解码算法在 BLEU SBP 上的表现要好 关键字 关键字 一致性网络解码 最小贝叶斯风险解码 机器翻译 系统融合 An improved approach for SMT system combination Zhenzhong Zhang1 2 Le Sun1 Dakun Zhang1 2 1Institute of Software Chinese Academy of Science Beijing 100190 China 2Graduate University of Chinese Academy of Sciences Beijing 100049 China E mail zhenzhong08 sunle dakun04 Abstract This paper presents a new decoding approach for combining multiple Machine Translation system outputs based on consensus network decoding scheme and Minimum Bayes Risk MBR decoding scheme A consensus network is constructed from an N best list which consists of hypotheses generated by multiple systems N best new hypotheses are picked out from the sentences generated by the consensus network Then the hypothesis with the lowest Bayes risk is selected as the best translation Experimental results show that this approach outperforms simple consensus network decoding method on the BLEU SBP Index Terms consensus network decoding Minimum Bayes Risk decoding machine translation system combination 1 1 引言 引言 系统融合 Rosti et al 2007 Sim et al 2007 是将多个翻译系统的结果进行处理 以期 望得到更好翻译结果的方法 其主要思想是每个系统都有自己的优点 系统融合希望将各个 系统的优点结合起来以便产生一个更好的翻译结果 越来越多的实验表明系统融合方法能够 有效地达到上述目的 根据融合的级别 系统融合可以分为句子级融合 短语级融合和词汇 级融合 句子级融合首先将候选译文进行合并 然后从中挑选出最好的译文作为输出 短语 级融合利用翻译结果和源语言句子得到新的短语翻译表 也可以利用翻译系统的中间输出结 果 重新计算短语翻译概率 再利用短语解码器进行解码 得到新的翻译句子 词汇级融 合是首先进行词语对齐 词语对齐的方法有编辑距离法 Bangalore et al 2001 GIZA 对 齐方法 Matusov et al 2006 和翻译错误率 TER 方法 Sim et al 2007 等 然后构建一致性网 络 consensus network 并进行解码 得到新的翻译句子 在这三种融合方法中 句子级融合 不产生新的翻译结果 其余的两种方法有可能生成一个或者多个新的翻译结果 在这三种方 本文研究得到国家自然科学基金项目 60736044 60773027 和国家 863 计划项目 2006AA010108 2008AA01Z145 资助 法中 词级融合方法是比较稳定的 Rosti et al 2007 也是最复杂的 最近有多种方法 比如最小贝叶斯风险解码算法 S Kumar and W Byrne 2004 一致性 网络解码算法 Sim et al 2007 成功应用于系统融合 最小贝叶斯风险解码算法主要用于句 子级融合 直接挑选出与全部译文相比具有最小贝叶斯风险的译文作为最佳译文输出 通常 使用译文间的相对 BLEU 值 Papineni et al 2001 或者翻译错误率 TER Snover et al 2006 作 为风险函数 一致性网络 consensus network 是一种词汇级的融合方法 通过候选译文与骨 架句子对齐构建一个一致性网络 从一致性网络中选择概率最大的句子作为最佳译文 本文 提出一种改进的融合方法 把一致性网络解码算法和最小贝叶斯风险解码算法结合起来进行 解码 具体做法是 利用一致性网络产生 N 个新的候选译文 然后从这 N 个候选译文中选 出具有最小贝叶斯风险的译文作为最佳译文 本文的组织如下 第 2 节简要介绍机器翻译的评价指标 包括 BLEU 和 TER 第三节给 出最小贝叶斯风险解码算法和一致性网络解码算法的描述 第 4 节详细介绍联合解码算法 和实验 第 5 节是本文的简要总结 2 2 机器翻译的评价指标 机器翻译的评价指标 机器翻译系统将源语言句子转化为目标语言句子 通常不同的机器翻译系统对同一句子 的翻译质量是不同的 需要设定一些指标来评价系统的优劣 这些评价可以表示为 其中 hr L EE L 为评价函数 为候选译文 为参考答案 目前存在多种评价指 标 如 BLEU Papineni et al 2001 和 TER Snover et al 2006 等 h E r E BLEU Papineni et al 2001 通过计算候选译文 h E和参考答案 r E之间的 n gram 精确 率来评价系统的翻译质量 如果候选译文的长度超过参考答案的长度 则还要乘上一个简短 惩罚因子 用来惩罚那些过于简短的候选译文 BLEU 的计算公式如下 1 1 exp log 100 N hrnhrhr n BLEUEEpEEEE N 其中为基本 n gram 精确率 计算方式为 nhr pEE hr h ngramEE nhr ngramE count ngram pEE count ngram count n gram 表示同时出现在候选译文 h E 和参考答案 r E 中的 n gram 的个数 表示候选译文 count n gram h E 中 n gram 的个数 hr EE 是针对短译文的简短惩罚因子 计算公式为 1 1 r c ifcr hr eifcr EE 其中 c 为候选译文的长度 r 为参考译文的长度 通常情况下取 N 4 即 NIST h E r E BLEU 4 TER translation edit rate Snover et al 2006 通过计算候选译文和参考译文 h E r E的 相对编辑率来评价候选译文的质量 TER 的计算公式如下 100 hr InsDelSubShft TER EE N 上式中代表插入操作的次数 表示删除操作的次数 表示替换操作的次 数 表示漂移的次数 表示参考答案中词的个数 I n sD e lS u b ShfN r E 3 3 最小贝叶斯风险解码算法和一致性网络解码算法 最小贝叶斯风险解码算法和一致性网络解码算法 3 1 最小贝叶斯风险解码算法 3 1 最小贝叶斯风险解码算法 最小贝叶斯风险解码算法 S Kumar and W Byrne 2004 的基本思想是在 N best 译文中 找出具有最小期望风险的译文作为最佳译文 在没有参考译文的情况下 面对机器翻译系统 产生的众多结果 我们通常有两种选择办法 Kevin Knight and Philipp Koehn 2009 一种是 选择概率最大的 如图 1 中的 H1 大多数情况下都是这样选择的 另一种方法是把系统产 生的译文看作是对参考答案的猜测 选择期望最大的 如图 1 中的 H1 的匹配期望是 Expected matches H1 0 4 4 0 2 0 0 2 0 0 2 0 1 6 而 H2 H3 和 H4 的匹配期 望为 Expected matches H2 0 4 0 0 2 4 0 2 3 0 2 3 2 在这样的情况下就会选择 H2 H3 和 H4 中的任何一个 图 1 假定某系统产生的候选译文 最小贝叶斯风险解码算法首先设定一个风险函数 然后从候选集中找出与其他全 部候选译文相比具有最小贝叶斯风险的译文作为输出结果 代数表达式如下 rh L E E arg min mbr h r rr E E h EP EF L EE r P EF 为源语言句子产生参考译文的后验概率 在同一个系统中 可以 用下面的公式计算 F r E r P EF r r E PEF PEF PEF 其中 可以用系统对译文的打分来度量 当系统没有对产生的译文打分或者译文 r P E F 所得分数不可靠时 可以使用均匀分布来估计 对于采用不同策略的系统 不同 系统对译文的打分不具有比较性 可以对系统进行加权 然后在同一个系统内部采用上式计 算 加权后的公式为 r P E F r P EF 1 argmin h r n r mbrirrh E Ei E P E F Ew EL E E P E F 3 2 一致性网络解码算法 3 2 一致性网络解码算法 最小贝叶斯风险解码算法的缺点是该算法本身不能产生新的候选译文 而一致性网络 Consensus network 解码算法 Sim et al 2007 可以避免这个缺点 一致性网络解码算法首先 从 N best 集中挑选一个或者多个译文作为骨架 将其他译文与骨架进行词语对齐 构建一 致性网络并从中选择得分最高的句子作为最佳译文 下面通过一个简单的例子说明一致性网 络的基本原理 假设系统产生的 N best 集为 You chat from Monday to Sunday online at lab You chat online everyday at lab At lab you do cyber chatting from Monday to Sunday 如果以第一句话为骨架 那么对齐后的效果为 You chat from Monday to Sunday online at lab You chat everyday online at lab You do from Monday to Sunday cyber chatting at lab 则生成的一致性网络如图 2 所示 图 2 一致性网络的例子 如果使用最简单的投票方式决定每个位置的单词 则该一致性网络产生的最佳译文为 You chat from Monday to Sunday online at lab 从上面的例子可以看出一致性网络产生的 最佳译文的质量和骨架的选择及对齐方法有关 虽然各种词对齐方法取得了很大的进展 但 依然不能达到百分之百的准确率 因此一致性网络输出的结果或许不是最好的译文 4 4 联合解码算法介绍及实验 联合解码算法介绍及实验 有多种方法可以用来挑选一致性网络中的句子 如对两个节点间的弧 每条弧代表一个 词 进行计数 选择出现次数最多的词 包括空字符 作为该位置的最佳词语 Sim et al 2007 也可以对词语指定权重 Rosti et al 2007 中使用的权重为 1 1ra n k rank 为词语 所在译文在系统中的排序位置 还可以把语言模型及各种特征加入到一致性网络解码算法当 中 Rosti et al 2007 正如第 3 1 节讨论的那样 我们可以从一致性网络中选出概率最大的 句子作为最佳译文 也可以选择具有最小贝叶斯风险的句子作为最佳译文 据我们所知 以 前的实验都采用第一种方法 挑选概率最大的译文 本文则利用最小贝叶斯风险解码算法 从一致性网络产生的候选译文中挑选最佳译文 系统框架如图 3 所示 图 3 系统框架图 假设一致性网络共有 N 1 个节点 并且两个相邻节点之间有 m 条边 则该一致性网 络可以产生 N m个候选译文 随着节点数目的增多 即候选译文的单词数增多 一致性网 络产生的候选译文数目成指级增长 为了提高速度本实验只使用得分最高的前六个数候选译 文 算法复杂度可以从 O N m 级降到 O mN 级 译文得分采用如下公式计算 hi log ih cE score Ew c 其中 我们利用最小贝叶斯风险解码算法从新产生的六个候选译文中选出具有最小风险的译文 佳译文 由于从一致性网络中无法有效地获得每个译文的概率 因此本文采用均匀分 布 i w c 为词 i所在译文的系统的权重 如果存在多个系统 则为各个系统的权重之和 参加融合的系统的权重可以从开放集上获得 作为最 c 1 6 r P EF 实验所使用的数据是 CWMT2009 参赛系统在 CWMT2007 汉英新闻领域测试集上的翻译 结果 上 BLEU 分数最高的 6 个系统 输出译文作为融合对象 实验 表 1 不同融合方法的实验结果 BP 在实验中我们选择在开放集 CWMT2007 测试数据 的结果如表 1 BLEU SBLEU 4 Sys best 0 2839 0 2953 Consensus network 0 2770 0 2949 Improved consensus network 0 2833 0 2937 conMBR 0 2885 0 2992 表 1 中的 Sys best 是在 CWMT2007 汉英新闻领域测试集上表现最好的系统 Consensus network 系统是从一致性网络中挑选得分最高的译文作为最佳输出译文 Improved consensus network 系统是从一致性网络中挑选得分最高的前六个译文 然后从中选出具有最小贝叶斯 风险的译文作为最佳译文 conMBR 系统是利用 Improved consensus network 系统产生的译 佳译 文 即 个句子进行融合 这样就抛弃了部分候选译文 可能会抛弃更加符合条件的译文 有可能会影响最终的结果 文作为参考译文 然后从参加融合的系统译文中选出和该参考译文具有最小贝叶斯风险的句 子作为最佳译文 从表 1 中可以看出 Improved consensus network 系统的 BLEU SBP 得分比 Consensus network 系统要高 但这两种方法都比在开放集上表现最好的系统的得分要低 这可能是由 于在创建一致性网络时原有的句子结构被打乱 原本连贯的词语之间插入了新的词语 根据 Sim et al 2007 提出的解决方法 我们把 Improved consensus network 系统产生的译文作为参 考答案 从原始系统产生的译文中选出和该参考译文具有最小贝叶斯风险的译文作为最 conMBR 系统采用的策略 从实验结果中可以看出该系统的表现比 Consensus network 和 Improved consensus network 要好 表明该方法在一定程度上能解决连贯性问题 在本次实验中 为了提高速度只是从一致性网络中挑选得分最高的六 另一方面从一致性网络中挑选出来的句子无法取得它们有效的后验概率 r PEF 在实验 中只能采用均匀分布 根据前人的工作 Sim et al 2007 采用均匀分布的系统表现不如使用加 权的系统 根据 Rosti et al 2007 一致性网络的质量依赖于选取的骨干和采用的词对齐方 法 本实验采用 TER Snover et al 2006 对齐算法 虽然该算法简单便捷 但该算法不能处 理同义词的对齐 根据 Rosti et al 2009 和 Ayan et al 2008 扩展后的 TER 算法 考虑了同 义词的对齐 表现要比传统的 TER 算法好 上面讨论的原因可能会导致 Improved consensus network 系统的表现不是很理想 从表 1 中可以看到 虽然比 Consensus network 系统的 却稍低一点 而且不如参加融合的最好的系统 5 5 佳译文 然后利用最小贝叶斯风险解码算法从 N best 译文中找出具有最小贝叶斯风 险的 算法关系到一致性网 络的质量 进而会影响一致性网络输出的 N best 译文的质量 因此我们需要 因为使用后 叶斯风险解码算法比使用均匀分布的要好 可以提高融合系统的准确性 arch Division ne Trans In the Americas BLEU SBP 得分高 但 BLEU 得分 结论及未来的工作 结论及未来的工作 本文提出一种基于一致性网络 Consensus network 和最小贝叶斯风险 Minimum Bayes Risk 的解码方法 首先利用参加融合的译文构建一个一致性网络 从一致性网络中输出前 N 个最 译文作为最佳译文 实验结果表明该算法在一定程度上好于直接使用一致性网络解码算 法 下一步的工作主要包括两方面 一是提高词对齐的准确性 词对齐 一个准确有效 的词对齐算法 二是从一致性网络中取得候选译文的有效的后验概率 r P EF 验概率的最小贝 参考文献 参考文献 K Papineni et al 2001 BLEU a method for automatic evaluation of machine translation Tech Rep RC22176 W0109 022 IBM Rese M Snover et al 2006 A study of translation edit rate with targeted human annotation In Proc Assoc for Machi S Kumar and W Byrne 2004 Minimum Bayes risk decoding for statistical machine translation In Proc of HLT A V I Rosti et al 2007 Improved word level system combination for machine translation In Proc ACL pages 312 319 K C Sim et al 2007 Consensus network decoding for statistical machine translation system combination In Proc ICASSP A V I Rosti et al 2007 Combining outputs srom multiple machine translation systems In Proceedings of NAACL HLT 2007 pages 228 235 A V I Rosti et al 2008 Incremental hypothesis alignment for building confusion networks with application to t al 2008 Improving alignments for better confusion networks for combining machine ment with flexible matching for building confusion h EACL ical machine translation Tutorial in ACL2009 S Bangalore G Bordel et al 2001 Computing consensu