基于短语的汉蒙统计机器翻译研究.doc

王斯日古楞 1，2，斯琴图 3，那顺乌日图 2WANG Siriguleng1，2，Siqintu3，Nasun-urtu21.内蒙古师范大学 计算机与信息工程学院，呼和浩特 0100222.内蒙古大学 蒙古学学院，呼和浩特 0100213.内蒙古师范大学 网络中心，呼和浩特 0100221.College of Computer and Information Engineering，Inner Mongolia Normal University，Hohhot 010022，China2.School of Mongolian Studies，Inner Mongolia University，Hohhot 010021，China3.Network Center，Inner Mongolia Normal University，Hohhot 010022，ChinaE-mail：WANG Siriguleng，Siqintu，Nasun -urtu.Phrase -based Chinese Mongolian statistical machine translation.Computer Engineering and Applications，2010，46（14）：138-142.Abstract：The current mainstream approach to statistical machine translation is the phrase-based model.This paper presents themethod of how to build phrase-based Chinese Mongolian statistical machine translation system using the existing technologies and resources.An automatic evaluation platform for Chinese Mongolian machine translation is also built.Thus，the performance of trans lation system is improved by the use of dictionary and Mongolian morphological information.Key words：phrase；Chinese Mongolian statistical machine translation；automatic evaluation；morphological摘 要：基于短语的统计机器翻译是当前统计机器翻译的主流方法。研究了利用现有技术和资源搭建一个基于短语的汉蒙机器翻译系统的方法，并且构建了一个汉蒙机器翻译的自动评价平台，在此基础上利用词典和蒙古语形态学信息来提高了翻译系统的性能。关键词：短语；汉蒙统计机器翻译；自动评测；形态学DOI：10.3778/j.issn.1002-8331.2010.14.041文章编号：10028331（2010）14-0138-05文献标识码：A中图分类号：TP391.21引言关于汉蒙机器翻译，曾经做过基于规则的研究1和基于实 例的研究2。但是由于语言资源不足，研究人员和资金短缺，以及蒙古语言本身的复杂性等原因，汉蒙机器翻译的研究进展比 较缓慢。近几年，随着统计方法在机器翻译领域的成功应用，统计机器翻译已经成为机器翻译的主流方法。同时，在统计机器翻译领域，有很多开源工具供研究人员免费使用，这促进了统 计机器翻译的快速发展。在现有汉蒙机器翻译研究的技术和资源基础上，结合统计机器翻译的开源工具，开展了基于短语的 汉蒙机器翻译研究。相应的搜索公式为：Iargmax P（r e ）P（r f |e ）J I（2）Ie11 11I其中 P（r e1）被称为语言模型，反映了一个句子在目标语言中出现的可能性，实际上就是该句子在句法语义等方面的合理程J I度；P（r f |e ）被称为翻译模型，反映了两个句子互为翻译的可1 1能性，翻译模型将源语言句子与目标语言句子连接起来 。BROWN 等4中提出了 5 个翻译模型，通常被称为 IBM 模型。2002 年 Och 将对数线性模型（Log-linear Model）引入统计I J机器翻译5。对数线性模型对 P（r e |f ）直接建模，将各种知识源1 1看作特征函数。2关于统计机器翻译模型IBM 公司的 BROWN 等人在 20 世纪 90 年代初提出了统计机器翻译模型3-4。他将翻译看作一个噪声信道问题。统计机exp 1 h （eI ，f1MJ）m m 1 1I JI JP（r e |f ）=p （Me |f ）=（3）m=11 111 1exp 1 hm（e軃 ，f ）1MI JJ器翻译中把给定一个源语言句子 f 1 =f1 fj fJ ，翻译成目标语m1 1e軃m=11II言句子 e1 =e1 ei eI 时，就是从所有的可能的目标语言句子中选择概率最大的译文。根据贝叶斯公式，翻译概率为：相应的搜索公式为：Me赞I1I JI J=argmax I P（r e |f ）=argmax I h （e ，f ）（4）I J I P（r e1）P（r f 1 |e1）e1 1 1e1 m m 1 1I Jm=1P（r e1 |f 1）=（1）JI JP（r f 1）其中 h（e ，f ）为与 e 和 f 相关的特征分数， 为相应特征的权重。m 1 1m的统计机器翻译方法更为一般化的一种方法。它的主要优点是很容易将各种知识源以特征函数或附加模型的方式整合到系统中。对数线性模型为统计机器翻译的研究提供了一个更加广阔的视 野，现在的统计机器翻译系统大多数都是采用对数线性模型框架。 统计机器翻译方法根据其翻译单位的不同，在发展过程中经历了基于词的翻译，基于短语的翻译和基于句法的翻译过程。IBM 模型的基本翻译单位是词语，所以也称为基于词的翻 译模型。由于基于词的模型没有考虑上下文信息，重排序能力很弱，所以人们开始使用串到串的翻译取代单词到单词的翻译6，并称新的翻译单元串为短语（phrase），这里的 phrase 并不一定 是语言学意义上短语，只是连续的词串。基于短语翻译的基本思想是首先将给定的源语言句子分割成短语，之后翻译每个短语，最后用翻译过来的短语组成目标语言句子。基于短语的模型的优势是擅长翻译习惯用语等非组合性 短语，能够很好地解决局部重排序，并且包含了一定的上下文信息。但是，在基于短语统计方法存在全局重排序能力弱，不能 处理非连续短语等主要问题。为了解决基于短语方法中存在的问题，研究人员将句法知 识引入到统计机器翻译中，从而开始了基于句法的统计机器翻 译研究的热潮7-8。Science Institute）的菲利普.科恩（Philipp Koehn）在 2004 年做博士论文期间编写的9（ 下载地址：http：//licensed- sw/pharaoh/）。摩西（Moses）“：摩西”是“法老”的升级版本，它增加了许多功能，是由英国爱丁堡大学、德国亚琛工业大学等 8 家单位，2006 年在约翰霍普金斯大学召开了一次研讨会上联合开发的 一个基于短语的统计机器翻译系 统（下载地 址 ：http：//moses/）。翻译模型的训练工具 Giza+：GIZA+是由 Och 等人开发 的。它主要用于从句子对齐的双语语料库中训练词语对齐，利用它能够非常方便地从大规模的双语文本中获得统计知识 。GIZA+实现了 IBM 公司提出的 5 个模型，GIZA 是独立于语言 的，能够对任何两种语言进行训练。现在几乎所有的统计机器翻译系统都利用这一工具进行词语对齐的训练。Giza+的主页 是：http：//GIZA+.html。语言模型工具 SRILM：SRILM 是 SRI 口语技术与研究实验室（SRI Speech Technology and Research Laboratory）发布的开 源的语言模型工具包。这个工具包包含一组 C+类库、一组进行语言模型训练和应用的可执行程序、其他相关工具。下载地址是：http：//projects/srilm/download.html。开放源代码的汉英机器翻译系统（SilkRoad）：“丝路”是一 个开放源代码的汉英机器翻译系统，该系统由中国的一些研究机构和高校共同开发，并在 2006 年的中国第二届统计机器翻 译研讨班上发布。该系统采用目前主流的基于短语的统计机器翻译方法开发。可以在“中文自然语言处理开放平台”上下载，该平台网址为：http：/。机器翻译的自动评测工具 Mteval：Mteval 是美国国家技术 和标准研究所（NIST）开发的机器翻译自动评测工具，最新版本 是 mteval-11b.pl，是用 perl 语言写成的（下载地址：http：//speech/tools/）。3.2翻译系统的框架基于 Pharaoh 和“丝路”的设计流程可以非常方便的搭建 一个基于短语的汉蒙统计机器翻译系统（图 1 所示）。汉蒙双语3基于短语的汉蒙统计机器翻译系统的搭建对于统计机器翻译的训练方法和解码问题，在国内外已经 做了很多工作，并且有很多研究成果可以共享，这对统计机器 翻译的快速发展起了关键的作用。目前，基于短语的统计机器翻译方法是统计机器翻译的主流方法。近几年，在 NIST 评测中，名列前茅的翻译系统大多数 都是基于短语的系统。考虑到蒙古语言机器翻译资源建设和相关技术研究的现状，开展了基于短语的汉蒙统计机器翻译研究。3.1可以利用的开放资源在开展基于统计的汉蒙机器翻译时，结合蒙古语的语言特 点，充分参考和利用了已有开放资源。主要包括：法老（Pharaoh）：Pharaoh 是较早公开的，影响最大的统计规范的汉蒙双语训练语料库分词的训练语料库输入汉语文本蒙古语单语文本词语对齐的语料库规范输入文本蒙古语语言模型短语翻译概率表中间输出文本输出蒙古语文本图 1 基于短语的汉蒙统计机器翻译系统流程图输出后处理解码短语抽取语言模型训练输入预处理汉蒙词语对齐词的词性标记确定下来后，顺次取出各词 的最佳前驱标记，即得到词性标注结果后获得汉蒙短语翻译概率表，蒙古语单语文本通过语言模型训练工具后可以获得蒙古语语言模型。解码器根据汉蒙短语翻译 概率表和蒙古语语言模型对于输入的汉语文本进行翻译，最后输出蒙古语文本。3.3各个模块的设计方法下面分别介绍系统流程图中各处理模块的设计方法。331 准备训练语料库 短语翻译概率表是从汉蒙双语语料库中抽取的。汉蒙双语语料库，不象汉英双语语料库那么丰富，而且建立和收集都是 比较费事的。对现有的汉蒙（内大拉丁蒙古文）句子对齐语料库进行整理，挑选出其中一对一的句子对。具体整理过程如下：（1）收集能够获得的所有汉蒙句子对齐语料库。（2）将其中重复的句子去掉。（3）统一格式：还原原始语料格式，主要是对拉丁蒙古文中 人工加入的一些符号去掉。包括：变形附加成分符（/），人名地名符（ ），连字符（=），数字英文区别附（|，#）等。（4）抽取 500 个句对的测试语料，组成测试语料集。（5）分类构成训练语料集，分为以下三类：政府文献和法律文献，政府文献和法律文献：包括 1998年和 2004 年政府文献语料，以及法律语料共有 7 972 句对。日常用语和对话：过滤处理后共有 35 001 句对。文学：包括林海雪原和青春之歌两个小说中选出的 25 390个句对。将以上三类合在一起，能够使用的汉蒙句子对齐语料共有68 363 个句对。有了双语语料后，根据训练工具的要求建立规 范语料库。规范语料库是源语言和目标语言的语料分别存在一个文件中，文件的每一行为一个独立的句子。两个文件中相同 行的句子是相互对应关系。为了解决 GIZA+词语对齐的问题，再对两个方向的对齐结果按照 Och 等提出的 refined alignment 的思路进行优化5，9-10。优 化的方法采用了以两个方向对齐结果的交集为中心点，检查其上下左右及对角相邻的 8 个点，若在并集中，则作为扩展的对 齐点加入对齐序列中。最后获得汉蒙词语初步对齐的结果。对齐结果以 xml 文件输出。短语抽取3332短语抽取的主要功能就是从词语对齐的语料库中抽取双语短语，并计算翻译概率。用“丝路”中的短语抽取工具进行短 语抽取，最终得到带概率的短语抽取表。本模块基本实现了PHARAOH 的短语抽取方法9-10。基本思想：（1）利用词对齐生成最大似然词汇化词典。（2）抽取短语；抽取条件：短语必须与词对齐相容。抽取方 法：提取对齐矩阵中的所有以对齐点为顶点的矩形，条件是与矩形所在行范围内的源词对齐的目标词也都在这个矩形的列范围内，反之亦然。（3）对每一个短语计算 4 个概率：p（c|m），p（m|c），lex（c|m），lex（m|c），抽取短语和概率计算结果在汉蒙短语翻译概率表中。蒙古语语言模型的训练334语言模型是自然语言的数学模型，它主要描述自然语言的统计和结构方面的内在规律。计算机主要依据语言模型对自然 语言进行理解。语言模型就其研究方面而言，一般分为两类。一类是基于语言学知识的规则文法，另一类是基于统计的语言模型。目前，以语料库为基础的统计语言建模方法成为潮流，它通 过对语料库进行深层加工、统计和学习，获取大规模真实语料中的语言知识。使用 SRILM 训练了蒙古语语言模型。参加训练 的语料是双语语料库中的蒙语句子。335 解码选择了骆驼（Camel）解码器进行解码。Camel 是一个统计 机器翻译解码器，是“丝路”的一个组成部分。该系统采用目前主流的基于短语的统计机器翻译方法，采用 Log-linear 模型作 为直接翻译模型。给定一个源语言句子，解码器读入双语短语表，通过语言模型工具调用语言模型，进行解码，输出目标语言句子。翻译模型采用 Log-linear 直接翻译模型10。CAMEL 采用下 面 7 个特征为：短语翻译概率 p（c|m）、反向短语翻译概率 p（m|c）、 短语词汇权重 lex（c|m）、反向短语词汇权重 lex（m|c）、蒙古语语言模型 lm（m）、蒙古语句子长度惩罚 I 和短语扭曲模型 d。给定一个汉语句子（已分词），Camel 解码过程如下：（1）Select Translation Options：穷举汉语句子的所有 可 能 的短语，从双语短语表中读入对应的蒙古语短语及概率。（2）Compute Future Cost：根据（1）中选择的短语计算任意 连续位置的汉语短语未来概率。（3）Beam Search：进行柱式搜索。（4）Generate Nbest-list：回溯产生 Nbest。双语训练语料库预处理预处理部分包括对中文语料的预处理和蒙古语语料的预 处理。中文语料预处理部分按照“丝路 1.0”处理方法进行处理10， 包括 A3 区全角字符转换功能，中文分词功能。蒙古文语料是以内大拉丁形式存储的。虽然蒙古文中，词语词之间是以空格分隔，但是标点符号和数字等有时也会与单 词连写的情况出现，而且在蒙古文的拉丁转写方案中，单词中有些字符（如：0，$）与数字和特殊符号有冲突，所以有必要将蒙 古文原始语料库进行预处理。编写了拉丁蒙古文预处理程序，根据拉丁蒙古文的字符集，将单词、标点符号和数字进行分隔， 使得它们之间都以空格分割。332汉蒙短语翻译表的建立对分词的双语语料库，经过词语对齐和短语抽取，可以获 得汉蒙短语翻译表。3331 词语对齐选择 GIZA+进行汉蒙词语对齐的训练。GIZA+的主要思 想是利用 EM 算法对双语语料库进行迭代训练，由句子对齐得 到词语对齐。GIZA+是独立于语言的，能够对任何两种语言进行训练。利用 GIZA+进行中文到蒙古文、蒙古文到中文两个方向的 训练，GIZA+实现了基本的 IBM 统计翻译模型，但得到的对齐333基于短语的汉蒙统计机器翻译系统实现基于以上基础，在 VC6.0 环境下实现了基于短语的汉蒙统 计机器翻译系统。系统包括系统设置和翻译两个主要功能模块。3.4系统设置341在整个系统运行之前，首先要进行系统设置。系统设置部设置中要设置翻译程序运行过程中所需要的各种参数，对参数可以任意进行修改，如果不想修改可以使用系统默认值。参数 设置对话框如图 2。为了对于汉蒙机器翻译系统的结果进行评价自动评测，选择美国国家技术和标准研究所（NIST）开发的机器翻译自动评 测工具 Mteval 对该系统进行了评测。首先要构建了汉蒙机器翻 译评测数据集。自动评测的数据集包括 500 个汉语句子。其中： 政府文献：150 句；文学作品：150 句；法律用语：200 句。找了 4 个母语为蒙古语的人进行了翻译，得出每个句子的4 个不同蒙古文译文。按照 Mteval 自动评测工具的格式将参考 答案进行组织。同时将汉语数据集和系统翻译结果数据集，转换成 Mteval 系统的要求的格式。42实验分析对开发的系统，根据不同的训练语料及其评测数据集进行实验，结果如表 1。表 1不同训练集上评测结果图 2参数设置对话框语料库类型训练集规模评测句子个数NISTBLUE政府文献 TS1法律 TS2文学 TS37 972 句对7 972 句对25 390 句对1502001506.913 34.645 93.952 20.338 30.156 90.104 7将训练好的语言模型和翻译模型以文该文件的形式存储起来，参数设置后根据需要选择进行加载。342 翻译 系统设置完成后，就可以进行具体的翻译工作了。在翻译中可以对于单句进行翻译，也可以对多个句子构成的文件进行翻译。在单句翻译时，只要在将源语言汉语句子输入之后，按单 句翻译按钮，就可以在内大拉丁蒙文译文窗口中看到蒙古文译文，同时在下面的窗口中显示出传统蒙古文对应的句子。在文 件翻译时，需要将待翻译的句子文件按照一句一行组织成文该文件格式，在系统中打开对应的文件，在翻译系统的三个窗口 中显示出对应的汉语句子、内大拉丁蒙古文译文和传统蒙古文句子。其中从内大拉丁到传统蒙古文的转换部分，使用了图格木 乐硕士开发的编码转换软件中一个模块11的基础上改造集成的。同时可以将文件翻译的结果保存起来，便于分析和测试。从实验结果看，3 个训练集上的测试结果有明显的差距，其中政府文献上的翻译得分最高，而在文学语料上的得分最 小。主要原因是政府文献的句子比较规范，用词较固定，而文学作品比较自由灵活，这也说明了机器翻译的应用应该是某个句子比较规范的专业领域，而不是文学作品。因此，下面主要选择 政府文献语料进行实验和研究。5基于词典和形态学分析的汉蒙统计翻译模型通过对实验结果进行分析后，发现对基于短语的汉蒙统计 机器翻译系统中存在以下主要问题：（1）未登录词：由于语料规模太小，出现了很多未登录词。（2）语序问题：汉语和蒙古语的语序差异很大，但基于短语 的模型不能够解决长距离语序调整问题。对于第一个问题，在翻译模型中加入词典，同时对于目标 语言蒙古语，做了简单的形态分析，来进一步提高系统性能。另 外，准备对于数字、时间和日期等词语通过规则的方法进行翻译，来减少未登录词数量。对于第二个问题通过句法结构信息，主要是将具有语序变 化的汉语到蒙语的短语结构转换规则引入到系统，对于句子进行调序。5.1汉蒙词典的加入为了解决语料不足导致的未登录词问题，在训练时加入了 一个汉蒙词典。汉蒙词典是在以前的机器翻译系统中使用的基础资源之一。这部机器可读词典收词 22.8 万余条（多义词的多 个义项作为不同记录存储）。把词典的词条以短语的方式加入到分词后的语料中，然后进行训练。研究是在政府文献语料上进行的。通过训练后分别 得出带词典的短语表，实验的结果如表 2。4汉蒙机器翻译系统的自动评测随着机器翻译方法和技术的发展，越来越多的研究人员加 入到机器翻译研究的队伍当中，促进了机器翻译的进一步发展。从众多系统中如何选择一个好的系统，应用某种技术后怎样确定一个系统是否有改进，这样就产生了如何合理评价一个 机器翻译系统翻译质量的问题。国内外组织进行机器翻译评测的机构很多，也有很多评测平台，但是针对目标语为蒙古语的 汉蒙机器翻译评测的机构和平台还是空白。为了合理有效地开展汉蒙机器翻译研究，初步搭建了一个汉蒙机器翻译的评测平 台，并且在此基础上对翻译结果进行了评测。41自动评测平台的建立目前，机器翻译评测领域目前使用最为广泛的自动评测方法是 BLEU（Bilingual Evaluation Understudy）。BLEU 是 IBM 公 司在其一份技术报告12中提出了一种基于 n 元语法的机器翻译自动评测方法，其基本思想是，将机器翻译产生的候选译文与人类翻译者提供的多个参考译文相比较，越接近则候选译文 的正确率越高13。类似的方法还包括 NIST 方法，该方法由美国标准和技术研究所提出并命名，它在 BLEU 方法的基础上，综合考虑了每个 n 元词的权重，对于那些在参考译文中出现次数表 2不带词典与带词典实验测试对比训练集评测句子个数NISTBLUETS1TS1+DIC1501506.913 37.535 10.338 30.373 2加入词典后 NIST 和 BLUE 值都有明显的提高。因此，在语料库规模较小的情况下，词典的加入将会显著地提高翻译系统的 性能。训练集评测句子个数NISTBLUETS1TS1+DIC TS1+DIC+切分1501506.913 37.535 10.338 30.373 2150 7.553 6 0.396 8 蒙古文形态学分析在汉蒙机器翻译中，蒙古语作为目标语言，在机器翻译中 除了需要词语的转换以外，还要生成出符合蒙古文语法的词语 和语句。蒙古语属黏着性语言，其构词、构形都是通过在词干后 缀接不同的词尾而实现，而且可以层层缀接，层层派生。其中蒙古文的构形词尾更是变化多端、错综复杂。在文献14中指出， 蒙古文中的一个动词可以有 850 多种变化形式，在机器翻译中如何正确地选择和生成这些形式，是蒙古文机器翻译的关键所在。蒙古文的构形更是变化多端，名词有格、数、领属等范畴， 形容词除格、数以外还有级范畴，动词的变化更为复杂。考虑蒙 古文的形态变化丰富特点，首先进行蒙古文的名词格的切分。 蒙古文名词处在词组和句子中时，总是处于某一种格的形式。 格是用来表示名词和别的词的关系以及它在词组和句中功能的。例如：就 TERGE（车）一个名词，根据 26 万语料统计，出现 了 17 个变形，总 179 次，而其中原形 TERGE 出现了 68 次。如 表 3 所示。表 3 名词 CERIG 及其各种变形出现次数统计表5.2从表 5 的实验结果可以看到，训练集、测试集相同，语言模型相同的情况下，NIST 和 BLUE 值都有明显的提高。在蒙古文 中，名词格附加成分只是蒙古文形态变化的一小部分，对于动词来说，这种变化更加丰富。但是，由于蒙古文自动切分标注程 序的准确率有待于进一步提高，实验中还没有将所有的变形附 加成分进行切分处理。总结和展望机器翻译是个艰难的研究课题，汉蒙机器翻译尤其困难。 利用基于短语的统计机器翻译方面的现有技术和资源，已经搭 建了一个基于短语的汉蒙统计机器翻译系统平台，同时建立了 一个小规模的测试集，可以对汉蒙机器翻译的质量进行自动评 估。在此基础上，进一步将形态学和句法知识等融合到系统中 进行实验，不断地提高系统的翻译质量。虽然，汉蒙机器翻译系统离全自动高质量的机器翻译的目 标还非常遥远，但是仍正在不断努力前进着。6参考文献：1 那顺乌日图，刘群，巴达玛放德斯尔.关于汉蒙机器辅助翻译系统J.阿尔泰学报，2001（11）.2 侯宏旭，刘群，那顺乌日图.基于实例的汉蒙机器翻译J.中文信息 学报，2007（4）：65-72.3 Brown P F，Cocke J，Della Pietra S A，et al.A statistical approach to machine translationJ.Computational Linguistics，1990.4 Brown P F，Della Pietra S A，Della Pietra V J，et al.The mathematics of statistical machine translation：Parameter estimation J. Computational Linguistics，1993，19（2）.5 Och F J，Ney H.Discriminative training and maximum entropymodels for statistical machine translationC/ACL2002，2002.6 Koehn P，Och F J，Marcu D.Statistical phrase-based translationC/ Proceedings of HLTNAACL，2003：127-133.7 刘洋.树到串统计翻译模型研究 D.北京：中国科学院研究生院，2007.8 熊德意.基于括号转录语法和依存语法的统计机器翻译研究D.北 京：中国科学院研究生院，2007.9 Koehn P.Pharaoh：A beam search decoder for phrase-based statis tical machine translation modelsC/Proceedings of the Sixth Con ference of the Association for Machine Translation in the Americ as，2004：115-124.10 基于短语的统计机器翻译系统“丝路”1.0 版（SilkRoad V1.0）设计 与使用说明EB/OL（. 2006-10）.http：/.11 图格木乐.蒙古文资源库建设相关技术研究D