基于短语模板对齐的统计机器翻译系统.pdf

中文信息学报 第2 O 卷 增刊 J O U R N A L O F C H I N E S E I N F O R M A T I O N P R O C E S S I N G V o 1 2 0 S U P P L E M E N T 文章编号 1 0 0 3 0 0 7 7 I 2 0 0 6 增刊 一 0 0 5 3 0 8 基于短语模板对齐的统计机器翻译系统 杨振东 庞薇 魏玮 杜金华 陈振标 宗成庆 中国科学院 自 动化研究所 高技术创新中心 北京1 0 o o s o 摘要 论文提出了一种基于短语模板时齐的机器翻译 系统 系统采用基于短语模板对齐的翻译模型替 代原始基于词的模型 提 出了计算短语模板翻译概率的方法 改进 了 先前单纯基于短语的搜 索算法和回溯方 法 解码时引入繁衍度为0 且出现频率高的词 使翻译结果更合理 论文进行 了一系列实验 介绍了0 5 年8 6 3 评洲 证明本系统翻译结果的 B l e u得分比原来的系统有了显著提高 关键词 统计机器翻译 翻译模型 搜索算法 中圈分类号 T P 3 9 1 2 文献标识码 A T h e P h r a s e Te mp l a t e Al i g n me n t Ba s e d S t a ti s ti c a l M a c h i n e T r a n s l a t i o n YANG Z h e n d o n g P AN G We i WEI We i D U J i n h u a C HEN Z h e n b i a o Z ONG C h e n g q i n g Hi t e e h I n n o v a ti o n C e n t e r I n s ti t u t e o f Au t o m a ti o n C h i n e s e A c a d e m y 0 f S c i e n c e B e i j i n g 1 0 0 0 8 0 C h i n a Ab s t r a c t I n t h i s p a p e r w e p m s e a p h r a s e t e mp l a t e a l i g n me n t b a s e d t r a n s l a ti o n s y s t e m I I I t h e s y s t e m w e t l S e p h r a s e temp l a t e t r a n s l a t i o n mo d e l i n s t e a d o f w o r d b a s e d mode 1 An i mp r o v e d me thod t o c o mp u t e p h r a s e t e mp late t r a n s lat i o n p r o b a b i l i t y i s s t u d i e d A p h r a s e t e mp l a t e b a s e d d e e me r we d e v e l o p e d e mp l o y s a b e a m s e a r c h a l g o r i t h m i n w h i c h r o me t a r g e t l a n g u a g e w o r d s tha t h a v e b o th h i g h f r e q u e n c y o fa p p e a r a n c e a n d a l s o f e r t i l i t y z e r o a r e i n t r o d u c e d t O ma k e th e r e s u l t m o re r e a s o n a b l e We i m p r o v e the p r e v i o u s l y p r o p o s e d t r a c i n g b a c k o ri t h m tO g e t the b e s t p ath S o me e x p e r i me n t s c o n c e r n e d a r e p res e n t e d Ke y wo r d s s t a ti s ti c al ma c h i n e t r a n s l a ti o n t r a n s lati o n mo d e l s e a r c h i n g algori thm 1 简介 统计机器翻译是大词汇量文本翻译最有效的方法之一 9 o 年代早期 I B M开发了 C a n d i d e 系统 在此启发之下 出现了很多的统计机器翻译系统 3 J 这些系统有三部分核心技术 翻 译模型 语言模型 搜索算法 基本原理是 以翻译模型制约源语言与目标语言之间词的对应 结合目 标语言模型来驱动搜索进行 近年来 开发者不断研究 翻译系统从原始的基于词的翻 译模型发展到更复杂的模型 基于对齐模板H 和基于短语的翻译模型及相应的搜索算法被提 出 5 6 当前很多高效的翻译系统是基于短语的统计机器翻译系统 我们的系统是在基于短语的翻译模型中引入模板的思想 构成了一种基于短语模板对齐 的中英翻译系统 系统提出了一种结合对位信息和出现频率来计算短语模板翻译概率的方 法 根据汉语与英语表达方式的不同 在搜索算法上改进了原来的柱搜索算法 引入了繁衍 收稿 日期 2 0 0 5 1 l 一 0 3 定稿 日期 2 0 0 6 0 1 一 o 9 基金项目 国家自然科学基金资助项 目 6 0 2 7 2 0 4 1 作者简介 杨振东 1 9 7 8 一 男 博士生 主要研究方向为统计机器翻译 5 3 维普资讯 度为零且出现频率较高的词的信息 并改进了回溯算法 由于翻译的质量很大程度上依赖于短 语模板对的抽取 文章的第2部分研究了短语模板的定义 短语模板对的提取方法及翻译概率 的计算 第 3 部分主要介绍了改进的搜索算法 第 4部分讨论了一系列中文到英文的翻译实 验 探讨了不同短语模板抽取方法及改进的搜索算法的效果 文章的第 5部分进行了总结 2 基于短语模板的翻译模型 2 1 短语模板 在计算翻译模型概率与语言模型概率时不可避免的会遇到数据稀疏问题 为此当构成短 语对的双方同时出现表示命名实体或数字的词时 用规定的代表这一类词的变量来代替 这样 就使原来的短语具有了泛化能力 也从一定程度上解决了数据稀疏问题 我们把含有变量的短 语称为短语模板 这样不含变量的短语只是短语模板中的特例 例如把中文中表示时间和地 点的词分别用 T I M P 和L O C 一 代替 英文中用 t i m p 一 和l o c f 弋 替 如图 1 就形成了与有关时间 和地点的短语模板 原短语 9点 到达 g e t a t 9 从北京 到上海 f r o m B e i j i n g t o S h a n g h a i 短语模板 T I MP I 达 g e t a t t i m p 一 从 L O C 一 到 L O C f r o m l o c t o l o c 一 图 1 短语模板 与原 始 的 I B M 基 于词 的翻译模型不同 系统的翻 译模型是基于短语模板的 这里的短语模板是一系列的 词或者变量组成的整体 可 以不具有明确的语法或者语义的意义 短语模板对也就是由源语言和相应的目标语言短语模 板构成 而单个的词也可看作一个短语模板 这样就扩展了原始的I B M翻译模型 2 2 短语模板的提取 提取短语模板之前先把训练语料双语句子对中表示命名实体或数字的词用规定变量符号 代替 如 2 1 所述 再进行短语模板抽取 抽取短语模板对有多种方法 这些方法大多是依靠 句子对中词与词的对齐来实现 系统研究了四种提取中 英短语模板对的方法 如下所述 2 2 1 直接提取 直接提取是一种最粗糙的方法 我们直接利用 I B M翻译模型4进行词的对齐 在此基础 之上提取短语模板翻译对 如在双语句子对 c e 中提取短语模板翻泽对 c c c c c 为组成 的词 根据I B M翻译模型4 中的每一个词c 都可以在对应的目标语言句子 e 中找到对应的词 e 并可得到在句子中位置序号 如果有多个目标语言词与其对应 可根据 I B M 4 翻译模型选择概率最大的一个 提出最小位置序号和最大位置序号之间的英文词组成 的短语模板 苫 e I e e j 即为对应 的英文短语模板 这种方法可能使提出的中英短语模板 的长度差别很大 为此可设定长度或者概率的限制 使提取的短语模板更加合理 2 2 2 I S A I n t e g r a t e d S e g m e n t a t i o n a n d P h r a s e A l ig n m e n t 方法提取 句子对可用一个二维矩阵来表示 矩阵中每一个元素的值表示双语句子对中词与词之间 的互信息 短语模板翻译对对应于矩阵中的一个矩形区域 在这个区域中 各个元素的值 即词 对互信息值是近似的 J 可用贪婪算法提取出双语句子对中的所有的短语模板对 2 2 3 根据 H MM对位模型提取 提取短语模板对的一个简单的办法就是利用词对位模型 根据文献 9 中提出的基于 H M M的对位模型 对于某个覆盖了源语言句子位置J I到 短语模板 我们可在 目标语言句子 中得出相应词的起始和结束位置序号 提取出其中的词就组成了相应的目标语言短语模板 类 5 4 维普资讯 似于直接提取的方法 可设定长度或者概率的限制使提取结果更加合理 2 2 4 G i z a 提取 G i z a 工具在训练双语语料时可获得基于词的翻译模型 同时也得出了词的对齐信息 在用 G iz a 工具得出双向对位的基础上 可以用不同的启发函数改进对位 进而提取短语模 板 系统采取的提取方法是 先得到双向对位的交集 然后再加入对齐范围内的某些词组成短 语模板 2 3 短语模板翻译概率 如果单纯依靠短语模板出现频率计算翻译概率 则会带来概率区分度低的问题 为此 C M U在I B M模型1的基础上 提出了如下的短语翻译概率计算公式 p 三 I p c 0 1 但这种方法有一个缺点 当源语言短语模板中只要有一个词在相应的目标语言短语模板 中没有合适的对应词的话 就会导致整个短语模板翻译概率很小 而中文短语模板中的很多的 虚词或者助词使的这种情况很严重 为此 利用 I B M模型4 得出的对位信息 把翻译对 中单个源语言词对多个目标语言词或多个源语言词对单个目标语言词隔离出来 形成一个小 的短语模板块 这样原来的短语模板翻译对就可看成几个小的翻译对的组合 公式变为 p 三 l n p 2 i 表示分成的小的短语模板块的序号 k 表示第 个块包含的词的序号 表示翻译对包含 的目 标语言词的序号 n 表示第 i 个短语块包含的词的数 目 我们把两种方法结合 并以短语模板对出现频率进行调节 这样短语模板翻译概率计算公 式为 p c l e A l P l A 2 P 2 1 A 3 其中A A l p P 分别是公式 1 和 2 得出的结果 表示此短语模板出现的频率 3 解码算法 解码的过程可分为两步 首先对输入文本生成相应的短语模板 这是为搜索做准备工作 然后是搜索解码 在这个过程中综合考虑翻译模型得分 语言模型得分 扭曲得分 旬长模型得 分等 最后回溯得出结果 下面分别介绍 3 1 数字处理模块 在翻译的过程中 经常会出现数字 对中文相对简单的数词表达方式来说 英文表达就显 得丰富的多 在我们的系统中 数词翻译单独形成了模块 我们从训练语料中提取总结了数词翻译的方式 分别是 单纯表示数字的数词 如表示房 间号码 电话号码 整数 年份的词直接把数字当成翻译输出 如果数词和其他词一起单独成 词 数字在这里只是代表了一种顺序 在翻译上已经完全看不到英文数词的影子 比如星期一 三月 第一等 这些按照总结的规则进行 这样在我们的翻译系统中既结合了摸板的方法 又 部分的结合了规则的方法 形成了几种方法的统一 3 2 翻译侯选 通过上面介绍的提取方法 对训练语料进行短语模板提取 可得到短语模板表 对于某个 输入文本 按前述把可能含有的表示时间 地点 人物 组织名 数字等的词进行替换处理 再通 过查询短语模板表便可得出有关的短语模板 对应于每一个输入的源语言短语模板 一般都有 5 5 维普资讯 的目标短语模板与之对应 每一个称为一个翻译候选 与翻译候选相关的源语言短 目标语言短语模板 翻译概率等信息在解码真正开始之前先存储起来 3 3 搜索算法 我们的系统采用的搜索算法类似于文献 7 中的柱搜索算法 但考虑到表达习惯的不同 当 把中文翻译成英文时某些词必须被补充 象某些冠词如 a a n t h e 某些介词如 o f a t 等 这些词出 现频率很高 在短语模板提取时又很难提取出来 在 I B M模型4中 这些词被称为繁衍度为零的 词 它们对应于源语言中的空单词 N U I J L 我们把这些繁衍度为零且出现频率高的词称为 F 一 删 一 0 w 0 r d 这样当搜索生成状态 输入文本中的某个短语模板与其对应 时 在其后可插入 F 砌 一 a w 0 r d 相当于在被翻译的源语言短语模板后插入了一个空单词 N u I J L 又因为中文翻译成英文 时某些词可能是不需要翻译的 回溯时 与文献 7 中从最后一个栈中寻找最优路径不同 我们根 据输入文本句长从最后的某几个栈中根据概率得分寻找 搜索算法的具体描述如下 搜索开始先生成初始状态 有两种生成方法 一种生成空状态 也就是对应于这种状态既 没有目标短语模板输出 也没有源语言短语模板被翻译 另一种初始状态是生成 F z e w o r d 这相当于在文本的开头加了一个空单词 N U L L 已经生成的状态按照如下原理进行扩展得出新状态 如果对应于当前状态的目标语言短 语模板是 F z e r o w o 那么未被翻译的某个源语言短语模板及相应的某个翻译候选被选择出 生成一个新状态 如果当前状态的目 标语言短语模板不是 F z e m w o 扩展时有两种选择 一 种是按前述方法扩展 另一种是生成目标语言短语模板是 F z e w o r d 的状态 也就是相当于在 当前被翻译的源语言短语模板后加入一个空单词 N U I J L 状态扩展的原理示例如图2 所示 图2 状态扩展原理图示 C E和 P 分别表示源语言短语模板 目标语言短语模板和相应的翻译概率 例中输人句子 我想去吃饭 所有状态根据已经翻译输入文本中单词的数目存人不同的堆栈中 如果状态的目标语言 短语模板不是 F 一 m w o r d 并且至此已经翻译了P个源语言词 则此状态存储于奇数堆栈 S 中 而偶数堆栈 s 存储目标语言短语模板是 F z e r o w o r d 且至此已经翻译了P 个源语言词的状 态 由于存储空间和搜索速度的需要 必须进行状态的合并和裁减 我们用文献 1 O 中的方 法进行状态的合并 即如果两个状态对应的已经翻译的源语言词完全相同 最后生成的两个 目 标语言词相同 3 a m 当前翻译的最后一个源语言词在输入文本中的位置相同时 取概率较 大状态而舍弃概率较小的状态 状态合并对于最后的输出结果没有不利影响 状态裁减时需 要同时考虑目 前得分和未来得分 未来得分是对输入文本未翻译的短语模板的翻译模型得分 及语言模型得分的预测 未来得分的计算方法类似于文献 7 中的计算方法 生成状态的累积得分由原来状态的得分与当前被翻译的短语模板的翻译概率 语言模型 5 6 维普资讯 概率 扭曲模型概率 长度模型概率相乘得到 系统采用 3 g r a m语言模型 系统扭曲模型按下 式进行计算 P o e c I 口 b 一1 I 口 表示当前第 个状态对应的源语言短语模板的第一 个词在句子中的位置 b 表示第i 1 个状态对应的源语言短语模板的最后一个词在句子中的 位置 继续进行状态扩展 直到覆盖了源语言句子的所有词 回溯时不同于文献 7 中从最后 一 个堆栈中寻找最优路径 我们综合考虑状态的当前得分与未来得分 根据输入句长在最后几 个堆栈中选取得分最高的状态 这个状态即为最优路径的最后一个状态 由此回溯出整个最优 路径 从而得出输出结果 这时的输出结果中可能含有变量 如果是数字变量按照数字处理模 块的方法进行翻译 如果是表示其它的变量 则在相应的库中找到变量对应的目 标语言词进行 替换 这样就生成了输出结果 4 实验 我们进行了一系列中文到英文的翻译实验来研究本系统的效果 采用包含 1 3 万句子对的 双语语料库作为翻译模 J ll练语料 1 3 万英语句子组成语言模型训练集 比较不同的短语模 板提取方法 4 1 不同的回溯方法 4 3 及 F z e r o w o r d 在翻译中的作用 4 4 包含9 3 万句 子对的语料库作为训练集来研究源翻译候选的最大数目对结果产生的影响 4 5 以上实验 的测试集由句长 5 2 0个词的 1 0 0 0个句子组成 还在 2 0 0 3 年 2 0 0 4 年 8 6 3中一 英机器翻译测 试集上研究了短语模板对翻译的影响 4 2 4 6 具体介绍了2 0 0 5年 8 6 3 评测的情况 下面分 别介绍 4 1 比较短语模板提取方法 通过实验比较上面提到的四种提取短语模板的方法 利用 I B M模型 4 进行直接提取 E D M 利用 H M M对位 模型提取 H M M 短语切分对位方法 I S A G iz a 工具 提取 G iz a 及四种方法的组合 表 l 描述了结果 从表中可看出 每种方法都得出了不同的短语模板数 目 和翻译结果 I S A提取的数量最少 表中的 E D M只抽 取了由两个或者三个词组成的源语言短语模板 但 E D M 与 H M M翻译结果几乎相同 I S A的 B l e u 得分略高一些 表 1 短语模板提取方法 抽取短语 B l e u 方法 模板对数目 4 g r a m E DM 1 9 4 帅 2 O 2 6 8 3 I S A 1 8 7 0 1 1 0 2 7 5 1 HMM 2 7 8 7 7 0 0 2 6 3 7 G i z a 6 9 5 4 8 6 0 2 8 8 2 以上方法组合 l O 7 7 O 4 9 0 2 8 8 7 G iz a 提取出了最多数量的短语模板 且翻译结果的 B l e u 得分是四种方法中最高的 而把几 种方法组合得出了更好一些的翻译结果 4 2 短语模板的作用 为了检验短语模板的作用 我们用 G i z a 提取短语模板的方法 1 5 0万句子对组成翻译 模型的训练集 1 5 0万英语句子组成语言模型 磊0 0 训练集 在2 0 0 4年和 2 0 0 3年 8 6 3 对话测试集 0 2 上进行实验 两年的测试集是由4 0 0个左右的0 句子组成 是关于日 常生活和体育领域的 得出 的实验结果如图 3 图中 N t e m p l a t e 表示单纯进行短语对提 取 没进行 含 有变 量 的短语 模板 提取 t e m N t e m p l a t e 口 t e m p l a t e 0 3 年 0 4 年 图3 模板的作用 57 维普资讯 后 o 4年的8 6 3 B l e u 得分从 0 2 2 5 3 0 1 上升到0 3 3 1 提高了0 0 3 0 弱了数据稀疏带来的不利影响 提 们把文献 7 中的回溯方法记为 b a c k 2 本系统提出的回溯方法记为 b a c k 1 训练集与测试集与4 1 相同 结果见表 2 裹2 回溯方法的效果及F z e r o w o r d 的作用 表2中M表示基于词的翻译模型 N F O 表示搜 提取短语 B l e u 模板方法 4 g r a m M N F D b a c k 2 0 1 8 3 3 M N F 0 b a c k 1 0 1 9 1 9 M F D 4 b a c k 2 0 2 3 7 2 M F D b a c k 1 O 2 6 6 3 G i z a N F 0 b a c k 2 0 2 7 3 0 G i z a N F 0 4 b a c k 1 O 2 8 6 4 G i z a 4 F 0 4 b a c k 2 0 2 7 6 3 G i z a F 0 4 b a c k l 0 2 8 8 2 E DM NF D 4 b a c k l 0 1 9 7 8 E DM F O b a c k l 0 2 6 8 3 索进行状态扩展时没有引入 F z e r o w o l d 也就是文献 7 中的状态扩展方法 阳 表示引入了 F z e Y o w o l d 也 就是本系统的状态扩展方法 由表中可见使用 b a c k 2 且没有引入 F z e Y o w o l d的基于词的翻译系统 B l e u得分 最低 当使用本系统的回溯方法 b a c k 1 时 B l e u 得分从 0 1 8 3 3 上升到0 1 9 1 9 提高了0 0 0 8 6 当F z e r o w o l d 被 引入后 翻译结果 的 B l e u得分增加 的更加 明显 从 0 2 3 7 2上升到 0 2 6 6 3 同样的结论适用于基于短语模 板对齐的翻译系统 当以G i z a 方法提取短语模板时 无论状态扩展时是否引入 F z e Y o w o l d 由于 b a c k l的使 用使 B l e u 得分都有了不同程度的提高 这说明了汉语 翻译成英语时 表达方式的不同使的文本中的某些词不需要翻译 回溯方法 b a c k l 要优于b a c k 2 4 4 F z e r o w o r d的作用 从表 2可以看出 基于词 的翻译系统引入 F z e Y o w o r d 回溯时采用 b a c k l时 B l e u得分 由 0 1 9 1 9急剧上升到 0 2 6 6 3 也就是提高了0 0 7 4 4 采用 b a c k 2时 B l e u 得分提高了0 0 5 3 9 这 表明属于 F z e r o w o r d的某些冠词 介词在翻译模型 语言模型 扭曲模型等的共同驱动下 在搜 索时被补充到了最后输出结果中 使得结果更加合理 当在基于短语模板对齐的翻译系统中 采用直接提取短语模板方法 可得出同样的结论 但当采用 G i z a 的方法提取时 结果的 B l e u 得分几乎保持不变 这是因为随着提取方法的改进 提取模板时一些介词 冠词已经被抽出 弥 补了F z e Y o w o l d的作用 4 5 翻译候选的选择数 目对翻译结果的影响 另一个改进搜索速度的方法是选择合适的对应每个源语言短语模板的翻译候选数目 9 3 万句子对组成翻译模型训练集 其中的英语句子组成语言模型训练集 在与 4 1 相同的测试集 上进行实验 表3 描述了实验结果 表 3 翻译候选的数目对翻译结果的影响 B l e u Me t h o d s 翻译时间 4 g r a m G F O b a e k l s o r t a l l 0 3 4 1 8 1 2 6分钟 G4 F 0 4 b a c k l s o r t l 0 0 0 3 4 5 2 4 o分钟 G F 0 4 b a c k l s o r t 1 5 0 0 3 4 4 6 5 4分钟 G F D 4 b a c k l s o r t 2 0 0 0 3 4 2 3 6 4分钟 G4 F 04 b a c k l s o r t 5 0 O 3 3 6 6 2 3分钟 5 8 表 3中 一 s o r t rt 表示为每个源语言短语模板 最多选择 rt 个概率最高的翻译候选 本实验中当 选择 1 0 0个候选时较合适 B l e u 得分从0 3 4 1 8提 高到 0 3 4 5 2 而所用时间从 1 2 6分钟减少到 4 5 分钟 也就是既得到了较好结果 又加快 了翻译 速度 维普资讯 4 6 8 6 3评测实验 我们以 1 9 2万有关 13 常对话的双语句子对组成翻译模型的训练集 3 3 0万英语句子组成 语言模型训练集 在0 5年的对话测试集上进行实验 以 1 1 7 万有关新闻领域的双语句子对组 成翻译模型的训练集 2 4 0万英语句子组成语言模型训练集 0 5年的篇章测试集上进行实验 本系统采取了G iz a 提取短语模板的方法 解码及回溯等采用了论文所述的算法 实验结果 如表 4所示 表4 2 0 0 5 年8 6 3中 英翻译评测 提取短语模 N I r B I U G T M mW ER I I l P E R A d e q F I e u 板对数 目 0 5年对话 7 9 9 8 O o o 5 9 2 l 6 0 1 8 1 4 0 6 4 7 8 0 7 1 3 4 0 5 5 1 4 5 0 4 2 5 7 1 6 o 5年篇章 5 5 2 5 0 o O 5 7 9 O 6 O 1 1 8 8 0 6 4 6 3 O 8 3 O 7 0 5 9 3 6 3 7 3 3 3 9 3 3 5 结论 论文介绍了一种基于短语模板对齐的翻译系统 系统通过把模板的概念引入短语 使某些 短语具有了泛化能力 研究了几种短语模板提取的方法 短语模板翻译概率的计算 改进的搜 索算法及回溯的方法 通过实验证明了基于短语模板对齐的翻译系统优于传统的基于词的系 统 与单纯基于短语的翻译系统相比 系统引入短语模板部分的解决了数据稀疏问题 使原来 的短语具有了泛化能力 翻译结果的 B l u e 得分有了显著的提高 搜索时引入 F z e r o w o r d通常 会使输出结果更加合理 本系统的回溯方法在中 英的翻译中更有效 而选择合适的翻译候选 数目 会达到翻译质量与翻译速度的平衡 虽然我们探讨了四种短语模板提取的方法 但在实验时我们发现较好的翻译候选通过公 式计算得出的翻译概率未必很高 这需要我们继续研究翻译模型的概率计算方法 也是我们下 一 步的工作 参考文献 1 P e t e r F B r o w n S t e p h e n A D e B a P i e t r a o t a 1 T h e M a t h e m a t i c s o f S t a ti s ti c a l M a c h i n e T r a n s l a t i o n P a r a m e t e r E s t i mat i o n J C o m p u t a t i o n al L i n g u i s t i c s 1 9 9 3 1 9 2 2 6 3 3 1 1 2 Y e y i Wa n g and A l e x Wa i b e 1 F a s t D e c o d i n g f o r S ta t i s t i c al M ach i n e T r a n s l a t i o n A I n P r o c I C S L P 9 8 c 1 9 9 8 6 2 7 7 5 2 7 7 8 3 F J O c h and H I N e y I m p r o v e d S t a t i s t i c al A l i g n m e n t M ode l A I n P r o c e e d i n g o f A C L一 0 0 C 2 0 0 0 4 4 O一4 4 7 4 O c h F J T i l l mann C N e y H I m p r o v e d al i g n m e n t m o d e l s f o r s tati s ti c al m a c h i n e t r a n s l a t i o n A I n P r o c of t h e J o i n t C o n f o n E m p i r i c al Me t h ods i n N a t u r al L a n gua g e P r o c e s s i n g and V e r y L a r g e C o r p o r a C U n i v e r s i t y of Ma r y l and Co l l e g e P a r k MD 1 9 9 9 2 0 2 8 5 Y a mad a K and K n i g h t A S y n t b a s e d S ta t i s t i c al T r a n s l a t i o n M ode l A I n P r o c of th e 3 9 t h A n n u al M e e t i n g of A C L c 2 0 0 1 6 S t e p h an V o g e l Y i n g Z h ang F e i H u ang e t a1 The C M U S ta t i s t i c al M a c h i n e T r a n s l a ti o n S y s t e m A I n p r o c e e d i n g s of t h e N i n th M a c h i n e T r a n s l a t i o n S u m m i t c N e w O d e a n s L o u i s i