基于规则和统计的机器翻译方法歧义问题比较分析_马建军.pdf

第31卷第3期 2 01 0 年9 月 大连理工大学学报 社会科学版 Journal of Dalian University of Technology Social Sciences Vol 31 No 3 Sept 2 0 1 0 基于规则和统计的机器翻译方法歧义问题比较分析 马 建 军 大连理工大学 外国语学院 辽宁 大连 116024 摘 要 文章通过对 SYSTRAN 和 GOOGLE 两个机译系统 90 句商务英语英汉翻译译文的比较分析 从词义歧义 和句法歧义两方面 研究基于规则 RBM T 和基于统计 SMT 两种机器翻译方法的消歧处理的优与劣 研究表明 基于 统计方法词义消歧强于基于规则方法 而句法消除歧义能力相当 词义歧义问题主要集中在动词多义词和名词多义词 而句法歧义问题则集中在定语 状语和从句 动词与介词搭配 名词与介词搭配作定语和状语 以及具有商务内涵的动 词和名词 成为机器翻译的难点 关键词 机器翻译 词义歧义 句法歧义 RBM T SMT 中图分类号 H085 文献标识码 A 文章编号 1008 407X 2010 03 0114 06 A Comparative Analysis of the Ambiguity Resolution of Two English Chinese MT Approaches RBMT and SMT MA Jian jun School of Foreign Languages Dalian University of Technology Dalian 116024 China Abstract T his paper makes a comparative analysis of the ambiguity resolution of two MT approaches Rule Based Machine T ranslation RBMT and Statistical Machine Translation SMT by analyzing the Chinese translation work for 90 English sentences in the domain of business translated by SYST RAN and GOOGLE translation systems The results show that SMT is better than RBMT in terms of lexical ambiguity resolution while they are the same in terms of structural ambiguity resolution Lexical ambiguity mainly includes problems that occur when verbs and nouns have more than one sense such as homographs and polysemes as well as lex ical transfer problems Structural ambiguity arises in the aspects of modifiers adverbials and clauses Verb preposition collocations noun preposition collocations and verbs and nouns with special senses in business domain remain three difficult problems for disambiguity for MT Key words machine translation lexical ambiguity structural ambiguity RBMT SMT 收稿日期 2009 09 01 基金项目 中央高校基本科研业务费专项资金资助项目 DU T10RW202 作者简介 马建军 1972 女 辽宁海城人 副教授 主要从事机器翻译和功能语言学研究 一 引 言 基于规则机器翻译 RBMT 和基于统计机器翻译 SMT 是机器翻译的两个主要方法 这两种方法截 然不同 其主要区别在于是否需要语言知识库 基于 规则机器翻译主要依赖人工提取的规则所建立的各类 语言知识库 包括词法 句法 语义及与语言知识有关 的世界知识 基于统计机器翻译不需要语言知识库 而 是依赖大量的双语语料库 通过机器估计翻译模型参 数执行翻译 根据 2005 年 NIST 机器翻译评测结果来看 基于 统计方法似乎优于基于规则方法 1 基于规则机器翻 译方法的代表性机译系统是 SYSTRAN 至今已应用 了 30 多年 而基于统计机器翻译的代表性机译系统是 GOOGLE 2005 年 NIST 机器翻译评测结果表明 GOOGLE 在所有四项测评中均名列第 1 而 SYS T RAN 在参加的两项测评中 分列第 7和第 12 1 影响机器翻译质量的问题有许多 但问题主要集中 在语言学方面 2 3 歧义问题就是关键问题之一 已经 成为机器翻译发展的瓶颈 然而 机器翻译歧义问题研 究大部分工作是讨论理想模式下的歧义问题 即语言本 身的歧义或因语言不同在翻译过程中产生的歧义问题 而少有针对某一具体的机译系统或方法 4 5 本文拟对 SYST RAN 和 GOOGLE 机译系统英汉 翻译歧义问题进行比较分析 研究基于规则和基于统 计两种机器翻译方法的消歧处理的优与劣 研究结果 有助于两种主流机器翻译方法找出问题所在 突破语 言学方面的发展瓶颈 从而提高机器翻译的质量 二 研究方法 1 歧义项 本文选择对英汉翻译歧义问题进行分析 歧义问 题包括词义和句法两个方面 4 词义歧义主要研究多 义词词义 术语词义和固定搭配词义 多义词既包括 本身具有多个含义的词 也包括那些引起翻译歧义的 词 即在源语言中词义只有一个 但是在目标语言中存 在多种含义或不同的表达的词 如 repetition 其英文 含义只有一个 即 something that you say or do that have already said or done before 但是其相应的中文 表达有两个 重复 或重复的话 中文含义明显不同 对多义词的判断本文以 COBUILD 英汉双解词典为 准 6 多义词词义具体细分为动词词义 名词词义 形 容词词义 副词词义和介词词义 其中 为研究方便 动词还包括由 be adj 0构成的谓语动词 形容词只 包括作为名词修饰语的形容词 介词只包括那些本身 有具体词义的介词 如 besides concerning till 等 而 与动词 名词和形容词构成固定搭配的介词则在分析 动词 名词和形容词时一并考虑 术语指在具体语境 下有特殊含义的短语 如 bill of lading 提单 the dead freight 空仓运费 contract terms 合同条款 等 固定搭配包括固定短语和习语 如 on account of with the exception of in case of 等 句法歧义则 主要研究从句 定语 状语和否定四个方面 2 评价标准 根据严复的 信 达 雅0原则 本文从译文的忠实 度和流畅度两个方面对歧义问题进行分析 但是本文 认为 忠实度和流畅度并不是相互独立的 忠实度为前 提 如果译文不准确 无论表达有多流畅 多符合目标 语言的表达习惯 其翻译质量为零 因此 本文采用忠 实度和流畅度合并的方法 具体标准如表 1所示 表 1 评价标准 译文质量属性标准分值 不能正确理解词义 或者不能区分句法结构 0 分 能够正确理解词义 能够区分句法结构 但表达 包括语义和语序 不符合中文表达习惯 1 分 能够正确理解词义 能够区分句法结构 且表达 包括语义和语序 符合中文表达习惯 2 分 3 评价方法 步骤 1 各歧义项得分记为 SX 其中 X 代表所观 察的歧义项 具体包括 词义 句法 多义词词义 动词 词义 名词词义 形容词词义 副词词义 介词词义 固 定搭配词义 术语词义 从句 定语 状语 否定 其中 词义包括多义词词义 固定搭配词义和术语词义 多义 词词义包括动词词义 名词词义 形容词词义 副词词 义和介词词义 句法包括从句 定语 状语和否定 它们 的关系用数学公式表示如下 词义 多义词词义 固定搭配词义 术 语词义 多义词词义 动词词义 名词词义 形 容词词义 副词词义 介词词义 句法 从句 定语 状语 否定 步骤 2 每个具体观察项取值记为 VXi 根据评价 标准 VXi取值为 0 1 或 2 步骤 3 观察项个数记为 n 取值为 0 分 1 分 或 2 分的观察项个数分别记为 n0 n1 n2 步骤4 忠实度记为 A 流畅度记为 F 准确率记为 P 则 1 SX 100 E i 1 n VXi 2n 2 A n1 n2 n 115 第 3 期 马建军 基于规则和统计的机器翻译方法歧义问题比较分析 3 F n2 n1 n2 4 P n2 n 4 测试语料 选择商务英语作为测试的语料 商务英语具有独 特的语体特征 词法和句法特点突出 如术语丰富 长 句结构严谨 用词规范等 7 且商务英语也是对机器 翻译需求较多的专业英语 本文选择标准样本数为30 为保证测试语料的随机 性 且包括难易不同的句子 从自建的有 3 000 个双语句 的商务信函双语语料库中随机抽取 3个层次英语句子各 30 句 共 90 句 3 个层次的句子分别包含1个 2 个 3 个 及以上谓语动词 商务信函双语语料库的语料来自 3 本 商务英语教材 8 9 10 5 人工测评 将测试语料的 90 个句子分别输入 2 个机译系统 SYSTRAN 在线翻译 http www systran software cn 和GOOGLE 翻译 http translate google cn 对系 统输出的译文根据评价标准和评价方法进行评测 三 研究结果及分析 1 歧义项基本信息 表 2 显示了所观察的歧义项频次 表 2 中的数据 表明 多义词是词义歧义的主要研究对象 共 591 次 其中 动词出现频率最大 名词居其次 因此 对动词 和名词多义词进行词义排歧是词义消岐的关键问题 而在句法歧义中 定语出现频率最大 状语和从句次 之 因此 研究句法歧义时 应重点解决定语 状语和 从句的句法消歧 表 2 歧义项基本信息 歧义项观察项个数 词义 多义词 动词271 名词191 形容词61 副词53 介词15 591 固定搭配41 术语48 680 句法 从句87 定语208 状语96 否定17 408 2 词义歧义 1 GOOGLE 在词义歧义处理上比 SYSTRAN 好 P 0 021 根据表 3 GOOGLE 在忠实度 流畅 度 准确率和得分四个方面均比 SYSTRAN 好 且 SPSS 配对 t 检验结果 P 0 021 0 05 表明两组数据无 差别 116 大连理工大学学报 社会科学版 第 31 卷 表 5 动词歧义问题 问题 取值为 0 分的观察项个数 SYSTRANGOOGLE 具有商务内涵的动词3743 与名词或介词构成搭配的动词4131 情态动词1410 其他23 合计9487 表 5 表明 动词词义理解难点之一就是具有商务 内涵的动词 如 cover draw quote 等 例如 原文 We usually cover shipments against WPA and War Risks 参考译文 我们通常将货物投保水渍险和战争险 SYST RAN 我们通常盖发货反对 WPA 和战争 风险 GOOGLE 我们通常包括出货量对 WPA 和战 争险 该句的 cover0在普通英语中表示 覆盖 包括0等 含义 而在商务英语语境中 常表示 投保0之意 动词 词义理解另一个难点就是与名词或介词等构成搭配的 动词 例如 原文 We thank you for your quotation of Sep tember 17 and are pleased to place a trial order for your electrical products 参考译文 感谢你方 9 月 17 日的报价 现欣然试 购你方的电器产品 SYST RAN 我们感谢您的 9 月 17 的引文日和高 兴地指出您的电子产品的一份审讯令 GOOGLE 我们感谢您的报价 9 月 17 日 很高兴 把审判为了使您的电器产品 该句中 动词 place0与名词 a trial order0构成搭 配 表示 试购0 但是 SYSTRAN 和 GOOGLE 都没能 正确理解 place0的含义 又如 原文 The educational instruments we have just received from you are of very poor quality which is far below the standard that can be sold in this mar ket 参考译文 我们刚从你方收到的教学仪器质量很 差 大大地低于可在我方市场销售的标准 SYST RAN 我们从您接受了的教育仪器是非常 质量差 是远低于标准在这个市场上可以被卖 GOOGLE 教育手段 我们刚刚收到你的质量非 常差 这是远远低于标准 可以在这个市场上出售 该句中 receive sth from sb 0 是一个很常用且 易懂的动词和介词搭配 表明 从某人收到某物0 人工 翻译一般不会有问题 但是在机器翻译中 因为知识 库不够丰富 或者因为介词 from 与动词 receive 的距 离问题 较难通过统计方法估计翻译模型 动词与介词 的搭配往往成为难点 4 SYSTRAN 和 GOOGLE 在名词词义理解也 存在同样的问题 P 0 184 对具有商务内涵的名词 理解有歧义 表 6对得 0 分的名词进行了分析 SPSS 配对 t 检验结果 P 0 184 0 05 表明两个机译系统 存在同样的问题 表 6表明具有商务内涵的名词是机 器翻译的难点 如 enquiry 询价 offer 报盘 nego tiation 议付 等 表 6 名词歧义问题 问题 取值为 0 分的观察项个数 SYSTRANGOOGLE 具有商务内涵的名词5141 其他66 合计5747 3 句法歧义 1 SYSTRAN 和 GOOGLE 在句法歧义处理上 没有显著差别 P 0 166 SPSS 配对 t 检验结果 P 0 166 0 05 表明两个机译系统句法消歧能力相 当 但是 表 7 表明 SYSTRAN 忠实度和准确率都略 好于 GOOGLE 表 7 句法消歧结果 SYSTRANGOOGLE 忠实度 81 6277 21 流畅度 85 8987 30 准确率 70 1067 40 得分7672 2 句法歧义问题集中在从句 定语和状语 从表 8可知 两个系统基本上都能够将句法结构区分开来 但是语序处理还需改进 尤其是状语的语序 得分最 低 分别为 61 和 63 分 SYST RAN 定语歧义处理 83 分 好于 GOOGLE 73 分 而 GOOGLE 否定歧 义处理 94 分 要好于 SYSTRAN 79 分 其余两个 歧义项 从句和状语 两个系统分数几乎一致 117 第 3 期 马建军 基于规则和统计的机器翻译方法歧义问题比较分析 表 8 句法歧义项消歧比较 歧义项 得分 SYSTRANGOOGLE 从句7475 定语8373 状语6163 否定7994 句法7672 3 从句歧义主要问题在于定语从句的理解 表 9分析了得 0 分的个数 并与观察到的从句个数相 比较 表 9 从句歧义问题 问题 取值为 0 分的观察项个数 SYSTRANGOOGLE 观察项 总个数 定语从句8917 状语从句2825 宾语从句4026 同位语从句203 并列复合句2016 合计181787 从表 9 可知 SYST RAN 和 GOOGLE 都没能区 分约有 50 的定语从句 主要有两种情况增加了机 译难度 一是没有连词 that 的定义从句 二是名词先 行词在从句中作介词的宾语 例如 原文 Please let us know immediately the de tailed risks you wish to insure against for your ship ment in question 参考译文 请你方立即告诉我们对你方该批货物 要投保的详细险别 SYST RAN 请告诉我们立刻您希望保险反对为 正在考虑中您的发货的详细的风险 GOOGLE 请让我们知道了详细的风险立即要投 保的运送问题 在该句中 从句 you wish to insure against for your shipment in question0修饰名词 risks0 而两个 译文基本上是语无伦次 又如 原文 To accept the prices you quote would leave us with only a small profit on our sales since this is an area in which the principal demand is for articles in the medium price range 参考译文 如果我们接受你方报价 我们销售起来 只能获得薄利 因为本地区主要需求的是中等价格范 围的商品 SYST RAN 要接受您引述的价格将留给我们仅 小赢利在我们的销售 因为这是主要需求是为在中等 价格范围的文章的区域 GOOGLE 接受你的价格竞标将使我们只有一个 小的销售利润 因为这是在这一领域的主要要求是 在 中条的价格范围 人工翻译该句子 是需要将名词 area0连同 in which0中的介词 in0还原到从句中 即 the principal demand is for articles in the medium price range in this area 然后再翻译 很明显 两个机译系统都无法 实现这一点 4 定语歧义主要问题在于对介词与名词作后置 定语的区分及语序的确定 表 10 分析了得 0 分和 1 分的定语的分布情况 发现介词与名词作后置定语时 问题最多 例如 原文 We thank you for your order of March 8 for electric motors but regret to inform you that be cause of our stringent supply position we are unable to make supply immediately 参考译文 感谢你方 3 月 8 日关于电动机的订单 但遗憾地通知你们 由于我们供货紧张 无法立即 供货 SYST RAN 我们感谢您的行军序列电动机的 8 日 但是后悔通知您那由于我们无法立刻做供应的我 们的严密供应位置 GOOGLE 我们感谢你为了 3 月 8 日的电动马 达 但遗憾地通知你 是因为我们严格的供应状况 我 们无法作出立即供应 在该句中 your order of March 8 for electric motors0有 2 个介词与名词作后置定语修饰名词 or der0 一是 of March 80 二是 for electric motors0 SYST RAN 和 GOOGLE 基本上是语无伦次 与原义 相差甚远 另外 介词连接 2 个名词时 需要确定哪个 名词是中心词 哪个名词与介词构成定语 否则会引起 歧义 例如 原文 When you place insurance for the shipment of our porcelain ware please do not forget to include the risk of breakage 参考译文 当你们为我方这批瓷器投险时 请别忘 了包括破碎险 SYST RAN 当您安置我们的瓷器的发货的时保 险 不要忘记包括破损的风险 GOOGLE 当您在保险货物的瓷器 请不要忘记 包括破碎险 118 大连理工大学学报 社会科学版 第 31 卷 该句的 place insurance for0决定了其后的名词应 是货物 因此 the shipment of our porcelain ware0中 porcelain ware0是中心词 其含义只能是 我方这批 瓷器0 而不能是 我们的瓷器的发货0 也不能是 货物 的瓷器0 因此 名词与介词搭配作定语 增加了机器 翻译的难度 表 10 定语歧义问题 问题 取值为 0分和 1分的观察项个数 SYST RANGOOGLE 介词 名词作后置定语3139 过去分词作后置定语38 前置定语511 其他33 合计4261 5 状语歧义主要问题在于对介词与名词作状语 以及副词作状语的区分及语序的确定 表11 表明 类 似于定语歧义问题 介词与名词搭配 又一次增加了机 器翻译的难度 介词 名词除可作定语之外 还可作 状语 修饰动词 如 原文 We have learnt that there is a good demand for groundnuts in your market and take this oppor tunity of enclosing our quotation sheet No 5233 for your consideration 参考译文 获悉你地市场对落花生有较大的需求 现奉上第 5233 号报价单 供你方参考 SYST RAN 我们获悉有对落花生的好需求在您 的市场上 并且利用附寄我们的您的考虑的报价单没 有这机会 5233 GOOGLE 我们已经获悉 有一个很好的需求 花 生中的市场 并借此机会附上我们的报价单的第 5233 号为您的考虑 该句中 for your consideration0是固定搭配 作目 的状语 此外 两个机译系统在一些副词的区分和语序 上也存在着问题 如 herewith regretfully immediate ly kindly accordingly here now yet even just 等 表 11 状语歧义问题 问题 取值为 0分和 1分