基于平行语料的查询翻译词典改进方法研究

1、基于平行语料的查询翻译词典改进方法研究    摘要面对基于双语词典的跨语言检索查询翻译方法中固有的一对多等翻译模糊问题，已有研究成果存在对于非组合型复合词无法进行准确翻译、双语词典和其他翻译资源联合使用引入较大计算开销等弊端。为建立英汉双向跨语言检索实用性系统，在现有的一部包含若干科技词汇和短语的双语科技词典的基础上，着重研究如何引入平行语料来改进已有的双语词典问题。目标是生成一部基于句对齐平行语料的科技类双语概率词典，为跨语言检索查询翻译消歧提供实时性支持。关键词查询翻译机读词典句对齐平行语料分类号G3551基于双语词典的查询翻译方法跨语言信息检索(c

2、ross-language information retiev-al,CLlR)是指以一种语言的查询检索出另一种语言信息的检索方法。查询语言称为源语言(SOurcc lan-guage)，要检索的文档语言称为目标语言(target lan-guage)。由于跨语言检索中源语言和目标语言分属不同的语言空间，因此除了要解决一般信息检索问题之外，关键是要在查询和文献表示匹配之前采取措施使二者的语言统一，最终转化为单语言检索模式。查询翻译(query translation)策略是最为常用的语言转化策略，这种方法将用户输入的查询翻译为系统支持的其他语言，然后进行单语言检索。跨语言检索中有三种得到广泛

3、认可的查询翻译方法：机器翻译、基于双语机读词典的翻译(machine readable dictionary，MRD)、基于平行或可比语料的翻译。由于查询通常很短，且不能提供足够的上下文信息，更常见的情况是，查询经常被表示为一个词汇集合，不充足的信息表示束缚了机器翻译系统的手脚，基于双语机读词典的方法是机器翻译系统不错的替代品。目前，大部分信息检索系统仍是基于所谓的“词袋(bag-of-words)”结构，即查询和文档都被分解为同或短语的集合。因此很容易通过查询双语词典或双语术语列表来实现查询的翻译。Ballesteros等指出，基于MRD的翻译方法存在如下问题：词典中没有的词无法翻译；词典翻

4、译存在固有的模糊性，并引入了无关信息；对诸如短语等多词概念的无效翻译降低了翻译的效率。上述问题直接导致了跨语言检索系统性能弱于相应的单语言检索系统。Hull等的实验结果表明，翻译歧义和术语缺失是查询翻译的两大错误来源；采用手工翻译多个名词组成的短语可以有效改善检索系统的性能，文献结论有力揭示了多词短语翻译的重要性。Boughanem等提出以双向翻译技术来解决基于MRD的查询翻译问题。假定需要将英文查询式翻译成法语，利用双向翻译方法，先从英一法词典中找到某个英文词的所有法语翻译集；然后，利用法一英词典将每个法语翻译成一组英文词，如果该集合中包含源查询词，此法语翻译就可作为优选翻译。杨辉等将基本词

5、典、专业词典、搭配词典与双语词典混合使用，来改善词典翻译的翻译模糊性问题。囿于MRD方法的固有难题，研究者们开始把目光放在MRD与其他资源的混合使用上。Dong Zhou等将一种混合技术应用于英一中跨语言检索，采用图模型和基于模式的方法解决翻译歧义性和未知术语翻译问题。该方法将源语言查询词的每个候选翻译看作“图”中的一个节点，两节点之间的边用词的共现信息来度量，这些共现信息来源于语料。张金柱等为解决科技领域跨语言检索的查询翻译问题，将MRD与平行语料相结合，针对科技领域词汇的复合词特征，在MRD提供的基本词汇翻译基础上将结果进行组合，再利用平行语料的共现信息进行消歧。引入其他翻译资源拓展了基于

6、MRD的查询翻译方法的消歧信息，这种结合成为基于词典查询翻译方法的一个发展方向。本文的研究背景是科技类文献的跨语言检索，正如文献8所述，科技文献的特征之一就是文献中的术语多为由多个词汇组成的短语，面对MRD方法中固有的一对多等翻译模糊问题，上述的研究成果大多采用对复合词的各基本词汇翻译进行组合，然后利用其他翻译资源进行过滤消歧处理的方法。这样处理的主要弊端在于：对于非组合型复合词(即：意义不能够由其组成词推断出来的复合词(non-compositional)无法进行准确翻译，而这类复合词在科技领域非常普遍；复合词的多种翻译组合到语料中去消歧会带来很大的计算开销，该方法不具有实时性。本文的研究成

7、果是为建立英汉双向跨语言检索实用性系统服务的，在现有的一部带类别信息、包含若干科技词汇和短语的英汉双语科技词典的基础上，研究如何引入平行语料来改进已有的双语词典。本文的目标是生成一部基于句对齐平行语料的科技类双语概率词典，为跨语言检索查询翻译消歧提供实时性支持。2基于平行语料的带概率的双语词典2.1 双语词典的翻译概率计算如何区别双语词典中同一个词的多个候选翻译是本节需要解决的问题。本文采用的方法是依据一部翻译概率词典进行翻译优选，翻译概率词典的生成以平行语料为基础，因此认为翻译词典中词汇的多个翻译结果的概率值反映了现实中(特别是同一领域中)该词汇的使用习惯，概率值越大则选择该翻译结果的倾向性

8、越大。英汉双语词典词汇概率计算方法描述如图1所示：该方法利用了平行语料中的词汇共现信息，但由于本文中采用的双语同典是科技领域的，所以在计算翻译概率时特别依赖于平行语料的领域范围，采用新闻领域的平行语料效果应该不会很明显。本文采用的句对齐平行语料包括计算机领域90万句对和新闻领域121万句对，因此词典中计算机相关领域词汇的翻译概率准确程度要远远高于其他领域。该方法具有一般性，当增加了新领域的平行语料时，词典中相关词汇的翻译概率的准确性会得到提高。2.2双语词典更新结果及分析2.1节方法的核心是在已有双语词典的基础上，依据平行语料(特别是特定领域的平行语料)，在词典中出现一对多的翻译关系时，赋予不

9、同译项以不同的概率值。更新后的双语词典的示例见表1。从表1的数据中可以看出，采用本文2.1节基于平行语料的词典慨率计算方法，可以将双语词典中原本没有任何区别的词汇译项加上概率值，从而保证了基于词典的跨语言检索查询翻译方法具有统计方法的特征，且避开了统计方法复杂的训练过程，翻译结果更加符合不同领域的语言习惯，对提高跨语言检索的系统性能作用明显。表1的实验结果能够说明2.1节方法的可行性。采用该方法存在的问题前面已分析过，即由于本文项目中采用的双语词典是科技领域的，所以在计算翻译概率时特别依赖于平行语料的领域范围，采用新闻领域的平行语料效果不明显。这就加大了对建设不同领域平行语料的需求。2.3基于

10、概率词典的查询翻译消歧本文采用的基于平行语料的查询翻译词典改进方法的目标是：为跨语言检索提供查询翻译消歧的依据。任选与表1词汇相关的用户查询，采用基于本文生成的带概率信息的双语词典的查询翻译策略(注：除依据翻译概率外，本文的跨语言检索系统还采用了其他的查询翻译消歧方法，由于篇幅有限，这里不全部叙述)，翻译结果如表2所示：3结论及下一步的工作本文采用的“基于平行语料的翻译概率词典改进方法”的基本思想是：当词典中每个词(短语)对应多个翻译结果时，在词典本身不能提供更多额外信息的情况下，利用从平行语料中获得的翻译概率对词典进行改进。该方法默认的背景是，翻译概率词典米源于大规模语料(本文采用的是数量上

11、百万的句对齐平行语料)，词汇的翻译概率反映了词汇在现实场景巾的应用概率。因此在进行跨语言检索的查询翻译时，可以优先选择那些在翻译概率词典中翻译值更大的词汇译项，来降低翻译的歧义性，已有基于本文翻译概率词典的跨语言检索实验成果验证了本文方法的可行性。该方法仍然存在一些问题：需要有不同领域的平行语料来计算词汇属于某个类别时的概率值，但获取不同领域的平行语料是比较困难的；当某词属于多个类别时，其属于不同类别时的概率值不具可比性。对第一个问题，需要语料资源的不断累积，这也是笔者课题小组语料建设的未来目标；对第二个问题，需要加入词汇归属类别的概率信息，拟引入词汇在类别间的分布信息来确定词汇对类别的隶属度，一旦得到该值，需要和词汇在类别内的概率信息一起来最终确定双语词典中词汇的翻译概率。问题二的解决方法较为复杂，是笔者所在课题组下一步的工作目标。作者简介高影繁，女，1974年生，讲师，博士，发表论文10余篇；徐红姣，女，1985年生，助理研究员，硕士，发表论文2篇；王惠临，男，1948年生，研究员，博士，发表论文30余篇。    你可能感兴趣的毕业论