《机器翻译原理》PPT课件.ppt

机器翻译原理Part双语语料库对齐及翻译知识自动获取技术MTLABofHIT,主要内容,概述为什么要自动地获取知识（Why?)获取什么知识(What?)如何获取知识(How?)双语语料库对齐加工句子对齐词汇对齐结构对齐翻译知识的获取直接利用双语语料库获取翻译知识的研究间接利用双语语料库获取翻译知识的研究,为什么要自动获取知识（Why?),机器翻译的发展现状Internet的发展进一步促进了对机器翻译技术的需求现有的机器翻译系统不能令人满意“满篇英文难不住，满篇中文看不懂”“MT，不是machinetranslation，而是madtranslation”存在的主要问题传统的机器翻译：手工编写规则知识获取瓶颈解决的途径从语料库中自动获取机器翻译所需要的各种知识,什么是知识？,Bacon:“知识就是力量”Feigenbaum:“知识与信息不一样.知识是信息经过加工整理、解释、挑选和改造而形成的”董振冬:知识是一个系统，是一个包含着各种概念与概念之间的关系，以及概念的属性与属性之间的关系的系统。,获取什么知识（What?),单语词汇：分词、词性标注语法（结构）：词性标注、句法分析语义：词义排歧、聚类分析双语翻译知识词典知识结构转换知识译文选择知识,如何获取知识（How?),知识获取的主要方法手工获取知识智能人机交互统计方法（HMM,PCFG)机器学习方法决策树归纳学习基于转换的错误驱动的学习方法(EricBrill)基于实例的方法,翻译知识获取,知识获取过程：数据预处理知识挖掘知识评价双语语料库对齐加工翻译知识自动获取,双语语料库及其对齐技术（1）,语料库语料库(Corpora)是按照一定的原则组织在一起的真实的自然语言数据(包括书面语和口语)的集合，主要用于研究自然语言的规律，特别是统计语言学模型的训练以及相关系统的评价和评测语料库语言学语料库语言学是以语料库为基本知识源来研究自然语言规律的学科，主要研究内容包括语料库加工的理论、方法和工具以及基于语料库的知识获取。单语语料库(MonolingualCorpus)和多语语料库(MultilingualCorpora),双语语料库及其对齐技术（2）,双语语料库的建设双语语料库(BilingualCorpora，ParallelCorpora)国外：加拿大的议会会议录(CanadianHansards)，（英法）英国Brighton大学语言中心双语语料库INTERSECT,（英法书面语)英国Birmingham大学的LINGUA多语语料库项目，英、法、希腊语加拿大的BCD(BilingualCanadianDictionary)词典编纂项目瑞典Uppsala大学语言学系建立的Scania多语语料库国内：建立了一些单语语料，尚无大规模汉外双语库的报道目前国内基于汉外双语语料库的研究大都处于实验和摸索阶段香港科技大学的英汉双语语料库HKUST哈工大-微软联合实验室：6万句对,双语语料库及其对齐技术（3）,双语语料库的对齐技术对齐：从互译的不同语言文本中找出互译片断的过程语料库的加工深度决定语料库所能提供的知识的粒度双语语料库对齐可分为段落、句子、短语、单词不同级别句子对齐词对齐短语（结构）对齐,双语语料库对齐技术：句子对齐(1),基于长度的句子对齐方法源语言文本的长度与译文长度有很强的相关性基于词数长度的对齐（Brown)基于字符数的长度对齐方法(GaleChurch)这些算法都把句子对齐看作是句子长的函数；不需要额外的词典信息；但是容易造成错误的蔓延。基于词汇的句子对齐方法Simard等人提出了在长度标准上加上同源概念(Cognate)来提高算法的性能Kay和Roscheisen提出了另一种基于语汇的对齐算法，在该算法中选择句子对齐的标准是其中词汇对齐的数量。,双语语料库对齐技术：句子对齐(2),Debili和Sammouda实现了Simard的思想，并采用双语典为指导，以缩小搜索空间Church利用双语文本中字母的对应信息，在1993年设计了一种字符对齐算法长度方法与词汇方法相结合(Wu、Utsuro)不少学者认为句子对齐已经达到可以实用（98）,双语语料库对齐技术：词汇对齐(1),词汇对齐是指在源文和对应的译文中找到词汇级的对译关系大家都叫他毛伯伯。EverybodycallshimUncleMao.由于词汇对齐比句子对齐提供了更细粒度的对译信息，因此可以为自然语言处理提供更大程度的支持,双语语料库对齐技术：词汇对齐(2),词汇对齐的困难词汇对齐不满足次序性假设词汇对齐的模式十分复杂（1:1,1:m,m:1,m:m)她改变角度去写他的报告以迁就她的听众.Sheanglesherreportstosuitthepeoplesheisspeakingto.词汇对齐匹配关系难以断定(词典，长度）采用这种新装置Theadoptionofthisnewdevice.汉语的特点及英语和汉语间的固有差异汉语分词问题;惯用搭配、成语、谚语,双语语料库的对齐技术：词汇对齐(3),基于统计的词汇对齐方法主要思想:对大规模双语语料库进行统计，获得对译词的翻译概率Brown(1,778,620),Gale(897,077),Dagan基于统计机器翻译模型的词汇对齐(Brown)其中的翻译模型通过词汇对齐模型来实现；通过EM算法迭代训练词汇翻译概率；问题：参数空间巨大；局部最优基于同现的词汇对应抽取(Galeprofile/配置文件.汉语分词问题：驱动器:驱动-器;单击:单-击N-gram的抽取:停用词将句子分段Theprojectmanagermayusethee-mailsystemtoviewandreplytomessagefromworkgroupmember.生成的N-gram候选:projectproject-managerusee-maile-mail-systemviewreplymessageworkgroupworkgroup-member,基于统计的翻译词表自动获取（2）,翻译概率的计算模型,对于任意一对源语词Ws和目标语词Wt，设：a=freq(Ws,Wt)b=freq(Ws)-freq(Ws,Wt)c=freq(Wt)-freq(Ws,Wt)d=Nab-c联列表法：hg(Ws,Wt)=(ad-bc)2/(a+b)(a+c)(b+d)(b+c)Dice系数(DiceCoefficient)：Dice(Ws,Wt)=2freq(Ws,Wt)/freq(Ws)+freq(Wt),基于统计的翻译词表自动获取（3）,翻译概率的计算模型,互信息方法(MutualInformation)：MI(Ws,Wt)=log2(freq(Ws,Wt)/freq(Ws)freq(Wt)对数似然比(LogLikelihoodRatio,LLR)：LLR(Ws,Wt)=2logL(p1,a,a+b)+logL(p2,c,c+d)-logL(p,a,a+b)-logL(p,c,c+d)其中，logL(p,k,n)=klog(p)+(n-k)log(1-p),p1=a/(a+b),p2=c/(c+d),p=(a+c)/(a+b+c+d)词典加权同现测度：Wscore(Ws,Wt)=log2(2+DSim(Ws,Wt)*Score(Ws,Wt),基于统计的翻译词表自动获取（4）,基于迭代的翻译词表自动抽取算法间接相关问题：贪心假设迭代的抽取算法,基于统计的翻译词表自动获取（5）,实验及结论N-gram模型有利于提取多词单元对应，并且能够有效地发现新词、术语及翻译；Click单击；e-mail电子邮件；networkdiagram网络图；eventviewer事件查看器迭代算法大大提高了统计的正确率；词典加权同现测度能够提高统计质量在小规模训练语料条件下,LogLikelihoodRatio的统计特性较好,基于混合策略的词对齐(1),对齐评价函数：EF(e,c)=T(e,c)*D(e,c)其中：T(e,c)为翻译概率，D(e,c)为位置形变概率,通过计算位置相对形变距离得到。位置相对形变距离是指一个可能的对齐相对于最近的确定对齐的距离。用贪心算法实现对齐过程和对齐歧义消除过程,基于混合策略的词对齐(2),利用语言学知识改善词汇对齐结果利用词性对译关系实现词汇对齐后处理短语扩展利用词形变化特点，增加词汇对齐匹配规则如：n/v+”者”/”家”translationof(n/v)+“-er”/“-or”/“-ist”/“-ian”;可以得到诸如“赛跑+者runner”、“征服+者conqueror”等多词单元对应。数词的对齐专有名词的对齐,实验结果及分析（1）,实验用语料库：语料库1：通用语料库(60,000句对）语料库2：计算机语料库(14,390句对),实验结果及分析（2）,实验结果及分析（3）,错误分析：资源不足，短语匹配，语言表达差异,双语语料库对齐技术：结构对齐(1),结构对齐：短语结构，依存结构，组块结构结构对齐的主要方法Parse-Parse-Match方法单语分析+词汇对齐+启发式算法kaji,RalphGrishman,Yuji,AdamMeyer、Hideo双语同步分析WuDekai,WangWei结构对齐的难点难以获得合适的、可靠的单语分析结果：如汉语不同语言的语法分析结果可能不匹配双语的结构匹配的状态空间搜索问题,双语语料库对齐技术：结构对齐(2),双语分析模型(WuDekai)：反向转换文法（inversiontransductionGrammars，ITG)产生式有两个方向是一个双语体系用词翻译概率连接双语用概率选择双语分析结果,双语语料库对齐技术：结构对齐(3),ThegameBNPwillstartBVPonWednesdayPPVPS.S比赛星期三开始。The/egame/比赛BNPVPS./。S,BVP,难以确定合适的双语语法一个实用的双语模型是反向划界语法问题：,双语语料库对齐技术：结构对齐(4),引入英语的句法分析得到的双语分析,单语句法分析指导的双语结构对齐（1）,“parsing-parsing-match”方法的缺点难以获得合适的、可靠的单语分析结果，如汉语不同语言的语法分析结果可能不匹配改进方法只使用英语的分析结果与双语语言模型相结合,单语句法分析指导的双语结构对齐（2）,定义代价函数Fe(s,t)三种匹配情况She/1is/2a/3lovely/4girl/5./6越界分析:(1,2),(1,3),(2,3),(2,5)定界分析:(1,6),(2,5),(3,5)界内分析:(3,4),(4,5)修正后的局部最优函数用动态规划算法（DP)求解最优双语分析树,单语句法分析指导的双语结构对齐（3）,实验：1000句对评价：语法准则Thestudentwillgetapen.这学生将得到一支钢笔。合语法：“Thestudent这学生”,“willget将得到”,“apen一支钢笔”不合语法：“studentwill学生将”,“geta得到一支”共有3889个标准对齐,单语句法分析指导的双语结构对齐（4）,翻译知识获取,双语语料库及其对齐技术直接利用双语语料库进行机器翻译的研究间接利用双语语料库获取翻译知识的研究,直接利用双语语料库进行机器翻译的研究(1),基于统计的机器翻译(Statistics-basedMT,SBMT)e=argmaxP(e|c)=argmaxP(e)P(c|e)/P(c)=argmaxP(e)P(c|e)P(e):语言模型P(c|e):翻译模型IBM的Brown等人实现了完全基于统计方法的机器翻译系统以大规模双语语料库为基础（3百万句对）建立统计的翻译模型概率统计是分析和生成过程中的唯一方法没有正确和不正确的翻译这样的概念，只有可能性大小的译文不涉及任何语言学内容48%的正确率,直接利用双语语料库进行机器翻译的研究(2),基于统计的机器翻译:Brown的5各翻译模型模型1:对齐概率仅依赖于其中每个双语词对的概率;模型2:对齐概率不仅依赖于每个双语词对的概率，还依赖于每个词对出现位置之间的概率;模型3:计算了和每个源语词相关的单词数量;模型4和模型5:同时计算了这些词的数量和这些词本身。这些模型在训练中都使用了统计逼近的方法。,直接利用双语语料库进行机器翻译的研究(3),基于统计的机器翻译:尽管IBM的工作是一种新的方法,可是一些学者也对这种“纯粹的”统计方法提出了异议。他们认为必须引入高层语言模型；并且认为这种方法不一定能很好地作用于另一对语言(IBM工作的对象是英语和法语)，也不能产生高质量的MT，除非所有基于知识的MT观点全错。实际上IBM的研究者也承认这种方法不能解决语言中的远程依赖问题CMUWangYeYi基于结构对齐的统计机器翻译增加语言知识的统计机器翻译,直接利用双语语料库进行机器翻译的研究(4),基于实例的机器翻译(Example-based,EBMT)日本京都大学的长尾真(Nagao)教授在1984年提出原理:将源语言使用类比的方法与翻译实例相比较，而采取相近的实例片段，重新生成译文。根本观点:认为翻译过程通常是查找和复现相似的例子，发现和记起特定的源语言表达或其相似的表达在以前是如何翻译的。把翻译实例作为它的主要翻译知识源，而把句子片断的适当划分和从词汇到句子各级相似度的计算作为翻译中的主要问题。PanglossEBMT(CMU),直接利用双语语料库进行机器翻译的研究(5),基于实例的机器翻译(Example-based,EBMT),直接利用双语语料库进行机器翻译的研究(6),基于统计的机器翻译解决了知识获取的难题，但是由于完全排除了语言学知识，翻译结果并不理想。基于实例的方法确实为机器翻译研究提供了一个崭新的思路。但是如果直接在大规模的实例库中进行各级的相似度计算和查找，处理的时间和空间复杂度都很高，并且可能会引起组合爆炸问题间接的基于实例的方法首先从双语语料库中获得各级翻译知识然后再利用这些获得的知识进行翻译,双语知识获取,双语语料库及其对齐技术直接利用双语语料库进行机器翻译的研究间接利用双语语料库获取翻译知识的研究,间接利用双语语料库获取翻译知识的研究(1),双语语料库,学习,翻译知识,源语言,目标语言,间接基于实例的机器翻译,间接利用双语语料库获取翻译知识的研究(2),自动获取的翻译知识可以分为两个层次词串级翻译：即获得词汇或短语的直接译文翻译模板：知识表达式中可以含有变量，一般为短语级翻译模板，也可以是句子级的翻译模板，利用双语语料库词对齐或短语对齐的结果可以直接获得词串级的译文（词典编撰）从双语语料库中自动获取翻译模板通过类比学习获得翻译模板通过双语结构匹配获得翻译模板,间接利用双语语料库获取翻译知识的研究(3),通过类比学习获得翻译模板思想：比较语料库中两个翻译实例的相同和不同部分，把其中的某部分加以概括，用变量置换即得到一个翻译模板Iliketodrinkcoffee我喜欢喝咖啡Iliketodrinkmilk我喜欢喝牛奶模板:IliketodrinkX1我喜欢喝X2ifX1X2coffee咖啡milk牛奶优点：不需要语法知识，甚至可以不使用词典，仅仅通过两个翻译句对的类比来获得翻译模板。缺点：模板的概括性和对结构的把握程度很差，如果没有非常大规模而且存在大量相似句子的双语语料库很难有一个理想的结果。,间接利用双语语料库获取翻译知识的研究(4),通过双语结构匹配获得翻译模板优点：可以获得各个层次的翻译模板，即模板中的变量可以是某种短语类型，获得的模板具有较强的概括性和灵活性。缺点：难以获得合适的、可靠的单语分析结果：如汉语不同语言的语法分析结果可能不匹配双语的结构匹配本身也是一个复杂的问题。其他方法IBM东京研究实验室机器翻译系统SimTran通过翻译中出现的错误来改善已有的转换规则TonyVeale等使用了基于标记的句子分割法把句子分割成片断，然后再以片断为单位进行双语匹配和翻译模板的获取,翻译模板的获取及翻译实验（1）,工作总体流程：,翻译模板的获取及翻译实验（2）,获取了两种类型翻译模板结构转换模板：非叶结点译文选择模板：叶子结点短语，名词，动词，代词，形容词，副词作为变量SHe/他/PRPVP./。结构转换模板:#S:1:C=PRP:+2:VP+3:W=.-T(1)+T(2)+。#VP:1:VP+2:PP-T(2)+T(1);#VP:1:C=VBP+2:C=NN-T(1)+T(2);#PP:1:W=in+2:BNP-在+T(2)#PP:1:W=the+2:C=NN-T(2)译文选择模板:#play:-1:C=PRP+0:C=VBP+1:W=accordion-拉,共获得2889个模板，包括1806个结构转换模板和1083个译文选择模板翻译过程是一个递归的模板匹配过程通过评价翻译结果来评价获得的模板两种评价方法自动评价手工评价,翻译模板的获取及翻译实验（3）,翻译模板的获取及翻译实验（4）,自动评价Adam98:翻译结果与语料中的译文相近程度“ABCDE”和源译文“ABCFE”相比评价值为2/10得到评价值0.09.好于Adam的结果0.29局限性:“他们居住在非洲。”与“他们生活在非洲。”相比得分0.25,“空气这里很好”与“这里空气很好”得分为0手工评价97年“863”机器翻译评价标准,翻译实例及评价结果,翻译模板的获取及翻译实验（5）,与统计的机器翻译方法相比，模板比统计概率更易于理解与纯基于实例的方法相比，模板比短语、句子实例具有更强的概括能力所有模板都是自动提取的，大大节省了人力可移植性好获得的模板可以集成到已有的规则系统的规则库中,存在的问题和今后工作,存在的问题词对齐和结构对齐错误累积，精度不高模板的表示和组织模板歧义消解对获取知识的评价今后工作扩大训练语料的规模，对实验结果进行进一步分析和讨论综合运用统计方法和机器学习方法，对翻译模板获取方法进行改进和完善；在模板中引入语义特征来提高模板的概括能力。通过语料库的统计为获得的模板添加自信概率，使用统计和语言学知识相结合的方法解决模板冲突问题,利用双语语料库获取翻译知识的研究,利用双语语料库获取翻译知识的研究得到普遍重视美国，英国，加拿大，日本，韩国现有的方法上存在许多不尽人意的地方国内:近年来开始重视双语语料库对机器翻译的价值在双语对齐方面做了一些工作清华大学，中科院计算所、自动化所，哈工大在利用双语语料库获取翻译知识方面还缺乏系统的研究任重道远,主要参考文献(1),1P.F.Brown,J.C.Lai.etc.“AligningSentencesinParallelCorpora.”ACL-1991:169-1762P.F.Brown.ect.“TheMathematicsofStatisticalMachineTranslation:ParameterEstimation”ComputationalLinguistics,Vol.19,No.2,19933K.W.Church.“Char-align:aProgramforAligningParallelTextsattheCharacterLevel.”ACL-1993:1-84SueJ.KerandJasonS.Chang.“AClass-basedApproachtoWordAlignment.”ComputationalLinguistics23(2):313-343,19975Jin-XiaHuang,Key-SunChoi“Chinese-KoreanWordAlignmentBasedonLinguisticComparison”.ACL-20006RalfD.BrownAutomatedDictionaryExtractionforKnowledge-FreeExample-BasedTranslation.TMI-1997:111-1187HideoWatanabe,SadaoKurohashi,andEijiAramaki.“FindingStructuralCorrespondencesfromBilingualParsedCorpusforCorpus-basedTranslaton”.COLING-2000.8IlyasCicekliandHalilAltayGuvenir.“LearningTranslationTemplatesformBilingualTranslationExamples”.AppliedIntelligence,Vol.15,No.1,2001,P57-76.9HusseinAlmuallim,YasuhitoAkiba,TakefumiYamazaki.“AToolfortheAcquisitionofJapanese-EnglishMachineTranslationRulesUsingInductiveLearningTechniques.”Proc.oftheConferenceonArtificialIntelligenceforApplications1994.,10RalphGrishman,andJohnSterling.“GeneralizingAutomaticallyGeneratedSelectionalPatterns”.COLING-1994.11HalilAltayGuvenirandIlyasCilekli“LearningTranslationTemplatesfromExamples”.InformationSystemsVol.23,No.6,P353-363,1998.12HiroyuliKaji,YuukoKida,andYasutsuguMorimoto.“LearningTranslationTemplatesfromBilingualTexts.”COLING-1992:672-67813K.LariandS.J.Young.“Theestimationofstochasticcontext-freegrammarsusingtheInside-Outsidealgorithm.”ComputerSpeechandLanguage,4:35-56,1990.14ChristosMalavazos,SteliosPiperidis.“ApplicationofanalogicalModelingtoExampleBasedMachineTranslation”.COLING-2000:516-52215YujiMatsumotoandMihokoKitamura“AMachineTranslationSystemBasedonTranslationRulesAcquiredfromParallelCorpora”.RecentAdvancesinNLP.Bulgnira1995.16AdamMeyers,RomanYangarber,RalphGrishmanetc.“DerivingTransferRulesfromDominance-PreservingAlignments”.Coling-ACL-1998:843-84717Nagao,M.“AFrameworkofaMechanicalTranlationbetwee