多语种的拼音到汉字的转换和翻译.ppt

多语种的拼音到汉字的转换和翻译,赵海上海交通大学zhaohai2013.05.31长沙,目录,问题概述拼音输入法机器翻译：服务于汉字文化圈语言结语,汉字文化圈,汉字亦称中文字、中国字，是世界上仍被广泛使用的高度发展的表意文字。仍在使用和曾经使用汉字的国家和地区包括汉字的诞生地中国、周边深受其影响的越南、朝鲜半岛和日本，以及近代华人移民聚集的新加坡、马来西亚等东南亚国家。接受汉字及中国文化影响的地理区域在某些文献中被非正式地称为汉字文化圈,汉字文化圈的拼音化,汉字文化圈各语言均是世界意义上的大语种汉语有超过13亿人使用，是使用人口最多的语言日语有1.3亿的使用者朝鲜语/韩语有超过7,000万的使用人口越南语则拥有世界范围内约8,000万的使用者,使用人数,应用驱动的音字转化任务,中文的拼音输入法从汉语拼音到汉字句子机器翻译从假名、谚文或者越南语国语字到汉字串从语义等价的角度，观察不同语言的读音差异和演化轨迹,目录,问题概述拼音输入法机器翻译：服务于汉字文化圈语言结语,基于拼音的中文输入法,主流的输入法大部分是基于拼音的不考虑声调，汉语拼音的音节数少于500个汉字，则有3000-20000个，根据应用场合不同而不同无论哪种情形，基于拼音输入面临的主要问题是：针对输入拼音音节，快速选定汉字。,通用策略,输入一个拼音音节，会有几十个汉字对应输入双音节词对应的拼音，则会快速降低到只有几个合法的汉字词对应所以输入尽可能长的音节串！,拼音输入法作为汉字串解码任务,输入：汉语拼音串输出：一一对应的（合乎汉语语法语义的）汉字串串标注任务最大熵模型解码统计机器翻译解码,作为机器翻译的汉字串解码PACLIC2012,流程：没有对齐过程仅适用标准的MERT调试以及MOSES解码有效集成语言模型等丰富特征精度和整句正确率均优于标准的最大熵模型,不仅仅是串解码任务,我们使用字的精度来评估汉字串解码任务对于串解码任务这是标准度量，因而它不是问题但是，我们服务于中文输入法，它的真正目标是最少的击键选择来完成输入,新型的汉字串解码评估度量,基于击键次数解码不可能100%正确，如果1-best输出不是完全正确的，我们依赖于输入法给出的其他次优的候选这就是核心问题！假定所有的输入都是基于数字键的选择完成，我们得到一个击键次数度量,简单的击键行为模型,假定全部选择都由数字选择完成，不考虑光标移动、删除等操作输入完整拼音需要n次击键，需要m次数字选择完成汉字输入目标的击键效率评估度量是m/(n+m)这个值越高，输入法越友好优化候选长度、排序等以降低以上的度量,触摸屏上的中文输入法更加复杂的击键行为,目录,问题概述拼音输入法机器翻译：服务于汉字文化圈语言结语,汉字作用再审视,中国1950s：汉语拼音曾经计划用来替换汉字作为正式的文字废除汉字1980s：汉字的计算机处理面临挑战但是，现在。你懂的,汉字作用再审视,日本明治维新后，中国衰落，汉字的使用的合法性和合理性引起争议最终，汉字在日语中的使用得以保留，但是使用大幅度减少存在2000个汉字的当用汉字表,汉字作用再审视,朝鲜1949年开始彻底使用纯谚文印刷主要出版物，标志着国汉混用朝鲜语的时代在朝鲜正式结束韩国1948年，韩国制宪会议制定了韩字专用的法律。1950年，韩国内务部通令容许夹写汉字，但是五年以后该通令被取消。1970年，朴正熙政府强化了韩字专用政策的推行，鼓励出版界使用纯韩字。1974年，文教省又公布“教科书韩汉并书方针”，结束了“禁用汉字”政策。1999年，金大中总统发布总统令，要求在必要情况下并书汉字以确保公文内容的准确传达。2011年开始，韩国把汉字重新列入中小学的课程。2004年：贱出将军事件,汉字作用再审视,字喃，不晚于13世纪创造出来用于记录越南语19世纪由法国殖民者主导，开始普及法国传教士设计的越南语的罗马字书写体系。1919年的科举废除，汉字的使用也被废除。1945年越南民主共和国在越南北部成立后，北部的教育中的汉字教学已经不存在；南越在1975年前的中等教育中仍保留“汉文科”。今天，汉字在越南的地位类似于拉丁语在欧洲的情形。没有汉字，你不知道你在说什么,基于汉字的密切的词汇联系,日语约有至少50%的日语词汇来自汉语。在近代，则是大量反应现代西方科技文化的术语首先通过日语中的汉字书写，继而重新传播回汉语韩语/朝鲜语汉语借词占韩文词汇量的60%越南语汉语借词可达60%,越南语、朝鲜语/韩语使用纯拼音文字,日语是拼音-汉字混合书写语言，因此中国人看到日文，多少能猜测出所表达的意思但是越南语、朝鲜语/韩语。统计机器翻译：没有对齐语料,韩文也可以这样写,韩汉书写的不同模式的例子纯韩文.韩汉并书(忠道)(執持).韩汉夹写（韩主汉从）忠道執持.韩汉夹写（汉主韩从）只今三年以後忠道執持過失盟誓.,韩国宪法（韩汉混合书写）,前文悠久史傳統大韓國民31運動建立大韓民國時政府法統義抗拒419民主念,祖國民主改革平和的統一使命正義人道同胞愛民族團結,社會的弊習義,自調和自由民主的基本秩序政治經濟社會文化域各人機會,能力最高度,自由權利責任義務,國民生活世界平和人類共榮子孫安全自由幸福1948年7月12日制定8次改正憲法國會議決國民投票改正.第1章總綱第1條大韓民國民主共和國.大韓民國主權國民,權力國民.第2條大韓民國國民法律.國家法律在外國民義務.第3條大韓民國土韓半島附屬島嶼.第4條大韓民國統一指向,自由民主的基本秩序平和的統一政策.第5條大韓民國國際平和侵略的戰爭否認.國軍國家安全保障國土防衛神聖義務使命,政治的中立性.,训读汉字串,借鉴这些周边语言和汉语的历史性联系，我们提出使用一种严格按照词汇语义等价条件下的汉字转写形式，分别用于相关语言到汉语的翻译处理。这个以源语言的语法和语序书写的汉字串，其中的各个词汇在源语言和现代汉语之间语义等价，借用日语的术语，我们称之为“训读汉字串”。,语义翻译和语法翻译,以训读汉字串为中间语言，可以将机器翻译任务分解为两个阶段语义翻译阶段完全类似于汉语拼音输入法中汉语拼音串到汉字句子的逐一转换过程，基于双语词典提供的候选，源语言音节到汉字的转换是严格对应的（在越南语的情形，国语字到汉字的转换甚至是一个音节恰好可以严格映射到一个汉字），而无须考虑词序的重排和词汇的复杂改写。语法翻译阶段把遵照源语言语法的训读汉字串重排词序，必要时改写个别词汇，转为合乎汉语语法的句子。注意这是一个单语言处理过程！,语言差异：韩语-汉语,语音：和日语一样，韩语没有声调。存在元音和谐现象。语法：韩语的语法结构是主宾谓（SOV）结构，不同于汉语的主谓宾（SVO）。韩语是黏着语，这种类型的语言靠粘着在词干后面的大量、丰富的词尾的变化来表达语意。汉语是孤立语，靠词序来表达语意。五组九类词，助词（关系语）反映黏着语功能和特性。可翻译的是体语（名词、代词等）。,语言差异：越南语-汉语,语音越汉都有声调，前者有6个，后者有5个。语法越汉都是孤立语，动词没有型态变化，名词既没有性、数、格的形式和变化，形容词无需和名词保持性、数、格上的一致。通过词序来表达语法作用。都是主谓宾结构(SVO)。跟多数东南亚语言（泰、高棉、马来语等）一样，越南语也是形容词后置的语言。越南语就不是Vit（越）Nam（南）Ting（语），而是TingVitNam；京族的正式语言就应该写成ngnng（言语）chnhthc（正式）ca属于、的dntc（民族）Kinh（京）。,最简机器翻译方案,语义翻译基于双语词典语法翻译基于语言模型联合得分最大化重排句子,为什么可以这么做,汉字的序顺其实不响影的你阅读和理解，是吧?既然大部分汉语借词本来就是用汉字书写的，那我们就恢复它的本来面目！这就是最精确的翻译！分离语义和语法翻译，让机器翻译过程更为明确，更有针对性把双语的翻译转换为单语的重述任务,存在的问题1,语义翻译：消歧一个音对应多个字基于上下文特征处理使用长词的双语词典进行最大匹配处理（用于汉越语词汇）,存在的问题2,语法翻译训读汉字串是非法顺序的中文解决方案基于重述的修正简化方案：使用语言模型调序相当于哈密顿路问题，这是NP完全问题，不存在多项式解法。优化方法是，一边搜索一边保存已经搜过的答案，不重复计算。,存在的问题2：例子1,红星是他的一个特殊的纸覆盖着太阳晒黑的葡萄，他用一种特种纸包住葡萄，以防止果皮被晒焦。RedStarishisgrapescoveredwithaspecialpapertosuntanning,存在的问题2：例子2,据统计，目前一群在宁顺，约80,000已筹得超过150个农场。据统计，目前在宁顺羊群，有大约80,000名儿童在150户以上。Accordingtostatistics,thecurrentflockinNinhThuan,about80,000hadbeenraisedformorethan150farms.,存在的问题2：例子2,据统计，宁顺现饲养有大约8万只绵羊，分散在150个庄园。,存在的问题2：例子2,在宁顺省的干旱经常遭受饥饿。thedroughtinNinhThuanprovinceoftensufferfromhunger.大旱之年往往缺粮。,重述策略,把非人的话语转化为人话。机器翻译的终极问题仔细观察大量的高质量的机器翻译输出文本，发现：其文本其实是可以理解，或者是可以猜测的，但是，可惜的是，描述并不地道。使用重述处理来增强翻译质量,越南语转换实例,对照原文DukhchTyBanNhathngthctrtiTrmAnhqun.西班牙游客在簪缨馆品茶。逐词的训读汉字串转化如下进一步通过基于语言模型的改写和语序重排后得到的最终结果是西班牙游客赏识茶在簪缨店。Google翻译西班牙游客享受茶在英国的前哨基地。SpanishtouristsenjoyteaattheBritishoutpost.考虑到谷歌翻译对于British这个词翻译为越南语“ngiAnh”，恰和上文的TrmAnh这个词共享主要音节Anh。我们有理由推测，谷歌翻译使用了英文作为中间语言来处理越汉翻译。,评估度量,BLEU等度量综合考虑机器翻译文本的质量但是我们这里涉及两个阶段的输出文本因此，我们额外引入一个理解率的度量，