自然语言理解11语音翻译

1、第11章翻译(4/4)北京市海淀区中关村东路95号：100190： +86-10-6255 4263邮件：cqzong11.4语音翻译宗成庆：自然语言处理讲义，第 11 章2/6711.4.1 概述u 话语是人类信息交流最直接、最方便、最普通的使用方式¾ 人类渴望畅通无阻的自由通讯u 人类在商贸、体育、旅游等领域交流的日益广泛，渴望话语翻译技术的帮助¾ 无自由通讯需要语音翻译技术u 语音识别、语音和翻译技术的快速发展为实现人类话语的自动翻译提供了可能¾ 相关技术的发展促使了语音翻译的诞生宗成庆：自然语言处理讲义，第 11 章3/6711.4.1概述u 语音翻译 (

2、Speech-to-speech translation) 就是用计算机实现持不同语言的说话人之间话语翻译的过程。u 由于语音识别和口语翻译技术的提高，语音翻译研究越来越倾向于探索真实场景下自然口语风格的话语翻译技术，因此，语音翻译一般又称口语翻译(Spoken language translation, SLT)，或口语翻译(Spoken dialogue translation)。u 里程碑：医生与美国CMU, SpeechTrans, 英日，。宗成庆：自然语言处理讲义，第 11 章4/6711.4.2基本原理宗成庆：自然语言处理讲义，第 11 章5/6711.4.2 基本原理u 人翻译的

3、过程翻译官语言1 说话人语言2 说话人源语言(Source language) 2源语言(Source language) 1目标语言(Target language) 1翻译器Translator目标语言(Target language) 2宗成庆：自然语言处理讲义，第 11 章6/6711.4.2 基本原理源语言语音源语言文字知识库目标语言文字目标语言语音宗成庆：自然语言处理讲义，第 11 章7/6711.4.2 基本原理源语言语音源语言文字知识库目标语言文字目标语言语音宗成庆：自然语言处理讲义，第 11 章8/6711.4.3口语翻译特点宗成庆：自然语言处理讲义，第 11 章9/6711

4、.4.3口语翻译特点Ý系统工作环境复杂4周围环境噪音4语音传输过程中产生的非语声信号4长时间停顿等4无句子边界4说话人的口语、语速各不相同4始终的集外词(1)餐馆预约(2)预订房间宗成庆：自然语言处理讲义，第 11 章10/6711.4.3口语翻译特点语音识别太大的模型库识别结果)输入语音s = arg max P( A | S)P(S)S声学模型语言模型宗成庆：自然语言处理讲义，第 11 章11/67Ø 口语特性ØØ 噪声问题Ø声学模型的训练问题搜度索学策习略模型Ø 语言模型的自适应问题Ø 11.4.3口语翻译特点

5、1; 翻译模块面对的是复杂多变的口语语句4重复4词序颠倒例如：4冗余4无标点4省略44含错误信息那个那个房间三住问一下 那个这里 那里啊 有没有不 双人间 便宜点儿的就是单人间 噢美国来的朋友冗余宗成庆：自然语言处理讲义，第 11 章12/6711.4.3口语翻译特点例如：那个那个房间三住问一下 那个这里 那里啊 有没有就是单人间 噢 不 双人间 便宜点儿的美国来的朋友宗成庆：自然语言处理讲义，第 11 章13/6711.4.3口语翻译特点例如：那个那个房间三住问一下 那个这里 那里啊 有没有就是单人间 噢 不 双人间 便宜点儿的美国来的朋友省略宗成庆：自然语言处理讲义，第 11 章14/67

6、11.4.3口语翻译特点例如：那个那个房间三住问一下 那个这里 那里啊 有没有就是单人间 噢 不 双人间 便宜点儿的美国来的朋友次序颠倒宗成庆：自然语言处理讲义，第 11 章15/6711.4.3口语翻译特点基于94 段u 词长分布的初步统计平均词长为1.87个汉字，小于语的平均词长60.00%50.00%40.00%30.00%20.00%10.00%0.00%1字词2字词3字词4字词宗成庆：自然语言处理讲义，第 11 章16/6711.4.3口语翻译特点u 语句长度分布独词句：15.12%25.00%20.00%15.00%10.00%5.00%0.00%1个字3个字5个字7个字9个字11

7、-67个字宗成庆：自然语言处理讲义，第 11 章17/6711-67字的语句：24.85%其他：60.03%平均语句长度为7.8个汉字11.4.3口语翻译特点u 词类分布使用频率最高的5种词类依次是：数词、动词、名词、代词和习惯用语。宗成庆：自然语言处理讲义，第 11 章18/67词类ACDFHIJLM比例(%)4.001.526.840.523.9810.772.632.875.37词类NPQRTVWXY比例(%)14.6910.8815.610.663.1015.310.471.630.0011.4.3口语翻译特点u 语言现象分布u 词序改变现象分布宗成庆：自然语言处理讲义，第 11 章1

8、9/67类型主语后置宾语前置修饰语后置例句(1) 知道吗 您(2) 还没来呢两个朋友(1) 两个单间 我要(2) 双人间 有(1) 有双人间吗好一些的(2) 有房吗 现在比例(%)21.862.815.4Cases重复词序颠倒冗余省略独词句现象并存Ratio(%)3.561.234.7032.6144.595.6811.4.3口语翻译特点冗余词分布情况宗成庆：自然语言处理讲义，第 11 章20/67冗余词长度比例例 子177.2%唉，那，呢，啊214.4%就说，那个，这个35.6%就是说，比如说41.1%请问一下51.2%问一下60.5%请问一下11.4.3口语翻译特点省略词分布情况省略类型例

9、句比例 (%)主语省略(房价) 可以打九折(客人)二晚上走49.12谓语省略单人间可以 (打折)一个人 (住) 一间2.33宾语省略您别挂 ()您先查一下 (价钱)5.04特指性描述省略十八号晚上 (的房间有没有)如果单人间呢 (这些情况怎么样)42.85其他情况然后 那个 比如说 那个 洗澡什么的就是象电视啊 什么乱七八糟的0.6511.4.3口语翻译特点输入语音：A: 您好 前台B: 您好还有 没 有房间输出识别结果：A-1: 您 好 前台A-2: 您好 前台 A-3: 您 到 前台 B-1:B-2:B-3:您 那 您 看 有 没 有 房间您 那 您 看 有 每 晚您 那 您 看 有 没

10、有 防 宗成庆：自然语言处理讲义，第 11 章22/6711.4.3口语翻译特点u 语音自然、流畅、清楚、多风格、富有情感、与说话 人语音一致 宗成庆：自然语言处理讲义，第 11 章23/6711.4.3口语翻译特点Ý系统尚无法有效地获得和利用过程中的非语言信息、难以实现说话人意图的准确理解4语气4手势或其他肢体语言4表情宗成庆：自然语言处理讲义，第 11 章24/6711.4.4代表系统宗成庆：自然语言处理讲义，第 11 章25/6711.4.4代表系统u 代表系统宗成庆：自然语言处理讲义，第 11 章26/67系统名称实现时间领域语种词汇量SpeechTransCMU1989医生

11、与病人之间对话日英Rule-basedJANUS-IIICMU,Karl sruhe1997旅馆预订日英、英德等Multi- engines开放MATRIXATR1998旅馆预订日、英、德、汉等Example based2000Head-TransAT&T1996机票预订、旅游英、汉、西班牙语Automata1300VerbmobilBMBF1990s会晤安排德、英等Multi- engines250011.4.4代表系统u ATR 的口语翻译研究Ø 19861992 (Transfer-driven MT, TDMT), J-E ATR-ITL: Interpreting

12、Telephony Research LabsØ 19931999 (Example-Based, MATRIX), J-E, J-K, J-G ATR-ITL: Interpreting TelecommunicationsResearch LabsØ 20002005 (MATRIX, Statistical MT), J-E, J-C, J-KATR-SLT: Spoken Language Translation Research LabsØ 投入300多亿日圆，几百人参与。宗成庆：自然语言处理讲义，第 11 章27/6711.4.4代表系统宗成庆：自然语

13、言处理讲义，第 11 章28/6711.4.4代表系统u Verbmobil 系统教育研究部(German Ministry forØ 受德国Education and Research，BMBF)资助 第一阶段（19931996）：$33M 第二阶段（19972000）：$28M工业界：$17M$11M$89M，900多位全职研究其它：共计：Ø 23个参加和学生。宗成庆：自然语言处理讲义，第 11 章29/6711.4.4代表系统u Verbmobil 系统:Ø 10,175 德语单词，6871 英语词汇Ø 统计翻译引擎：58,332 德英语句对训练&

14、#216; 基于格的翻译（Case-based）引擎Ø 基于转换的翻译（Transfer-based）引擎：22,783格转换规则；13,640个微观规则Ø 基于意图(Dialogue-Act)的翻译器Ø 基于子串的(Substring-based)翻译器宗成庆：自然语言处理讲义，第 11 章30/6711.4.4代表系统u Phraselator资助，美国 DARPA军事医学研究所开发，用于配备海湾地区的美国士兵().宗成庆：自然语言处理讲义，第 11 章31/67统ationonslati搜狗机科大讯飞准儿/67宗成庆语理讲义，11.4.5C-STAR, A-

15、STAR与U-STAR宗成庆：自然语言处理讲义，第 11 章33/6711.4.5C-STAR, A-STAR与U-STARu 国际语音翻译先进研究Consortium for Speech Translation Advanced Research International, C-STARØ 成立于 1991年，由ATR,美国CMU, 德国 Univ. of Karlsruhe (UKA)和 Siemens 等Ø 目前拥有12个发起；的20多个成员 (affiliatemembers),Ø 1996年7个成员(partners)；成为C-STAR自动化成员，2

16、000年10月正式成为C-STAR成员。宗成庆：自然语言处理讲义，第 11 章34/67CLIPSCommunication in Natural LanguageETRIElectronics and Telecommunication Research InstituteUKAUniversity of Karlsruheand-SystemInteractionCMUCarnegie Mellon UniversityATR-SLTSpoken Language Translation Research LaboratoriesNLPRNational Laboratory of Pat

17、tern RecognitionITC-IRSTInstitute of Scientific and Technological Research11 章35/67宗成庆：自然语言处理讲义，第11.4.5 C-STAR, A-STAR与U-STAR11.4.5C-STAR, A-STAR与U-STARu 任务和目标开展自动语音翻译实用技术的研究，最终实现任意时间(Any time)、任意地点(Any where)、任何语言(Any language)的自由通讯辅助翻译服务。宗成庆：自然语言处理讲义，第 11 章36/6711.4.5C-STAR, A-STAR与U-STARØ199

18、11993：美国CMU、ATR、德国Karlsruhe大学和西门子公司组织了越洋自动翻译实验19931999：扩大了成员(ITC-irst、CLIPS-IMAG、ØETRI)，1999年进行了第2次越洋实验2000：自动化所加盟 C-STARØØ2002：开发日、英、汉、德、韩、意6种语言对照口语语料库(BTEC)2004年开始组织国际口语翻译评测(IWSLT)，至今Ø宗成庆：自然语言处理讲义，第 11 章37/6711.4.5C-STAR, A-STAR与U-STARu A-STAR 与 U-STARØ 亚洲语音翻译(The Asian Sp

19、eech TranslationAdvanced Research Consortium, A-STAR)于2006年11月由的 NICT (National Institute ofCommunication Technology)发起成立Ø 7个主要成员：韩国ETRI、与计算技术中心(NECTEC)、自动化所、技术评估与应用局、先进计算技术开发中心、越南(I2R)和新加坡信息通讯宗成庆：自然语言处理讲义，第 11 章38/6711.4.5C-STAR, A-STAR与U-STARØ A-STAR旨在通过合作推动亚太地区的语音翻译技术 研究和应用开发Ø 2009

20、年7月在亚太电信标准化计划(Asia-PacificTelecommuStandardization Program, ASTAP)的支持下实现了第一个基于的亚洲语音翻译系统Ø 2010年ASTAP被转移到国际电联电信标准化部门(ITU Telecommunication Standardization Sector, ITU-T)Ø A-STAR随即成为一个全球化的组织，并更名为U- STAR(The Universal Speech Translation Advanced Research Consortium)宗成庆：自然语言处理讲义，第 11 章39/6711.4

21、.5C-STAR, A-STAR与U-STARØ U-STAR成员除了原来的7个亚洲成员以外，又增加了英国Sheffield大学计算机系、爱尔兰都柏科学研究中心(CNRS-林圣三一学院和法国LIMSI)等在内的一批科研，成员总数达到26个，来自23个和地区Ø 2012年6月27日，U-STAR在展示了23国语言（17种语音输入）的同声翻译应用系统VoiceTra4U-M宗成庆：自然语言处理讲义，第 11 章40/6711.4.6 自动化所的口语翻译研究宗成庆：自然语言处理讲义，第 11 章41/6711.4.6自动化所的口语翻译研究u 自动化所(CASIA)自1990S中期

22、开始口语翻译研究宗成庆：自然语言处理讲义，第 11 章42/6711.4.6自动化所的口语翻译研究宗成庆：自然语言处理讲义，第 11 章43/6711.4.6自动化所的口语翻译研究宗成庆：自然语言处理讲义，第 11 章44/6711.4.6自动化所的口语翻译研究v 基于普通的中韩双向语音翻译系统In ETRIIn NLPRKorea speakerSpeechSpeechSpeechspeakerSpeechSpeechSpeechIFIFInterNet宗成庆：自然语言处理讲义，第 11 章45/67MediatorMediator11.4.6自动化所的口语翻译研究宗成庆：自然语言处理讲义，

23、第 11 章46/6711.4.6自动化所的口语翻译研究2007: 基于掌上电脑的汉英双向语音翻译原型系统宗成庆：自然语言处理讲义，第 11 章47/6711.4.6自动化所的口语翻译研究Santa, may I get a Barbie doll as Christmas gift?用户2MSC移动交换中心RNC无 线器3G核心网SGSN服务GPRS支持节点无线接入网用户12009年与Nokia开发完成圣诞老人， 我可以要一个芭比娃娃做圣诞吗？基于的可视化口语翻译系统。11 章48/67宗成庆：自然语言处理讲义，第NodeB口语翻译服务器NodeB1. 用户对着说话（比2. 语音通过3G传递

24、到云计算中心3. 语音送到语音识别计算集群进行识别如：“你叫什么名字？）3G6. 识别和翻译的文本，以及转换的语音，通过3G 发回给用户。7. 用户在上看到翻译4. 识别的文字送到翻译计算集群进行翻译结果，并听到翻译之后的语音（比如：“Whats your name?”）5. 翻译结果送到文本转语音服务器转换成语音11 章49/67宗成庆：自然语言处理讲义，第11.4.6 自动化所的口语翻译研究2012年6月发布口译1.0版本(ZTSpeech 1.0)11.4.6自动化所的口语翻译研究ZTSpeech 1.0的特点：基于云计算的统计语音识别和统计翻译模式；面向通用领域，有较高的识别和翻译鲁棒

25、性；利用超大规模数据、超大规模计算和超大规模；有准备的语音(Prepared Speech)，其自然度介于语和口语之间。宗成庆：自然语言处理讲义，第 11 章50/6711.4.6自动化所的口语翻译研究(a)(b)(c)宗成庆：自然语言处理讲义，第 11 章51/6711.4.6自动化所的口语翻译研究u IWSLT-2007 评测结果宗成庆：自然语言处理讲义，第 11 章52/67Institute of Automation (IA),Academy of Sciences (CAS),11.4.6自动化所的口语翻译研究u IWSLT-2008 评测结果宗成庆：自然语言处理讲义，第 11 章

26、53/6711.4.6自动化所的口语翻译研究u IWSLT- 200测结果 NLPR NLPR 宗成庆：自然语言处理讲义，第 11 章54/6711.4.6自动化所的口语翻译研究 NLPR NLPR 宗成庆：自然语言处理讲义，第 11 章55/6711.4.6自动化所的口语翻译研究 NLPR 宗成庆：自然语言处理讲义，第 11 章56/6711.4.7 系统实现宗成庆：自然语言处理讲义，第 11 章57/6711.4.7 系统实现与文本翻译相比，需要重点解决的问题：u 噪声或冗余词的识别和过滤u 人名等实体识别和翻译u 语序调整宗成庆：自然语言处理讲义，第 11 章58/6711.4.7 系统实现u 噪声和冗余词识别、过滤ü 重复出现的名词、代词、数量词ü 重复出现的副词（分情况）ü 重复出现的形容词（分情况）ü 重复出现的代词（分情况）宗成庆：自然语言处理讲义，第 11 章59/6711.4.7 系统实现u 人名等实体识别和翻译ü 拼音替换汉字，如