《藏文信息处理的原理与应用》课件 第13章 机器翻译

第13章

机器翻译课程引入（1）情感分析概述（2）藏语情感信息抽取方法（3）藏文句子级情感分析方法（4）藏文篇章级情感分析方法（5）藏语多模态情感分析方法Contents第13章

机器翻译机器翻译概述13.1传统的机器翻译方法13.2基于神经网络的机器翻译13.313.1机器翻译概述13.1机器翻译概念机器翻译（MachineTranslation,MT）是指利用计算机技术将一种语言（源语言）自动翻译为另一种语言（目标语言）的过程。机器翻译机器翻译涉及对语言结构、词汇语义及上下文信息的计算建模，并依赖于算法对语言规则的抽象和统计规律的捕捉。用以完成这一过程的软件称为机器翻译系统。13.1.2机器翻译研究概况国外研究概况20世纪40年代1946年，在美国诞生电子计算机后，人们开始探索应用计算机来进行语言翻译的工作。20世纪50年代现代机器翻译的研究始于20世纪50年代。Bar-Hillel等人在1951年开始了对机器翻译的研究，在1952年组织了第一届国际机器翻译会议。1954年1954年，《机器翻译》创刊，同年Georgeton大学成功研制了第一个机器翻译系统，掀起一股机器翻译热潮。13.1.2机器翻译研究概况国外研究概况1966年Bar-Hillel在美国全国科学院的ALPAC报告使各部门纷纷停止了对机器翻译研究的经费支持，从而机器翻译走向低潮。20世纪70年代后期机器翻译又迅速发展起来，各种实用的和实验的系统相继推出。80年代中期机器翻译处于空前繁荣时期，出现了很多商品化的系统：美国的SYSTRAN系统；美国Texas大学与德国Simon公司合作研制的METAL系统；日本日立公司的ATLAS系统；法国Grenoble大学的CETA系统。13.1.2机器翻译研究概况出现了两个实用化系统：军事科学院研制的KY-1英汉机器翻译系统；中国科学研究院计算所研制的863-IMT英汉机器翻译系统。80年代中期到90年代初期我国机器翻译研究从停滞走向了复苏。20世纪70年代中期中国的机器翻译走入了快速发展的时期，出现了许多商品化系统。90年代初期至今国内研究概况13.1.2机器翻译研究概况藏文机器翻译藏文机器翻译研究始于上世界九十年代末。随着信息技术的发展，学者们看到了藏汉机器翻译领域的需求和机器翻译的重要性，开始涉足藏文机器翻译领域。在藏文机器翻译方面取得了很多成果，其中，部分重要研究成果如下：13.1.2机器翻译研究概况藏文机器翻译陈玉忠、李延福等人在国家“863”计划支持下实现了一个汉藏科技机器翻译系统。1995年才藏太等人结合“863”项目研制了班智达汉藏公文机器翻译系统。2005年祁坤钰根据现代藏语语义词典设计的理论框架、语义分类思想、语义分类体系和属性描述原则，构造了一个初步适应英藏机器翻译的藏语语义分类体系。2004年中科院自动化所、软件所和西藏大学等科研院所积极投入到藏语机器翻译研究中，开发了阳光汉藏机器翻译等许多实用的藏文机器翻译系统。近年来13.1.3机器翻译的发展历程按照机器翻译技术的发展，机器翻译方法分为3种。

基于规则的机器翻译依赖语言学专家制定的语法规则和双语词典，通过人工定义的转换逻辑实现逐词替换和句法结构转换‌。典型的系统有Georgetown-IBM实验的俄英翻译系统、冷战时期情报翻译工具Systran‌等。基于规则的机器翻译存在规则覆盖不足、无法处理语言动态变化及复杂句式等局限性。(1)基于规则的机器翻译13.1.3机器翻译的发展历程按照机器翻译技术发展，可分为3个阶段。基于统计的机器翻译基于大规模双语平行语料库，通过统计规律优化翻译选择‌，具有摆脱人工规则束缚，实现数据驱动的翻译适配，提升领域适应性等优点，但也存在数据依赖性过强，长距离语义捕捉能力不足等缺陷。(2)基于统计的机器翻译13.1.3机器翻译的发展历程按照机器翻译技术发展，可分为3个阶段。神经机器翻译可追溯至20世纪八九十年代，但受限于计算资源和数据规模，停滞多年。近年来，随着深度学习技术的发展，机器翻译采用端到端架构，通过注意力机制实现上下文感知的语义编码与解码，‌性能大幅提示。随着深度学习技术的发展，‌预训练语言模型（如BERT、GPT）实现零样本翻译，突破了低资源机器翻译的瓶颈‌。(3)基于神经网络的机器翻译‌13.2传统的机器翻译方法13.2.1传统的机器翻译方法(1)传统的机器翻译的基本过程机器翻译任务可以描述为一种语言（源语言）的文本送入计算机，通过计算程序生成另一种语言（目标语言）的文本，且源语言文本与目标语言文本具有相同的含义。传统机器翻译系统由源语言分析和目标语言生成两部分组成。13.2.1传统的机器翻译方法(1)传统的机器翻译的基本过程源语分析：遵循一定的语言学基础，寻求源语文本的表示形式与其对应内容之间所存在的映射关系的过程。典型的源语言分析手段为：依据与源语言文本所表达含义相关的词汇、句法结构、单词和句子的顺序，灵活地找出目标语译文。1)源语言分析13.2.1传统的机器翻译方法源语言分析涉及多个不同层次，分析过程按照复杂度递增顺序可划分为以下几个阶段：用于获取源语言词汇的原形。形态分析01用于摘取源语言的短语结构和句法结构的依存性，即确定输入文本中词汇的词性、短语边界和短语的内部结构。句法分析0213.2.1传统的机器翻译方法利用文本含义描述语言，建立知识结构，反映源语言文本的词汇、词义及相互之间所存在的语义依存关系，可消除词义歧义、介词短语修饰歧义、复合词分解歧义等。语义分析03根据源语言的文本元素之间所存在的各种面向应用领域和修辞的关系，建立源语言文本的语义结构。语用分析0413.2.1传统的机器翻译方法目标语生成被看作源语言分析的逆过程，主要完成以下两项任务：文本规划：对各种表达方式进行选择，确定要实现的目标语文本的有关内容、修辞方式等信息。表层实现：根据目标语语法，将由词汇组成的句法表达式映射为表层字符串。2)目标语生成13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法程序工作者和语言工作者先共同制定数据规范，确定翻译算法、语言知识和翻译知识的表示形式，然后程序工作者编写程序实现翻译算法。语言工作者编写语言知识和翻译知识，驱动翻译算法的运行，两者分工合作，缺一不可。基于规则的机器翻译特点基于规则的机器翻译系统就是对源语言的词法、语义进行分析、判断和取舍，然后重新排列组合，最后生成等价的目标语言。基于规则的机器翻译定义13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法1）知识获取瓶颈与高昂的开发成本依赖专家手工编写规则：系统需要语言学家和计算机专家为源语言和目标语言编写大量的语法、句法和语义规则。这个过程十分耗时耗力且成本高昂。基于规则的机器翻译系统是早期的机器翻译方法，其核心依赖于语言学专家制定的各种规则。尽管它在历史上发挥了重要作用，但其缺点也非常明显。具体如下：13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法可扩展性差：每增加一对新的语言对（如汉语-藏语），都需要几乎从头开始重新编写一套规则，无法利用为其他语言对（如汉语-英语）编写的规则。这使得覆盖全球数千种语言变得不切实际。2）

覆盖范围有限与僵化无法处理例外和歧义：语言充满了例外、惯用语、俚语和新词。规则系统很难覆盖所有的语言现象。当一个句子不符合已编写的规则时，翻译就会失败或产生荒谬的结果。13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法规则冲突：复杂的句子可能导致多条规则同时适用，系统需要解决规则之间的冲突，这非常困难，常常导致错误的解析。

3）对歧义问题的处理能力弱自然语言中存在大量的词汇歧义和结构歧义，基于规则的系统缺乏深层的上下文理解和世界知识，很难做出正确的选择。13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法4）

译文生硬、不自然缺乏语感：基于规则的翻译是逐词、逐句按照规则“组装”出来的，结果往往在语法上正确，但读起来非常生硬、不自然，不符合目标语言的表达习惯。无法进行意译：如成语和俚语等在基于规则的机器翻译方法中通常会进行字面翻译，导致译文令人费解。13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法5）维护和更新困难语言是不断演变的，新词汇、新用法层出不穷。更新基于规则的机器翻译系统意味着语言专家需要不断地手动修改和添加规则，这是一个持续且繁重的维护负担。13.2.2基于规则的机器翻译方法基于规则的藏文机器翻译的研究成果2005年，才藏太等人结合863项目《班智达汉藏公文机器翻译系统》的研制实践，论述了词项信息同语法规则相结合的原则，提出了以动词为中心的句法分析二分法。13.2.2基于规则的机器翻译方法基于规则的藏文机器翻译的研究成果2013年，孙萌等人提出对藏文数词基本构件定义的方案，即根据藏文数词的构词规律，定义藏文数词类别和基本构件；提出了三层模型：采取最优路径决策模型判断数词构件的边界，然后通过有限自动机模型识别并翻译基本数词，最后用模板匹配算法处理复杂数词。该文提出的方法对数词识别与翻译的F值达到98.73%，在藏汉机器翻译的测试集上，BLEU提高了2.64%。13.2.2基于规则的机器翻译方法基于规则的藏文机器翻译研究夏吾吉等人采用识别数词、基本数词转换以及复杂数词处理三种独立的基本模型，并将其过程划分为六个阶段：判断数词、识别数字及数词、转换翻译、判断复杂数字及复杂数词、转换翻译、复杂数字及复杂数词的处理。通过确定性有限状态自动机把藏文数词和阿拉伯数字进行自动转换翻译，并且采用最大匹配的原则实现了翻译复杂数词自动翻译系统；从互联网上精选了包含藏文数词和阿拉伯数字的3162条藏文句子进行测试，F值达到了98.02％。13.2.3基于实例的机器翻译方法基于实例的机器翻译方法实则是一种基于语料库的机器翻译方法。该方法不经过深层分析，仅仅通过已有的经验知识，通过类比原理进行翻译。源语言正确分解为句子分解为短语碎片通过类比的方法把这些短语碎片译成目标语言短语把短语合并成长句基于实例的机器翻译过程13.2.3基于实例的机器翻译方法1实例库中有十分相似的原文，可以通过类比推理，并对翻译结果进行少量的修改后就可构造出近似的翻译结果。2基于实例的机器翻译方法的优点基于实例的机器翻译方法的优点实例库中有相同的原文，可以直接获得高质量的翻译结果。13.2.3基于实例的机器翻译方法1）对大规模高质量双语语料库极度依赖，其性能与翻译记忆库的规模和质量直接相关。如果记忆库中没有与待翻译句子足够相似的实例，系统就无法产生高质量的译文，甚至可能无法翻译。2）稀有句型和生僻词处理困难，对于不常见、非常规的句式或专业领域外的生僻词，系统很难找到匹配的实例，导致翻译失败或质量骤降。3）“相似度”的困境，如何定义和计算“句子相似度”本身就是一个难题。过于严格则找不到实例，过于宽松则找到的实例可能不适用，导致翻译错误。基于实例的机器翻译方法的不足13.2.3基于实例的机器翻译方法4）译文僵化不自然，基于实例的机器翻译本质上是“拼凑”已有的翻译片段。当待翻译句子与记忆库中的实例有细微但关键的差别时，直接套用可能会导致译文生硬、不流畅，缺乏自然语言应有的灵活性。5）难以处理复杂句式，不同语言之间的语法结构差异巨大。例如，英译汉时经常需要调整语序。基于实例的机器翻译方法依赖于找到局部片段进行重组，但对于需要全局性、结构性调整的句子，这种“打补丁”式的重组往往力不从心，容易产生带有“翻译腔”的不地道译文。基于实例的机器翻译方法的不足13.2.3基于实例的机器翻译方法6）缺乏深层的语言学和世界知识，系统不包含显性的语法规则、语义知识或常识。它只认识字符串的匹配和组合。因此，它无法理解一词多义、指代消解和逻辑推理。7）系统维护与可扩展性差，要向系统中加入新的翻译知识或修正错误，必须人工地向语料库中添加高质量的双语句对，这个过程繁琐且成本昂贵。基于实例的机器翻译方法的不足13.2.3基于实例的机器翻译方法基于实例的藏文机器翻译研究成果2013年，熊维等人依据汉藏辅助翻译项目的实际需求，在平行语料资源较少的情况下，提出了一种基于短语串实例的机器翻译方法，为辅助翻译提供候选译文。该方法主要利用词语对齐信息来充分挖掘现有平行语料资源信息。实验结果表明，提出的基于短语串实例方法优于传统基于句子实例的翻译，能够检索出任意长度的短语串翻译实例。13.2.3基于实例的机器翻译方法基于实例的藏文机器翻译研究成果2024年，赞拉公等人提出了以实例库为基础的Jaccard算法和GRU模型融合的汉藏实例机器翻译方法，以中国民族语文翻译局藏语文实例库为基础，通过计算句子相似度和文本语义匹配，计算出相似度的阈值为0.7时输出待翻译句子对应的藏文译文，有效解决了党政公文的专用术语和标志性政治短语的错译问题，从而使得译文的规范性和统一性得到了保障。13.2.4统计机器翻译方法统计机器翻译方法基于统计的机器翻译方法的核心思想是把翻译问题看作一个噪声信道模型问题，其任务是根据观测到的目标语言（译文），寻找最可能的源语言（原文）。这是一种完全由数据驱动的方法，其基础不再是语言学规则，而是大量的双语语料库和统计模型。13.2.4统计机器翻译方法基于统计的机器翻译方法的优点1）自动化程度高，无需人工编写翻译规则，能直接从数据中学习复杂的翻译知识。2）得益于语言模型，其译文在目标语言的流畅度上通常优于基于实例的方法。3）泛化能力更强，即使没有见过完全相同的句子，也能通过组合已知的短语翻译来生成译文。4）可以利用已有双语数据库，不需要重新构建双语数据库。13.2.4统计机器翻译方法基于统计的机器翻译方法的不足1）基于统计的机器翻译模型由词语对齐、短语抽取、翻译模型、语言模型和调序模型等多个独立模块拼凑而成的复杂系统，其中任何一个环节出错，错误都会向后传递并不断放大，最终导致整句翻译失败。2）基于统计的机器翻译模型使用的语言模型只能捕捉到前n-1个词的信息。无法有效建模长距离的依赖关系，可能导致译文中出现语法错误。13.2.4统计机器翻译方法基于统计的机器翻译方法的不足3）翻译知识都来自训练语料，语料的规模和质量直接决定了翻译质量，如果语料库中没有出现过的短语、句式或词汇组合，系统就不知道如何翻译。4）系统需要存储所有从平行语料中抽取出来的短语对及其概率，这个短语表体积非常庞大，占用大量内存。13.2.4统计机器翻译方法基于统计的藏文机器翻译研究研究成果2018年，群诺等人为解决平行语料不足导致的数据稀疏问题，对基于中介语言的词语翻译模型进行了改进，融合了基于中介语言的统计翻译模型和直接翻译模型；应用“少监督”的方法，改善了统计机器翻译模型训练过程的盲目性、低效性、冗余性和表面性等缺陷。研发了汉藏统计机器翻译原型系统—阳光汉藏机器翻译系统，该系统在汉藏现代公文领域的翻译准确率平均达到65%，在汉藏翻译领域，尤其是汉藏现代公文翻译领域得到了广泛应用。13.2.4统计机器翻译方法基于统计的藏文机器翻译研究研究成果2018年，完么扎西研究了统计藏英机器翻译，对短语翻译模型的词对齐、短语抽取、调序模型、参数训练及解码等各项关键技术问题进行了初步的探索。词对齐方面：重点研究了IBM模型1-5的词对齐技术，最后采用一种基于IBM模型4的判别式词对齐方法解决了藏英单向词对齐的不足；短语对抽取方面：重点介绍了Och的连续短语对抽取技术，并阐述了短语对抽取领域的相关研究工作；13.2.4统计机器翻译方法基于统计的藏文机器翻译研究研究成果调序模型方面：整理和归纳了29种现代藏语名词性短语、动词性短语和形容词性短语等三种主要的短语结构规则。在此基础上，分析和对比了藏英句法结构，总结了14种比较常见的藏英语序差异现象，并提出了一种基于句法信息的藏语句子重排序模型，以提高藏英机器翻译的性能；模型参数训练方面：在对数线性模型的框架下重点研究了最小错误率训练方法的解码过程，实验中共用到了16种翻译特征，通过20次迭代训练，获得最优参数。13.3基于神经网络的机器翻译13.3基于神经网络的机器翻译神经机器翻译神经机器翻译是自然语言处理领域的革命性技术，其核心是通过深度学习模型直接建模源语言到目标语言的映射关系。相较于SMT，NMT摒弃了复杂的多阶段流水线（如短语对齐、调序模型和语言模型），转而采用端到端的训练方式，从数据中自动学习语义和句法规律。13.3.1基于循环神经网络的机器翻译循环神经网络（RecurrentNeuralNetwork,RNN）是早期神经机器翻译（NMT）的核心架构，其通过序列到序列（Seq2Seq）框架实现了端到端的翻译建模。RNN翻译技术的核心思想是将源语言句子编码为连续语义向量，再通过解码器逐词生成目标语言序列。13.3.1基于循环神经网络的机器翻译循环神经网络编码器由多层RNN（如LSTM或GRU）构成；按时间步依次读取源语言词序列；通过隐藏状态传递上下文信息；最终生成固定长度的语义向量（ContextVector）。在翻译时编码器逐词处理每个输入词，最终语义向量将编码整句的全局语义。13.3.1基于循环神经网络的机器翻译循环神经网络解码器解码器则以该语义向量为初始状态，通过RNN逐步生成目标语言词序列。生成每个目标词时，解码器基于当前隐藏状态和已生成的前缀序列进行概率预测，并通过交叉熵损失函数优化参数。13.3.1基于循环神经网络的机器翻译循环神经网络机器翻译模型特点：RNN翻译无需人工设计短语对齐规则或调序模型，直接通过数据驱动的方式学习翻译规律；01编码器的隐藏状态可传递跨词信息，在翻译多义词时结合前后文生成准确的目标词；02RNN对输入和输出序列长度没有预设限制，适配不同语言的句法差异。0313.3.1基于循环神经网络的机器翻译循环神经网络机器翻译模型不足：RNN的时序依赖特性限制了并行计算能力，训练耗时较长，训练效率低下；解码器生成目标词时缺乏对源语言特定位置的动态关注，易产生漏译或误译，局部注意力缺失。编码器需将长句子压缩为固定维度的语义向量，导致远端词信息丢失，长序列信息衰减；13.3.2基于卷积神经网络的机器翻译卷积神经网络（ConvolutionalNeuralNetwork，CNN）在机器翻译中的应用标志着对传统循环神经网络（RNN）架构的一次重要补充与革新。CNN最初因在图像处理中的高效特征提取能力而闻名，但其局部连接、权值共享等特性也被证明适用于包括机器翻译在内的序列建模任务‌。CNN与RNN逐词处理序列的方式不同，CNN通过并行卷积操作捕捉局部词序模式，并利用多层堆叠逐步抽象全局语义，从而在翻译任务中展现出独特的优势‌。13.3.2基于卷积神经网络的机器翻译输入语句翻译时会被编码为词向量序列；由多个卷积层处理，每个卷积核专注于特定类型的局部模式（如双词短语或三元词组），通过权值共享机制在不同位置提取相似特征。CNN翻译模型的核心在于将源语言序列视为一维的“信号”，通过卷积核滑动提取局部词组的语义特征。13.3.2卷积神经网络翻译模型基于卷积神经网络的机器翻译特点：CNN的卷积操作可并行处理整个输入序列，显著加速训练与推理过程，例如，在GPU环境下，CNN模型的训练速度可比同等规模的RNN快3-5倍；通过多尺寸卷积核的协同作用，CNN能有效建模固定窗口内的词序规律（如动词短语结构），尤其擅长处理形态丰富的语言；权值共享机制大幅减少模型参数量。13.3.2卷积神经网络翻译模型基于卷积神经网络的机器翻译面临的挑战：标准卷积操作对序列位置敏感，难以直接建模词序的全局依赖性，导致在处理复杂从句结构时容易出现语序错误‌；01池化操作可能丢失细粒度语义信息；0213.3.3基于自注意力的神经机器翻译自注意力神经网络翻译技术以‌Transformer架构‌为核心，彻底改变了机器翻译依赖循环或卷积结构的范式。该技术通过‌自注意力机制（Self-Attention）‌直接建模序列内部任意两个词汇的关联性，突破了循环神经网络（RNN）时序计算限制，实现了全局语义的高效捕捉与并行化计算‌。13.3.3基于自注意力的神经机器翻译自注意力机制通过‌键（Key）、查询（Query）、值（Value）‌三元组实现动态语义关联计算。对于输入序列中的每个词向量，模型并行生成对应的键、查询和值向量，通过查询与所有键的点积运算生成注意力权重矩阵。这一过程使得每个词汇能够直接关注序列中任意位置的上下文信息。‌多头注意力（Multi-HeadAttention）‌通过将输入向量投影到多个子空间，使模型同时关注不同维度的语义特征——例如一个注意力头捕捉句法结构，另一个关注语义角色。13.3.3基于自注意力的神经机器翻译自注意力神经网络翻译模型特点1)自注意力机制使任意两个词汇的关联路径长度恒为1，彻底解决了RNN因序列过长导致的信息衰减问题；2)自注意力网络的并行计算能力强，自注意力的矩阵运算特性允许全序列并行处理，在GPU集群上的训练速度可达RNN的10倍以上。3)多头注意力机制通过8-16个独立注意力头并行提取短语、句法和语义特征；13.3.3基于自注意力的神经机器翻译基于自注意力的藏汉机器翻译研究成果近几年间，在藏汉机器翻译领域采用自注意力神经网络模型后，取得了一系列重要的成果，其中部分成果具体如下：2017年，李亚超等人进行了基于自注意力的汉藏神经网络机器翻译实验，实验中采用迁移学习方法缓解了藏汉平行语料不足问题。实验结果显示，提出的迁移学习方法简单有效，相比基于短语统计机器翻译方法，基于自注意力的汉藏神经机器翻译的BLEU值提高了3个百分点。13.3.3基于自注意力的神经机器翻译基于自注意力的藏汉机器翻译研究成果近几年间，在藏汉机器翻译领域采用基于自注意力的神经网络翻译模型取得了很好的成果。具体研究成果主要如下：2017年，李亚超等人进行了基于自注意力的汉藏神经网络机器翻译实验，实验中采用迁移学习方法缓解了藏汉平行语料不足问题。实验结果显示，提出的迁移学习方法简单有效，相比基于短语的统计机器翻译方法，BLEU值提高了3个百分点。13.3.3基于自注意力的神经机器翻译基于自注意力的藏汉机器翻译研究成果2019年，慈祯嘉措等人针对藏汉平行语料匮乏导致藏汉神经网络机器翻译效果欠佳的问题，提出了一种将藏语单语语言模型融合到藏汉神经网络机器翻译的方法。首先利用神经网络实现藏语单语语言模型，然后使用Trans