《藏文信息处理的原理与应用》课件 第12、13章 情感分析、机器翻译

第12章

情感分析Contents第12章

情感分析情感分析概述12.1藏文情感信息抽取12.2藏文句子级情感分析12.3藏文篇章级情感分析12.4藏语语音及多模态情感分析12.5总结与展望12.6复习引入文本分类主要是将文本划分到不同类别，而情感分析则更深入地挖掘文本中的主观情感。那么情感分析具体要完成哪些任务呢？在舆情分析、智能交互、社会治理等领域具有广泛应用。引言情感分析是自然语言处理的重要分支。致力于从文本、语音及多模态数据中挖掘主观情感信息。随着多语言技术的快速发展，针对资源稀缺语言的情感分析研究逐渐成为学界关注的热点。引言概述情感分析的定义、发展趋势、主要任务和过程；1从藏文情感信息抽取、藏文句子级到篇章级情感分类逐层递进，回顾藏文情感分析的研究；2延伸至藏语语音情感识别及多模态情感融合分析。3本章以藏文文本的情感分析为核心研究对象。12.1情感分析概述12.1.1情感分析的概念情感分析定义文本情感分析（SentimentAnalysis），又称为观点挖掘（OpinionMining）或情感挖掘（SentimentMining）；是从文本、语音等数据中挖掘主观情感信息的技术；旨在识别情感倾向（如正面、负面、中立）及情绪类型；广泛应用于舆情监测、智能交互等领域。12.1.1情感分析的概念市场营销0102品牌管理03舆情监测电子商务04金融预测05例如：在市场营销中，情感分析可用于分析消费者对产品的评价，帮助企业改进产品；在金融预测中，通过分析市场情绪来预测市场走势。应用潜力12.1.2情感分析技术发展历程基于规则的方法早期情感分析依赖预定义的词典和语法规则，通过人工制定规则来判断文本情感；受限于规则库的完备性和语言的复杂性。基于机器学习的方法利用机器学习技术，通过训练大量标注数据来学习情感规律，常见的方法有支持向量机（SVM）、朴素贝叶斯等；处理语义和上下文能力有限。基于深度学习的方法近年来，深度学习技术如循环神经网络（RNN）、长短时记忆网络（LSTM）、Transformer、BERT等模型的兴起，自动学习高层次特征，显著提高了情感分类的准确性和效率。12.1.3情感分类的主要任务

任务类型层面的分析分为情感分类和情感信息抽取两大类，前者识别情感倾向，后者提取结构化情感信息。

语言单元层面的分析包括篇章级、句子级、属性级情感分析，篇章级需考虑上下文，属性级聚焦特定方面。12.1.3情感分类的主要任务01情感分类任务包括基本分类（情感极性）、主客观分类、情绪检测和情感强度判读，帮助机器理解人类的主观情感表达。02情感信息抽取从主观性文本中提取与情感相关的结构化信息单元，如观点持有者、评价对象、评价词语和评价搭配。03其他情感相关任务包括观点摘要、辩论立场检测、虚假评论检测等，其中基于方面的情感分析（ABSA）是情感分析的细粒度任务。12.1.4情感分析过程包括收集带标签语料，进行清洗、分词、去停用词等预处理，确保数据质量。数据准备实现情感分类，进行可视化展示，为产品改进、舆情监控等提供决策支持。应用与输出可选择传统机器学习、深度学习或混合方法，划分数据集并调整参数优化模型。模型构建与训练常见的特征提取方法有词袋模型（BoW）、TF-IDF、词嵌入（Word2Vec/BERT）和N-gram模型等，捕捉文本信息。特征工程用准确率、F1值、混淆矩阵评估，通过领域适配、动态更新优化模型性能。模型评估与优化12.2藏文情感信息抽取12.2藏文情感信息抽取藏文情感分析数据集建设1.5万条句子语料库2020年却措卓玛构建规模达1.5万条的藏语情感句子语料库，用于藏文句子情感分类研究。2000句细粒度情感分析数据2024年斯曲卓嘎等人自构建2000句藏文细粒度情感分析数据，验证OpinionNet-OTE-MTL模型。1.7万条藏文情感分类词语料库2023年白玛洛赛等人构建含1.7万条藏文情感分类词的语料库，用于对比不同藏文情感分类模型。2024年白玛洛赛构建1.9万条藏文情感分类数据，预处理后融入词向量用于情感分类研究。1.9万条藏文情感分类数据12.2藏文情感信息抽取藏文情感词典构建研究01合并去重与匹配算法2018年孙本旺等人通过合并去重算法、字符串匹配算法等自动构建藏汉情感词典，后得藏文情感与停用词词典，研究藏文微博情感倾向。02SO-PMI改进方法2022年单睿康等人提出基于改进SO-PMI的藏文情感词典自动构建方法，提升情感词识别准确率。03多词典匹配扩充2024年才让东知等人提出多方法融合的藏语情感词典构建方法，结合SO-PMI和word2vec词向量相似度扩充方法，构建了包含书面语与口语的藏语情感词典，评估实验准确率达60.80%。04C-TF方法2024年公确多杰等人提出基于卷积神经网络CNN和词频结合的C-TF藏语情感词典自动构建方法，利用大规模无标注数据进行预训练，提高了情感词典的质量。12.2藏文情感信息抽取藏文情感分析模型优化CLSTM混合模型2019年孙本旺等人结合卷积神经网络和长短时记忆网络的特点，提出CLSTM混合深度学习模型，用于藏文情感分析，提高了情感信息抽取的准确性。12.2藏文情感信息抽取藏文情感分析模型优化改进的BiLSTM-CRF模型2022年单睿康等人在BiLSTM-CRF情感词识别模型的基础上，使用多头自注意力机制帮助模型提取数据内部的特征信息，提升了模型的效果。12.2藏文情感信息抽取藏文情感分析模型优化OpinionNet-OTE-MTL模型2024年斯曲卓嘎等人提出OpinionNet-OTE-MTL模型。融合：用于提取藏文情感三元组，提高了细粒度情感分析的能力。词性信息Word2Vec词向量绝对位置向量12.2藏文情感信息抽取情感词汇本体库与口语情感词典构建情感词汇本体库构建口语情感词典构建2023年尼玛次仁等人探索从非结构化的文本语料中挖掘信息，构建情感词汇本体结构和框架，为藏文情感分析提供了语义资源。2024年才让东知等人构建包含书面语与口语的藏语情感词典，丰富了藏语情感词典的资源，为口语情感分析提供了支持。12.3藏文句子级情感分析12.3.1

基于规则的藏文句子级情感分析正面负面中性句子级情感分析是指对单个句子的情感进行分析和识别。在这种情况下，通常将句子分类为：句子级情感分析可以应用于众多场景。例如：社交媒体上的用户评论、产品评论、新闻报道等。12.3.1

基于规则的藏文句子级情感分析基于词语的情感倾向性分析2015年陈烈多杰等人提出基于词语的藏文文本中情感倾向性分析方法，通过计算情感词汇与非情感词汇的得分，实现对藏文文本情感倾向的分析。12.3.1

基于规则的藏文句子级情感分析基于极性词典的方法2018年闫晓东等人借鉴中文及英文情感分析中基于极性词典的方法。通过人工构建极性词典，研究转折词对句子情感极性的影响，提出藏语文本句子情感分析方法。12.3.2基于机器学习的藏文句子级情感分析融合词典与机器学习2017年杨志提出基于词典和机器学习相结合的方法，利用改进的CRF算法进行分词处理，构建情感词典库。以多种特征选取方式和特征权值计算方法为基础，分别建立了单语特征和双语特征的情感分类模型。12.3.2基于机器学习的藏文句子级情感分析SVM算法结合特征提取2022年朱亚军等人用SVM算法结合TF-IDF特征提取，实现藏文微博情感分析。采用数据分层标注策略，将数据集分类构建和验证模型，提升分类效果。12.3.3基于深度学习的藏文句子级情感分析3基于改进BERT-BiGRU模型的方法2025年公确多杰等人针对藏文情感词典缺失问题，创建情感词典并基于改进的BERT-BiGRU模型，在CINO多语言模型基础上进行微调，进一步提升了上下文理解能力，为藏文情感分析提供了更强大的技术支持。2结合Albert预训练与GraphSAGE图神经网络的方法2023年朱宇雷等人提出结合Albert预训练与GraphSAGE图神经网络的模型，通过情感词表征融合构建数据集，准确率达到98.6%，显著提升了藏文情感分析的性能。1基于音节切分和双向LSTM的方法2020年却措卓玛构建了1.5万条藏语情感语料库，提出基于混合策略的藏文句子边界自动识别方法和基于词向量和双向LSTM的藏语句子情感分类方法，实现了句子级藏语情感自动分类系统，提高了藏文句子情感分析的准确率。12.4藏文篇章级情感分析12.4藏文篇章级情感分析篇章级情感分析需考虑文本结构和上下文信息，如在一篇新闻报道中，可能会包含多个句子来描述一个事件或主题，而这些句子的情感可能不完全一致，需综合判断。考虑因素复杂相较于句子级，篇章级情感分析更复杂，需要更大规模的数据集和更复杂的模型来准确预测情感。分析难度较大篇章级情感分析特点：篇章级情感分析则是对整个文本的情感进行分析和识别。12.4.1

基于机器学习的藏文文本情感分析基于SVM分类的方法2020年黄晨晨等人实现基于SVM分类的藏文微博文本情感分析算法，通过对藏文语料的预处理和构建特征向量空间，准确率达到91。实义词语抽取与SVM分类的方法2022年朱亚军等人对分词后的藏文微博进行实义词语抽取，利用SVM分类算法进行情感分析，提高了模型的训练效率和分类精确率。12.4.2

基于深度学习的藏文文本情感分析2017年普次仁等人将递归自编码算法引入藏文情感分析，更深层次提取语义情感信息，最佳参数下准确度比传统模型高约8.6%。01引入递归自编码算法的方法2019年孙本旺等人将CNN-LSTM模型应用于藏文微博情感计算，通过扩充语料和训练词向量模型，提升了分析效果。02CNN-LSTM深度学习模型12.4.2

基于深度学习的藏文文本情感分析2022年张婷婷提出藏汉跨语言情感分析模型，构建藏汉双语之间的知识关联，实现藏汉特征资源共享。03藏汉跨语言情感分析模型2022年拉桑吉等人选用多种模型对多模态藏语情感分类数据进行情感分类，融合文本与图像信息，融合模型准确率达96.98%。04多模态藏语情感分类研究12.4.2

基于深度学习的藏文文本情感分析基于CINO+TextCNN+BiLSTM+Attention的模型2023-2024年白玛洛赛等人提出引入多语言预训练模型和注意力机制的藏文情感分类模型，使用多语言预训练模型获取上下文语义的词向量，通过注意力机制提取特征信息，显著提高了藏文情感分类的准确率。基于CINO-DPCNN的混合神经网络模型吴瑜等人提出基于CINO-DPCNN的混合神经网络模型，结合CINO模型对藏文语义的深层次理解和DPCNN模型对文本特征的高效提取能力，更准确地识别藏文网络敏感信息。基于改进BERT-BiGRU模型的方法公确多杰等人构建藏文情感词典，结合基于改进的BERT-BiGRU模型，在CINO多语言模型基础上进行微调，有效提高了情感分类的准确率。12.5藏语语音及多模态情感分析藏语语音情感识别研究次仁罗增收集藏文句子文本语料库和语音数据，运用改进的梅尔频率倒谱系数（MFCC）和语言学特征提取技术，实现藏语语音与文本的七类情感识别。运用Matlab对情感类别语音数据进行语音信号分析，提出藏语语音信号利用梅尔频率倒谱系数(MFCC)之1Mel频率与Mel滤波器组来进行藏语语音特征提取方法。语音特征提取藏语语音情感识别研究情感特征选取0102词性特征030405情感词特征转折词特征否定词特征程度副词特征从以上几种特征中提出藏语句子选取情感特征的方法。藏语语音情感识别研究情感识别成果乐好怒哀惧恶惊推动藏语语音情感识别发展。多模态藏语情感分类拉桑吉等人基于自建的藏语图文数据集，采用TensorFlow和Keras构建神经网络模型。融合文本与图像信息进行情感分类，显著提高了分类性能，推动了藏语情感分析从单一模态向多模态融合的技术跨越。多模态藏语情感分类3分类结果该模型将藏语图文分为积极、消极、中性三类，实验结果显示融合后的正确率高达96.98%。2模型搭建采用TensorFlow和Keras构建神经网络模型，用于融合文本与图像信息，实现情感分类。1多模态数据集构建了情感文本和图像数据集，包含6000多条多模态藏语图文情感分类数据。12.6总结与展望传统方法与深度学习模型对比传统方法特点传统方法如基于规则和机器学习：依赖人工特征工程；需大量人工和领域知识；处理复杂文本有局限。如早期基于规则判断文本情感，受规则库和语言复杂性限制。传统方法与深度学习模型对比深度学习模型优势深度学习模型能自动学习高层次特征表示，显著提高情感分类的准确性和效率。如BERT等预训练模型推动了情感分析性能提升。传统方法与深度学习模型对比应用效果差异传统方法：在处理简单文本和小规模数据时有一定效果，但在语义复杂性和上下文依赖处理上不如深度学习模型；深度学习模型：后者在复杂语境中表现更优。藏文情感分析研究贡献与意义

回顾研究成果藏文情感分析研究回顾了近几年在情感词典构建、分析模型优化等方面的工作，清晰展现研究发展脉络。

提供技术范式为低资源语言的情感分析提供了可迁移的技术范式，有助于推动其他低资源语言情感分析的研究。

促进跨领域发展该研究成果可促进自然语言处理、社会治理等多领域的发展，具有广泛的应用前景和学术价值。藏文情感分析任务层次发展3语音及多模态情感分析近年来发展到语音及多模态情感分析，融合语音、图像等信息，实现更全面的情感识别。2句子级与篇章级情感分类从句子级对单个句子情感分类，到篇章级考虑文本结构和上下文进行情感分析，任务复杂度增加。1情感信息抽取早期研究集中在藏文情感信息抽取，如构建情感词典、抽取观点持有者等，为后续分析提供基础。藏文情感分析技术挑战与应对藏文缺乏公开情感词典和标注语料库，影响情感分析效果。如早期因语料不足，分析准确性受限。情感词典和标注语料库欠缺研究者通过多种方法构建藏文情感词典，扩充语料，如孙本旺构建双语词典，却措卓玛构建语料库构建词典与扩充语料提出CLSTM、BERT-BiGRU等模型，结合预训练模型微调，提高情感分析的准确率和效率。改进模型提升性能藏文情感分析应用场景展望可用于监测藏文社交媒体、新闻等的舆情，及时了解公众态度和情绪，为政府决策提供参考。在智能客服、语音助手等智能交互系统中应用，使系统更好理解用户情感，提供更贴心服务。助力社会治理，通过分析藏文文本情感，发现社会问题和矛盾，提前采取措施维护社会稳定。舆情分析智能交互社会治理低资源语言情感分析技术启示利用已有资源可借鉴藏文利用中文情感词典资源构建双语词典的方法，充分利用其他语言资源开展研究。01多方法融合藏文情感分析采用多种方法融合，如词典构建与模型优化结合，为低资源语言研究提供思路。模型微调与创新借助预训练模型微调及创新模型结构，提升低资源语言情感分析的效果和效率。0203藏文情感分析未来研究方向3特定领域情感分析应用开展特定领域如医疗、教育等的藏文情感分析应用研究，满足不同领域需求。2大规模高质量数据集构建构建更大规模、高质量的藏文情感分析数据集，为模型训练和研究提供更丰富数据。1高效多模态融合方法探索更高效的语音、图像、文本等多模态融合方法，实现更精准全面的情感分析。本章小结1.情感分析概述2.藏文情感信息抽取3.藏文句子级情感分析4.藏文篇章级情感分析5.藏语语音及多模态情感分析6.总结与展望谢谢大家！第13章

机器翻译课程引入（1）情感分析概述（2）藏语情感信息抽取方法（3）藏文句子级情感分析方法（4）藏文篇章级情感分析方法（5）藏语多模态情感分析方法Contents第13章

机器翻译机器翻译概述13.1传统的机器翻译方法13.2基于神经网络的机器翻译13.313.1机器翻译概述13.1机器翻译概念机器翻译（MachineTranslation,MT）是指利用计算机技术将一种语言（源语言）自动翻译为另一种语言（目标语言）的过程。机器翻译机器翻译涉及对语言结构、词汇语义及上下文信息的计算建模，并依赖于算法对语言规则的抽象和统计规律的捕捉。用以完成这一过程的软件称为机器翻译系统。13.1.2机器翻译研究概况国外研究概况20世纪40年代1946年，在美国诞生电子计算机后，人们开始探索应用计算机来进行语言翻译的工作。20世纪50年代现代机器翻译的研究始于20世纪50年代。Bar-Hillel等人在1951年开始了对机器翻译的研究，在1952年组织了第一届国际机器翻译会议。1954年1954年，《机器翻译》创刊，同年Georgeton大学成功研制了第一个机器翻译系统，掀起一股机器翻译热潮。13.1.2机器翻译研究概况国外研究概况1966年Bar-Hillel在美国全国科学院的ALPAC报告使各部门纷纷停止了对机器翻译研究的经费支持，从而机器翻译走向低潮。20世纪70年代后期机器翻译又迅速发展起来，各种实用的和实验的系统相继推出。80年代中期机器翻译处于空前繁荣时期，出现了很多商品化的系统：美国的SYSTRAN系统；美国Texas大学与德国Simon公司合作研制的METAL系统；日本日立公司的ATLAS系统；法国Grenoble大学的CETA系统。13.1.2机器翻译研究概况出现了两个实用化系统：军事科学院研制的KY-1英汉机器翻译系统；中国科学研究院计算所研制的863-IMT英汉机器翻译系统。80年代中期到90年代初期我国机器翻译研究从停滞走向了复苏。20世纪70年代中期中国的机器翻译走入了快速发展的时期，出现了许多商品化系统。90年代初期至今国内研究概况13.1.2机器翻译研究概况藏文机器翻译藏文机器翻译研究始于上世界九十年代末。随着信息技术的发展，学者们看到了藏汉机器翻译领域的需求和机器翻译的重要性，开始涉足藏文机器翻译领域。在藏文机器翻译方面取得了很多成果，其中，部分重要研究成果如下：13.1.2机器翻译研究概况藏文机器翻译陈玉忠、李延福等人在国家“863”计划支持下实现了一个汉藏科技机器翻译系统。1995年才藏太等人结合“863”项目研制了班智达汉藏公文机器翻译系统。2005年祁坤钰根据现代藏语语义词典设计的理论框架、语义分类思想、语义分类体系和属性描述原则，构造了一个初步适应英藏机器翻译的藏语语义分类体系。2004年中科院自动化所、软件所和西藏大学等科研院所积极投入到藏语机器翻译研究中，开发了阳光汉藏机器翻译等许多实用的藏文机器翻译系统。近年来13.1.3机器翻译的发展历程按照机器翻译技术的发展，机器翻译方法分为3种。

基于规则的机器翻译依赖语言学专家制定的语法规则和双语词典，通过人工定义的转换逻辑实现逐词替换和句法结构转换‌。典型的系统有Georgetown-IBM实验的俄英翻译系统、冷战时期情报翻译工具Systran‌等。基于规则的机器翻译存在规则覆盖不足、无法处理语言动态变化及复杂句式等局限性。(1)基于规则的机器翻译13.1.3机器翻译的发展历程按照机器翻译技术发展，可分为3个阶段。基于统计的机器翻译基于大规模双语平行语料库，通过统计规律优化翻译选择‌，具有摆脱人工规则束缚，实现数据驱动的翻译适配，提升领域适应性等优点，但也存在数据依赖性过强，长距离语义捕捉能力不足等缺陷。(2)基于统计的机器翻译13.1.3机器翻译的发展历程按照机器翻译技术发展，可分为3个阶段。神经机器翻译可追溯至20世纪八九十年代，但受限于计算资源和数据规模，停滞多年。近年来，随着深度学习技术的发展，机器翻译采用端到端架构，通过注意力机制实现上下文感知的语义编码与解码，‌性能大幅提示。随着深度学习技术的发展，‌预训练语言模型（如BERT、GPT）实现零样本翻译，突破了低资源机器翻译的瓶颈‌。(3)基于神经网络的机器翻译‌13.2传统的机器翻译方法13.2.1传统的机器翻译方法(1)传统的机器翻译的基本过程机器翻译任务可以描述为一种语言（源语言）的文本送入计算机，通过计算程序生成另一种语言（目标语言）的文本，且源语言文本与目标语言文本具有相同的含义。传统机器翻译系统由源语言分析和目标语言生成两部分组成。13.2.1传统的机器翻译方法(1)传统的机器翻译的基本过程源语分析：遵循一定的语言学基础，寻求源语文本的表示形式与其对应内容之间所存在的映射关系的过程。典型的源语言分析手段为：依据与源语言文本所表达含义相关的词汇、句法结构、单词和句子的顺序，灵活地找出目标语译文。1)源语言分析13.2.1传统的机器翻译方法源语言分析涉及多个不同层次，分析过程按照复杂度递增顺序可划分为以下几个阶段：用于获取源语言词汇的原形。形态分析01用于摘取源语言的短语结构和句法结构的依存性，即确定输入文本中词汇的词性、短语边界和短语的内部结构。句法分析0213.2.1传统的机器翻译方法利用文本含义描述语言，建立知识结构，反映源语言文本的词汇、词义及相互之间所存在的语义依存关系，可消除词义歧义、介词短语修饰歧义、复合词分解歧义等。语义分析03根据源语言的文本元素之间所存在的各种面向应用领域和修辞的关系，建立源语言文本的语义结构。语用分析0413.2.1传统的机器翻译方法目标语生成被看作源语言分析的逆过程，主要完成以下两项任务：文本规划：对各种表达方式进行选择，确定要实现的目标语文本的有关内容、修辞方式等信息。表层实现：根据目标语语法，将由词汇组成的句法表达式映射为表层字符串。2)目标语生成13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法程序工作者和语言工作者先共同制定数据规范，确定翻译算法、语言知识和翻译知识的表示形式，然后程序工作者编写程序实现翻译算法。语言工作者编写语言知识和翻译知识，驱动翻译算法的运行，两者分工合作，缺一不可。基于规则的机器翻译特点基于规则的机器翻译系统就是对源语言的词法、语义进行分析、判断和取舍，然后重新排列组合，最后生成等价的目标语言。基于规则的机器翻译定义13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法1）知识获取瓶颈与高昂的开发成本依赖专家手工编写规则：系统需要语言学家和计算机专家为源语言和目标语言编写大量的语法、句法和语义规则。这个过程十分耗时耗力且成本高昂。基于规则的机器翻译系统是早期的机器翻译方法，其核心依赖于语言学专家制定的各种规则。尽管它在历史上发挥了重要作用，但其缺点也非常明显。具体如下：13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法可扩展性差：每增加一对新的语言对（如汉语-藏语），都需要几乎从头开始重新编写一套规则，无法利用为其他语言对（如汉语-英语）编写的规则。这使得覆盖全球数千种语言变得不切实际。2）

覆盖范围有限与僵化无法处理例外和歧义：语言充满了例外、惯用语、俚语和新词。规则系统很难覆盖所有的语言现象。当一个句子不符合已编写的规则时，翻译就会失败或产生荒谬的结果。13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法规则冲突：复杂的句子可能导致多条规则同时适用，系统需要解决规则之间的冲突，这非常困难，常常导致错误的解析。

3）对歧义问题的处理能力弱自然语言中存在大量的词汇歧义和结构歧义，基于规则的系统缺乏深层的上下文理解和世界知识，很难做出正确的选择。13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法4）

译文生硬、不自然缺乏语感：基于规则的翻译是逐词、逐句按照规则“组装”出来的，结果往往在语法上正确，但读起来非常生硬、不自然，不符合目标语言的表达习惯。无法进行意译：如成语和俚语等在基于规则的机器翻译方法中通常会进行字面翻译，导致译文令人费解。13.2.2基于规则的机器翻译方法(2)基于规则的机器翻译方法5）维护和更新困难语言是不断演变的，新词汇、新用法层出不穷。更新基于规则的机器翻译系统意味着语言专家需要不断地手动修改和添加规则，这是一个持续且繁重的维护负担。13.2.2基于规则的机器翻译方法基于规则的藏文机器翻译的研究成果2005年，才藏太等人结合863项目《班智达汉藏公文机器翻译系统》的研制实践，论述了词项信息同语法规则相结合的原则，提出了以动词为中心的句法分析二分法。13.2.2基于规则的机器翻译方法基于规则的藏文机器翻译的研究成果2013年，孙萌等人提出对藏文数词基本构件定义的方案，即根据藏文数词的构词规律，定义藏文数词类别和基本构件；提出了三层模型：采取最优路径决策模型判断数词构件的边界，然后通过有限自动机模型识别并翻译基本数词，最后用模板匹配算法处理复杂数词。该文提出的方法对数词识别与翻译的F值达到98.73%，在藏汉机器翻译的测试集上，BLEU提高了2.64%。13.2.2基于规则的机器翻译方法基于规则的藏文机器翻译研究夏吾吉等人采用识别数词、基本数词转换以及复杂数词处理三种独立的基本模型，并将其过程划分为六个阶段：判断数词、识别数字及数词、转换翻译、判断复杂数字及复杂数词、转换翻译、复杂数字及复杂数词的处理。通过确定性有限状态自动机把藏文数词和阿拉伯数字进行自动转换翻译，并且采用最大匹配的原则实现了翻译复杂数词自动翻译系统；从互联网上精选了包含藏文数词和阿拉伯数字的3162条藏文句子进行测试，F值达到了98.02％。13.2.3基于实例的机器翻译方法基于实例的机器翻译方法实则是一种基于语料库的机器翻译方法。该方法不经过深层分析，仅仅通过已有的经验知识，通过类比原理进行翻译。源语言正确分解为句子分解为短语碎片通过类比的方法把这些短语碎片译成目标语言短语把短语合并成长句基于实例的机器翻译过程13.2.3基于实例的机器翻译方法1实例库中有十分相似的原文，可以通过类比推理，并对翻译结果进行少量的修改后就可构造出近似的翻译结果。2基于实例的机器翻译方法的优点基于实例的机器翻译方法的优点实例库中有相同的原文，可以直接获得高质量的翻译结果。13.2.3基于实例的机器翻译方法1）对大规模高质量双语语料库极度依赖，其性能与翻译记忆库的规模和质量直接相关。如果记忆库中没有与待翻译句子足够相似的实例，系统就无法产生高质量的译文，甚至可能无法翻译。2）稀有句型和生僻词处理困难，对于不常见、非常规的句式或专业领域外的生僻词，系统很难找到匹配的实例，导致翻译失败或质量骤降。3）“相似度”的困境，如何定义和计算“句子相似度”本身就是一个难题。过于严格则找不到实例，过于宽松则找到的实例可能不适用，导致翻译错误。基于实例的机器翻译方法的不足13.2.3基于实例的机器翻译方法4）译文僵化不自然，基于实例的机器翻译本质上是“拼凑”已有的翻译片段。当待翻译句子与记忆库中的实例有细微但关键的差别时，直接套用可能会导致译文生硬、不流畅，缺乏自然语言应有的灵活性。5）难以处理复杂句式，不同语言之间的语法结构差异巨大。例如，英译汉时经常需要调整语序。基于实例的机器翻译方法依赖于找到局部片段进行重组，但对于需要全局性、结构性调整的句子，这种“打补丁”式的重组往往力不从心，容易产生带有“翻译腔”的不地道译文。基于实例的机器翻译方法的不足13.2.3基于实例的机器翻译方法6）缺乏深层的语言学和世界知识，系统不包含显性的语法规则、语义知识或常识。它只认识字符串的匹配和组合。因此，它无法理解一词多义、指代消解和逻辑推理。7）系统维护与可扩展性差，要向系统中加入新的翻译知识或修正错误，必须人工地向语料库中添加高质量的双语句对，这个过程繁琐且成本昂贵。基于实例的机器翻译方法的不足13.2.3基于实例的机器翻译方法基于实例的藏文机器翻译研究成果2013年，熊维等人依据汉藏辅助翻译项目的实际需求，在平行语料资源较少的情况下，提出了一种基于短语串实例的机器翻译方法，为辅助翻译提供候选译文。该方法主要利用词语对齐信息来充分挖掘现有平行语料资源信息。实验结果表明，提出的基于短语串实例方法优于传统基于句子实例的翻译，能够检索出任意长度的短语串翻译实例。13.2.3基于实例的机器翻译方法基于实例的藏文机器翻译研究成果2024年，赞拉公等人提出了以实例库为基础的Jaccard算法和GRU模型融合的汉藏实例机器翻译方法，以中国民族语文翻译局藏语文实例库为基础，通过计算句子相似度和文本语义匹配，计算出相似度的阈值为0.7时输出待翻译句子对应的藏文译文，有效解决了党政公文的专用术语和标志性政治短语的错译问题，从而使得译文的规范性和统一性得到了保障。13.2.4统计机器翻译方法统计机器翻译方法基于统计的机器翻译方法的核心思想是把翻译问题看作一个噪声信道模型问题，其任务是根据观测到的目标语言（译文），寻找最可能的源语言（原文）。这是一种完全由数据驱动的方法，其基础不再是语言学规则，而是大量的双语语料库和统计模型。13.2.4统计机器翻译方法基于统计的机器翻译方法的优点1）自动化程度高，无需人工编写翻译规则，能直接从数据中学习复杂的翻译知识。2）得益于语言模型，其译文在目标语言的流畅度上通常优于基于实例的方法。3）泛化能力更强，即使没有见过完全相同的句子，也能通过组合已知的短语翻译来生成译文。4）可以利用已有双语数据库，不需要重新构建双语数据库。13.2.4统计机器翻译方法基于统计的机器翻译方法的不足1）基于统计的机器翻译模型由词语对齐、短语抽取、翻译模型、语言模型和调序模型等多个独立模块拼凑而成的复杂系统，其中任何一个环节出错，错误都会向后传递并不断放大，最终导致整句翻译失败。2）基于统计的机器翻译模型使用的语言模型只能捕捉到前n-1个词的信息。无法有效建模长距离的依赖关系，可能导致译文中出现语法错误。13.2.4统计机器翻译方法基于统计的机器翻译方法的不足3）翻译知识都来自训练语料，语料的规模和质量直接决定了翻译质量，如果语料库中没有出现过的短语、句式或词汇组合，系统就不知道如何翻译。4）系统需要存储所有从平行语料中抽取出来的短语对及其概率，这个短语表体积非常庞大，占用大量内存。13.2.4统计机器翻译方法基于统计的藏文机器翻译研究研究成果2018年，群诺等人为解决平行语料不足导致的数据稀疏问题，对基于中介语言的词语翻译模型进行了改进，融合了基于中介语言的统计翻译模型和直接翻译模型；应用“少监督”的方法，改善了统计机器翻译模型训练过程的盲目性、低效性、冗余性和表面性等缺陷。研发了汉藏统计机器翻译原型系统—阳光汉藏机器翻译系统，该系统在汉藏现代公文领域的翻译准确率平均达到65%，在汉藏翻译领域，尤其是汉藏现代公文翻译领域得到了广泛应用。13.2.4统计机器翻译方法基于统计的藏文机器翻译研究研究成果2018年，完么扎西研究了统计藏英机器翻译，对短语翻译模型的词对齐、短语抽取、调序模型、参数训练及解码等各项关键技术问题进行了初步的探索。词对齐方面：重点研究了IBM模型1-5的词对齐技术，最后采用一种基于IBM模型4的判别式词对齐方法解决了藏英单向词对齐的不足；短语对抽取方面：重点介绍了Och的连续短语对抽取技术，并阐述了短语对抽取领域的相关研究工作；13.2.4统计机器翻译方法基于统计的藏文机器翻译研究研究成果调序模型方面：整理和归纳了29种现代藏语名词性短语、动词性短语和形容词性短语等三种主要的短语结构规则。在此基础上，分析和对比了藏英句法结构，总结了14种比较常见的藏英语序差异现象，并提出了一种基于句法信息的藏语句子重排序模型，以提高藏英机器翻译的性能；模型参数训练方面：在对数线性模型的框架下重点研究了最小错误率训练方法的解码过程，实验中共用到了16种翻译特征，通过20次迭代训练，获得最优参数。13.3基于神经网络的机器翻译13.3基于神经网络的机器翻译神经机器翻译神经机器翻译是自然语言处理领域的革命性技术，其核心是通过深度学习模型直接建模源语言到目标语言的映射关系。相较于SMT，NMT摒弃了复杂的多阶段流水线（如短语对齐、调序模型和语言模型），转而采用端到端的训练方式，从数据中自动学习语义和句法规律。13.3.1基于循环神经网络的机器翻译循环神经网络（RecurrentNeuralNetwork,RNN）是早期神经机器翻译（NMT）的核心架构，其通过序列到序列（Seq2Seq）框架实现了端到端的翻译建模。RNN翻译技术的核心思想是将源语言句子编码为连续语义向量，再通过解码器逐词生成目标语言序列。13.3.1基于循环神经网络的机器翻译循环神经网络编码器由多层RNN（如LSTM或GRU）构成；按时间步依次读取源语言词序列；通过隐藏状态传递上下文信息；最终生成固定长度的语义向量（ContextVector）。在翻译时编码器逐词处理每个输入词，最终语义向量将编码整句的全局语义。13.3.1基于循环神经网络的机器翻译循环神经网络解码器解码器则以该语义向量为初始状态，通过RNN逐步生成目标语言词序列。生成每个目标词时，解码器基于当前隐藏状态和已生成的前缀序列进行概率预测，并通过交叉熵损失函数优化参数。13.3.1基于循环神经网络的机器翻译循环神经网络机器翻译模型特点：RNN翻译无需人工设计短语对齐规则或调序模型，直接通过数据驱动的方式学习翻译规律；01编码器的隐藏状态可传递跨词信息，在翻译多义词时结合前后文生成准确的目标词；02RNN对输入和输出序列长度没有预设限制，适配不同语言的句法差异。0313.3.1基于循环神经网络的机器翻译循环神经网络机器翻译模型不足：RNN的时序依赖特性限制了并行计算能力，训练耗时较长，训练效率低下；解码器生成目标词时缺乏对源语言特定位置的动态关注，易产生漏译或误译，局部注意力缺失。编码器需将长句子压缩为固定维度的语义向量，导致远端词信息丢失，长序列信息衰减；13.3.2基于卷积神经网络的机器翻译卷积神经网络（ConvolutionalNeuralNetwork，CNN）在机器翻译中的应用标志着对传统循环神经网络（RNN）架构的一次重要补充与革新。CNN最初因在图像处理中的高效特征提取能力而闻名，但其局部连接、权值共享等特性也被证明适用于包括机器翻译在内的序列建模任务‌。CNN与RNN逐词处理序列的方式不同，CNN通过并行卷积操作捕捉局部词序模式，并利用多层堆叠逐步抽象全局语义，从而在翻译任务中展现出独特的优势‌。13.3.2基于卷积神经网络的机器翻译输入语句翻译时会被编码为词向量序列；由多个卷积层处理，每个卷积核专注于特定类型的局部模式（如双词短语或三元词组），通过权值共享机制在不同位置提取相似特征。CNN翻译模型的核心在于将源语言序列视为一维的“信号”，通过卷积核滑动提取局部词组的语义特征。13.3.2卷积神经网络翻译模型基于卷积神经网络的机器翻译特点：CNN的卷积操作可并行处理整个输入序列，显著加速训练与推理过程，例如，在GPU环境下，CNN模型的训练速度可比同等规模的RNN快3-5倍；通过多尺寸卷积核的协同作用，CNN能有效建模固定窗口内的词序规律（如动词短语结构），尤其擅长处理形态丰富的语言；权值共享机制大幅减少模型参数量。13.3.2卷积神经网络翻译模型基于卷积神经网络的机器翻译面临的挑战：标准卷积操作对序列位置敏感，难以直接建模词序的全局依赖性，导致在处理复杂从句结构时容易出现语序错误‌；01池化操作可能丢失细粒度语义信息；0213.3.3基于自注意力的神经机器翻译自注意力神经网络翻译技术以‌Transformer架构‌为核心，彻底改变了机器翻译依赖循环或卷积结构的范式。该技术通过‌自注意力机制（Self-Attention）‌直接建模序列内部任意两个词汇的关联性，突破了循环神经网络（RNN）时序计算限制，实现了全局语义的高效捕捉与并行化计算‌。13.3.3基于自注意力的神经机器翻译自注意力机制通过‌键（Key）、查询（Query）、值（Value）‌三元组实现动态语义关联计算。对于输入序列中的每个词向量，模型并行生成对应的键、查询和值向量，通过查询与所有键的点积运算生成注意力权重矩阵。这一过程使得每个词汇能够直接关注序列中任意位置的上下文信息。‌多头注意力（Multi-HeadAttention）‌通过将输入向量投影到多个子空间，使模型同时关注不同维度的语义特征——例如一个注意力头捕捉句法结构，另一个关注语义角色。13.3.3基于自注意力的神经机器翻译自注意力神经网络翻译模型特点1)自注意力机制使任意两个词汇的关联路径长度恒为1，彻底解决了RNN因序列过长导致的信息衰减问题；2)自注意力网络的并行计算能力强，自注意力的矩阵运算特性允许全序列并行处理，在GPU集群上的训