自然语言处理 课件 第11章 自然语言处理的挑战与趋势

第十一章自然语言处理的挑战与趋势目录低资源自然语言处理任务自然语言推理从语言智能迈向通用人工智能第十一章自然语言处理的挑战与趋势低资源语言01低资源语言低资源语言：指使用者较少、数据资源匮乏的小语种或方言，与英语等高资源语言相对。小语种：斯瓦西里语、乌尔都语方言：藏语安多方言、粤语模型在低资源语言上性能欠佳，主要原因如下：数据稀缺：受经济、技术、文化等因素影响，使用者相对较少

→

数据资源相对匮乏语言复杂：拥有独特的语法结构、词汇系统和语义特征，与高资源语言差异显著

→

处理难度激增标注成本高：缺乏专业的标注人员与配套资源

→

数据标注的时间、人力成本极高第十一章自然语言处理的挑战与趋势研究方向方向一：数据增强——“创造”更多数据

核心目标：扩大低资源语言相关数据集规模，缓解数据稀缺问题主要方法：传统增强方法、基于大语言模型的增强方法方向二：已有资源的高效利用——“复用”已有知识核心目标：降低对低资源语言标注数据的依赖主要方法：迁移学习、元学习第十一章自然语言处理的挑战与趋势数据增强传统增强方法：对数据集中的词汇或句子进行修改创建新的实例，以扩大数据集规模。根据语言处理粒度，分为以下两种：词语级：通过一定策略修改句子中的单词和短语来生成增强文本，常用策略有随机插入、交换或删除词语以及同义词替换等。句子级：对整个句子进行修改来增强文本，句子修改方法主要有回译、语法变换等。基于大语言模型的增强方法：利用少量数据，通过提示指令引导大语言模型生成目标文本。目前常用的提示策略有：背景描述：为数据生成设置角色与场景（如“假设你是一个记者...”）条件提示：通过“条件-值”对控制生成文本的长度、风格、主题等上下文学习：提供示例，让模型学习并模仿真实数据的模式第十一章自然语言处理的挑战与趋势数据增强局限：数据缺乏准确性：数据增强过程中可能引入语法或语义错误，误导模型学习，降低模型的鲁棒性和准确性。数据缺乏多样性：增强策略可能倾向于产生过于相似或重复的文本，导致模型在处理真实世界中复杂多变语言现象时泛化能力不足。无法完全解决类别不平衡问题：对于本身样本稀少的类别，增强效果有限，类别不平衡问题仍然存在，模型在预测时仍会偏向多数类。挑战：如何面向低资源语言获得更多高质量训练数据依旧是一大挑战第十一章自然语言处理的挑战与趋势已有资源的高效利用：迁移学习核心思想：将源任务（高资源语言）中学到的知识，迁移到目标任务（低资源语言）上。关键步骤：多语言表示对齐：利用未标记的多语言语料库学习语言表示，对齐低/高资源语言中语义相似词的向量表示高资源语言训练：利用大量高资源语言相关任务样本训练模型低资源语言微调：在少量低资源语言标注数据上微调模型，以更好地执行目标任务面临挑战：对齐表示能力受限：语义相似的词表示在不同语言之间不够接近知识迁移质量受限：语言间固有差异限制低资源目标语言的知识转移质量第十一章自然语言处理的挑战与趋势已有资源的高效利用：元学习核心思想：通过学习多个相关任务来提取可以快速适应新的低资源任务的通用学习策略。主要方法：模型无关的元学习：寻找一组易于快速适应新任务的模型初始化参数基于记忆的方法：利用记忆组件存储和检索历史任务相关知识来指导新任务基于优化的方法：优化学习算法本身，使其能根据新任务特点动态调整更新策略面临挑战：计算资源受限：元学习算法通常需要大量的计算资源，限制实际应用难以设计完美的元学习策略：设计出泛化能力强的元学习策略相对困难第十一章自然语言处理的挑战与趋势低资源领域02低资源领域涉及领域：医学、法律、金融等专业性强的领域核心问题：数据获取难度大、标注成本高，导致训练数据不足即便在英语等高资源语言环境下，模型也难以达到理想性能主要方法：通用方法：数据增强、迁移学习、元学习其他方法：指令微调、检索增强，通过少量特定领域知识增强模型能力第十一章自然语言处理的挑战与趋势指令微调核心思想：在特定领域任务上设计指令，微调大语言模型，以提高模型在特定领域的性能。典型案例：香港中文大学（深圳）通过医学知识图谱和GPT3.5API构建中文医学指令数据集，对LLaMa模型进行指令微调，得到针对医学领域的智能问诊模型HuaTuo。面临挑战：领域知识获取受限：低资源领域数据有限，导致设计的指令数据集受限，模型难以获得足够的领域知识。指令数据集设计困难：针对不同领域和任务特点设计精确有效的指令数据集相对困难，方法难以泛化到不同领域。第十一章自然语言处理的挑战与趋势检索增强核心思想：不修改模型参数，利用检索工具整合外部特定领域信息，以增强大语言模型在低资源领域任务上的能力。典型案例：从目标领域未标记数据中检索出与源领域语义相似的例子，将其作为上下文与源领域查询结合，通过上下文学习适应目标领域，提升模型性能。面临挑战：依赖外部知识源：外部数据的质量和完整性会直接影响模型性能。稀疏数据检索困难：所需信息零散分布于多个文档时，检索效率和准确性大幅降低。噪声影响：检索技术偏向整体相似性判断，只能提供近似匹配，结果中可能包含不相关或误导性信息。第十一章自然语言处理的挑战与趋势目录低资源自然语言处理任务自然语言推理从语言智能迈向通用人工智能第十一章自然语言处理的挑战与趋势常识推理

01常识推理定义与现状常识推理：指掌握和运用有关世界的基本常识知识的能力，是人类认知的基础，对于开发能够理解和生成类似人类语言的自然语言处理系统至关重要。目前大语言模型在常识推理方面性能较弱，主要原因如下：缺乏常识知识：常识知识具有隐蔽性，导致模型中蕴含的常识知识既不全面也不完整。运用能力不足：模型难以准确识别回答问题所需的常识知识，也无法有效利用上下文中已提供的常识知识。第十一章自然语言处理的挑战与趋势常识推理方法利用常识数据集微调模型：根据常识知识库构建数据集，微调模型以适应下游常识任务，但耗费较多计算资源和人工成本。融入常识知识图谱：使用图神经网络编码或训练参数共享的适配器插件将知识图谱融入参数固定的模型，丰富模型中蕴含的常识知识，但灵活性差。引入常识预训练任务，构建常识推理引擎：基于知识图谱设计预训练任务，再次训练通用模型，得到常识推理引擎（如COMET）。近期有研究利用常识推理引擎生成自然语言常识解释来辅助问答，因其表达力与稳健性更强，该方法可扩展性更强。第十一章自然语言处理的挑战与趋势常识推理局限虽然上述方法在现有常识问答基准上有效提升了模型的性能，但常识问答任务能否全面衡量模型的常识推理能力仍有待验证。现有常识知识资源与基准数据集脱节，未来需要联合构建知识库和对应的基准测试任务，以更好地衡量模型常识推理能力。目前常识知识库尚不完备，能否利用大语言模型自动构建大规模高质量常识知识库，尚未得到充分探索。第十一章自然语言处理的挑战与趋势时空推理

02时间推理时间推理涉及事件的持续时间、发生顺序及频率等多个维度的时间信息，是人类理解世界与解析日常事件序列的基础。现状：性能最优的大语言模型在时间推理各项子任务上的能力仍与人类存在10%以上的差距方法：构建时间推理引擎：基于时间知识图谱构建预训练任务，训练时间感知模型。引入符号或逻辑推理：将时间关系以符号推理或逻辑命题的形式表示，辅助模型训练。改进Transformer编码：通过添加时间注意力机制等策略，将时间信息嵌入模型。基准：TimeBank、TempEval-3等挑战：现有评价指标较简单，无法排除模型依赖表层捷径推理针对事件频率、典型事件时间等维度的基准数据集相对较少对时间推理的可解释性和多跳时间推理关注不足第十一章自然语言处理的挑战与趋势空间推理空间推理需要理解和解析物理空间中对象位置、关系，空间推理能力作为人类认知架构中不可或缺的要素深刻影响着个体与环境的交互。现状：大语言模型基础空间推理能力有限（如ChatGPT对时钟位置、对角线位置推断性能差）空间语言存在变异性、多义性和歧义性，导致复杂空间定位、连续场景及路径描述困难方法：构建地理位置知识图谱，学习空间表征和空间关系借助神经符号推理，在训练阶段向模型注入空间逻辑基准：bAbI、StepGame、SpartQA等挑战：语料库资源有限，不包含复杂的空间描述，且空间推理并非解决任务的关键能力第十一章自然语言处理的挑战与趋势因果推理

03因果推理现实问题：大语言模型在学习中混淆因果关系与伪相关关系，导致：模型分布外（OOD）泛化能力差模型可能继承或放大数据中的种族、性别等偏见，影响模型公平性关键概念区分：因果关系：两个对象之间的直接关联伪相关：无直接关联，但存在共同原因（混杂因素）时呈现的虚假相关性因果推理：旨在研究变量、事件、行为之间的因果关系，回答“原因是什么、结果会怎样”第十一章自然语言处理的挑战与趋势因果推理四种子任务：因果发现：从无标记数据中，基于条件独立性，发现并确定因果关系的方向效应推断：量化因果关系的强度，通常基于平均因果效应理论，采用回归方式计算归因：针对特定对象，计算多个可能原因的概率并选择概率最大者作为最终输出判断：基于因果知识中隐含的因果关系推断某一结果是否会发生因果推理与自然语言处理结合的两种方式：基于因果推理技术的自然语言处理基于自然语言处理技术的因果推理第十一章自然语言处理的挑战与趋势基于因果推理技术的自然语言处理主要目的：利用因果推理技术，提升自然语言处理模型的鲁棒性、公平性等鲁棒性问题原因：模型学习到数据中的伪相关关系，出现扰动时伪相关关系会变化甚至消失评估层面：模型评估主要关注模型预测准确率，缺少基于因果关系的评估数据层面：传统数据集未标注混杂因素及伪相关关系，导致模型依赖无关特征预测公平性问题原因：存在数据集偏见第十一章自然语言处理的挑战与趋势从模型评估的角度提高模型鲁棒性核心思想：提出有效的模型评估方法，发现模型不足，指导模型做出改进基于因果推理的两种评估方法：不变性测试：评估模型受到无关扰动时，是否能保持预测输出不变例如：构造对比集，评估模型是否因为错误原因而预测正确敏感性测试：评估模型面对反事实情况时，是否只改变与原因相关的输出例如：仅改变数据中会影响结果的语义（如动词），测试模型是否会相应地改变输出结果第十一章自然语言处理的挑战与趋势从数据增强的角度提高模型鲁棒性核心思想：使用因果推理技术进行数据增强，提高数据集多样性，避免模型利用伪相关预测，提升模型鲁棒性。构建反事实数据的两种方式：同时改变样例中的原因及其对应的结果例如：将正面评价的关键词“gripping”改为“dull”，标签相应从“positive”改为“negative”改变样例中的无关语义，但保持结果不变例如：改写句子表述方式，但情感标签保持不变第十一章自然语言处理的挑战与趋势基于因果推理提升模型公平性构造不含偏见的反事实数据：通过改变、交换可能存在偏见的特征值，构造反事实数据。交换表格数据中的“身份”等特征值，防止模型学习到身份、社会地位等偏见。交换代词和称呼（消防员、护士）等与性别有关的词语，缓解模型性别偏见。构造偏见干预数据：对偏见实施干预，构造干预数据集。例如：在犯罪研究中，对非因果特征肤色进行统一赋值，消除其与犯罪率之间的伪相关，将干预后的数据用于模型训练，以减轻模型偏见。提示工程：从因果推理视角设计提示以缓解大模型偏见。例如：有研究者将提示视为会激发模型偏见的中间变量，对中间变量执行干预操作来消除偏见。第十一章自然语言处理的挑战与趋势基于因果推理的NLP现存挑战文本理解存在异质效应：不同的人对相同的文本有不同的理解，推断结果难以有效验证。传统文本表示不适于因果建模：基于文本数据的因果推理需要从数据中提取低维特征文本表示，但传统文本表示面向语言建模，难以保证因果关系结构和因果效应强度不发生变化。缺乏基于文本的因果蕴含数据集：真实数据集中不存在反事实样例；现有合成数据训练的模型泛化到现实场景仍有问题。第十一章自然语言处理的挑战与趋势基于自然语言处理技术的因果推理因果发现目标：确定无向因果关系的方向。方法：将大语言模型作为查询工具，确定两个变量之间因果关系的方向。挑战：大模型缺乏因果发现逻辑，容易产生不合常理的因果回路。效应推断目标：解决反事实数据缺乏的问题，量化因果效应。方法：大模型生成反事实数据（如DISCO方法：大模型生成→教师模型过滤提纯）。挑战：生成数据存在幻觉、知识冲突等问题，质量不稳定。归因与判断目标：依靠大模型参数中蕴含的隐式因果知识作为补充。方法：直接向大模型提问，将其输出作为因果知识。挑战：受提示质量和模型自身性能的影响，稳定性不足。第十一章自然语言处理的挑战与趋势推理的可靠性04推理的可靠性：忠实性推理忠实性：指模型提供的推理证据和推理过程能够准确支持结论，即证据符合背景知识，过程与结论间具有因果关系。问题：尽管思维链等技术使模型输出推理步骤，但其推理过程可能不透明且不忠实，无法准确支撑结论。方法：采用模块化、反事实推理等方法，增强推理过程与决策间的关联。改进思维链提示方法，激发模型生成推理过程的忠实性。引入外部知识，避免因模型内部知识不准确而产生不忠实推理。挑战：现有方法仍无法保证推理过程之间满足因果关系。对忠实性的评价机制不全面，缺乏从推理证据、推理过程等角度的综合评价。第十一章自然语言处理的挑战与趋势推理的可靠性：一致性模型推理过程中会出现事实不一致和逻辑不一致，这会削弱用户信任，限制模型在金融、医疗等高风险领域的应用。针对事实不一致的改进：方法：引入外部知识、改变解码方式、改善思维链提示等。挑战：长推理过程的事实一致性基准较少，难以评估。检索增强类方法存在错误累积问题，可能导致不准确的输出。模型能否通过自我纠正、捕捉知识边界来减轻不一致，尚未充分探索。针对逻辑不一致的改进：方法：采用一致性正则化、添加中间训练任务等，通常需要微调模型。挑战：现有方法计算资源消耗大，且涉及到的任务形式有限。现有评价多关注最终结果，忽略了对推理过程的一致性评价。在缺乏标准推理过程的情况下，如何评价逻辑一致性尚未妥善解决。第十一章自然语言处理的挑战与趋势目录低资源自然语言处理任务自然语言推理从语言智能迈向通用人工智能第十一章自然语言处理的挑战与趋势从语言智能迈向通用人工智能局限：难以理解需要借助感官与现实世界交互的概念（如柔软、香甜、寒冷）局限于文本数据，未覆盖音频、图像、视频等多模态数据核心问题：如何同时处理多模态数据、让模型理解真实世界，迈向更通用的智能。三个方向：多模态技术具身智能世界模型第十一章自然语言处理的挑战与趋势多模态技术01多模态技术多模态技术：指结合多种感知模式对文字、图像、语音、视频等多模态信息进行分析、理解或表达，以增强模型信息处理的能力。多模态数据处理：在不同模态的数据之间建立关联，进而提升模型性能。多模态融合：特征级融合：将不同模态的数据特征直接融合成统一特征。模型级融合：利用不同模态的数据分别训练模型，然后针对输出进行融合。多模态注意力机制：基于注意力权重动态调整不同模态数据的重要性与模型输出。多模态大模型：应用上述技术，开发能同时处理文本、图像、视频等模态数据的模型。实例：Kosmos-1、GPT-4o挑战：在复杂多模态场景下，模型的鲁棒性与可解释性较差。第十一章自然语言处理的挑战与趋势具身智能02具身智能：感知与推理具身感知：在真实的物理世界中感受并理解自身所处环境信息采集：利用传感器对物理世界