人工智能基础及应用课件 模块三-任务一-2-语言模型的技术演变

大语言模型是如何炼成的语言模型的技术演变自然语言处理（NaturalLanguageProcessing,NLP）是人工智能与语言学交叉的研究领域，研究如何使计算机能够理解、分析、生成和处理人类语言，从而实现人机之间的自然语言通信。自20世纪50年代以来，自然语言处理经历了从基于规则，到统计模型，再到深度学习模型和预训练大模型，让机器和人类沟通变得前所未有的自然和高效。技术演变通过预先设定好的语法规则和词汇库，让计算机对文本进行分析、处理和生成。规则：由专家手工编写，涵盖词性、句法结构、语义关系等内容。基本思路：先对句子进行词法和语法的严格分析，再依赖语言学专家编写的规则，实现对语言的理解或翻译。核心工具：语法树是实现自动句法分析、翻译和语义理解的核心工具，帮助计算机按照预设规则识别句子成分及其关系。语法树：分层结构的图形表示，用来描述一个句子的组成单位（词、短语）在句法规则下的组织方式。每个节点代表一个语法成分，从句子的整体（根节点）逐层细分到具体的词语（叶子节点）。1.基于规则的NLP“我明天去学校”的语法树通过分析大量文本数据中词语的共现频率，建立概率模型，以预测词语之间的关系。两种核心方法是N-gram语言模型和隐马尔可夫模型（HMM）。2.基于统计的NLPN-gram语言模型N-gram语言模型是一种基于概率的统计语言模型，用于通过前面连续的 N−1个词来预测当前词出现的概率。N-gram的分类主要包括一元模型、二元模型和N元模型。分类定义示例一元模型1-gram假设每个词的出现与上下文无关，即词语之间相互独立。句子「我爱学习」一元模型预测：「我」「爱」「学习」二元模型2-gram假设当前词的出现只依赖于前一个词。句子：「我爱学校」二元模型预测：「我→爱」「爱→学校」三元模型3-gram假设当前词的出现依赖于前两个词。句子：「我爱我的学校」三元模型预测：「我爱→我的」「爱我的→学校」N元模型N-gram推广为任意N的情形，假设当前词的出现概率只依赖于前N-1个词。句子：「我爱我的学校很多」4-gram预测：「我爱我的→学校」通过分析大量文本数据中词语的共现频率，建立概率模型，以预测词语之间的关系。两种核心方法是N-gram语言模型和隐马尔可夫模型（HiddenMarkovModel,HMM）。2.基于统计的NLP隐马尔可夫模型隐马尔可夫模型是一种统计模型，用于描述一个系统在隐藏状态序列控制下产生可观测序列的过程。HMM假设系统在任一时刻只处于某一隐藏状态，该状态以一定概率转移，并以另一个概率生成一个观测值。两个关键点：隐藏的状态和可观测的现象核心思想：从可观测的现象预测隐藏的状态示例：天气预测可观测的现象看到朋友戴太阳眼镜看到朋友打伞看到朋友穿羽绒服隐藏的状态晴天雨天雪天HMM词向量是用多维实数向量来表示词语的一种数学方式，是一种把词语变成数字的方法。它用多个数字来代表一个词，让计算机能“看懂”词语之间的关系。Word2Vec是一种用神经网络技术来生成词向量的方法。它能把词语转化成一个由少量数字组成的向量，这些向量不仅能表示词语的意思，还能看出词语之间的相似程度。Word2Vec通过分析大量文本中词语和周围词语一起出现的情况，学习出哪些词语意思相近，让计算机更好地理解语言。3.深度学习模型示例：Word2Vec“香蕉”、“梨”、“跳远”的词向量分别为：香蕉：[0.72,0.14,0.58,0.80]梨：[0.70,0.12,0.60,0.79]跳远：[0.20,0.75,0.10,0.30]循环神经网络（RecurrentNeuralNetwork,RNN）是一种用于处理序列数据的神经网络模型，其特点是具有“循环连接”，能够在序列的每一个时间步上保留前一时刻的隐藏状态，并结合当前输入计算当前的输出。3.深度学习模型循环神经网络RNN基本结构图

大规模预训练语言模型通过在海量文本数据上进行自主学习,不仅掌握了词汇、句法等语言规律,更具备了处理复杂语言任务的能力。预训练的核心思想是“先通用学习,后专用应用”。在预训练阶段，模型不需要明确的任务目标,而是通过分析海量文本数据，学习语言的基本