人工智能导论（第2版Python版）课件 第7章大语言模型

第7章

自然语言大模型基础自然语言处理（NLP）作为人工智能和计算机科学领域的核心技术，在近年来经历了翻天覆地的变革，其中最引人注目的突破莫过于大型语言模型（LLMs）的崛起。从能够进行多轮对话的智能助手，到能够生成连贯文章的文本生成器，再到在各种语言理解任务中屡创佳绩的通用模型，LLMs正在重新定义人类与机器交互的方式，并为各行各业的智能化转型提供强大动力。大模型的发展简史1967年：ELIZA的诞生ELIZA是最早的自然语言处理程序之一，虽然简单，但开启了人机对话的先河。1988年：循环神经网络（RNN）RNN的引入为处理序列数据提供了新的方法，特别适用于语言模型等任务。1997年：长短期记忆网络（LSTM）LSTM解决了传统RNN难以处理长期依赖的问题，显著提高了模型在长序列任务上的表现。2017年：Transformer架构Google提出的Transformer架构引入了自注意力机制，极大提高了模型处理长序列的能力，成为后续大型语言模型的基础。2020年：GPT-3与超大规模模型GPT-3的发布震惊学术界和工业界，其1750亿参数的规模和惊人的少样本学习能力开创了新纪元。2022年：指令微调与对话系统PaLM、InstructGPT和ChatGPT等模型的出现，标志着大型语言模型向更加智能化、人性化的方向发展，特别是在对话和指令执行方面取得重大突破。代表性模型介绍GPT系列由OpenAI开发的自回归语言模型，专注于文本生成任务。其核心特点是通过自回归方式进行训练，即模型根据前面的词生成下一个词，逐词生成完整的文本。GPT-1（2018）：首次展示了大规模语言模型在文本生成中的潜力，包含1.17亿参数GPT-2（2019）：参数量增至15亿，在多种零样本任务上表现出色GPT-3（2020）：拥有1750亿参数，展现出惊人的少样本学习能力GPT-4（2023）：性能进一步提升，支持多模态输入BERTBERT是由Google在2018年提出的双向编码器模型，主要用于自然语言理解任务。与GPT不同，BERT通过掩码语言模型（MLM）和下一句预测（NSP）任务进行预训练，从而能够更好地捕捉双向上下文信息。BERT-Base：包含1.1亿参数，适用于大多数NLP任务BERT-Large：包含3.4亿参数，在更多复杂任务上表现出色其他重要模型RoBERTa（2019）：Facebook对BERT的改进版本T5（2019）：Google提出的"文本到文本"框架ALBERT（2019）：一种轻量级的BERT变体XLNet（2019）：结合了自回归和自编码的优点ELECTRA（2020）：采用判别式预训练方法GPT，BERT和TransformerXL模型比较GPT-2以全解码器（Decoder）结构为主，专注于文本生成任务，通过逐词预测生成完整句子。GPT系列模型以其强大的文本生成能力著称，能够生成连贯、流畅的文本，广泛应用于内容创作、对话系统、文本补全等领域。BERT采用全编码器（Encoder）结构，专注于文本理解，通过双向上下文信息捕捉来提高模型的理解能力。BERT的双向编码器设计使其能够在文本分类、问答系统、命名实体识别等任务上取得卓越的性能，显著提高了NLP模型的理解能力。TransformerXL在架构上引入了循环解码器（RecurrentDecoder），以解决长文本处理中的上下文保持问题，兼具了文本生成与长序列建模的优势。这种架构设计克服了传统Transformer模型在处理长序列时的局限性，大幅提升了模型的生成效果。LLMs的影响与未来展望技术范式转变研究重点从针对具体任务设计的模型转向了基于预训练的大规模通用模型商业价值LLMs在教育、内容创作、客户服务等领域展现了巨大的商业价值研究方向转变更多关注点放在了模型的压缩、效率提升、以及由此带来的伦理问题上产业升级LLMs的出现推动了人工智能产业的升级，催生了新的商业模式和应用场景展望未来，LLMs可能会朝着多模态融合、持续学习、可解释性提高以及个性化和定制化的方向发展。多模态融合将整合文本、图像、音频等多种模态的信息；持续学习将使模型能够在不遗忘旧知识的情况下不断学习和更新；可解释性的提高将满足人们对AI系统透明度的需求；个性化和定制化的语言模型将为特定领域或用户群体提供专门优化的解决方案。Transformer架构总览编码器（Encoder）负责将输入序列转换为连续的表示。编码器由多个相同的层堆叠而成，每层包括两个子层：多头自注意力机制（Multi-HeadSelf-Attention）前馈神经网络（Feed-ForwardNeuralNetwork）解码器（Decoder）基于编码器的输出和之前生成的序列，生成目标序列。解码器除了拥有与编码器相同的两个子层外，还增加了一个多头注意力层，用于处理编码器的输出。每个子层的输出都会经过层归一化（LayerNormalization）和残差连接（ResidualConnection）处理，这有助于稳定训练过程并缓解梯度消失的问题。自注意力机制输入表示输入序列中的每个词或标记被转换为密集的向量表示，即词嵌入（Word/tokenembedding）。这些向量表示了每个词的语义信息。线性变换模型对每个词嵌入向量进行三次不同的线性变换，分别生成查询（Query）、键（Key）和值（Value）。注意力分数计算查询（Q）和键（K）之间的点积运算生成注意力分数。这些分数反映了序列中各个位置之间的相关性。缩放和Softmax对注意力分数进行缩放处理，然后应用softmax函数以获得归一化的注意力权重。加权求和使用计算出的注意力权重对值（V）进行加权求和，生成最终的输出向量。预训练与微调1预训练阶段在海量且多样化的语料库上学习通用的语言表示和知识微调阶段将预训练模型调整为适应特定任务的"专家"应用阶段在实际场景中部署模型，解决具体问题预训练和微调是大型语言模型（LLMs）开发和应用的两个关键阶段。这种"先广后专"的学习范式极大地提升了模型的通用性和效率，类似于一个人先接受广泛的基础教育，然后再进行特定领域的专业训练。预训练阶段让模型"读遍天下书"，通过广泛的知识摄取，形成对语言的深刻理解。微调阶段则将预训练模型调整为适应特定任务的"专家"，使其能够在特定领域发挥专长。预训练任务设计掩码语言模型（MLM）MLM类似于文本中的"填空游戏"。在给定的句子中，随机遮蔽部分词语，模型需要根据上下文预测这些被遮蔽的词语。例如，对于句子"今天的[MASK]很好吃。"，模型需要预测[MASK]可能是"早餐"、"午餐"或"晚餐"。下一句预测（NSP）NSP任务旨在训练模型理解句子之间的连贯性。给定两个句子，模型需要判断第二个句子是否自然延续第一个句子。例如：句子A："我很喜欢吃冰淇淋。"，句子B："巧克力口味是我的最爱。"模型需要判断B是否自然接续A。自回归语言模型自回归语言模型类似于"接龙"游戏，模型基于已有的词序列，预测最可能的下一个词。例如，给定开头"今天天气真"，模型可能预测下一个词是"好"或"糟"等。微调的主要方法特征提取冻结预训练模型参数，只训练新增的任务相关层全面微调调整预训练模型的所有参数，使其更好地适应新任务渐进式微调先调整模型的顶层，然后逐步解冻和微调更深层的参数提示学习通过设计特定的提示模板，将下游任务转化为类似预训练任务的形式微调的过程就像为模型配备了一副"任务专用眼镜"。通过这副眼镜，模型能够将其广泛的知识聚焦于特定任务，实现从"通才"到"专才"的蜕变。这种方法不仅大大减少了对特定任务大规模标注数据的需求，还显著提升了模型在各种语言任务上的表现。通过预训练和微调的结合，LLMs展现出了惊人的适应性和效率。数据收集与预处理数据收集从各种来源收集大量高质量的文本数据，确保来源的多样化、数据量的庞大和数据质量的控制。数据清洗去除无关的内容，如HTML标签、广告文本等，纠正文本中的拼写错误并统一格式。标记化将清洗过的文本分割成更小的单位，比如词、子词或字符，使模型能够更容易处理这些信息。建立词汇表统计标记的出现频率，选择最常见的N个标记来构建模型的词汇表，并引入特殊标记。数据预处理的最后两个步骤是数值化和分块与填充。数值化是将文本转换为数字序列的过程，这一步骤使得文本数据能够被模型直接处理和计算。分块与填充则是将文本划分为固定长度的序列，对于那些较短的序列，需要使用填充符来补齐，使所有输入长度一致。通过这些预处理步骤，原始的文本数据被转换为结构化的、适合模型学习的格式。训练过程初始化模型的参数通常是随机初始化的，有时会使用预训练的词嵌入来代替随机初始化前向传播输入数据被送入模型，模型根据其当前的参数生成预测结果损失计算模型的预测结果与真实标签进行比较，计算出损失（误差）反向传播通过计算损失的梯度，模型的参数会根据这些梯度进行调整，以逐步减少误差优化使用优化器（如Adam）动态调整学习率，以加速模型的收敛这一完整的训练过程会重复数百万次，直到模型的性能达到预期目标。预训练阶段可能持续数周甚至数月，消耗大量的计算资源，但这是模型掌握广泛语言知识的关键阶段，为其在后续任务中的表现打下了坚实的基础。微调阶段的准备工作任务定义明确模型将要解决的具体任务目标，如文本分类、命名实体识别等。通过明确任务目标，我们可以确保模型在微调过程中专注于特定的应用场景。数据准备收集并预处理相关的数据集。与预训练阶段的大规模数据不同，这些数据集通常规模较小，但具有精确的标注信息，为模型提供了明确的学习目标。模型调整保留预训练模型的主体结构，在其基础上添加任务特定的输出层，如分类器。这些新增的层使模型能够处理特定的任务输出，确保它能够有效地应用于定义的任务目标。微调过程加载预训练模型使用预训练的权重来初始化模型，这为特定任务的微调奠定了坚实的基础。通过利用预训练模型中已经学习到的广泛语言知识，模型可以更快适应新的任务。定义任务特定的损失函数损失函数的选择取决于具体的任务类型。对于分类任务，通常使用交叉熵损失函数；对于回归任务，均方误差损失函数是常用的选择。选择微调策略根据任务的需求和计算资源的限制，可以选择不同的微调策略：全面微调、部分微调或适应器微调。每种策略都有其优缺点，需要根据具体情况选择。训练循环模型进行前向传播计算损失，然后通过反向传播来更新参数。这个过程会多次重复，以逐步减少损失，提升模型在特定任务上的表现。早停机制通过监控验证集的表现，一旦检测到模型的性能开始下降或不再提升，训练就会停止。这样可以保持模型的泛化能力，避免过拟合。评估指标分类任务常用的评估指标包括准确率、精确率、召回率和F1分数。这些指标帮助我们了解模型在分类问题上的表现，特别是在平衡精度和召回率时，F1分数尤为重要。生成任务如机器翻译或文本生成，评估的重点在于生成文本的质量。常用的指标包括BLEU、ROUGE和METEOR等。这些指标通过比较生成的文本与参考文本之间的相似度来衡量模型的输出质量。问答任务评估模型的回答准确性则主要依赖于精确匹配率和F1分数。精确匹配率衡量模型是否完全正确地回答了问题，而F1分数则综合考虑了回答的精确性和覆盖率。测试过程数据集划分通常将数据集分为训练集、验证集和测试集，这样可以确保模型在不同阶段都能得到适当的训练和评估。训练集用于模型的学习和参数调整，验证集用于模型的性能监控和优化，而测试集则保留用于最终的性能评估。验证集调优通过使用验证集，我们可以评估模型在训练过程中所达到的效果，并调整超参数配置。这一阶段的目标是选择出表现最优的模型配置，确保模型在未见过的数据上能够保持良好的性能。最终测试在这个阶段，模型会在之前未见过的测试集上进行评估，这能够提供关于模型泛化能力的无偏估计。通过这一测试，我们可以了解模型在实际应用中的表现，从而确保其在面对新数据时依然可靠。错误分析通过详细分析模型在测试中的错误案例，我们能够识别出模型的优势和局限性。了解这些问题有助于我们制定相应的改进策略，进一步提升模型的性能和鲁棒性。LLMs的训练过程预训练阶段模型通过自监督学习从海量未标注的文本数据中学习，这一过程几乎不需要人类参与。模型利用丰富多样的文本数据，构建起对语言的基本理解。这一阶段为模型打下了广泛的知识基础，使其能够理解和生成自然语言。微调阶段人类开始介入，通过狭窄的特定领域数据集对模型进行进一步的调整和优化。这个阶段类似于专门训练，模型被赋予了处理特定任务的能力，使其在特定应用场景中更加精确。提示学习阶段人类专家通过设计精心的提示和反馈，进一步调整模型，使其能够根据特定的任务需求生成更为准确的输出。此阶段强调了人类在模型训练中的重要作用，增强了模型在特定领域中的能力。DeepSeek大模型简介DeepSeek是一家成立于2023年的中国人工智能公司，专注于开发高效的大型语言模型（LLM）。这些模型在数学、编码和推理任务中表现出色，目标是推动通用人工智能（AGI）的实现。DeepSeek的模型不仅性能强大，而且训练成本低，开源特性也使其成为研究社区的重要资源。DeepSeek-V3旗舰混合专家（Mixture-of-Experts,MoE）模型，总参数规模高达6710亿，但每个token实际只激活370亿参数，从而实现了高效的训练与推理。训练数据使用了多达14.8万亿个高质量、多样化的tokens，覆盖中英文等多语言场景，确保其在不同语言环境下的泛化能力。训练成本显著低于业界同类产品，仅约600万美元，是OpenAIGPT-4训练成本（约1亿美元）的六分之一。DeepSeek模型的技术创新FP8混合精度训练业界首个在超大规模模型上验证FP8混合精度训练可行性的项目通信优化通过算法、框架与硬件的协同设计，有效突破跨节点MoE架构中的通信瓶颈多token预测引入多token预测（Multi-tokenPrediction,MTP）训练目标，进一步增强模型性能资源效率完整训练仅消耗了278.8万小时的H800GPU，相较于其他超大模型，资源需求极为节省DeepSeekAPI与集成API访问DeepSeek提供了一个与OpenAIAPI格式兼容的API来访问其模型。这种兼容性简化了集成，用户可以使用OpenAISDK或其他兼容软件与DeepSeekAPI交互。API的基本URL为或/v1。API提供基于token的定价模式，通常比OpenAI的产品便宜得多。输入缓存命中、未命中和输出token的费率不同。可能提供促销折扣。平台集成DeepSeek模型正被集成到各种平台和工具中，包括Chatbox、LibreChat、Enconvo、Continue、LuluTranslate等。这些集成扩展了DeepSeek模型的可用性和实用性。微软已在AzureAIFoundry和GitHub上提供DeepSeekR1戴尔已与HuggingFace合作，允许在其平台上使用DeepSeek亚马逊已通过AWSBedrock提供DeepSeekIBMwatsonx提供DeepSeek精简人工智能模型的一键部署LLMs的语言理解能力上下文理解捕捉长距离依赖关系，理解复杂的上下文信息语义推理理解隐含意义并进行逻辑推导多语言能力跨语言理解和生成的能力世界知识通过在海量文本上训练，积累了丰富的世界知识常识推理能够进行基于常识的推理和判断单任务学习与多任务学习单任务学习在传统的单任务学习中，每个任务（Task1、Task2、Task3）都是独立的。对于每个任务，我们使用专门的训练数据来训练一个独立的模型。模型1、模型2和模型3分别对应任务1、任务2和任务3，并且它们只使用各自任务的训练数据。这种方式在传统的机器学习和深度学习中很常见，每个任务的目标是通过训练数据优化该任务特定的模型性能。多任务学习在多任务学习中，不同任务之间共享信息，这意味着模型1、模型2和模型3不仅仅使用各自的训练数据，还会利用其他任务的数据进行训练。这种方法允许模型在学习特定任务的同时，也从其他相关任务中获取有用的信息，从而提高总体学习效果和泛化能力。多任务学习可以帮助模型捕捉任务之间的共性，这种共享机制可以提高模型的效率，尤其是在训练数据有限的情况下。LLMs的伦理问题与偏见挑战数据偏见问题LLMs在训练过程中不可避免地会继承训练数据中存在的社会偏见和歧视。例如，模型可能在职业描述中体现出性别刻板印象。虚假信息生成LLMs有时会生成看似可信但实际上是虚假信息或误导性内容，这在新闻生成或信息查询等场景中可能导致严重后果。隐私问题模型可能无意中泄露训练数据中的敏感信息，或者被滥用于生成侵犯隐私的内容。道德决策困境在涉及道德决策的场景中，LLMs可能做出不恰当或有争议的决策，带来潜在的伦理困境。解决这些问题需要多方面的努力，包括改进数据收集和清洗流程、开发偏见检测和缓解技术、建立道德框架和监管机制，以及提高模型的可解释性。LLMs的计算资源需求$100M+训练成本训练一个大型模型可能需要数百万美元的计算资源284二氧化碳排放训练一个大型模型可能产生数百吨二氧化碳当量的排放175B参数量GPT-3拥有1750亿参数，存储需求巨大800W功耗大型模型推理可能需要数百瓦的功率LLMs的训练和部署对计算资源提出了巨大挑战。训练成本高昂，大大限制了研究的普及性和模型的迭代速度。训练过程消耗大量电力，产生显著的环境影响，引发了对AI可持续性的担忧。推理延迟问题也限制了LLMs在实时应用中的表现，尤其是在边缘设备和资源受限环境中的应用受到制约。此外，模型参数量巨大，存储和分发这些模型面临着技术和成本上的难题。多模态融合视觉-语言模型像DALL-E和StableDiffusion这样的模型能够理解文本描述并生成相应的图像，或者根据图像生成描述性文本。这种模型打破了文本和视觉之间的界限，为创意表达和内容生成提供了新的可能性。音频-文本融合音频-文本融合将进一步增强语音识别和生成能力，实现更自然的人机语音交互。这种技术可以应用于语音助手、自动字幕生成、语音翻译等领域，使人机交互更加自然和无缝。跨模态理解跨模态理解的能力也在不断发展，未来的模型将能够在不同模态间进行推理和知识迁移，例如从视频内容生成文本摘要，为多模态应用场景提供更全面的支持。更高效的训练方法稀疏激活技术如MoE（MixtureofExperts），通过动态激活模型的部分参数来减少计算量，从而提高训练效率。这种方法可以在保持模型容量的同时，显著降低计算需求。渐进式学习方法从小模型开始，逐步增加模型规模，确保在每一步都保留已学习的知识。这种方法可以更有效地利用计算资源，并且在训练过程中提供更好的稳定性。知识蒸馏技术将大模型的知识转移到更小的模型中，实现模型压缩，保持性能的同时减少计算需求。这种技术对于在资源受限设备上部署大型模型特别有用。神经架构搜索通过自动化设计更高效的模型架构，进一步优化了训练过程。这种方法可以发现人类设计者可能忽略的优化机会，创造出更高效的模型结构。可解释性研究注意力可视化研究人员可以开发工具来可视化模型的注意力机制，帮助理解模型的决策过程。通过观察模型在处理输入时关注的部分，我们可以更好地理解模型如何做出决策，并识别潜在的问题或偏见。知识探测探测知识的方法能够提取并表示模型内部的知识结构，揭示模型如何进行推理和判断。这些方法可以帮助我们了解模型存储了什么知识，以及它如何使用这些知识来回答问题或生成文本。因果推理因果推理的引入将使模型能够解释其预测背后的原因，提供更具洞察力的解释。通过理解输入和输出之间的因果关系，我们可以更好地解释模型的行为，并提高其可信度。通过对抗性测试，研究人员可以揭示模型的弱点和决策边界，进一步提升模型的鲁棒性。这种方法通过构造特殊的输入来测试模型的极限，帮助我们了解模型在什么情况下会失败，从而改进模型的设计和训练方法。小型化与轻量化参数共享技术如ALBERT模型，通过跨层参数共享显著减少了模型的大小。这种方法可以在保持模型性能的同时，大幅减少参数数量，使模型更加轻量化。量化技术将模型参数从32位浮点数转换为低位表示，如8位整数，从而减少了计算和存储需求。量化可以显著减少模型的内存占用和推理时间，使其更适合在资源受限的环境中部署。剪枝技术通过移除不重要的连接或神经元，进一步减少了模型的参数量。剪枝可以去除模型中冗余或不重要的部分，在保持性能的同时减小模型体积。模型压缩技术如哈夫曼编码，通过压缩存储空间，使得模型更易于部署和使用。这些技术可以减少模型的存储需求，使其更容易分发和部署到各种设备上。使用