31-微课-大语言模型

大语言模型

（largelanguagemodel,LLM）张杲峰，刘刚，周庆国人民邮电出版社2025神经网络与深度学习(微课)内容概要大语言模型简介大语言模型的定义大语言模型的预训练和微调基于HuggingFaceTransformers的应用开发基于HuggingFaceTransformers的应用案例神经网络与深度学习2大语言模型简介Transformer模型为更大规模的语言模型提供了可扩展的架构基础。当基于Transformer的模型参数量突破10亿级别时，模型展现出传统小模型不具备的涌现能力(emergentabilities)——这种规模效应推动了大语言模型（largelanguagemodel,LLM）的诞生。神经网络与深度学习3大语言模型简介涌现出了众多大语言模型OpenAI的GPT系列、Google的PaLM等、深度求索（DeepSeek）的DeepSeek-R1、百度的文心大模型和阿里巴巴的通义千问等等。国产模型不仅具备与国际先进水平相当的能力，还在中文理解、本土知识融合等方面展现出独特优势。神经网络与深度学习4大语言模型的定义大语言模型是基于深度学习架构构建的、参数量级达到或超过10亿的统计语言模型，这类模型通过自监督学习范式，在超大规模文本语料（通常≥1TB）上进行训练。核心架构普遍采用Transformer网络结构。大语言模型拥有三个显著的特征：规模驱动的能力涌现、基于上下文的任务泛化和人机交互的语义对齐。神经网络与深度学习5大语言模型的定义大语言模型的标度率(scalinglaw)当模型参数量突破10亿级别（如GPT-3的1750亿参数）并配合TB级数据训练时，会出现传统小模型不具备的涌现能力。这种性能提升与模型规模、数据量和计算量遵循幂律关系，这被称为大语言模型的标度率(scalinglaw)。具体表现为在如数学推理、多语言翻译等未专门训练的任务上，模型突然展现出接近人类水平的性能。神经网络与深度学习6大语言模型的定义大语言模型通过提示工程(promptengineering)通过提示工程，LLM实现了前所未有的任务泛化能力。与传统模型需要针对每个任务重新训练不同，大模型仅需调整输入文本的提示词（prompt），就能灵活切换问答、摘要、翻译等不同功能。这种特性源于训练过程中对海量异构数据的学习，使模型构建了覆盖语法、逻辑、领域知识的通用表征。神经网络与深度学习7大语言模型的定义人类反馈强化学习(reinforcementlearningfromhumanfeedback，RLHF)大语言模型还通过人类反馈强化学习(reinforcementlearningfromhumanfeedback，RLHF)实现了行为模式的优化对齐。该技术让模型不仅能理解字面语义，还能捕捉人类偏好和伦理准则。神经网络与深度学习8大语言模型的预训练和微调大语言模型采用预训练（pre-training）-微调（fine-tuning）的范式预训练在大规模文本数据上，通过自监督学习——如掩码语言建模（maskedlanguagemodeling,MLM）或自回归预测（autoregressivemodeling）——训练模型，构建通用表征空间，使其学习通用的语言理解和生成能力。微调在预训练模型的基础上，用特定领域或任务的标注数据集，通过监督学习进行二次训练，实现任务特定空间的适应性映射，从而使其更适配特定需求。神经网络与深度学习9基于HuggingFaceTransformers的应用开发HuggingFaceHuggingFace是一个开源社区驱动的人工智能平台，在大语言模型和自然语言处理领域占据着举足轻重的地位。HuggingFace提供了一整套完善的工具链Transformers库ModelHub模型仓库Datasets数据集库InferenceAPI神经网络与深度学习10基于HuggingFaceTransformers的应用开发Transformers库Transformers是一个开源Python库，提供了访问和使用预训练语言模型的标准接口。开发者可以通过统一的API调用BERT、GPT、T5等各类Transformer架构模型。Transformers库将模型加载、分词处理、训练和推理等流程封装为简洁易用的组件。库内置的pipeline()函数进一步简化了常见NLP任务（如文本分类、命名实体识别）的开发流程，只需几行代码即可实现端到端应用。神经网络与深度学习11基于HuggingFaceTransformers的应用开发ModelHub仓库ModelHub是一个开放的模型仓库，托管了超过20万个预训练模型，涵盖NLP、计算机视觉、语音识别等多个领域。ModelHub采用社区驱动的模式，研究人员和开发者可以自由上传、下载、分享和复现模型。ModelHub支持版本控制和模型卡片（modelcard）机制，确保模型的可追溯性和可重复性。神经网络与深度学习12基于HuggingFaceTransformers的应用开发Datasets库Datasets库是HuggingFace生态系统中专门用于数据集管理的工具库。提供1,000多个经过标准化的数据集，覆盖文本、图像、音频等多种模态，包括GLUE、SQuAD等知名基准数据集。Datasets库采用创新的内存映射技术实现高效数据加载，即使处理超大规模数据集也不会耗尽内存。库内置丰富的数据处理方法。数据集版本控制功能确保实验可复现。神经网络与深度学习13基于HuggingFaceTransformers的应用开发InferenceAPIInferenceAPI是一项托管的模型部署服务，允许开发者将机器学习模型快速转化为可调用的WebAPI。这项服务支持直接从ModelHub部署模型，无需配置服务器环境或担心GPU资源管理。InferenceAPI能够根据请求量动态调整计算资源，既保证服务可用性又优化成本。InferenceAPI支持多种任务类型，包括文本生成、图像分类和语音识别等，并可通过简单的HTTP请求调用。神经网络与深度学习14基于HuggingFaceTransformers的应用案例使用DistilBERT实现情感分析使用蒸馏版BERT（DistilBERT）实现情感分析。通过知识蒸馏技术，DistilBERT将BERT模型压缩40%，在保持90%以上准确率的同时大幅降低计算开销。本案例通过使用Pipeline，仅需很少代码即可完成模型加载和预测，CPU环境下单次推理需约400ms。神经网络与深度学习15#导入pipelinefromtransformersimportpipeline

#加载大模型classifier=pipeline("text-classification",#task，指定任务类型，如：#"text-classification"（文本分类）#"question-answering"（问答）#"text-generation"（文本生成）model="distilbert-base-uncased-finetuned-sst-2-english"#指定模型名称（HuggingFaceHub路径）或本地路径)

result=classifier("Thismovieisfantastic!")print(result)

[输出][{'label':'POSITIVE','score':0.9998828172683716}]基于HuggingFaceTransformers的应用案例使用DistilBERT实现情感分析模型名称DistilBERT-base-uncased-finetuned-sst-2-english的“uncased”表示模型在训练时忽略字母大小写差异，“finetuned-sst-2”说明该版本已在斯坦福情感树库（SST-2）的二分类任务上进行了微调，专门用于英语文本的情感分析（正面/负面分类）。输出分类为正面（POSITIVE），置信度达到99.99%。神经网络与深度学习16#导入pipelinefromtransformersimportpipeline

#加载大模型classifier=pipeline("text-classification",#task，指定任务类型，如：#"text-classification"（文本分类）#"question-answering"（问答）#"text-generation"（文本生成）model="distilbert-base-uncased-finetuned-sst-2-english"#指定模型名称（HuggingFaceHub路径）或本地路径)

result=classifier("Thismovieisfantastic!")print(result)

[输出][{'label