《新一代信息技术与人工智能导论》课件第8章 大模型

第8章

大模型01大模型概述02核心技术原理03行业应用实践04本地部署指南目录contents01大模型概述大模型概念大模型是基于深度学习架构，通过海量数据训练、能处理多任务的基础模型，尤其在自然语言处理、计算机视觉等领域表现突出，参数量通常达百亿至万亿级。传统AI=偏科生（只会单项任务）大模型=全能学霸（同时精通语文、数学、艺术）大模型概念大模型通常指的是大规模的人工智能模型，是一种基于深度学习技术，具有海量参数、强大的学习能力和泛化能力，能够处理和生成多种类型数据的人工智能模型通常说的大模型的“大”的特点体现在：参数数量庞大、训练数据量大、计算资源需求高核心特征参数量大模型拥有极其庞大的参数量，通常在数百万到数千亿甚至万亿级别，随着参数量的增加，模型能够捕捉更多的特征和更复杂的模式，在处理复杂数据和学习高维度的关系时具有更高的表现力数据量大模型依赖于大规模的数据进行训练，通常需要在海量数据上进行学习，以捕捉复杂的模式和规律，展现出强大的推理和生成能力。训练数据的多样性使得大模型能够处理各种不同类型的数据，如文本、图像、音频等，并具备跨领域的应用能力。算力要求由于大模型的参数众多、计算复杂，其训练和运行需要大量的计算资源和内存空间，通常需要高性能的硬件支持，如图形处理器（GPU）、张量处理器（TPU），并且采用并行计算和分布式训练技术以提升效率。大模型能做什么技术发展里程碑此阶段出现统计语言模型和神经网络雏形，为大模型发展奠定基础。01萌芽期（1950-2005）Transformer架构诞生，GPT系列不断迭代，ChatGPT的出现引爆了大模型的应用。02突破期（2017-2022）大模型向视觉、语音、科学计算等领域延伸，进入多模态发展阶段。03多模态时代（2023至今）模型类型代表模型有GPT-4、文心一言，主要应用于文本生成、翻译等场景。大语言模型以DALL·E为代表，可用于图像生成。视觉大模型如Gemini，支持图文交互。多模态大模型像AlphaFold，可用于蛋白质预测。科学大模型大模型分类类型代表模型应用场景自然语言处理大模型GPT-4、文心一言文本生成、翻译、智能问答计算机视觉大模型DALL·E2、ViT图像生成、医学影像分析多模态大模型Gemini、VisualBERT视觉问答、跨模态交互科学计算大模型AlphaFold蛋白质结构预测、气候模拟02核心技术原理核心技术原理Transformer通过编码器和解码器，同时设置中间语义转换向量来实现从一种语言翻译成另一种语言。其实Transformer的应用非常广泛。我们目前的大模型，无论是GPT、文心大模型、通义大模型、DeepSeek等，都是基于Transformer来建立的。你可能好奇，Transformer是怎么做到的呢？核心技术原理讲讲生活中的习惯思维初次见面，先看外表。阅读文章，先看标题批改作业，先看格式共同点，通过后者快速推断前者，找出其中关系这就是注意力机制，就是关注我们容易关注的。什么是注意力机制核心技术原理

从数学的角度来描述注意力机制的话，可以理解为权重。就是把重要的内容设置的权重高，而不重要的内容设置的权重低。核心技术原理Ilikesports我喜欢运动ItwasonthemorningofFebruarytheninththatIarrivedinLondon.它在2月的早上第九我到达了伦敦短句翻译，还可以

长句翻译，就不理想。忽略了词和词之间的联系，没有采用注意力机制。

采用注意力机制以后，翻译：2月9日早晨我到达了伦敦核心技术原理研究明表，汉字序顺并不定一影阅响读比如当你完看这句话，才发现字全是乱的。来自科普中国的一段文字其实仅有注意力机制还不够，请阅读右边文字。这是因为在阅读时，我们并不是逐字阅读，而是会扫视“关键字”，然后大脑会凭借经验进行“脑补式”的理解。核心技术原理

有意思的是，人不仅在理解汉字时是这样，在理解其它语言和图片时也这样。而把这种现象应用到人工智能中，就是自注意力机制了。通俗的讲，Transformer的自注意力机制能够在句子中找到自己与各个词之间的关系，能快速找到要关注的重点。核心技术原理

除了自注意力机制外，还有多头注意力机制，顾名思义就是有多个自注意力机制通过加权计算，然后将加权计算结果综合起来，增加自注意力机制的效果。

如在一个句子中，一个注意力头关注上一个单词和下一个单词之间的关系，另一个注意力头则会关注主语和谓语的关系上。核心技术原理注意力机制自注意力机制多头注意力机制核心功能生活举例从外部信息中筛选出相关的部分。理解同一序列内元素之间的关系。并行多视角分析，综合更全面的信息。本质都是动态分配权重，让模型学会“该关注什么”。一个经常发言的同学引起你的注意，一个项目团队合作，不仅要关注自己，还要和其它同学协调

项目太大，分为多个团队，每个团队有自注意机制，多个团队就是多头自注意力机制核心技术原理

你可能会问，上面讲的和Transformer模型有关系吗？当然有呀，其实Transformer模型就是引入了多头注意力机制的编码器和解码器。2017年，谷歌发布的论文《AttentionisAllYouNeed》提出Transformer模型。从宏观来看，可以把Transformer模型看做一个有输入和输出的黑匣子。传统架构局限传统RNN/LSTM在长序列处理中存在明显短板：反向传播时因链式结构导致梯度指数级衰减，引发梯度消失问题，使模型难以捕捉长距离依赖关系。在处理大规模时序数据时，训练耗时可达数周甚至更久，严重制约了在长序列场景的应用拓展。Transformer诞生2017年，Vaswani等人在《AttentionisAllYouNeed》中提出Transformer架构。该架构以自注意力机制为核心，摒弃RNN/LSTM的循环结构，通过多头注意力机制捕捉全局依赖关系，同时利用位置编码保留序列时序信息。解决了梯度消失难题，更在机器翻译、语言模型等领域开创长序列处理新范式，为后续大模型发展奠定底层架构基础。核心技术原理核心技术原理拆开这个黑匣子，我们可以看到它是由编码组件、解码组件和它们之间的连接组成核心技术原理其中每一个编码器有前馈神经网络（有输入层、隐藏层和输出层的神经网络）和多头自注意力机制组成。自注意力机制通过计算前一个编码器的输入编码之间的相关性权重，来输出新的编码；然后前馈神经网络对每个新编码进行处理，然后将这些处理后的编码作为下一个编码器或解码器的输入。大模型的训练过程在预训练阶段，模型使用海量文本数据进行自监督学习，让模型学习到语言的通用模式和特征，为后续的微调打下基础。预训练阶段0102微调阶段微调阶段是在预训练的基础上，使用特定的指令数据集对模型进行进一步训练，使模型能够适应特定的任务和场景。奖励模型的训练方式，针对同一个问题，让监督微调学习模型给出多个答案。让现实中的人对这多个回答进行排序，这其中隐含了人类对模型效果的预期，依此形成新的标注数据集，然后进行训练奖励模型。训练奖励阶段03用强化学习算法通过奖励模型优化策略。强化阶段04大模型的训练过程03行业应用实践通用场景效能提升01在内容生成方面，大模型可自动撰写营销文案，效率相比传统方式提升300%，大大节省了时间和人力成本。02智能交互场景中，24小时客服机器人的应用使成本降低60%，同时能随时响应客户需求，提升服务质量。03教育辅助领域，大模型能生成个性化学习方案，满足不同学生的学习需求，提高学习效果。内容生成效率提升智能交互成本降低教育辅助个性化增强垂直领域创新案例在医疗领域，大模型用于医学影像分析，使诊断准确率提升至98%，有助于更精准地发现病情。医疗领域应用价值工业中，大模型对炭黑生产进行优化，使废料率从18%降至6%，提高了生产效率和资源利用率。工业领域应用价值农业方面，大模型实现遥感病虫害预警，可减少农药使用量40%，既保护环境又降低成本。农业领域应用价值010203科研突破图谱大模型在药物研发中发挥重要作用，可将分子性质预测加速10倍，推动新药研发进程。药物研发加速01在气候模拟方面，大模型能使极端天气预警提前7天，为防灾减灾提供更充足的时间。气候模拟预警提前0204本地部署指南部署价值分析安全维度评估01在安全维度，本地部署能确保医疗、金融等敏感数据不出本地，有效防止数据泄露风险，保障数据的安全性和隐私性。成本维度评估02从成本角度看，长期使用本地部署比云服务节省70%的费用，能显著降低企业的运营成本。响应维度评估03响应速度上，本地部署可将延迟降低至50ms以内，实现快速响应，提升用户体验。工具链对比vLLM评估Ollama评估0103vLLM在推理速度上进行了优化，适合生产环境，能满足大规模应用的高性能需求。Ollama支持100+开源模型，适用于快速验证新想法和模型，能帮助开发者快速测试不同模型的性能。02LMStudio具有可视化界面，对于非技术用户友好，方便他们进行模型的操作和管理，降低使用门槛。LMStudio评估本地部署流程硬件准备要求至少配备16GB显存的GPU和64GB内存，为模型运行提供充足的硬件资源。01硬件准备环境配置需安装CUDA12.2和Python3.10，确保软件环境与模型兼容。02环境配置03可从HuggingFace平台下载量化版模型，以减少模型的存储空间和计算资源需求。模型获取采用Prometheus+Grafana进行实时监控，及时发现和解决问题，保障系统的稳定运行。05监控优化使用FastAPI搭建推理接口，实现模型的对外服务，方便用户调用。04服务部署本地部署详细步骤1下载Ollama访问Ollama官网，点击“Download”下载，根据操作系统（Windows、macOS或Linux）下载自己操作系统对应的安装包本地部署详细步骤2下载DeepSeekR1Ollama已经在第一时间支持DeepSeekR1。只需要在cmd命令行窗口中执行如下命令就可以自动下载DeepSeekR1大模型：该命令会自动下载并加载模型，下载时间取决于网络速度和模型大小。请根据自己的显存选择对应的模型，建议选择参数较少、体积最小的1.5B版本。本地部署详细步骤3运行DeepSeek可以在cmd命令行窗口中执行如下命令启动DeepSeekR1大模型：显存优化策略根据模型大小和量化程度，分析不同部署方案所需的显存、内存等资源，为硬件选择提供依据。不同的量化参数会导致不同的显存占用和性能表现，如低精度量化显存占用少，但可能影响模型精度。量化技术通过减少模型参数的精度，降低显存需求，例如将32位浮点数转换为8位整数。量化技术原理不同部署方案对比资源需求分析量化技术原理不同部署方案对比