《垂直领域大模型构建技术及行业应用》课件第6章 大模型部署

第6章

大模型部署汇报人:XXX目录

一本地部署02通用大模型能力边界四国产化部署五轻量化部署三云环境部署二集群部署六模型调试与超参数调优目录

一本地部署02通用大模型能力边界四国产化部署五轻量化部署三云环境部署二集群部署六模型调试与超参数调优一、本地部署（一）环境配置1）下载安装Conda启动Conda，运行虚拟环境创建于激活指令。2）创建虚拟环境在命令行终端运行下载与安装指令。一、本地部署（一）环境配置3）安装基本库根据硬件配置和CUDA版本，选择合适的Pytorch版本进行安装。5）安装Pytorch在命令行终端运行GCC等基本库安装指令。根据硬件配置，选择合适的CUDA版本进行安装。4）安装CUDA一、本地部署（二）框架配置1）下载安装vLLM启动Conda，运行虚拟环境创建于激活指令。2）验证安装在命令行终端运行下载与安装指令。一、本地部署（三）模型配置下载安装Qwen3-0.6B模型在命令行终端运行下载与安装指令。一、本地部署（四）模型使用1）调用大模型等待vLLM自动加载模型，执行调用，并查看输出结果。2）查看输出结果编写调用代码，通过设置vLLM参数调用Qwen3大模型。目录

一本地部署02通用大模型能力边界四国产化部署五轻量化部署三云环境部署二集群部署六模型调试与超参数调优二、集群部署（一）环境准备确保集群中每台机器有足够CPU、GPU资源，高速网络连接，以及充足的存储空间，以支持大模型的高效运行。性能需求集群中大模型的训练数据敏感且对安全性要求高，应当在数据安全、模型合规、系统运维三个方面满足需求。非性能需求二、集群部署（二）模型部署：内网部署1）下载安装GPU支持组件从官网获取Ollama的linux版本，下载并拷贝至内网服务器安装。2）下载安装Ollama首先，需要在外部网络的Cuda和cudnn等GPU支持组件并拷贝到服务器。二、集群部署（二）模型部署：内网部署3）更改下载脚本下载Ollama的安装脚本install.sh，脚本文件更改安装路径，实现下载路径的本地化。通过Ollama官网提供模型下载的网址，选择相应版本下载到本地。4）下载大模型到本地二、集群部署（二）模型部署：内网部署5）安装前端使用Chat-Ollama调用前端，通过开源程序软件git到本地安全运行前端。将Chat-Ollama的网址连接设为本地服务器，客户端使用continue连接本地服务器。6）设置终端远程访问目录

一本地部署02通用大模型能力边界四国产化部署五轻量化部署三云环境部署二集群部署六模型调试与超参数调优三、云环境部署（一）环境准备基于云环境的大模型部署，首要任务是挑选稳定且性价比高的第三方云服务商，确保服务的连续性和安全性。1）云服务商选择准备工作包括性能需求和非性能需求的配置，如计算资源、存储空间、网络带宽以及数据安全和隐私保护策略。2）配置需求三、云环境部署（一）环境准备：云服务商选择云服务商核心服务支持框架特点价格模型网址腾讯云TI-ONE（AI平台）、GPU云服务器（NVIDIAA100/V100）、向量数据库PyTorch,TensorFlow,PaddlePaddle微信生态集成、C端应用（小程序/游戏）竞价实例低价，按小时计费/阿里云PAI（自动学习）、神龙服务器（昇腾/AMDGPU）、ModelScope魔搭社区PyTorch,TensorFlow,MindSpore千卡级分布式训练、本土合规（金融/政府）按量付费，包年包月折扣/华为云ModelArts（全流程）、Atlas800推理服务器、MindSpore框架MindSpore,TensorFlow,PyTorch边缘计算协同（智能汽车/物联网）、昇腾生态按需付费，昇腾实例专属折扣/硅基流动提供上百款主流大模型APIPyTorch,TensorFlow、JAX等高性能推理，多模态支持，开源生态兼容按量付费，部分模型免费火山引擎机器学习平台（MLS）、VideoStudio（多模态处理）、字节跳动自研框架PyTorch,TensorFlow,X-DeepLearning视频/图像大模型（抖音技术栈）、实时AI应用按帧计费（视频场景），竞价实例/三、云环境部署（二）模型部署：以阿里云为例1）打开阿里云工作空间在创建界面填写相关描述，创建API-Key，点击查看，获得相应的密钥。首先，在阿里云主页选择点击大模型产品，进入阿里云百炼工作空间。2）创建云服务API-Key三、云环境部署（二）模型部署：以阿里云为例3）本地代码测试运行本地Python文件，会直接调用云环境部署的大模型，进而得到云端返回结果。这里以“数据安全”为例进行问答。将获得的云服务API-Key复制到“api_key=”代码处拷贝到本地进行运行测试。4）测试结果三、云环境部署（二）模型部署：以阿里云为例7）浏览器调用大模型选择“文本调试”功能，可以进行提示工程的优化，通过Prompt页面，可以对垂直领域相关知识进行限制在阿里云工作空间的“文本对话”页面中直接输入问题，可以和选择的DeepSeek-R1:1.5B模型进行对话问答8）云端调试三、云环境部署（二）模型部署：以阿里云为例9）无提示词直接调用增加提示词可以生成更加精准的领域知识。以“预防钓鱼邮件攻击”为例，通过提示词调试，会生成一个更为详细的文案。如果不需要提示工程，则在提示词页面填入一般性描述，或者不选择垂直领域相关的知识文档。10）使用提示词调试三、云环境部署（三）云环境模型调试：以阿里云为例1）点击模型调优在数据集部分，点击“新增数据集”，需要选择并上传对应的垂直领域训练数据集。打开阿里云百炼工作空间，点击左侧的“模型调优”，点击“训练新模型”。2）选择数据集三、云环境部署（三）云环境模型调试：以阿里云为例3）调整数据集格式上传数据集后，选择训练的验证方式，包括上传验证集或从训练数据中自动切分出验证集，并选择训练参数。阿里云支持的数据集格式包括xlsx、jsonl等，上传数据集需要调整至支持格式。这里以网络安全数据集为例。4）设置训练参数三、云环境部署（三）云环境模型调试：以阿里云为例5）训练完成完成上述设置结束后，点击开始训练，即在阿里云平台上使用上传的数据进行重训练。目录

一本地部署四国产化部署五轻量化部署三云环境部署二集群部署六模型调试与超参数调优四、国产化部署（一）环境安装国产服务器通过自主软硬件架构确保数据主权，防范跨境攻击与数据泄露。1）数据主权保障垂直领域训练依赖国产服务器，避免敏感数据存储于国外设备引发的安全隐患。2）风险隔离机制四、国产化部署（一）环境安装固件安装为国产化服务器环境安装的第一步，需按照华为官方指南进行，确保服务器基础架构稳定。固件安装在完成固件安装后，进行驱动安装，此步骤旨在使服务器硬件与操作系统兼容，充分发挥硬件性能。驱动安装以华为Taishan服务器部署DeepSeek为例，环境安装包括固件安装与驱动安装两部分。四、国产化部署（二）插件安装鲲鹏架构的国产服务器主要需要安装NNAL加速库、PyTorch库、MindIE库等。01NNAL加速库NNAL库为神经网络加速库，提供基于昇腾芯片的内存优化。02PyTorch库这里的PyTorch库是Pytorch社区与昇腾处理器合作的定制版深度学习插件库。03MindIE库MindIE库则是华为昇腾针对AI场景的推理加速套件，能够帮助用户开展业务迁移、业务定制。NNAL加速库PyTorch库MindIE库四、国产化部署（三）容器部署在国产服务器上采用容器部署方式，需要提前在宿主机上安装驱动和固件。在下载MindIE镜像，创建对应的容器后，就可以部署自己的大模型服务。使用示例命令可以直接拉取Docker镜像。四、国产化部署（四）昇腾芯片配置昇腾架构是华为构建的AI计算体系，专为深度学习优化，覆盖端、边、云全场景。可选择的配置架构方案包括三类：1）MindFormers架构该架构使用国产生态全流程训练，适用于自动并行策略、负载均衡等场景，支持模型包括LLaMA-2、Qwen、ChatGLM3。2）ModelLink架构

该架构适用融合Megatron-LM的分布式训练、昇腾专属算子优化，支持Baichuan2、InternLM、Mixtral等国产大模型。3）HuggingFaceTransformers架构适用于原生PyTorch模型迁移，通过DeepSpeed支持昇腾，无需修改代码，支持大多数大语言模型的部署。目录

一本地部署四国产化部署五轻量化部署三云环境部署二集群部署六模型调试与超参数调优五、轻量化部署（一）模型蒸馏技术蒸馏技术作为一种通过知识迁移实现模型转换和压缩的方法，其核心是训练小型的学生模型（StudentModel）模仿大型教师模型（TeacherModel）的行为。五、轻量化部署（二）模型量化技术模型量化（ModelQuantization）技术的核心是降低神经网络模型参数和计算的数值精度来压缩模型体积、加速推理速度并降低能耗，通过线性或非线性映射将高精度浮点数值压缩为低精度离散值。映射方法如公式所示。表示16比特浮点数，表示低精度整数，N表示比特数，S和Z分别表示缩放因子和零点。五、轻量化部署（三）模型剪枝技术模型剪枝（Pruning）技术是通过移除神经网络中冗余的权重或神经元，生成稀疏化模型，降低计算复杂度。其依据理论是神经网络存在大量的低重要性连接，这些参数节点的权重接近零，同时稀疏的神经网络中可能包含有可独立训练的高性能稠密子网。主要分为非结构化剪枝（UnstructuredPruning）和结构化剪枝（StructuredPruning）两类。目录

一本地部署四国产化部署五轻量化部署三云环境部署二集群部署六模型调试与超参数调优六、模型调试与超参数调优（一）模型调试：性能调优实时与历史追踪结合，分析GPU/CPU利用率、显存及内存消耗，确保系统资源动态可视化。1）性能监控工具数据分区策略将数据分为训练与验证/测试集，避免过拟合，并按任务划分子集以并行处理。3）数据分区监测存储I/O延迟、网络带宽峰值及功耗温度阈值，优化资源配置并预防硬件过载风险。2）硬件指标分析六、模型调试与超参数调优（一）模型调试：监控维护日志聚合与分析系统通过集中收集、索引和存储来自框架、服务及应用的庞杂日志数据，将原始日志转化为深度洞察。1）日志聚合与分析安全策略的执行是保障大模型稳定运行的底层防线。除了需要构建覆盖基础设施安全策略，如强化配置、数据加密等，还需要构建运行安全策略。3）更新安全策略在部署大模型后需要考虑容错和恢复机制。当某个节点出现故障时，需要保证其他节点能够接管其工作。2）容错与恢复六、模型调试与超参数调优（二）超参数调优在模型部署后，通过精细化调整超参数，如学习率、批处理大小等，以适应实际应用环境，提升模型性能。超参数调优策略针对部署环境的用户交互、数据分布特点，进行参数层面的优化，确保模型在特定场景下的表现达到最佳。参数层面调优六、模型调试与超参数调优（二）超参数调优模型超参数功能具体参数解码策略参数(DecodingStrategyHyperParameters)控制文本生成的采样方式，直接影响生成文本的质量、多样性、确定性和速度。Temperature(温度)：在Softmax计算下一个词概率分布前，进行概率缩放。当其大于1.0时，能放大低概率词的可能性，使输出更多样化。Top-k（top-k采样)：在每个生成步骤，只考虑概率最高的K个候选词，然后从这个缩小后的集合中按概率重新归一化后采样。增加K值提升多样性但也增加引入不合理词的风险。Top-p（top-p采样)：从累积概率超过阈值p的最小词集合中采样。这个集合的大小是动态变化的，增加P值会增大候选集。生成控制参数

(GenerationControlParameters)约束生成过程中张量的范围和长度。max_new_tokens/max_length(最大生成长度)：限制模型最多生成多少个新词元（Token），通常包括输入长度。设置过低可能导致截断，信息不全；