人工智能通识应用基础课件 项目七 4：大模型4

项目七

大模型（部署、训练、微调）项目概述项目知识要点知识能力目标学时本项目聚焦大模型的技术本质与实践落地，系统梳理大模型的定义、架构原理、关键技术，结合ChatGLM系列模型的部署案例。1初识大模型2大模型核心原理3大模型关键技术4大模型部署【技能要求】1能独立完成大模型的环境配置与部署。2能运用关键技术解决大模型应用中的训练效率、推理速度等问题。3具备大模型适配特定场景的微调能力。【知识要求】1理解大模型的定义、核心特征与发展历程。2掌握Transformer架构及变体原理。3熟悉大模型训练优化、高效推理与参数微调技术。2项目实训大模型部署应用实践2项目知识要点与目标7.4大模型部署

ChatGLM是由清华大学知识工程实验室（KEG）与智谱AI联合研发的大语言模型，在自然语言处理领域备受瞩目。其基于GeneralLanguageModel（GLM）架构构建，具备出色的中英双语处理能力，为用户提供智能问答、对话交互等多种服务。智谱AI成立于2019年，由清华大学知识工程实验室技术成果转化而来，是国内较早投身大模型研发的企业。2020年，智谱AI开始研发GLM预训练架构，迈出了构建大语言模型的关键一步。次年，百亿参数模型GLM-10B训练完成，同时利用MoE（MixtureofExperts）架构成功训练出收敛的万亿稀疏模型，展现出团队在模型研发上的深厚技术积累与创新能力。1.ChatGLM简介与发展历程步骤1：硬件选择。GLM-4对硬件有一定要求，推荐使用NVIDIAGPU（如A100）以加速推理。若使用消费级显卡，建议显存16GB以上；若部署大型版本，需专业计算卡支持。此外，需确保主机具备足够的内存（建议16GB以上）和存储容量。本书选择在阿里云服务器上进行部署，如图7-3所示，进入阿里云平台，选择人工智能平台（API），选择交互建模（DSW）。点击新建实例，选择相关配置资源，本书选择的资源如图7-4所示，其中资源规格选择8vCPU、32GiB、NVIDIAV100，镜像选择pytorch2.6.0，gpu-py311-cu124，ubuntu22.04。7.4大模型部署2.大模型部署步骤2：软件环境配置。新建好阿里云资源，稍等几分钟等待环境建好，点击打开，进入阿里云环境，选择Terminal进入命令行界面。输入命令apt-getupdate，此命令用于处理软件包的工具，update指令的作用是从软件源（即存储软件包的服务器）获取最新的软件包列表和版本信息。在安装新软件之前执行该命令，可以确保后续安装的是最新版本的软件，避免因软件源信息陈旧而安装到过时或不兼容的版本。7.4大模型部署输入apt-getinstallgit-lfs，此命令同样是Ubuntu系统的apt-get命令，install表示安装操作，git-lfs是要安装的软件包名称。GitLFS（LargeFileStorage）是Git的一个扩展工具，用于处理Git仓库中的大文件。执行此命令，系统会从软件源下载并安装GitLFS工具。输入gitinit命令，init表示初始化，该命令用于在当前目录下初始化一个新的Git仓库。执行后，当前目录会生成一个隐藏的.git文件夹，里面包含了Git仓库的配置信息、版本控制数据等。此时，该目录就可以用于进行Git版本管理，如添加文件、提交更改、创建分支等操作。7.4大模型部署输入gitlfsinstall命令，如图7-9所示，执行此命令来对当前Git仓库启用GitLFS功能。它会在仓库的配置文件中进行相应设置，使Git能够识别和处理大文件，后续将大文件添加到仓库时，GitLFS会自动按照其机制进行存储和管理，而不是将文件原始内容直接存储在Git仓库内。步骤3：模型下载与部署运行。gitclone/gh_mirrors/gl/GLM-4.git命令，在gitcode网站把GLM-4下载，下载完成之后就能够看到服务器上出现文件夹GLM-4，文件夹中存放的就是GLM-4运行文件。7.4大模型部署进入basic_demo目录，点击requirements.txt文件，文件中存放运行GLM-4相关的依赖包，输入pipinstall-rrequirements.txt命令安装依赖。注意：运行命令时，需要进入到requirements.txt文件所在的目录中，即basic_demo目录。在文件夹basic_demo中新建一个目录model，model用于存放下载的模型文件，进入到目录model中，输入命令：gitclone/ZhipuAI/glm-4-9b-chat-hf.git，将GLM-4的模型文件下载到model中。7.4大模型部署模型文件下载完成后，model目录中出现glm-4-9b-chat-hf模型文件，退出到basic_demo文件中，点击trans_web_demo.py，修改Python文件代码，将模型文件存放的位置，更改为glm-4-9b-chat-hf文件存放位置，即MODEL_PATH=os.environ.get('MODEL_PATH','THUDM/glm-4v-9b')更改为MODEL_PATH=os.environ.get('MODEL_PATH','model/glm-4-9b-chat-hf')修改完成后，输入命令pythontrans_web_demo.py，运行Python文件。7.4大模型部署运行文件成功后，点击RunningonlocalURL::8000进入到GLM-4大模型对话界