人工智能通识与伦理 课件 2.3 AI大模型本地应用部署实践

人工智能通识2026年10月27日2.3AI大模型本地应用部署实践第2章AI工具与平台初体验目录CONTENTS0102032.1大模型基础2.2无代码AI工具全景图2.3AI大模型本地应用部署实践目录CONTENTS010203040506任务场景学习目标相关知识和技能任务实施任务小结练习任务PART01任务场景任务场景说明在校园学习与科研中，很多任务需要调用大模型完成智能问答、文案生成或多模态处理。相比在线工具，本地部署能够在离线环境下运行，提升数据安全性与可控性。以LMStudio软件为例，实现在个人电脑上部署并运行Qwen3-VL-4B等大模型，体验从安装到应用的完整过程。PART02学习目标知识目标了解本地部署大模型的意义与基本流程。熟悉LMStudio的功能与操作界面。认识Qwen3-VL-4B等大模型的特点与应用场景。能力目标能够独立完成LMStudio的安装与模型加载。掌握本地运行大模型进行文本与多模态任务的基本方法。能够在校园场景或个人计算机中应用本地模型完成简单创作或分析。情感目标建立理性技术观，理解本地部署的优势与局限。增强数据安全与隐私保护意识。培养自主探索与实践精神。PART03相关知识和技能本地部署大模型的基本概念在人工智能快速发展的背景下，常见的使用方式是通过云端平台调用模型。优势在于便捷，只需联网即可获得强大的计算能力和丰富的功能。云端也存在一些局限，比如网络环境不稳定时无法使用，或者在涉及敏感数据时存在隐私风险。所谓本地部署，就是将大模型直接安装并运行在个人计算机或校园服务器上。这样做的最大特点是离线可用。除了离线可用，本地部署还带来数据安全与隐私保护的优势。LMStudio软件简介LMStudio安装简单、模型下载方便、交互直观。如图所示，这种体验与在线AI工具几乎一致，但运行完全在本地，更加安全可靠。图中的LMStudio加载了“qwen3-8b”大模型，回答了用户提问“你是谁”，可见它是由通义实验室（通义实验室是阿里巴巴集团旗下的核心机构，专注于人工智能及大模型研究）研发的大模型。理解大模型运行参数与性能表现（一）生成速度（Token/s）首个Token用时Token是什么？在语言模型中，Token是最小的语言单位，可以是一个字、一个词，甚至一个标点。模型的生成过程就是“一个一个地输出Token”。这是指模型每秒钟能生成多少个Token。例如，“135token/s”，说明模型每秒能输出约135个语言单位。速度越快，响应越流畅，适合实时对话或现场演示。这是模型开始生成第一个词的等待时间，通常在0.1～1秒左右。时间越短，说明模型启动更快，体验更自然。理解大模型运行参数与性能表现（二）以Qwen3-VL-4B为例“Qwen”是模型系列名称，由通义实验室研发；“3”表示第三代版本；“VL”代表Vision-Language，即支持图像与文本的多模态任务；“4B”表示模型拥有约40亿个参数（B=Billion）。当前最新为V3.5版。参数是模型学习语言规律的“记忆单元”。参数越多，模型理解能力越强，但也意味着运行时需要更多计算资源。个人如何选择？对于普通笔记本电脑，建议选择4B～8B参数规模的模型；如果使用高性能显卡或校园服务器，可以尝试30B或更高的模型。理解大模型运行参数与性能表现（三）模型名称架构类型激活参数量推荐最低显卡型号显存要求说明Qwen3-VL-4B稠密模型4BNVIDIARTX3060Laptop≥6GB支持文本与图像任务，适合教学演示与校园项目Qwen3-30B-A3BMoE模型3B（激活）NVIDIARTX4060Laptop≥8GB虽然总参数为30B，但仅激活3B，性能强且资源友好稠密模型与专家模型对比：PART04任务实施1.安装LMStudio打开LMStudio官方网站(lmstudio.ai/download)，下载适合操作系统（Windows、macOS、Linux）的安装包，如图所示。按照提示完成下载和安装，启动软件后进入主界面。如图所示，建议选择“PowerUser”高级用户，点击“Continue”继续，其它向导界面点击右上角的“Skip”忽略，进入主界面。2.基本设置010203Settings——GeneralHardware（硬件）首次启动完成，在LMStudio主界面，如图所示，点击右下角的齿轮标记，打开“应用设置”，进行必要的检查和设置。选择语言（language）为“简体中文”，方便后续交互；可选择用户界面，建议选“高级用户”。确认启用当前计算机的显卡（GPU）；在AI大模型运行中，GPU的速度远远大于CPU，需优先选用。3.下载大模型如图所示，点击左侧的“发现”按钮，打开大模型搜索界面，输入“Qwen3VL4B”，列出可供下载的大模型。搜索列表主要有三种可选。Qwen3-VL-4B、Qwen3-VL-4B-think、Qwen3-VL-4B-Instruct，按需要选择下载。假设，我们选择“Qwen3-VL-4B”，点击右下角“Download”下载，大模型文件约3.33GB，相对来讲还是很“轻巧”了。等待下载成功完成后，模型会显示在已安装列表中。4.运行环境设置如图所示，选择“Runtime——Selections”，配置运行环境，很重要。打开GGUF选择列表，根据显卡类型选择运行环境。一般来说，nVidia（英伟达）显卡选择“CUDA”，AMD等其它显卡选择“Vulkan”，以便于发挥最大的AI运算能力。5.加载运行大模型在LMStudio主界面的顶部，选择已安装模型列表中的“Qwen3-VL-4B”，按默认方式直接加载该大模型。如图所示，加载成功后的大模型显示在界面顶部；然后，点击左上方的“+”按钮，创建新会话；之后，在下方交互对话框输入“你是谁”，AI回复“我是通义千问……”，操作成功。6.设置系统提示词在LMStudio右侧参数设置区，点击“Context”设置；在“系统提示”中，输入示例提示词“你是大学计算机社团的智能助手，能够用亲和的语气回答问题。”之后，同样提问“你是谁”，AI回复大致就是“我是通义千问（Qwen），大学计算机社团的“AI小助手”！虽然我是个AI，但我会用最亲切、最懂你的语气陪你聊技术、解难题、写代码、甚至帮你规划社团活动～……”。与初始未设置系统提示词相比，明显体现了AI角色设置的作用，使回答更符合场景需求。在LM中，可以保存多个系统提示词，以便在不同的对话环境中，选择使用。7.多模态测试在交互区上传一张图片，或者直接粘贴图片，并输入提示词“请描述这张图片的主要内容。”模型会识别图像内容并生成文字描述，展示多模态能力。同时，也可以实现OCR图片识别文字功能，从纸质印刷品照片、截图等媒介上提取文字等，显著拓宽了AI应用场景。PART05任务小结01020304任务小结内容完成了LMStudio的安装与基本设置，下载并加载了Qwen3-VL-4B模型，并通过参数配置和系统提示词的设定，体验了模型的文本生成与图像识别功能。LMStudio的使用流程清晰、操作简便，能够在本地环境下快速运行大模型。也认识到硬件资源、模型规模和提示词设计都会影响运行效果。不仅掌握了AI工具的基本操作，还加深了对本地部署大模型的理解，实践表明，本地部署不仅能提升数据安全与自主性，还能帮助我们更深入理解大模型的应用机制，为后续的研究与创新提供基础。PART06练习任务练习任务内容1.模型加载与文本生成。在LMStudio中加载Qwen3-VL-4B模型，输入提示词2.图像识别与描述。在LMStudio中加载Qwen3-VL-4B模型，上传一张校园场景图片（如图书馆、操场或教室），在交互区输入“请写一段校园春天风景的宣传文案。”观察模型生成的结果，并尝试修改提示词，比较