生成式AI工具与项目实践 课件 项目8 AI模型本地部署以DeepSeek为例

项目8AI模型本地部署——以DeepSeek为例CONTENTS目录任务1

环境配置与模型加载任务2

本地推理与交互实践任务3

模型微调基础与实践任务4

个性化应用开发拓展【项目导读】本地部署技术路线

云端AI使用局限此前项目所用AI能力依赖云端服务器，需联网传输数据至服务商处理，离线无法使用。

本地部署核心优势本项目转向本地部署路线，将模型完整下载至电脑，由本机硬件完成推理，可离线运行、数据不外传且自主可控。【项目导读】项目学习路径与目标

大模型学习路径以国产大模型DeepSeek为例，按环境搭建—交互实践—模型微调—应用开发路径，完成Ollama安装、模型加载等实操。

模型能力认知培养通过本地小参数模型与云端旗舰模型对比，帮助学习者理解参数规模与模型能力的关联。

核心技能掌握目标建立大模型本地部署完整流程的系统认知，掌握将AI能力落地跨专业实际场景的核心技能。部署方案认知理解本地与云端部署的区别及适用场景，掌握主流本地部署方案特点与选型依据。掌握模型参数量、量化、上下文长度等核心概念，理解参数规模与模型能力的内在关系。模型微调与RAG认知理解模型微调基本原理与LoRA核心思想，知晓其适用范围与局限。了解检索增强生成（RAG）思路，明确零代码与代码化工具在开发中的差异。【学习目标】【技能目标】

本地模型基础操作可独立完成Ollama安装、模型下载加载，通过图形界面、命令行、API接口三种方式与本地模型交互。

Python调用模型API能运用Python调用本地模型API，实现自动化、批量化的问答处理任务，提升处理效率。

模型LoRA微调搭建可搭建微调环境，完成完整LoRA微调，让本地模型养成固定人设语气与回答结构。

知识库可视化应用搭建能用Streamlit搭建可视化本地知识库问答应用，结合提示词设计完成不同专业个性化应用。【素质目标】

数据安全意识培养树立数据安全与隐私保护意识，真切体会本地部署在数据自主可控层面的核心价值。培养严谨求证的实践态度，客观认知本地小模型的能力边界，不夸大、不迷信AI技术。

实践创新能力提升提升动手实践与工程实现能力，养成知识串联迁移、灵活解决实际问题的思维习惯。增强跨专业应用与创新意识，主动探索AI技术在不同专业领域落地的可行路径。环境配置与模型加载任务1云端部署运作模式AI能力依托远端服务器，用户输入经网络传至服务商服务器，计算后将结果返回至本地。本地部署技术路线把模型文件下载到本地电脑，由本机处理器完成推理计算，无需依赖远端服务器。本地部署学习内容将介绍本地与云端部署的区别、常见本地部署方案，完成Ollama安装、模型下载及运行方式认识。任务1：环境配置与模型加载8.1.1本地云端部署区别和方案选型

01云端部署工作模式用户通过网页或客户端传数据至服务商服务器，模型在服务器推理后返回结果，依托云端大模型无需本机算力。

02云端部署优缺分析优势是不受本机硬件限制，可使用大参数旗舰模型；局限为需联网，有数据隐私顾虑，高频使用可能产生费用。

03本地部署工作模式模型文件完整下载至本机，推理由本机CPU或GPU完成，无需联网，数据全程留存本机不传输至第三方。

04本地部署优缺分析优势是无需联网、数据隐私性强；局限为受本机算力显存限制，可运行的模型参数规模远小于云端旗舰模型。8.1.1本地云端部署区别和方案选型

（1）OllamaOllama：以命令行为核心的本地大模型运行框架，支持命令管理模型、提供本地API及基础图形化界面。

（2）LMStudioLMStudio：图形化本地部署工具，全界面操作门槛低，可扩展性与外部集成能力有限。目前主流的本地部署方案如下：8.1.1本地云端部署区别和方案选型（3）vLLM

高性能推理框架特点面向生产环境设计，适用于服务器级大规模并发部署，安装配置复杂，需专业运维知识，不适合个人学习。

本地部署工具选型后续任务需工具具备良好命令行操作和API能力，Ollama满足需求且有图形化窗口，兼顾不同操作基础。

任务核心要求说明任务1聚焦环境配置与模型加载，需明确本地云端部署区别及完成方案选型相关内容。8.1.2Ollama安装

安装操作说明预告将完成Ollama安装并启动自带图形化界面以确认安装成功，模型下载及对话操作后续结合参数讲解完成。8.1.2Ollama安装Ollama安装操作步骤

01Ollama下载操作打开浏览器访问Ollama官网，点击右上角“Download”进入下载界面，根据本机操作系统选择对应安装包。

02Ollama安装与启动双击下载好的安装程序，按默认选项完成安装，安装后Ollama会自动在后台常驻运行，系统托盘可见图标。

03Ollama初始界面情况点击托盘图标打开自带图形化聊天窗口，此时窗口内暂无可用对话模型。Ollama官网下载页面

Ollama安装向导系统托盘中的Ollama图标8.1.2Ollama安装安装成功确认说明出现图示界面，即表示Ollama安装并正常启动，后续可完成模型下载并在此界面对话。

Ollama图形化界面初始状态本地与云端部署差异本地部署需预先将完整模型文件下载到本机，可通过图形化界面或Ollama命令完成。8.1.3模型下载与参数量8.1.3模型下载与参数量模型名称参数含义

模型参数量含义模型名称常以“模型系列:参数规模”呈现，参数量指模型内部可调节数值量，量越大能力越强但硬件要求越高。参数量选择原则云端旗舰模型参数量达千亿级，本地部署一般选十亿级小参数版本，平衡运行性与对话能力。模型量化标识说明模型名称含q4、q8等量标识，量化程度越高文件越小、速度越快，但模型能力会有相应损失。Ollama模型特性Ollama提供的模型默认已做量化处理，用户下载使用时无需额外进行量化操作。8.1.3模型下载与参数量模型下载操作步骤1.打开命令提示符或PowerShell，执行指定命令下载DeepSeek1.5B模型2.下载完成后执行命令查看模型列表，确认下载成功即可离线运行已下载模型列表模型交互方式分类模型下载完成后，可通过图形化界面、命令行、API接口三种方式实现交互。交互方式核心共性三种交互方式载体不同，但底层均调用同一个本地模型服务，核心逻辑一致。8.1.4Ollama的三种运行方式8.1.4Ollama的三种运行方式

（1）图形化界面方式Ollama的图形化界面为8.1.2小节的聊天窗口，选deepseek-r1:1.5b即可对话，操作同网页版DeepSeek

（2）命令行方式通过ollamarun命令在命令行窗口对话，无需打开界面，适合快速测模型、需直接掌控操作的场景。8.1.4Ollama的三种运行方式（3）

API接口方式

接口集成调用方式Ollama提供本地网络接口，其他程序可通过该接口调用模型能力，此方式需编程基础，后续结合Python代码展开。

图形化界面对话操作返回指定聊天窗口，选择deepseek-r1:1.5b模型，在输入框输入测试内容即可获取模型回复。

命令行对话操作流程在命令提示符运行本地模型，进入交互模式后输入内容获取回复，输入/bye可退出对话返回命令行。

运行方式完成状态本地环境搭建、模型下载与加载已完成，deepseek-r1:1.5b可通过图形化界面或命令行正常对话。

图形化界面对话效果命令行对话效果本地推理与交互实践任务2任务2：本地推理与交互实践

已完成基础操作完成Ollama安装、模型下载，掌握图形化界面、命令行、API三种运行方式，deepseek-r1:1.5b可通过前两种方式对话。

后续深化实践方向一是通过命令行熟悉本地模型交互过程，二是学习用Python调用本地API，将模型能力集成进代码。8.2.1命令行交互实践01命令行交互选择原因鉴于此前已大量使用网页对话式AI互动，本节选用命令行交互，可直观查看模型运行过程，且与API调用逻辑相通。02交互方式兼容说明命令行与图形化界面调用同一模型，若偏好图形化界面，也可直接用其完成同等交互操作。03在命令提示符中进入交互模式，命令如下ollamarundeepseek-r1:1.5b04查看模型信息可查看当前模型参数量、量化方式、上下文长度等基础信息，还可知该模型基于Qwen架构蒸馏而来。05调整生成参数临时调高温度参数，生成内容随机性变强，用词更发散、风格更多样；参数越低越稳定保守。06清空对话上下文输入/clear可清空对话上下文，让模型重新开始，输入/bye可退出对话返回命令行。API调用适用场景自动化场景（如批量处理问题、嵌入自研程序）需通过API接口程序化调用模型，Ollama可提供支持。模型调用参数说明deepseek-r1类模型生成答案前会产生内部思考过程，代码中需将max_tokens设大，避免截断看不到最终答案。API调用操作步骤1.新建Python文件并命名为“api_test.py”；2.安装所需依赖库；3.在文件中输入对应代码；4.保存运行文件查看结果API调用优势说明API调用无需打开界面、人工逐条输入，程序运行一次可自动获取多问题回答，适配自动化场景。8.2.2Python调用本地API8.2.3本地模型与网页版效果对比提出对比测试需求

模型参数规模对比本地部署的是1.5B参数小模型，网页版DeepSeek为千亿参数级旗舰模型，参数规模远超本地版本。模型效果测试规划将通过基于项目7任务4图片批量转换脚本的边界情况问题，对比本地模型与网页版DeepSeek的回答效果。8.2.3本地模型与网页版效果对比

展示对比测试对象（1）本地模型（deepseek-r1:1.5b）（2）网页版DeepSeek

分析两者能力差距二者思路方向一致，均掌握基础编程处理逻辑，但网页版模型思考更全面，方案更贴合工程实际。

说明差距根本原因差距根本原因：本地部署模型参数量远小于网页版，前者综合推理等能力弱，此差距难靠使用技巧弥补。模型微调基础与实践任务3任务3：模型微调基础与实践模型能力差异解析本地小参数模型与网页版模型的推理能力差距源于参数规模悬殊，无法靠使用技巧弥补。小模型能力提升路径将训练目标收窄至特定小范围场景，通过额外训练可让本地小模型表现更符合预期。模型微调实践规划从基本概念入手搭建本地微调环境，通过LoRA微调让deepseek-r1:1.5b学会固定人设和格式作答，验证效果差异。8.3.1模型微调基本概念与LoRA原理

模型微调定义模型微调是在已训练好的基础模型上，用少量新数据继续训练，向特定方向调整且不推翻原有能力的过程。

全参数微调特点全参数微调：训练时更新模型全部参数，效果上限高，但对硬件要求高，小参模型也超个人电脑承受范围。

LoRA微调原理优势LoRA低秩自适应：仅在关键层插新参数并更新，大幅降显存与计算量，可在个人电脑微调。

LoRA微调适用场景LoRA微调更适合让模型学会固定语气、回答结构或格式规范，不宜用来让模型记住大量事实性知识模型体系关键区别Ollama的GGUF量化模型仅能对话推理，微调需用未经量化的原始权重，可通过Python下载。8.3.2微调环境搭建8.3.2微调环境搭建环境搭建说明安装微调所需的依赖库，在命令行中输入：pipinstalltorchtransformerspeftdatasetstrlacceleratemodelscope

依赖库安装说明通过pip在本机Python环境安装微调依赖库，transformers、peft等各库分别承担加载模型、实现训练等不同功能。

显卡环境验证操作新建Python文件“GPU_test.py”验证显卡环境，有适配显卡可加速训练，显存大小影响训练规模与速度。8.3.2微调环境搭建

模型权重下载操作新建download_model.py文件并输入代码运行，获取模型权重保存路径，完成微调前准备。训练目标与数据说明训练目标：让deepseek-r1:1.5b养成固定回答习惯，开头统一，先结论后分点。数据集：手工编写问答对，本地读取无需联网。8.3.3数据集准备与LoRA微调实操8.3.3数据集准备与LoRA微调实操训练操作步骤说明

数据集准备操作在脚本同目录下新建“train_data.jsonl”，按固定人设风格编写24条单行问答对。

LoRA参数配置训练新建Python文件“finetune.py”，加载模型、配置LoRA参数并读取已准备的数据集。

训练过程及结果运行finetune.py，训练中按logging_steps间隔打印损失等信息，loss应整体呈下降趋势。8.3.3数据集准备与LoRA微调实操训练结果与优势说明loss数值持续下降，模型正按训练数据模式调整输出；LoRA微调权重存于指定文件夹，仅含少量参数，体积远小于完整模型文件。8.3.4微调效果验证对比

模型验证方法微调后需验证模型是否养成预期回答习惯：用训练数据外新问题，对比原模型与加载LoRA权重的微调后模型的输出差异。

微调效果验证微调后模型稳定采用训练数据设定的格式，未见过的问题也保留该习惯，LoRA微调达标

训练注意事项训练过程和效果受数据条数、训练轮数、LoRA参数、显卡性能影响，可依设备灵活调整。个性化应用开发拓展任务4模型应用转向完成模型微调基础训练后，将重心从模型训练转向模型使用，学习把本地部署模型包装为可用应用。网页应用封装把模型问答能力封装成带界面的网页应用，降低使用门槛，让不熟悉代码和命令行的人也能操作。跨场景个性化应用将模型问答能力用于跨专业场景，通过不同提示词设计，让同一本地模型适配不同实际需求。任务4：个性化应用开发拓展8.4.1个性化应用方向与工具选型

RAG技术核心作用可让模型突破训练数据局限，针对用户提供的特定资料作答，输出贴合资料的精准内容。

RAG应用实现工具要搭建基于RAG的个性化应用，存在两类常见工具可用于相关开发实现工作。8.4.1个性化应用方向与工具选型（1）零代码的桌面应用AnythingLLM、CherbyStudio等零代码桌面应用，可图形化连接本地模型、传文档，上手快但难自定义。8.4.1个性化应用方向与工具选型（2）通过Python代码搭建网页应用的工具

可视化工具介绍如Streamlit、Gradio，均为Python库，几十行代码就能生成带输入框和按钮的网页应用，样式与逻辑由代码决定。

工具特性对比Gradio常用于快速搭建模型输入输出演示界面，Streamlit更适合搭建含多交互元素的完整结构应用页面。

选型依据分析团队有Python编程基础，用代码搭建应用可串联本地部署、API调用等知识点，后续也能自主修改功能。

最终工具选定结合项目定位与工具特性，确定选用Streamlit来完成本次个性化应用开发拓展任务。8.4.2使用Streamlit搭建个人知识库问答应用

应用核心功能说明网页应用核心功能用户上传文本资料并输入问题后，应用将资料与问题发送给本地部署的deepseek-r1:1.5b模型获取回答。简化RAG流程说明直接把上传文档全部内容放入模型提示词，无需切分、向量化等完整RAG流程，因该模型上