模型基础部署及项目 1

AI掌中启，部署初体验从零开始，在本地部署你的第一个大语言模型零基础·入门级大模型部署实战课程目录本次实训核心模块大模型Ollama部署与交互实战0101.项目概述：明确实训目标与核心任务02.知识储备：理解大模型原理与Ollama工具03.任务实施：一步步完成环境部署与模型交互04.拓展总结：探索更多模型与回顾关键收获学习与收获目标✔基础夯实掌握大模型本地部署逻辑✔实操技能独立完成Ollama环境搭建✔思维拓展具备AI应用开发基础思维期待大家全神贯注，在动手实践中掌握AI时代的核心技能！项目概述部署目标核心收益核心任务完成本地服务器环境配置与模型适配，实现知识库私有化部署，完成系统联调与性能优化测试。摆脱对外部API依赖，降低长期调用成本；实现数据本地化处理，保障数据安全；提升业务响应速度。在本地环境中独立部署AI模型，构建私有化、高可控的智能问答与处理系统。本地AI模型部署|我们的目标与任务项目描述（一）：为什么要做这个项目？你是否曾体验过ChatGPT、文心一言等在线AI的强大功能？想象一下，如果这些强大的能力完全属于你，不依赖互联网，数据绝对安全，这将是多么酷的事情！本项目将引导你实现这一目标，在你的个人电脑上，从零开始部署并运行一个开源大语言模型（LLM）。我们将从环境准备、模型选择、配置优化到最终的本地运行，全程手把手教学，让你也能拥有一个属于自己的离线AI助手。项目

目标✅本地私有化部署：告别云端，AI能力“随身”携带✅数据绝对安全：敏感信息不上云，隐私得到100%保障✅完全自主可控：自由选择模型，按需求灵活调整配置项目描述（二）：你将获得什么？告别复杂无需深厚的AI背景，通过简洁的命令行指令完成所有操作，轻松上手，快速启动。离线交互拥有一个可以在完全离线状态下流畅对话的AI助手，数据隐私完全由你掌控，无需担心网络连接问题。从使用者到构建者不再仅仅是被动的AI服务使用者，更能成为它的构建者和掌控者，深入理解AI的运行逻辑。学习目标：Ollama与开源大模型实践知识目标理解大模型（LLM）和开源模型的基本概念与区别，了解模型参数、推理等核心术语含义。掌握Ollama的核心功能与底层工作原理，理解其如何实现对开源模型的快速管理与本地部署。1243任务一：Ollama软件安装在官网下载并完成Ollama基础环境配置，确保运行环境正常任务二：模型下载与部署通过命令行拉取主流开源模型，熟悉模型部署的基础流程任务四：对话记录与巩固练习保存与模型的关键对话，回顾并巩固指令的使用技巧任务三：首次对话与模型切换发起第一次AI对话，尝试切换不同模型并对比回答差异工作任务单知识储备：理解大模型与Ollama核心概念关键工具学习目标理解大模型运行的底层逻辑，掌握Ollama的基础操作，为后续在本地快速部署和调用开源大模型做好准备。Ollama：轻量级的大模型运行框架，可一键部署、管理本地开源大模型（如Llama3、Qwen等），支持跨平台使用。大语言模型(LLM)：基于海量文本数据训练的生成式AI模型，具备强大的自然语言理解与生成能力。基础认知：大模型与本地部署本地AI助手的应用场景核心价值与三大典型应用场景序号场景名称核心功能与亮点详细应用描述01离线生活助手完全脱离网络环境运行，打破对网络连接的依赖，随时随地响应需求。无需联网，即可快速查询本地存储的天气、个人日程安排、待办事项提醒等日常信息，提供流畅便捷的生活辅助体验。02离线学习伙伴具备强大的本地处理能力，支持自然语言交互，提供即时的知识与逻辑支持。即时完成文本语义解析、知识库检索与逻辑推理，辅助撰写文稿、解析知识点、解答学习疑问，成为身边的高效学习助手。03数据安全保障“数据不出本地”的核心安全模式，消除云端泄露风险，保障隐私。所有交互数据与处理过程均在用户本地设备端闭环完成，不上传至任何云端服务器，从根本上杜绝隐私泄露风险，确保数据绝对安全。知识储备（一）：什么是大模型（LLM）？大语言模型(LargeLanguageModel,LLM)大语言模型是一种参数量极为庞大的深度学习模型。它的核心能力来自于在海量文本数据上进行的预训练，在这个过程中，模型能够自动学习并内化人类语言丰富的语法结构、词汇知识，更重要的是掌握了复杂的逻辑推理能力与广泛的世界常识。得益于这些能力，LLM成为了通用的人工智能基座，能够灵活执行问答、摘要、翻译、创作、代码生成等多种自然语言处理(NLP)任务，是当下AI应用生态的核心基础。💡核心洞察：大模型不仅仅是“聊天机器人”，它通过对海量数据的学习，获得了类人的语言理解与生成能力，是连接人类意图与复杂任务执行的桥梁，也是构建智能应用的关键基石。知识储备（二）：开源大模型与量化技术本地部署·两大基石开源模型解决了“从哪来”的问题，打破了商业壁垒，让技术普惠成为可能。量化技术解决了“去哪跑”的问题，让大模型从昂贵的云端“下放到”我们身边的个人电脑和移动端设备。🔓开源模型(Open-SourceModels)将模型架构、训练代码、预训练权重等关键信息完全公开，允许开发者自由下载、使用、修改甚至二次分发。它打破了技术垄断，是AI民主化的核心力量。代表：阿里通义千问(Qwen)、DeepSeekCoder、Llama2等。⚡量化技术(Quantization)通过“压缩”模型参数的数据精度（如从FP3232位浮点数转为INT88位整数甚至4位），在牺牲极小推理精度的前提下，显著降低模型的内存占用和算力需求，从而实现大模型在个人电脑或边缘设备上的高效本地运行。“开源”赋予我们权利，“量化”赋予我们能力。两者结合，让人人都能拥有AI大脑。知识储备（三）：开源模型的许可证允许商用·宽松类协议代表：Apache2.0、MIT、BSD此类许可证对商业使用友好，允许将模型集成到闭源的商业产品中，无需开源您的代码。只要保留原作者的版权声明和免责声明即可。适合绝大多数商业场景。限制商用·强开源类协议代表：GPLv3、AGPLv3遵循“传染性”开源原则。如果您的产品使用了此类协议的模型，或者基于其进行了修改，您的整个项目代码也必须开源。对于希望保护知识产权的商业公司，使用时务必谨慎评估。“能下载”≠“可随意商用”在下载和使用任何开源模型之前，请务必花时间阅读并理解其附带的开源许可证。这不仅是法律合规的要求，更是保护您项目安全与未来发展的关键一步。知识储备（四）：认识Ollama🎯专为本地运行大模型而生的开源工具Ollama旨在极大地简化大语言模型(LLM)的部署和管理过程。它提供了一套标准化的模型打包格式，将模型权重、配置和运行代码整合在一个单一的包中，从而让开发者和终端用户无需处理复杂的环境配置，即可在本地快速启动并运行高性能的大语言模型。核心理念与优势💡设计理念：“AIforeveryone”(人人可用的AI)•降低门槛：无需深厚的AI算法背景或繁琐的编译环境，一条命令即可启动模型。•轻量高效：针对本地运行做了深度优化，在消费级电脑上也能流畅运行主流开源模型。知识储备（五）：Ollama的优势与工作流程轻量级大模型部署与管理的优选方案：本地推理引擎的核心价值01开箱即用，极简部署无需繁琐的环境配置，仅需一行命令即可完成大模型的拉取与运行，极大降低了本地部署的技术门槛。02离线运行，数据安全支持完全离线的本地推理模式，所有数据处理均在本地设备完成，有效避免数据泄露，满足企业与个人的隐私保护需求。03成本可控，高度灵活摆脱云端调用费用，低成本实现私有化大模型应用。同时支持灵活的模型管理，支持多模型快速切换与定制。📝标准工作流：用户输入指令(CLI/WebUI)→自动从模型库拉取镜像→加载至本地推理引擎运行→生成并返回推理结果。知识储备（六）：Ollama命令行详解01/安装验证02/核心命令(启动模型)03/交互与退出检查Ollama是否成功安装到本地ollama--version下载并运行指定大模型

示例：启动3B版本的通义千问ollamarun<model_name>例:ollamarunqwen:3b进入对话模式输入问题，结束对话：输入/bye或按Ctrl+D提示符:>>>💡快速上手小贴士掌握以上三条命令即可完成Ollama的核心操作闭环。首次运行模型会自动下载，需耐心等待。建议从体积较小的模型（如3B/7B参数）开始体验，以缩短下载和加载时间。知识储备（七）：高级配置—环境变量与配置文件关键环境变量核心功能与作用典型应用场景OLLAMA_MODELS修改模型文件的默认下载与存储目录系统盘空间不足，需将大模型迁移至数据盘/外接硬盘OLLAMA_HOST自定义OllamaAPI服务的监听IP地址与端口号需要跨设备调用服务，或在局域网内共享模型能力OLLAMA_NUM_PARALLEL设置同时处理的请求数量上限，控制并发负载多用户同时访问或自动化脚本批量调用，优化吞吐量💡配置总结环境变量赋予了Ollama极强的灵活性，能够适应从个人笔记本到企业服务器的各种部署环境。除了修改路径与端口，合理配置还能优化硬件资源利用率。建议修改配置后重启服务，确保参数生效。任务实施：一步步完成部署与交互Step1·环境准备Step2·数据接入Step3·交互部署配置问答模型的基础参数，一键启动服务，进行真实场景对话测试，验证并优化回答准确性。上传《学生手册》或自定义文档，完成文本的智能切分与向量化，快速构建专属的AI知识库。安装Python环境与Dify工具包，登录Dify平台创建新应用，完成基础开发环境配置。实操目标：亲手部署AI应用并实现智能交互任务一：Ollama软件安装（步骤1：下载）010203访问官网&点击下载1.打开浏览器，输入网址访问Ollama官方网站：/2.在页面显眼位置找到“Download”按钮并点击，进入下载页面。选择对应操作系统版本根据自己的系统选择macOS/Linux/Windows点击DownloadforWindows进行下载点击下载任务一：Ollama软件安装（步骤2：安装）多操作系统安装指引：macOS/Windows/Linux操作详解💡提示安装过程简单快速，建议全程保持网络畅通，以便自动下载必要组件。01macOS系统：下载完成后，找到下载的.dmg镜像文件并双击打开。在弹出的窗口中，将Ollama图标拖拽到右侧的“Applications”（应用程序）文件夹中即可完成安装。02Windows系统：下载.exe安装包后双击运行，按照安装向导的提示点击“下一步”即可完成。⚠️重要提示：如果Windows防火墙弹出网络访问提示，请务必选择“允许访问”，否则可能无法正常使用Ollama服务。03Linux系统：打开终端（Terminal），执行Ollama官网提供的一键安装脚本（通常为一条curl命令），系统将自动下载并配置运行环境。任务一：Ollama软件安装（步骤3：验证）010203打开命令行工具打开您电脑上的命令行工具。如果是Windows系统，我们强烈推荐使用PowerShell；Mac或Linux用户使用自带的“终端”应用即可。输入版本检查命令在打开的命令行窗口中，输入以下指令并按下回车键：ollama--version检查返回结果观察终端输出。如果显示了类似下方的版本号信息，则代表安装成功：ollamaversion0.20.7若提示“命令不存在”等报错，请重新检查安装过程或查看日志。验证安装三步法任务二：模型下载与部署|步骤1：环境与工具准备01.打开命令行工具根据操作系统的不同，选择对应的终端工具：•Windows:PowerShell/CommandPrompt•macOS/Linux:Terminal(终端)02.确认当前路径检查命令行的当前工作目录是否正确。•通常直接在用户的“主目录”下操作即可，无需特别切换。•如需确认，可输入命令：pwd(macOS/Linux)或cd(Windows)03.确认Ollama服务确保Ollama后台服务已启动并运行：•安装完成后，Ollama通常会作为系统服务自动在后台启动。•若未启动，请手动在应用列表中打开Ollama应用。关键提示：若命令行中输入“ollama”出现“commandnotfound”错误，请检查环境变量配置或重新启动终端。这是保证后续下载命令正常执行的前提。任务二：模型下载与部署（步骤2：执行命令）打开命令行终端，输入以下任一命令，Ollama将自动完成模型的下载与运行：01通义千问3B模型部署命令：ollamarunqwen:3b说明：通义千问是阿里云开发的高性能大语言模型，适合通用对话、文本生成等场景。02DeepSeekCoder1.3B部署命令：ollamarundeepseek-coder:1.3b说明：专为代码开发设计的模型，擅长编写和解释代码，适合技术类任务。💡首次运行会自动下载模型文件，

请保持网络通畅并耐心等待。任务二：模型下载与部署（步骤3：加载完成）当看到命令行提示符变成等待输入状态（通常是>>>或空白行）时，如图上图所示，表示模型已成功加载，同学们可以开始对话了。任务三：首次对话与模型切换（步骤1：开始对话）010203输入指令找到命令行中的>>>提示符，在其后直接输入你想问的问题或简单的问候语，输入完成后按下键盘上的回车键。等待“预热”首次进行推理时，系统可能需要加载资源，因此会有一个“预热”过程，耗时约30-60秒。请耐心等待系统响应，不要重复发送指令。提问示例·简单问候：“你好！”·知识问答：“地球上最高的山峰是哪座？”·功能测试：“帮我写一个Python的加法函数”STEP01/开启交互之旅任务三：首次对话与模型切换（步骤2：观察与退出）命令行交互实操指南：实时查看回复·体验多轮对话·掌握退出技巧01查看回复：提交指令后，AI模型生成的回答内容会直接显示在你的命令行窗口中，请留意查看。02多轮对话：无需重启程序，直接在命令行继续输入新的问题或指令，即可与模型进行连续的多轮交互。03两种退出方式：当你想结束当前对话时，输入指令/bye并按下回车，或者直接使用组合键Ctrl+D快速退出。💡实操提示：截图展示了命令行中输入退出指令的典型界面，请注意观察系统提示的退出成功信息，确认程序已正常结束运行。任务三：首次对话与模型切换｜步骤3：模型切换Ollama模型切换操作流程1.退出当前对话：在正在运行的模型命令行交互窗口中，按下Ctrl+D组合键，即可退出当前模型对话，返回到系统终端。2.执行切换命令：在终端中输入新的模型运行指令即可启动新模型，无需重启Ollama服务。例如：从阿里Qwen切换到深度求索DeepSeek代码模型，只需输入：ollamarundeepseek-coder:1.3b#从qwen:3b切换至此模型任务四：专用大模型安装（一）：向量模型与重排模型模型类型核心作用(RAG场景下)Ollama安装指令向量模型

(EmbeddingModels)将文本（问题、知识库内容）转化为计算机可理解的高维向量，通过计算向量间的“相似度”来快速检索出与用户问题最相关的文档片段。ollamapullbge-m3重排模型

(RerankerModels)对向量检索召回的结果进行二次排序，利用模型更强的语义理解能力，确保最相关、质量最高的文档排在最前面，显著提升回答准确性。ollamapulllinux6200/bge-reranker-v2-m3总结与价值：为什么需要它们？基础大模型通常没有自带您私有的知识库。向量模型与重排模型是构建企业级问答系统（RAG）的两大基石。前者负责把海量知识“存入”向量数据库，后者负责把最精准的知识“取出”给大模型参考，两者结合实现了大模型的“知识更新”与“事实一致性”。任务四：专用大模型安装（二）：部署Qwen视觉模型解锁多模态能力·让AI看懂图片并交互的部署实操STEP01

搜索模型打开Ollama官方模型库，在搜索栏输入关键词“qwenvl”。

“vl”代表“VisionLanguage”，即视觉语言模型，能同时理解文本指令和图像内容。STEP02

终端启动在命令行终端（WindowsCMD或Mac/LinuxTerminal）中执行以下命令，启动最新版模型：

ollamarunqwen2.5vl:latestSTEP03

交互问答模型下载并加载完成后，即可在交互界面进行提问。

输入提示词并附带图片路径或URL，即可让AI分析图片内容、描述画面或解答与图片相关的问题。拓展与总结：探索更多可能与回顾收获回顾收获未来展望总结行动1.复盘项目文档并归档沉淀2.组织团队内部经验分享会3.持续跟进反馈并优化现有方案•探索更多场景的AI+业务落地应用•结合用户需求持续迭代产品功能•优化系统架构，提升系统的稳定性和易用性•技术：掌握了RAG等核心AI技术的应用•能力：提升了复杂问题的分析与解决能力•成果：实现了“智答规章”的产品化落地总结回顾与未来规划任务拓展：对比不同模型对比维度qwen:3bdeepseek-coder:1.3b清晰度语言通俗易懂，结构清晰逻辑严密，技术场景解释更专业准确性常识类问题回答准确，覆盖面广技术细节精准，代码生成错误少回答风格口语化表达，亲和力较强偏书面化与技术化，严谨简洁适用场景通用问答、文案创作、日常闲聊代码编写、算法解题、技术咨询实践步骤：1.准备一个常识性问题（如：“简述太阳系八大行星”）。2.用完全相同的问题分别提问不同模型（如qwen:3b和deepseek-coder:1.3b）。3.记录回答并对比分析：在清晰度、准确性、回答风格上有什么不同？实践任务：项目总结与评价：回顾与反思🛠️安装与部署复盘关键问题：•是否顺利安装Ollama并成功拉取、运行了目标模型？•过程中遇到了什么阻碍？（如网络、硬件、版本兼容）•最终是通过什么方法解决的？