Lin基础及其教程 3

项目11本地化AI模型部署实践——以DeepSeek为例主讲人：XXX目录CONTENTS任务11.1：Ollama概述任务11.2：DeepSeek概述任务11.3：部署Ollama与DeepSeek拓展阅读与思政引领学习目标了解DeepSeek的基本概念、功能及其在AI领域的应用场景；掌握Ollama的作用，并理解其在Linux环境下管理和运行AI模型的机制；熟悉Docker和OpenWebUI的基本概念及其在容器化部署AI模型中的应用；了解DeepSeek终端交互和Web浏览器端交互的不同使用方式。知识目标能够在openEuler24.03LTS系统上成功安装Ollama并部署DeepSeek模型；能够使用Docker运行OpenWebUI，实现DeepSeek的Web端交互；掌握持久化存储技术，确保OpenWebUI的数据不会因容器重启而丢失；能够在本地或服务器环境中高效地管理DeepSeek模型，并优化其运行性能。能力目标培养自主学习的意识；培养思考问题、分析问题和解决问题的能力。素质目标任务11.1Ollama概述任务11.1CONTENTS01.Ollama简介02.Ollama的应用场景03.Ollama与DeepSeek01Ollama简介Ollama是一个开源的大型语言模型平台，旨在让用户轻松在本地运行、管理和交互语言模型。它简化了机器学习的使用，使非专业开发者也能便捷地利用大型语言模型进行多种自然语言处理任务。什么是Ollama定义与目标123Ollama的功能特性Ollama的开源特性允许用户查看、修改和优化其内部机制，促进社区创新。本地化运行则保护数据隐私，提高响应速度，降低运营成本，确保服务稳定可靠。开源与本地化Ollama支持多种硬件加速方案，包括传统CPU和新兴架构如AppleSilicon，用户可根据硬件配置选择最优方案，充分发挥硬件性能，降低硬件升级门槛。硬件加速选项Ollama内置多种知名预训练模型，如GPT、BERT等，用户无需从头训练，可直接加载使用，节省时间和精力。同时，平台提供模型微调功能，满足个性化需求。预训练模型丰富Ollama的功能特性Ollama提供命令行工具和PythonSDK等多种API接口，设计简洁易用，开发者可快速将Ollama集成到现有应用中，简化开发流程，提高系统可扩展性和可维护性。高效API集成1除了文本处理，Ollama还支持音频、视频等多模态数据处理，拓宽了应用场景，如智能客服、多媒体内容分析等，提高了系统的智能化水平。多模态支持2Ollama运用容器化技术，简化了模型在本地或云端的部署流程，确保应用程序在不同环境中的一致性运行，提高了系统稳定性和安全性。简化模型部署3Ollama的功能特性Ollama提供集中管理平台，用户可直观查看模型状态、版本和性能数据，轻松管理模型的版本迭代和变更，提高了工作效率，降低了管理成本。统一模型管理Ollama打破单一任务处理局限，实现不同类型模型的无缝协作，如语言模型与计算机视觉模型结合，应对复杂应用场景，提供更智能体验。跨模型协作支持Ollama优化推理机制，支持批量处理，采用先进资源管理策略，确保模型高效运行，满足高性能和实时性需求。高效推理机制02Ollama的应用场景Ollama助力开发者快速集成大型语言模型，实现实时对话、文本生成等功能，适用于自动客服、聊天机器人等场景，提升用户体验和服务效率。自动客服与聊天机器人AI驱动的应用开发结合文本、语音和视觉数据，Ollama为用户提供全面解决方案，如图像描述生成、视频分析等，满足多模态数据处理需求。多模态AI应用图像描述与视频分析模型实验与迭代快速试验与版本管理对于研究人员和数据科学家，Ollama提供快速试验和迭代模型的环境，便于管理不同实验版本，保持工作高效性和连贯性。Ollama通过实时获取用户数据，调用预测模型进行行为分析，为用户提供个性化推荐服务，适用于电商推荐系统、新闻推荐等场景。电商与新闻推荐智能推荐与个性化系统在金融风控、精准营销、库存管理等领域，Ollama的模型可实时处理大量数据并做出决策，提升效率和准确性。自动化决策系统金融风控与精准营销03Ollama与DeepSeekOllama作为DeepSeek模型本地化部署的核心工具，为DeepSeek提供稳定、高效的运行环境。用户通过Ollama的标准化流程即可完成DeepSeek的本地运行，无需手动处理复杂环境配置。两者关系依赖与被依赖任务11.2DeepSeek概述任务11.2CONTENTS01.DeepSeek简介02.DeepSeek的功能特性03.DeepSeek的应用场景01DeepSeek简介什么是DeepSeekDeepSeek是杭州深度求索人工智能基础技术研究有限公司推出的AI助手，于2025年1月15日正式上线。它凭借自然语言处理、机器学习与深度学习、大数据分析等核心技术优势，迅速在教育、科研、企业等多个领域得到广泛应用。核心定义1DeepSeek采用“大规模预训练+微调”的模式，使其在理解上下文、生成自然语言文本、代码补全方面表现优异，标志着我国人工智能技术在实际应用中的又一次重大突破。技术模式2随着数字经济的蓬勃发展以及各行业对高效、智能解决方案的迫切需求，DeepSeek的应用前景十分广阔，为用户提供了高效、智能的解决方案。应用前景302DeepSeek的功能特性DeepSeek采用开放式架构，支持本地部署，并兼容Ollama、HuggingFace等多种AI部署框架，极大地拓宽了开发者的选择范围，促进了技术创新与应用拓展。开源与兼容开放式架构DeepSeek的国产化适配模型针对中文信息处理领域进行了深度优化，显著提升了其在中文理解和生成方面的能力，为中文用户带来了更为自然、贴切的语言交互体验。国产化适配中文优化离线本地化部署数据安全DeepSeek提供离线本地化部署方案，允许用户在个人计算机或企业内部服务器上直接运行系统，无需依赖外部API或云服务，有效降低数据泄露风险，提升数据安全水平。性能优化离线本地化部署减少了网络延迟，提高了系统响应速度，为用户带来了更加流畅的使用体验。文本生成与编辑高质量文本生成DeepSeek能够根据用户输入的关键词或指令，自动生成高质量的文本内容，如课程大纲、教案设计、作业题目和考试试卷等。个性化编辑用户还可以对生成的文本进行编辑和调整，以满足个性化需求。DeepSeek具备强大的逻辑推理能力，能够解决复杂问题，为教育领域的课程设计和跨学科资源整合提供支持。逻辑推理与问题解决复杂问题解决多媒体资源生成与整合多媒体内容生成DeepSeek不仅能生成文本内容，还能生成多媒体资源，如PPT课件、实验动画等，丰富课堂形式，提高学生的学习兴趣和参与度。资源整合用户可以上传自己的教材或资料，DeepSeek会自动匹配相关的动画、实验视频等资源，实现资源的有效整合。DeepSeek提供实时互动功能，帮助教师设计课堂互动环节，如角色扮演、小组讨论等，增强学生的课堂参与感和团队协作能力。实时互动与反馈课堂互动设计DeepSeek提供智能批改功能，对学生的作业进行自动批改和反馈，减轻教师的批改负担。智能批改03DeepSeek的应用场景智能问答信息查询与知识问答DeepSeek作为聊天AI助手，能够为用户提供信息查询和知识问答服务，凭借其强大的知识库和语义理解能力，给出准确、及时的回答。个性化推荐DeepSeek还能根据用户的兴趣和需求，提供个性化的推荐服务，帮助用户发现更多有价值的内容。代码生成与优化DeepSeek支持多种编程语言，如Python、Java、C++等，能够帮助开发者快速生成代码、自动补全代码，并对代码进行优化，提升开发效率。多语言支持DeepSeek能根据开发者的编程习惯和项目需求，提供定制化的代码生成方案，进一步提升开发效率。定制化方案智能文档分析DeepSeek能够对技术文档、论文、企业报告等文本进行语义分析和总结，提取关键信息，生成简洁明了的摘要，帮助用户快速了解文档的核心内容。文档语义分析DeepSeek还能对文档中的数据进行统计和分析，提供有价值的洞察和建议，帮助科研人员和企业更有效地利用内部报告和数据。数据统计与洞察12搜索增强智能检索DeepSeek结合先进的AI搜索技术，优化了传统搜索引擎的精准度与相关性，能够更准确地理解用户的搜索意图，并返回与用户需求高度相关的搜索结果。搜索体验提升DeepSeek为用户提供更智能的检索体验，无论是寻找特定信息、了解行业动态，还是进行学术研究，都能提供有价值的搜索结果和推荐。任务11.3部署Ollama与DeepSeek任务11.3CONTENTS01.部署命令行运行环境02.部署可视化界面01部署命令行运行环境01.部署环境概述本次实践选用CPU为主要算力，以Ollama与DeepSeek的安装和顺利运行为主要目的。实践时，调整openEuler24.03LTS虚拟机配置，将虚拟机的CPU核心调整为16个vCPU，内存调整为32G。虚拟机配置环境配置由于受虚拟机环境以及GPU资源等方面的限制，本次部署不要求系统实现快速响应，主要以确保Ollama与DeepSeek能够顺利安装和运行为目标。环境限制环境限制说明02.运行环境的软件准备安装运行组件更新系统若openEuler操作系统长时间未使用，建议在启动终端后，先执行“dnf-yupdate”命令更新系统。安装基础工具完成更新后，输入“dnf-yinstallgitcurlwgetpython3python3-pip”命令，dnf会自动判断需要额外补充的软件包，一并安装到系统中。安装docker工具安装依赖项在终端输入“dnf-yinstalldnf-utilsdevice-mapper-persistent-datalvm2”命令，安装Docker所需的依赖项。添加仓库将华为云提供的DockerCE仓库，添加至本地openEuler系统中。执行命令“dnfconfig-manager--add-repo=/docker-ce/linux/centos/docker-ce.repo”。调整仓库地址由于openEuler系统默认不支持CentOS系列中的$releasever变量，需要手动将仓库实际的下载地址由“”替换为“/docker-ce”，并将“$releasever”替换为具体的版本号。安装docker组件使用dnf命令同步repo，再安装docker-ce、docker-ce-cli和containerd.io等组件。01020304启动和验证docker工具启动docker服务完成上述的安装后，在终端输入“systemctlstartdocker”命令，启动docker服务，如果需要设置docker服务为开机自动启动，则可以执行“systemctlenabledocker”命令进行设置。验证docker安装运行“docker--version”命令，检查docker是否安装成功。0102执行docker工具下载“hello-world”镜像执行命令“dockerpullhello-world”，用于下载“hello-world”镜像。然后执行命令“dockerrunhello-world”，启动相应的容器。下载并运行镜像如果提示网络连接不畅通，可以通过为docker设置全局proxy或配置专用的镜像加速器来解决。网络问题解决12配置docker网络默认情况下，docker的全局proxy配置文件是“/etc/systemd/system/docker.service.d/http-proxy.conf”，如果相应的目录和指定的配置文件不存在时，可以使用mkdir、vim等命令创建所需的目录和空白文档，再进行配置。全局proxy配置1当docker官方的默认源下载缓慢时，可以设置阿里云、华为云、中科大等国内的镜像加速器，以提高访问速度。镜像加速器配置2在完成上述的方法1或方法2的配置后，均需要使用systemctl命令，重新加载docker服务。重新加载docker服务303.安装ollama工具脚本安装方式获取安装指南登录Ollama官方网站，获取相应的安装指南。在官方提供的安装指南中，提供了多种安装方式，其中最简单的是利用官方的安装脚本完成部署。手动安装方式下载安装包如果在网速访问较为缓慢时，则可以采用手动安装方式，提前下载对应的Ollama版本，然后再使用tar命令解压缩至本地指定的目录。解压缩安装以x86平台，64位操作系统环境的版本为例，将ollama解压缩至本地。0102将Ollama解压至指定目录后，打开一个新的终端，在终端运行“ollamaserve”命令，启动Ollama工具。启动并检查Ollama运行启动Ollama启动一个新的终端，执行“ollama-v”，可以查看当前运行的信息，同时，在启动Ollama工具的窗口，会根据命令执行情况输出相应信息。检查运行状态04.命令行方式运行DeepSeek模型安装模型选择模型因资源限制，在本次命令行安装演示过程中，仅选用DeepSeek的8B模型进行展示。启动模型打开终端，在确认启动ollama服务后，执行“ollamarundeepseek-r1:8b”命令启动。如果是初次使用，则会先完成模型的下载，再启动相应的模型。0102用户通过左下角提示符，输入相应的问题，可以进行交互式问答的输入。交互式问答命令行方式下问答式交流02部署可视化界面01.什么是OpenWebUI？OpenWebUI概述定义与功能OpenWebUI是一个开源的Web用户界面，用于管理和交互AI大语言模型（LLM）。它提供直观的网页形式界面，支持多种模型，如OpenAI、Ollama等，适合各类用户使用。主要特点支持多模型、WebUI、本地化部署、轻量级、可扩展性高。它采用简洁设计，支持用户身份管理，资源占用低，适合多种运行环境，并提供API端点。适用场景用户群体面向AI研究人员、开发者、企业团队和普通个人用户，普通用户也可轻松实现本地或云端部署。部署环境支持Docker及本地安装，适应不同环境需求，确保数据隐私。010202.pip部署OpenWebUI安装步骤在终端执行“python3--version”命令，确保系统使用Python3.11及以上版本，以避免兼容性问题。检查Python版本执行“pipinstallopen-webui”命令完成软件包下载部署，可修改为国内镜像源以提高速度。使用pip安装执行“open-webuiserve”命令启动服务，完成启动后可通过浏览器访问。启动服务010302初次登录与设置登录地址在本机浏览器输入“http://localhost:8080”进行初次登录设置，输入自定义的用户名、邮箱地址和密码创建管理员账号。模型设置点击页面右上角用户图标进入“设置”，选择“外部连接”，输入模型名称（如“deepseek-r1:1.5b”）并点击下载按钮完成模型拉取。0102交互与使用问答模式完成模型拉取后，点击“新对话”进入问答式交互页面，输入问题即可与DeepSeek大模型进行交互。03.容器部署OpenWebUI拉取镜像获取镜像执行“dockerpullghcr.io/open-webui/open-webui:main”命令拉取OpenWebUI镜像。启动容器执行“dockerrun-d-p3000:8080--add-host=ernal:host-gateway-vopen-webui:/app/backend/data--nameopen-webui--restartalwaysghcr.io/open-webui/open-webui:main”命令启动服务。0102配置与优化如果有GPU支持，可在命令中增加“--gpusall”参数，完整命令为“dockerrun-d-p3000:8080--gpusall--add-host=ernal:host-gateway-vopen-webui:/app/backend/data--nameopen-webui--restartalwaysghcr.io/open-webui/open-webui:cuda”。GPU支持如果下载速度较慢，可使用国内镜像加速器，如南京大学镜像加速器，调整镜像服务器地址为“/open-webui/open-webui:main”。镜像加速为Ollama服务添加用户和组，创建服务文件“ollama.service”，使用systemctl命令设置为开机自启动。服务管理设置ollama为自启动服务使用“systemctlstartollama”命令启动服务，再使用“systemctlstatusollama”检查运行状态。检查服务状态任务11：拓展阅读与思政引领拓展阅读与思政引领CONTENTS01.大模型技术与应用02.DeepSeek-R1模型的差异03.思政引领01大模型技术与应用大模型概述大模型（LLM）是基于深度学习的人工智能成果，通常基于Transformer架构，利用注意力机制捕捉文本中的长距离依赖关系，能够理解和生成接近人类水平的自然语言。定义与架构1训练过程分为预训练和微调两个阶段。预训练阶段通过自监督学习在海量文本中预测被遮蔽的词或句子，学习语言结构和通用知识；微调阶段则针对具体任务用标注数据调整模型参数，提升任务适配性。训练过程2注意力机制、稀疏专家模型（MoE）、强化学习对齐（RLHF）等技术突破推动了大模型的快速发展，使其更高效、更符合伦理和用户意图。技术突破3训练千亿参数模型需要数千块GPU和超千万美元成本，导致技术门槛极高，限制了其广泛应用。高成本与高门槛训练数据中的文化或性别偏见可能导致模型输出歧视性内容，模型还可能生成看似合理但完全虚构的“幻觉”信息。偏见与幻觉问题单次训练产生的碳排放相当于五辆汽车终身排放量，引发环保争议。环保争议大模型的挑战123大模型正渗透至医疗、法律、教育等垂直领域，如医疗场景中的病历解析辅助诊断、法律领域的合同审查和案例检索、教育领域的个性化习题生成等。垂直领域应用以“Copilot”形式嵌入编程工具或写作软件，模型成为实时助手；低代码工具允许用户通过自然语言指令生成代码或业务流程，降低技术使用门槛。人机协作模式聚焦于多模态融合与高效化，整合文本、图像、语音实现跨模态推理；通过模型压缩技术降低部署成本；发展因果推理能力；开源生态推动技术民主化。未来发展方向大模型的应用02DeepSeek-R1模型的差异DeepSeek-R1系列模型通过不同的参数规模（1.5B至671B）适配多样化场景需求，参数规模直接影响计算能力和推理性能。参数规模与计算能力