AI大模型开发实战 课件 2大模型开发实战全景

大模型开发实战全景汇报人：汇报时间：2025/08/05目录CONTENTS环境搭建与工具链本地化部署方案远程与本地API调用RAG与多模型协同性能调优与运维案例与落地路线环境搭建与工具链01五步法打造大模型开发环境系统梳理开发前准备流程，为模型调用与本地部署奠定统一、可复现的运行基础。1选择操作系统Linux/macOS/Windows2安装Python版本3.8+，语言基础3创建虚拟环境使用`venv`隔离依赖4配置依赖库`transformers`,`torch`5设置环境变量优化存储与性能核心要点：Linux因其开源性和强大的后台处理能力，常被用于服务器端开发。使用venv能有效隔离项目依赖，避免冲突。LangChain链式调用机制通过链(Chain)、代理(Agent)与记忆(Memory)三大抽象，将复杂的大模型应用逻辑简化为可组合的模块。1.PromptTemplate定义提示模板2.LLMChain绑定模型与提示3.Agent&Tool赋予模型行动能力核心优势：仅需十余行代码即可实现复杂的多步推理和对话管理，快速构建问答系统原型。Dify:低代码AI应用开发平台通过拖拽式界面和统一API，快速构建、对比和部署基于大模型的AI应用，极大降低开发门槛。零代码集成支持GPT、Qwen等100+开源及商业模型，一键切换。拖拽式构建可视化设计客服、数据分析等应用，无需编写复杂代码。统一API调用示例#调用GPT-3.5curl-XPOST{DIFY_API}/generate-d'{"model":"gpt-3.5","prompt":"讲个笑话"}'#调用Qwencurl-XPOST{DIFY_API}/generate-d'{"model":"qwen-2.5","prompt":"讲个笑话"}'通过统一接口，轻松对比不同模型在相同任务下的表现，为选型提供依据。Flowise:可视化AI流程设计通过拖拽组件和连接节点，直观构建复杂的AI应用流程，无需编码即可实现、调试和优化。输入节点处理节点输出节点API集成：通过简单的API调用即可触发预定义流程，call_flowise_flow("your_flow_id",{"text":"Hello"})，实现与现有系统的无缝集成。本地化部署方案02Ollama:轻量级本地大模型平台一个专注于本地运行和管理开源大语言模型的平台，以其极简、高效和隐私安全为核心设计理念。无需云端，数据本地处理，有效保护隐私。命令行一键式下载、加载、运行模型，操作极简。智能分配CPU/GPU资源，兼容主流开源模型。Ollama本地化部署七步流程安装拉取模型运行模型启动服务API验证对接LangChainDocker部署首次拉取模型后，Ollama会将其缓存到本地，后续可通过ollamaserve命令启动本地API服务，实现秒级启动和无缝切换云端接口。Ollama环境变量深度优化OLLAMA_MODELS指定模型存储路径，避免C盘空间占用。setxOLLAMA_MODELS"D:\models"OLLAMA_HOST服务监听地址，修改以允许局域网访问。setxOLLAMA_HOST""OLLAMA_KEEP_ALIVE模型内存驻留时间，减少重复加载耗时。setxOLLAMA_KEEP_ALIVE"24h"OLLAMA_NUM_PARALLEL并发请求处理数，提升系统吞吐量。setxOLLAMA_NUM_PARALLEL"4"OLLAMA_MAX_LOADED_MODELS内存中同时加载的最大模型数量。setxOLLAMA_MAX_LOADED_MODELS"2"OLLAMA_DEBUG启用调试日志，用于排查问题。setxOLLAMA_DEBUG"1"自定义模型导入实战将企业私有或微调后的模型导入Ollama，实现数据不出内网的安全部署，并提供一致对外的API服务。1转换格式将模型转换为Ollama支持的格式（如gguf）。2创建Modelfile编写包含模型路径和参数的Modelfile文件。3导入模型执行ollamacreate命令完成导入。#1.创建Modelfile$echo"FROM./my-fine-tuned-model.gguf">Modelfile#2.导入模型$ollamacreatemy-custom-model-fModelfile#3.运行自定义模型$ollamarunmy-custom-model远程与本地API调用03主流API接口对比：OpenAIvsAnthropicOpenAI(GPT)端点：/v1/chat/completions特点：功能全面，生态系统成熟，社区支持强大。适用：通用场景，对插件和第三方集成有需求的应用。Anthropic(Claude)端点：/v1/messages特点：注重AI安全与对齐，上下文窗口极大，响应更审慎。适用：对内容安全、准确性和长文本处理有高要求的场景。开发者可依据业务安全等级、预算和功能需求灵活选型，并通过统一封装函数模板降低切换成本。国内星火大模型接入要点讯飞星火作为领先的国产大模型，在中文处理和语音交互方面具有显著优势，其API接入需关注鉴权流程。鉴权与签名需组装X-Appid和X-Param，并生成时效性签名。中文优势在多音字、成语场景下发音准确性高，适用于中文语音交互。网络优势国内网络环境下延迟低，稳定性强。本地OllamaHTTP接口实战通过Python的requests库，直接调用本地localhost:11434服务，实现离线推理。同步生成模式importrequestsresponse=requests.post("http://localhost:11434/api/generate",json={"model":"qwen2.5","prompt":"你好"})result=response.json()print(result["response"])流式输出模式importrequestsresponse=requests.post("http://localhost:11434/api/generate",json={"model":"qwen2.5","prompt":"你好","stream":True})forlineinresponse.iter_lines():print(line)通过解析返回的JSON，验证本地模型效果与云端模型一致性，实现真正的离线推理闭环。LangChain无缝对接本地模型通过Ollama提供的LLM类，在LangChain中一键替换OpenAI等云端模型，零改造迁移至私有环境。#仅需修改模型名称fromlangchain.llmsimportOllama#llm=OpenAI(model_name="gpt-3.5-turbo")llm=Ollama(model="qwen2.5")#原有链和代理逻辑无需改动chain=LLMChain(llm=llm,prompt=prompt)切换后无额外学习成本，同时享受数据安全与免费算力。RAG与多模型协同04DifyRAG链路拆解：检索增强生成Dify内置了完整的RAG功能，允许模型在生成响应时参考外部文档，有效降低“幻觉”概率。1.文档解析支持多格式文件上传与解析。2.向量化将文本转换为高维向量。3.向量检索根据问题召回最相关文本块。4.生成回答结合上下文生成准确答案。核心价值：通过上传产品手册等文档，模型能引用原文并给出页码，验证外部知识实时注入的价值。Flowise:可视化RAG流程编排在Flowise画布中，通过拖拽文件加载器、向量库、检索器、LLM节点，即可直观构建复杂的RAG应用。可视化调试链条各阶段输出，快速定位召回失败环节。使非算法同事也能通过移动节点优化问答质量，促进团队协作。同提示词多模型并行评测通过循环脚本同时调用多个模型，量化对比性能，为模型选型提供数据依据。GPT-3.5首字延迟:1.2s总耗时:3.5s输出长度:256Qwen-2.5首字延迟:0.8s总耗时:2.1s输出长度:312Llama2首字延迟:1.5s总耗时:4.2s输出长度:289通过自动化脚本记录评分并写入Excel，形成模型更新迭代依据，帮助团队持续优化选型。性能调优与运维05并发与资源控制策略通过合理配置，在保证服务稳定性的前提下，最大化利用硬件资源，提升系统吞吐量。OLLAMA_NUM_PARALLEL并发请求数4GPUMemoryLimit显存配额限制OLLAMA_MAX_QUEUE最大请求队列512通过Docker-compose的deploy.resources.reservations限制GPU配额，确保多模型并行时显存可控，避免单任务独占导致服务不可用。日志与监控体系通过开启OLLAMA_DEBUG并结合Prometheusexporter，构建全面的监控体系，保障线上服务稳定性。采集核心指标：请求量、平均延迟、显存占用。通过Grafana面板可视化，快速发现热点模型与异常峰值。实现提前扩容与模型卸载，保障线上