2025大模型的本地部署和微调

目1PromptLearning6 幻觉问题：LLM有时会生成看似合理但实际错误的内容，这种现象被称 时效性问题：LLM的训练数据通常截至于特定时间点，因此无法处理训 检索增强生成（RAG）：结合信息检索和生成模型，在生成答时实时检 降低风险：对于敏感领域，错误答可能带来较大风险，定制化模型能RAG（Retrieval-Augmented 助答。微调（Fine- 1 推荐技术 通过不断更新检索索引，RAG能够利用最新数据答问题，而无需频繁2 通过对预训练模型进行领域微调（PromptLearning、LoRA、3判断依据：大模型有时会生成“幻觉”信息（即不符合事实的内容）推荐技术4推荐技术 5 推荐技术推荐技术 7 低；而RAG在生成答前需执行检索操作，可能会引入额外延迟。8 通过参数压缩、量化及高效的微调方法（LoRA），可以将定制化模型RAG例子1 RAG技术，通过接入实时更新的新闻数据库，检索最新的新闻内容，例子2 背景说明：法律领域具有高度专业性，答要求严谨、精准。预训练模技术选择：微调 Fine-tuning，使模型更法律答，满足高标准的法律咨询需求。RAGFlow——WebUI接口与PromptLearning将文本按固定token数量（如256、512）切分，同时采用滑动窗口技术，在相邻chunk（例如20%重叠），确保边界信息不丢失，提高检索时的性。例如，Langchain中的RecursiveCharacterTextSplitter就是一种常见实现。进行重写，使得查询更准确、语义更明确，从而提高检索的召率。RAG——PromptLearning使用模板化的prompt，例如要求模型在答时引用来源编号、使用JSON格式返结果，或指定答应当简洁扼要、符合特定格式。这样既能控制输出风格，又能增强答案的可靠性。RAG——PromptLearning准确、信息更丰富的答。promptlearning——LoRA（Low-RankAdaptation）—— RLHF（ReinforcementLearningfromHumanFeedback）——用户馈全量微调 Fine-HuggingFace的PEFT（Parameter-EfficientFine-Tuning） LoRA（Low-RankAdaptation）等，减少微与Transformers库无缝集成，支持多种预训练模型的微调。LLaMA- 型训练、PPO（ProximalPolicyOptimization）、DPO等。支持多种训练方法，如全参数微调、部分参数微调、LoRA、QLoRA提供多种使用方式，包括命令行接口（CLI）、WebOpenAI提供命令行接口（CLI）支持在OpenAI OpenAI上微调模型的用户，特别是需要快gpu预训练模型参数量按参数个数计：FP16时每个参数约2 举例：1B（10）1022GB，仅模实际运行时：至少需要2GB在全量微调时：总需要模型本身权重：至少需要梯度计算：至少需要激活、优化器状态、中间值：至少需要总需要2.12G=2GB+6GB*2%激活、优化器状态、中间值：至少需要通常内存=显存文本训练硬盘SSD大小不低于CPU个数：通常1到4张显卡选择2个cpu软件开发RAG+微调+业务功能费用：目前的起价都是在总硬件的3到42、根据现有的经验和实验观察，对于像deepseek7b这样规模的7B模型，在仅对q、k、vLoRA（r=4、α=16）的情形下，通常建议至少准备上千条高