第 18 章：构建 RAG 知识库 授课

第18章：构建RAG知识库连接大模型与私有知识的桥梁本章目录01.学习目标与RAG概述02.RAG核心架构与原理分析03.向量数据库与Embedding模型选择04.使用LangChain构建RAG系统05.实战案例：搭建PDF文档问答系统06.常见问题与性能优化07.本章总结与课后任务学习目标与RAG概述核心学习目标理解核心价值掌握RAG在企业级AI应用中的核心思想与解决的问题。掌握架构流程熟悉知识库构建与问答推理全流程，了解Chroma/FAISS等工具。实战LangChain开发熟练使用框架构建完整的RAG问答系统，实现从加载到问答。性能优化与排障掌握常见问题排查方法，提升检索精度和系统响应速度。RAG技术概览什么是检索增强生成(RAG)？一种结合信息检索与生成式AI的技术。在生成答案前，先从外部知识库检索相关信息片段作为上下文，辅助大模型生成更准确的回答。核心解决的三大痛点知识时效性问题突破模型训练数据截止时间，获取最新事件信息。知识私有化问题利用企业内部私有数据构建知识库，避免数据泄露风险。模型“幻觉”问题基于真实检索信息生成答案，有效缓解编造信息的现象。RAG核心架构与原理分析核心架构流程解析RAGvs传统大模型对比对比维度传统大模型检索增强生成(RAG)知识来源参数固化，更新难外部知识库，动态更新时效性截止训练数据日期支持最新信息检索事实准确性易产生幻觉编造信息基于真实检索信息生成隐私安全数据上云，有泄露风险支持私有化，数据本地化核心观点总结RAG的核心优势在于无需重新训练大模型，即可利用外部私有或实时知识显著提升回答质量与安全性，完美结合了检索系统的准确性与大模型的生成能力，是企业级应用落地的关键技术。向量数据库与Embedding模型选择主流向量数据库对比Chroma轻量级零配置，适合快速原型与演示。FAISS(Facebook)性能极高，检索速度快，支持大规模数据。Pinecone托管式云服务，高可用、易扩展，适合生产环境。Milvus开源功能全面，社区活跃，适合深度定制。主流Embedding模型对比OpenAIEmbeddings(ada-002)效果优秀，API调用便捷，支持多语言。BAAI/bge-small-zh中文效果极佳，开源免费，支持本地化部署。sentence-transformers/all-MiniLM轻量快速，多语言支持，适合资源受限场景。核心策略：开发测试阶段推荐使用Chroma+bge-small-zh进行快速验证；生产环境需根据数据规模和成本，选择Pinecone/Milvus等专业数据库，并平衡模型效果与成本。使用LangChain构建RAG系统核心组件(Components)DocumentLoaders加载PDF/Markdown/网页等多种格式文档TextSplitters将长文档分割为适合检索的Chunks小块Embeddings集成OpenAI/HuggingFace模型生成向量VectorStores支持Chroma/FAISS等向量数据库存储Retrievers从向量库中检索与问题最相关的文档块Chains(RetrievalQA)串联检索与大模型，实现端到端问答构建流程(Workflow)1.加载文档使用Loaders加载知识库文档2.分割文本使用Splitters将文档切分为小块3.生成并存储向量Embeddings生成向量存入VectorStores4.创建检索器配置Retrievers准备检索5.创建问答链结合大模型创建RetrievalQA链6.提问并获取答案调用run()方法完成端到端交互实战案例：搭建PDF文档问答系统（一）：环境准备与文档加载案例背景与目标核心目标：基于LangChain框架，构建智能PDF问答系统。功能描述：用户上传PDF文档，系统基于文档内容进行精准问答。技术栈：LangChain,ChromaDB,Sentence-TransformersStep1:环境准备(EnvironmentSetup)$pipinstalllangchainchromadbsentence-transformerspypdfpython-dotenvopenaiStep2:文档加载(DocumentLoading)fromlangchain.document_loadersimportPyPDFLoaderloader=PyPDFLoader("path/to/your/document.pdf")documents=loader.load()#加载文档实战案例：搭建PDF文档问答系统（二）：文本分割与向量存储01.文本分割(TextSplitting)#使用RecursiveCharacterTextSplittertext_splitter=RecursiveCharacterTextSplitter(chunk_size=1000,#文本块大小chunk_overlap=200#重叠部分)texts=text_splitter.split_documents(documents)print(f"分割成了{len(texts)}个文本块")02.向量存储(VectorStorage)#初始化Embedding模型(BAAI/bge-small-zh)embeddings=HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh")#存储到Chroma向量库db=Chroma.from_documents(texts,embeddings,persist_directory="./db")db.persist()#持久化保存核心观点：参数调优是关键ChunkSize过大可能导致检索信息不精确，过小则可能丢失上下文；ChunkOverlap用于保证文本连续性。需根据文档类型（技术/小说/新闻）反复调优，找到最佳参数组合。实战案例：搭建PDF文档问答系统（三）：创建检索器与问答链步骤一：创建检索器(Retriever)从Chroma向量数据库中创建检索器，设置每次检索返回最相关的3个文本块，为后续问答提供上下文。#从Chroma数据库中创建检索器retriever=db.as_retriever(search_kwargs={"k":3}#返回最相关的3个文本块)步骤二：创建问答链(QAChain)结合GPT-3.5-turbo模型与检索器，构建RetrievalQA链，实现"检索+生成"的完整问答流程。#初始化LLM并创建问答链llm=ChatOpenAI(model_name="gpt-3.5-turbo")qa_chain=RetrievalQA.from_chain_type(llm=llm,chain_type="stuff",retriever=retriever)实战案例：搭建PDF文档问答系统（四）：测试与验证Python测试代码示例#定义提问函数，获取答案与来源defask_question(question):result=qa_chain({"query":question})print(f"回答：{result['result']}")print(f"来源页：{result['source_documents'][0].metadata['page'])")#执行测试ask_question("文档的主要观点是什么？")ask_question("请详细解释XX概念？")结果展示：精准问答与溯源系统输出不仅包含准确的答案，还附带了检索到的原始文档页码和片段，实现了“来源可追溯”，增强了回答的可信度。核心优势：有效避免大模型幻觉回答完全基于PDF文档内容，确保了高准确性和相关性，解决了大模型凭空捏造信息的问题，实现了真正的“有据可依”。场景示例：文档核心观点总结当询问“文档主要观点”时，系统能准确提取核心论点，并列出这些论点在文档中的具体位置，实现快速知识提炼。常见问题与性能优化检索结果不准确可能原因Embedding模型语义捕捉不足文本分割不合理，关键信息断裂优化策略更换更优模型(如OpenAIEmbeddings)优化Chunk分割参数与策略增大检索召回数k，调整算法系统响应速度慢可能原因向量数据库检索性能瓶颈大模型推理延迟高优化策略使用高性能向量库(FAISS/Pinecone)缓存Embedding结果，避免重复计算引入异步处理提升并发能力知识库更新困难可能原因新增文档需全量重建向量库，效率低优化策略采用增量更新策略，仅处理新增文档使用支持动态更新的向量数据库本章总结与课后任务核心知识回顾技术原理：理解检索增强生成核心思想，解决幻觉与时效性问题。系统架构：掌握离线知识库构建与在线问答推理的全流程架构。工具选型：学会选择向量数据库(Chroma/FAISS)与Embedding模型。框架实战：熟练使用LangChain构建PDF问答系统，从环境搭建到测试。性能优化：了解常见问题及优化策略，具备基础的系统调优能力。实操任务：构建RAG系统任务描述：自选数据源(P