《智能信息检索与生成式AI应用》课件-2.检索增强生成技术原理 6.3大模型技术中的检索增强生成

检索增强生成技术原理01理解RAG技术的原理和流程学

习

目

标RAG的基本原理核心思想首先，根据用户查询，从外部知识库（如向量数据库）中检索出最相关的信息片段作为证据然后，将这些检索到的上下文与原始查询动态集成，形成增强提示最后，模型严格依据此增强上下文生成答案，显著提高答案的准确性与时效性，并有效减少事实性幻觉RAG的核心流程反馈优化：根据用户反馈调整检索/生成策略生成阶段：结合检索信息+问题生成回答知识库预处理：把原始数据变成可检索的格式检索阶段：根据用户问题找知识库的相关信息第一阶段：知识预处理1.数据收集与拆分收集所有相关文档（如PDF、Word、网页、数据库记录等）将文档切分成大小合适的“块”（Chunks），例如一段文字或一个章节。块的大小是平衡检索精度和上下文完整性的关键参数拆分原则：保持语义完整性（如按段落、章节）；常用方法：固定长度拆分（如每200字一段）、语义拆分（用大模型判断语义边界）一篇5000字的“2025手机发布会文档发布会时间地点（100字）新品参数（800字）价格政策（300字）......第一阶段：知识预处理2.文本向量化把文本片段转化为数值向量（Embedding），让计算机能计算“语义相似度”，语义相似的文本，向量距离更近将所有文本块的向量及其对应的原始文本，存储到向量数据库中2025新款手机电池容量5000mAh手机配备5000mAh大容量电池余弦相似度>0.9语义高度相似第一阶段：知识预处理3.索引构建把向量化后的Chunk存到“索引库”，加速检索速度常用索引类型：倒排索引、向量索引第二阶段：检索阶段用户问题预处理对用户问题做“清洁+补全”，让检索更精准去除冗余信息、补全省略内容、向量化2025新款手机X10电池容量5000mAh[0101,0101,1100,1001,00101......第二阶段：检索阶段2025新款手机电池摄像头像素......手机配备5000mAh大容量电池手机的电池多大？手机的续航时间......相似度0.250.950.55问题跟该内容相似度最高第二阶段：检索阶段混合检索结合“关键词检索（如X10）”和“语义检索”，提升精准度2025新款手机X10电池容量5000mAh第三阶段：生成阶段构建把“用户问题+检索到的Chunk”整合成Prompt，输入大模型经典Prompt结构：“基于以下信息回答问题：{检索到的Chunk}问题：{用户问题}检索Chunk：“2025年X10手机配备5000mAh电池，支持低温续航优化”；用户问题：“X10手机电池多大？”；Prompt基于以下信息回答问题：2025年X10手机配备5000mAh电池，支持低温续航优化

问题：X10手机电池多大？

要求：回答准确、简洁”。第三阶段：生成阶段信息整合与优化大模型会对检索Chunk做3件事1.提取核心信息（如“5000mAh”）；2.剔除无关内容（如“低温续航优化”）；用自然语言组织回答大模型接收Prompt后，输出：“2025年X10手机的电池容量为5000mAh”。（若检索到多个Chunk，大模型会整合重复信息，避免冗余）第三阶段：信息整合与优化大模型会对检索Chunk做3件事1.提取核心信息（如“5000mAh”）；2.剔除无关内容（如“低温续航优化”）；用自然语言组织回答第四阶段：反馈与优化检索效果评估召回率：知识库中相关的Chunk是否被检索到；精准率：检索到的Chunk是否和问题相关

生成评估效果

用“回答准确性”“信息完整性”评估，调整Prompt原回答：“X10电池容量5000mAh”（遗漏“低温续航”）；调整后Prompt：“基于以下信息回答问题：{Chunk}问题：{用户问题}要求：回答需包含所有相关信息”；新回答：“2025年X10手机的电池容量为5000mAh，同时支持低温续航优化”。小

结RAG的基本原理：首先，根据用户查询，从外部知识库中检索出最相关的信息片段作为证据