2025构建企业级 RAG 系统的创新实践

构建企业级RAG系统的创新实践20250102030405目录背景介绍模块化RAG架构模块设计和优化企业级RAG能力集成总结背景介绍背景介绍检索增强生成（Retrieval

Augmented

Generation,RAG）从数据源中检索信息来辅助大语言模型（Large

Language

Model,LLM）生成答案。RAG的优势：准确性时效性数据安全准确性一致性可解释性效果优访问控制合规隐私数据管理数据安全低延迟可伸缩大规模知识库构建和查询高性能无缝集成可观测在线评估系统集成企业级RAG系统的挑战客户的知识库领域、格式、内容的多样性，效果难以保证需求具有多样性，常规RAG链路难以满足不同场景的定制化需求RAG优化是一个系统性工程，可靠性、高性能、高质量难以取舍数据隐私和安全问题，实现私有化部署和安全合规访问企业级RAG系统架构模块化RAG架构模块化RAG模块化RAG可扩展，适应不同场景的需求可调优，各模块可独立配置、评估、优化可维护，模块间松耦合高级RAG预检索+重排序检索优化：提高检索效率并加强检索块的利用率模块化RAG架构模块化设计白盒化：模块可以灵活添加/修改快速构建：可通过配置文件/UIdashboard修改模块配置代码开源：兼容LlamaIndex开源协议模块编排：通过编排和路由匹配不同场景需求模块评估：自动生成数据集，系统评估端到端和各模块性能模块设计和优化文档解析文档解析的挑战格式多样性：企业级数据格式多样，需要适配不同类型文件的结构和内容内容复杂性：文档内容可能包含文

本、图像、表格、公式、标题、代码块等多种复杂元素。非结构化文本：PDF或者扫描类文档解析难度高文档更新迭代：随着数据不断更新，知识库中内容会过期失效文档解析非结构化文件非结构化文件转Markdown格式格式友好，清晰易读保存标题、表格、图片等元素信息复杂度降维，后续切分无需关注输入的文件类型结构化文件结构化文件JSON编码存储表格key-value信息自动行表列表检测合并单元格拆分PDF解析算法难点：版面识别/表格解析闭源PDF解析APIDocument

MindLlama

Parse开源PDF解析模型EasyOcrPDF-Extract-Kit文本切块为什么需要文本切块提高检索准确性减少索引内容的噪音embedding的序列长度限制提升模型生成效果更相关的上下文减少延迟切块策略的难点选择合适大小，太大检索效果差，太小信息缺失。保留文本块语义独立性、完整性文本切块策略固定长度切块优点:实现简单，性能块，大小固定缺点:不够聪明，语义被切断语义切块优点：语义信息完整，有利检索缺点：计算复杂，阈值难取递归分块优点：内容连贯完整，灵活缺点：计算复杂，效果受限于分隔符文档结构分块优点：保留文档结构、元素信息，内容连贯完整缺点：计算复杂，效果受限于文档结构

LLM分块优点：效果最优缺点：速度慢，代价太高文本切块策略默认切块策略Markdown输入，降低解析复杂度按文档结构递归解析，语义连贯特殊元素处理表格标题图片列表代码块查询重写为什么需要查询重写用户的提问通常比较口语化，直接用问题检索效果不佳减少查询和文档之间的语义差异多轮对话中的检索，需要指代消解查询重写策略子问题查询，生成相关子问题，补充query的细节假设文档（HyDE）回溯提示（STEP-BACK

Prompting)查询扩展，伪相关反馈提供领域知识补充查询路由数据源路由：根据问题选择特定数据源的信息：向量数据库：相似度搜索关系数据库：结构化数据查询图数据库：实体关系查询外部API：特定需求查询组件路由：根据问题选择特定的组件向量数据库（FAQ）LLMAgentPrompt路由：根据问题选择对应的prompt不同问题场景切换prompt多语言查询的prompt切换检索向量检索–Embedding模型选择MTEB榜单知识库的语言（中文/英文/多语言）文本的序列长度混合检索向量检索的劣势：特定术语匹配（产品名称或者型号等），私域数据关键字检索：BM25，稀疏embedding检索融合：加权得分/RRF（倒数排名融合）Embedding模型微调合成评估数据集评估检索器性能自持模型部署重排序检索融合不好解决的问题：RRF：稳定，无需归一化，但丢失了相似度得分，难以筛选无关结果分数加权：能够根据不同检索的性能配置权重，缺点是BM25得分难以归一化，找到合适的权重和阈值比较困难。重排序模型交叉编码器，比Embedding更精准开源模型：bge-reranker,bce-reranker,gte-reranker等LLM重排序借助大语言模型重排序，延迟比较高生成影响生成效果的因素检索的效果，准确率、召回率、噪音大语言模型的推理能力如何选择合适的LLM评估生成结果的准确性下游任务对处理延迟的要求（首包，整包）提示工程文本块顺序：lost

inthemiddle回答提供引用来源输出固定格式（JSON

format)无需生成的回答拒绝回答高质量FAQ召回多模态RAG编排多模态RAG离线解析：三种分块：文本，文图，图片两种embedding：文本

embedding,CLIPembedding在线查询两路查询，text_top_k,image_top_k多模态大模型进行文图推理NL2SQL编排检索表列检索值检索生成上下文：相关的表、列、值信息自动修复：利用执行错误信息语法纠错评估编排自动合成数据集问题生成（Q)相关上下文（C）答案（A）生成=>合并=>验证评估实验根据配置文件，生成对应的RAG

pipeline对RAG

pipeline的运行结果进行检索和生成的两阶段评估企业级RAG能力集成企业级RAG能力数据安全单点登录和访问控制权限控制安全护栏数据管理更新维护自动集成监控和评估链路追踪自动评估高性能企业级服务自动伸缩延迟优化数据安全单点登录和访问控制企业自有身份供应商集成阿里云SSO基于角色SSO的访问控制，只读/编辑/管理员私有化部署模型私有化部署数据存储私有化部署Private

Link访问安全护栏输入护栏–输入包含敏感、违法信息输出护栏–输出包含敏感、违法信息数据管理数据的生命周期知识库的初始化知识库的自动更新知识库的人工编辑在线服务/可观测数据反馈开发和生产环境隔离开发环境指数据加工、模型调优、测试等阶段生产环境有严格的权限管控和发布流程A/B实验监控和评估追踪执行链路收集用户反馈识别低质量输出构建测试数据集监控和评估评估指标检索指标：Hit

RateMRRNDCGMAP生成指标：事实性(Faithfulness)正确性(Correctness)裁判员模型服务

LLM-as-a-Judge:

评估其他模型输出质量的辅助模型。智能场景分类：开放性问答创意写作代码生成角色扮演高性能企业级向量数据库高可用高性能大规模索引低成本模型在线服务平台

BladeLLM/vLLM推理加速高并发低延迟大规模查询低成本客户案例某电商客户–智能客服场景1.多模态RAG问答Q1:A款和B款外套有什么区别？Q2:A款运动短袖透气吗？场景2.工具调用Q1:我要退货。Q2:订单发货了吗？场景2.BI问答某传统行业客户–问答机器人场景1.客服+FAQQ1:忘记账户密码如何重置？Q2:打印机安装指南。Q1:上个月杭州门店的销量情况Q2:哪个门店的会员增长数量最多总结总结模块化RAG架构模块白盒化，可灵活配置、修改各个模块配置。新增路由、工具调用、多模态分析等模块，处理更多的场景需