RAG 的开放性及企业落地

RAG

的开放性及企业落地姜勇Dify

架构师目录建设

RAG

目前的困境RAG

发展史Enterprise

RAGRAG

的展望1.2.3.4.RAG

难点from:

/html/2401.05856v1RAG

难点FP1MissingContentFP2MissedtheTopRanked

DocumentsFP3NotinContext-ConsolidationstrategyLimitationsFP4NotExtractedFP5WrongFormatFP6Incorrect

SpecificityFP7

Incomplete第一阶段：Basic

RAGRAG

发展史AnswerRetrievebasedonvector

searchRAG

发展史BasicRAGPipeline:Indexing&

QueryingRAG

发展史RAG

发展史第二阶段：Advanced

RAGHybrid

RetrieveAnswerResult

ProcessRAG

发展史RAG

发展史Query

typeKeyword[NDCG@3]Vector[NDCG@3]Hybrid[NDCG@3]Hybrid+SemanticRanker[NDCG@3]Conceptseeking

queries39.045.846.359.6Factseeking

queries37.849.049.163.4Exactsnippet

search51.141.551.060.8Websearch-like

queries41.846.350.058.9Keywordqueries79.211.761.066.9Lowqueryterm

overlap23.036.135.949.1Querieswith

misspellings28.839.140.654.6Long

queries42.741.648.159.4Mediumqueries38.144.746.759.9Short

queries53.138.853.063.9RAG

发展史Hybird

RetrieveAnswerResult

ProcessQuery

TransformRAG

发展史“GarbageInGarbage

Out.”RAG

发展史类型示例问题与语料不相关询问产品配置库关于货物运输的问题问题模糊“这篇文章的作者是谁？不是关于事实召回“总结一下这篇文章的主要内容”包含多个子问题"今年的欧洲杯在哪里举办，什么时候开始?"需要多跳逻辑“Whowonthe2023superbowlandwherewastheirheadcoach

from?”包含非语义组成（结构化）“Whataremoviesaboutaliensin1980”-shouldfilterby

year=1980问题包含比较“江苏省房贷利率政策从2022年至2023年有哪些调整？”Howtodealwithbelowqueries

？RAG

发展史RAG

发展史类型解决方案问题与语料不相关检索前增加问题分类或检查步骤，如查询路由（Queryrouting）问题模糊基于历史的问题重写（Rewrite）不是关于事实召回（总结）索引过程中实现摘要（Summary

Index），分层检索（Recrusive）长文本窗口模型（LongContext

Model）包含多个子问题子问题拆分（sub-question）后并行查询需要多跳逻辑问题规划（Question

Planing）迭代召回（Iterative

Retrieval）包含非语义组成（结构化）元数据过滤器（Metadata

Filter）问题包含比较问题规划（Question

Planing）RAG

发展史ModelMax

Tokengpt-4o128Kclaude-3200KGemini1.5

Pro1Mqwen-long10Mdeepseek-chat32KERNIE

Speed128Kglm-4128Kdoubao-lite-128k128Kmoonshot-v1-128k128K第三阶段：Multiple-mode

with

longcontextRAGThemodel’s

contextsizeis

huge,so,RAGis

notrequired

???RAG

发展史机会：分块算法更灵活，可以达到文档级别文档之间的分析和比较更容易总结更容易更容易的记忆管理，减少压缩技巧的使用减少幻觉为大模型支持无限

Context前的过滤手段，减少成本Long-context&

RAGRAG

发展史Parentchunkforlong-context,childchunkforretrivalEnterprise

RAGRAGSemantic

CacheModerationAuthenticationObservationEvaluationLoad

BalancingRAG

展望RAG

系统的本质是基于自然语言的开放域问答系统，难点也在于“开放域”。要想获得符合预期的召回效果，需要对应用情景进行概括和收敛，寻找合适的检索模式或组合。在动手设计一个

RAG

系统之前，最好先考虑好你的用户是哪些人，以及他们最可能问出什么样的问题。——《引入混合检索（Hybrid

Search）和重排序（Rerank）改进

RAG