2025A2M大会：AI数据系统演进：zilliz 如何支撑 RAG-Agent 千万级多租与多模态业务落地

AI数据系统演进：zilliz如何支撑RAG/Agent千万级多租与多模态业务落地2025.06郭人通Zilliz合伙人/产品负责人AgendaAgenda2|©Copyright2025Zilliz 02多模态数据：统一的数据建模 03多租支持：有效应对RAG/Agent等大规模多租场景 04WebSearch缓存与DeepSearch 05超大规模数据检索与分析：从向量数据库到向量数据湖3|©Copyright2025Zilliz广泛部署于全球近万家头部企业客户企业级向量数据库解决方案，高性能、高可扩展、高度稳定从原型构建到大规模生产部署，稳定支持百亿级向量规模300+☆35K+100M+3.0K+forksTheForresterWave™VectorDatabaseProviders,Q32024Zilliz在向量数据库领域深耕八年，陪伴全球客户深度迭代解决方案。4|©Copyright2025Zilliz5|©Copyright2025Zilliz6|©Copyright2025ZillizCISIONCOPASSDeloitte。ebayInflection中newrelic.accentureOMERSzofato7|©Copyright2025Zillizvivo8|©Copyright2025Zilliz9|©Copyright2025Zilliz数据来源:TheDigitizationoftheWorldbyIDC（9|©Copyright2025Zilliz2025年的新增数据将是非结构化数据10|©Copyright2025ZillizArticle(ID)Title(Text)Title(SparseEmbedding)AuthorVideo(Video/ImageEmbedding)Video(SubscriptEmbedding)Summary(Text)Summary(DenseEmbedding)Summary(SparseEmbedding)DataTypes：VARCHARorINT64VARCHARSPARSE_FLOAT_VECTORJSONVARCHARSPARSE_FLOAT_VECTOR11|©Copyright2025Zilliz12|©Copyright2025Zilliz向量检索与标量过滤全文检索2.0非结构化数据检索JSON检索JSON检索3.013|©Copyright2025Zilliz•稠密向量•JSON•List支持的查询类型：•语义范围查询•表达式过滤•多向量混合查询•多路召回与重排序标量/JSON…14|©Copyright2025Zilliz标量/JSON…15|©Copyright2025Zilliz16|©Copyright2025Zilliz标量组/JSON17|©Copyright2025Zilliz数值/标签检索非结构化数据检索3.0非结构化数据检索文本检索文本检索2025.04在所有数据类型上支持索引与加速检索2025.05JSON索引增强引19|©Copyright2025ZillizDATAISOLATIONSEARCHPERFORMANCEStrongStrongDATAISOLATIONSEARCHPERFORMANCEStrongStrong100+MaxTenantscolectionswithstringentisolationneedstenantDATAISOLATIONStrongtenantDATAISOLATIONStrongSEARCHPERFORMANCEStrongMaxTenantsbalancedisolation&performanceneedsDATAISOLATIONMediumSEARCHPERFORMANCEStrongDATAISOLATIONMediumSEARCHPERFORMANCEStrongMaxTenantsBestfor:Rapidlyscalingtomilionsoftenantswitheficientresourceutilization21|©Copyright2025Zilliz22|©Copyright2025Zilliz用户活跃度与数据冷热度%Largenumberofusers,butmostofthemarenotactive.Typicalscenarios:personalknowledgebase,conversationco大规模网页检索/企业级知识库Largevolumeofdata,butmostofitisnotfrequentlyaccessed.Typicalscenarios:customerservicesupport,companyknowledgebase,websearch,etc.23|©Copyright2025Zilliz多层存储向量数据库解决方案MemoryBasedDecreasingcharacteristicradiusDecreasingcharacteristicradiusS324|©Copyright2025Zilliz25|©Copyright2025Zilliz多租方案总结隔离性与成本：•重保用户：基于Collection（千）/DataBase（百）/Cluster（十）实现物理多租隔离•一般用户：基于PartitionKey实现逻辑多租隔离（百万～千万）•从一般租户到重保租户的升级机制活跃度/冷热度与成本：•最活跃用户/高热度数据：内存•一般活跃用户/热数据：本地NVMe•非活跃用户/冷数据：对象存储•主动与自动化数据放置策略优化26|©Copyright2025ZillizWebSearch缓存与DeepSearch/zilliztech/deep-searcherZilliz’sDeepSearcher27|©Copyright2025ZillizDeepResearchFramework28|©Copyright2025Zilliz2929|©Copyright2025ZillizHybridIterativeDeepSearch30|©Copyright2025Zillizoriginal-小孩子发烧吃布洛芬还是对乙酰氨基酚rewritten–布洛芬和对乙酰氨基酚在儿童退烧方面的区别是什么？儿童服用布洛芬的适用年龄和注意事项？儿童服用对乙酰氨基酚的推荐剂量和副作用？rewritten–适用于儿童的治疗呼吸道感BGE’sNewWork--O1Embedder:LetRetrieversThinkBeforeAction31|©Copyright2025ZillizIterativeSearchwithPositiveandNegativeSamples“Aframewithabluebusandamotorcycle”3232|©Copyright2025ZillizIterativeSearchwithPositiveandNegativeSamplesHowitworksviamovingthequerypointintheembeddingspacebasedonpositiveandnegativeexamplesYoucanalsousethesequery/positive/negativeembeddingstotuneyourembeddingmodelstiteration22nditeration多层存储向量数据库解决方案MemoryBasedDecreasingcharacteristicradiusDecreasingcharacteristicradiusS333|©Copyright2025Zilliz34|©Copyright2025Zilliz缓存与DeepSearch总结缓存的填充方式：•离线：软实时场景的预爬取与预填充•在线：由在线查询触发的实时填充•构建多层存储缓存进一步降低成本，提升缓存数据规模缓存系统内小模型的工作：•补充Key，提高内容的命中覆盖•查询语句改写•打标反馈与迭代搜索•缓存命中/缺失判断增强Agent与大模型的工作：•根据缓存命中结果的充分性、实效性判断是否需要补充Web查询•缓存查询与API查询的轮次与比•持续的将Web查询结果进行缓存填充35|©Copyright202