高超：⾯向生成式AI的向量数据库：架构性能与未来趋势

面向生成式Al的向量数据库：架构，性能与未来趋势高超/Zilliz工程师高超D向量数据库背景介绍D性能的关键-索引向量数据库背景介绍zilliz样的Metric,常见的有L2,IP米zilliz·向量数据库是一种专为存储和查询高维度向量数据而优化的数据库系统Vector已经被广泛应用于机器学习应用中，包括推荐系统，搜索，风控，安防等系统中。现在仍然是重要的使用场景搞笑美女网页新同首页图说新闻搞笑美女网页新同首页图说新闻该图片可能是：榴莲酥该图片可能是：榴莲酥相似图片Generation(RAG),VectorVector米zilliz什么是一个好的向量数据库·可观测可运维·加载和查询4·Index:索引构建争抢查询资源LogBroker目目目▲▲▲▲实时性和性能的tradeoff·Segment是milvus查询的最小单位询，保证数据的实时可见，性能差queryNode上的数据加速查询segment,加速查询向量检索更加友好件，跳过消息队列，直接插入到对象存储全局索引向量数据库即服务多实例架多实例架访问控制多AZ高可用监控告警审计全商业版商业版理鉴权BYOC三个版本，面向不同需鉴权网络控制网络控制Azure,阿里云、腾讯云等主流向量索引●树索引：维度灾难，性能差·量化：精度有限，但比哈希更为常用·图索引：占用资源高，精度和性能优异树哈希量化图·Knowhere作为milvus的核心向量引擎，集成了多种向量算法，供用户自由选择·对外统一接口，方便集成新索引米zilliz·暴搜：效率很低，但100%准确!●数据量少的时候可能优于索引的性能·对数据点做聚类，分成若干个buckets,避免搜索全量数据量通过聚类编码成聚类中心id,有效压缩向量的内存占用·查询时预计算query向量和每段聚类中心的距离，把距离计算转化成查表操作y₂Y₃y₂Y₃y4y₅y₆y7y₈·建索引的原则：近邻的近邻大概率是近邻，同时引入一些长边防止陷入局部最优索找到最终结果NeighborsVec2Neig计算精确距离，同时得到邻居id,用到内存中的PQ编码计算近似距离用于导航·DiskANN可以实现较低的内存占用，达到还不错的性能和高精度集成到knowhere,充分利用gpu的并行计算能力，加速索引构建和查询Milvus-CAGRAvsMilvus-HNSWMilvus-CAGRAvsMilvus-HNSW500K1536-dimT4A10GT4:16.8xA10G:25.8xT4:6.7xA10G:9x如何选择最合适的索引量化的方案。·希望提高accuracy则不去做激进的量化策略，要求很高则使用FLAT。索引/gpu索引方案Zillizcloud商业版索引引擎-cardinal成为一个基本需求标量过滤的效率。同时支持向量侧通过标量分布构建融合索引加速过滤774a63r33s42e640700006076304004300004200000000032dense=[0.2,0.3,0.5,0.7,...]#severalhundredfloatsMRR@10R@1000NDCG@10R@1000--检索，可以是多个densevector,也可以是denseVectors_t→→Input:Multi-VectorsDataset:Multi-fields78.480.056.955.557.778.657.859.356.072.869.970.178.686.67.168.743.738.845.265.335.548.248.956.361.544.557.979.070.79.681.159.457.258.880.159.061.458.274.571.271.279.087.79.680.758.857.559.279.757.662.858.373.971.369.878.5的需求。在文本检索时，一个向量代表一个chunk,缺少全文视角Exam