基于ByteHouse OLAP架构如何实现⾼性能向量检索_第1页
基于ByteHouse OLAP架构如何实现⾼性能向量检索_第2页
基于ByteHouse OLAP架构如何实现⾼性能向量检索_第3页
基于ByteHouse OLAP架构如何实现⾼性能向量检索_第4页
基于ByteHouse OLAP架构如何实现⾼性能向量检索_第5页
已阅读5页，还剩57页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

基于ByteHouseOLAP架构如何实现高性能向量检索向量检索概念及场景性能与资源使用优化向量检索概念及场景性能与资源使用优化性能评测及未来工作••额外内存占用少•查询速度受维度信息•All-in-one查询向量检索概念及场景性能与资源使用优化向量检索概念及场景性能评测及未来工作•完备的数据管理机制•标准的SQL和多种复杂数据类型支持•通用查询链路，额外的计算和IO开销•标量索引VS向量索引•StrictmonotonicityvsRelaxedmonotonicity·数据管理保障·丰富数据表引擎：支持不同使用场景·权限控制·丰富的数据类型和语法支持·复杂类型支持·完善的SQL支持·高性能计算引擎·向量化算子执行，底层计算优化·查询优化器·高效的查询计划和分布式执行·计算冗余·Dataskip阶段·vectorindex计算出来的top-k(label,distance)信息只用于做datablock过滤·PostSkip阶段·还需要对过滤后的向量再计算一次distance信息·读放大·多次topK向量索引的读取·实际执行distance算子时，还需要读取向量列数据·高效向量检索执行链路·One-passcomputation·Columnpruning·通用的向量/标量混合查询链路(通过rowidbitmap关联)·标量前置过滤·标量后置过滤（迭代）·In-memory向量索引缓存·基于LRU策略向量检索概念及场景··过滤操作优化·数据冷读问题优化··基于标量主键范围查找·主键是有序的，只需读取首尾部分数据进行过滤，构建符合条件的row·加速标量列剪枝·FilterbypartitionKey/Primarykey/Skipindices·存储层过滤·标量列读区操作过滤下推->减少反序列化开销·Cache热数据行加速点查·使用索引需要index结构全载入内存··Cachepreload&autogc·服务启动，数据写入等场景自动loadnewindex到内存·Cache中过期数据自动回收·向量数据库workload特征·CPUheavy·内存资源消耗高·并发限制·Buildindexthreadslimit·Backgroundmergetaskslimit·内存优化·向量压缩(product/scalar/binaryquantisation)·HNSWSQincrementallytrain·Disk-basedindexbuild:IVF系列向量检索概念及场景性能与资源使用优化向量检索概念及场景·不同索引比较·HNSW_SQ·精度要求较高，内存资源紧张，·IVF_PQ_FS+Refine(SQ8)·精度要求不高，内存资源紧张，·HNSW··资源需求更少，性能更好的索引结构·OnDiskIndices·更好的压缩算法与策略·向量索引与其他查询操作融合·全文检索hybridsearch·基于UDF的embedding计算融合·性能优化·点查·冷读性能优化·详解OLAP+向量检

人人文库> 全部分类> 应用文书 > 研究报告

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论