20224布式数据加速企业数据智能化

分布式Data

Warebase-加速企业数据智能化目录/企业数字化背景和趋势/Why

Data

Warebase?03/Data

Warebase系统架构

04/Data

Warebase关键技术

05/企业私域数据智能化探索企业数据资产的DIKW模型用于预测、决策并符合价值观的知识智慧有上下文、可被解释的信息知识建模后的数据信息基本经营的数字化表征数据结构化技术实现价值挖掘抽象数据处理历程智能化规模化信息化一个招猎业务的数据架构向量数据库语义搜索简单查询简单查询应用应用服务增量同步CDCCDC关键词搜索对象存储快照快照全量同步全量同步分析BI工具全量同步增量同步关键词搜索语义搜索汇总分析简单查询增量同步上述数据架构的弊端数据不一致开发效率低成本不可控运维复杂系统稳定性差数据延迟开发门槛高开发视角运维视角业务视角分布式Data

Warebase所有数据结构化数据半结构化数据非结构化数据所有场景关键词搜索语义搜索汇总分析简单查询极简体验统一的数据存储兼容已有生态隔离统一的API自适应挑战极限性能正确实时不是发明而是发现Data

WarebaseData

Warehouse

+

Database数据开发的新范式分析增量同步BI工具语义搜索CDC简单查询简单查询应用CDCCDC快照快照全量同步对象存储关键词搜索应用服务应用应用服务简单查询

关键字搜索语义搜索分析BI工具向量数据库全量同步全量同步增量同步增量同步分布式

DataWarebase总体系统架构Device

(IoT)IDCEvent

DataCloud

Storage

(S3)NoSQL

(MongoDB)Log

DataCloudServicesDataIntegrationManagementObservabilitySecurityBillingCentralizedStorageCloudAlibabaTencentHuaweiAWSAzureMulti-ClusterComputeWarebaseWarebaseWarebaseAI

/

MLReal-Time

DecisionSearchBI

/

AnalyticsBusiness

AppMySQL

/

PostgreSQLTeleport关键技术多种存储格式高性能多场景查询高性能数据操作高性能分布式事务存算分离自适应多云架构丰富的索引多种数据提升开发运维效率所有数据多云原生所有场景挑战极限极简体验分层存储兼容PostgreSQL生态无限扩展负载隔离安全可信全托管多云存算分离Multi-ClusterComputeCloud

StorageWarebase

BUnit

2Warebase

AUnit

1Unit

3Unit

1CentralizedStorageWarebase一个虚拟化的计算集群由基于容器化的多个Units组成Units可以快速增减无需拷贝数据，新扩Units可立刻服务Database数据存储的逻辑单元数据存储在EBS，S3等云存储中多副本保证高可用性存储不够时系统会自动快速扩容新扩存储可立刻被所有数据库使用存储格式列存适合分析型场景高效的多维过滤与聚合更高的压缩率混合存储适合HTAP场景行存适合事务型场景高性能实时写入高性能点查半结构化数据通过Json/JsonB类型支持半结构化数据Json/JsonB列同一个路径允许有不同类型关系型数据和半结构化数据可存储在同一个表通过SQL/Json

path提供丰富的查询能力高维向量文字/图像/音视频的嵌入向量关系型数据和向量数据可存储在同一个表通过SQL提供查询非结构化数据多种数据丰富的索引索引特点索引和主表保持事务型强一致支持并发创建（concurrently)支持表达式索引支持部分索引支持包含列索引类型支持全局二级索引支持倒排索引支持Json索引支持向量索引支持位图索引分层存储热数据/实时数据高性能存储冷热分离冷数据/历史数据低成本S3无限扩展Unit

2Unit

1Unit

3水平扩展只读实例*该功能开发中高性能多场景查询分布式执行计划向量化执行引擎索引加速物化视图简单查询关键词搜索向量搜索复杂的分析查询高性能多场景高吞吐/零延迟支持UPSERT/MERGE/UPDATE

JOIN支持输出更新的数据高性能导入COPY

FROM高性能导出COPY

TOCDC交互式增删改导入导出高性能数据操作高性能分布式事务支持完整ACID语意支持多语句事务支持对话式事务高吞吐低延迟分布式事务兼容PostgreSQL生态QuickBI驱动、框架、工具、文档、扩展DBeaverGormMybatisSQLAlchemyDBTpgAdmin负载均衡Warebase

BUnit

1

Unit

2Warebase

AUnit

1不同业务的隔离Warebase

AUnit

1同一个业务软隔离同一个业务的硬隔离Warebase

AUnit

1

Unit

2Warebase

A’Unit

1

Unit

2自适应数据自动分片和均衡自适应建索引自适应编码策略一阶段事务查询自动选择存储格式和索引查询自动决定并发度自适应生成式AI加速企业私域数据智能化Pre-TrainedFine-TuningRAG检索增强生成-RAG5相关文档知识库提示+上下文6LLM287召回系统生成答案问题1Warebase

A4搜索3EmbeddingServiceOmni

SearchStructured

DataJSONEmbeddingsData

WarebaseNL2SQLSQLNLLLM

ServiceEmbedding

ServiceData

Warebase挑战极限，让数据涌现智能正确性能实时体验