2025构建下一代云原生数仓

移动云x

StarRocks：构建下一代云原生数仓01020304移动云分析型数据库发展历程海山数仓的架构和理念海山数仓的核心技术及演进趋势移动云的实践与未来展望01移动云分析型数据库发展历程移动云数据库的发展历程移动云数据库团队十年前正式诞生，以实现数据库核心技术自主可控为目标，目前已构建完整产品和市场体系，并实现大规模商用。2014基于开源启动商业版产品打造集团内部推广和应用苏州研发中心2020启动云改，转型云计算服务商海山数据库1.0发布云能力中心2024云原生进阶，发布海山数据库2.0启动算力网络数据库探索和研究规模200+人内核研发70+人研发团队15+31全国资源覆盖30万vcore资源规模10+中移专业公司9大重点行业突破市场推广由云向算，云原生数据库四级进化Aurora

Serverless2018开源托管AuroraLog

is

Database20092014无资源预占、全球分布、任务式服务资源预占、计算存储分别扩展资源预占、计算存储—体扩展云原生数据库的进化方向：更深层次的解耦、更灵活的感知调度无资源预占、水平和垂直扩展从云计算到算力网络我们认为数据库的下一阶段:L3

ServerlessL2存算分离L1容器化部署移动云数据库布局移动云一站式云原生数据库服务数据库生态工具数据库传输

数据库管理

数据库自治事务型数据库海山数据库MySQL海山数据库PGRDSMySQL分析检索OLAP海山数仓

L2搜索数据库

L1向量数据库

L1NoSQL缓存数据库

L1L3L2海山数据库分布式

L1L1文档数据库

L1多模数据库

L1算力网络数据库L4数据库统一云平台底座移动云基于K8s构建云原生数据库底座，全线产品达云原生L1级自研海山数据库系列，采用存算分离架构，并全面向

Serverless演进在中国移动算力网络战略下，大力探索算力网络数据库，

积极推进相关技术以及行业标准制定24年9月发布《中国移动算力网络数据库白皮书》分析型数据库：从湖到仓第二代:传统MPP数据库第三代：新架构实时数仓第一代：单机分析型数据库上世纪90年代以

Oracle、DB2为代表的单机分析型数据库第四代：云原生数仓近五年来以SnowFlake为代表的云原生数仓，强调与云的基础设施融合，云原生、一体化、湖仓融合是主要的发展趋势。2000年代以Teradata、Greenplum、Vertica为代表的

MPP架构数仓，具备支撑TB级别数据分析能力近十年来以Clickhouse、Doris为代表的新架构实时数仓，吸收开源大数据技术架构和能力，在分析实时性、支撑数据规模上有了显著提升BC-HadoopBC-RDB-Hybrid BC-HugeTableLakehouseEMR海山数仓移动云产品演进Oracle2000年Teradata2005年Vertica数仓2016年ClickHouse2017年ApacheDoris2021年DataBend2021年Starrocks、DatabricksDB2

GreenplumNetezzaFoxLake湖仓融合2014年Snowflake2008年Hadoop2020年湖仓一体2012年Presto、Impala、Hawq、Druid2017年Hudi2018年Iceberg2019年DeltaLake分析型数据库技术的发展的四个阶段2003年02海山数仓的架构和理念海山数仓的设计理念高性能实时数仓引擎云原生极致性价比极简化数据集成生态物化视图、向量化引擎、行列混存、CBO优化器存算分离、multi-warehouseZero-ETL、湖仓融合海山数仓的架构设计对象存储FECN本地高速缓存计算层数仓实例服务层接入层JDBCODBCMySQLClient计算存储FEFECN本地高速缓存海山云平台监控管理日志管理运维平台传输迁移管控APIK8s管理容器网络多云管理数据面管控面高性能数仓引擎基于Starrocks内核构建高性能计算引擎。支持向

量化引擎、CBO优化、物化视图、智能缓存等能力。存算分离架构基于Starrocks实现存算分离能力，计算存储独立的扩展，支持无状态计算节点，持久化存储基于对象存储，通过本地缓存加速；实现多个计算实例共享数据存储，降低存储冗余和同步开销。统一管控云平台对各类数据库进行统—抽象和封装，形成算网数据库管控底座；提供适配算力网络模式的新型数据库资源供给能力。高兼容性支持MySQL协议,兼容SQL

99/2003,支持多种外部数据源、联邦查询能力,兼容Iceberg、Hudi等开放数据湖格式。03海山数仓的核心技术与演进趋势云原生架构存算一体和存算分离的支持Multi-Warehouse支持多个Warehouse共享一份数据，避免集群间数据复制成本不同Warehouse应用在不同的业务负载。计算资源可以进行物理隔离具备完备的多租户权限控制（Role

BasedAccess

Control）FEBELocalStorageFEBELocalStorageFEBELocalStorage移动云对象存储EOSFECNFECNFECN私有云：存算一体架构

公有云：存算分离架构公有云场景支持存算分离架构，具备更好资源弹性；私有云场景支持存算一体架构，具备更健壮架构持久化存储基于对象存储，降低约80%存储成本，容量可弹性扩展至PB级本地SSD提供缓存加速能力，大部分缓存命中查询性能与存算一体持平计算/存储资源独立扩展，有效提升资源利用率共享存储FEFECN

CNWarehouse1FEFECN

CNWarehouse2FECNWarehouse3ETL任务即席查询月度报表数据库云平台-新一代云原生数据库管理架构通过对多数据库的拓扑结构、高可用性、数据一致性保护和运维操作进行领域模型建模，数据库云平台可以从中抽象出数据库容器化管理标准，可以让数据库开发者以声明式和配置式的方式接入和高效管理多种数据库类型数据库容器化，将数据面和管理面功能分离后，不仅将数据库生命周期管理标准化，也将运维和管理能力进行标准化在管理面将运维操作和经验自动化和平台化，提供丰富的数据库Day-2运维功能；实现标准化监控系统的接口和数据格式，通过插件机制可扩展支持将可观测性数据写入到监控系统、日志系统及消息中间件等，并提供丰富的可视化面板在数据面将数据库映射到位于四个层次的对象上：Cluster、Component、InstanceSet和Instance，形成了分层的架构，通过这些API定义组件的拓扑关系、启动的依赖顺序及引用关系等Zero-ETL提升数据集成能力ETL的痛点在数据分析的场景中，通常分析型数据库本身不生产数据，数据来源于业务系统的输入。在传统数据分析应用中，ETL相关的工作量占比达到70%旨在实现事务处理和数据分析—体化，交易型数据库数据能够—键同步到分析型数据库，实现建仓成本的降低和入仓效率的提升Zero-ETL服务功能完备卓越性价比?海山数仓服务Serverless化，根据负载动态分配资源及并行度全量同步20w条/s,增量同步5w条/s，对比业界竞品3w条/s同步延时低于15s，对比业界竞品延时5min支持MySQL整库全、增量—体同步支持动态Schema变更:增加列、删除列、新增表支持多源合并能力AI+数据库内核能力增强性能困境：一次索引查需多次读对象存储和多次二分查询；成本困境：多次对象存储交互导致用户成本提升。学习数据分布特性，机器学习算法替代二分查询算法；启发于聚簇索引，存储单元存储字典和位图；充分利用对象存储的吞吐能力性能表现：1.64x到2.03x。分组模型一：数据范围分组，支持字符串的学习型位图索引；分组模型二：数据特征分组，降低内存占用，提高查询效率。自适应分组的学习型位图索引云原生学习型位图索引云原生下位图索引的困境学习型索引：通过机器学习模型来替代传统数据库索引结构，学习型索引通过使用机器学习模型来预测键的位置，从而减少索引的大小和访问次数，提高查询效率。在云原生分析型数据库场景，学习型所以可以降低对对象存储的访问开销，从而显著提升查询效率。04移动云的实践与未来展望实践案例：移动中间号业务项目背景移动云中间号业务深耕垂直行业语音市场，该业务将号码(A)与号码(B)通过中间号(X)灵活绑定，双向隐私通话，双方来电显示均为中间号,为滴滴、美团、阿里、腾讯、京东等超500家头部企业提供服务。中间号平台通过广州、呼和浩特两个资源池承载全国的务间号业务，采用云MySQL承载话单数据，每天基于话单数据进行运营分析查询。存量数据量约7TB，日增数据量约1亿条。业务痛点：从离线数仓到实时数仓：自建数仓仅能做到T+1非实时分析，无法满足业务实时分析需求实时数据分析场景通过Zero-ETL将南北方MySQL数据实时同步至移动云海山数仓产品，以实现近实时分析MySQL中的业务数据数据同步时延从MySQL数据同步到数仓中查询可用约10s。查询性能使用异步物化视图优化技术,单表1亿条数据查询,时间最快可达到200ms(原Clickhouse查询时长1-2秒)解决方案实践案例：设计院融基平台项目背景中国移动设计院融基平台聚焦解决质量、成本、效率和安全四大核心需求，致力于构建一站式云原生运维管理平台。其中，数据计算服务支撑数据仓库建设、数据分析和汇总分析等需求，承载调度云、门户云、用户云和设计院云的MySQL、PG的数据共享和贯通查询需求。Clickhouse替换需求，存量数据量约7亿条，存储约3TB，日增数据量约1000万条。业务痛点：离线数仓和实时数仓共存，技术栈繁杂，维护成本不断提升；自建数仓无法满足PostgreSQL库数据源实时同步需求实时同步通过Zero-ETL实现整库全增量一体同步（270+表），以实现近实时分析MySQL中的调度表数据离线/在线分析基于Multi-warehouse使用两个海山数仓实例将查询和分析库的分析需求隔离，减少峰值期的资源抢占。数据源扩展海山数仓支持PostgresSQL/MySQL数据源，并实现近实时分析能力。建设方案实践案例：苏州银行OceanBaseFlink过滤行为分析客户

留存

趋势

转化

属性分群

分析

分析

分析

分析客户分群电子表格透视分析组合分析离线：Data

LakeHouse外表实时访问K

a

f

k

a固定报表分析GaussDBOracleMySQLDIMDIMDIMDIMODSDWDDWSADSODSDWDDWSADSODSDWDDWSADS指标圈选绩效。。。

实时数仓，端到端延时低于1分钟

基于主键模型大幅提升实时数据查询性能2.x倍

基于物化视图实现多层面逻辑视图嵌套，降低数仓各层级之间数据处理延时

湖仓一体架构降低离线数据迁移和存储成本DTS清洗聚合物化视图物化视图物化视图苏州银行实时场景承载各业务分析场景需求，业务总数据量约2PB，每日