2025A2M大会：面向未来的数据库-打造灵活高效的一体化产品体系

--打造灵活高效的一体化产品体系讲师简介讲师简介OceanBase技术专家OceanBase在高并发、大规模场景下的故障手段，快速解决生产环境中的复杂问题。数据库的发展历程集中式中间件方案的分布式原生分布式一体化2020s1990s–2000s2020sOceanBase是“根自研”的原生分布式数据库，助力企业构建现代数据架构，负载关键业务、简化技术栈，致力于用技术让海量数据的管理和使用更简单。年创6100万次/秒数据库处理峰值记录数据库人才认证，助力数据库行业发展两次刷新TPC-C测试世界纪录,成为榜上首个分布式关系型数据库2020年，北京奥星贝斯科技有限公司在北京注册，OceanBase开始独立商业化运作。作为数据库引领者，目前OceanBase位居金融行业分布式数据库独立厂商第一，年创6100万次/秒数据库处理峰值记录数据库人才认证，助力数据库行业发展两次刷新TPC-C测试世界纪录,成为榜上首个分布式关系型数据库内核代码级掌控，深耕复杂场景为关键业务系统兜底全自研分布式数据库全自研分布式数据库，开放开源核心代码全球唯一同时打破TPC-C和TPC-H测试世界记录行业客户实现关键业务系统升级自主掌握技术路线主导产品发展和社区方向自建研发流程不受外部社区制约和断供拥有完整自主的知识产权构建自研技术生态圈打造高可靠性的产品生态体系年核心研发团队分布式数据库行业经验数据库专利核心研发团队分布式数据库行业经验数据库专利OceanBase大事记及架构演进V4.0版本V3.0版本V3.0版本V2.0V2.0版本V0.5V0.5版本公有云发布、走向海外规模化推广规模化推广顶榜首，成为全球唯一登顶TPC-C和TPC-H的分布式数据库6月25日正式立项6月25日正式立项V4.3版本双引擎战略独立商业化独立商业化扩大使用范围扩大使用范围打破世界记录TPC-C6088万tpmC登顶榜首打破世界记录TPC-C6088万tpmC登顶榜首多家金融客户核心交易上线第一个用户淘宝收藏夹多家金融客户核心交易上线第一个用户淘宝收藏夹数字江西数字江西全新数字经济时代驱动下的挑战与演进随着移动互联网的发展，SaaS层的应用架构率先开启从单体应用、服务化到云原生的演进。紧接着，IaaS层的基础架构在基本不影响业务的同时，向云化演进，具备更优的算力等。这两层的演进，正倒逼PaaS层的数据架构走向现代数据架构。 提供智能化的客户服务、风险管理、决策支持等成为新挑战。现代数据架构的5大特征单一、结构化、静态数据架构的时代已经一去不复返，当今的业务由海量复杂的并发数据、动态和静态数据、多种形式的数据以及不同质量和信任程度的数据驱动。一体化产品一体化引擎一体化架构为满足现代数据架构需求进行创新突破架构演进：从单机分布式一体化，到一体化产一体化产品一体化引擎一体化架构品 一个数据库解决80%的数据管理问题TP&AP融合态系统整体架构业务应用业务应用数据库代理数据库代理 Row-Level—l—l-.GETSmall-QueryScanBig-QueryRow-Level—l—l-.GETSmall-QueryScanBig-QueryTP关键业务负载行稳致远高级需求成长需求基础需求9易用灵活可控87654高级需求成长需求基础需求9易用灵活可控876543数据可靠2服务稳定功能丰富低成本持续可用可扩展高性能•实例数量大：传统的单体数据库遇到扩容瓶颈，大多选择分库分表策略缓解业务压力，导•实例数量大：传统的单体数据库遇到扩容瓶颈，大多选择分库分表策略缓解业务压力，导•使用碎片化：大量实例根据场景差异资源利用率各不相同，有的实例资源捉襟见肘，有的•存储降本：•存储降本：自研LSM-Tree存储引擎，采用行列混存和数据编码压缩算法，不能损失性能的前提下实现超高压缩比，有效降低70%-90%的存储成本。•资源利用率大幅提升：通过OB多租户架构实现数据库内核级虚拟化，对CPU、内存、数据等资源提供容器化管理，可灵活配置租户资源占比，租户资源无感伸缩，保持隔离•按需弹性扩展：普通的PC服务器即可构建超高吞吐的OceanBase集群，无需分库分•通过OMS保障业务不停机的情况下，实现数据的快速迁移，业务极少改造甚至零改造，即可快捷平滑的切换•通过OCP提供对OceanBase集群的图形化管理能力，自动巡检和感知能力，大幅提升运维效率，消除安全案例分享1：支付宝早期数据库架构（2004年-2008年）2004年支付宝诞生的第一笔担保交易一库闯天下系统2系统系统2案例分享1:支付宝早期数据库架构（2008-2014）务库账备换切备主务库账主付库支备换切备主付库支主交易垂直拆分水平拆分务库账备换切备主务库账主付库支备换切备主付库支主交易垂直拆分水平拆分案例分享1:规模化运维带来的挑战实例部署问题排查数据坏块实例部署问题排查数据坏块CPU使用率告警表太大了，不敢做DDL了主备延迟了数据库升级时间碎片化响应时间幸福感连接数不够了性能又抖了SQLReview机器又down机了，快切SQL调优数据量太大了，快帮我拆表OceanBase已经覆盖支付宝100%核心链路，支撑全部五大业务板块。目前运行数十亿条不同的SQL、数据量达数百PB、服务器核数过百万。台 度2200万公里 度2200万公里吨相当于76亩分布式事务处理引擎LSM-Tree数据高级压缩技术分布式事务处理引擎LSM-Tree数据高级压缩技术支付宝是中国最大的移动支付平台，致力案，让信任成为财富，让商业变得更加简单。平台商家超过8000万，服务10亿通过200多万个支付宝小程序，为用户提供超过1000种日常生活服务，正在为世界带来更多微小而美好的改变。已有60%的支付宝用户享受到便捷的数字生活合作金融机构超过2000家，“310全流程线上模式”每年为超过2000万小微经营者提供与全球金融机构合作，支持商家在国际电商全球卖，成为eWTP的重要支撑。蓝色二维码，连接全球出境游客和当地商家，让中国与全球用户都能享受移动支付的便利。案例分享1:背后技术详解案例分享1:高压缩比——基于LSMTree的存储管理Row-LevelRedo/MVCCl一B+-TreesLogsLogsLSM-Tree架构Scan码Replicas压缩与编码基线SSTable(压缩与编码基线SSTable(ROS)转储SSTable案例分享1:高压缩比--行列混合1111…………KAlicefemalekKAlicefemalekJohnJohn…………LindaNfemalenLindaNfemalen…Alice……female1…K…Alice……female1…Kblock2block2…N…John…Linda），…female案例分享1:复杂查询能力•充分利用编码优势加速查询•增量数据交叉•谓词算子下压•利用编码聚合信息快速过滤•按列过滤充分利用剪枝•按列批量解码--查询过滤下压MEMTableMEMTableMinorSSTableMajorSSTableCol2HeaderMicroblockHeaderCol2HeaderMicroblockHeaderCol3HeaderCol3Col2 Col3Col2 RowindexRowRow1vectorBuffervectorBuffer......Row2案例分享1:高扩展性-集群节点全对等每个节点都具备计算和存储能力，无单点瓶颈，可线性、在线扩展和收缩OBServerP1OBServerP1OBServerP1OBServerP1OBServerP1OBServerOBServerOBServerOBServerOBServerOBServerOBServerOBServerOBServerOBServerOBServerZONE1ZONE2ZONE3案例分享2:“三地五中心”提升异地城市容灾能力••网商银行致力于为小微企业、三农用户、大众消费者、中小金融机构提供普惠金融服务，从成立之初就提出低成本、高可用、高弹性的要求。•随着互联网金融业务的发展，网商银行的数据量和并发访问量呈现指数级的增长，需要具备城市级别的容灾能力，满足监管要求。•需要标准、安全和高效的数据库多租户隔离环境及管理工具，满足全行多应用系统，如存贷汇核心系统，的管理与使用需•通过“三地五中心”的逻辑架构部署，实现RPO=0,RTO<30s。一旦其中一到两个中心发生故障，甚至一个城市出现问题，业务也能够实现在30秒内自动恢复。•分库分表与分区相结合，提高并发跑批的能力，每个批次查询5千～100万条，每批次并发最大可处理130亿账户。目前集群规模100多套，数据量达到PB级。•实现数据从金融网关进入网商那一刻起就变成密文，密文传输、密文存储，符合金融级数据隐私保护的要求。•混合云的弹性架构，实现大促期间在一朵云资源耗尽的情况下，弹出20%的流量到新云上，保证了负载的跨云弹性伸缩。DNSDNS(域名解析)ALB(四层负载)ALB(四层负载)机房C机房D机房A机房B机房C机房D机房A机房BCAB•利用OceanBase透明加密的特性，对传输链路和磁盘存储进行TDE透明加密。云原生架构配合全栈加密，让用户数据的全生命周期数据传输加密，落在磁盘上的数据都是密文。CAB•凭借混合云架构、高可用、Oracle兼容等特性，通过分布式中间件、金融套件、移动开发平台集成解决方案，支撑网商银行核心系统数字化转型。案例分享2:背后技术详解基于Paxos协议的典型三副本部署方案案例分享2:高可用性-超越传统数据库基于Paxos协议的典型三副本部署方案 案例分享2：异地多活-多机房部署主主备部署弱读就近访问三地五中心降低事务提交耗时案例分享2：高可靠性-物理数据校验案例分享2：高可靠性-逻辑数据校验列1-0列2-0列1-0列2-0列3-0列4-0列1-1列2-1列3-1列4-1列1-2列2-2列3-2列4-2列1-3列2-3列3-3列4-3列1-4列2-4列3-4列4-4索引-0索引-1索引-2索引-3索引-4•合并时:OceanBase4.3.5：面向AP场景功能完备的首个LTS版本AP功能完备型外表支持读ORC；支持读写性能提升导入性能相对4.3.2累计提升300%多模融合分析易用性易用性SQLSTAT、分SQL类型的直方图统计SQL引擎优化实时分析混合负载解决方案[00-[25-•离线数仓实时性差：离线数仓往往仅能提供T+1的数据能力，数据更新能力较弱，导致在线业务团队的实时分析、营销推荐类需求无法及时满足[25-•混合负载隔离性差：HTAP的核心在于一套引擎支持多种负载，而资源的隔离性如果无法得到保障，承担关键交易的数据库一旦被分析型、批处理类的业务影响，往往直接导致在线交易下跌，业务严重受损。[50-•数据量巨大，存储冗余成本高：伴随业务产生的大量数据都是数据分析的数据原料，需要全量保存，这些数据会占用大量的存储空间，[50-[75[75-•强大的复杂SQL执行能力：强大的并行执行引擎，增强型SQL优化器和向量化引擎支持，实现海量数据的快速并行计算分析。•通过OMS将异构数据库分库分表同步至OceanBase原生分区表（多表汇聚同步）。•迁移至OceanBase后多个实例融合为一个实例，摆脱维护中间件的苦恼，大幅提升存储可扩展性。••通过OMS将异构数据库分库分表同步至OceanBase原生分区表（多表汇聚同步）。•迁移至OceanBase后多个实例融合为一个实例，摆脱维护中间件的苦恼，大幅提升存储可扩展性。•OceanBase的HTAP模式，满足了业务上分析查询的业务得以前置，无需等待T+1数据，直接于在线库实现实时营销决策等分析需求。•多模场景支持：兼容Oracle、MySQL语法,同时支持HBase和Table模型API，并且支持JSON半结构化数据格式和场景。强大的CDC能力支持，方便多种类型的下游进行数据消费。•实时数据更新能力：基于关系型数据库的更新能力，全面支持数据库事务；使用改进的Paxos一致性协议进行数据协调，副本间极低延迟。•容纳海量在线数据：相比一般关系型数据库有限的数据承载和分析能力，OceanBase的原生分布式架构可以很好的支持水平平滑扩容，扩容后线性提升；单机群最大可超过上千节点，数据容量超过PB级。数据孤岛问题时效不足影响决策存储浪费成本高管控难LSM一体化极简架构MPP架构支撑高并发计算多场景隔离能力系统实时分析算力提升系统实时分析算力提升45%数据库整体成本节省50%稳定支撑节假日流量洪峰亿级规模数据查询性能快40倍查询性能快40倍存储成本节省50%HTAP构建企业全渠道核心能力读写性能促进业财一体精细化管理基于LSM-Tree以及高级压缩编码技术成本相比传统方案降低70%-90%。CDC低延迟高性能场景解决方案OCPPL/SQL通过底层资源隔离技术以及用户资源组技术，做到多场景多用场景解决方案OCPPL/SQL案例分享3：海底捞：稳定支撑百城千店极速点餐•服务连续性遇挑战：•服务连续性遇挑战：原方案采用MySQL分库分表架构，结构复杂的同时稳定性堪忧。流量洪峰时，会员、排队取号等系统面临非常大的压力，曾发生高峰期数据库故障导致业务受到严重影响的事件；•智能推荐能力提升受阻：实时分析每位顾客不同的口味、喜好进行智能推荐，依赖更为稳定的OLAP能力，现有架构链路复杂且同步存在时延，并带来额外的存储成本；•降本增效需求迫切：疫情对餐饮行业带来致命冲击，需保证服务质量不下降的同时降低成本。分库分表架构存在流量洪峰过后不能及时缩容，带来的资源浪费问题。•一份数据实现两份收益，简化架构和降低成本的前提下，HTAP混合负载能力提升30%，系统具备更实时、稳定的智能推荐能力；•OceanBase的紧密存储、租户秒级动态伸缩和计算资源不浪费等特性，实现数据库总拥有成本下降35%；•数据库性能、稳定性显著提升，弹性扩缩容保障大促平稳度过，保证业务连续性，实现7x24小时稳定运行，达到RTO=0，RPO<30s的容灾目标。实时数仓查询交易核心实时数仓查询在线交易在线交易•OceanBase原生分布式能力，具备优越的扩展性、高可用、高性能等特性，彻底解决分库分表方案扩展性不足、可靠性差•完整技术降本方案，高级压缩技术降低数据存储成本，多租户混部充分利用系统资源，以及HTAP案例分享3：背后技术详解案例分享3：多租户OBProxyOBProxyOBProxyOBProxyTenant_SYSTenant_SYSTenantTenant_SYSTenant_SYSTenant_SYSRSRSRSRSRSRS•适合多租户SaaS服务案例分享3：HTAP--只读副本•OLTP与OLAP负载资源隔离•ETL取数案例分享3：HTAP–多级查询队列向量数据库典型应用场景案例分享4:支付宝以图搜图人脸识别••支付宝-人脸识别•旅游–酒店识别•教培–课堂实时跟踪待检索图片/文字待检索图片/文字用户提问内标量过滤向量检索空间搜索和计算标量过滤向量检索案例分享6:中国联通–知识库:向量化引擎让知识库更智能背后技术详解善OceanBase在一体化架构上实现SQL+AI结合，支持向量检索与其他数据类型（如GIS数据、关系型数据、文档等）的混合查询。通过向量融合查询，企业可将AI能力与数据库系统无缝整合，简化技术栈，支持可扩展的复杂AI应用。OceanBase在关系型数据库基础上新增向量检索能力，支持向量数据类型、向量索引和基于向量索引的搜索能力。用户可以通过SQL和PythonSDK等方式灵活调用这些功能，结合OceanBase的分布式存储能力和对多模数据类型的支持，OceanBase提供更丰富的融合查询能力，简化AI应用技术栈，加速RAG、智能推荐和多模态搜索等场景落地。事务高可用多分区水平扩展高效存储弹性扩缩容OceanBase提供向量存储、向量索引以及embedding向量检索能力，覆盖从索引算法、距离计算、过滤能力到访问接口的完整向量基础功能。同时，通过分布式架构、存储优化、高可用设计以及融合查询等能力的扩展，OceanBase打造一体化的向量融合查询能力，助力AI应用在更多场景落地。GIST-960排名第一支持主备/跨机房/跨地域容灾，即使是内支持主备/跨机房/跨地域容灾，即使是内切换后也能实时访问企业级安全特性完善的工具体系企业级安全特性完善的工具体系持续打磨OceanBase向量检索性能系统系统版本PgVector0.8.0Elasticsearch9.0.0云服务器机型服务器规格成本大幅节约:引入BQ量化算法业内领先的混合检索能力更快后过滤后过滤更准一条SQLHybridSearch标量索引向量索引全文索引空间索引JSON多值索引标量文本空间JSON…….更易用工具体系完善OceanBase工具体系为OceanBase数据库从迁移前、替换中和使用后的不同阶段提供全方位产品化护航，助力业务稳定增长。评估改造实时迁移开发管理生产运维容灾自动采集自动转换回放压测数据库画像兼容性评估分布式改造权限管理操作审计安全协同自动采集自动转换回放压测数据库画像兼容性评估分布式改造权限管理操作审计安全协同变更管控数据脱敏安全治理部署升级资源管理系统管理备份恢复监控告警自动巡检对象迁移全量迁移增量迁移数据校验增量回写数据订正数据采集数据归档分区计划SQL计划数据清洗数据入湖连接管理对象管理开发调试导入导出数据可视化模拟数据全链路监控SQL诊断容量管理自动恢复自动优化智能运维容灾切换