版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
分布式数据库OceanBase
架构演进与业务场景实践架构升级以及背后的故事核心特性以及原理解读OceanBase在企业场景落地实践进一步开源开放的OceanBase生态目录架构升级以及背后的故事OceanBase发展历程及构架演进V1.0分布式事务,多租户,一体化V0.1合V2.0~V3.0高兼容(+oracle)高性能(TPCC、TPCH)混合负载V4.0单机分布式一体化ZoneOBServerOBServerZoneOBServerOBServerZoneOBServerOBServer分布式,三副本高可用,松耦SQL
SQL
SQLChunkServerUpdateServerUpdateServerUpdateServerOBServerOBServerOBServerOBServer2016201020182022ZoneOB-MySQLOB-OracleZoneOB-MySQLOB-OracleZoneOB-MySQLOB-Oracle分布式架构多副本:一般部署为三/五个Zone,每个Zone由多个服务器节点(OBServer)组成对等节点:每个节点均有自己的SQL引擎和存储引擎,自主管理各自承载的数据分区,TCP/IP互通,协同服务无需存储设备共享:数据分布在各个节点上,不基于任何设备级共享存储技术,不需要SAN网络分区级可用性:分区是可靠性与扩展性的基本单元,自动实现访问路由、策略驱动负载均衡、自主故障恢复高可用+强一致:多副本+Paxos分布式协议的高效高可靠工程实现,确保数据(日志)持久化在多数派节点成功无共享架构+Paxos协议+分区级高可用P1P2P4OBServerZONE_1P5P6P8OBServerP7P1P3P4OBServerZONE_2P5P6P8OBServerP7P1P3P2OBServerZONE_3P5P6P8OBServerP7OBProxyOBProxyOBProxyAPPAPPAPPP3P2P4Paxos
GroupOceanBase
三副本架构核心特性以及原理解读什么是单机分布式一体化数据库?单机、主备、分布式架构动态转换P5P5P7P5P7基于Paxos复制的日志流,RPO=0,RTO<8sP2P4P1P0P1P0P1P0P2P4P2P4弱一致性读写操作读操作ZONE_1OBServerSQLZONE_2OBServerSQLZONE_3OBServerSQLOBServerSQLOBServerSQLOBServerSQLP6P8P6P8P7P6P8SQL路由驱动/OBProxy小业务初创企业大规模业务大型企业OBServerSQLStorageOBServerSQLStorage更大规格的单机主备库中等规模业务ZONE_1OBServerSQLStorageZONE_2OBServerSQLStorageZONE_3OBServerSQLStorageStorageStorage主库OBServerSQL备库OBServerSQL三副本垂直扩展无损容灾读写分离中等规模企业不为你不需要的特性买单:你为什么需要分布式数据库?架构升级-主备模式像使用MySQL一样使用OceanBase(租户主备)典型场景介绍单副本高可用架构高网络延迟架构方案价值不再需要中间介质来实现租户级别主备RTO秒级、RPO秒级主备独立,互不感知3.X架构局限性-paxos选举开销极端场景测试3.x架构下,选举就会消耗不少的CPU
资源,小规格资源无法承担业务测试场景一测试场景二“从大到小”,不仅仅是架构变小,更要解决在小规格配置时流畅的使用OceanBase分布式事务现象:参与者的数量变多的时候,到4个时,性能大概会减半;当参与者到100个的时候,性能会再减半;结论:参与者的数量越多,事务的性能就会越差。4.X如何解决合并日志流降低选举开销Paxos
group、分区降低分布式事务开销单机多分区、跨机核心:日志流数量太多目标:单机单日志流就像MySQL
一样架构升级-单日志流3.X
分区与日志流高度耦合4.X
分区与日志流解耦场景1、数据量大造成分区数量巨大(建议5-8w)2、频繁创建、删除和truncate表和分区等问题1、系统开销(状态机):网络、CPU、内存等2、性能损失:多分区两阶段提交单个日志流可服务多个分区优化后1、开销小(日志流数量非常小)2、日志流内一阶段提交单机分区达到百万级别性能、资源、稳定性进一步提升更多优化存储层元数据按需加载大数据结构内存按需扩张优化内存减少不必要的后台线程数量按需降低后台线程扫描频率优化CPU增强自动改写,生成更好计划优化执行引擎,提升执行效率优化SQL资源占用更小,执行更快性能表现与对比小规格下性能表现优于MySQL结论:Insert、update性能是MySQL的2倍,其他项与MySQL相当甚至更好存储收益结论:OB
4.0存储成本只有MySQL/Cockroach
DB
1/4左右;另外一个是rocksDB,OB的成本也只有它的一半左右。功能特性完全自主研发的数据库,才能做到核心替代的真正落地自研一体化架构兼容经典模式,实现单机和分布式、TP和AP的融合★原生分布式全量数据校验真正实现数据强一致,数据不丢失,高可用,平滑扩展★单机分布式一体化自研一体化架构突破高性能和高可用,实现应用无限扩展和服务永远在线★
HTAP一份数据既能做事务处理又能实时分析,通过HTAP助力拓展更多可能★MySQL平滑迁移业务少量修改甚至不改即可迁移到OB,自动评估和迁移工具★低成本基于LSM-Tree的高压缩引擎平衡了“性能”和“压缩”的瓶颈,有效降低存储成本70%-90%★多租户资源隔离按需使用,灵活管理,适合微服务架构和SaaS
行业应用—原生多租户架构—Oracle兼容MySQL兼容—HTAP引擎(
TP+AP)—SQL优化引擎—集中式/分布式一体化架构—并行执行引擎存储过程分布式存储分布式事务分布式调度单机房三副本—基于Paxos+数据同步的灵活的容灾架构—同城三机房
双机房主备
两地三中心三地五中心—灵活的部署模式—物理部署专有云/混合云公有云/多云OceanBase在企业场景落地实践六大典型场景解决方案历史库低成本|生命周期自动管理|超大容量通过OceanBase智能化的历史库迁移平台,帮助用户快速、安全的完成冷数据归档,一次配置即可自动管…过OceanBase的分布式多租户架构,实现基于面向服务(SOA)的多数据库资源整合。多租户资源池化|降低成本7x24不停机高可异用地多活|单元化丨极致弹性OceanBase通过强大的异地部署能力和灵活的副本变换以及负载均衡能力,帮助企业在关键核心场景中构建…高并发分库分表聚合库|极速扩展|弹性扩所容基于OceanBase的在线扩缩容能力和高并发低延迟特性,快速应对业务负载变化,支撑业务高速发展实时数仓极低延迟|极简架构|海量存储集数据加工处理以及数据即时查询于一体的OceanBase原生分布式HTAP据库解决方案,为业务提供实时数仓支撑OBKV低成本|平滑替代|更高性能平滑替代HBase业务,大幅提升性能,节省大量HBase相关组件,统一技术栈,降低运维成本.典型场景一:历史库(高级压缩技术)数据压缩是降低海量数据存储空间占用的关键手段。OceanBase高压缩比的分布式存储引擎,摒弃了传统数据库的定长数据块存储,采用基于LSM-Tree的存储架构和自适应压缩技术,创造性的解决了传统数据库无法平衡“性能”和“压缩比”的难题,并基于数据日志分离方法的分布式存储技术,进一步降低存储成本,实现了高性能和低存储成本。基于LSM-Tree的存储引擎,利用编码压缩大大降低存储成本。基于数据变长-定长的存储压缩技术通过使用压缩率较高且解压缩较快的压缩算法对数据进行压缩,提高数据压缩倍率,减少数据的存储成本。同时由于LSM-Tree的结构特性,采用读写分离设计和行级细粒度记录更新,变更数据保存在内存中,并批量写入到磁盘上。因此能达到内存数据库级写入性能和磁盘数据库的存储成本,并消除了传统B+Tree的磁盘随机写瓶颈和存储空间碎片化问题,使得数据写入性能比传统的实时更新数据块的方式更高。基于数据编码的存储压缩技术采用行列混合存储格式,磁盘数据块按列组织,自研一套对数据库进行行列混存编码的压缩方法(encoding),使用行列的字典、差值、前缀等编码算法,在通用压缩算法之前对数据做了编码压缩,从而带来更大的压缩率。基于数据日志分离的低成本存储技术传统的Paxos协议中,系统需要三个副本(五副本),OceanBase数据库将用户数据和日志数据分离,比如日志数据基于Paxos协议使用三副本(五副本)存储,而用户数据本身可以使用两副本(三副本/四副本)进行存储。在保障相同可用性的前提下,数据日志分离可节省20%-40%的用户数据存储成本。同一业务的数据存储量OceanBase仅为MySQL数据库的1/8-1/10显著提升业务系统稳定性、安全性有效降低存储成本70%-90%多级转储提升写性能热点缓存基线数据CLog落盘
Paxos同步OLTP应用读数据合并时统一压缩转储数据OLTP应用写数据MemTable显著降低存储成本支撑OLTP业务在线高压缩比LSM-Tree架构、动态修改写内存、静态数据无修改;批量写高压缩支持、强数据校验、对SSD友好无随机写。内存
硬盘典型场景一:历史库
300+
套MySQL平滑迁移
200
运维更便捷75%存储成本降低业务挑战扩展性不足:随着订单业务量的增加,业务数据迅猛增长,传统数据库的存储瓶颈以及性能不佳问题越来越明显;数据量大:业务数据量在OceanBase单集群达到百T级别,同时单表大小达到10
T级别以上,同时存在大量数据进行聚合,有复杂的AP请求业务特征极端:数据量百T级别,读写请求峰值QPS百万级别稳定性要求高:业务要求返回延迟为ms级,如无法在规定时间 内完成,影响核对结果,同时系统出现故障或者请求异常抖动时, 会产生资损,与钱挂钩解决方案 OceanBase同城三机房部署架构,实现RPO=0,RTO<30秒的容灾能力;同时又可以在异地增加一个只读Zone提供本地的读服务,提升查询效率。同城容灾以及本地读等功能为业务提供稳定性和性能双重保障。 OceanBase具备灵活的资源扩展能力,根据业务实际发展情况可以动态的进行计算和存储能力的线性扩展,支撑海量数据的存储和计算,同时很好地应对未来的业务增长要求。 相比传统的集中式数据库MySQL,OceanBase在存储层面极致的压缩能力,有效降低企业使用数据库的硬件成本。运维更加高效与便捷:单集群替换300+套MySQL环境,运维管理成本大大降低,同时管理更加方便。低成本:支撑上百TB数据存储场景且性能和稳定性有保证,同时相比较之前的方案,OceanBase方案的存储成本降低75%,降本效果明显。架构收益明显:使用OceanBase替换掉ES+MySQL方案之后,替换掉ES服务,同时MySQL机器成本缩减一半,整体节省50台机器一套OCP管理OceanBase集群8套,OBServer节点数超过200个收益insertquery···OceanBaseMySQLMySQLMySQL典型场景二:多租户(对碎片化资源进行整合)•••大集群:将长尾应用的多实例MySQL、多业务统一进行管理,有效提高资源密度,消除存储碎片。多租户:实现数据库内核级虚拟化(CPU、IO、内存),满足数据安全隔离的同时,提供基于业务画像的可伸缩计算资源,同时通过Leader打散实现混部。通过提升资源密度的方式,实现满足相同业务需求的情况下,降低资源成本大集群&
多租户典型场景二:Saas服务每个应用租户拥有专属的资源池8c32g4c16gCPU内存存储2c8gCPU内存存储资源隔离、数据隔离、弹性调整OceanBase
集群资源隔离、灵活管理原生多租户架构,一个集群中同时运行多个数据库租户,每个租户可以视为一个独立的数据库服务。租户间数据和资源互相隔离,并且在集群内统一调度。支持在创建租户时选择不同的兼容模式,每个租户可单独配置数据副本数量、副本类型、存储位置及计算资源等。适合微服务架构随着企业内业务系统越来越复杂,原来的单体服务在工程和管理上变的越来越不堪重负。使用微服务架构,新增和调整功能只需要增加新的微服务节点。但是每个微服务需要使用不同的数据库,数据库的数量大大增加,可靠性和运维管理都带来了挑战。使用OceanBase多租户特性,管理员只需要运维少量集群,既能保证租户之间数据和资源互相隔离,又提升了数据库的稳定性。适合多租户SaaS服务云上的SaaS服务商,往往提供的是多租户的服务。多个业务租户的数据库如果在一个单机数据库中做逻辑名字空间隔离,大小租户之间互相影响。如果每个业务租户使用一个独立的数据库,成本高,几十到上百套分散数据库环境,运维工作复杂,同时扩展性受限。使用OceanBase数据库内原生多租户,能更好地平衡隔离性和成本,而且大小租户可以独立扩缩容。零售Saas
场景CPU内存存储大型一套应用需要支撑上百不同规模商家中型小型典型场景二:错峰超卖3个1C,8G租户考勤系统
6:30~6:45制造系统
7:00~12:0013:00~19:00食堂系统
12:00~13:00从硬件方面考虑,OceanBase的优势降本在于超卖,各系统错峰使用超分资源。不同租户之间的弹性可以分时复用,提升资源利用率适合多租户错峰服务假设对应以上三个系统,高峰期使用的资源都需要4C,8G,如果使用MySQL,需要为三个业务系统都分配3个4C
8G规格的资源;如果使用OceanBase,只需要分配三个1C,8G的租户,余3个CPU资源可以共享;另外,如果开启OceanBase的读写分离特性,CPU资源还能进一步充分利用。典型场景3:极致高可用-基于paxos的多副本架构Raft:顺序同步,不允许出现空洞,实现简单DB1DB2DB3Paxos:乱序同步,允许出现空洞,实现复杂DB1DB2DB3多数派投票协议,包含leader、follower等角色每个事务成功写入需要满足超过大多数节点RPO=0;RTO<8s强主模式,leader读/写,可开启弱一致性读Paxos
or
Raft
?是否允许日志空洞?应对复杂网络环境,更为鲁棒并发写入性能更佳!Paxos典型场景3:极致高可用-数据校验(物理&逻辑)保证底层数据正确读取最小单位是微块,写最小单位是宏块;读取时,会校验微块校验和迁移/备份时,会校验宏块校验和;后台周期性巡检宏块校验和SSTable累计行校验和SSTable列校验和合并时:索引列列校验和和主表列的列校验和进行比较副本之间的行校验和和列校验和进行比较内置多种强校验机制,能够自动发现多副本数据的不一致、网络数据错误、磁盘静默错误、索引与主表的不一致错误等,保证数据可靠。典型场景3:极致高可用-基于架构的高可用解决方案两地三中心混合云三地五中心主备库双主
大幅降低
硬件成本
75%
服务器资源利用率
5
级容灾
金融行业容灾标准业务挑战容灾标准高:理财业务支撑着企业客户万亿级别的资产, 需要满足7x24小时持续服务,高可用容灾要求达到5级。建设成本高:原有业务系统基于传统大机和DB2数据库的 封闭模式运行架构,业务容灾系统建设成本高昂。备机房资源浪费:近年来随着业务并发量的不断增加,数 据库系统处理能力不足的问题凸显。冷备机房随时待命但 不提供数据服务,资源利用率低。解决方案OceanBase支持数据多副本,节点间通过Paxos协议同步,实现集群高可用和多地灾备。结合中国工商银行实际情况,搭建跨“两地三中心”的分布式集群,以“五副本+主备”模式进行部署。集群统一管理调度所有服务器资源,实时动态计算,将业 务负载调度到最空闲合理的服务器上运行。故障管理服务 自动排查故障机器,调度事务到健康机器上执行,保证全 局事务强一致性,无需人工干预。数据库服务器资源利用率达到75%,在系统处理能力遭遇瓶颈时,可进行便捷的水平扩展,增加集群计算资源来提升处理能力。实现数据库同城双活、异地RPO=0。机房级容灾达到RPO=0,RTO<30s,即故障发生后,从IT系统宕机导致业务停顿到系统恢复至可以支持各部门的运作时间,少于30秒。达到工商银行5级容灾要求,满足7x24小时服务要求。提升高可用水平,为业务提供强连续性保障,支撑万亿级资金交易,并且在保证系统性能和稳定性的前提下,有效降低了成本。系统从大型主机下移到国产化ARM服务器,降低整个系统的投入成本。国产服务器+国产操作系统+完全自研的分布式数据库,实现核心系统的分布式改造。收益典型场景3:极致高可用极致高可用支撑7x24无停机典型场景四:高并发访问-原生分布式OceanBase使用普通服务器和数据中心网络组成的Shared-nothing集群部署,无需基于专用网络环境的SAN存储设备。集群原生自动管理计算资源和存储资源的分配和动态资源均衡。支持弹性水平或垂直扩缩容,读写性能可线性扩展。所有服务节点都支持SQL计算和数据存储,每个节点自主管理所服务的分区数据。整个集群只有一种数据库服务进程,无外部服务依赖,运维管理简单。对外提供统一的数据库服务,支持ACID事务和全局索引,对应用开发来说与单机无异。容灾能力是关键业务系统的重要衡量指标,原生分布式在设计之初就假定硬件是不可靠的,每个模块的设计和实现都在细节处考虑容灾和主动防御。支持多个数据副本分散存储在不同地域,实现跨地域的容灾部署。在强一致事务的保护下,数据修改在多个地域保证成功提交,因此当灾难发生时,数据不会丢失,达到国家标准定义的最高级别容灾标准。高可用性是系统某些组件故障时持续提供服务的能力。OceanBase分布式选举协议在故障发生时进行自主选举。少数派节点发生宕机时,支持快速无损自动切换,达到RTO<8秒的自动故障恢复指标。基于Paxos协议和多类型副本能力,OceanBase支持多种适应于不同场景的故障容灾方案。弹性扩缩容数据一致性、平滑扩展、高可用数据高可靠服务高可用超越6级国标灾难恢复能力,同一中心数据库异常、跨数据中心中断时数据不丢失,业务不停机平滑扩展应用透明的水平扩展,自动负载均衡,集群规模可达数千节点City
2Zone
7Zone
4Zone
5T2T2Zone
8Zone
6T3T4T4T3T3T4Zone
1Zone
2City
1Zone
3T1T2T3T4T1T1T2T2T3T4T3T4网络注册中心/消息/事务交易账务交易账务运营商网络/CDN网络注册中心/消息/事务交
账易
务交
账易
务网络注册中心/消息/事务交
账易
务机房1号负载均衡机房2号负载均衡机房3号负载均衡机房4号负载均衡机房5号负载均衡......00
01
02
03......00
01
02
03......02
03............04
05
02
03......06
07
02
03典型场景四:高并发访问-性能表现典型场景四:高并发访问-性能线性扩展典型场景四:高并发访问排号&点单系统30%业务支撑能力提升35%数据库总拥有成本下降7x24h稳定运行MySQL00~24MySQL25~49MySQL50~74MySQL75~99OMS多表汇聚同步交易核心在线交易实时数仓查询OceanBase支付网关查询原系统:流量洪峰时,会员、排队取号等系统面临非常大的压力,曾发生高峰期数据库故障导致业务受到严重影响的事件;支付网关查询
商家收益查询
客服收益查询OceanBase排号&点单系统支付网关典型场景五:实时数仓-HTAP混合事务与实时分析处理一套系统完成OLTP与OLAP业务企业级应用的业务场景通常可以分为两个类别:联机交易和实时分析,我们通常称为OLTP和OLAP的业务应用。大型企业往往会选择多款数据库产品分别支持OLTP和OLAP类的应用场景。这种组合式的解决方案需要数据在不同系统间进行流转,数据同步过程带来时间延迟和数据不一致的风险,多个不同的系统产生冗余数据,推高成本开销,往往会限制企业在激烈的市场竞争中快速调整业务。数据存储计算资源在线交易系统数据分析系统一套系统支撑海量交易、海量分析HTAP混合事务与实时分析处理是行业强诉求,OceanBase基于分布式架构做好交易处理场景的同时,能够完成分析、跑批等分析性场景,一套引擎支持OLAP+OLTP工作负载,同时实现两套系统功能,成本将大幅降低。OceanBase认为,真正的HTAP要求先有高性能的OLTP,然后在OLTP的基础上支持实时分析。OceanBase通过原生分布式技术提供高性能的OLTP能力,真正通过“一个系统”提供同时处理交易及实时分析,“一份数据”用于不同的工作负载,从根本上保持数据的一致性并最大程度降低数据冗余,帮助企业大幅降低总成本。HTAP引擎:混合负载一站完成OceanBase集群OLTP请求+OLAP请求传统方式:高处理负载Step
1
OLTP请求异步传输Step
2
OLAP请求混合负载下的资源隔离针对混合负载场景中不同的资源隔离需求,提供多种资源隔离方式。包括使用多个Zone进行物理隔离,使用CPU资源组隔离不同数据库连接。系统还会自动识别和隔离慢查询,避免它影响整体的交易响应时延。典型场景五:实时数仓-OLTP与OLAP隔离高优先级短查询低优先级大查询不同等级嵌套请求ThreadPoolThreadPoolThreadPool30%资源还提供fast
fail
机制一套SQL引擎,满足OLTP和OLAP引入向量化查询执行引擎OLTP与OLAP负载资源隔离Leader读写->follower只读Primary
zone弱一致性读查询优化/并行执行框架多副本类型还提供fast
fail
机制典型场景五:实时数仓-SQL自动设定并行度(AUTO
DOP)OceanBase
Auto
DOP能有效降低并行执行使用门槛。详见社区博客《OceanBase
v4.2
Auto
DOP功能说明》/blog/7439298336典型场景介绍大数据量AP分析场景复杂SQL,多表,大小不一方案价值极大降低AP使用门槛,无需用户根据CPU数量来推算并行度以最小化SQL执行时间为目标,CPU资源利用效率进一步提升AUTO
DOP分配效果示意图扫描+预聚合最终d聚合结果收集SET
parallel_degree_policy
=
AUTO;select
sum(c1)
from
t1
group
by
c2;32个线程4个线程1个线程典型场景五:实时数仓MySQL1Canaltopic1
topic2
……
topicNKafkaDSPHive/HDFSMySQL2MySQLnSpark/Presto运单宽表(2H)运单宽表(天)PrestoBI分析table1
table2
……
tableN……MySQL1Canaltopic1
topic2
……
topicNKafkaApache
FlinkOceanBaseMySQL2MySQLnBI分析……优化前:数据时效差:2
小时分析性能差:1-10s数据时效:<2s优化后:分析性能:<3s成本降低:50%运单中心AP能力对比典型场景六:多模形态-多模架构OBKV典型场景六:多模形态实时字典服务查询性能:提升4.3
倍批量写:提升4.6
倍批处理:提升2.7
倍Kafka实时ETLOLAP
引擎FlinkKeyKey:Value字典服务API字典注册
字典生成存储服务OceanBase开源开放的OceanBase生态旁路导入OceanBase提供旁路导入方案,解决过去导入性能不足、稳定性差的难题。数据导入性能提升3~10倍,导入稳定性极大提升。典型场景介绍批量数据导入(如PoC等)内存不足时可能被写入限流,导致导入时间变长Memtable转储不够快时,可能报Out
Of
Memory,导入失败方案价值绕开Memtable直接写存储,减少不必要开销,提升写入性能绕开Memtable,租户内存大小与数据导入量解耦数据写入效率大幅提升Update增量MemTable(WOS)MemoryDiskGETSmall-QueryScanBig-QueryRow-
Level
In-MemoryRedo/MVCC
In-MemoryHASHIn-MemoryHASH转储SSTableRow
CacheBlock
Cache多个转储版本基线SSTable(ROS)合并前合并后ReplicasLogs混合部署独立部署私有云公有云/混合云性能表现51601967737251
4920
1952140245901000200040003000500060004xlarge(16c32G)
12xlarge(48c96G)堆表
普通插入 堆表
旁路导入 索引组织表
普通导入 索引组织表
旁路导入结论:无主键表的导入性能可以提升10倍左右,有主键表的导入性能可以提升3到5倍。MySQL
DBLink跨租户数据访问OceanBase
DBLink可以用来降低业务开发难度典型场景介绍跨服务查询跨租户多表连接方案价值支持多个OceanBase
MySQL租户之间跨租户读数据降低业务开发难度方案限制暂不支持OceanBase
MySQL读取原生MySQL数据DBLink访问示意图select
*
from
number_t@ob_dblink;拼接访问远端数据的SQL返回结果远端租户本地租户MySQLBinlog
ServiceMySQL兼容模式下,提供Binlog
Service,可以将OceanBase的日志转换成MySQL
Binlog格式,且提供了全面兼容Binlog协议的能力,更方便接入下游数据生态。典型场景介绍MySQL生态源组件通过消费MySQL
Binlog,提供更丰富的数据服务历史库、近实时缓存、消息队列(MQ)分析和审计方案价值低成本复用MySQL生态工具,避免重复造轮子Binlog
Service架构示意图Debezium租户1租户2OB
集群Binlog文件Binlog文件OBProxybinlog
dump
响应binlog
服务clog日志Canalbinlog订阅FlinkCDCbinlog订阅binlog订阅诊断工具OceanBase
Diagnostic
Tool诊断工具OceanBase
Diagnostic
Tool开发者工具ODC产品架构产品特性对象管理:支持完整的数据对象和数据类型,引导式流程创建数据库对象,可视化对象修改,支持回收站机制。Web控制台:通过WebSQL帮助开发人员使用OceanBase的各种特性和功能,支持MySQL和Oracle语法高亮、格式化、智能提示、友好的snippets等特性,提供类似Excel的可视化数据编辑能力。导入导出:为OceanBase量身打造的高效数据导入导出工具,具备动态负载均衡和断点恢复等能力。安全审计:支持14类审计事件,确保安全合规,重要事件可追踪,审计报告可下载。流程管控:根据任务类型限制用户发起的变更内容、定制不同的审批流程,达到数据库变更安全的作用。对象管理
SQ
L执行监控诊断执行设置模拟数据数据库管理
PL执行导入导出脚本管理
ER建模OceanBase开发者工具SQL解析权限框架数据源适配任务框架对象管理
SDK审计框架连接管理配置框架基础框架管理员开发者DBA桌面版开发者工具Web版用户角色资源管理变更流程操作审计生产变更权限管理风险规则流水线
数据脱敏开发集成云平台管控协同OceanBase轻松上手ODC整体风格简洁明了,通过逐步引导,可快速进行表、视图、函数、存储过程、程序包、序列、触发器、类型和同义词等对象的开发与管理工作。丰富的工具集能力ODC内置了一系列工具来辅助开发,如代码片段、执行计划分析、模拟数据、会话管理、回收站管理、导入与导出等。多形态跨平台ODC支持客户端版和Web版,其中客户端版可在Windows和Mac平台上安装。Web版支持在Linux平台上部署,支持X86和ARM架构。产品优势量身定制ODC是为OceanBase量身定制的开发平台,其提供的表、视图、函数、存储过程、程序包、触发器、类型和同义词等对象可视化管理的能力是完全根据OceanBase的内核能力定制,适配性好,体验更佳。数据迁移工具OMS产品架构OracleMySQL/MariaDBDB2LUWTiDBPostgreSQLOceanBaseKafkaRocketMQDataHubAnalyticDBMySQLOracle…对象评估对象转换数据迁移数据汇聚
数据校验修复建议回流保护持续校验数据转换抽取过滤数据同步消息订阅容灾双活灰度切流DDL同步DML过滤产品功能在线数据迁移:支持将Oracle、DB2
LUW等多种异构数据库在线迁移至OceanBase数据库,完成切换后支持将OceanBase数据库上所有的变更数据反向同步至源端数据库。实时数据同步:支持OceanBase与自建Kafka、RocketMQ之间的实时数据同步,支持数据过滤,提供完备的同步管理能力,广泛应用于实时数据仓库搭建、报表分流等业务场景。一站式交互:提供数据迁移过程的全生命周期管理,在管控界面上完成数据迁移和数据同步任务的创建、配置、监控和管理,交互简单方便。多重数据校检:多种方式的数据校检和保护,全面高效的保证数据正确性,展示差异数据,提供快速修复能力。简洁高效提供可视化,所见即所得Web管控平台,轻松完成数据传输项目的创建、任务配置和传输组件的监控运维,以及链路维护和故障诊断等便捷的操作,并提供多种保护级别支持定制化配置,提供实时的监控报警。灵活化基于实际业务场景,客户可以灵活选择合适的迁移、同步类型和功能,支持组合成不同的解决方案。同时提供多样性的部署模式及灵活的横向和纵向扩展、收缩能力,保障满足延迟敏感客户的业务需求。高性能OMS使用多并发、并行复制和压缩加密传输等技术来保证迁移或同步项目都能拥有优异的传输性能。数据全量迁移可达38万RPS(Rows
PerSecond,每秒增量同步至目标表的数据行数),增量数据同步可高达10万RPS及数据校验可达66万RPS,从而提供稳定的秒级传输服务。产品优势一站式服务提供数据传输的全生命周期管理,支持语法转换,数据转换,任务管理等功能,提供迁移评估、数据迁移、数据订阅、数据校验等产品形态,从而方便客户轻松上“OceanBase”,并满足企业客户的多样化需求。运维管理平台OCP“监控-告警-诊断”一体化诊断自治服务自感知|
自扩容|
自优化|
自安全数据库监控性能报告OBAR运维管控部署、升级、扩缩容、备份恢复、配置变更等全生命周期管理的全自动化运维。·整体概要总·结
系统活动情·况S
Q
L运行状·况
缓存与队列等待信·息
参数配·置
总计超过
400+
项监控指标客户自研…第三方运维平台开源工具
商业工具开放API提供外部系统的接入OceanBase集群ODP集群ODP
1ODP
2ODP
3多集群统一管控OCP
Web管控台集中化运维管理平台诊断监控告警应急OCP管理服务基础数据|
运行数据日志采集|
统一存放产品架构产品
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 厂房强电安装合同范本
- 双向销售采购合同范本
- 2026年企业人力资源管理师之四级人力资源管理师考试题库300道(达标题)
- 劳动合同续约补充协议
- 2026年一级注册建筑师之建筑结构考试题库300道及参考答案【轻巧夺冠】
- 前期物业管理协议合同
- 代工装配加工合同范本
- 2026年南京机电职业技术学院单招职业技能考试题库附答案
- 2026年云南旅游职业学院单招职业技能考试题库含答案
- 各种鱼苗买卖合同范本
- 2025年低空经济航空制造产业发展现状与未来展望报告
- 2025教资国考试卷真题及答案
- 2025年医院医护人员聘用合同协议
- 第三节 添加动画效果和超链接说课稿-2025-2026学年初中信息技术甘教版2011八年级上册-甘教版2011
- 痘痘肌肤培训课件
- 新修订《黄河保护法》PPT
- 全科医师转岗培训试题
- 插秧机课件讲义整理
- DB11- 996-2013-城乡规划用地分类标准-(高清有效)
- 钻井井场及钻前道路施工规定
- 万豪国际酒店委托管理合同
评论
0/150
提交评论