Tbase数据库核心架构演进

1、数据风云 洞见未来 TBase系列技术分享Tbase数据库核心架构演进目 录数据库产品分类01数据库核心技术选型02TBase典型案例介绍03TBase国产化支持04数据库产品分类业务场景业务特点典型产品OLAP（on line analytic processing）数据量大（10PB+）对存储成本敏感（压缩技术）并发量相对不高（数百）查询复杂，每个查询需要消耗大量的资源，一般要求多个用户查询之间减少相互影响，进行资源隔离TeraDataSybaseIQGreenplumHP VeticaHW Gauss300VectorWiseRedShiftClickHouseOLTP（on line

2、transaction processing）数据量相对较小（ gts_min并且 gts_max没有提交或者gts_start gts_max才能看到对应的事务01020304GTS核心要点GTM单点可靠性问题多个GTM节点构成集群，主节点对外提供 服务；主备之间通过日志同步时间戳状态， 保证GTS核心服务可靠性TBase：GlobalTimeStamp(GTS)的MVCC并发控制GTM集群CNDNDNCN1-110MVCC原理数据库节点Select balance;gts(6)Select balance;gts(8)Update balance-=5;gts(7)gts_mingts_m

3、axbalance记录结构17107-1510记录结构Update balance-=5;gts(7)-1-15xminxmaxgts_mingts_maxbalanceGTS Store FileLRU缓存队列12172-1位置（xid）gtsxid:11xid:27表文件GTS StoreDN/CN节点事务提交写入TBase 事务处理加速机制事务GTS信息单独存储DN/CN节点中使用GTS Store 存储每个事务提交的GTS信息， 在事务提交时只需要记录事务的 GTS信息，事务提交复杂度为 O(1)记录头部缓存GTS信息记录头部缓存事务的GTS信息， 加速查询执行效率010203核心要点

4、记录头部GTS延迟写入记录创建时头部GTS无效，首次 扫描到记录时从GTS Store中获 取事务GTS信息并写入记录头部， 加速后续查询查 询姓名部门年龄蜘蛛侠工程部18超人外联部100火箭浣熊外联部6闪电侠工程部17按行存储表：每行数据存储所有列一次磁盘IO可以访问一行中所有列 适合OLTP场景按列存储表：每列单独存储，多个列逻辑组成一行 一次磁盘IO只包含一列数据方便做数据压缩适合OLAP场景蜘蛛侠部门年龄超人工程部18火箭浣熊外联部100闪电侠外联部6蜘蛛侠工程部17单表行列混合表：经常发生更新的列集合作为列簇按行存储 很少发生更新的列作为列存储可以适合不同的业务场景部门工程部外联部外

5、联部工程部年龄18100617蜘蛛侠收入超人200火箭浣熊300闪电侠500蜘蛛侠200按行存储按列存储行列混合存储COLUMNROWCOLUMN数据库表存储格式：ROW or COLUMN or HYBRIDDN1DN2CNf1f211223344复制表每个存储节点都有完整的数据副本适用于变化较少的的小表，加速关联查询f1f211223344DN1DN2CNf1f21133HASH分布数据按照分布列进行hash，数据打散在各个存储节点hash key选择不当会造成数据倾斜f1f22244DN1DN2CNf1f21122RANGE分布f1f233441 = f1 =23 = f1 = 1100

6、0 , JASON, email_alert, true, ALL_COLUMNS)TBase MLS之审计能力TBase客户案例发展历程：2016年初上线替换微信支付原有分库分表集群上线，支撑微信支付从每天500万笔到每天超过10亿笔，保证业务稳定性和连续性大小商户策略：解决不同体量商户数据倾斜问题，有效保证系统的稳定运行冷热分离策略：解决长尾业务成本和效率之间的平衡，帮助业务降低四分之三的成本 跨城容灾能力：为业务提供跨城容灾能力保证金融级连续性数据安全体系：完善的数据安全防护体系，满足监管部门要求TBase微信支付商户系统案例CNCNCNCNCLBDN1DN2DN3DN4小商户热GROU

7、PDN4DN5DN6DN7DN8DN9大商户热GROUPDN10DN11DN12DN13DN14DN15小商户冷GROUPDN16DN17DN18DN19DN20DN21大商户冷GROUPDN22DN23CN近四个月数据使用高速设备保证性能四个月以前数据使用普通设备降低成本TBase微信支付商户系统案例TBase外部某保险案例DN SetCN SetCN（主）CN（备）DN（主）DN（备）只读平面读写平面VIPVIPTBase业务VPC读写只读CN（备）DN（备）只读平面CN（备）DN（备）只读平面业务物理格式不一致kafka“no”:“int”,123“name”:“string”:”ton

8、y”“job”:“string”:”hairdresser”Logical_toolK2X国产化能力建设TBase国产化平台支持异构数据库迁移整体步骤腾讯政务数据库迁移服务OracleSQL ServerMySQL源数据库目标数据库TBase工具迁移评估工具数据迁移工具 迁移校验工具服务迁移评估方案设计改造建议优化建议工具+专家咨询多种硬件平台的性能测试结果服务器类型X86服务器LinuxOne服务器ARM服务器CPU2个Intel(R) Xeon(R)CPU 每个CPU有12个物理核，24个逻辑核。8 ECPU48VCPU2个 Kunpeng920CPU 每个CPU24个物理 核，48个逻辑核内存512GB1000GB512GBSSD6TB NVMe SSD卡SATA12TB NVMe SSD卡测试模型使用TPCC工具采用benchmarksql每个客户端使用200仓