数据库中间件设计与实现

数据库中间件设计与实现1纲要MySQL存在的问题主流MySQLProxy方案中间件的设计与实现总结2MySQL存在的问题读写分离在客户端中配置所有DB信息，并实现读写分离DB上下线业务受影响运维跟开发需同步调整配置3clientdb_masterdb_slave主从同步MySQL存在的问题4分库分表客户端改写SQL语句客户端将SQL路由不同的DB客户端聚合结果db1db3db2sql1sql2sql3sqlmergeresult中间件的目标5减轻开发工作量支持SQL读写分离支持数据分库分表减轻运维工作量无需与开发同步高可用减少运维工作主流MySQLProxy方案6主要解决方案DBProxyMysql官方产品，但只出到Beta0.8，基本不维护BUG多、扩展功能较难C语言开发国内衍生：360Atlas、MeituanDBProxy、SohuDBProxy...Cobar功能简单基本不维护JAVA开发阿里内部已发展为TDDL(非代理模式),并在阿里云DRDS中大量使用国内衍生：MyCatVitessYoutube开源的数据库扩展及高可用方案，已经用于生产环境功能强大，但是构架复杂，部署及运维成本较高GOLANG开发国内GO开发：Kingshard中间件核心功能7读写分离数据分库分表平滑上下线DB中间件实现8SQLParser数据分片SQL路由结果归并连接池设计后端DB的高可用方案高可用方案安全审计架构设计9整体架构图SQLParser10SQL

Parser的设计与实现词法分析器将SQL切分语法分析器根据词法分析器结果和MySQL语法规则生成AST(abstractsyntaxtree)相关产品

目前常见的SQL解析器主要有fdb/jsqlparser和DruidSQL词法分析语法分析AST根据分片规则生成新

SQL数据分片

11分片概念逻辑：将数据落在不同的DB实例中的不同子表中分片方式：Hash、Range、Time_Range等Shardkey类型：整型、MySQL标准时间类型等数据到实例采用两级映射方案shard_keysub_tableDBdata数据分片12select*fromtabwhereid=10rangehashtimeconfigselect*fromtab_0001whereid=10calculatetableindexSQL路由

13路由概念SQL路由是根据分片规则配置，将SQL定位至真正的数据源结果归并

14归并概念结果归并包括4类：普通遍历类、排序类、聚合类和分组类。每种类型都会先根据分页结果跳过不需要的数据。普通遍历类最为简单，只需按顺序遍历ResultSet的集合即可排序类结果将结果先排序再输出，因为各分片结果均按照各自条件完成排序，所以采用归并排序算法整合最终结果分组类最为复杂，需要将所有的ResultSet结果放入内存，使用map-reduce算法分组，最后根据排序和聚合条件做相关处理。最消耗内存，最损失性能的部分即是连接池设计15目标复用连接，降低后端DB压力方式一个DB实例对应一个连接池连接池个数上限可配置，无空闲连接则阻塞效果前端高并发，MySQL负载不会抖动限制连接池个数，保护后端DB不至于宕机连接池设计16middlewareDB1ConnPoolConnPoolDB2connconnconn......poppush连接取出时：重置字符集重置Database后端DB的高可用方案17方式使用独立线程检测DB状态定期检测每台DB是否正常，周期和重试次数均可配置效果自动摘除宕机或网络中断的DB自动挂载恢复正常的DBmiddlewareDB_MasterDB_Slave1DB_Slave2select1select1select1高可用方案18安全与审计19客户端IP限制用户自定义IP白名单列表SQL黑名单用户定义黑名单SQL列表慢SQL记录用户自定义慢日志耗时大小