Canal自动化运维以及容灾系统架构

1、Canal自动化运维以及容灾系统架构技术创新 变革未来AgendaCanal 应用背景和挑战Canal 的自动化运维Canal 的异地容灾系统实践未来规划目苹MySQLMySQLKafkaMySQL数据源间的数据实时同步MySQL海量数据的数仓建设MySQL海量数据的实时检索HiveES传统架构Canal作为中间件解决了MySQL Binlog的获取将Binlog保存到消息队列中后续接流式计算框架，或者离线计算框架Canal阿里巴巴开源组件 https:/gith/alibaba/canalCanal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql mast

2、er 发送dump协议mysql master收到dump请求，开始推送binary log给slave(也就是canal )CanalPropertiesCanal PropertiesInstance PropertiesCanalCanal Instance PropertiesAddressUser PasswordFilter RegexGTIDCanalPropertiesCanal PropertiesInstance PropertiesSpring配置Canal参数配置每个数据库实例需要份临时的配置文件运维数据库实例任务需要手动接入数据库实例配置需要手动修改功能数据源配置、实

3、例任务以及机器互相独立挑战功能实例配置都是临时文件，缺少统管理，风险较大不支持动态扩容和缩容、不支持实例动态迁移运维MySQL数据源众多，1500+，人工接入成本较大MySQL数据源变更频繁，扩容、迁移、主从切换等，人工运维成本较大高可用不支持异地容灾AgendaCanal 应用背景和挑战Canal 的自动化运维Cana l的异地容灾系统实践 未来规划自动化运维场景离线数仓建设在线实时同步要求数据致性数据准确性服务稳定性架构Manager Mode应用场景离线计算实时同步ZKKafkaManager模式原信息管理机器管理实例管理AP 管理针对Canal Spring模式面临的问题,Manage

4、r模式改进主要包括以下方面Manager模式原信息管理机器管理实例管理API管理Worker管理实例动态扩容、缩容实例重新分配Instance管理原信息统管理实例统管理API 管理Cana 启动化接入Cana 实例配置更新AgendaCanal 应用背景和挑战Canal 的自动化运维Canal 的异地容灾系统实践 未来规划异地容灾目标当主机房吉机后，备机房可以快速接管和恢复要求机房故障清况下，5 min内恢复服务下游在线和离线服务不受影响尽可能少丢数据Canal容灾组件MySQLKafkaCanalZK异地容灾异地容灾A1、A2双机房容灾Canal双机房自适应Canal使用现状支持A、B、C三个机房，共计1500+实例双月新增实例增长30%左右双月实例原信患变更35%左右，包括扩容、迁移、主从切换等Canal MetricCanal看板l Canal Worker流罣l Canal 实例流罣l Canal 实例延迟Kafka MetricKafka总体流量MetricKafka延迟MetricKafka清求MetricAgendaCanal 应用背景和挑战Canal 的自动化运维Ca