版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
对比MySQL的Binlog日志处理工具CanalMaxwellDatabus阿里云的数据传输服务DTSCanal定位:基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql。原理:canal模拟mysqlslave的交互协议,伪装自己为mysqlslave,向mysqlmaster发送dump协议mysqlmaster收到dump请求,开始推送binarylog给slave(也就是canal)canal解析binarylog对象(原始为byte流)整个parser过程大致可分为几步:搜索公众号后端架构师后台回复“架构整洁”,获取一份惊喜礼包。Connection获取上一次解析成功的位置(如果第一次启动,则获取初始制定的位置或者是当前数据库的binlog位点)Connection建立连接,发生BINLOG_DUMP命令Mysql开始推送BinaryLog接收到的BinaryLog通过Binlogparser进行协议解析,补充一些特定信息传递给EventSink模块进行数据存储,是一个阻塞操作,直到存储成功存储成功后,定时记录BinaryLog位置数据过滤:支持通配符的过滤模式,表名,字段内容等数据路由/分发:解决1:n(1个parser对应多个store的模式)数据归并:解决n:1(多个parser对应1个store)数据加工:在进入store之前进行额外的处理,比如joinMaxwellcanal由Java开发,分为服务端和客户端,拥有众多的衍生应用,性能稳定,功能强大;canal需要自己编写客户端来消费canal解析到的数据。maxwell相对于canal的优势是使用简单,它直接将数据变更输出为json字符串,不需要再编写客户端。DatabusDatabus是一种低延迟变化捕获系统,已成为LinkedIn数据处理管道不可或缺的一部分。Databus解决了可靠捕获,流动和处理主要数据更改的基本要求。Databus提供以下功能:源与消费者之间的隔离保证按顺序和至少一次交付具有高可用性从更改流中的任意时间点开始消耗,包括整个数据的完全引导功能。分区消费源一致性保存阿里云的数据传输服务DTS数据传输服务(DataTransmissionService,简称DTS)是阿里云提供的一种支持RDBMS(关系型数据库)、NoSQL、OLAP等多种数据源之间数据交互的数据流服务。DTS提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力,可实现不停服数据迁移、数据异地灾备、异地多活(单元化)、跨境数据同步、实时数据仓库、查询报表分流、缓存更新、异步消息通知等多种业务应用场景,助您构建高安全、可扩展、高可用的数据架构。优势:数据传输(DataTransmission)服务DTS支持RDBMS、NoSQL、OLAP等多种数据源间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具,数据传输服务DTS提供更丰富多样、高性能、高安全可靠的传输链路,同时它提供了诸多便利功能,极大得方便了传输链路的创建及管理。个人理解:就是一个消息队列,会给你推送它包装过的sql对象,可以自己做个服务去解析这些sql对象。免去部署维护的昂贵使用成本。DTS针对阿里云RDS(在线关系型数据库)、DRDS等产品进行了适配,解决了B
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 《IT终端设备的配置与维护》 课件 模块2-项目7 -任务4 笔记本电脑的故障检测与维修
- 2024届湖南省长郡中学高三下学期6月保温测试政治试题
- 2024年湖南省湘西州凤凰县中考数学模拟试卷(一)含解析
- 铁炉鼓风机项目综合评估报告
- 2023年棉花加工成套设备项目评价分析报告
- (课件)-探索实验观察蚯蚓
- -26课-月光曲课件
- 中控室述职报告
- 教师培训设计方案(2篇)
- 腾讯技术运营解决方案与服务(2篇)
- 2024年高考数学终极押题密卷1(全国甲卷文科)含答案
- 储能系统智能控制
- 2024年安徽省合肥市庐江县中考二模物理试题
- GB/T 17937-2024电工用铝包钢线
- 现代汉语语料库词频表CorpusWordlist
- 2022年湖南省高中学业水平合格考数学试卷真题(答案详解)
- 欧洲规范中文版49bs en 1991-1-32003中文版_W
- QC提高混凝土外观质量.ppt
- 周一清晨的领导课-读后感-共享.ppt
- 2015年长沙市小升初分班考试语文真题含答案(word版)
- 消防员电梯检验规则检验师培训.ppt
评论
0/150
提交评论