消息中间件在大型分布式系统的应用.pptx

消息中间件在大型分布式系统的应用 马震 锋寒 淘宝网2011 11 26 个人简介 2008年 至今淘宝网技术专家负责消息中间件的研发之前在Ericsson和金蝶中间件工作感兴趣领域 并发和网络编程大型分布式系统的构建海量数据的分析和处理微博 Outline 淘宝消息中间件概览消息中间件应用场景分布式事务数据复制日志同步delayqueue广播通知总结 消息中间件 应用程序或组件之间的一种通讯方式可靠性异步松散耦合发送者和接收者不必了解对方 只需要认识消息发送者和接收者不必同时在线 MessagingModels Point to Point PTP 每个消息只有一个消费者发送者和接收者没有时间依赖接收者确认消息处理成功Publish Subscribe每个消息可以有多个订阅者客户端只有订阅后才能收到消息 淘宝消息中间件 NotifyPush模式 消息存储转发支持分布式事务订阅者集群支持多种安全级别的存储 淘宝消息中间件 Metamorphosis开源MQ kafka的Java版本消息都是持久的 保存在磁盘客户端pull 利用sendfile系统调用 零拷贝吞吐量第一支持消息顺序 淘宝消息中间件 Broker Sharednothingarchitecture发布者 订阅者都支持集群 Publisher Publisher Publisher Broker Broker Subscriber Subscriber Subscriber 集群 集群 集群 ConfigServer ZooKeeper Notify 分布式事务 通用的消息中间件支持XA分布式事务优点跨越多个资源ACID的保证编程模型简单一致缺点性能和可用性都不高故障难于恢复 Notify 分布式事务 Publisher Broker Storage T1发送half消息 T3业务操作 T4提交 回滚 T2存储half消息 T5提交 更新数据库标识消息可发送回滚 删除消息 S1定期检查未提交的消息 S2提交 回滚 本地事务域 本地事务域 业务操作 S3提交 更新数据库标识消息可发送回滚 删除消息 Notify 订阅者集群 订阅者集群 消息的一个逻辑上的订阅者是有多个物理节点组成的一个集群 Broker Publisher A1 A2 A3 应用A B1 B2 B3 应用B Notify 消息存储 多种安全级别的存储FileOracle 小型机 存储MySQLMySQL Replication同步写入两个存储节点支持存储节点的动态变化 Meta 跟kafka有什么不同 用java替换scalaConsumerAPI没有采用kafka的stream方式 而是同时实现同步获取和异步订阅两种方式存储结构上采用自定义结构 更简洁紧凑客户端的连接复用实现HA复制实现发送的软负载支持本地和XA事务支持http协议数据迁移 扩容对用户透明 Outline 淘宝消息中间件概览消息中间件应用场景分布式事务数据复制日志同步delayqueue广播通知总结 场景 一 分布式事务 为面向服务架构 SOA 提供分布式事务支持保证全局数据的一致性 交易中心 Broker 商品管理 物流 CRM 付款成功消息 store store store store 场景 二 数据复制 利用消息中间件将数据从源头复制到多个目的地满足搜索 离线分析和分表规则变化等需求 DB DBSync binlog Broker Search hadoop DB 场景 三 日志同步 应用通过可靠异步方式将日志同步到消息中间件可以对日志做实时或离线分析 Broker App App App HBase Storm App App 场景 四 delayqueue 把消息中间件当做可靠的延迟队列分布式环境下的定时器 Broker Publisher Subscriber recover 延迟投递 场景 五 广播通知 可靠的集群内广播通知用于通知cache失效等事件 Broker App