云原生时代消息中间件的技术演进

1、云原生时代消息中间件的技术演进技术创新，变革未来SLADistributionConfigurationResistancyElasticityDeliveryPerformanceAutomationDiagnosabilitySecurity云原生 消息服务云原生 通信基础设施云原生消息服务定位应用定义/开发层云原生其它层次云原生消息服务定义云原生消息 服务标准化多样性低成本易用性高SLA标准化高SLA低成本易用性多样性快速部署 RocketMQ集群 至 Kubernetes 环境利用 K8S 的能力低成本运 维 RocketMQ 集群使用云原生Prometheus观 测集群指标逻辑资源按

2、需扩缩容MQ 集 群Broker1PV1根据Load等Metrics 做出扩容决策MQ 集 群Broker2PV2Broker3Broker4PV3PV4根据Load等Metrics 做出缩容决策Broker1PV1Broker2PV2PV3PV4Broker3Broker4PV3PV4PV漂移MQ 集 群MQ 集 群物理资源按需扩缩容2W TPS10W TPS实例规格根据业务流量 自动升降配.根据消费者数量 自动升降配队列数量Kubernetes集群MQ实例C on tain erM Q SD KS id ecar P ro xyS id ecar P ro xyC on tain erR

3、pcS id ecar P ro xyS tateless P ub /S ubData PlaneControl PlaneC itad elM ixerP ilo tG aleyIn jecto rS id ecar P ro xyN am eS erverR ou te In foM CP ServerxD S C on gP ubSubC on tain erM Q B roker-AP ubSubC on tain erM Q B roker-BP ubSubR eg istration阿里云消息队列 RocketMQ 是国内第二个 成功进入 Service Mesh 官 方社区的中

4、间件产品推动 Envoy 社区加速on- demand CDS的支持创新性地使用Pop消费模式适 配Mesh的无状态网络模型类Frame的协议设计降低解 码成本消息队列 RocketMQ阿里巴巴自主研发及双 11 交易核心链路 消息产品，阿里云主打品牌，主要面向业务消息处理，打造金融级高可靠消息服务；消息队列 Kafka聚焦大数据生态链，100% 融合 Kafka 开源 社区，大数据应用领域中不可或缺的消息产 品；消息服务 MNS聚焦云产品生态集成 & 消息通知服务（HTTP Endpoint、 Function Compute、事件通 知、移动推送等）；微消息队列 MQTT基于 MQTT 标

5、准协议自研，拓展消息产品的领域与边界，延伸到移动互联网以及物 联网，实现端与云的连接；消息队列 AMQP100% 兼容 AMQP 事实标准协议， 全面融合 RabbitMQ 开源社区生态；互联网大数据移动互联网 & 物联网拥抱开源消息通知服务事件总线 EventBridge原生支持 CloudEvents 标准，提供中心化 事件服务能力，加速云原生生态集成，EDA 首选；下一代消息产品形态云原生技术栈集团场景存储AI数据库计算平台IoTServerless视频云FCIoT PaaSMPSDataphinCSGVCSOSSBlinkMax ComputeESHBaseADB城市大脑政务钉HBRI

6、oT边缘智能云通信短信DM移动 推送电商生态菜鸟PaaS聚石塔RTCDTS饿了么安全云盾工业大脑阿 里 云 消 息 商 业 化 生 态阿 里 云 消 息 开 源 生 态数据分析大数据应用框架Kafka API&协议JMS APICloudEvents 规范MULTI DOMAINS社区“标准”PLATFORM INDEPENDENTSTREAMINGSTANDARD BENCHMARKWIRE LEVEL PLUGGABLECLOUD ORIENTEDOpenMessaging接入&迁移多协议多API多语言多终端多生态多租户命名空间普通消息事务消息定时消息顺序消息访问控制实例限流资源隔离标准版

7、铂金版消息类型消费&治理消息轨迹全球消息路由重试消息死信消息消息查询消息回放Tag过滤SQL过滤Pub/Sub广播/集群服务能力海量堆积高可用高性能低延迟交易链路12年，双十一10年可用性99.95%，可靠性8个9双 11 消息收发 TPS 峰值过亿， 日消息收发总量3万亿；全球最大的业务消息集群之一双 11 万亿级数据洪峰下，消息发送99.996%在毫秒级响应；消息发布平均响应时间不超过 3 毫秒，最大不超过 20 毫秒；消息队列RocketMQ消息队列 Kafka微消息队列 MQTT消息队列 AMQP消息服务 MNS事件总线 EventBridgeRocketMQ 内核富客户端轻量级Pus

8、hPullPop重试/熔断注册中心简单可靠无状态最终一致计算节点存储引擎高性能传输层可扩展RPC框架云产品簇日志与索引分离低延迟读写互斥一致性多副本多模存储多级存储CommitLog百万 队列 索引统一存储接口Deep Storage本地块设备云存储盘古原生存储OSSMaster-SlaveDLedger秒级RTO协议PageCache事定查读写互斥务索时索询索引引引架构开发变更管理面向失败设计开发测试Code Review单元测试集成测试性能测试容灾测试可灰度可监控可回滚可降级稳定性防护限流、降级容量评估应急方案大促保障故障演练体系化巡检故障应急监控报警故障发生快速止血排查根因故障复盘黑盒巡

9、检用户视角全功能扫描50+检测项白盒巡检JVM运行时指标内核系统指标集群统计指标预案演练定期风险梳理Svc.Svc.远程调用异步化Svc.Message BrokerSvc.消息是比事件更通用的抽象（Raw Data）消息常用于微服务调用之间的异步解耦消息的内容往往绑定了较强的业务属性消息的发送方对消息处理逻辑有明确的预期Event Broker事件是具像化的，代表事情的发生、条件和状态的变化事件源可能来自不同的环境与组织事件源对事件将被如何响应没有任何预期采用事件的应用架构是更彻底的解耦采用事件的应用架构将更加具备可扩展性和灵活性Event SourcesEvent ConsumersInternetofThing sEventBridgeEvent SourcingCQ RSLegacy M essagingD istributed AppsEventBridgeAPI G atew ayM icroservice Event D riven AppsEventStream ingE