饿了么实时架构演进

1、饿了么实时架构演进日均交易额2亿元+日均订单量500w+覆盖城市员工数1000+15000+分享提纲从0到1高速发展成熟与完善新方向&新挑战 未来构想Q&A实时平台架构图每一个组件也许都踩过N次的坑。从0到1的实践数据源：数据收集：消息队列：实时引擎： 数据存储：+从0到1的应用页面性能（分城市） 页面访问性能 主站&各页面PV/UV 脚本JS错误JS脚本错误（分运营商）从0到1的总结巧妇难为无米之炊（业务场景）欲善其事，必利其器（技术工具）兵马未动，粮草（监控）先行 他山之石，可以攻玉（高效、快速)分享提纲从0到1高速发展成熟与完善新方向&新挑战 未来构想Q&A高速发展之烦恼平台升 级优化实

2、时业务 剧增平台问题 不断监而不控 监而难控大促压力资源不足 经验匮乏1、业务场景：交易、推荐、测试.2、平台问题：雪崩、规范.3、监控：粒度粗、告警多.4、压力：大促销、多维指标 .5、资源：机器&人力、经验匮乏高速发展之行动流量日志交易订单物流配送数据源Binlog ParserJVM HLL方案双链路高可用链路压测架构优化HbaseMySQLRedisCluster数据存储1.数据源：流量（UBT集群）交易订单（MySQL）物流配送（MySQL、Rabbitmq)2. 数据存储：RedisCluster (双写)HbaseMySQL（DAL控制）高速发展之架构优化Binlog(OR)格式

3、优化String - PbSnappy compress自动拉起Data2Kafka数据回放Commit Zk Offset高速发展之应用优化JVM HLL方案存储方式优化qps降低4倍双链路高可用 方案链路双写应用自动降级数据自动恢复实时链路梳理 压测延迟毫秒级StormHeatbeat调整灾备演练高速发展监控优化监控 问题监控 梳理监控 完善监控 展示监而 可控监控问题：粒度粗、无效告警多监控梳理：全链路、机器级别、服务级别、应用级别监控完善：链路延迟、组件Metric、DB 性能监控展示：阈值实时告警; 数据入库展示监而可控：应用自动拉起、监控驱动优化高速发展之成果用户行为实时测试系统全

4、国订单实时热力图上海街道配送热力图高速发展之成果订单流量实时指标高速发展之总结总结经验疑难杂症 实时集群容量200台+（7 storm集群） 数据量qps：10w/s 计算量 400w/s 链路压力各组件20%以内分享提纲从0到1高速发展成熟与完善新方向&新挑战 未来构想Q&A成熟与完善之窘境初现实时计算平台？不就Storm吗？业务实现实时应用，如何开发、上线、监控？消息队列里同一份数据，总是被多次重复处理？各种乱七八糟的报警，如何屏蔽或自定义监控？应用又报错，哪里可以快速、高效检索应用日志？。实时平台 成熟完善数据清洗、 归档、共享统一日志 检索常用组件 封装实时任务 平台化管 理多元化计

5、算引擎/ 存储成熟与完善之思考成熟与完善之数据共享 清洗、分离、归档 数据复用 跨IDC传输99% Delay 2s以内Protobuf + Snappy Compress成熟与完善之数据检索 应用日志/监控实时收集日志按应用合理限流 Hangout VS Flume 性能对比30 Flume Agent 高峰延迟10min1 Hangout 10线程数据无延迟 ElasticSearch检索性能2个集群，上海20台ssd机器qps : 13w/s25亿/天Cpu 5%Heap Usage：20% ElasticSearch监控Metric监控KOPF、HQ 成熟与完善之组件封装TyphonB

6、aseSpoutKafkaSpou tMysq lSpou tDrcSpou tBaseBoltBase Func BoltBase Redis BoltProto bufBoltDelay BoltHyperL ogLogBoltEleme TopologyElasticS earchReport erInflux dbRepor ter成熟与完善之平台化 项目任务管理、权限控制 多版本控制，方便回滚 发布前置检测成熟与完善之平台化 实时任务Metric监控指标 自定义监控成熟与完善之平台化 数据源探查 实时集群管理 容量监控成熟与完善之平台化 实时任务指标管理 Binlog Parser

7、管理 数据质量管理成熟与完善之多元化Grace（监控离线性能）数据源：数据收集：消息队列： 实时平台：数据存储：Redis时间响应系统成熟与完善之应用 热卖美食实时推荐 猜你喜欢实时特征提取 准时达实时定位 饿了么实时看板指标 实时风控分享提纲从0到1高速发展成熟与完善新方向&新挑战 未来构想Q&A新方向之选型BI同学想说：如何快速实时数据报表&实时数据分析实时计算同学想说：计算框架能否更快、更准确、更完美新方向之Flink实践Flink Features：高吞吐、低延迟支持 Event Timeexactly-once高度灵活的流式窗口迭代和增量迭代分享提纲从0到1高速发展成熟与完善新方向&