MaxCompute大数据运算挑战与实践

1、MaxCompute大数据运算挑战与实践内容概述什么是MaxCompute大数据，大流量，高并发下对于MaxCompute的挑战MaxCompute的实践什么是MaxCompute大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托 管的PB/EB级数据仓库解决方案。具备万台服务器扩展能力和跨 地域容灾能力，是阿里巴巴内部核心大数据平台，支撑每日百 万级作业规模。MaxCompute向用户提供了完善的数据导入方案以及多种经典的 分布式计算模型，能够更快速的解决用户海量数据计算问题， 有效降低企业成本，并保障数据安全。MaxCompute架构SQLMR迭代计 算MaxCompu

2、te：统一的计算引擎伏羲：分布式调度系统盘古：分布式存储系统10000台10000台10000台集群1集群2集群n图计算流计算阿里巴巴对MaxCompute需求（挑战）兼容Hive拥抱生态，利用和回馈社区易用性，扩展性高性能，低成本持续可发展性多租户需要满足用户不同 规模，性能，延时， 运算形式上要求大规模万台单集群，多集 群稳定，隔离，数据安全一个SQL运行实例MaxCompute语言特点兼容Hive扩展Hive更为丰富的UDF支持，全面深入和优化器交互，使得用户仅仅需要考虑业务逻辑，而把分布式执行优化交给系统。除了仅支持subquery外，充分支持存储过 程，使得用户能够更加容易实现复杂任

3、务， 并且给优化器和执行器更多空间去优化， 从而提高性能，降低成本更多丰富数据接口：结构，非结构，多维 度数据安全控制更为复杂的编程表达：LOOP/IF迭代，内存计算支持MaxCompute查询优化器（RBO-CBO）RBO: 基于规则的优化器（Oracle 6-9i, Hive）一种过时的优化器框架，它只认规则，对数据不敏感。优化是局部贪婪， 容易陷入局部优但是全局差的场景，容易受应用规则的顺序而生产迥异 的执行计划，往往结果是不是最优的。CBO:基于代价的优化器 (Oracle 8开始，Oracle 10g完全取代RBO；MaxCompute）Volcano模型，展开各种可能等价的执行计划

4、，然后依赖数据的统计信息， 计算这些等价执行计划的“代价”，最后从中选用cost最低的执行计划。MaxCompute优化器（CBO）ABCA.col2 100BCAA.col2100BCAA.col2100BCA.col2100A通过统计信息和推测B Join C的结果远小于其 他方式200050001500Cost火山模型展开 多个可执行计划通过Cost Model来选择最优的执行计划分布式场景下特有 Cost ModelNon-SQL和关系数据的查询优化的结合多种分布式 场景的优化分布式查询中的一个优化问题T1 已经按照 a,b 进行了分区； T2 已经按照a 进行了分区a,ba,ba,b

5、aaT 1:aaT 2:JJPair-wise Joina,ba,bT1:aaT 2:JJJa,bBroadcast JoinSIGMOD12HBO (基于历史优化)每天相似的查询给我们优化器带来巨大机会我们会对每天提交的查询进行聚类，把以前运行数据作为 Hint来帮助未来的相似的查询上任务运行 数据收集查询聚类相似判断Hint注入基于历史 数据优化HBO统计数 据库执行新的查询全局调度Table: AClusterA: V0ClusterB: V0远程读，Replicate 等多种模式充分考虑带宽，任 务完成时效需求全局分析动态预先调整Table: AClusterA: V1ClusterB

6、: V0Table: AClusterA: V1ClusterB: V1MaxCompute DAG执行ABCA.col2 100BCAA.col2100BCAA.col2100BCA.col2100A200050001500CostBCoutABBCJJ1DJ2AB伏羲RRoutMBCABBCJJ1DJ2MJJ1BJ1AMapReduce多余的一次 读写操作再来说说分布式调度 - 资源调度的挑战性能：增量式调度弹性配额：（削峰填谷）任务的最优化调度：latency和throughput的平衡负载均衡，热点规避任务优先级和抢占：实时性和公平性复杂的任务调度限制：Service/Job资源调度资

7、源容器数：40,000+待调度实例数：800,000,000+/D调度决策频率 2,000+/s调度的多维目标多维度的资源和各异需 求CPU/Disk/Memory各个调度对象统计信息各个机器资源的实时统 计信息高使用效率实时性多租户 公平性资源配额调度优先级超卖负载平衡Locality离线在线混布，资源隔离：cgroup， tc等优先级超卖各种舱位的比例什么时候抢占，谁抢占，抢占谁乘坐的时间，区段，如何分配大规模下任务调度的挑战数据交换10K+个partitioner和10K+个aggregator, 100M+连接边Outlier（长尾）长尾的检测，Duplicate Execution触

8、发调度10K机器，每天百万job，数百亿的task，如何高效调度动态DAG（运行时优化）考虑运行时候数据大小进行并行 粒度的选择考虑到运行节点在集群中的拓扑 结构来进行有效数据传递提高网 络性能和容错处理通过运行数据分布决定Range Partition的边界选取，避免data- skew.AggregateAggregateOutput_1Output_2ReaderPartitionReaderPartitionInputReaderPartitionAgg_DynAgg_DynMaxCompute 运行时充分利用硬件的计算能力列式执行框架SIMD运行时 代码生 成利用LLVM技术，在运行

9、时根据SQL Query特点生成较优的机器码；采用列式执行框架，提高CPU流水线的执行效率，并提高缓存命中率；充分利用CPU特性(SIMD),实现指令 级别的向量执行;持续改进和发布中的挑战MaxCompute每天都有百万级作业。 如何能够保证新的功能不会造成 线上故障？同时MaxCompute从第一天就强调安全性，如何处理可测性和安全性 之间的矛盾？MaxCompute Compiler playback工具MaxComputeFlighting工具MaxCompute灰度上线，细粒度回滚等伏羲simulator，解决调度不可测问题等等MaxCompute编译器 Playback工具我们需要

10、快速提高我们编译器，优化器的表达能力，性能优化水平。如何能够保证升级过程中没有大的Regression. 每天有100万+个job，每天都在 变化，并且需要保证用户数据和运算的安全性利用我们自己大规模运算平台的并行运算能力来验证兼容性测试将编译查询作为一个ODPS的UDF, 然后执行一个并行DAG执行来并行执行上百万查询的编译优化，然后在智能分析结果得到新功能的潜在风险Odps Playback Query查询数据库 odps meta执行新的查询DailyReportMaxCompute Flighting 工具如何保证MaxCompute优化器和运行器是正确执行的，如何避免在快速迭代中 的正确性问题，从而避免重大的事故